DE112018004592T5 - Wiedergabevorrichtung und -verfahren und erzeugungsvorrichtung und -verfahren - Google Patents

Abstract

Die vorliegende Offenbarung bezieht sich auf ein/e Wiedergabevorrichtung und -verfahren und ein/e Erzeugungsvorrichtung und -verfahren, die dazu ausgebildet sind zu ermöglichen, ein angezeigtes Bild mit minimiertem Auftreten von Übelkeit zu vergrößern oder zu verkleinern. Die Wiedergabevorrichtung umfasst eine Eckpunktdatenumsetzungseinheit, die ein 3D-Modell zur Vergrößerung oder Verkleinerung erzeugt, wenn Vergrößerung oder Verkleinerung eines vollständigen sphärischen Bildes ausgewählt ist. Die vorliegende Offenbarung ist beispielsweise auf eine Wiedergabevorrichtung usw. anwendbar, die ein Bild erzeugt, das perspektivisch als ein Anzeigebild projiziert werden soll, in Übereinstimmung mit der Richtung, in der das vollständige sphärische Bild durch einen Betrachter betrachtet wird.

Description

• TECHNISCHES GEBIET
• Die vorliegende Offenbarung bezieht sich auf Wiedergabevorrichtungen und -verfahren und Erzeugungsvorrichtungen und -verfahren. Insbesondere bezieht sich die vorliegende Offenbarung auf eine Wiedergabevorrichtung und ein Verfahren und eine Erzeugungsvorrichtung und ein Verfahren, die zum Ausführen von Vergrößerungs/Verkleinerungs-Anzeige eines Bildes fähig sind, während sie ein Auftreten einer Bewegungskrankheit verhindern.
• STAND DER TECHNIK
• Ein Bild der gesamten Himmelssphäre oder ein omnidirektionales Bild, das Umherschauen in jeder Richtung erlaubt, wird durch Aufzeichnen von Lichtstrahlen, die auf einen Punkt auftreffen, in allen Richtungen als einen Pixelwert wie z. B. RGB erhalten. Der Pixelwert wird typischerweise als ein ebenes rechteckiges Bild wie z. B. als eine Rektangularprojektion aufgezeichnet. Bei der Wiedergabe wird dieses ebene rechteckige Bild an eine virtuelle sphärische Einheitsfläche angeheftet, und das Rendern wird ausgeführt, um von der Mitte der Sphäre umherzuschauen, was es ermöglicht, dass die ursprüngliche Richtung des Lichtstrahls und die RGB-Werte reproduziert werden.
• Das vorstehend genannte omnidirektionale Bild wird durch Aufzeichnen von Lichtstrahlen, die auf einen Punkt einfallen, erhalten, so dass Bilder aus unterschiedlichen Blickwinkeln nicht reproduziert werden können und nur die Drehbewegung unter Verwendung der Mitte der Sphäre als eine Referenz reproduzierbar ist. Als der Freiheitsgrad sind nur drei Freiheitsgrade der Drehkomponente unter den insgesamt sechs Freiheitsgraden, die die drei Freiheitsgrade von Gieren, Neigen und Rollen, die der Drehung entsprechen, und die drei Freiheitsgrade x, y und z, die der Bewegung entsprechen, enthalten, erreichbar, und somit sind sie in einigen Fällen als omnidirektionale Bilder mit drei Freiheitsgraden (omnidirektionale 3DoF-Bilder) bezeichnet.
• Beispiele für die Art und Weise zum Anzeigen dieses omnidirektionalen 3DoF-Bildes enthalten eine Art zu seinem Anzeigen auf einer stationären Anzeigevorrichtung wie z. B. einem Fernsehgerät und Betrachten/Hören, während die Anzeigerichtung unter Verwendung einer Steuereinheit geändert wird, eine Art zu seinem Anzeigen auf dem Bildschirm eines mobilen Endgeräts, das in der Hand gehalten wird, während die Anzeigerichtung auf der Basis der Stellungsinformationen, die von einem eingebauten Gyrosensor des Endgeräts erhalten werden, geändert wird, oder eine Art zu seinem Anzeigen auf einer am Kopf getragenen Anzeigerichtung (hier nachstehend auch als HMD bezeichnet), die am Kopf getragen wird, während die Anzeigerichtung in der Bewegung des Kopfes widergespiegelt wird.
• Das omnidirektionale 3DoF-Bild besitzt keine Bewegungsfreiheit von einem Punkt in einem Bild, und somit kann keine Operation ausgeführt werden, um das Bild näher erscheinen zu lassen. Es gibt jedoch einen Bedarf zum Ermöglichen des Betrachtens durch Vergrößern eines Bildes wie ein Teleskop, so dass die Einzelheiten erkennbar sind.
• In einer ebenen Anzeigevorrichtung eines Fernsehgeräts, eines mobilen Endgeräts oder dergleichen ist es möglich, eine Vergrößerungsoperation durch Ändern eines Anzeigeblickwinkels (oder des Gesichtsfelds (FOV)) auszuführen. Bei dem Betrachten/Hören eines Bildes über eine normale ebene Anzeigevorrichtung ist es normal, dass der Aufnahmeblickwinkel und der Anzeigeblickwinkel nicht notwendigerweise miteinander zusammenfallen müssen, und somit wird selbst in einem Fall der Änderung des Anzeigeblickwinkels weniger Unbehagen wahrgenommen.
• Andererseits wird die HMD auf dem Kopf getragen, und somit ist der Anzeigeblickwinkel während des Betrachtens/Hörens grundsätzlich fest. Zusätzlich ist eine typische HMD mit einem Sensor zum Detektieren der Bewegung des Kopfs des Betrachters/Hörers ausgestattet, und die HMD führt Bildanzeige aus, die durch Widerspiegeln der Sichtlinie oder Position des Betrachters/Hörers erhalten wird. Nur die Drehbewegung ist in dem omnidirektionalen 3DoF-Bild reproduzierbar, durch präzises Abgleichen dieser Drehbewegung mit der Drehbewegung des Kopfes ist es jedoch möglich, ein Eintauchgefühl wahrzunehmen, als ob man eine virtuelle Welt betreten würde.
• In dieser Beschreibung stimmen in einem Fall, in dem eine Vergrößerungs-/Verkleinerungs-Operation (Zoom-Operation) auf einem Bild, das durch die HMD betrachtet wird, durch einfaches Ändern des Blickwinkels und sein Vergrößern auf die gleiche Weise eine ebene Anzeige der Drehwinkel des Kopfes und der Drehwinkel des Bildes nicht überein. In einem Beispiel scheint sich bei Vergrößerung das Bild durch die vergrößerte Größe des Bildes schneller zu bewegen als die Drehung des Kopfes. Das verursacht Unbehagen, was in vielen Fällen zu einem unangenehmen Gefühl führt, das als VR-Bewegungskrankheit oder dergleichen bezeichnet wird.
• In einem Beispiel offenbaren die Patentdokumente 1 und 2 ein Beispiel der Änderung des Blickwinkels eines Anzeigebildes in der HMD.
• ENTGEGENHALTUNGSLISTE
• PATENTDOKUMENT
• Patentdokument 1: Japanische Patentanmeldung Offenlegungs-Nr. 2015-125502
• Patentdokument 2: Japanische Patentanmeldung Offenlegungs-Nr. 2016-24751
• ZUSAMMENFASSUNG DER ERFINDUNG
• AUFGABEN, DIE DURCH DIE ERFINDUNG GELÖST WERDEN SOLLEN
• Die Patendokumente 1 und 2 lehren jedoch keine Gegenmaßnahme für ein Phänomen, in dem der Drehwinkel des Kopfes nicht mit dem Drehwinkel des Bildes übereinstimmt, und somit ist das Problem der Bewegungskrankheit nicht grundlegend gelöst.
• Die vorliegende Offenbarung ist im Hinblick auf eine solche Situation vorgenommen, und sie ist dafür vorgesehen, zum Ausführen der Vergrößerungs-/Verkleinerungs-Anzeige eines Bildes, bei der ein Auftreten von Bewegungskrankheit verhindert wird, fähig zu sein.
• LÖSUNG DER AUFGABEN
• Eine Wiedergabevorrichtung gemäß einem ersten Aspekt der vorliegenden Offenbarung weist eine 3D-ModellErzeugungseinheit auf, die dazu ausgebildet ist, ein 3D-Modell zur Vergrößerung/Verkleinerung in einem Fall des Auswählens von Vergrößerung/Verkleinerung eines Weitwinkelbildes zu erzeugen.
• Ein Wiedergabeverfahren gemäß dem ersten Aspekt der vorliegenden Offenbarung enthält das Erzeugen, durch eine Wiedergabevorrichtung, eines 3D-Modells zur Vergrößerung/Verkleinerung in einem Fall des Auswählens von Vergrößerung/Verkleinerung eines Weitwinkelbilds.
• Gemäß dem ersten Aspekt der vorliegenden Offenbarung wird das 3D-Modell zur Vergrößerung/Verkleinerung in einem Fall des Auswählens von Vergrößerung/Verkleinerung eines Weitwinkelbildes erzeugt.
• Eine Erzeugungsvorrichtung gemäß einem zweiten Aspekt der vorliegenden Offenbarung weist eine Weitwinkelbilderzeugungseinheit auf, die dazu ausgebildet ist, ein Weitwinkelbild zu erzeugen, das auf ein vorbestimmtes 3D-Modell abgebildet wird zum Gebrauch in einer Wiedergabevorrichtung, die eine 3D-Modellerzeugungseinheit aufweist, die dazu ausgebildet ist, ein 3D-Modell zur Vergrößerung/Verkleinerung in einem Fall des Auswählens von Vergrößerung/Verkleinerung des Weitwinkelbildes zu erzeugen.
• Ein Erzeugungsverfahren gemäß dem zweiten Aspekt der vorliegenden Offenbarung enthält das Erzeugen, durch eine Erzeugungsvorrichtung, eines Weitwinkelbildes, das auf ein vorbestimmtes 3D-Modell abgebildet wird, zum Gebrauch in einer Wiedergabevorrichtung, die eine 3D-Modellerzeugungseinheit aufweist, die dazu ausgebildet ist, ein 3D-Modell zur Vergrößerung/Verkleinerung in einem Fall des Auswählens von Vergrößerung/Verkleinerung des Weitwinkelbildes zu erzeugen.
• Gemäß dem zweiten Aspekt der vorliegenden Offenbarung wird ein Weitwinkelbild erzeugt, das auf ein vorbestimmtes 3D-Modell abgebildet wird, zum Gebrauch in einer Wiedergabevorrichtung, die eine 3D-Modellerzeugungseinheit aufweist, die dazu ausgebildet ist, ein 3D-Modell zur Vergrößerung/Verkleinerung in einem Fall des Auswählens von Vergrößerung/Verkleinerung des Weitwinkelbildes zu erzeugen.
• Außerdem können die Wiedergabevorrichtung gemäß dem ersten Aspekt und die Erzeugungsvorrichtung gemäß dem zweiten Aspekt der vorliegenden Offenbarung durch Veranlassen eines Computers, ein Programm auszuführen, implementiert sein.
• Ferner kann das Programm, das durch den Computer ausgeführt wird, um die Wiedergabevorrichtung gemäß dem ersten Aspekt und die Erzeugungsvorrichtung gemäß dem zweiten Aspekt der vorliegenden Offenbarung zu implementieren, dadurch bereitgestellt werden, dass es über ein Übertragungsmedium übertragen wird oder auf einem Aufzeichnungsmedium aufgezeichnet ist.
• Die Wiedergabevorrichtung und die Erzeugungsvorrichtung können unabhängige Vorrichtungen sein oder können interne Module sein, die ein einziges Gerät bilden.
• EFFEKTE DER ERFINDUNG
• Gemäß dem ersten Aspekt der vorliegenden Offenbarung ist es möglich, die Vergrößerungs/Verkleinerungs-Anzeige eines Bildes auszuführen, wobei ein Auftreten von Bewegungskrankheit verhindert wird.
• Gemäß dem zweiten Aspekt der vorliegenden Offenbarung ist es möglich, ein Bild zu erzeugen, das zum Ausführen der Vergrößerungs/Verkleinerungs-Anzeige eines Bildes verwendet wird, wobei ein Auftreten von Bewegungskrankheit verhindert wird.
• Es wird darauf hingewiesen, dass die hier beschriebenen vorteilhaften Effekte nicht notwendigerweise einschränkend sind, und irgendein vorteilhafter Effekt, der in der vorliegenden Offenbarung beschrieben ist, erhalten werden kann.
• Figurenliste
• 1 ist ein Blockdiagramm, das eine beispielhafte Konfiguration eines Zustellsystems einer ersten Ausführungsform, auf das die vorliegende Offenbarung angewandt ist, darstellt.
• 2 ist ein konzeptionelles Diagramm eines Renderverfahrens in einem Fall, in dem eine sphärische Oberfläche als ein 3D-Modell verwendet ist, das zum Abbilden eines omnidirektionalen Bildes verwendet ist.
• 3 ist ein Blockdiagramm, das eine beispielhafte Konfiguration einer Erzeugungsvorrichtung in 1 darstellt.
• 4 ist ein Blockdiagramm, das eine beispielhafte Konfiguration eines Zustellservers und einer Wiedergabevorrichtung in 1 darstellt.
• 5 ist ein Diagramm, das eine Beziehung zwischen Polarkoordinaten und Texturkoordinaten einer Rektangular-Mapping-Textur darstellt.
• 6 ist ein Diagramm, das ein Beispiel von Texturkoordinaten beim Anheften einer Textur auf einem 3D-Modell eines Kubus darstellt.
• 7 ist ein Diagramm, das Eckpunktgruppendaten eines 3D-Gittermodells darstellt.
• 8 ist ein Diagramm, das dargestellt ist, um die Transformation von Eckpunktgruppendaten durch eine Eckpunktdatentransformationsverarbeitung zu beschreiben.
• 9 ist ein Blockdiagramm, das eine spezifische beispielhafte Konfiguration einer Eckpunktdatentransformationseinheit in 4 darstellt.
• 10 ist ein Diagramm, das eine Beziehung zwischen einem Orthogonalkoordinatensystem und einem Zylinderkoordinatensystem in einem dreidimensionalen Raum darstellt.
• 11 ist ein konzeptionelles Diagramm eines 3D-Modellbildes und eines perspektivischen Projektionsbildes in einem Fall, in dem keine Skalierungsverarbeitung ausgeführt wird.
• 12 ist ein konzeptionelles Diagramm eines 3D-Modellbildes und eines perspektivischen Projektionsbildes in einem Fall, in dem Skalierungsverarbeitung ausgeführt wird.
• 13 ist ein konzeptionelles Diagramm erster Vergrößerungsverarbeitung.
• 14 ist ein konzeptionelles Diagramm zweiter Vergrößerungsverarbeitung.
• 15 ist ein Diagramm, das dargestellt ist, um die zweite Vergrößerungsverarbeitung zu beschreiben.
• 16 ist ein Ablaufplan, der dargestellt ist, um die Erzeugungsverarbeitung gemäß der ersten Ausführungsform zu beschreiben.
• 17 ist ein Ablaufplan, der dargestellt ist, um die Wiedergabeverarbeitung gemäß der ersten Ausführungsform zu beschreiben.
• 18 ist ein Blockdiagramm, das eine Modifikation der Wiedergabevorrichtung darstellt.
• 19 ist ein konzeptionelles Diagramm von Texturdaten, die durch Maßstabsänderung der u-Achse erhalten werden.
• 20 ist ein Diagramm, das dargestellt ist, um eine Richtung hoher Auflösung in einem Zustellsystem gemäß einer zweiten Ausführungsform zu beschreiben.
• 21 ist ein Blockdiagramm, das eine beispielhafte Konfiguration einer Erzeugungsvorrichtung gemäß der zweiten Ausführungsform darstellt.
• 22 ist ein konzeptionelles Diagramm von fünf omnidirektionalen Bildern in unterschiedlichen Richtungen hoher Auflösung.
• 23 ist ein Diagramm, das ein Beispiel einer Tabelle als Zusatzinformationen, die durch eine Tabellenerzeugungseinheit erzeugt ist, darstellt.
• 24 ist ein Blockdiagramm, das eine beispielhafte Konfiguration eines Zustellservers und einer Wiedergabevorrichtung gemäß der zweiten Ausführungsform darstellt.
• 25 ist ein Ablaufplan, der dargestellt ist, um die Erzeugungsverarbeitung gemäß der zweiten Ausführungsform zu beschreiben.
• 26 ist ein Ablaufplan, der dargestellt ist, um die Wiedergabeverarbeitung gemäß der zweiten Ausführungsform zu beschreiben.
• 27 ist ein Diagramm, das dargestellt ist, um eine Modifikation zu beschreiben, in der ein codierter Datenstrom ein omnidirektionales Bild für ein 3D-Bild ist.
• 28 ist ein Blockdiagramm, das eine beispielhafte Konfiguration einer Ausführungsform eines Computers, auf den die Technologie der vorliegenden Offenbarung angewandt ist, darstellt.
• ART UND WEISE ZUM AUSFÜHREN DER ERFINDUNG
• Die Art und Weise zum Ausführen der Technologie der vorliegenden Offenbarung (nachstehend als Ausführungsformen bezeichnet) ist jetzt beschrieben. Indessen wird die Beschreibung in der folgenden Reihenfolge gegeben.
1. 1. Erste Ausführungsform (beispielhafte Konfiguration unter Verwendung nur eines omnidirektionalen Bildes, das eine gleichmäßige Auflösung aufweist)
2. 2. Zweite Ausführungsform (beispielhafte Konfiguration, in der ein omnidirektionales Bild, das eine Richtung hoher Auflösung aufweist, umgeschaltet und verwendet ist)
3. 3. Andere Modifikationen
4. 4. Computerkonfigurationsbeispiel
• <Erste Ausführungsform>
• (Beispielhafte Konfiguration eines Zustellsystems gemäß der ersten Ausführungsform)
• 1 ist ein Blockdiagramm, das eine beispielhafte Konfiguration eines Zustellsystems gemäß einer ersten Ausführungsform, auf das die Technologie der vorliegenden Offenbarung angewandt ist, darstellt.
• Ein Zustellsystem 10 in 1 enthält eine Bildaufnahmevorrichtung 11, eine Erzeugungsvorrichtung 12, einen Zustellserver 13, ein Netzwerk 14, eine Wiedergabevorrichtung 15 und eine am Kopf getragene Anzeigevorrichtung 16. Das Zustellsystem 10 erzeugt ein omnidirektionales Bild aus einem erfassten Bild, das durch die Bildaufnahmevorrichtung 11 aufgenommen ist, und zeigt ein Anzeigebild eines Gesichtsfelds eines Betrachters/Zuhörers unter Verwendung des omnidirektionalen Bildes an.
• Insbesondere weist die Bildaufnahmevorrichtung 11 des Zustellsystems 10 sechs Kameras 11A-1 bis 11A-6 auf. Außerdem sind die Kameras 11A-1 bis 11A-6 nachstehend als die Kamera 11A bezeichnet, sofern es nicht notwendig ist, sie besonders zu unterscheiden.
• Die jeweiligen Kameras 11A erfassen ein Bewegtbild. Die Bildaufnahmevorrichtung 11 führt die Bewegtbilder in sechs Richtungen, die durch die jeweiligen Kameras 11A erfasst werden, der Erzeugungsvorrichtung 12 als erfasste Bilder zu. Außerdem ist die Anzahl der Kameras, die in der Bildaufnahmevorrichtung 11 vorgesehen sind, nicht auf sechs beschränkt, solange es mehrere sind.
• Die Erzeugungsvorrichtung 12 erzeugt ein omnidirektionales Bild über volle 360 Grad in der horizontalen Richtung und 180 Grad in der senkrechten Richtung aus dem erfassten Bild, das von der Bildaufnahmevorrichtung 11 zugeführt wird, durch eine Technik, die Rektangularprojektion verwendet. Die Erzeugungsvorrichtung 12 führt Komprimierungscodierung von Bilddaten aus, die durch Mapping eines omnidirektionalen Bildes erhalten wird, das zum Betrachten um 360 Grad in allen Richtungen aus oben, unten, links und rechts fähig ist, unter Verwendung der Rektangularprojektion auf ein vorbestimmtes 3D-Modell, durch ein vorbestimmtes Codierungsschema wie z. B. „Advanced Video Coding“ (AVC) oder „High-Efficiency Video Coding“ (HEVC)/H.265. Die Erzeugungsvorrichtung 12 lädt einen codierten Datenstrom, der durch Ausführen der Komprimierungscodierung auf den Bilddaten des omnidirektionalen Bildes erhalten wird, zu dem Zustellserver 13 hoch.
• Der Zustellserver 13 ist über das Netzwerk 14 mit der Wiedergabevorrichtung 15 verbunden. Der Zustellserver 13 speichert den codierten Datenstrom des omnidirektionalen Bildes, der von der Erzeugungsvorrichtung 12 hochgeladen wird. Der Zustellserver 13 sendet den gespeicherten codierten Datenstrom des omnidirektionalen Bildes über das Netzwerk 14 zu der Wiedergabevorrichtung 15 in Reaktion auf eine Anforderung von der Wiedergabevorrichtung 15.
• Die Wiedergabevorrichtung 15 fordert den codierten Datenstrom des omnidirektionalen Bildes von dem Zustellserver 13 an und empfängt ihn. Die Wiedergabevorrichtung 15 erzeugt ein 3D-Modellbild durch Decodieren des codierten Datenstroms des empfangenen omnidirektionalen Bildes und Mapping des resultierenden omnidirektionalen Bild auf ein vorbestimmtes 3D-Modell.
• Dann erzeugt die Wiedergabevorrichtung 15 ein Bild in einem Gesichtsfeld eines Betrachters/Zuhörers als ein Anzeigebild durch perspektivisches Projizieren des 3D-Modellbildes auf das Gesichtsfeld des Betrachters/Zuhörers mit der Betrachtungs/Hör-Position als dem Mittelpunkt. Die Wiedergabevorrichtung 15 führt das erzeugte Anzeigebild der am Kopf getragenen Anzeigevorrichtung 16 zu.
• 2 ist ein konzeptionelles Diagramm eines Renderverfahrens in einem Fall, in dem eine sphärische Oberfläche als ein 3D-Modell verwendet ist, das zum Mapping eines omnidirektionalen Bildes verwendet ist.
• Die sphärische Oberfläche wird als ein 3D-Modell verwendet, die Textur des omnidirektionalen Bildes, das durch die Rektangularprojektion erhalten wird, wird auf die Koordinaten auf der sphärischen Oberfläche, die dem Längengrad und dem Breitengrad der Erde entsprechen, angeheftet, die Mitte der Sphäre wird als die Betrachtungs/Hör-Position eingestellt und das omnidirektionale Bild (3D-Modellbild) auf der sphärischen Oberfläche wird in das Gesichtsfeld des Betrachters/Zuhörers perspektivisch projiziert.
• Außerdem ist das Renderverfahren, das das 3D-Modell verwendet, ein Beispiel, und es gibt auch eine Technik zum Rendern durch direktes Berechnen der zweidimensionalen Koordinaten der Textur durch Verfolgen der Lichtstrahlen auf der Projektionsfläche anstelle der tatsächlichen Erzeugung des 3D-Modells. Selbst in dem Fall des direkten Berechnens und Renderns der zweidimensionalen Koordinaten der Textur wird die zu implementierende Verarbeitung ähnlich ausgeführt, und eine intuitive Wahrnehmung ist durch Einstellen eines virtuellen 3D-Modells möglich.
• Das Gesichtsfeld des Betrachters/Zuhörers wird auf der Basis der Ergebnisse bestimmt, die durch Erfassen eines Bildes einer Markierung 16A, die an der am Kopf getragenen Anzeigevorrichtung 16 angebracht ist, und des Ergebnisses, das durch einen Gyrosensor 16B der am Kopf getragenen Anzeigevorrichtung 16 detektiert wird, erhalten werden.
• Mit anderen Worten weist die Wiedergabevorrichtung 15 eine eingebaute Kamera 15A auf, die ein Bild der an der am Kopf getragenen Anzeigevorrichtung 16 angebrachten Markierung 16A erfasst. Dann detektiert wie Wiedergabevorrichtung 15 die Betrachtungs/Hör-Position des Betrachters/Zuhörers in dem Koordinatensystem des 3D-Modells (nachstehend als 3D-Modell-Koordinatensystem bezeichnet) auf der Basis des Bildes, das durch Erfassen eines Bildes der Markierung 16A erhalten wird. Darüber hinaus empfängt die Wiedergabevorrichtung 15 das Ergebnis, das durch den Gyrosensor 16B der am Kopf getragenen Anzeigevorrichtung 16 detektiert wird, von der am Kopf getragenen Anzeigevorrichtung 16. Die Wiedergabevorrichtung 15 bestimmt eine Sichtlinienrichtung des Betrachters/Zuhörers in dem 3D-Modell-Koordinatensystem auf der Basis des Detektionsergebnisses des Gyrosensors 16B. Die Wiedergabevorrichtung 15 bestimmt das Gesichtsfeld des Betrachters/Zuhörers, der sich innerhalb des 3D-Modells befindet, auf der Basis der Betrachtungs/Hör-Position und der Sichtlinienrichtung.
• Ferner kann der Betrachter/Zuhörer eine Steuereinheit 16C, die an der am Kopf getragenen Anzeigevorrichtung 16 angebracht ist, anweisen, so dass das Anzeigebild, das auf der am Kopf getragenen Anzeigevorrichtung 16 angezeigt wird, durch Bedienen der Steuereinheit 16C vergrößert oder gestaucht wird.
• Die Wiedergabevorrichtung 15 empfängt Informationen über eine Zoom-Operation, die einer Vergrößerungs/Verkleinerungs-Operation zugeordnet sind, die durch den Betrachter/Zuhörer ausgeführt wird, von der am Kopf getragenen Anzeigevorrichtung 16 und vergrößert oder verkleinert ein Anzeigebild, das auf der am Kopf getragenen Anzeigevorrichtung 16 angezeigt werden soll, in Reaktion auf die Zoom-Operation, die durch den Betrachter/Zuhörer ausgeführt wird.
• Die am Kopf getragene Anzeigevorrichtung 16 wird auf dem Kopf des Betrachters/Zuhörers getragen und zeigt das Anzeigebild, das von der Wiedergabevorrichtung 15 zugeführt wird, an. Die am Kopf getragene Anzeigevorrichtung 16 ist mit einer Markierung 16A ausgestattet, die durch die Kamera 15A aufgenommen werden soll. Somit kann der Betrachter/Zuhörer die Betrachtungs/Hör-Position mit der Bewegung spezifizieren, während die am Kopf getragene Anzeigevorrichtung 16 am Kopf getragen wird. Zusätzlich weist die am Kopf getragene Anzeigevorrichtung 16 einen eingebauten Gyrosensor 16B zum Detektieren der Winkelgeschwindigkeit auf und sendet das Detektionsergebnis durch den Gyrosensor 16B zu der Wiedergabevorrichtung 15. Somit kann der Betrachter/Zuhörer die Sichtlinienrichtung durch Drehen des Kopfs, auf dem die am Kopf getragene Anzeigevorrichtung 16 getragen wird, spezifizieren.
• Ferner detektiert die am Kopf getragene Anzeigevorrichtung 16 die Zoom-Operation, die durch den Betrachter/Zuhörer durch Bedienen der Steuereinheit 16C ausgeführt wird, und führt die Informationen über die Zoom-Operation der Wiedergabevorrichtung 15 zu.
• Das Zustellsystem 10 kann irgendeine Technik als die Zustelltechnik von dem Zustellserver 13 zu der Wiedergabevorrichtung 15 einsetzen. In einem Fall, in dem die Zustelltechnik in einem Beispiel die „Moving Picture Experts Group Phase-Dynamic Adaptive Streaming Over HTTP“- (MPEG-DASH-) Technik ist, entspricht der Zustellserver 13 einem Hypertext-Übertragungsprotokoll-(HTTP-) Server, und die Wiedergabevorrichtung 15 entspricht einem MPEG-DASH-Client.
• (Konfigurationsbeispiel der Erzeugungsvorrichtung)
• 3 ist ein Blockdiagramm, das eine beispielhafte Konfiguration der Erzeugungsvorrichtung 12 in 1 darstellt.
• In 3 weist die Erzeugungsvorrichtung 12 eine Stitching-Einheit 21, eine Mapping-Transformationseinheit 22, einen Codierer 23 und einen Sender 24 auf.
• Die Stitching-Einheit 21 gleicht die Farben und die Helligkeit der erfassten Bilder in sechs Richtungen, die von den Kameras 11A in 1 zugeführt werden, für jeden Rahmen an, entfernt Überlappungen zum Verbinden und transformiert sie in ein erfasstes Bild mit ausreichender Auflösung. In einem Beispiel führt die Stitching-Einheit 21 die Transformation in ein Rektangularbild als das einzelne erfasste Bild aus. Die Stitching-Einheit 21 führt ein Rektangularbild, das ein erfasstes Bild in Rahmeneinheiten ist, der Mapping-Transformationseinheit 22 zu.
• Die Mapping-Transformationseinheit 22 (Weitwinkelbilderzeugungseinheit) führt Mapping-Transformationsverarbeitung zum Transformieren eines erfassten Bildes (z. B. eines Rektangularbilds) in Rahmeneinheiten, das von der Stitching-Einheit 21 zugeführt wird, in ein Mapping-Format zum Mapping auf ein vorbestimmtes 3D-Modell aus. Als das vorbestimmte 3D-Modell kann in einem Beispiel ein kubisches Modell, ein sphärisches Modell oder dergleichen eingesetzt werden.
• In dem Fall in dem in einem Beispiel ein kubisches Modell als das 3D-Modell eingesetzt wird und das omnidirektionale Bild zugestellt wird, transformiert die Mapping-Transformationseinheit 22 das omnidirektionale Rektangularbild aus der Stitching-Einheit 21 in ein Mapping-Format für ein kubisches Modell (ein Format, das in der später beschriebenen 6 dargestellt ist). In einem Fall, in dem das Mapping-Format des omnidirektionalen Bildes, das von der Stitching-Einheit 21 zugeführt wird, gleich einem Mapping-Format bei dem Zuführen zu dem Zustellserver 13 ist, ist die Mapping-Transformationsverarbeitung nicht notwendig.
• In der vorliegenden Ausführungsform ist das 3D-Modell, das in der Wiedergabevorrichtung 15 verwendet wird, ein sphärisches Modell, und das Mapping-Format, das dem 3D-Modell entspricht, ist das Rektangular-Mapping, und somit ist die Mapping-Transformationsverarbeitung nicht notwendig.
• Der Codierer 23 (die Codiereinheit) codiert das omnidirektionale Bild, das von der Mapping-Transformationseinheit 22 zugeführt wird, unter Verwendung eines vorbestimmten Codierungsschemas wie z. B. des MPEG-2- oder AVC-Standards, um einen codierten Datenstrom zu erzeugen. Der Codierer 23 führt den codierten Datenstrom, der erzeugt wird, dem Sender 24 zu. Außerdem kann der codierte Datenstrom des omnidirektionalen Bildes zusammen mit einem Audiosignal in einem Systemschichtformat einer MP4-Datei oder dergleichen multiplexiert werden.
• Der Sender 24 lädt (sendet) die Datenströme des omnidirektionalen Bildes, die von dem Codierer 23 zugeführt werden, zu dem Zustellserver 13 in 1 hoch.
• (Beispielhafte Konfiguration des Zustellservers und der Wiedergabevorrichtung)
• 4 ist ein Blockdiagramm, das eine beispielhafte Konfiguration des Zustellservers 13 und der Wiedergabevorrichtung 15 in 1 darstellt.
• Der Zustellserver 13 weist einen Empfänger 101, eine Speichervorrichtung 102 und einen Sender/Empfänger 103 auf.
• Der Empfänger 101 empfängt den codierten Datenstrom des omnidirektionalen Bildes, der von der Erzeugungsvorrichtung 12 in 1 hochgeladen wird, und führt ihn der Speichervorrichtung 102 zu.
• Die Speichervorrichtung 102 speichert den codierten Datenstrom des omnidirektionalen Bildes, der von dem Empfänger 101 zugeführt wird.
• Der Sender/Empfänger 103 liest den codierten Datenstrom des omnidirektionalen Bildes, der in der Speichervorrichtung 102 gespeichert ist, und sendet ihn über das Netzwerk 14 zu der Wiedergabevorrichtung 15 in Reaktion auf eine Anforderung von der Wiedergabevorrichtung 15.
• Die Wiedergabevorrichtung 15 weist die Kamera 15A, einen Sender/Empfänger 121, einen Decodierer 122, eine Mapping-Einheit 123, eine Erfassungseinheit 124, einen Sichtliniendetektor 125, eine 3D-Modellerzeugungseinheit 126, eine Eckpunktdatentransformationseinheit 127 und eine Rendereinheit 128 auf.
• Der Sender/Empfänger 121 (die Erfassungseinheit) der Wiedergabevorrichtung 15 fordert das omnidirektionale Bild von dem Zustellserver 13 über das Netzwerk 14 an und erfasst den codierten Datenstrom des omnidirektionalen Bildes, der von dem Sender/Empfänger 103 des Zustellservers 13 in Reaktion auf die Anforderung gesendet werden soll. Der Sender/Empfänger 121 führt den erhaltenen codierten Datenstrom des omnidirektionalen Bildes dem Decodierer 122 zu.
• Der Decodierer 122 (die Decodiereinheit) decodiert den codierten Datenstrom, der von dem Sender/Empfänger 121 zugeführt werden soll, um ein omnidirektionales Bild zu erzeugen. Der Decodierer 122 führt das erzeugte omnidirektionale Bild der Mapping-Einheit 123 zu.
• Die Mapping-Einheit 123 erzeugt Texturkoordinaten (R, G, B), die Texturkoordinaten (u, v) eines vorbestimmten 3D-Modells entsprechen, unter Verwendung des omnidirektionalen Bildes, das aus dem Decodierer 122 zugeführt wird. In dieser Beschreibung entspricht das 3D-Modell, das in der Wiedergabevorrichtung 15 verwendet wird, dem 3D-Modell, das in der Erzeugungsvorrichtung 12 verwendet wird, und in der vorliegenden Ausführungsform ist angenommen, dass ein sphärisches Modell als das 3D-Modell wie vorstehend beschrieben verwendet wird, jedoch ist das 3D-Modell nicht auf dieses Beispiel beschränkt und kann in einem Beispiel ein kubisches Modell sein.
• 5 stellt die Beziehung zwischen Polarkoordinaten und Texturkoordinaten einer Rektangular-Mapping-Textur beim Anheften einer Textur an einem sphärischen 3D-Modell.
• Die u-Achse der Texturkoordinaten (u, v) ist als parallel zu dem Azimutwinkel (Drehwinkel) θ der Polarkoordinaten definiert, und die v-Achse der Texturkoordinaten (u, v) ist als parallel zu dem Elevationswinkel φ der Polarkoordinaten definiert. Der Wert der Texturkoordinaten (u, v) ist ein Wert im Bereich von 0 bis 1.
• 6 stellt ein Beispiel für Texturkoordinaten (u, v) beim Anheften der Textur auf einem 3D-Modell eines Kubus dar.
• Die Texturdaten, die durch die Mapping-Einheit 123 erzeugt werden, werden der Rendereinheit 128 dadurch zugeführt, dass sie in einem Texturpuffer, der für die Rendereinheit 128 zugänglich ist, gespeichert werden.
• Die Erfassungseinheit 124 erfasst das Detektionsergebnis des Gyrosensors 16B in 1 aus der am Kopf getragenen Anzeigevorrichtung 16 und führt das Ergebnis dem Sichtliniendetektor 125 zu.
• Ferner erfasst die Erfassungseinheit 124 Informationen über eine Zoom-Operation, die der Zoom-Operation zugeordnet sind, die durch den Betrachter/Zuhörer, der die Steuereinheit 16C bedient, ausgeführt wird, von der am Kopf getragenen Anzeigevorrichtung 16 und führt die Informationen der Eckpunktdatentransformationseinheit 127 zu.
• Der Sichtliniendetektor 125 bestimmt die Sichtlinienrichtung des Betrachters/Zuhörers in dem 3D-Modell-Koordinatensystem auf der Basis des Detektionsergebnisses des Gyrosensors 16B, das von der Erfassungseinheit 124 zugeführt wird. Zusätzlich erfasst der Sichtliniendetektor 125 das aufgenommene Bild der Markierung 16A aus der Kamera 15A und detektiert die Betrachtungs/Hör-Position in dem Koordinatensystem des 3D-Modells auf der Basis des aufgenommenen Bilds. Dann bestimmt der Sichtliniendetektor 125 das Gesichtsfeld des Betrachters/Zuhörers in dem 3D-Modell-Koordinatensystem auf der Basis der Betrachtungs/Hör-Position und der Sichtlinienrichtung in dem 3D-Modell-Koordinatensystem. Der Sichtliniendetektor 125 führt das Gesichtsfeld des Betrachters/Zuhörers und die Betrachtungs/Hör-Position der Rendereinheit 128 zu.
• Die 3D-Modellerzeugungseinheit 126 erzeugt Daten eines 3D-Gittermodells (3D-Modells) in einem virtuellen 3D-Raum und führt die Daten der Eckpunktdatentransformationseinheit 127 zu. Diese Daten des 3D-Gittermodells enthalten Fünfelemente-Gruppendaten aus den Koordinaten (x, y, z) jedes Eckpunkts des 3D-Modells und den Texturkoordinaten (u, v), die diesen entsprechen (hier als „Eckpunktgruppendaten“ bezeichnet), wie in 7 dargestellt ist. In der vorliegenden Ausführungsform ist das gleiche sphärische Modell wie das 3D-Modell, das in der Erzeugungsvorrichtung 12 verwendet ist, als das 3D-Modell eingesetzt.
• Die Eckpunktdatentransformationseinheit 127 führt die Transformation der Eckpunktgruppendaten des sphärischen Modells, die von der 3D-Modellerzeugungseinheit 126 zugeführt werden, auf der Basis der Informationen über die Zoom-Operation, die von der Erfassungseinheit 124 zugeführt werden, aus. Insbesondere, wie in 8 dargestellt, werden die Koordinaten (x, y, z) des Eckpunkts des 3D-Gittermodells in Koordinaten (x', y', z') transformiert, und die Eckpunktgruppendaten, die durch fünf Elemente der transformierten Koordinaten (x', y', z') jedes Eckpunkts und die Texturkoordinaten (u, v), die ihnen entsprechen, gebildet sind, werden der Rendereinheit 128 zugeführt. Mit anderen Worten ist die Eckpunktdatentransformationseinheit 127 eine Vergrößerungs/Verkleinerungs-3D-Modellerzeugungseinheit, die 3D-Gittermodelldaten zur Vergrößerung/Verkleinerung auf der Basis der Informationen über die Zoom-Operation aus den 3D-Gittermodelldaten, die durch die 3D-Modellerzeugungseinheit 126 erzeugt werden, erzeugt. Die Einzelheiten der durch die Eckpunktdatentransformationseinheit 127 ausgeführten Eckpunktdatentransformationsverarbeitung werden später mit Bezug auf 9 und die nachfolgenden Zeichnungen beschrieben.
• Die Rendereinheit 128 wird mit den Texturdaten (R, G, B), die den Texturkoordinaten (u, v) 123 entsprechen, aus der Mapping-Einheit versorgt und wird mit den Eckpunktgruppendaten, die aus fünf Elementen aus den Koordinaten (x', y', z') jedes Eckpunkts des sphärischen Modells und den Texturkoordinaten (u, v), die ihnen entsprechen, bestehen, aus der Eckpunktdatentransformationseinheit 127 versorgt. Zusätzlich wird die Rendereinheit 128 auch mit dem Gesichtsfeld und der Betrachtungs/Hör-Position des Betrachters/Zuhörers aus dem Sichtliniendetektor 125 versorgt.
• Die Rendereinheit 128 zeigt, als ein Anzeigebild, ein Bild des Gesichtsfeld des Betrachters/Zuhörers in einem sphärischen Modell an, auf das ein omnidirektionales Bild gemappt ist, unter Verwendung der Fünfelemente-Eckpunktgruppendaten, der Texturdaten und des Gesichtsfeld und der Betrachtungs/Hör-Position des Betrachters/Zuhörers.
• In 8 ist jede Zeile Eckpunktdaten, die einem Eckpunkt entsprechen, und ein dreieckiger Ausschnitt ist durch drei Eckpunktdatenelemente gebildet. Die Zuordnung zwischen den Koordinaten (x, y, z) in dem 3D-Raum und den Texturkoordinaten (u, v) wird für die Eckpunkte des dreieckigen Ausschnitts beibehalten, und somit wird das Dreieck auf der Textur an dem Dreieck auf dem sphärischen Modell durch Homographie-Transformation angeheftet, und die Resultante wird gerendert, um vom Inneren des sphärischen Modells rundum zu sehen, was es ermöglicht, ein Rundumbild der Himmelssphäre anzuzeigen.
• (Konfigurationsbeispiel der Eckpunktdatentransformationseinheit)
• 9 ist ein Blockdiagramm, das eine spezifische beispielhafte Konfiguration einer Eckpunktdatentransformationseinheit 127 darstellt.
• Die Eckpunktdatentransformationseinheit 127 weist eine Zylinderkoordinatentransformationseinheit 141, eine Skaliereinheit 142 und eine Orthogonalkoordinatentransformationseinheit 143 auf.
• Die Eckpunktdatentransformationseinheit 127 transformiert die Eckpunktgruppendaten in dem xyz-Orthogonalkoordinatensystem repräsentiert sind, in ein Zylinderkoordinatensystem und führt Skalierung (Vergrößerung oder Verkleinerung) basierend auf den Informationen über die Zoom-Operation auf dem Zylinderkoordinatensystem aus. Dann überführt die Eckpunktdatentransformationseinheit 127 die skalierten Daten wieder in das Orthogonalkoordinatensystem und gibt sie aus.
• Die Zylinderkoordinatentransformationseinheit 141 transformiert die Eckpunktgruppendaten, die in dem Orthogonalkoordinatensystem repräsentiert sind, in das Zylinderkoordinatensystem. Die Eckpunktgruppendaten bestehen aus Fünfelemente-Daten aus den Koordinaten (x, y, z) jedes Eckpunkts des sphärischen Modells und ihren entsprechenden Texturkoordinaten (u, v).
• Die Zuordnungsbeziehung zwischen dem Orthogonalkoordinatensystem und dem Zylinderkoordinatensystem ist durch die nachstehende Formel (1) ausgedrückt.
  [Math. 1] $$\left(\begin{array}{l}\text{x}\\ \text{y}\\ \text{z}\end{array}\right)=\left(\begin{array}{c}\text{tcos}\mathrm{\theta }\\ \text{tsin}\mathrm{\theta }\\ \text{z}\end{array}\right)$$

  
• 10 stellt die Beziehung zwischen dem Orthogonalkoordinatensystem (x, y, z) und dem Zylinderkoordinatensystem (t, θ, z) in einem dreidimensionalen Raum dar. In diesem Fall wird Formel (2) aus der Definition der trigonometrischen Funktion hergeleitet.
  [Math. 2] $$\text{t}=\sqrt{{\text{x}}^2+{\text{y}}^2}$$

  
• Die Richtung der Schwerkraft ist zum Betrachten/Hören in der am Kopf getragenen Anzeigevorrichtung 16 wichtig, und somit stellt die Eckpunktdatentransformationseinheit 127 die z-Achse des Orthogonalkoordinatensystems (x, y, z) auf die vertikale Richtung ein. In diesem Fall ist die Ebene z = 0 eine horizontale Ebene wie z. B. der Boden, und θ in dem Zylinderkoordinatensystem repräsentiert den Azimutwinkel.
• Die Informationen über die Zoom-Operation, die von der am Kopf getragenen Anzeigevorrichtung 16 zugeführt werden, werden durch die Skaliereinheit 142 erfasst.
• Die Skaliereinheit 142 führt Skalierung (Vergrößerung oder Verkleinerung) basierend auf den Informationen über die Zoom-Operation durch Ausführen einer Mapping-Transformation f_k aus, die die Koordinaten (x, y, z) jedes Eckpunkts des sphärischen Modells, die auf das Zylinderkoordinatensystem transformiert sind, mit k multipliziert.
• Unter der Annahme, dass die Koordinaten (x, y, z) auf dem Orthogonalkoordinatensystem durch die Mapping-Transformation f_k in die Koordinaten (x', y', z') transformiert werden, ist wie Beziehung zwischen den Koordinaten (x, y, z) und den Koordinaten (x', y', z') wie folgt ausgedrückt. $$\left(\text{X}\text{'},\text{y}\text{'},\text{z}\text{'}\right)={\text{f}}_{\text{k}}\left(\text{x},\text{y},\text{z}\right)$$

  
• Ferner ist unter der Annahme, dass die Koordinaten (t, 9, z) auf dem Zylinderkoordinatensystem durch die Mapping-Transformation f_k in die Koordinaten (t', θ', z') transformiert werden, wie Beziehung zwischen den Koordinaten (t, θ, z) und den Koordinaten (t', θ', z') wie folgt ausgedrückt. $$\left(\text{t}\text{'},\mathrm{\theta }\text{'},\text{z}\text{'}\right)={\text{f}}_{\text{k}}\left(\text{t},\mathrm{\theta },\text{z}\right)$$

  
• Die spezifische Verarbeitung der Mapping-Transformation f_k ist durch die nachstehenden Formeln (5) bis (7) ausgedrückt. $$\text{t}\text{'}=\text{t}$$

  

  $$\mathrm{\theta }\text{'}=\text{k}\mathrm{\theta }$$

  

  $$\text{z}\text{'}=\text{kz}$$

  
• Mit anderen Worten wird die Mapping-Transformation f_k durch unabhängiges Skalieren der Achse des Zylinderkoordinatensystems erhalten und ist das Verarbeiten des Multiplizierens des Azimutwinkels θ mit k und Multiplizieren der vertikalen Richtung z mit k.
• Die transformierten Koordinaten (x', y', z') auf dem Orthogonalkoordinatensystem sind durch Formel (8) ausgedrückt. Selbst in einem Fall des Orthogonalkoordinatensystems sind die Koordinaten zuerst auf dem Polarkoordinatensystem (t, θ, φ) ausgedrückt und können dann durch Anordnen an einem neuen Punkt (x', y', z') berechnet werden, wobei der Azimutwinkel θ mit k multipliziert wird und die z-Achsenrichtung mit k multipliziert wird.
  [Math. 3] $$\left(\begin{array}{l}\text{x}\text{'}\\ \text{y}\text{'}\\ \text{z}\text{'}\end{array}\right)=\left(\begin{array}{c}\text{t'cos}\mathrm{\theta }\text{'}\\ \text{tsin}\mathrm{\theta }\\ \text{z}\end{array}\right)=\left(\begin{array}{c}\text{tcosk}\mathrm{\theta }\\ \text{tsink}\mathrm{\theta }\\ \text{kz}\end{array}\right)$$

  
• In Formel (8) wird das Bild in einem Fall, in dem der Vergrößerungsfaktor k größer als 1 ist, vergrößert, und in einem Fall, in dem der Vergrößerungsfaktor k kleiner als 1 ist, wird das Bild verkleinert. In einem Fall, in dem der Vergrößerungsfaktor k gleich 1 ist, ist keine Vergrößerungs/Verkleinerungs-Transformation vorhanden, und es stimmt mit der rechten Seite von Formel (1) überein.
• Die Orthogonalkoordinatentransformationseinheit 143 transformiert die Koordinaten (t'cosθ', t'sinθ', z') = (tcos kθ, tsin kθ, kz) auf dem Zylinderkoordinatensystem nach dem Skalieren in das Orthogonalkoordinatensystem. Die Orthogonalkoordinatentransformationseinheit 143 führt die Fünfelemente-Daten aus den Koordinaten (x', y', z') jedes Eckpunkts des sphärischen Modells und ihrer entsprechenden Texturkoordinaten (u, v), die die Eckpunktgruppendaten nach der Transformation sind, der Rendereinheit 128 zu.
• Wie vorstehend beschrieben transformiert in dem Fall, in dem das Anzeigebild auf der Basis der Zoom-Operation, die durch den Betrachter/Zuhörer ausgeführt wird, vergrößert oder gestaucht wird, die Eckpunktdatentransformationseinheit 127 die Eckpunktgruppendaten aus den fünf Elementen aus den Koordinaten (x, y, z) und den Texturkoordinaten (u, v) in Fünfelemente-Eckpunktgruppendaten aus den Koordinaten (x', y', z') und den Texturkoordinaten (u, v), die dem Vergrößerungsfaktor k entsprechen, und führt sie der Rendereinheit 128 zu.
• Mit anderen Worten ist die Rendereinheit 128 nur ausreichend zum Ausführen typischer Verarbeitung zum Erzeugen eines perspektivischen Projektionsbildes des Gesichtsfeld des Betrachters/Zuhörers unter Verwendung der Fünfelemente-Eckpunktgruppendaten, unabhängig davon, ob das Anzeigebild der Vergrößerung/Verkleinerung unterzogen wird oder nicht, und sie kann nicht notwendigerweise die Renderverarbeitung abhängig davon ändern, ob das Anzeigebild der Vergrößerung/Verkleinerung unterzogen wird oder nicht.
• Wie in 8 dargestellt werden nur die Koordinaten (x, y, z) durch die Skalierungsverarbeitung transformiert, die Texturkoordinaten (u, v) werden jedoch nicht geändert. Somit kann die Mapping-Einheit 123 auch nicht notwendigerweise die Verarbeitung abhängig davon ändern, ob das Anzeigebild der Vergrößerung/Verkleinerung unterzogen wird.
• Die 11 und 12 sind konzeptionelle Diagramme eines perspektivischen Projektionsbildes eines 3D-Modells, das durch Anheften eines Texturbildes des Rektangular-Mapping an einem sphärischen 3D-Modell, gesehen von dem Mittelpunkt der Sphäre, erhalten wird.
• 11 ist ein Beispiel eines 3D-Modell-Bildes und eines perspektivischen Projektionsbildes in einem Fall, in dem keine Skalierungsverarbeitung ausgeführt wird.
• Andererseits ist 12 ein konzeptionelles Diagramm, das ein Verarbeitungsergebnis darstellt, das durch Ausführen von Vergrößerungsverarbeitung (k > 1) auf dem 3D-Modellbild und dem in 11 dargestellten perspektivischen Projektionsbild in Bezug auf den Azimutwinkel 9, die vertikale Richtung z oder beides erhalten wird.
• Wie in 12 oben rechts dargestellt ist, bleibt bei der Verarbeitung zum Multiplizieren des Azimutwinkels θ mit k wie in Formel (6) der Radius der Einheitssphäre gleich, das Texturbild wird jedoch an der sphärischen Oberfläche angeheftet, während es horizontal gestreckt wird.
• Wie in 12 unten links dargestellt ist, wird in der Verarbeitung zum Multiplizieren der vertikalen Richtung z mit k wie in Formel (7) das sphärische Modell vertikal als Ganzes gestreckt, und das perspektivische Projektionsbild wird ebenfalls vertikal gestreckt.
• Wie in 12 unten rechts dargestellt ist, wird in der Verarbeitung zum Multiplizieren sowohl des Azimutwinkels θ als auch der vertikalen Richtung z mit k das Texturbild sowohl horizontal als auch vertikal gestreckt, und schließlich wird ein vergrößertes Bild mit einem Seitenverhältnis von 1:1 erhalten.
• Das Seitenverhältnis von 1:1 ist jedoch in einem Fall, in dem die Sichtlinienrichtung in der horizontalen Richtung und ihrer Umgebung orientiert ist, ein perspektivisches Projektionsbild. In einem Fall, in dem die Sichtlinienrichtung in der Richtung nach oben oder nach unten gerichtet ist, ist es notwendig zu berücksichtigen, dass das perspektivische Projektionsbild in dem Umfang gestaucht ist, in dem sich die sphärische Oberfläche des 3D-Modells in der z-Achsenrichtung erstreckt und weiter entfernt ist als der ursprüngliche Abstand, und somit ist eine Verformung aufgrund der Skalierung des Azimutwinkels θ sichtbar. Diese Skalierungsverarbeitung ist eine Verarbeitung zum Vergrößern oder Verkleinern eines perspektivischen Projektionsbildes hauptsächlich in der horizontalen Richtung.
• In dem vergrößerten Bild, in dem sowohl der Azimutwinkel θ als auch die vertikale Richtung z durch die Mapping-Transformation f_k mit k multipliziert sind, sind andere als die vertikale Richtung ein natürliches vergrößertes Bild wie in dem perspektivischen Projektionsbild in 12 unten rechts. Zusätzlich wird selbst nach dem Ausführen der Mapping-Transformation f_k nur ein statisches 3D-Modell, in dem die Koordinaten (x, y, z) vor dem Ausführen der Skalierungsverarbeitung zu den neu erhaltenen Koordinaten (x', y', z') verlagert werden, gerendert, was verhindert, dass eine unerwartete Verformung oder Bewegung des Bildes, die durch eine Änderung der Betrachtungs/Hör-Richtung aufgrund des Rundumblickens verursacht sind, auftreten. Das ermöglicht es, dass es weniger wahrscheinlich ist, dass eine VR-Bewegungskrankheit, die durch eine Vergrößerung oder dergleichen aufgrund einer einfachen Änderung des Gesichtsfelds verursacht wird, auftritt.
• Ferner tritt die VR-Bewegungskrankheit auch auf, wenn die Horizontlinie geneigt ist oder wenn ein Objekt, das sich ursprünglich in der vertikalen Richtung erstreckt, schräg aussieht. In Formel (8) entspricht die θ-Komponente des Zylinderkoordinatensystems der x-y-Komponente des Orthogonalkoordinatensystems, die z-Komponente hängt jedoch nicht von der x-y-Komponente ab, und somit verursacht die Mapping-Transformation f_k nicht den Fall, in dem die Horizontlinie geneigt ist oder das senkrechte Objekt schief ist. Solche Eigenschaften können auch Faktoren in der vorliegenden Technologie sein, die das Auftreten der VR-Bewegungskrankheit erschweren.
• (Renderverfahren eines skalierten Bilds)
• Diese Technik führt das Skalieren des gerenderten Bildes (3D-Modellbilds) durch Skalieren des Azimutwinkels θ und der vertikalen Richtung z des Zylinderkoordinatensystems aus. Der Wertebereich des Azimutwinkels θ ist -π <= θ <= π vor dem Skalieren, und dann ist er -kπ <= θ <= kπ, was 360 Grad übersteigt, die in dem Fall der Vergrößerung gerendert werden können, und in dem Fall der Verkleinerung kleiner als 360 Grad ist. Somit ist es aufgrund der Skalierung notwendig, mit dem Fall, in dem das gerenderte Bild 360 Grad übersteigt, und mit dem Fall, in dem es kleiner als 360 Grad ist, umzugehen.
• Somit führt in dem Fall, in dem das omnidirektionale Bild auf das k-Fache vergrößert wird, die Skaliereinheit 142 eine erste Vergrößerungsverarbeitung zum Beschneiden eines Bildes, das 360 Grad übersteigt, oder eine zweite Vergrößerungsverarbeitung zum Rendern aus, so dass ein Umkreisen des ursprünglichen Bildes (Szenerie) in einem Fall zu sehen ist, in dem sich der Betrachter/Zuhörer horizontal um k Umdrehungen dreht.
• In der ersten Vergrößerungsverarbeitung zum Beschneiden eines Bildes, das 360 Grad übersteigt, führt die Skaliereinheit 142 Verarbeitung zum Löschen der Daten, die θ' < -π erfüllen, und der Daten, die π < θ' erfüllen, aus den Eckpunktgruppendaten der Koordinaten (x', y', z') und den Texturkoordinaten (u, v), die durch Anwenden des Vergrößerungsfaktors k erhalten werden, aus.
• 13 ist ein schematisches Diagramm, das einen Bereich darstellt, der in der ersten Vergrößerungsverarbeitung gerendert ist.
• In der ersten Vergrößerungsverarbeitung wird das Bild in dem Bereich (-π/k) <= θ <= (π/k) vor der Skalierung dem Bereich -π <= θ <= π zugewiesen. Die Daten des Bereichs, die θ' < -π des vergrößerten Bildes erfüllen, und die Daten des Bereichs, die π < θ' des vergrößerten Bild erfüllen, werden aus den Eckpunktgruppendaten gelöscht.
• 14 ist ein konzeptionelles Diagramm der zweiten Vergrößerungsverarbeitung in dem Fall von k = 2.
• In der zweiten Vergrößerungsverarbeitung in dem Fall von k = 2 ist ein Umkreisen der ursprünglichen Szenerie zu sehen, während sich der Betrachter/Zuhörer um zwei Umdrehungen dreht. In einem Fall, in dem der Betrachter/Zuhörer die Sichtlinienrichtung nach links oder rechts verschiebt, während er das gerenderte vergrößerte Bild betrachtet, ist es möglich zu bestimmen, welcher Teil der überlappenden Daten angezeigt werden soll, durch Hinzufügen einer Beschränkung, dass das gerenderte Bild erfordert, dass es kontinuierlich in der linken und rechten Richtung angezeigt wird.
• Um die Beschränkung, dass das gerenderte Bild erfordert, dass es kontinuierlich in der linken und rechten Richtung angezeigt wird, hinzuzufügen, ist ein horizontaler Winkel ξ der sich kontinuierlich ändernden Sichtlinienrichtung definiert. Der typische Bereich des horizontalen Winkels ist im Bereich von -π bis π, und falls er einen Bereich unmittelbar dahinter übersteigt, ändert er sich diskontinuierlich zwischen -π und π, jedoch ist der horizontale Winkel ξ ein horizontaler Winkel, der so definiert ist, dass die Drehung im Uhrzeigersinn monoton zunimmt und die Drehung im Gegenuhrzeigersinn monoton abnimmt, um sich kontinuierlich in einem normalen Zustand zu ändern. Der Bereich des horizontalen Winkels ξ ist -∞ <= ξ <= ∞.
• 15 ist ein schematisches Diagramm, das einen Renderbereich in einem Fall darstellt, in dem ein Betrachter/Zuhörer auf ein k-fach vergrößertes Bild in die Richtung blickt, die den horizontalen Winkel ξ = ξ₀ erfüllt.
• In dem Fall, in dem die Mapping-Transformation f_k bei der Vergrößerung ausgeführt wird, tritt ein Überlappungsabschnitt in dem 3D-Raum auf, und somit führt die Skaliereinheit 142 die Bestimmung auf der Basis des Azimutwinkels θ vor der Vergrößerung aus.
• Der Bereich (ξ₀ - π)/k < θ < (ξ₀ + π) /k ist der Renderbereich, und somit löscht die Skaliereinheit 142 die Eckpunktgruppendaten in anderen Bereichen und führt dann die Mapping-Transformation f_k bei der Vergrößerung aus, um Eckpunktdaten zu erzeugen. Dadurch ist der Bereich der Eckpunktgruppendaten nach der Transformation genau von -π bis π, um den gesamten Himmelsbereich abzudecken.
• Andererseits führt in einem Fall, in dem das omnidirektionale Bild um einen Faktor 1/k gestaucht wird, die Skaliereinheit 142 wiederholt das Rendern des gestauchten Bereichs aus, so dass das gerenderte Bild nicht unterbrochen wird. In diesem Fall ist in dem Fall, in dem der Betrachter/Zuhörer sich horizontal um eine Umdrehung dreht, das k-fache Umkreisen des ursprünglichen Bildes (Szenerie) zu sehen.
• Außerdem kann ein schwarzes Bild als ein Bild eines Abschnitts kleiner als 360 Grad bei der Verkleinerungsverarbeitung anstelle der Verwendung des auf einen Faktor 1/k gestauchten omnidirektionalen Bildes eingebettet werden.
• (Verarbeitung in der Erzeugungsvorrichtung)
• 16 ist ein Ablaufplan, der dargestellt ist, um die durch die Erzeugungsvorrichtung 12 in 1 ausgeführte Erzeugungsverarbeitung darzustellen. Diese Verarbeitung wird in einem Beispiel gestartet, wenn Bewegtbilder in sechs Richtungen, die durch die sechs Kameras 11A-1 bis 11A-6 der Bildaufnahmevorrichtung 11 erfasst werden, zuführt werden.
• In Schritt S11 als dem ersten Schritt gleicht die Stitching-Einheit 21 die Farben oder die Helligkeit der erfassten Bilder in den sechs Richtungen, die aus den entsprechenden Kameras 11A zugeführt werden, für jeden Rahmen an, entfernt Überlappungen zum Verbinden und transformiert sie dann in ein einziges erfasstes Bild. Die Stitching-Einheit 21 erzeugt in einem Beispiel ein Rektangularbild als ein erfasstes Bild und führt das Rektangularbild in Rahmeneinheiten der Mapping-Transformationseinheit 22 zu.
• In Schritt S12 führt die Mapping-Transformationseinheit 22 Mapping-Transformationsverarbeitung auf dem erfassten Bild (z. B. einem Rektangularbild) in Rahmeneinheiten, das von der Stitching-Einheit 21 zugeführt wird, in ein Mapping-Format zum Mapping auf ein vorbestimmtes 3D-Modell aus.
• In einem Beispiel transformiert in einem Fall, in dem der Zustellserver 13 ein omnidirektionales Bild unter Verwendung eines kubischen Modells als ein 3D-Modell zuführt, die Mapping-Transformationseinheit 22 das von der Stitching-Einheit 21 zugeführte omnidirektionale Bild mit Rektangular-Mapping in das omnidirektionale Bild mit Kubus-Mapping. In einem Fall, in dem das Mapping-Format des omnidirektionalen Bildes, das von der Stitching-Einheit 21 zugeführt wird, gleich dem Mapping-Format ist, das dem Zustellserver 13 zugeführt wird, ist die Mapping-Transformationsverarbeitung unnötig, und das omnidirektionale Bild, das von der Stitching-Einheit 21 zugeführt wird, wird dem Codierer 23 ohne Transformation zugeführt.
• In Schritt S13 codiert der Codierer 23 das omnidirektionale Bild, das von der Mapping-Transformationseinheit 22 zugeführt wird, unter Verwendung eines vorbestimmten Codierungsschemas wie z. B. des MPEG-2- oder AVC-Standards, um einen codierten Datenstrom zu erzeugen. Der Codierer 23 führt den erzeugten codierten Datenstrom des omnidirektionalen Bildes dem Sender 24 zu.
• In Schritt S14 lädt der Sender 24 die Datenströme des omnidirektionalen Bildes, die von dem Codierer 23 zugeführt werden, zu dem Zustellserver 13 hoch, und dann endet die Verarbeitung.
• (Beschreibung der Verarbeitung in der Wiedergabevorrichtung)
• 17 ist ein Ablaufplan, der dargestellt ist, um die durch die Wiedergabevorrichtung 15 in 1 ausgeführte Wiedergabeverarbeitung darzustellen. Diese Wiedergabeverarbeitung wird in einem Beispiel gestartet, wenn die Wiedergabevorrichtung 15 ein Einschalten oder eine Verarbeitungsstartoperation detektiert.
• In Schritt S31 als dem ersten Schritt fordert der Sender/Empfänger 121 das omnidirektionale Bild von dem Zustellserver 13 über das Netzwerk 14 an und erfasst den codierten Datenstrom des omnidirektionalen Bildes, der von dem Sender/Empfänger 103 des Zustellservers 13 in Reaktion auf die Anforderung gesendet wird. Der Sender/Empfänger 121 führt den erhaltenen codierten Datenstrom des omnidirektionalen Bildes dem Decodierer 122 zu.
• In Schritt S32 decodiert der Decodierer 122 den codierten Datenstrom, der von dem Sender/Empfänger 121 zugeführt wird, um ein omnidirektionales Bild zu erzeugen. Der Decodierer 122 führt das erzeugte omnidirektionale Bild der Mapping-Einheit 123 zu.
• In dem Schritt S33 erzeugt die Mapping-Einheit 123 Texturdaten (R, G, B), die den Texturkoordinaten (u, v) eines vorbestimmten 3D-Modells entsprechen, unter Verwendung des omnidirektionalen Bildes, das aus dem Decodierer 122 zugeführt wird. Die Mapping-Einheit 123 führt die erzeugten Texturdaten durch Speichern der erzeugten Texturdaten in einem für die Rendereinheit 128 zugänglichen Texturpuffer der Rendereinheit 128 zu.
• In Schritt S34 erfasst die Erfassungseinheit 124 das Detektionsergebnis des Gyrosensors 16B in 1 aus der am Kopf getragenen Anzeigevorrichtung 16 und führt das Ergebnis dem Sichtliniendetektor 125 zu.
• In Schritt S35 bestimmt der Sichtliniendetektor 125 eine Sichtlinienrichtung des Betrachters/Zuhörers in dem Koordinatensystem des 3D-Modells auf der Basis des Detektionsergebnisses des Gyrosensors 16B, das von der Erfassungseinheit 124 zugeführt wird.
• In Schritt S36 bestimmt der Sichtliniendetektor 125 die Betrachtungs/Hör-Position und das Gesichtsfeld des Betrachters/Zuhörers in dem Koordinatensystem des 3D-Modells und führt sie der Rendereinheit 128 zu. Insbesondere erfasst der Sichtliniendetektor 125 ein erfasstes Bild der Markierung 16A aus der Kamera 15A und detektiert eine Betrachtungs/Hör-Position in dem Koordinatensystem des 3D-Modells auf der Basis des erfassten Bilds. Dann bestimmt der Sichtliniendetektor 125 das Gesichtsfeld des Betrachters/Zuhörers in dem 3D-Modell-Koordinatensystem auf der Basis der detektierten Betrachtungs/Hör-Position und Sichtlinienrichtung und führt es der Rendereinheit 128 zu.
• In Schritt S37 erzeugt die 3D-Modellerzeugungseinheit 126 Daten eines 3D-Gittermodells in einem virtuellen 3D-Raum und führt die Daten der Eckpunktdatentransformationseinheit 127 zu. Diese Daten des 3D-Gittermodells enthalten Eckpunktgruppendaten, die aus fünf Elementen aus den Koordinaten (x, y, z) jedes Eckpunkts des 3D-Modells und entsprechenden Texturkoordinaten (u, v) bestehen, wie in 7 dargestellt ist.
• In Schritt S38 bestimmt die Eckpunktdatentransformationseinheit 127, ob der Betrachter/Zuhörer eine Zoom-Operation ausführt, auf der Basis der Informationen über die Zoom-Operation, die von der Erfassungseinheit 124 zugeführt werden. In einem Beispiel werden in dem Fall, in dem der Betrachter/Zuhörer die Zoom-Operation auf der Steuereinheit 16C ausführt, die Informationen über die Zoom-Operation, die der Zoom-Operation zugeordnet sind, der Erfassungseinheit 124 zugeführt und dann von der Erfassungseinheit 124 der Eckpunktdatentransformationseinheit 127 zugeführt.
• Falls in Schritt S38 bestimmt wird, dass die Zoom-Operation nicht ausgeführt wird, fährt die Verarbeitung zu Schritt S39 fort, in dem die Eckpunktdatentransformationseinheit 127 die Eckpunktgruppendaten, die von der 3D-Modellerzeugungseinheit 126 zugeführt werden, der Rendereinheit 128 ohne Transformation zuführt. Mit anderen Worten werden die Eckpunktgruppendaten, die durch Unterziehen der von der 3D-Modellerzeugungseinheit 126 zugeführt werden, der Mapping-Transformation f_k von Formel (8), wobei der Vergrößerungsfaktor k gleich 1 ist, erhalten werden, der Rendereinheit 128 zugeführt.
• Andererseits fährt, falls in Schritt S38 bestimmt wird, dass die Zoom-Operation ausgeführt wird, die Verarbeitung zu Schritt S40 fort, in dem die Eckpunktdatentransformationseinheit 127 die Eckpunktdatentransformationsverarbeitung, die die Schritte S40 bis S42 enthält, ausführt.
• In Schritt S40 als dem ersten Schritt der Eckpunktdatentransformationsverarbeitung transformiert die Zylinderkoordinatentransformationseinheit 141 die Koordinaten (x, y, z) der Eckpunktgruppendaten, die in dem Orthogonalkoordinatensystem repräsentiert sind, in die Koordinaten (t, θ, z) auf dem Zylinderkoordinatensystem auf der Basis der entsprechenden Beziehung, die durch Formel (1) ausgedrückt ist.
• In Schritt S41 führt die Skaliereinheit 142 die Skalierung basierend auf den Informationen über die Zoom-Operation durch Ausführen der Mapping-Transformation f_k aus, die die Koordinaten (t, θ, z), die auf das Zylinderkoordinatensystem transformiert sind, mit k multipliziert. Insbesondere führt die Skaliereinheit 142 die Mapping-Transformation f_k aus, die durch die Formeln (5) bis (7) repräsentiert ist.
• In Schritt S42 transformiert die Orthogonalkoordinatentransformationseinheit 143 die Koordinaten (t'cosθ', t'sinθ', z') auf dem Zylinderkoordinatensystem nach dem Skalieren in das Orthogonalkoordinatensystem. Dann werden die Eckpunktgruppendaten, die aus den fünf Elementen aus den Koordinaten (x', y', z') jedes Eckpunkts des 3D-Gittermodells, die in das Orthogonalkoordinatensystem transformiert sind, und den entsprechenden Texturkoordinaten (u, v) bestehen, der Rendereinheit 128 zugeführt.
• In Schritt S43 erzeugt die Rendereinheit 128 ein Anzeigebild durch perspektivisches Projizieren des 3D-Modellbildes auf das Gesichtsfeld des Betrachters/Zuhörers auf der Basis der Eckpunktgruppendaten, die von der Eckpunktdatentransformationseinheit 127 (ihrer Orthogonalkoordinatentransformationseinheit 143) zugeführt werden, der Texturdaten (R, G, B), die von der Mapping-Einheit 123 zugeführt werden, und des Gesichtsfelds des Betrachters/Zuhörers, das von dem Sichtliniendetektor 125 zugeführt wird.
• In Schritt S44 sendet die Rendereinheit 128 das Anzeigebild zu der am Kopf getragenen Anzeigevorrichtung 16, die veranlasst wird, es anzuzeigen.
• In Schritt S45 bestimmt die Wiedergabevorrichtung 15, ob die Wiedergabe beendet werden soll. In einem Beispiel bestimmt in einem Fall, in dem der Betrachter/Zuhörer eine Operation ausführt, um die Wiedergabe zu beenden, die Wiedergabevorrichtung 15, die Wiedergabe zu beenden.
• Falls in Schritt S45 bestimmt wird, dass die Wiedergabe nicht beendet werden soll, kehrt die Verarbeitung zu Schritt S34 zurück, und die vorstehend beschriebene Verarbeitung der Schritte S34 bis S45 wird wiederholt. Andererseits endet die Wiedergabeverarbeitung, falls in Schritt S45 bestimmt wird, dass die Wiedergabe beendet werden soll.
• (Modifikation der Wiedergabevorrichtung)
• 18 ist ein Blockdiagramm, das eine Modifikation der Wiedergabevorrichtung 15 darstellt.
• 18 ist ein Blockdiagramm, das 4 entspricht, und auch die Konfiguration des Zustellservers 13 zeigt, in 18 ist jedoch nur die Konfiguration der Wiedergabevorrichtung 15 unterschiedlich.
• Die beispielhafte Konfiguration der Wiedergabevorrichtung 15, die in 18 dargestellt ist, ist eine beispielhafte Konfiguration, die in dem Fall einsetzbar ist, in dem das Mapping-Format des omnidirektionalen Bildes das Rektangular-Mapping ist.
• Bei Vergleichen von 18 mit 4 weist die in 18 dargestellte Wiedergabevorrichtung 15 die Rendereinheit 151 auf, während die in 4 dargestellte Wiedergabevorrichtung 15 die Rendereinheit 128 aufweist. Zusätzlich ist in 18 die Eckpunktdatentransformationseinheit 127 nicht enthalten, und somit werden die Eckpunktgruppendaten, die aus der 3D-Modellerzeugungseinheit 126 ausgegeben werden, direkt der Rendereinheit 151 zugeführt. Ferner werden die Informationen über die Zoom-Operation aus der Erfassungseinheit 124 der Rendereinheit 151 zugeführt. Die Rendereinheit 151 unterscheidet sich von der Rendereinheit 128 in 4 darin, dass eine vorbestimmte Verarbeitung basierend auf den Informationen über die Zoom-Operation ausgeführt wird. Andere Komponenten in der Wiedergabevorrichtung 15 von 18 sind ähnlich denjenigen in der Wiedergabevorrichtung 15 von 4.
• In der Wiedergabevorrichtung 15 von 18 ist die Eckpunktdatentransformationseinheit 127 nicht enthalten, und somit wird die Mapping-Transformation f_k nicht ausgeführt, das heißt, die normalen Eckpunktgruppendaten werden der Rendereinheit 151 zugeführt, unabhängig davon, ob der Betrachter/Zuhörer die Zoom-Operation ausführt oder nicht.
• Die Rendereinheit 151 ändert den Maßstab der dreidimensionalen orthogonalen Raumkoordinaten (x, y, z) und der Texturkoordinaten (u, v) auf der Basis der Informationen über die Zoom-Operation, die von der Erfassungseinheit 124 zugeführt werden. In typischer 3D-Render-Software ist die API vorgesehen, um den Maßstab jeder der dreidimensionalen orthogonalen Raumkoordinaten (x, y, z) und Texturkoordinaten (u, v) zu ändern, und eine einfache Vergrößerung/Verkleinerung kann ausgeführt werden, ohne die Eckpunktdaten oder Texturdaten neu zu schreiben. In einem Beispiel können in OpenGL die Maßstäbe von sowohl x, y, z als auch u, v unter Verwendung der „glScale“-Funktion geändert werden.
• Wie in 5 dargestellt ist, ist die horizontale Achse der Rektangularprojektionstextur parallel zu dem Azimutwinkel θ der Zylinderkoordinaten. Somit kann das Mapping von θ' = kθ in der Formel (5) nur durch Skalieren der u-Achse verarbeitet werden.
• 19 stellt ein konzeptionelles Diagramm von Texturdaten, die durch Maßstabsänderung der u-Achse erhalten werden, dar.
• Der Unterschied zwischen den Texturdaten von 5 und den Texturdaten von 19 ist, dass die Position (0, 1) auf der u-Achse geändert ist. Somit ist es durch Ändern des Maßstabs der u-Achse, selbst wenn beide Texturdaten das gleiche (u, v) aufweisen, möglich, auf eine Position zuzugreifen, die durch Multiplizieren von θ mit k in Bezug auf die Texturdaten von 5 erhalten wird.
• Ähnlich ermöglicht die Skalierung der z-Achse der dreidimensionalen orthogonalen Raumkoordinaten (x, y, z), das Mapping von z' = kz in Formel (7) auszuführen.
• Mit anderen Worten führt die Rendereinheit 151 die Mapping-Transformation f_k durch eine Kombination aus der Maßstabsänderung der z-Achse der dreidimensionalen orthogonalen Raumkoordinaten (x, y, z) und der Maßstabsänderung der u-Achse der Texturkoordinaten (u, v) auf der Basis der Informationen über die Zoom-Operation aus.
• Wie in 8 dargestellt ist, macht die Verarbeitung zum Ersetzen aller Koordinaten (x, y, z) der Eckpunktgruppendaten durch die Koordinaten (x', y', z'), die der Mapping-Transformation unterzogen sind, die Verarbeitung und das erneute Schreiben einer großen Datenmenge erforderlich.
• In einem Fall jedoch, in dem das Mapping-Format des omnidirektionalen Bildes Rendereinheit-Mapping ist, ist es durch Zuführen der Eckpunktgruppendaten, die der Vergrößerung/Verkleinerung nicht unterzogen worden sind, zu der Rendereinheit 151 und Ändern des Maßstabs der Rendereinheit 151 wie in dem normalen Fall ohne Verwendung der Eckpunktdatentransformationseinheit 127, wie vorstehend beschrieben, möglich, Vergrößerung/Verkleinerungs-Anzeige in Reaktion auf die Zoom-Operation des Betrachters/Zuhörers zu erreichen. Das ermöglicht es, die Vergrößerungs/Verkleinerungs-Anzeige in Reaktion auf die Zoom-Operation leichter zu implementieren, was allgemein einen Hochgeschwindigkeitsbetrieb mit einer kleinen Menge von Code ermöglicht.
• <Zweite Ausführungsform>
• (Beispielhafte Konfiguration des Zustellsystems gemäß der zweiten Ausführungsform)
• Als Nächstes ist eine Beschreibung des Zustellsystems einer zweiten Ausführungsform gegeben, auf das die Technologie der vorliegenden Offenbarung angewandt ist.
• Die Gesamtkonfiguration des Zustellsystems 10 gemäß der zweiten Ausführungsform ist ähnlich derjenigen aus 1, so dass deren Darstellung weggelassen ist.
• In dem Fall, in dem die vorstehend beschriebene Vergrößerungsverarbeitung für das omnidirektionale Bild ausgeführt wird, ist die Auflösung in der Richtung, die betrachtet wird, notwendig, und der Bereich innerhalb des Gesichtsfeld der am Kopf getragenen Anzeigevorrichtung 16 ist verengt, und somit ist es schwierig die Richtung entgegengesetzt der Richtung, die betrachtet wird, in das Gesichtsfeld aufzunehmen.
• Somit ist das vom Ansichtsbereich abhängige Projektions-Mapping-Schema, das Mapping mit erhöhter Auflösung in einer speziellen Richtung verwendet, verfügbar. Das vom Ansichtsbereich abhängige Projektions-Mapping ist ein Schema zum Verwenden von Projektions-Mapping, das die ungleichmäßige Pixeldichte aufweist, um die Auflösung in einer speziellen Richtung zu erhöhen und Wiedergabe auszuführen, während die Daten des Projektions-Mapping Richtungen unterschiedlich hoher Auflösung aufweisen, abhängig von der Betrachtungs-/Hör-Richtung. Das vom Ansichtsbereich abhängige Projektions-Mapping ist in dem Kapitel „A.3.2.5 Truncated pyramid“ des Arbeitsentwurfs „WD on ISO/IEC 23000-20 Omnidirectional Media Application Format“ offenbart, das in der Konferenz in Genf im Juni 2016 der MPEG-Konferenz veröffentlicht ist. In diesem Schema ist die Anzahl von Pixeln, die dem vorderen Bereich zugewiesen ist, groß, und die Auflösung ist hoch. Mehrere Bitströme mit unterschiedlichen Vorderrichtungen sind vorbereitet, und die Bitströme werden reproduziert, während sie abhängig von der Richtung, in die der Betrachter/Zuhörer weist, umgeschaltet werden.
• In der zweiten Ausführungsform des Zustellsystems, die nachstehend beschrieben ist, ist eine Konfiguration eingesetzt, in der mehrere Richtungen zum Steigern der Auflösung für einen Bereich von 360 Grad in der horizontalen Richtung eingestellt sind, in die der Betrachter/Zuhörer umherblickt, wie in dem vom Ansichtsbereich abhängigen Projektions-Mapping, und die Wiedergabe wird ausgeführt, während mehrere vorbereitete Bitströme abhängig von der Richtung, in die der Betrachter/Zuhörer weist, umgeschaltet werden.
• Insbesondere sind, wie in 20 dargestellt ist, als Betrachten der sphärischen Oberfläche als ein 3D-Modell von oben, vier Richtungen dir1 bis dir4 horizontal von der Mitte der Sphäre als Richtungen zum Erhöhen der Auflösung eingestellt, und die Beschreibung ist für einen Fall zum Ausführen der Wiedergabe angegeben, während das Umschalten zwischen fünf codierten Datenströmen, die vier codierte Datenströme, die den vier Richtungen dir1 bis dir4 entsprechen, und einen codierten Datenstrom, der eine gleichmäßige Auflösung in allen Richtungen aufweist, der im Fall ohne Vergrößerungsoperation verwendet wird, aufweisen.
• 21 ist ein Blockdiagramm, das eine beispielhafte Konfiguration der Erzeugungsvorrichtung 12 des Zustellsystems 10 gemäß der zweiten Ausführungsform darstellt.
• Die Erzeugungsvorrichtung 12 in 21 weist eine Stitching-Einheit 21, Mapping-Transformationseinheiten 22-1 bis 22-5, Codierer 23-1 bis 23-5, einen Sender 24, Drehverarbeitungseinheiten 211-1 bis 211-5, eine Einstelleinheit 212 und eine Tabellenerzeugungseinheit 213 auf.
• In 21 sind die gleichen Bezugszeichen für die Abschnitte vergeben, die der Erzeugungsvorrichtung 12 in 3 entsprechen, und somit wird die Beschreibung der Abschnitte entsprechend weggelassen.
• In der Erzeugungsvorrichtung 12 von 21 ist die Drehverarbeitungseinheit 211 zusätzlich zwischen der Stitching-Einheit 21 und der Mapping-Transformationseinheit 22 in der Erzeugungsvorrichtung 12 von 3 aufgenommen, und eine Gruppe aus fünf Drehverarbeitungseinheiten 211, eine Gruppe aus fünf Mapping-Transformationseinheiten 22 und eine Gruppe aus fünf Codierern 23 sind vorgesehen. Die Anzahl (fünf) jeder Gruppe der Drehverarbeitungseinheiten 211, der Mapping-Transformationseinheiten 22 und der Codierer 23 entspricht den fünf codierten Datenströmen, die vier codierte Ströme, in denen die vier Richtungen dir1 bis dir4 in 20 Richtungen mit hoher Auflösung aufweisen, und einen codierten Datenstrom mit gleichmäßiger Auflösung, aufweisen.
• Die Stitching-Einheit 21 führt das erzeugte eine erfasste Bild den Drehverarbeitungseinheiten 211-1 bis 211-5 zu.
• Die Drehverarbeitungseinheiten 211-1 bis 211-5 drehen (verschieben) das erfasste Bild (z. B. Rektangularbilder), das von der Stitching-Einheit 21 in Rahmeneinheiten zugeführt wird, um die Mitte des Bildes, so dass die Mitte des Bildes in der Richtung hoher Auflösung ist. Die Einstelleinheit 212 weist an, welche Richtung die Richtung hoher Auflösung ist. Die Drehverarbeitungseinheiten 211-1 bis 211-5 unterscheiden sich nur in der durch die Einstelleinheit 212 spezifizierten Richtung.
• Die Mapping-Transformationseinheiten 22-1 bis 22-5 führen Mapping der erfassten Bilder, die jeweils von den Drehverarbeitungseinheiten 211-1 bis 211-5 zugeführt werden, auf ein vorbestimmtes Mapping-Format unter Verwendung des Vergrößerungsfaktors k, der von der Einstelleinheit 212 zugeführt wird, aus und erzeugen so ein omnidirektionales Bild, in dem das Pixel in der Mitte des Bildes durch den Vergrößerungsfaktor k in eine hohe Auflösung transformiert ist. In dem erzeugten omnidirektionalen Bild ist die Auflösung in der Richtung entgegengesetzt (genau hinter) der Mitte des Bildes gering.
• 22 ist ein konzeptionelles Diagramm von fünf omnidirektionalen Bildern, die durch die Mapping-Transformationseinheiten 22-1 bis 22-5 erzeugt sind.
• Das omnidirektionale Bild 231-1 ist ein Bild, das der Verarbeitung unterzogen ist, die durch die Mapping-Transformationseinheit 22-1 ausgeführt wird, und ist ein Rektangularbild, das eine gleichmäßige Auflösung in allen Richtungen um 360 Grad in der horizontalen Richtung aufweist. Die Mitte des omnidirektionalen Bildes 231-1 fällt mit der Richtung dir1 in 20 zusammen.
• Das omnidirektionale Bild 231-2 ist ein Bild, das der Verarbeitung unterzogen ist, die durch die Mapping-Transformationseinheit 22-2 ausgeführt wird, und ist ein Rektangularbild, das so transformiert ist, dass die Richtung dir1 in 20 eine hohe Auflösung aus den 360 Grad in der horizontalen Richtung aufweist.
• Das omnidirektionale Bild 231-3 ist ein Bild, das der Verarbeitung unterzogen ist, die durch die Mapping-Transformationseinheit 22-3 ausgeführt wird, und ist ein Rektangularbild, das so transformiert ist, dass die Richtung dir2 in 20 eine hohe Auflösung aus den 360 Grad in der horizontalen Richtung aufweist.
• Das omnidirektionale Bild 231-4 ist ein Bild, das der Verarbeitung unterzogen ist, die durch die Mapping-Transformationseinheit 22-4 ausgeführt wird, und ist ein Rektangularbild, das so transformiert ist, dass die Richtung dir3 in 20 eine hohe Auflösung aus den 360 Grad in der horizontalen Richtung aufweist.
• Das omnidirektionale Bild 231-5 ist ein Bild, das der Verarbeitung unterzogen ist, die durch die Mapping-Transformationseinheit 22-5 ausgeführt wird, und ist ein Rektangularbild, das so transformiert ist, dass die Richtung dir4 in 20 eine hohe Auflösung aus den 360 Grad in der horizontalen Richtung aufweist.
• In einem Beispiel ist in dem omnidirektionalen Bild 231-2 die Mitte des Bildes vergrößert, während die gleiche Richtung beibehalten ist, der Vergrößerungsfaktor nimmt ab, wenn der Abstand von der Mitte zunimmt, und der hintere Abschnitt ist gestaucht, im Vergleich zu dem omnidirektionalen Bild 231-1, das eine gleichmäßige Auflösung aufweist. In einem Fall, in dem das omnidirektionale Bild 231-2, dessen Vergrößerungsfaktor angewandt wird, als eine Textur an einem sphärischen Modell angeheftet ist, so dass es als die ursprüngliche Himmelssphäre ohne Verzerrung betrachtet werden kann, tritt ein Dichteunterschied in dem Pixel auf, und somit wird ein omnidirektionales Bild, dass in der Richtung dir1 eine hohe Auflösung aufweist, wiedergegeben.
• Die Codierer 23-1 bis 23-5 codieren die omnidirektionalen Bilder, die jeweils von den entsprechenden Mapping-Transformationseinheiten 22-1 bis 22-5 zugeführt werden, unter Verwendung eines vorbestimmten Codierungsschemas, wie z. B. des MPEG-2- oder AVC-Standards, und erzeugen codierte Datenströme.
• Der Sender 24 lädt (sendet) die codierten Datenströme der omnidirektionalen Bilder, die von den Codierern 23-1 bis 23-5 zugeführt werden, zu dem Zustellserver 13 in 1 hoch. In diesem Fall werden die fünf codierten Datenströme, die durch die Codierer 23-1 bis 23-5 erzeugt werden, dynamisch umgeschaltet und wiedergegeben, so dass die Sync-Punkte wie z. B. das Kopfbild oder IDR-Bild der Gruppe von Bildern (GOP) in einem Beispiel zwischen den fünf codierten Datenströmen, die durch die Codierer 23-1 bis 23-5 erzeugt werden, angeglichen werden.
• Die Einstelleinheit 212 bestimmt eine Richtung hoher Auflösung, die als eine Vorne-Richtung durch die fünf Gruppen aus jeder der Drehverarbeitungseinheiten 211, der Mapping-Transformationseinheiten 22 und der Codierer 23, die parallel bereitgestellt sind, in Bezug auf 360 Grad um die horizontale Richtung behandelt werden sollen. Insbesondere bestimmt die Einstelleinheit 212 vier Richtungen hoher Auflösung aus den Richtungen dir1 bis dir4 in 20 und führt sie den Drehverarbeitungseinheiten 211-1 bis 211-5 zu. In einem Beispiel führt die Einstelleinheit 212 die Richtung dir1 den Drehverarbeitungseinheiten 211-1 und 211-2, die Richtung dir2 der Drehverarbeitungseinheit 211-3, die Richtung dir3 der Drehverarbeitungseinheit 211-4 und die Richtung dir4 der Drehverarbeitungseinheit 211-4 zu.
• Zusätzlich bestimmt die Einstelleinheit 212 einen Vergrößerungsfaktor k, der angibt, wie hoch die Auflösung in der Richtung hoher Auflösung ist im Vergleich zu dem Fall, in dem die Auflösung in allen Richtungen von 360 Grad um die horizontale Richtung gleichmäßig ist, und führt sie den Mapping-Transformationseinheiten 22-1 bis 22-5 zu. In einem Beispiel führt die Einstelleinheit 212 einen Vergrößerungsfaktor k = 1,0 der Mapping-Transformationseinheit 22-1 zu und führt einen Vergrößerungsfaktor k = 2,0 den Mapping-Transformationseinheiten 22-2 bis 22-5 zu.
• Darüber hinaus führt die Einstelleinheit 212 die fünf Richtungen hoher Auflösung, die den Drehverarbeitungseinheiten 211-1 bis 211-5 zugeführt werden, und den Vergrößerungsfaktor k, der den Mapping-Transformationseinheiten 22-1 bis 22-5 zugeführt werden, der Tabellenerzeugungseinheit 213 zu.
• Die Tabellenerzeugungseinheit 213 erzeugt eine Tabelle, in der die Informationen, die die fünf Richtungen hoher Auflösung spezifizieren, und die Informationen, die den Vergrößerungsfaktor k, der von der Einstelleinheit 212 zugeführt wird, spezifizieren, für jeden Datenstrom gruppiert sind, und führt die erzeugte Tabelle dem Sender 24 als Zusatzinformationen (Metainformationen) zu.
• 23 stellt ein Beispiel einer Tabelle als Zusatzinformationen, die durch die Tabellenerzeugungseinheit 213 erzeugt ist, dar.
• Die Informationen zum Spezifizieren der Richtung hoher Auflösung sind durch einen Azimutwinkel 9, einen Elevationswinkel φ und einen Drehwinkel ψ definiert, und die Informationen, die den Vergrößerungsfaktor angeben, sind durch einen Vergrößerungsfaktor k definiert. Die Repräsentation der Richtung hoher Auflösung durch eine Kombination aus Drehungen von drei Achsen des Azimutwinkels θ, des Elevationswinkels φ und des Drehwinkels ψ ermöglicht die Beschreibung jeder Drehung. Der Vergrößerungsfaktor k entspricht dem Vergrößerungsfaktor an dem Punkt, an dem die Auflösung am höchsten ist, und der Vergrößerungsfaktor nimmt ab, wenn der Abstand von diesem Punkt zunimmt. Die Verteilung des Vergrößerungsfaktors kann verschiedene Verteilungen annehmen, abhängig von dem vom Ansichtsbereich abhängigen Projektions-Mapping-Schema.
• In 23 sind ID1 bis ID5 Identifizierungsinformationen, die verwendet werden, um die fünf codierten Datenströme, die zu dem Zustellserver 13 gesendet werden, jeweils zu identifizieren und die jeweils den omnidirektionalen Bildern 231-1 bis 231-5, die in 22 dargestellt sind, entsprechen.
• Der codierte Datenstrom von ID1 entspricht dem in 22 dargestellten omnidirektionalen Bild 231-1 und gibt an, dass ein Vergrößerungsfaktor k = 1,0 in der Mitte des Bildes in dem Einstellen der Richtung dir1 von 20 als die Mitte des Bildes, das heißt, gibt an, dass das Bild ein Rektangularbild ist, das eine in allen Richtungen gleichmäßige Auflösung aufweist.
• Der codierte Datenstrom ID2 entspricht dem in 22 dargestellten omnidirektionalen Bild 231-2 und gibt an, dass die Richtung dir1 von 20 als die Mitte des Bildes eingestellt ist und das Bild ein Rektangularbild ist, in dem die Pixel in der Richtung dir1 mit dem Vergrößerungsfaktor k = 2,0 vergrößert sind.
• Der codierte Datenstrom ID3 entspricht dem in 22 dargestellten omnidirektionalen Bild 231-3 und gibt an, dass die Richtung dir2 von 20 als die Mitte des Bildes eingestellt ist und das Bild ein Rektangularbild ist, in dem die Pixel in der Richtung dir2 mit dem Vergrößerungsfaktor k = 2,0 vergrößert sind.
• Der codierte Datenstrom ID4 entspricht dem in 22 dargestellten omnidirektionalen Bild 231-4 und gibt an, dass die Richtung dir3 von 20 als die Mitte des Bildes eingestellt ist und das Bild ein Rektangularbild ist, in dem die Pixel in der Richtung dir3 mit dem Vergrößerungsfaktor k = 2,0 vergrößert sind.
• Der codierte Datenstrom ID5 entspricht dem in 22 dargestellten omnidirektionalen Bild 231-5 und gibt an, dass die Richtung dir4 von 20 als die Mitte des Bildes eingestellt ist und das Bild ein Rektangularbild ist, in dem die Pixel in der Richtung dir4 mit dem Vergrößerungsfaktor k = 2,0 vergrößert sind.
• Der Sender 24 lädt (sendet) die Zusatzinformationen, die von der Tabellenerzeugungseinheit 213 zugeführt werden, zu dem Zustellserver 13 in 1 hoch, zusammen mit den fünf codierten Datenströmen, die von den Codierern 23-1 bis 23-5 zugeführt werden.
• Außerdem setzt das Beispiel der Erzeugungsvorrichtung 12 in 21 eine Konfiguration ein, in der die Anzahl von Richtungen hoher Auflösung, die eingestellt ist, im Voraus als vier bestimmt ist, und jede Gruppe aus den Drehverarbeitungseinheiten 211, den Mapping-Transformationseinheiten 22 und den Codierern 23 ist in der Erzeugungsvorrichtung 12 als fünf Gruppen vorgesehen, die vier Gruppen für Bilder hoher Auflösung und eine Gruppe für Bilder mit gleichmäßiger Auflösung aufweisen. Die Anzahl jeder aus den Drehverarbeitungseinheiten 211, den Mapping-Transformationseinheiten 22 und den Codierern 23 kann jedoch entsprechend der Anzahl von Richtung hoher Auflösung, die optional durch die Einstelleinheit 212 bestimmt wird, variabel sein.
• In 21 ist eine Zuführungsleitung zum Zuführen vorbestimmter Daten (Richtung hoher Auflösung oder Vergrößerungsfaktor) von der Einstelleinheit 212 zu den Drehverarbeitungseinheiten 211-1 bis 211-5 und den Mapping-Transformationseinheiten 22-1 bis 22-5 weggelassen.
• (Beispielhafte Konfiguration des Zustellservers und der Wiedergabevorrichtung)
• 24 ist ein Blockdiagramm, das eine beispielhafte Konfiguration des Zustellservers 13 und der Wiedergabevorrichtung 15 des Zustellsystems 10 gemäß der zweiten Ausführungsform darstellt.
• In 24 sind die gleichen Bezugszeichen für die Abschnitte vergeben, die 4 entsprechen, und somit wird die Beschreibung der Abschnitte entsprechend weggelassen.
• Der Zustellserver 13 weist den Empfänger 101, eine Speichervorrichtung 251 und einen Sender/Empfänger 252 auf.
• Der Empfänger 101 empfängt die fünf codierten Datenströme und die Zusatzinformationen, die von der Erzeugungsvorrichtung 12 in 1 hochgeladen werden, und führt sie der Speichervorrichtung 251 zu.
• Die Speichervorrichtung 251 speichert die fünf codierten Datenströme und die Zusatzinformationen, die von dem Empfänger 101 zugeführt werden.
• Der Sender/Empfänger 252 liest die in der Speichervorrichtung 251 gespeicherten Zusatzinformationen in Reaktion auf eine Anforderung von der Wiedergabevorrichtung 15 und sendet die Zusatzinformationen über das Netzwerk 14 zu der Wiedergabevorrichtung 15.
• Zusätzlich liest der Sender/Empfänger 252 einen vorbestimmten aus den fünf in der Speichervorrichtung 251 gespeicherten codierten Datenströmen in Reaktion auf eine Anforderung von der Wiedergabevorrichtung 15 und sendet ihn über das Netzwerk 14 zu der Wiedergabevorrichtung 15. Der eine codierte Datenstrom, der von dem Sender/Empfänger 252 zu der Wiedergabevorrichtung 15 gesendet wird, wird abhängig von der Anforderung von der Wiedergabevorrichtung 15 entsprechend geändert.
• Außerdem wird die Änderung des codierten Datenstroms, der gesendet werden soll, an dem Sync-Punkt ausgeführt. Somit wird der codierte Datenstrom, der gesendet werden soll, in Einheiten von mehreren Rahmen bis mehreren zehn Rahmen geändert. Zusätzlich ist, wie vorstehend beschrieben, der Sync-Punkt für alle fünf codierten Datenströme gleich. Somit kann der Sender/Empfänger 252 das erfasste Bild, das in der Wiedergabevorrichtung 15 wiedergegeben werden soll, durch Wechseln des codierten Datenstroms, der gesendet werden soll, an dem Sync-Punkt einfach umschalten.
• Die Wiedergabevorrichtung 15 weist eine Kamera 15A, einen Sender/Empfänger 121, einen Decodierer 122, eine Erfassungseinheit 124, einen Sichtliniendetektor 125, eine Eckpunktdatentransformationseinheit 127, eine Rendereinheit 128, eine Datenstrombestimmungseinheit 271, eine 3D-Modellerzeugungseinheit 272 und eine Mapping-Einheit 273 auf.
• Somit weist im Vergleich zu der Wiedergabevorrichtung 15 gemäß der ersten Ausführungsform die Wiedergabevorrichtung 15 gemäß der zweiten Ausführungsform eine 3D-Modellerzeugungseinheit 272 und die Mapping-Einheit 273 anstelle der 3D-Modellerzeugungseinheit 126 bzw. der Mapping-Einheit 123 auf und ist zusätzlich mit der Datenstrombestimmungseinheit 271 ausgestattet.
• Die Datenstrombestimmungseinheit 271 wird von dem Sender/Empfänger 121 mit den Zusatzinformationen versorgt. Zuhörers wird die Datenstrombestimmungseinheit 271 mit den Informationen über die Zoom-Operation von der Erfassungseinheit 124 versorgt und wird mit der Sichtlinienrichtung des Betrachters/Zuhörers von dem Sichtliniendetektor 125 versorgt.
• Die Datenstrombestimmungseinheit 271 (Auswahleinheit) bestimmt (wählt aus) einen vorbestimmten aus den fünf codierten Datenströmen, der aus dem Zustellserver 13 zu erhalten ist, auf der Basis der Sichtlinienrichtung des Betrachters/Zuhörers, der Informationen über die Zoom-Operation und der Zusatzinformationen.
• Insbesondere bestimmt die Datenstrombestimmungseinheit 271 den Datenstrom von ID1 in 23 als den angeforderten Strom in dem Fall, in dem die Zoom-Operation nicht ausgeführt wird, und bestimmt irgendeinen Strom aus ID2 bis ID5, der der Sichtlinienrichtung des Betrachters/Zuhörers entspricht, als einen angeforderten Strom in dem Fall, in dem die Zoom-Operation ausgeführt wird.
• Die Datenstrombestimmungseinheit 271 führt die Datenstromauswahlinformationen, die den ausgewählten codierten Datenstrom angeben, dem Sender/Empfänger 121 zu. Der Sender/Empfänger 121 sendet die Datenstromauswahlinformationen von der Datenstrombestimmungseinheit 271 über das Netzwerk 14 zu dem Zustellserver 13.
• In einem Fall, in dem der codierte Datenstrom, der von dem Zustellserver 13 gesendet wird, abhängig von den Datenstromauswahlinformationen geändert wird, führt der Sender/Empfänger 121 Datenstrominformationen, die die Änderung des codierten Datenstroms angeben, der 3D-Modellerzeugungseinheit 272 und der Mapping-Einheit 273 zu.
• Die 3D-Modellerzeugungseinheit 272 erzeugt Daten des 3D-Gittermodells, die dem codierten Datenstrom entsprechen, der von dem Zustellserver 13 gesendet wird, und führt die Daten der Eckpunktdatentransformationseinheit 127 zu. Insbesondere erzeugt die 3D-Modellerzeugungseinheit 272 Eckpunktgruppendaten, in denen die Koordinaten (x, y, z) jedes Eckpunkts in den Eckpunktgruppendaten, die die Koordinaten (x, y, z) jedes Eckpunkts des 3D-Modells und die entsprechenden Texturkoordinaten (u, v) aufweisen, auf der Basis der Richtungen dir1 bis dir4, die die Richtung hoher Auflösung angeben, drehend korrigiert sind, und führt sie der Eckpunktdatentransformationseinheit 127 zu.
• Die Mapping-Einheit 273 erzeugt die Texturdaten (R, G, B), die den Texturkoordinaten (u, v) entsprechen, auf der Basis des UV-Mapping-Modells, das so korrigiert ist, dass die Mitte des omnidirektionalen Bildes, das von dem Decodierer 122 zugeführt wird, eine hohe Auflösung mit dem Vergrößerungsfaktor k aufweist.
• Außerdem können die Richtung hoher Auflösung und der Vergrößerungsfaktor k des codierten Datenstroms, die gesendet werden, von der Datenstrombestimmungseinheit 271 zugeführt werden oder können als Teil der Datenstrominformationen von dem Sender/Empfänger 121 auf der Basis der Inhalte, die in den Metadaten des codierten Datenstroms, der gesendet wird, enthalten sind, zugeführt werden.
• Andere Komponenten des Zustellservers 13 und der Wiedergabevorrichtung 15 in 24 sind ähnlich denjenigen des Zustellservers 13 und der Wiedergabevorrichtung 15 in 4.
• (Verarbeitung in der Erzeugungsvorrichtung)
• 25 ist ein Ablaufplan, der dargestellt ist, um die durch die Erzeugungsvorrichtung 12 in 21 ausgeführte Erzeugungsverarbeitung darzustellen. Diese Verarbeitung wird in einem Beispiel gestartet, wenn Bewegtbilder in sechs Richtungen, die durch die sechs Kameras 11A-1 bis 11A-6 der Bildaufnahmevorrichtung 11 erfasst werden, zuführt werden.
• In Schritt S61 als dem ersten Schritt gleicht die Stitching-Einheit 21 die Farben oder die Helligkeit der erfassten Bilder in den sechs Richtungen, die aus den entsprechenden Kameras 11A zugeführt werden, für jeden Rahmen an, entfernt Überlappungen zum Verbinden und transformiert sie dann in ein einziges erfasstes Bild. Die Stitching-Einheit 21 erzeugt in einem Beispiel ein Rektangularbild als ein erfasstes Bild und führt das Rektangularbild in Rahmeneinheiten der Drehverarbeitungseinheit 211 zu.
• In Schritt S62 bestimmt ein Einstelleinheit 212 die fünf Richtungen hoher Auflösung und den Vergrößerungsfaktor. Die Einstelleinheit 212 führt die bestimmten fünf Richtungen hoher Auflösung den Drehverarbeitungseinheiten 211-1 bis 22-5 eine nach der anderen zu und führt den bestimmten Vergrößerungsfaktor den Mapping-Einheiten 22-1 bis 22-5 zu. Insbesondere wird die Richtung dir1 in 20 den Drehverarbeitungseinheiten 211-1 und 211-2 zugeführt, die Richtung dir2 in 20 wird der Drehverarbeitungseinheit 211-3 zugeführt, und die Richtung dir3 in 20 wird der Drehverarbeitungseinheit 211-4 zugeführt, und die Richtung dir4 in 20 wird der Drehverarbeitungseinheit 211-4 zugeführt. Für den Vergrößerungsfaktor wird der Vergrößerungsfaktor k = 1,0 der Mapping-Transformationseinheit 22-1 zugeführt, und der Vergrößerungsfaktor k = 2,0 wird den Mapping-Transformationseinheiten 22-2 bis 22-5 zugeführt. Zusätzlich führt die Einstelleinheit 212 die bestimmten fünf Richtungen hoher Auflösung und den Vergrößerungsfaktor auch der Tabellenerzeugungseinheit 213 zu.
• In Schritt S63 dreht die Drehverarbeitungseinheit 211 das erfasste Bild (z. B. ein Rektangularbild) der Rahmeneinheit, die von der Stitching-Einheit 21 zugeführt wird, so dass die Richtung hoher Auflösung, die durch die Einstelleinheit 212 spezifiziert ist, die Mitte des Bildes ist.
• In Schritt S64 führt die Mapping-Einheit 22 die Mapping-Transformationsverarbeitung zum Transformieren des erfassten Bildes, das durch die Drehverarbeitungseinheit 211 gedreht ist, in ein Mapping-Format zum Mapping auf ein vorbestimmtes 3D-Modell aus. In der Mapping-Transformationsverarbeitung wird Mapping ausgeführt, so dass die Mitte des erfassten Bildes die höchste Auflösung aufweist, abhängig von dem Vergrößerungsfaktor k.
• In Schritt S65 codiert der Codierer 23 das omnidirektionale Bild, das von der Mapping-Einheit 22 zugeführt wird, unter Verwendung eines vorbestimmten Codierungsschemas wie z. B. des MPEG-2- oder AVC-Standards, um einen codierten Datenstrom zu erzeugen. Der Codierer 23 führt den codierten Datenstrom, der erzeugt wird, dem Sender 24 zu.
• Die Verarbeitung der Schritte S63 bis S65 wird parallel in fünf Gruppen aus jeder der Drehverarbeitungseinheiten 211, der Mapping-Einheiten 22 und der Codierer 23 ausgeführt, und insgesamt fünf codierte Datenströme werden dem Sender 24 zugeführt.
• In Schritt S66 erzeugt die Tabellenerzeugungseinheit 213 als Zusatzinformationen eine Parametertabelle, in der Informationen, die verwendet werden, um fünf Richtungen hoher Auflösung zu spezifizieren, und Informationen, die einen Vergrößerungsfaktor angeben, für jeden Datenstrom gruppiert sind, und führt sie dem Sender 24 zu.
• In Schritt S67 lädt der Sender 24 insgesamt fünf codierte Datenströme, die von den fünf Codierern 23 zugeführt werden, und die Zusatzinformationen, die von der Tabellenerzeugungseinheit 213 zugeführt werden, zu dem Zustellserver 13 hoch.
• (Beschreibung der Verarbeitung in der Wiedergabevorrichtung)
• 26 ist ein Ablaufplan, der dargestellt ist, um die durch die Wiedergabevorrichtung 15 in 24 ausgeführte Wiedergabeverarbeitung darzustellen. Diese Wiedergabeverarbeitung wird in einem Beispiel gestartet, wenn die Wiedergabevorrichtung 15 ein Einschalten oder eine Verarbeitungsstartoperation detektiert.
• In Schritt S101 als dem ersten Schritt fordert der Sender/Empfänger 121 Zusatzinformationen von dem Zustellserver 13 an und empfängt die von dem Sender/Empfänger 252 des Zustellservers 13 als Reaktion auf die Anforderung gesendeten Zusatzinformationen. Der Sender/Empfänger 121 führt die erhaltenen Zusatzinformationen der Datenstrombestimmungseinheit 271 zu.
• In Schritt S102 erfasst die Erfassungseinheit 124 das Detektionsergebnis des Gyrosensors 16B in 1 aus der am Kopf getragenen Anzeigevorrichtung 16 und führt das Ergebnis dem Sichtliniendetektor 125 zu.
• In Schritt S103 bestimmt der Sichtliniendetektor 125 eine Sichtlinienrichtung des Betrachters/Zuhörers in dem Koordinatensystem des 3D-Modells auf der Basis des Detektionsergebnisses des Gyrosensors 16B, das von der Erfassungseinheit 124 zugeführt werden soll, und führt die Richtung der Datenstrombestimmungseinheit 271 zu.
• In Schritt S104 bestimmt der Sichtliniendetektor 125 die Betrachtungs/Hör-Position und das Gesichtsfeld des Betrachters/Zuhörers in dem Koordinatensystem des 3D-Modells und führt sie der Rendereinheit 128 zu. Insbesondere erfasst der Sichtliniendetektor 125 ein aufgenommenes Bild der Markierung 16A aus der Kamera 15A und detektiert eine Betrachtungs/Hör-Position in dem Koordinatensystem des 3D-Modells auf der Basis des aufgenommenen Bilds. Dann bestimmt der Sichtliniendetektor 125 das Gesichtsfeld des Betrachters/Zuhörers in dem 3D-Modell-Koordinatensystem auf der Basis der detektierten Betrachtungs-Position und Sichtlinienrichtung.
• In Schritt S105 erfasst die Erfassungseinheit 124 die Informationen über die Zoom-Operation von der am Kopf getragenen Anzeigevorrichtung 16 und führt die Informationen der Eckpunktdatentransformationseinheit 127 und der Datenstrombestimmungseinheit 271 zu.
• In Schritt S106 bestimmt (wählt aus) die Datenstrombestimmungseinheit 271 einen codierten Datenstrom unter den fünf codierten Datenströmen, der von dem Zustellserver 13 erhalten werden kann, auf der Basis der Sichtlinienrichtung des Betrachters/Zuhörers, des Vorhandenseins oder Fehlens einer Zoom-Operation und der Zusatzinformationen. Dann versorgt die Datenstrombestimmungseinheit 271 den Sender/Empfänger 121 mit Datenstromauswahlinformationen, die den ausgewählten codierten Datenstrom angeben.
• In Schritt S107 fordert der Sender/Empfänger 121 einen codierten Datenstrom, der den von der Datenstrombestimmungseinheit 271 zugeführten Datenstromauswahlinformationen entspricht, über das Netzwerk 14 von dem Zustellserver 13 an und erfasst den einen von den Sender/Empfängern 252 des Zustellservers 13 in Reaktion auf die Anforderung gesendeten codierten Datenstrom. Der Sender/Empfänger 121 führt den erhaltenen einen codierten Datenstrom dem Decodierer 122 zu. Zusätzlich führt der Sender/Empfänger 121 Datenstrominformationen, die angeben, dass der Datenstrom geändert ist, der 3D-Modellerzeugungseinheit 272 und der Mapping-Einheit 273 zu.
• In Schritt S108 decodiert der Decodierer 122 den codierten Datenstrom, der von dem Sender/Empfänger 121 zugeführt wird, um ein omnidirektionales Bild zu erzeugen. Der Decodierer 122 führt das erzeugte omnidirektionale Bild der Mapping-Einheit 273 zu.
• In dem Schritt S109 erzeugt die Mapping-Einheit 273 Texturdaten (R, G, B), die den Texturkoordinaten (u, v) des vorbestimmten 3D-Modells entsprechen, unter Verwendung des omnidirektionalen Bildes, das aus dem Decodierer 122 zugeführt wird. In diesem Fall erzeugt die Mapping-Einheit 273 Texturdaten (R, G, B) basierend auf einem UV-Mapping-Modell, das korrigiert ist, so dass die Mitte des omnidirektionalen Bildes eine hohe Auflösung mit dem Vergrößerungsfaktor k aufweist, auf der Basis der Datenstrominformationen, die von dem Sender/Empfänger 121 zugeführt sind. Außerdem sind in dem Fall, in dem der Vergrößerungsfaktor k gleich 1,0 ist, die Texturdaten (R, G, B) Texturdaten ohne Vergrößerung/Verkleinerung, das heißt eine gleichmäßige Auflösung. Die Mapping-Einheit 273 führt die Texturdaten durch Speichern der erzeugten Texturdaten in einem für die Rendereinheit 128 zugänglichen Texturpuffer der Rendereinheit 128 zu.
• In Schritt S110 erzeugt die 3D-Modellerzeugungseinheit 272 Daten eines 3D-Gittermodells in einem virtuellen 3D-Raum und führt die Daten der Eckpunktdatentransformationseinheit 127 zu. Diese Daten des 3D-Gittermodells sind die Eckpunktgruppendaten, in denen die Koordinaten (x, y, z) jedes Eckpunkts der Eckpunktgruppendaten, die die Koordinaten (x, y, z) jedes Eckpunkts des 3D-Modells und die entsprechenden Texturkoordinaten (u, v) aufweisen, auf der Basis der Richtungen dir1 bis dir4, die die Richtung hoher Auflösung wie in 7 dargestellt angeben, drehend korrigiert sind.
• In Schritt S111 führt die Eckpunktdatentransformationseinheit 127 die Eckpunktdatentransformationsverarbeitung auf der Basis der Informationen über die Zoom-Operation, die von der Erfassungseinheit 124 zugeführt werden, aus. Diese Eckpunktdatentransformationsverarbeitung ist ähnlich der in den Schritten S38 bis S42 von 17 ausgeführten Verarbeitung. Insbesondere führt die Eckpunktdatentransformationseinheit 127 die Eckpunktgruppendaten, die von der 3D-Modellerzeugungseinheit 272 zugeführt werden, in dem Fall, in dem keine Zoom-Operation ausgeführt wird, der Rendereinheit 128 ohne Transformation zu. Andererseits transformiert die Eckpunktdatentransformationseinheit 127 in dem Fall, in dem eine Zoom-Operation ausgeführt wird, die Eckpunktgruppendaten des Orthogonalkoordinatensystems, die von der 3D-Modellerzeugungseinheit 272 zugeführt werden, in das Zylinderkoordinatensystem und führt Mapping-Transformation f_k entsprechend der Zoom-Operation aus. Dann bringt die Eckpunktdatentransformationseinheit 127 die Eckpunktgruppendaten in dem Zylinderkoordinatensystem wieder in das Orthogonalkoordinatensystem zurück und führt sie der Rendereinheit 128 zu.
• In Schritt S112 erzeugt die Rendereinheit 128 ein Anzeigebild durch perspektivisches Projizieren des 3D-Modellbildes auf das Gesichtsfeld des Betrachters/Zuhörers auf der Basis der Eckpunktgruppendaten, die von der Eckpunktdatentransformationseinheit 127 (ihrer Orthogonalkoordinatentransformationseinheit 143) zugeführt werden, der Texturdaten (R, G, B), die von der Mapping-Einheit 273 zugeführt werden, und des Gesichtsfeld des Betrachters/Zuhörers, das von dem Sichtliniendetektor 125 zugeführt wird.
• In Schritt S113 sendet die Rendereinheit 128 das Anzeigebild zu der am Kopf getragenen Anzeigevorrichtung 16, die veranlasst wird, es anzuzeigen.
• In Schritt S114 bestimmt die Wiedergabevorrichtung 15, ob die Wiedergabe beendet werden soll. In einem Beispiel bestimmt in einem Fall, in dem der Betrachter/Zuhörer eine Operation ausführt, um die Wiedergabe zu beenden, die Wiedergabevorrichtung 15, die Wiedergabe zu beenden.
• Falls in Schritt S114 bestimmt wird, dass die Wiedergabe nicht beendet werden soll, kehrt die Verarbeitung zu Schritt S102 zurück, und die vorstehend beschriebene Verarbeitung der Schritte S102 bis S114 wird wiederholt. Andererseits endet die Wiedergabeverarbeitung, falls in Schritt S114 bestimmt wird, dass die Wiedergabe beendet werden soll.
• Die vorstehend beschriebene Wiedergabeverarbeitung ermöglicht, dass die Datenstrombestimmungseinheit 271 der Wiedergabevorrichtung 15 einen Datenstrom auswählt, der dem omnidirektionalen Bild 231-1 entspricht, das die gleichmäßige Auflösung aufweist, und es in einem Fall, in dem der Betrachter/Zuhörer die Zoom-Operation (Vergrößerungsoperation) nicht ausführt, von dem Zustellserver 13 anfordert. Dann wird ein Bild, das durch perspektivisches Projizieren des sphärischen Modells, auf das das omnidirektionale Bild 231-1, das die gleichmäßige Auflösung aufweist, angeheftet ist, auf das Gesichtsfeld des Betrachters/Zuhörers erhalten wird, auf der am Kopf getragenen Anzeigevorrichtung 16 als ein Anzeigebild angezeigt.
• Andererseits wählt in dem Fall, in dem der Betrachter/Zuhörer die Zoom-Operation (Vergrößerungsoperation) ausführt, die Datenstrombestimmungseinheit 271 der Wiedergabevorrichtung 15 die Richtungen dir1 bis dir4 aus, die der Sichtlinienrichtung des Betrachters/Zuhörers am nächsten ist, wählt einen Datenstrom aus, der dem omnidirektionalen Bild (einem aus den omnidirektionalen Bildern 231-2 bis 231-5) entspricht, das die ausgewählte Richtung (eine aus den Richtungen dir1 bis dir4) aufweist, als die Richtung hoher Auflösung aus und fordert ihn von dem Zustellserver 13 an. Dann wird bewirkt, dass ein Bild, das durch perspektivisches Projizieren eines sphärischen Modells, an dem das erhaltene omnidirektionale Bild (eines aus den omnidirektionalen Bildern 231-2 bis 231-5), das eine hohe Auflösung in der Mitte des Bildes aufweist, angeheftet ist, auf das Gesichtsfeld des Betrachters/Zuhörers erhalten wird, auf der am Kopf getragenen Anzeigevorrichtung 16 als ein Anzeigebild angezeigt wird.
• In dem Fall, in dem der Betrachter/Zuhörer die Verkleinerungsoperation ausführt, ermöglicht die durch die Eckpunktdatentransformationseinheit 127 ausgeführte Eckpunktdatentransformationsverarbeitung, dass das Anzeigebild unter Verwendung des sphärischen Modells, in dem das omnidirektionale Bild 231-1, das eine gleichmäßige Auflösung aufweist, gestaucht und angeheftet ist, erzeugt wird, was ähnlich der ersten Ausführungsform ist.
• Die Zustellsysteme gemäß der ersten und zweiten Ausführungsform, die vorstehend beschrieben sind, ermöglichen in dem Fall, in dem die Skalierungsoperation ausgeführt wird, nur, dass die Eckpunktdatentransformationseinheit 127 die Eckpunktdatentransformationsverarbeitung ausführt, in der die Fünfelemente-Eckpunktgruppendaten aus den Koordinaten (x, y, z) und den Texturkoordinaten (u, v) in Fünfelemente-Eckpunktgruppendaten aus den Koordinaten (x', y', z') und den Texturkoordinaten (u, v), die dem Vergrößerungsfaktor k entsprechen, transformiert werden und umgeordnet werden. Die Verarbeitung durch die Rendereinheit 128, die ein perspektivisches Projektionsbild des Gesichtsfelds des Betrachters/Zuhörers erzeugt, um von dem Inneren des 3D-Modells rundum zu blicken, unterscheidet sich nicht von dem Fall, in dem die Skalierungsoperation nicht ausgeführt wird.
• Die Eckpunktdatentransformationseinheit 127 stellt eine vertikale Richtung (vertikale Richtung z) und eine horizontale Drehrichtung (Azimutwinkel θ) unter Verwendung der vertikalen Richtung als eine Drehachse ein und führt die Koordinatentransformationsverarbeitung unabhängig für jede Richtung aus, um Vergrößerung/Verkleinerung auf dem omnidirektionalen Bild auszuführen. Mit anderen Worten führt die Eckpunktdatentransformationseinheit 127 die Mapping-Transformation f_k aus, die die horizontale Drehrichtung (Azimutwinkel θ) mit k multipliziert und die vertikale Richtung (vertikale Richtung z) mit k multipliziert.
• Durch Einstellen der z-Achse des Orthogonalkoordinatensystems (x, y, z), die die vertikale Richtung ist, als die Richtung der Schwerkraft, ist die Ebene bei z = 0 eine horizontale Ebene wie der Boden, und die Richtung der Schwerkraft und die horizontale Richtung vor und nach der Koordinatentransformationsverarbeitung werden beibehalten, und somit ist es möglich, das Auftreten von Bewegungskrankheit aufgrund der Neigung der Szenerie zu verhindern. Mit anderen Worten gibt es keine Fehlanpassung zwischen dem Drehwinkel des Kopfes und dem Drehwinkel des Bildes, und somit ist es möglich, eine Vergrößerungs/Verkleinerungs-Anzeige des Bildes zu erreichen, während das Auftreten von Bewegungskrankheit vermieden wird.
• Der Vergrößerungsfaktor k in der Mapping-Transformation f_k ist kontinuierlich variabel und kann selbst während der Wiedergabe eines Bewegtbildes geändert werden. Die vertikale Richtung wird beibehalten, selbst wenn der Vergrößerungsfaktor k verändert wird, und somit ist es unwahrscheinlich, dass eine Bewegungskrankheit auftritt. In dem Fall, in dem der Betrachter/Zuhörer die Vergrößerungsoperation ausführt, ist das horizontale Bild über 360 Grad oder mehr, jedoch sind in der Konfiguration, die das Rendern ausführt, so dass das horizontale Bild in einem normalen Fall kontinuierlich ist, sind alle Richtungen, die aufgezeichnet sind, über zusätzliche Drehung durch die vergrößerte Bildvergrößerung zu betrachten. Andererseits ist in dem Fall, in dem die Verkleinerungsoperation ausgeführt wird, das horizontale Bild über 360 Grad oder weniger, und somit ist es möglich, das Bild um den gesamten Umfang mit weniger Drehung des Halses zu betrachten.
• <Andere Modifikationen>
• (Andere Beispiele des codierten Datenstroms)
• In jeder der vorstehend beschriebenen Ausführungsformen ist das omnidirektionale Bild, das als ein codierter Datenstrom gesendet werden soll, ein omnidirektionales Bild eines 2D-Bildes, das als das gleiche Bild auf dem linken und dem rechten Auge des Betrachters/Zuhörers angezeigt wird, es kann jedoch ein omnidirektionales Bild für ein 3D-Bild sein, das durch Kombinieren (Packen) des omnidirektionalen Bildes für das linke Auge und des omnidirektionalen Bildes für das rechte Auge erhalten wird.
• Insbesondere kann, wie in dem Abschnitt A von 27 dargestellt ist, das omnidirektionale Bild in einem Beispiel ein gepacktes Bild 420 sein, das durch Packen eines omnidirektionalen Bildes 421 für das linke Auge und eines omnidirektionalen Bildes 422 für des rechte Auge in der seitlichen Richtung (horizontalen Richtung) erhalten wird.
• Ferner kann, wie in dem Abschnitt B von 27 dargestellt ist, das omnidirektionale Bild in einem Beispiel ein gepacktes Bild 440 sein, das durch Packen des omnidirektionalen Bildes 421 für das linke Auge und des omnidirektionalen Bildes 422 für des rechte Auge in der Längsrichtung (senkrechten Richtung) erhalten wird.
• Das omnidirektionale Bild 421 für das linke Auge ist ein Bild, das durch perspektivisches Projizieren des omnidirektionalen Bildes aus dem Blickwinkel des linken Auges, das auf die Sphäre gemappt ist, auf das Gesichtsfelds des linken Auges mit der Mitte der Sphäre als dem Mittelpunkt erhalten wird. Zusätzlich ist das omnidirektionale Bild 422 für das rechte Auge ein Bild, das durch perspektivisches Projizieren des omnidirektionalen Bildes aus dem Blickwinkel des rechten Auges, das auf die Sphäre gemappt ist, auf das Gesichtsfelds des rechten Auges mit der Mitte der Sphäre als dem Mittelpunkt erhalten wird.
• In dem Fall, in dem das omnidirektionale Bild ein gepacktes Bild ist, teilt die Mapping-Einheit 123 in 4 das gepackte Bild, das als ein Ergebnis der Decodierung durch den Decodierer 122 erhalten wird, in ein omnidirektionales Bild für das linke Auge und ein omnidirektionales Bild für das rechte Auge auf. Dann erzeugt die Mapping-Einheit 123 Texturdaten (R, G, B) für jeden aus dem Blickwinkel des linken Auges und dem Blickwinkel des rechten Auges, und die Rendereinheit 128 rendert ein Anzeigebild unter Verwendung eines 3D-Modellbildes für jeden aus dem Blickwinkel des rechten Auges und dem Blickwinkel des linken Auges.
• Das ermöglicht, dass die am Kopf getragene Anzeigevorrichtung 16 in dem Fall, dass 3D-Anzeige möglich ist, die Anzeigebilder für den Blickwinkel des linken Auge und den Blickwinkel des rechten Auges als ein Bild für das linke Auge bzw. ein Bild für das rechte Auge anzeigt, was zum Anzeigen des Bildes als 3D führt.
• (Beispiel für Live-Streaming)
• In jeder der vorstehend beschriebenen Ausführungsformen werden ein oder mehrere codierte Datenströme und Zusatzinformationen, die durch die Erzeugungsvorrichtung 12 erzeugt werden, einmal in der Speichervorrichtung 102 oder 251 des Zustellservers 13 gespeichert, und dann sendet der Zustellserver 13 den codierten Datenstrom und die Zusatzinformationen zu der Wiedergabevorrichtung 15 in Reaktion auf eine Anforderung von der Wiedergabevorrichtung 15.
• Ein oder mehrere codierte Datenströme und Zusatzinformationen, die durch die Erzeugungsvorrichtung 12 erzeugt sind, können jedoch in Echtzeit zugestellt werden (Live-Streaming), ohne dass sie in der Speichervorrichtung 102 oder 251 des Zustellservers 13 gespeichert sind. In diesem Fall werden die Daten, die über den Empfänger 101 des Zustellservers 13 empfangen werden, sofort von dem Sender/Empfänger 103 oder 252 zu der Wiedergabevorrichtung 15 gesendet.
• (Anderes)
• Darüber hinaus ist in der vorstehend beschriebenen Ausführungsform das erfasste Bild ein Bewegtbild, es kann jedoch ein Standbild sein. Zusätzlich ist in der vorstehend beschriebenen Ausführungsform ein Beispiel beschrieben, in dem ein um 360 Grad (allen Richtungen) erfasstes omnidirektionales Bild verwendet ist, die Technologie gemäß der vorliegenden Offenbarung ist jedoch nicht auf ein Bild beschränkt, das alle Richtungen abdeckt, es ist auf irgendein Weitwinkelbild (das als Panoramabild bezeichnet ist) in einem Bereich enger als 360 Grad anwendbar. Beispiele für das Weitwinkelbild enthalten ein omnidirektionales 360-Grad-Bild (alle Richtungen), ein omnidirektionales Bild, ein Bild in allen Richtungen, ein 360-Grad-Panoramabild oder dergleichen.
• Das Zustellsystem 10 kann eine stationäre Anzeigevorrichtung anstelle der am Kopf getragenen Anzeigevorrichtung 16 aufweisen. In diesem Fall muss die Wiedergabevorrichtung 15 die Kamera 15A nicht aufweisen, und somit werden die Betrachtungs/Hör-Position und die Sichtlinienrichtung auf der Basis von Informationen detektiert, die die Bedienung der Steuereinheit 16C durch den Betrachter/Zuhörer betreffen.
• Ferner kann das Zustellsystem 10 ein mobiles Endgerät anstelle der Wiedergabevorrichtung 15 und der am Kopf getragenen Anzeigevorrichtung 16 aufweisen. In diesem Fall führt das mobile Endgerät die Verarbeitung der Wiedergabevorrichtung 15 außer der Kamera 15A aus und veranlasst, dass ein Anzeigebild auf einer Anzeigevorrichtung des mobilen Endgeräts angezeigt wird. Der Betrachter/Zuhörer gibt die Betrachtungs/Hör-Position und die Sichtlinienrichtung durch Ändern der Stellung des mobilen Endgeräts ein, und das mobile Endgerät erfasst die eingegebene Betrachtungs/Hör-Position und Sichtlinienrichtung durch Veranlassen, dass der eingebaute Gyrosensor die Stellung des mobilen Endgeräts detektiert.
• <Beispiel der Computerkonfiguration>
• Die vorstehend beschriebene Folge von Prozessen kann durch Hardware ausgeführt werden, und sie kann auch in Software ausgeführt werden. In dem Fall der Ausführung der Folge von Prozessen durch Software ist ein Programm, das die Software bildet, auf einem Computer installiert. Hier enthält der Begriff Computer einen Computer, der in Spezial-Hardware eingebaut ist, einen Computer, der zum Ausführen verschiedener Funktionen durch Installieren verschiedener Programme darauf fähig ist, wie beispielsweise einen Allzweck-Personalcomputer, und dergleichen.
• 28 ist ein Blockdiagramm, das eine beispielhafte Hardware-Konfiguration eines Computers, der die vorstehend beschriebene Folge von Prozessen gemäß einem Programm ausführt, darstellt.
• In dem Computer 900 sind eine zentrale Verarbeitungseinheit (CPU) 901, ein Festwertspeicher (ROM) 902 und ein Direktzugriffsspeicher (RAM) 903 durch einen Bus 904 miteinander verbunden.
• Zusätzlich ist eine Eingabe/Ausgabe-Schnittstelle 905 mit dem Bus 904 verbunden. Eine Eingabeeinheit 906, eine Ausgabeeinheit 907, eine Speichereinheit 908, eine Kommunikationseinheit 909 und ein Laufwerk 910 sind mit der Eingabe/Ausgabe-Schnittstelle 905 verbunden.
• Die Eingabeeinheit 906 weist beispielsweise eine Tastatur, eine Maus, ein Mikrofon und dergleichen auf. Die Ausgabeeinheit 907 weist beispielsweise eine Anzeigevorrichtung, einen Lautsprecher und dergleichen auf. Die Speichereinheit 908 weist beispielsweise eine Festplatte, nichtflüchtigen Speicher und dergleichen auf. Die Kommunikationseinheit 909 weist beispielsweise eine Netzwerkschnittstelle auf. Das Laufwerk 910 treibt ein herausnehmbares Medium 911 wie z. B. eine Magnetplatte, eine optische Platte, eine magneto-optische Platte oder einen Halbleiterspeicher an.
• In einem Computer 900, der wie vorstehend ausgebildet ist, wird die vorstehend beschriebene Folge von Prozessen dadurch ausgeführt, dass beispielsweise die CPU 901 veranlasst wird, ein im der Speichereinheit 908 gespeichertes Programm über die Eingabe/Ausgabe-Schnittstelle 905 und den Bus 904 in den RAM 903 zu laden und das Programm auszuführen.
• Das durch den Computer 900 (die CPU 901) ausgeführte Programm kann beispielsweise auf dem herausnehmbaren Medium 911, das als ein Paketmedium oder dergleichen zur Zuführung dient, aufgezeichnet sein. Zusätzlich kann das Programm über ein drahtgebundenes oder drahtloses Übertragungsmedium wie z. B. ein lokales Netzwerk, das Internet oder digitales Satellitenrundsenden zugeführt werden.
• In dem Computer 900 kann das Programm in der Speichereinheit 908 über die Eingabe/Ausgabe-Schnittstelle 905 durch Montieren des herausnehmbaren Mediums 911 in dem Laufwerk 910 installiert werden. Zusätzlich kann das Programm durch die Kommunikationseinheit 909 über ein drahtgebundenes oder drahtloses Übertragungsmedium empfangen werden und kann in der Speichereinheit 908 installiert werden. Zusätzlich kann das Programm im Voraus in dem ROM 902 oder der Speichereinheit 908 installiert werden.
• Es wird darauf hingewiesen, dass das Programm, das durch den Computer 900 ausgeführt wird, ein Programm sein kann, das chronologisch in der in der vorliegenden Spezifikation beschriebenen Folge verarbeitet wird, oder ein Programm sein kann, das parallel oder zu einer notwendigen Zeit wie z. B. einer Aufrufzeit verarbeitet wird.
• Es wird darauf hingewiesen, dass in der vorliegenden Offenbarung ein System die Bedeutung einer Gruppe aus mehreren konfigurierten Elementen (z. B. einer Vorrichtung oder eines Moduls (Teils)) aufweist und nicht berücksichtigt, ob alle konfigurierten Elemente in demselben Gehäuse sind oder nicht. Deshalb kann das System entweder mehrere Vorrichtungen sein, in separaten Gehäusen und über ein Netzwerk verbunden sein oder eine einziges Gerät, das mehrere Module enthält, innerhalb eines einzigen Gehäuses sein.
• Ferner ist eine Ausführungsformen der Offenbarung nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt, und verschiedene Änderungen und Modifikationen können vorgenommen werden, ohne von dem Schutzbereich der Offenbarung abzuweichen.
• Beispielsweise ist es möglich, eine vollständige oder einen Teil von mehreren vorstehend beschriebenen Ausführungsformen anzupassen.
• Beispielsweise kann die vorliegende Offenbarung eine Konfiguration für Cloud-Computing einsetzen, die über Zuweisen und Verbinden einer Funktion durch mehrere Vorrichtungen über ein Netzwerk verarbeitet.
• Ferner kann jeder Schritt, der durch die vorstehend genannten Ablaufpläne beschrieben ist, durch eine Vorrichtung oder durch Zuweisen mehrerer Vorrichtungen ausgeführt werden.
• Zusätzlich können in dem Fall, in dem ein Schritt mehrere Prozesse aufweist, die mehreren Prozesse, die dieser eine Schritt aufweist, durch eine Vorrichtung oder durch gemeinsames Verwenden mehrerer Vorrichtungen ausgeführt werden.
• Es wird darauf hingewiesen, dass die in der vorliegenden Spezifikation beschriebenen vorteilhaften Effekte lediglich Beispiele sind und nicht einschränkend sind, und andere vorteilhafte Effekte als diejenigen, die in der vorliegenden Spezifikation beschrieben sind, erreicht werden können.
• Ferner kann die vorliegende Offenbarung die folgende Konfiguration aufweisen.
• (1) Wiedergabevorrichtung, aufweisend:
  • eine 3D-Modellerzeugungseinheit, die dazu ausgebildet ist, ein 3D-Modell zur Vergrößerung/Verkleinerung in einem Fall des Auswählens von Vergrößerung/Verkleinerung eines Weitwinkelbildes zu erzeugen.
• (2) Wiedergabevorrichtung nach (1), in der die 3D-Modellerzeugungseinheit das 3D-Modell zur Vergrößerung/Verkleinerung durch Einstellen einer vertikalen Richtung und einer horizontalen Drehrichtung unter Verwendung der vertikalen Richtung als eine Achse und unabhängiges Ausführen von Koordinatentransformationsverarbeitung für jede Richtung erzeugt.
• (3) Wiedergabevorrichtung nach (2), wobei die 3D-Modellerzeugungseinheit die Koordinatentransformationsverarbeitung auf der vertikalen Richtung und der horizontalen Drehrichtung mit einem gleichen Vergrößerungsfaktor ausführt.
• (4) Wiedergabevorrichtung nach einem aus (1) bis (3), wobei die 3D-Modellerzeugungseinheit ein 3D-Modell zur Vergrößerung/Verkleinerung durch Ausführen von Koordinatentransformationsverarbeitung zum Transformieren eines Orthogonalkoordinatensystems in ein Zylinderkoordinatensystem und Zurückführen des Zylinderkoordinatensystems in das Orthogonalkoordinatensystem erzeugt.
• (5) Wiedergabevorrichtung nach einem aus (1) bis (4), wobei die 3D-Modellerzeugungseinheit das 3D-Modell zur Vergrößerung/Verkleinerung beim Unterziehen der Vergrößerung auf das k-Fache auf eine solche Weise erzeugt, dass ein Umkreisen eines ursprünglichen Weitwinkelbildes in einem Fall betrachtet werden kann, in dem sich ein Betrachter/Zuhörer um k Umdrehungen in einer horizontalen Drehrichtung dreht.
• (6) Wiedergabevorrichtung nach einem aus (1) bis (5), wobei die 3D-Modellerzeugungseinheit das 3D-Modell zur Vergrößerung/Verkleinerung beim Unterziehen der Verkleinerung auf das 1/k-Fache auf eine solche Weise erzeugt, dass ein k-maliges Umkreisen eines ursprünglichen Weitwinkelbildes in einem Fall betrachtet werden kann, in dem sich ein Betrachter/Zuhörer um eine Umdrehung in einer horizontalen Drehrichtung dreht.
• (7) Wiedergabevorrichtung nach einem aus (1) bis (4), wobei die 3D-Modellerzeugungseinheit das 3D-Modell zur Vergrößerung/Verkleinerung beim Unterziehen der Vergrößerung auf das k-Fache auf eine solche Weise ausführt, dass ein Bild, das 360 Grad übersteigt, beschnitten wird.
• (8) Wiedergabevorrichtung nach einem aus (1) bis (7), wobei das 3D-Modell zur Vergrößerung/Verkleinerung ein sphärisches Modell ist.
• (9) Wiedergabevorrichtung nach einem aus (1) bis (7), wobei das 3D-Modell zur Vergrößerung/Verkleinerung ein kubisches Modell ist.
• (10) Wiedergabevorrichtung nach einem aus (1) bis (9), ferner aufweisend:
  • eine Auswahleinheit, die dazu ausgebildet ist, ein erstes Weitwinkelbild, das eine gleichmäßige Auflösung in allen Richtungen aufweist, oder ein zweites Weitwinkelbild, das eine hohe Auflösung in einer vorbestimmten Richtung aufweist, in Reaktion auf eine Weitwinkelbild-Vergrößerung/Verkleinerungsoperation durch einen Betrachter/Zuhörer auszuwählen,
  • wobei die 3D-Modellerzeugungseinheit das 3D-Modell zur Vergrößerung/Verkleinerung unter Verwendung des ausgewählten ersten Weitwinkelbildes oder zweiten Weitwinkelbildes erzeugt.
• (11) Wiedergabevorrichtung nach (10), wobei die 3D-Modellerzeugungseinheit das 3D-Modell zur Vergrößerung/Verkleinerung unter Verwendung des zweiten Weitwinkelbildes in einem Fall der Ausführung einer Operation zum Vergrößern des Weitwinkelbildes erzeugt.
• (12) Wiedergabeverfahren, aufweisend:
  • Erzeugen, durch eine Wiedergabevorrichtung, eines 3D-Modells zur Vergrößerung/Verkleinerung in einem Fall des Auswählens von Vergrößerung/Verkleinerung eines Weitwinkelbilds.
• (13) Erzeugungsvorrichtung, aufweisend:
  • eine Weitwinkelbilderzeugungseinheit, die dazu ausgebildet ist, ein Weitwinkelbild zu erzeugen, das auf ein vorbestimmtes 3D-Modell abgebildet wird zum Gebrauch in einer Wiedergabevorrichtung, die eine 3D-Modellerzeugungseinheit aufweist, die dazu ausgebildet ist, ein 3D-Modell zur Vergrößerung/Verkleinerung in einem Fall des Auswählens von Vergrößerung/Verkleinerung des Weitwinkelbildes zu erzeugen.
• (14) Erzeugungsvorrichtung nach (13), wobei die Weitwinkelbilderzeugungseinheit als das Weitwinkelbild ein erstes Weitwinkelbild erzeugt, das eine in allen Richtungen gleichmäßige Auflösung aufweist.
• (15) Erzeugungsvorrichtung nach (14), wobei die Weitwinkelbilderzeugungseinheit ferner als das Weitwinkelbild ein zweites Weitwinkelbild erzeugt, das in einer vorbestimmten Richtung eine hohe Auflösung aufweist.
• (16) Erzeugungsvorrichtung nach (15), ferner aufweisend:
  • eine Zusatzinformationserzeugungseinheit, die dazu ausgebildet ist, als Zusatzinformationen Informationen, die verwendet werden, um eine Richtung hoher Auflösung des zweiten Weitwinkelbildes zu spezifizieren, und Informationen, die verwendet werden, um einen Vergrößerungsfaktor, der ein Verhältnis der hohen Auflösung angibt, zu spezifizieren, zu erzeugen; und
  • eine Sendeeinheit, die dazu ausgebildet ist, das erste Weitwinkelbild, das zweite Weitwinkelbild und die Zusatzinformationen zu der Wiedergabevorrichtung zu senden.
• (17) Erzeugungsvorrichtung nach einem aus (13) bis (16), wobei das vorbestimmte 3D-Modell ein sphärisches Modell ist.
• (18) Erzeugungsvorrichtung nach einem aus (13) bis (16), wobei das vorbestimmte 3D-Modell ein kubisches Modell ist.
• (19) Erzeugungsverfahren, aufweisend:
  • Erzeugen, durch eine Erzeugungsvorrichtung, eines Weitwinkelbildes, das auf ein vorbestimmtes 3D-Modell gemappt wird zum Gebrauch in einer Wiedergabevorrichtung, die eine 3D-Modellerzeugungseinheit aufweist, die dazu ausgebildet ist, ein 3D-Modell zur Vergrößerung/Verkleinerung in einem Fall des Auswählens von Vergrößerung/Verkleinerung des Weitwinkelbildes zu erzeugen.
• Bezugszeichenliste

10

Zustellsystem

12

Erzeugungsvorrichtung

13

Zustellserver

15

Wiedergabevorrichtung

16

am Kopf getragene Anzeigevorrichtung

22

Mapping-Transformationseinheit

23

Codierer

24

Sender

121

Sender/Empfänger

122

Decodierer

123

Mapping-Einheit

124

Erfassungseinheit

125

Sichtliniendetektor

136

3D-Modellerzeugungseinheit

127

Eckpunktdatentransformationseinheit

128

Rendereinheit

141

Zylinderkoordinatentransformationseinheit

142

Skaliereinheit

143

Orthogonalkoordinatentransformationseinheit

151

Rendereinheit

211

Drehverarbeitungseinheit

212

Einstelleinheit

213

Tabellenerzeugungseinheit

271

Datenstrombestimmungseinheit

272

3D-Modellerzeugungseinheit

273

Mapping-Einheit

900

Computer

901

CPU

902

ROM

903

RAM

906

Eingabeeinheit

907

Ausgabeeinheit

908

Speichereinheit

909

Kommunikationseinheit

910

Laufwerk

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• JP 2015125502 [0009]
• JP 201624751 [0009]

Claims (19)

1. Wiedergabevorrichtung, aufweisend: eine 3D-Modellerzeugungseinheit, die dazu ausgebildet ist, ein 3D-Modell zur Vergrößerung/Verkleinerung in einem Fall des Auswählens von Vergrößerung/Verkleinerung eines Weitwinkelbildes zu erzeugen.
2. Wiedergabevorrichtung nach Anspruch 1, wobei die 3D-Modellerzeugungseinheit das 3D-Modell zur Vergrößerung/Verkleinerung durch Einstellen einer vertikalen Richtung und einer horizontalen Drehrichtung unter Verwendung der vertikalen Richtung als eine Achse und unabhängiges Ausführen von Koordinatentransformationsverarbeitung für jede Richtung erzeugt.
3. Wiedergabevorrichtung nach Anspruch 2, wobei die 3D-Modellerzeugungseinheit die Koordinatentransformationsverarbeitung auf der vertikalen Richtung und der horizontalen Drehrichtung mit einem gleichen Vergrößerungsfaktor ausführt.
4. Wiedergabevorrichtung nach Anspruch 1, wobei die 3D-Modellerzeugungseinheit das 3D-Modell zur Vergrößerung/Verkleinerung durch Ausführen von Koordinatentransformationsverarbeitung zum Transformieren eines Orthogonalkoordinatensystems in ein Zylinderkoordinatensystem und Zurückführen des Zylinderkoordinatensystems in das Orthogonalkoordinatensystem erzeugt.
5. Wiedergabevorrichtung nach Anspruch 1, wobei die 3D-Modellerzeugungseinheit das 3D-Modell zur Vergrößerung/Verkleinerung beim Unterziehen der Vergrößerung auf das k-Fache auf eine solche Weise erzeugt, dass ein Umkreisen eines ursprünglichen Weitwinkelbildes in einem Fall betrachtet werden kann, in dem sich ein Betrachter/Zuhörer um k Umdrehungen in einer horizontalen Drehrichtung dreht.
6. Wiedergabevorrichtung nach Anspruch 1, wobei die 3D-Modellerzeugungseinheit das 3D-Modell zur Vergrößerung/Verkleinerung beim Unterziehen der Verkleinerung auf das 1/k-Fache auf eine solche Weise erzeugt, dass ein k-maliges Umkreisen eines ursprünglichen Weitwinkelbildes in einem Fall betrachtet werden kann, in dem sich ein Betrachter/Zuhörer um eine Umdrehung in einer horizontalen Drehrichtung dreht.
7. Wiedergabevorrichtung nach Anspruch 1, wobei die 3D-Modellerzeugungseinheit das 3D-Modell zur Vergrößerung/Verkleinerung beim Unterziehen der Vergrößerung auf das k-Fache auf eine solche Weise ausführt, dass ein Bild, das 360 Grad übersteigt, beschnitten wird.
8. Wiedergabevorrichtung nach Anspruch 1, wobei das 3D-Modell zur Vergrößerung/Verkleinerung ein sphärisches Modell ist.
9. Wiedergabevorrichtung nach Anspruch 1, wobei das 3D-Modell zur Vergrößerung/Verkleinerung ein kubisches Modell ist.
10. Wiedergabevorrichtung nach Anspruch 1, ferner aufweisend: eine Auswahleinheit, die dazu ausgebildet ist, ein erstes Weitwinkelbild, das eine gleichmäßige Auflösung in allen Richtungen aufweist, oder ein zweites Weitwinkelbild, das eine hohe Auflösung in einer vorbestimmten Richtung aufweist, in Reaktion auf eine Weitwinkelbild-Vergrößerung/Verkleinerungsoperation durch einen Betrachter/Zuhörer auszuwählen, wobei die 3D-Modellerzeugungseinheit das 3D-Modell zur Vergrößerung/Verkleinerung unter Verwendung des ausgewählten ersten Weitwinkelbildes oder zweiten Weitwinkelbildes erzeugt.
11. Wiedergabevorrichtung nach Anspruch 10, wobei die 3D-Modellerzeugungseinheit das 3D-Modell zur Vergrößerung/Verkleinerung unter Verwendung des zweiten Weitwinkelbildes in einem Fall der Ausführung einer Operation zum Vergrößern des Weitwinkelbildes erzeugt.
12. Wiedergabeverfahren, aufweisend: Erzeugen, durch eine Wiedergabevorrichtung, eines 3D-Modells zur Vergrößerung/Verkleinerung in einem Fall des Auswählens von Vergrößerung/Verkleinerung eines Weitwinkelbilds.
13. Erzeugungsvorrichtung, aufweisend: eine Weitwinkelbilderzeugungseinheit, die dazu ausgebildet ist, ein Weitwinkelbild zu erzeugen, das auf ein vorbestimmtes 3D-Modell gemappt wird, zum Gebrauch in einer Wiedergabevorrichtung, die eine 3D-Modellerzeugungseinheit aufweist, die dazu ausgebildet ist, ein 3D-Modell zur Vergrößerung/Verkleinerung in einem Fall des Auswählens von Vergrößerung/Verkleinerung des Weitwinkelbildes zu erzeugen.
14. Erzeugungsvorrichtung nach Anspruch 13, wobei die Weitwinkelbilderzeugungseinheit als das Weitwinkelbild ein erstes Weitwinkelbild erzeugt, das eine in allen Richtungen gleichmäßige Auflösung aufweist.
15. Erzeugungsvorrichtung nach Anspruch 14, wobei die Weitwinkelbilderzeugungseinheit ferner als das Weitwinkelbild ein zweites Weitwinkelbild erzeugt, das in einer vorbestimmten Richtung eine hohe Auflösung aufweist.
16. Erzeugungsvorrichtung nach Anspruch 15, ferner aufweisend: eine Zusatzinformationserzeugungseinheit, die dazu ausgebildet ist, als Zusatzinformationen Informationen, die verwendet werden, um eine Richtung hoher Auflösung des zweiten Weitwinkelbildes zu spezifizieren, und Informationen, die verwendet werden, um einen Vergrößerungsfaktor, der ein Verhältnis der hohen Auflösung angibt, zu spezifizieren, zu erzeugen; und eine Sendeeinheit, die dazu ausgebildet ist, das erste Weitwinkelbild, das zweite Weitwinkelbild und die Zusatzinformationen zu der Wiedergabevorrichtung zu senden.
17. Erzeugungsvorrichtung nach Anspruch 13, wobei das vorbestimmte 3D-Modell ein sphärisches Modell ist.
18. Erzeugungsvorrichtung nach Anspruch 13, wobei das vorbestimmte 3D-Modell ein kubisches Modell ist.
19. Erzeugungsverfahren, das Folgendes aufweist: Erzeugen durch eine Erzeugungsvorrichtung eines Weitwinkelbildes, das auf ein vorbestimmtes 3D-Modell gemappt wird, zum Gebrauch in einer Wiedergabevorrichtung, die eine 3D-Modellerzeugungseinheit aufweist, die dazu ausgebildet ist, ein 3D-Modell zur Vergrößerung/Verkleinerung in einem Fall des Auswählens von Vergrößerung/Verkleinerung des Weitwinkelbildes zu erzeugen.

Images