DE112020002727T5

DE112020002727T5 - Videoverteilsystem, videoverteilverfahren und display-terminal

Info

Publication number: DE112020002727T5
Application number: DE112020002727.9T
Authority: DE
Inventors: Hiroshi Yamaguchi; Koji Furusawa
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2019-06-07
Filing date: 2020-05-25
Publication date: 2022-03-10
Also published as: CN113906736A; WO2020246292A1; US20220239888A1; JPWO2020246292A1

Abstract

Die vorliegende Technik betrifft ein Videoverteilsystem, ein Videoverteilverfahren und ein Display-Terminal, die eine geeignetere Anzeige eines Videos ermöglichen.Es wird ein Videoverteilsystem bereitgestellt, aufweisend: eine Bilderfassungseinheit, welche ein erstes Bild und ein zweites Bild des Bildobjekts erfasst, das unter Verwendung einer ersten Kamera und einer zweiten Kamera fotografiert wurde; eine Parametereinstelleinheit, die Parameter einstellt, welche eine Betrachtungsweise eines Benutzers bezüglich eines virtuellen Bildobjekts beeinflussen, das dem vom erfassten ersten Bild und zweiten Bild dargestellten Bildobjekt in einem virtuellen Raum entspricht; und eine Display-Steuereinheit, die in einem Display-Terminal ein Videobild anzeigt, das den virtuellen Raum einschließlich des virtuellen Bildobjekts den eingestellten Parametern entsprechend darstellt. Die vorliegende Technik kann zum Beispiel auf ein System angewendet werden, das ein dreidimensionales Video verteilt.

Description

GEBIET DER TECHNIK
Die vorliegende Technik betrifft ein Videoverteilsystem, ein Videoverteilverfahren und ein Display-Terminal, und betrifft insbesondere ein Videoverteilsystem, ein Videoverteilverfahren und ein Display-Terminal, die in der Lage sind, ein Video geeigneter anzuzeigen.
STAND DER TECHNIK
Seit einigen Jahren haben zum Beispiel Geräte wie Head-Mounted-Displays weite Verbreitung als Display-Terminals zum Betrachten stereoskopischer Videos gefunden.
Bei diesem Typ von Display-Terminal wird ein stereoskopisches Video auf der Basis von Videoinformationen angezeigt, die durch Bilderfassung eines Bildobjekts mit mehreren Kameras erhalten werden, und einem Nutzer, der das Display-Terminal am Kopf trägt, wird ein immersives Bild bereitgestellt.
Ferner sind, als Technik zum Anzeigen eines stereoskopischen Videos, in Patentschriften 1 und 2 offenbarte Techniken bekannt.
LISTE DER ANFÜHRUNGEN
PATENTSCHRIFT

Patentschrift 1: Japanische Offenlegungsschrift Nr. 2003-284093
Patentschrift 2: Japanische Offenlegungsschrift Nr. 2014-209768

ZUSAMMENFASSUNG DER ERFINDUNG
MIT DER ERFINDUNG ZU LÖSENDE PROBLEME
Im Übrigen ist es beim Anzeigen des stereoskopischen Videos auf dem Display-Terminal wünschenswert, ein vom das Display-Terminal verwendenden Nutzer benötigtes Video geeignet anzuzeigen.
Die vorliegende Technik wurde in Anbetracht einer solchen Situation entwickelt und soll dazu dienen, ein Video geeigneter anzuzeigen.
LÖSUNG DER PROBLEME
Ein Videoverteilsystem gemäß einem Aspekt der vorliegenden Technik ist ein Videoverteilsystem aufweisend eine Bilderfassungseinheit, welche ein von einer ersten Kamera und einer zweiten Kamera aufgenommenes erstes Bild und zweites Bild eines Bildobjekts erfasst, eine Parametereinstelleinheit, die einen Parameter einstellt, der ein Erscheinungsbild für einen Nutzer bezüglich eines virtuellen Bildobjekts, das dem vom erfassten ersten Bild und zweiten Bild dargestellten Bildobjekt in einem virtuellen Raum entspricht, beeinflusst, und eine Display-Steuereinheit, die ein Video anzeigt, das den virtuellen Raum einschließlich des virtuellen Bildobjekts dem eingestellten Parameter entsprechend auf einem Display-Terminal darstellt.
Ein Videoverteilverfahren gemäß einem Aspekt der vorliegenden Technik ist ein Videoverteilverfahren, das umfasst, durch ein Videoverteilsystem ein von einer ersten Kamera und einer zweiten Kamera aufgenommenes erstes Bild und zweites Bild eines Bildobjekts zu erfassen, einen Parameter einzustellen, der ein Erscheinungsbild für einen Nutzer bezüglich eines virtuellen Bildobjekts, das dem vom erfassten ersten Bild und zweiten Bild dargestellten Bildobjekt in einem virtuellen Raum entspricht, beeinflusst, und ein Video anzuzeigen, das den virtuellen Raum einschließlich des virtuellen Bildobjekts dem eingestellten Parameter entsprechend auf einem Display-Terminal darstellt.
Im Videoverteilsystem und Videoverteilverfahren gemäß einem Aspekt der vorliegenden Technik werden ein von einer ersten Kamera und einer zweiten Kamera aufgenommenes erstes Bild und zweites Bild eines Bildobjekts erfasst, ein Parameter, der ein Erscheinungsbild für einen Nutzer bezüglich eines virtuellen Bildobjekts, das dem vom erfassten ersten Bild und zweiten Bild dargestellten Bildobjekt in einem virtuellen Raum entspricht, beeinflusst, wird eingestellt, und ein Video, das den virtuellen Raum einschließlich des virtuellen Bildobjekts dem eingestellten Parameter entsprechend darstellt, wird auf einem Display-Terminal angezeigt.
Ein Display-Terminal gemäß einem Aspekt der vorliegenden Technik ist ein Display-Terminal, das eine Display-Steuereinheit aufweist, die auf einem Display-Terminal ein Video anzeigt, das einen virtuellen Raum einschließlich eines virtuellen Bildobjekts darstellt, dessen Parameter eingestellt wird, wobei der Parameter ein Erscheinungsbild für einen Nutzer bezüglich des virtuellen Bildobjekts beeinflusst, das einem Bildobjekt im virtuellen Raum entspricht, das von einem von einer ersten Kamera und einer zweiten Kamera aufgenommenen ersten Bild und zweiten Bild des Bildobjekts dargestellt wird.
Beim Display-Terminal gemäß einem Aspekt der vorliegenden Technik wird ein Video auf einem Display-Terminal angezeigt, wobei das Video einen virtuellen Raum einschließlich eines virtuellen Bildobjekts darstellt, dessen Parameter eingestellt wird, wobei der Parameter ein Erscheinungsbild für einen Nutzer bezüglich des virtuellen Bildobjekts beeinflusst, das einem Bildobjekt im virtuellen Raum entspricht, das von einem von einer ersten Kamera und einer zweiten Kamera aufgenommenen ersten Bild und zweiten Bild des Bildobjekts dargestellt wird.
Figurenliste

1 zeigt in einer grafischen Darstellung ein Beispiel einer Ausbildung einer Ausführungsform eines Videoverteilsystems.
2 zeigt in einer grafischen Darstellung ein Beispiel einer Ausbildung einer Workstation.
3 zeigt in einer grafischen Darstellung ein Beispiel einer Ausbildung eines Display-Terminals.
4 zeigt in einer grafischen Darstellung schematisch einen Zustand, in welchem ein Nutzer ein stereoskopisches Video betrachtet.
5 zeigt in einer grafischen Darstellung schematisch einen Zustand, in welchem ein Bildobjekt von zwei Kameras bildlich aufgenommen wird.
6 zeigt in einer grafischen Darstellung eine Distanz zwischen den optischen Kameraachsen in einem Fall, in dem ein Bildobjekt von zwei Kameras bildlich aufgenommen wird.
7 zeigt in einer grafischen Darstellung eine Interpupillardistanz eines Nutzers in einem Fall, in dem der Nutzer ein stereoskopisches Video betrachtet.
8 zeigt in einer grafischen Darstellung ein Beispiel einer funktionsmäßigen Ausbildung des Videoverteilsystems, auf welches die vorliegende Technik angewendet wird.
9 zeigt in einem Flussdiagramm einen Gesamtverarbeitungsfluss des Videoverteilsystems, auf welches die vorliegende Technik angewendet wird.
10 zeigt in einer grafischen Darstellung schematisch einen Zustand, in dem ein Nutzer ein stereoskopisches Video betrachtet, in einem Fall, in dem eine Beziehung IPD_CAM = IPD_USER auftritt.
11 zeigt in einer grafischen Darstellung im Detail einen Zustand, in dem der Nutzer das stereoskopische Video betrachtet, in einem Fall, in dem die Beziehung IPD_CAM = IPD_USER auftritt.
12 zeigt in einer grafischen Darstellung schematisch einen Zustand, in dem der Nutzer das stereoskopische Video betrachtet, in einem Fall, in dem eine Beziehung IPD_CAM > IPD_USER auftritt.
13 zeigt in einer grafischen Darstellung im Detail einen Zustand, in dem der Nutzer das stereoskopische Video betrachtet, in einem Fall, in dem die Beziehung IPD_CAM > IPD_USER auftritt.
14 zeigt in einer grafischen Darstellung im Detail einen Zustand, in dem der Nutzer das stereoskopische Video betrachtet, wenn IPD_CAM > IPD_USER, in einem Fall, in dem sich ein virtuelles Bildobjekt direkt vorn befindet.
15 zeigt in einer grafischen Darstellung im Detail einen Zustand, in dem der Nutzer das stereoskopische Video betrachtet, wenn IPD_CAM > IPD_USER, in einem Fall, in dem sich das virtuelle Bildobjekt auf einer rechten Vorderseite befindet.
16 zeigt in einer grafischen Darstellung ein erstes Beispiel eines Zustands, in dem ein erstes Verfahren in einem Fall angewendet wird, in dem die Beziehung IPD_CAM > IPD_USER auftritt.
17 zeigt in einer grafischen Darstellung ein zweites Beispiel eines Zustands, in dem das erste Verfahren in einem Fall angewendet wird, in dem die Beziehung IPD_CAM > IPD_USER auftritt.
18 zeigt in einer grafischen Darstellung ein drittes Beispiel eines Zustands, in dem das erste Verfahren in einem Fall angewendet wird, in dem die Beziehung IPD_CAM > IPD_USER auftritt.
19 zeigt in einer grafischen Darstellung ein viertes Beispiel eines Zustands, in dem das erste Verfahren in einem Fall angewendet wird, in dem die Beziehung IPD_CAM > IPD_USER auftritt.
20 zeigt in einer grafischen Darstellung schematisch eine Distanz zum virtuellen Bildobjekt in einem virtuellen Raum.
21 zeigt in einer grafischen Darstellung einen Zustand nach einer Umwandlung der Distanz zum virtuellen Bildobjekt im virtuellen Raum.
22 zeigt in einer grafischen Darstellung ein erstes Beispiel eines Zustands, in dem ein zweites Verfahren in einem Fall angewendet wird, in dem die Beziehung IPD_CAM > IPD_USER auftritt.
23 zeigt in einer grafischen Darstellung ein zweites Beispiel eines Zustands, in dem das zweite Verfahren in einem Fall angewendet wird, in dem die Beziehung IPD_CAM > IPD_USER auftritt.
24 zeigt in einer grafischen Darstellung ein drittes Beispiel eines Zustands, in dem das zweite Verfahren in einem Fall angewendet wird, in dem die Beziehung IPD_CAM > IPD_USER auftritt.
25 zeigt in einer grafischen Darstellung einen Zustand, in dem an gesamte Himmelskugeln anzufügende Videos nach außen gedreht werden, wenn IPD_CAM > IPD_USER, in einem Fall, in dem sich das virtuelle Bildobjekt direkt vorn befindet.
26 zeigt in einer grafischen Darstellung einen Zustand, in dem die an die gesamten Himmelskugeln anzufügenden Videos nach innen gedreht werden, wenn IPD_CAM > IPD_USER, in einem Fall in dem sich das virtuelle Bildobjekt direkt vorn befindet.
27 zeigt in einer grafischen Darstellung ein erstes Beispiel eines Zustands, in dem ein drittes Verfahren in einem Fall angewendet wird, in dem die Beziehung IPD_CAM > IPD_USER auftritt.
28 zeigt in einer grafischen Darstellung ein zweites Beispiel eines Zustands, in dem das dritte Verfahren in einem Fall angewendet wird, in dem die Beziehung IPD_CAM > IPD_USER auftritt.
29 zeigt in einer grafischen Darstellung ein drittes Beispiel eines Zustands, in dem das dritte Verfahren in einem Fall angewendet wird, in dem die Beziehung IPD_CAM > IPD_USER auftritt.
30 zeigt in einer grafischen Darstellung einen Zustand, in dem die gesamten Himmelskugeln, an die die Videos angefügt sind, nach außen bewegt werden, wenn IPD_CAM > IPD_USER, in einem Fall in dem sich das virtuelle Bildobjekt direkt vorn befindet.
31 zeigt in einer grafischen Darstellung einen Zustand, in dem die gesamten Himmelskugeln, an die die Videos angefügt sind, nach innen bewegt werden, wenn IPD_CAM > IPD_USER, in einem Fall in dem sich das virtuelle Bildobjekt direkt vorn befindet.
32 zeigt in einer grafischen Darstellung ein Beispiel, in dem das Erscheinungsbild eines Videos in zeitlicher Reihe verändert wird.
33 zeigt in einer grafischen Darstellung ein Ausbildungsbeispiel eines Rechners.

AUSFÜHRUNGSWEISE DER ERFINDUNG
Im Folgenden werden nun unter Bezugnahme auf die Zeichnungen Ausführungsformen der vorliegenden Technik beschrieben. Es sei darauf hingewiesen, dass die Beschreibung in der folgenden Reihenfolge erfolgt.

1. Ausführungsformen der vorliegenden Technik
2. Abwandlungsbeispiel
3. Ausbildung des Rechners

<1. Ausführungsformen der vorliegenden Technik>
(Ausbildung des Videoverteilsystems)
1 zeigt ein Beispiel einer Ausbildung eines Videoverteilsystems.
In 1 weist ein Videoverteilsystem 1 eine Workstation 10, eine Kamera 11-R, eine Kamera 11-L, einen Videoverteilserver 12 und Display-Terminals 20-1 bis 20-N auf (N: eine ganze Zahl von 1 oder mehr). Ferner sind im Videoverteilsystem 1 die Workstation 10, der Videoverteilserver 12 und die Display-Terminals 20-1 bis 20-N mit dem Internet 30 verbunden.
Die Workstation 10 ist ein auf Bildverarbeitung spezialisiertes Bildverarbeitungsgerät. Die Workstation 10 führt eine Bildverarbeitung mit mehreren von den Kameras 11-L und 11-R erfassten Bildern durch und überträgt die durch die Bildverarbeitung erhaltenen Daten über das Internet 30 zum Videoverteilserver 12.
Die Kamera 11-L und die Kamera 11-R sind als Stereokameras ausgebildet, und zum Beispiel ist, wenn ein Bildobjekt von vorn betrachtet wird, die Kamera 11-L an einer Position auf der linken Seite in Bezug auf das Bildobjekt angebracht und die Kamera 11-R an einer Position auf der rechten Seite in Bezug auf das Bildobjekt angebracht.
Die Kamera 11-L weist zum Beispiel einen Bildsensor wie einen Complementary-Metal-Oxide-Semiconductor-(CMOS-)Bildsensor oder einen Charge-Coupled-Device-(CCD-)Bildsensor und eine Signalverarbeitungseinheit wie einen Kamera-Bildsignalprozessor (ISP) auf. Die Kamera 11-L überträgt Daten eines erfassten Bildes (im Folgenden auch als linkes Bild bezeichnet) an die Workstation 10.
Ähnlich wie die Kamera 11-L weist die Kamera 11-R einen Bildsensor und eine Signalverarbeitungseinheit auf und überträgt Daten eines erfassten Bildes (im Folgenden auch als rechtes Bild bezeichnet) an die Workstation 10.
Es sei darauf hingewiesen, dass die Kamera 11-L und die Kamera 11-R mit der Workstation 10 zum Beispiel über eine Kommunikationsleitung wie etwa eine dedizierte Leitung (Kabel) oder über mit einem vorbestimmten Standard konforme drahtgebundene Kommunikation oder drahtlose Kommunikation verbunden sein kann. Ferner werden in der folgenden Beschreibung die Kamera 11-L und die Kamera 11-R in einem Fall, in dem es nicht besonders erforderlich ist, zwischen ihnen zu unterscheiden, einfach als Kamera 11 bezeichnet.
Der Videoverteilserver 12 ist zum Beispiel ein in einem Datenzentrum oder dergleichen installierter Webserver. Der Videoverteilserver 12 empfängt aus der Workstation 10 übertragene Daten. In einem Fall, in dem eine Videoverteilung von einem der Display-Terminals 20-1 bis 20-N aus angefordert wird, überträgt der Videoverteilserver 12 einen Videostream, der Daten aus der Workstation 10 aufweist, an das Display-Terminal 20, das eine Anforderungsquelle der Videoverteilung über das Internet 30 ist.
Das Display-Terminal 20-1 ist als Head-Mounted-Display ausgebildet, das beide Augen des Nutzers bedeckend am Kopf getragen wird und es ermöglicht, ein auf einem vor den Augen des Nutzers bereitgestellten Display-Schirm angezeigtes Bewegtbild oder Standbild zu betrachten. Es sei darauf hingewiesen, dass das Display-Terminal 20-1 nicht auf ein Head-Mounted-Display beschränkt ist und ein elektronisches Gerät sein kann, das ein Display aufweist, wie etwa ein Smartphone, ein Tablet-Terminal oder eine Spiel-Maschine.
Das Display-Terminal 20-1 überträgt zum Beispiel eine Anforderung einer Videoverteilung an den Videoverteilserver 12 über das Internet 30 gemäß einer Bedienung durch den Nutzer. Das Display-Terminal 20-1 empfängt und verarbeitet einen aus dem Videoverteilserver 12 über das Internet 30 übertragenen Videostream und gibt ein Video wieder. Das Video weist ein Bewegtbild auf, wie etwa ein aus dem Videoverteilserver 12 (in Echtzeit-Verteilung (Live-Verteilung) oder On-Demand-Verteilung) verteiltes Virtual-Reality-(VR-)Bewegtbild und Content wie etwa ein Standbild.
Ähnlich wie das Display-Terminal 20-1 weisen die Display-Terminals 20-2 bis 20-N zum Beispiel ein Head-Mounted-Display und dergleichen auf, und geben jeweils Videos (zum Beispiel Bewegtbilder, Standbilder und dergleichen) wieder, die als Videostreams aus dem Videoverteilserver 12 verteilt werden. Es sei darauf hingewiesen, dass in der folgenden Beschreibung die Display-Terminals 20-1 bis 20-N in einem Fall, in dem es nicht besonders erforderlich ist, zwischen ihnen zu unterscheiden, einfach als Display-Terminal 20 bezeichnet werden.
(Ausbildung der Workstation)
2 zeigt ein Beispiel einer Ausbildung der Workstation 10 von 1.
In 2 weist die Workstation 10 eine Verarbeitungseinheit 100, eine Eingabeeinheit 101, eine Ausgabeeinheit 102, eine Speichereinheit 103 und eine Kommunikationseinheit 104 auf.
Die Verarbeitungseinheit 100 weist einen Prozessor, wie etwa eine Zentraleinheit (CPU), eine Grafikkarte (Videokarte) und dergleichen auf. Die Verarbeitungseinheit 100 ist ein Hauptverarbeitungsgerät, das den Betrieb jeder Einheit steuert und verschiedene Typen von arithmetischer Verarbeitung durchführt.
Die Eingabeeinheit 101 weist eine Tastatur, eine Maus, physische Tasten bzw. Knöpfe und dergleichen auf. Die Eingabeeinheit 101 liefert ein Bediensignal, das einer Bedienung durch den Nutzer entspricht, an die Verarbeitungseinheit 100.
Die Ausgabeeinheit 102 weist ein Display, einen Lautsprecher und dergleichen auf. Die Ausgabeeinheit 102 gibt Video, Audio und dergleichen unter Steuerung der Verarbeitungseinheit 100 aus.
Die Speichereinheit 103 weist einen Halbleiterspeicher, einschließlich einen nichtflüchtigen Speicher oder einen flüchtigen Speicher, einen Pufferspeicher und dergleichen auf. Die Speichereinheit 103 speichert verschiedenerlei Daten unter Steuerung der Verarbeitungseinheit 100.
Die Kommunikationseinheit 104 weist ein Kommunikationsmodul auf, das mit einer mit dem vorbestimmten Standard konformen drahtlosen Kommunikation oder drahtgebundenen Kommunikation, einer Video- oder Audioaufnahmekarte und dergleichen kompatibel ist.
Die Kommunikationseinheit 104 tauscht über das Internet 30 unter der Steuerung der Verarbeitungseinheit 100 verschiedenerlei Daten mit dem Videoverteilserver 12 aus. Ferner empfängt die Kommunikationseinheit 104 unter der Steuerung der Verarbeitungseinheit 100 Daten aus der Kamera 11-L und der Kamera 11-R.
Ferner weist die Verarbeitungseinheit 100 eine Bilderfassungseinheit 111, eine Bildverarbeitungseinheit 112 und eine Übertragungssteuereinheit 113 auf.
Die Bilderfassungseinheit 111 erfasst (nimmt auf) betreffende Bildsignale des von der Kamera 11-L aufgenommenen linken Bilds und des von der Kamera 11-R aufgenommenen rechten Bilds über die Kommunikationseinheit 104 und speichert die Bildsignale in der Speichereinheit 103.
Die Bildverarbeitungseinheit 112 liest Bildsignale des in der Speichereinheit 103 gespeicherten linken Bilds und rechten Bilds, führt eine vorbestimmte Bildverarbeitung durch, und liefert Daten, die als Resultat der Bildverarbeitung erhalten werden, an die Übertragungssteuereinheit 113. Es sei darauf hingewiesen, dass, obgleich Einzelheiten später unter Bezugnahme auf 8 und dergleichen beschrieben werden, diese Bildverarbeitung eine Verarbeitung wie etwa eine Umwandlungsverarbeitung für Videoinformationen einschließlich Bildsignale des linken Bilds und rechten Bilds umfasst.
Die Übertragungssteuereinheit 113 steuert die Kommunikationseinheit 104 dahingehend, die Daten aus der Bildverarbeitungseinheit 112 über das Internet 30 an den Videoverteilserver 12 zu übertragen.
(Ausbildung des Display-Terminals)
3 zeigt ein Beispiel einer Ausbildung des Display-Terminals 20 in 1.
In 3 weist das Display-Terminal 20 eine Verarbeitungseinheit 200, eine Sensoreinheit 201, eine Speichereinheit 202, eine Display-Einheit 203, eine Audioausgabeeinheit 204, ein Eingabe-Terminal 205, ein Ausgabe-Terminal 206 und eine Kommunikationseinheit 207 auf.
Die Verarbeitungseinheit 200 weist eine CPU und dergleichen auf. Die Verarbeitungseinheit 200 ist ein Hauptverarbeitungsgerät, das den Betrieb jeder Einheit steuert und verschiedene Typen von arithmetischer Verarbeitung durchführt. Es sei darauf hingewiesen, dass hier ein dedizierter Prozessor, wie etwa eine GPU (Graphics Processing Unit) bereitgestellt werden kann.
Die Sensoreinheit 201 weist verschieden Sensorgeräte und dergleichen auf. Die Sensoreinheit 201 führt eine Abtastung des Nutzers, seiner Umgebung und dergleichen durch und liefert der Verarbeitungseinheit 200 der Abtastung entsprechende Sensordaten.
Die Sensoreinheit 201 kann hier einen Magnetsensor aufweisen, der die Größe und Richtung eines Magnetfelds detektiert, einen Beschleunigungssensor, der Beschleunigung detektiert, einen Gyrosensor, der einen Winkel (Lage), eine Winkelgeschwindigkeit und eine Winkelbeschleunigung detektiert, einen Näherungssensor, der ein in der Nähe befindliches Objekt detektiert, und dergleichen. Ferner kann eine Kamera, die einen Bildsensor aufweist, als Sensoreinheit 201 bereitgestellt werden, und der Verarbeitungseinheit 200 kann ein durch bildliches Erfassen eines Bildobjekts erhaltenes Bildsignal geliefert werden.
Die Speichereinheit 202 weist einen Halbleiterspeicher oder dergleichen, einschließlich einen nichtflüchtigen Speicher oder einen flüchtigen Speicher auf. Die Speichereinheit 202 speichert unter Steuerung der Verarbeitungseinheit 200 verschiedene Daten.
Die Display-Einheit 203 weist ein Display-Gerät (Display-Vorrichtung), wie ein Flüssigkristall-Display (LCD) oder ein organisches Leuchtdioden-(OLED-)Display auf. Die Display-Einheit 203 zeigt ein Video (ein Bewegtbild, ein Standbild oder dergleichen) an, das den aus der Verarbeitungseinheit 200 gelieferten Videodaten entspricht.
Die Audioausgabeeinheit 204 weist ein Audioausgabegerät wie einen Lautsprecher auf. Die Audioausgabeeinheit 204 gibt Audio (Ton) aus, der von der Verarbeitungseinheit 200 gelieferten Audiodaten entspricht.
Das Eingabe-Terminal 205 weist eine Eingabeschnittstellenschaltung und dergleichen auf und ist über ein vorbestimmtes Kabel mit einem elektronischen Gerät verbunden. Das Eingabe-Terminal 205 liefert zum Beispiel ein Bildsignal, ein Audiosignal, einen Befehl und dergleichen, die aus einem Gerät wie einer Spiel-Maschine (dedizierte Konsole), einem Personalcomputer, oder einer Wiedergabemaschine eingegeben werden, an die Verarbeitungseinheit 200.
Das Ausgabe-Terminal 206 weist eine Ausgabeschnittstellenschaltung und dergleichen auf und ist über ein vorbestimmtes Kabel mit einem elektronischen Gerät verbunden. Das Ausgabe-Terminal 206 gibt ein an dieses gelieferte Audiosignal über ein Kabel an ein Gerät wie einen Ohrhörer oder einen Kopfhörer aus.
Die Kommunikationseinheit 207 ist als Kommunikationsmodul ausgebildet, das mit drahtloser Kommunikation wie einem drahtlosen LAN (Local Area Network), Mobilfunkkommunikation (zum Beispiel LTE-Advanced, 5G oder dergleichen) oder Bluetooth (eingetragenes Warenzeichen) oder drahtgebundener Kommunikation kompatibel ist.
Die Kommunikationseinheit 207 tauscht über das Internet 30 unter der Steuerung der Verarbeitungseinheit 200 verschiedenerlei Daten mit dem Videoverteilserver 12 aus. Ferner kann die Kommunikationseinheit 207 mit einem externen Gerät einschließlich einer Spiel-Maschine (dedizierte Konsole), einem Personalcomputer, einem Server, einer Wiedergabemaschine, einer dedizierten Steuerung, einer Fernsteuerung und dergleichen kommunizieren.
Ferner weist die Verarbeitungseinheit 200 eine Bilderfassungseinheit 211, eine Bildverarbeitungseinheit 212 und eine Display-Steuereinheit 213 auf.
Die Bilderfassungseinheit 211 erfasst Daten, die im aus dem Videoverteilserver 12 verteilten Video-Stream umfasst sind und speichert die Daten in der Speichereinheit 202.
Die Bildverarbeitungseinheit 212 liest in der Speichereinheit 202 gespeicherte Daten, führt vorbestimmte Bildverarbeitung durch, und liefert Daten, die als Resultat der Bildverarbeitung erhalten werden, an die Display-Steuereinheit 213. Es sei darauf hingewiesen, dass diese Bildverarbeitung eine Verarbeitung wie eine Umwandlungsbearbeitung für Videoinformationen zusätzlich zu einer Verarbeitung wie einem Decodieren umfassen kann.
Die Display-Steuereinheit 213 zeigt auf der Basis der Daten aus der Bildverarbeitungseinheit 212 ein Video wie ein Bewegtbild oder ein Standbild auf der Display-Einheit 203 an.
Das Videoverteilsystem 1 ist ausgebildet wie oben beschrieben.
(Herkömmliche Problematik)
Als Nächstes werden unter Bezugnahme auf 4 bis 7 Probleme im Stand der Technik beschrieben.
Im Videoverteilsystem 1 wird, um ein stereoskopisches Video zu betrachten, ein Bildobjekt von den als Stereokameras ausgebildeten Kameras 11-L und 11-R bildlich aufgenommen, und auf dem immersiven Display-Terminal 20 wird unter Verwendung von Videoinformationen, die ein durch die bildliche Erfassung erhaltenes linkes Bild und rechtes Bild umfassen, ein Video angezeigt.
Beim herkömmlichen nicht-immersiven Display-Terminal (zum Beispiel einer Display-Vorrichtung wie einem Fernsehempfänger) werden hier bezüglich der Wahrnehmung der Größe des Bildobjekts zusätzlich zur auf dem Display-Terminal angezeigten Größe des Bildobjekts und der aus der Distanz zwischen dem betrachtenden Nutzer und dem Display-Terminal erhaltenen optischen Größe, von jedem Einzelnen eine bildlich aufgenommene Umgebung, eine Vergrößerungsstufe und dergleichen unter Berücksichtigung jedes Erlebnisses flexibel eingestellt.
Dies basiert auf der Erkenntnis, dass die Display-Oberfläche des Display-Terminals und die Umgebung, zu welcher der Nutzer gehört, nicht durchgehend und verschieden sind, und auch falls sich die optische Größe (Betrachtungswinkel) des Bildobjekts aufgrund des Display-Terminals, der Distanz zum Display-Terminal und anderen Bedingungen ändert, dies nicht direkt die Wahrnehmung der Größe des Bildobjekts beeinflusst.
Dagegen wird im immersiven Display-Terminal 20, da die Display-Oberfläche und die Umgebung zu welcher der Nutzer gehört, als durchgehend empfunden werden, wenn sich die optische Größe (Betrachtungswinkel) ändert, dies so bewertet, dass sich die Größe des Bildobjekts selbst geändert hat.
In der vorliegenden Technik wird ein in 4 gezeigter Ausdruck dazu verwendet, den oben beschriebenen Betrachtungswinkel konzeptuell anzugeben. Das heißt, 4 zeigt von oben gesehen schematisch einen Zustand, in dem ein Nutzer 50 das stereoskopische Video unter Verwendung des immersiven Display-Terminals 20 betrachtet.
Ferner zeigt 5 von oben gesehen schematisch einen Zustand, in dem ein Bildobjekt 60 von den beiden Kameras 11-L und 11-R bildlich aufgenommen wird.
In einem Fall, in dem der Nutzer 50 ein stereoskopisches Bild unter Verwendung des Display-Terminals 20, wie etwa einem Head-Mounted-Display, betrachtet, betrachtet der Nutzer 50 hier üblicherweise Videos (einem linken Bild und einem rechten Bild entsprechende Videos), die jeweils von der Kamera 11-L und der Kamera 11-E aufgenommen wurden, wie etwa ein Video 500-L für das linke Auge und ein Video 500-R für das rechte Auge.
Das heißt, wenn das Bildobjekt 60 von vorn betrachtet wird, entspricht das Video 500-L dem linken Bild, das von der an der Position auf der linken Seite der Bildaufnahmeumgebung angebrachten Kamera 11-L aufgenommen wurde, und das Video 500-R entspricht dem rechten Bild, das von der an der Position auf der rechten Seite der Bildaufnahmeumgebung angebrachten Kamera 11-R aufgenommen wurde.
Ein Zeichnungsbereich 501-L in 4 gibt hier einen Zeichnungsbereich des Bildobjekts 60 in Bezug auf das linke Auge an und entspricht einem von der Kamera 11-L in 5 aufgenommenen Abbildungsbereich 511-L des Bildobjekts 60. Ferner gibt ein Zeichnungsbereich 501-R in 4 einen Zeichnungsbereich des Bildobjekts 60 in Bezug auf das rechte Auge an und entspricht einem von der Kamera 11-R in 5 aufgenommenen Abbildungsbereich 511-R des Bildobjekts 60.
Das heißt, in einem Fall, in dem der Nutzer 50 das Bildobjekt 60 (das heißt, ein virtuelles Bildobjekt), das als das stereoskopische Video unter Verwendung des immersiven Display-Terminals 20 angezeigt wird, betrachtet, betrachtet der Nutzer das Bildobjekt innerhalb des Bereichs, der den Zeichnungsbereich 501-L vom linken Auge und den Zeichnungsbereich 501-R vom rechten Auge aus aufweist.
Dabei ist in 4 ein Punkt, an welchem eine Gerade A, die ein rechtes Ende des Zeichnungsbereichs 501-L und die Mitte des linken Auges des Nutzers 50 verbindet, eine Gerade B schneidet, die ein rechtes Ende des Zeichnungsbereichs 501-R und die Mitte des rechten Auges des Nutzers 50 verbindet, als Schnittpunkt X definiert. Ferner ist in 4 ein Punkt, an welchem eine Gerade C, die ein linkes Ende des Zeichnungsbereichs 501-L und die Mitte des linken Auges des Nutzers 50 verbindet, eine Gerade D schneidet, die ein linkes Ende des Zeichnungsbereichs 501-R und die Mitte des rechten Auges des Nutzers 50 verbindet, als Schnittpunkt Y definiert.
Hier können, da der Schnittpunkt X und der Schnittpunkt Y Punkte auf einer Geraden sind, die das linke und das rechte Auge des Nutzers 50 verbindet, und Enden eines Abschnitts sind, an dem das virtuelle Bildobjekt (das Video des virtuellen Bildobjekts) auf eine Projektionsoberfläche projiziert wird, die Schnittpunkte X und Y bei der Durchführung der stereoskopischen Betrachtung als linkes und rechtes Ende des virtuellen Bildobjekts angesehen werden. Somit lässt sich die vom Nutzer 50 im virtuellen Raum wahrgenommene Größe des virtuellen Bildobjekts (virtuellen Objekts) als Betrachtungswinkel 502 ausdrücken.
6 zeigt eine Distanz zwischen der optischen Achse der Optik der Kamera 11-L und der optischen Achse der Optik der Kamera 11-R (im Folgenden als „Distanz IPD_CAM zwischen den optischen Kameraachsen“ bezeichnet), in einem Fall, in dem das Bildobjekt 60 von den beiden Kameras 11-L und 11-R bildlich aufgenommen wird.
In 6 wird das Bildobjekt 60 von der Kamera 11-L und der Kamera 11-R, die in einem Abstand voneinander angebracht sind, der der Distanz IPD_CAM zwischen den optischen Kameraachsen entspricht, bildlich aufgenommen. Dabei gibt es einen Fall, in dem die Distanz IPD_CAM zwischen den optischen Kameraachsen nicht frei bestimmt werden kann, zum Beispiel aufgrund der Größe der Kamera 11 und der Linse, anderen physischen Einschränkungen, Beschränkungen der Bildaufnahmeumgebung und dergleichen.
7 zeigt eine Distanz (im Folgenden als Interpupillardistanz IPD_USER des Nutzers bezeichnet) zwischen der Pupille des linken und des rechten Auges des Nutzers 50 in einem Fall, in dem der Nutzer 50, der das Display-Terminal 20, wie etwa ein Head-Mounted-Display, trägt, ein stereoskopisches Video betrachtet.
Um eine stereoskopische Betrachtung durchzuführen, ist es hier erforderlich, das Video 500-L und ein Video 500-R, die jeweils dem von der Kamera 11-L und der Kamera 11-R erfassten linken Bild und rechten Bild entsprechen, gemäß der Interpupillardistanz IPD_USER des Nutzers auf dem virtuellen Raum anzuordnen.
Bei einer normalen Implementierung werden das dem erfassten linken Bild und rechten Bild entsprechende Video 500-L und Video 500-R jeweils auf eine gesamte Himmelskugel für das linke Auge und eine gesamte Himmelskugel für das rechte Auge projiziert (angefügt), und virtuelle Kameras (virtuelle Kameras, die Positionen des linken Auges und des rechten Auges des Nutzers entsprechen) werden an Mitten der betreffenden gesamten Himmelskugeln angebracht, so dass der Nutzer 50 die Videos von den Mitten der betreffenden gesamten Himmelskugeln aus an der Betrachtungsposition betrachten (beobachten) kann.
Es sei darauf hingewiesen, dass bei der normalen Implementierung, in einem Fall, in dem der das Display-Terminal 20 tragende Nutzer 50 den Kopf vor und zurück, nach links und rechts und auf und ab bewegt, die gesamte Himmelskugel die Bewegung in ähnlicher Weise begleitend implementiert wird, und sich ein Erscheinungsbild des stereoskopischen Videos vom Nutzer 50 aus daher nicht ändert.
Ferner tritt in einem Fall, in dem der Nutzer 50 den Kopf in der Gier-Richtung oder Roll-Richtung dreht (einer anderen als vertikalen Drehung, das heißt, eine Drehung, bei welcher die Positionen der Augen des Nutzers 50 aus den Mitten der gesamten Himmelskugeln verschoben sind), eine Parallaxenabweichung auf, und der Nutzer 50 kann das stereoskopische Video somit nicht korrekt betrachten. Jedoch kann, solange der Nutzer 50 nicht die Position der Augen bewegt, das heißt, nur die Augäpfel bewegt, das stereoskopische Video korrekt betrachtet werden.
Dabei kann, falls die Interpupillardistanz IPD_USER des Nutzers und die Distanz IPD_CAM zwischen den optischen Kameraachsen übereinstimmen, das Display-Terminal 20 die Umgebung zum Zeitpunkt der Bilderfassung, einschließlich das Erscheinungsbild für den Nutzer, wie etwa ein Empfinden der Größe (Größe) und ein Empfinden der Distanz des virtuellen Bildobjekts, wiedergeben.
Jedoch kann aufgrund von Beschränkungen der Größe einer Linse und eines Kamerakörpers der Kamera 11 der Betrag der Distanz IPD_CAM zwischen den optischen Kameraachsen nicht gleich oder kleiner als ein bestimmter Wert gemacht werden, und eine Beziehung IPD_CAM > IPD_USER ist in manchen Fällen unvermeidlich.
Es sei darauf hingewiesen, dass es seit einigen Jahren, durch die zunehmende Verkleinerung von Kameras, möglich ist, ein System zu wählen, bei dem der Betrag der Distanz IPD_CAM zwischen den optischen Kameraachsen klein eingestellt werden kann; es bestehen jedoch unterschiedliche Anforderungen an Bildaufnahmeumgebung, Videoqualität- und -nutzbarkeit, und ein solches System lässt sich nicht unbedingt in allen Fällen wählen.
Ferner wird umgekehrt auch davon ausgegangen, dass die Kamera in Abhängigkeit von der Umgebung, in welcher das Bildobjekt 60 bildlich aufgenommen wird, eine bestimmte Größe oder kleiner aufweisen muss, und es in diesem Fall sein kann, dass die Beziehung IPD_CAM < IPD_USER unweigerlich eintritt.
Wenn davon ausgegangen wird, dass sie in dieser Weise verschiedenen Bildaufnahme-Targets und Bildaufnahmeumgebungen entspricht, ist es in der Praxis schwierig, die Interpupillardistanz des Nutzers, IPD_USER, und die Distanz IPD_CAM zwischen den optischen Kameraachsen stets zur Übereinstimmung zu bringen.
Ferner ist es, wie in 7 gezeigt, da die Interpupillardistanz IPD_USER des Nutzers allgemein für jeden Nutzer anders ist, schwierig, die zum Zeitpunkt der bildlichen Aufnahme einzustellende optimale Interpupillardistanz IPD_USER des Nutzers eindeutig zu bestimmen. Es ist somit, um das Erscheinungsbild zwischen einzelnen Nutzern zu vereinheitlichen, erforderlich, eine gewisse Einstellung ungeachtet der Bildaufgabeumgebung endgültig durchzuführen.
Entsprechend ermöglicht es die vorliegende Technik, durch Einstellen einer Differenz im Erscheinungsbild des stereoskopischen Videos, die durch die Schwierigkeit, die Interpupillardistanz IPD_USER des Nutzers und die Distanz IPD_CAM zwischen den optischen Kameraachsen zur Übereinstimmung zu bringen und das Vorliegen einer Variation der Interpupillardistanz IPD_USER des Nutzers verursacht wird, ein Video geeigneter darzustellen.
Es sei darauf hingewiesen, dass in der folgenden Beschreibung hauptsächlich ein Beispiel eines Einstellens eines mit der Beziehung zwischen der Distanz IPD_CAM zwischen den optischen Kameraachsen und der Interpupillardistanz IPD_USER des Nutzers in Wechselbeziehung stehenden Parameters beschrieben wird, und der Parameter ein Beispiel für einen Parameter ist, der das Erscheinungsbild für den Nutzer, wie etwa eine Empfindung der Größe und eine Empfindung der Distanz des virtuellen Bildobjekts, beeinflusst.
(Funktionsmäßige Ausbildung des Videoverteilsystems)
8 zeigt ein Beispiel einer funktionsmäßigen Ausbildung des Videoverteilsystems 1 von 1.
In 8 weist das Videoverteilsystem 1 die Kamera 11 einschließlich einer Abbildungseinheit 120 und einer Detektionseinheit 130 für die Distanz zwischen den optischen Achsen auf, wobei das Display-Terminal 20 eine Wiedergabeeinheit 220 und eine Interpupillardistanzdetektionseinheit 230 und eine Umwandlungsverarbeitungseinheit 300 aufweist.
Die Umwandlungsverarbeitungseinheit 300 wird zum Beispiel von (der Verarbeitungseinheit 100) der Workstation 10 oder vom Display-Terminal 200 (von dessen Verarbeitungseinheit 200) aufgewiesen. Jedoch ist die Umwandlungsverarbeitungseinheit 300 nicht auf die Workstation 10 und das Display-Terminal 20 beschränkt und kann von einem anderen Gerät, wie etwa der Kamera 11, aufgewiesen werden.
Es sei darauf hingewiesen, dass in der Ausbildung von 8 der Vereinfachung der Beschreibung halber nur eine einzelne Kamera 11 gezeigt ist, in der Praxis jedoch für ein Bildobjekt zwei als Stereokameras ausgebildete Kameras 11-L und 11-R angebracht sind.
In der Kamera 11 erfasst die Abbildungseinheit 120 bildlich das Bildobjekt und gibt (überträgt) durch das bildliche Aufnehmen erhaltene Videoinformationen an die Umwandlungsverarbeitungseinheit 300 aus.
Ferner detektiert die Detektionseinheit 130 für die Distanz zwischen den optischen Kameraachsen die Distanz IPD_CAM zwischen den optischen Kameraachsen und gibt ein Detektionsergebnis derselben als Informationen über die Distanz zwischen den optischen Achsen aus.
Die Distanz IPD_CAM zwischen den optischen Kameraachsen kann hier unter Verwendung eines Sensors oder dergleichen detektiert werden, oder kann manuell gemessen oder als fester Wert angegeben werden.
Die Detektionseinheit 130 für die Distanz zwischen den optischen Achsen wird somit nicht unbedingt von der Kamera 11 aufgewiesen, sondern die Distanz IPD_CAM zwischen den optischen Kameraachsen wird durch die Aufstellposition der Kamera 11-L und die Aufstellposition der Kamera 11-R eindeutig bestimmt, und selbst in einem Fall, in dem die Detektionseinheit 130 für die Distanz zwischen den optischen Achsen nicht aufgewiesen wird, ändert sich die wesentliche Ausbildung der vorliegenden Technik nicht.
Im Display-Terminal 20 detektiert die Interpupillardistanzdetektionseinheit 230 die Interpupillardistanz IPD_USER des Nutzers und gibt ein Detektionsergebnis als Interpupillardistanz-Informationen aus.
Die Interpupillardistanz IPD_USER des Nutzers wird hier zum Beispiel unter Verwendung eines Detektionsergebnisses durch die Sensoreinheit 201 (3) detektiert, oder durch Analysieren eines aufgenommenen Bildes mit vorbestimmtem Timing bevor der das Display-Terminal 20 am Kopf tragende Nutzer eine Bedienung zum Starten der Wiedergabe eines Videos oder während der Widergabe eines Videos durchführt.
Die Informationen über die Distanz zwischen den optischen Achsen (Distanz IPD_CAM zwischen den optischen Kameraachsen) und die Interpupillardistanz-Informationen (Interpupillardistanz IPD_USER des Nutzers) werden der Umwandlungsverarbeitungseinheit 300 als Umwandlungsinformationen eingegeben.
Die Umwandlungsinformationen sind jedoch nicht auf die Informationen über die Distanz zwischen den optischen Achsen und die Interpupillardistanz-Informationen beschränkt und können zum Beispiel Informationen bezüglich einer Distanz zu einem virtuellen Bildobjekt (virtuelles Haupt-Bildobjekt unter einem oder mehreren virtuellen Bildobjekten) und Informationen bezüglich der Größe eines virtuellen Bildobjekts (virtuelles Haupt-Bildobjekt unter einem oder mehreren virtuellen Bildobjekten) einschließen.
Die Umwandlungsverarbeitungseinheit 300 führt dann eine Umwandlungsverarbeitung der Videoinformationen aus der Kamera 11 auf der Basis der in diese eingegebenen Umwandlungsinformationen aus und gibt (überträgt) umgewandelte Videoinformationen, die als Ergebnis erhalten werden, an das Display-Terminal 20 aus.
Genauer gesagt verwendet die Umwandlungsverarbeitungseinheit 300 die Videoinformationen und die Umwandlungsinformationen, um eine Umwandlungsverarbeitung gemäß, zum Beispiel, einem des ersten bis dritten Verfahrens oder einer Kombination aus wenigstens zweien des ersten bis dritten Verfahrens durchzuführen.
Bei dieser Umwandlungsverarbeitung ist es, um eine geeignete Umwandlung (Korrektur) durchzuführen, erforderlich, Parameter (Parameter, die das Erscheinungsbild für den Nutzer bezüglich des virtuellen Bildobjekts beeinflussen) gemäß jedem Verfahren geeignet einzustellen. In der Umwandlungsverarbeitungseinheit 300 ist eine Parametereinstelleinheit 320 bereitgestellt, um diesen Parameter einzustellen. Es sei darauf hingewiesen, dass Einzelheiten der drei Verfahren des ersten bis dritten Verfahrens später beschrieben werden.
Im Display-Terminal 20 gibt die Wiedergabeeinheit 220 auf der Basis der in diese eingegebenen umgewandelten Videoinformationen ein Video nach der Umwandlung (stereoskopisches Video) aus und zeigt das Video auf der Display-Einheit 203 an. Folglich kann der das Display-Terminal 20 am Kopf tragende Nutzer das stereoskopische Video vor den Augen angezeigt betrachten.
(Gesamter Verarbeitungsfluss)
Als Nächstes wird mit Bezug auf ein Flussdiagramm von 9 ein gesamter Verarbeitungsfluss des Videoverteilsystems 1 von 1 beschrieben.
In Schritt S11 wird das Bildobjekt von den beiden als Stereokameras ausgebildeten Kameras 11-L und 11-R bildlich aufgenommen.
In Schritt S12 zum Beispiel wird von einer Verteilseite wie etwa einem Content-Erzeuger eine Post-Production-Verarbeitung durchgeführt, und durch die (Verarbeitungseinheit 100 der) Workstation 10 wird ein Video zur Verteilung erzeugt.
Bei dieser Post-Production-Verarbeitung wird als Verarbeitung nach der Bildaufnahme zum Beispiel jeweils ein Video, das der gesamten Himmelskugel für das linke Auge des Nutzers basierend auf dem von der Kamera 11-L aufgenommenen linken Bild, und ein Video, das der gesamten Himmelskugel für das rechte Auge des Nutzers basierend auf dem von der Kamera 11-R für das rechte Auge aufgenommenen rechten Bild entspricht, erzeugt.
Das hier erzeugte Video zur Verteilung wird als Video-Stream durch den Videoverteilserver 12 an das Display-Terminal 20 über das Internet 30 verteilt.
In den Schritten S13 bis S16 verarbeitet (die Verarbeitungseinheit 200 des) Display-Terminal(s) 20 den über das Internet 30 empfangenen Video-Stream und führt zum Beispiel eine Decodier- und Rendering-Verarbeitung durch.
Genauer gesagt werden im Display-Terminal 20 ein 3D-Modell und eine virtuelle Kamera in den gesamten Himmelskugeln für das linke Auge und das rechte Auge angeordnet (S13), und eine Bewegungsverarbeitung des angeordneten 3D-Modells oder der angeordneten virtuellen Kamera wird durchgeführt wie erforderlich (S14).
Das heißt, hier wird im virtuellen Raum die dem linken Auge des Nutzers entsprechende virtuelle Kamera an der Mitte der gesamten Himmelskugel für das linke Auge angeordnet, und die dem rechten Auge des Nutzers entsprechende virtuelle Kamera wird an der Mitte der gesamten Himmelskugel für das rechte Auge angeordnet (S13). Ferner wird im virtuellen Raum ein 3D-Modell, das ein virtuelles Bildobjekt aufweist, das dem von den Stereokameras bildlich aufgenommenen Bildobjekt entspricht, angeordnet (S13).
Ferner wird bei diesem Beispiel, da die Umwandlungsverarbeitungseinheit 300 (8) vom Display-Terminal 20 (in dessen Verarbeitungseinheit 200) aufgewiesen wird, in einem Fall, in dem die Beziehung IPD_CAM > IPD_USER auftritt oder dergleichen, das angeordnete 3D-Modell oder die angeordnete virtuelle Kamera bewegt, indem die Umwandlungsverarbeitung gemäß einem des ersten Verfahrens bis dritten Verfahrens oder einer Kombination aus wenigstens zwei Verfahren des ersten Verfahrens bis dritten Verfahrens (S14) durchgeführt wird.
Anschließend decodiert das Display-Terminal 20 das Video (S15) und führt eine Verarbeitung eines Anfügens einer Textur an das 3D-Modell durch (S16).
So wird zum Beispiel der Oberfläche des 3D-Modells einschließlich dem virtuellen Bildobjekt eine Textur verliehen (S16). Es sei darauf hingewiesen, dass sich dabei die Umwandlungsverarbeitungseinheit 300 (8) dreht und die Textur auf das 3D-Modell anfügt, so dass es zum Beispiel möglich ist, das später noch zu beschreibende zweite Verfahren zu unterstützen (das heißt, obgleich Einzelheiten später beschrieben werden, das an die gesamte Himmelskugel anzufügende Video kann gedreht werden).
In Schritt S17 wird bestimmt, ob das wiederzugebende Video ein Bewegtbild ist oder ob die Einstellung des Parameters dynamisch zu verändern ist.
In einem Fall, in dem dies bei der Bestimmungsverarbeitung von Schritt S17 bejahend bestimmt wird („Ja“), kehrt die Verarbeitung zu Schritt S14 zurück und die Verarbeitung von Schritt S14 und nachfolgenden Schritten wird wiederholt. In einem Fall, in dem dies bei der Bestimmungsverarbeitung von Schritt S17 verneinend bestimmt wird („Nein“), endet hingegen die Verarbeitung.
Zum Beispiel wird in einem Fall, in dem eine Änderung des Bildobjekts als Bildaufnahme-Target stattfindet und eine Implementierung eines dynamischen Einstellens des Parameters gemäß einem Änderungsbetrag stattfindet, in der Bestimmungsverarbeitung von Schritt S17 eine bejahende Bestimmung („Ja“) getroffen, die Verarbeitung der Schritte S14 bis S16 wird wiederholt, und die Umwandlungsverarbeitung durch die Umwandlungsverarbeitungseinheit 300 wird in der Verarbeitung von Schritt S14 oder S16 durchgeführt. Ferner kann das Display-Terminal 20 die Daten des der Umwandlungsverarbeitung unterzogenen Videos in der Speichereinheit 202 (vorübergehend) speichern. So kann der Nutzer das der Umwandlungsverarbeitung unterzogene Video später betrachten.
Es sei darauf hingewiesen, dass in der vorstehenden Beschreibung, obgleich ein Fall beschrieben wurde, in dem die Parametereinstellung gemäß den drei Verfahren des ersten Verfahrens bis dritten Verfahrens zu einem Zeitpunkt der Rendering-Verarbeitung (S14, S16) durchgeführt wird, die Parametereinstellung nicht nur zum Zeitpunkt der Rendering-Verarbeitung sondern zum Beispiel auch zu einem Zeitpunkt der Post-Production-Verarbeitung (S12) durchgeführt werden kann. Das heißt, in diesem Fall wird die Umwandlungsverarbeitungseinheit 300 nicht von (der Verarbeitungseinheit 200 des) Display-Terminal(s) 20 sondern von (der Verarbeitungseinheit 100) der Workstation 10 aufgewiesen.
Jedoch ist es, wie unter Bezugnahme auf 9 beschrieben, falls sie zum Zeitpunkt der Rendering-Verarbeitung vorgenommen wird, möglich, ein gemeinsames Video als Video-Stream aus der Verteilseite zu verteilen und unterdessen ein für jeden betrachtenden Nutzer individuelles Video (einer Umwandlungsverarbeitung unterzogenes Video) auf der Display-Terminal 20-Seite anzuzeigen, und es besteht somit der Vorteil, dass der Freiheitsgrad zum Zeitpunkt der Verteilung des Videos erhöht wird.
Ferner ist in 9 das, was als Video-Stream verteilt wird, nicht auf ein Bewegtbild beschränkt und kann ein Standbild sein, und wird zum Beispiel in einem Fall, in dem die Display-Terminal 20-Seite ein Standbild als Video verarbeitet, in der Bestimmungsverarbeitung von Schritt S17 verneinend („Nein“) bestimmt und die Verarbeitung (Schleife) der Schritte S14 bis S16 wird nicht wiederholt, außer für einen Fall, in dem die Parametereinstellung dynamisch durchgeführt wird.
Vorstehend wurde der gesamte Verarbeitungsfluss des Videoverteilsystems 1 beschrieben.
(Prinzip der vorliegenden Technik)
Hier wird unter Bezugnahme auf 10 bis 15 das Prinzip der vorliegenden Technik beschrieben.
10 zeigt, von oben gesehen, schematisch einen Zustand, in dem der das Display-Terminal 20 tragende Nutzer 50 das stereoskopische Video betrachtet, in einem Fall in dem das Video 500-L und das Video 500-R, die jeweils dem von der Kamera 11-L und der Kamera 11-R, die an den Positionen angebracht sind, die der Distanz IPD_CAM zwischen den optischen Kameraachsen entsprechen, erfassten linken Bild und rechten Bild entsprechen, in Bezug auf das Bildobjekt im virtuellen Raum angeordnet sind. 10 zeigt jedoch den Fall, in dem eine Beziehung IPD_CAM = IPD_USER auftritt.
Es sei darauf hingewiesen, dass in 10 eine Richtung von einer unteren Seite zu einer oberen Seite in der grafischen Darstellung eine Vorwärtsrichtung ist. Ferner gilt diese Beziehung ähnlich auch für andere entsprechende Zeichnungen.
Wie in 10 gezeigt, können als repräsentativer Wert, der ein Erscheinungsbild eines virtuellen Bildobjekts (virtuellen Objekts) charakterisiert, beispielhaft neben dem Betrachtungswinkel 502 eine Verschmelzungsdistanz 503 und dergleichen dienen, und ein Erscheinungsbild des virtuellen Bildobjekts (virtuelles Objekt) ist dabei ein Erscheinungsbild einer Referenz, das gleich aussieht wie das reale Bildobjekt (reale Objekt).
Genauer gesagt wird, wie in 11 gezeigt, in einem Fall, in dem das bildliche Stereokamera-Aufnehmen eines Bildobjekts mit der Distanz IPD_CAM zwischen den optischen Kameraachsen auf 65 mm eingestellt durchgeführt wird, und dem aufgenommenen linken Bild und rechten Bild entsprechende Videos 500-L und 500-R jeweils an die gesamten Himmelskugeln für das linke Auge und das rechte Auge angefügt werden, davon ausgegangen, dass das virtuelle Bildobjekt aus den Mitten der gesamten Himmelskugeln für das linke Auge und das rechte Auge des Nutzers aus mit der Interpupillardistanz IPD_USER des Nutzers auf 65 mm eingestellt betrachtet wird.
Dabei stimmt eine dicke Linie 520 in der grafischen Darstellung, die der Distanz zwischen den an den Mitten der gesamten Himmelskugeln für das linke Auge und das rechte Auge platzierten virtuellen Kameras entspricht, mit der Interpupillardistanz IPD_USER des Nutzers überein. Ferner stimmt die Interpupillardistanz IPD_USER des Nutzers auch mit der Distanz IDP_CAM zwischen den optischen Kameraachsen überein.
In 11 ist der im linken Auge des Nutzers gesehene Bereich des stereoskopischen Videos durch einen linken Sehwinkel 521-L dargestellt, der im rechten Auge des Nutzers gesehene Bereich des stereoskopischen Videos ist durch einen rechten Sehwinkel 521-R dargestellt, und der Gesamtsehwinkel des stereoskopischen Videos ist durch einen Sehwinkel 522 dargestellt. Ferner ist in 11 ein verschmolzenes Video durch ein Verschmelzungsvideo 523 dargestellt, und der Sehwinkel 522 und das Verschmelzungsvideo 523 entsprechen dem Betrachtungswinkel 502 in 10.
Hier erscheint, da die Distanz IPD_CAM zwischen den optischen Kameraachsen zum Bildaufnahmezeitpunkt mit der Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt übereinstimmt, ein vom Nutzer betrachtetes stereoskopisches Video (aufgenommenes Video) gleich wie im Fall einer direkten Betrachtung ohne Hindurchtreten durch die Kameras 11-L und 11-R. Jedoch wird hier der Einfachheit halber eine Prinzipbeschreibung gegeben, während es in der Praxis erforderlich ist, bei der Bildaufnahme Verzerrung und dergleichen zu berücksichtigen.
Dagegen zeigt 12 von oben gesehen schematisch einen Zustand, in dem der das Display-Terminal 20 tragende Nutzer das stereoskopische Video in dem Fall betrachtet, in dem die Beziehung IPD_CAM > IPD_USER auftritt.
Wie in 12 gezeigt, ist das für den Nutzer 50 angezeigte Video das gleiche wie das in 10 gezeigte Video. Dabei ist beim Vergleich der Schemadarstellung von 12 mit der Schemadarstellung von 10 der Betrachtungswinkel 502 von 12 im Wesentlichen der gleiche wie der Betrachtungswinkel 502 von 10, die Verschmelzungsdistanz 503 von 12 ist jedoch kürzer als die Verschmelzungsdistanz 503 von 10.
Aus diesem Grund wird unter der Bedingung IPD_CAM > IPD_USER, während die Größe des Erscheinungsbilds optisch beinahe nicht verändert ist, die Verschmelzungsdistanz 503 als nah empfunden, und das virtuelle Bildobjekt sieht nicht so groß aus, obwohl das virtuelle Bildobjekt nah ist, und folglich empfindet der Nutzer das Bildobjekt als klein.
Genauer gesagt wird, wie in 13 gezeigt, davon ausgegangen, dass in einem Fall, in dem das bildliche Stereokamera-Aufnehmen des Bildobjekts mit der Distanz IPD_CAM zwischen den optischen Kameraachsen auf 85 mm eingestellt durchgeführt wird, und dem aufgenommenen linken Bild und rechten Bild entsprechende Videos 500-L und 500-R jeweils an die gesamten Himmelskugeln für das linke Auge und das rechte Auge angefügt werden, das virtuelle Bildobjekt aus den Mitten der gesamten Himmelskugeln für das linke Auge und das rechte Auge des Nutzers aus mit der Interpupillardistanz IPD_USER des Nutzers auf 65 mm eingestellt betrachtet wird.
Dabei stimmt die dicke Linie 520 in der grafischen Darstellung, die der Distanz zwischen den an den Mitten der gesamten Himmelskugeln für das linke Auge und das rechte Auge angebrachten virtuellen Kameras entspricht, mit der Interpupillardistanz IPD_USER des Nutzers überein, aber die Interpupillardistanz IPD_USER des Nutzers stimmt nicht mit der Distanz IPD_CAM zwischen den optischen Kameraachsen überein.
Da die Distanz IPD_CAM zwischen den optischen Kameraachsen zum Bildaufnahmezeitpunkt und die Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt in der Beziehung IPD_CAM > IPD_USER stehen, werden hier die gesamten Himmelskugeln, an welche das linke und rechte Video 500-L und 500-R angefügt werden, innerhalb der Position unter Berücksichtigung der tatsächlichen Bildaufnahmeposition angeordnet und der Gesamtmaßstab wird kleiner. Das vom Nutzer betrachtete stereoskopische Video wird somit näher gesehen als bei direkter Betrachtung ohne Hindurchtreten durch die Kameras 11-L und 11-R.
Der Nutzer empfindet dann, dass das virtuelle Bildobjekt in der Nähe gesehen wird, obwohl sich der Gesamtsehwinkel 522 (Betrachtungswinkel 502) des virtuellen Bildobjekts nicht ändert, und empfindet daher, dass das virtuelle Bildobjekt klein erscheint.
14 zeigt im Detail einen Zustand, in dem der Nutzer das stereoskopische Video betrachtet, wenn IPD_CAM > IPD_USER, in einem Fall, in dem sich das virtuelle Bildobjekt (virtuelle Objekt) direkt vorn befindet.
A von 14 zeigt einen Zustand im virtuellen Raum, wenn davon ausgegangen wird, dass die Kameras 11-L und 11-R im realen Raum jeweils an Positionen von schwarzen Kreisen (•) an einem linken und rechten Ende der dicken Linie 520 in der grafischen Darstellung als der Distanz IPD_CAM zwischen den optischen Kameraachsen angebracht sind und das Bildobjekt bildlich aufgenommen wird. Dagegen zeigt B von 14 einen Zustand im virtuellen Raum, wenn das virtuelle Bildobjekt, das dem Bildobjekt entspricht, das im Zustand von A von 14 bildlich aufgenommen wird, in einem Zustand betrachtet wird, in dem sich das linke Auge und das rechte Auge (virtuelle Kameras) des Nutzers an Positionen von schwarzen Kreisen (•) an einem linken und rechten Ende der dicken Linie 520 in der grafischen Darstellung als die Interpupillardistanz IPD_User des Nutzers befinden.
Dabei betragen in A und B von 14 die Gesamtsehwinkel 522 beide ungefähr 49° und sind im Wesentlichen die gleichen Winkel, die Positionen der Verschmelzungsvideos 523 des virtuellen Bildobjekts direkt vorn sind aber verschieden von der Beziehung IPD_CAM > IPD_USER. Das heißt, in B von 14 empfindet der Nutzer, da die Position des Verschmelzungsvideos 523 in Bezug auf die dicke Linie 520 in der grafischen Darstellung näher ist als verglichen mit der von A in 14, dass das virtuelle Bildobjekt direkt vorn in der Nähe betrachtet wird, und das virtuelle Bildobjekt erscheint klein.
15 zeigt im Detail einen Zustand, in dem der Nutzer das stereoskopische Video betrachtet, wenn IPD_CAM > IPD_USER, in einem Fall, in dem sich das virtuelle Bildobjekt (virtuelle Objekt) auf der rechten Vorderseite befindet.
In 15 entsprechen, ähnlich wie bei der oben beschriebenen 14, Positionen von schwarzen Kreisen (•) an einem linken und rechten Ende der dicken Linie 520 in der grafischen Darstellung den Anbringungspositionen der Kameras 11-L und 11-R zum Bildaufnahmezeitpunkt (A von 15) und jeweils den Positionen des linken Auges und des rechten Auges des Nutzers (B von 15).
Dabei betragen in A und B von 15 die Gesamtsehwinkel 522 beide ungefähr 44° und sind im Wesentlichen die gleichen Winkel, aus der Beziehung IPD_CAM > IPD_USER in B von 15 empfindet der Nutzer aber, da die Position des Verschmelzungsvideos 523 in Bezug auf die dicke Linie 520 näher ist als verglichen mit der in A von 15, dass das virtuelle Bildobjekt auf der rechten Vorderseite näher erscheint und dieses virtuelle Bildobjekt klein erscheint.
Wie oben beschrieben, sieht in einem Fall, in dem die Distanz IDP_CAM zwischen den optischen Kameraachsen der Stereokameras, die ein Bild des Bildobjekts (echten Objekts) im realen Raum aufnehmen, von der Interpupillardistanz IPD_USER des Nutzers im virtuellen Raum verschieden ist (zum Beispiel in einem Fall, in dem die Beziehung IPD_CAM > IPD_USER auftritt), die Größe des dem Bildobjekt im virtuellen Raum entsprechenden virtuellen Bildobjekts (virtuellen Objekts) zum Betrachtungszeitpunkt durch den Nutzer anders aus, und der Nutzer fühlt sich daher unbehaglich.
Daher lässt sich bei der vorliegenden Technik ein Video durch Verwenden dreier Verfahren des oben beschriebenen ersten Verfahrens bis dritten Verfahrens geeigneter anzeigen.
(Erstes Verfahren)
Zunächst wird unter Bezugnahme auf 16 bis 21 ein erstes Verfahren beschrieben. Das erste Verfahren ist ein Verfahren eines geeigneteren Anzeigens eines Videos durch Verschieben der Betrachtungsposition des das stereoskopische Video betrachtenden Nutzers aus den Mitten der gesamten Himmelskugeln.
16 zeigt schematisch ein Beispiel für einen Zustand, in dem das erste Verfahren in einem Fall angewendet wird, in dem die Beziehung IPD_CAM > IPD_USER auftritt.
16 zeigt einen Zustand, in dem die Positionen der virtuellen Kameras aus den Mitten der gesamten Himmelskugeln nach vorn bewegt werden, das heißt, einen Zustand, in dem die Betrachtungsposition des das Display-Terminal 20 tragenden Nutzers 50 an das virtuelle Subjekt herangeführt wird, in einem Fall, in dem die Beziehung zwischen der Distanz IDP_CAM zwischen den optischen Kameraachsen und der Interpupillardistanz IPD_USER des Nutzers eine ähnliche Bedingung wie die in der oben beschriebenen 12 ist.
Dabei ist, beim Vergleich des Zustands von 16 mit dem Zustand von 12, eine Verschmelzungsdistanz 603 etwas kürzer als die Verschmelzungsdistanz 503, ein Betrachtungswinkel 602 ist jedoch bedeutend größer als der Betrachtungswinkel 502. Somit ist es durch Einstellen dieses Parameters möglich, das virtuelle Bildobjekt optisch groß aussehen zu lassen und den Einfluss, dass die Verschmelzungsdistanz kurz wird und das virtuelle Bildobjekt folglich als klein empfunden wird, aufzuheben.
Ferner wird das in 16 gezeigte Beispiel auch wie folgt aus einem anderen Aspekt verständlich. Das heißt, es wird, wie in 17 gezeigt, davon ausgegangen, dass in einem Fall, in dem das bildliche Stereokamera-Aufnehmen des Bildobjekts mit der Distanz IPD_CAM zwischen den optischen Kameraachsen auf 85 mm eingestellt durchgeführt wird, und dem aufgenommenen linken Bild und rechten Bild entsprechende Videos 600-L und 600-R jeweils an die gesamten Himmelskugeln für das linke Auge und das rechte Auge projiziert (angefügt) werden, die Betrachtungsposition des Nutzers aus der Mitte der gesamten Himmelskugeln verschoben wird.
Es sei darauf hingewiesen, dass in 17 der im linken Auge des Nutzers gesehene Bereich des stereoskopischen Videos durch einen linken Sehwinkel 621-L dargestellt ist, der im rechten Auge des Nutzers gesehene Bereich des stereoskopischen Videos durch einen rechten Sehwinkel 621-R dargestellt ist, und der Gesamtsehwinkel des stereoskopischen Videos durch einen Sehwinkel 622 dargestellt ist. Des Weiteren ist in 17 das verschmolzene Video durch ein Verschmelzungsvideo 623 dargestellt.
Ferner stellt in 17 der Schnittpunkt einer in Bezug auf das Video 600-L beschriebenen Kreuzlinie 631-L die Mitte der gesamten Himmelskugel für das linke Auge dar, auf welche das Video 600-L angefügt ist. Ähnlich stellt der Schnittpunkt einer in Bezug auf das Video 600-R beschriebenen Kreuzlinie 631-R die Mitte der gesamten Himmelskugel für das rechte Auge dar, auf welche das Video 600-R angefügt ist.
Dabei weist der das Display-Terminal 20 tragende Nutzer die Interpupillardistanz IPD_User des Nutzers von 65 mm auf, und sieht das virtuelle Bildobjekt mit dem linken Auge und dem rechten Auge. Das heißt, Positionen von schwarzen Kreisen an einem linken Ende und einem rechten Ende einer dicken Linie 620 in der grafischen Darstellung entsprechen den Positionen der virtuellen Kameras, da aber die Betrachtungsposition des Nutzers nach vorn verschoben ist, ist die Betrachtungsposition des Nutzers aus den Mitten der gesamten Himmelskugeln, die durch die Schnittpunkte der Kreuzlinien 631-L und 631-R dargestellt sind, verschoben.
Mit anderen Worten, obgleich die Videos 600-L und 600-R, die dem von den Stereokameras bildlich aufgenommenen linken Bild und rechten Bild entsprechen, jeweils an die gesamten Himmelskugeln für das linke Auge und das rechte Auge angefügt sind, sind, da die Betrachtungsposition des Nutzers nach vorn verschoben ist, die virtuellen Kameras nicht an den jeweiligen Mitten der gesamten Himmelskugeln für das linke und das rechte Auge platziert, und es lässt sich sagen, dass der Nutzer nicht von den jeweiligen Mitten der gesamten Himmelskugeln für das linke und das rechte Auge aus betrachtet.
Auf diese Weise ist die Betrachtungsposition des Nutzers aus den Mitten der gesamten Himmelskugeln verschoben, und die Position des linken Auges und des rechten Auges des Nutzers ist jeweils in die Position der schwarzen Kreise am linken Ende und rechten Ende der dicken Linie 620 in der grafischen Darstellung bewegt und an die Projektionsoberfläche herangeführt, so dass sich der Gesamtsehwinkel 622 des virtuellen Bildobjekts vergrößert und der Nutzer dieses virtuelle Bildobjekt als groß empfinden kann.
Folglich ist es möglich, den Einfluss, dass das virtuelle Bildobjekt aufgrund der Beziehung IPD_CAM > IPD_USER als klein empfunden wird, aufzuheben, und der Nutzer kann das virtuelle Bildobjekt (das dem realen Bildobjekt ähnliche virtuelle Bildobjekt) in einem realitätsnäheren Zustand betrachten.
Es sei darauf hingewiesen, dass, wie in 18 und 19 gezeigt, indem die Betrachtungsposition des Nutzers näher an die Projektionsoberfläche herangeführt wird, der Gesamtsehwinkel 622 des virtuellen Bildobjekts weiter vergrößert wird, so dass man das virtuelle Bildobjekt größer aussehen lassen kann.
(Schematische Darstellung der virtuellen Distanz)
20 zeigt schematisch ein Konzept einer virtuellen Distanz vom Nutzer zum virtuellen Bildobjekt, die verwendet wird, wenn die Umwandlungsverarbeitungseinheit 300 die Umwandlungsverarbeitung durchführt.
Bei einer gesamten Himmelskugel 600 (oder Raum 600), auf welche das Video projiziert wird, kann, wenn das virtuelle Bildobjekt (virtuelle Objekt) aussieht wie der vom Nutzer aus gesehene Betrachtungswinkel 602, die Distanz DISTANCE zum virtuellen Bildobjekt als folgende Gleichung (1) unter Verwendung eines Radius r und eines Betrachtungswinkels θ ausgedrückt werden.
$DISTANCE = r \times cos [0.5 θ]$
Ferner wird, unter der Bedingung, dass die Interpupillardistanz IPD_USER des Nutzers und die Distanz IPD_CAM zwischen den optischen Kameraachsen nicht übereinstimmen, davon ausgegangen, dass der Nutzer die Größe des virtuellen Bildobjekts in einem Zustand IPD_USER/IPD_CAM verglichen mit dem Bildobjekt im realen Raum sieht. Somit ist es, um eine erforderliche „Post-Movement“-Distanz zu leiten, erforderlich, deren Einfluss auf das tatsächlich gesehene virtuelle Bildobjekt zu entfernen.
21 zeigt schematisch einen Zustand nachdem die Umwandlungsverarbeitung durch die Umwandlungsverarbeitungseinheit 300 durchgeführt wird und die Positionen der virtuellen Kameras in die Richtung des virtuellen Bildobjekts bewegt (herangeführt) werden.
Die Bewegungsdistanz MOVE_DST der virtuellen Kamera lässt sich hier als folgende Gleichung (2) unter Verwendung eines Bewegungsverhältnisses a in Bezug auf einen Radius r der Kugel darstellen.
$MOVE_DST = a \times r$
Ferner lässt sich die Distanz DISTANCE zum virtuellen Bildobjekt nach der Bewegung als folgende Gleichung (3) aus der Beziehung zwischen Gleichung (1) und Gleichung (2) darstellen.
$DISTANCE = r \times cos (0.5 θ) - a \times r$
Ferner lässt sich die Distanz DISTANCE zum virtuellen Bildobjekt nach der Bewegung durch eine Beziehung der folgenden Gleichung (4) darstellen.
$r \times cos (0.5 θ) - a \times r = (IPD_USER/IPD_CAM) \times r \times cos (0.5 θ)$
Durch Auflösen derselben lässt sich das gewünschte Bewegungsverhältnis dann durch die folgende Gleichung (5) ausdrücken.
$a = cos (0.5 θ) \times (1 - IPD_USER/IPD_CAM)$
Es sei darauf hingewiesen, dass dabei davon ausgegangen wird, dass es aufgrund der menschlichen Sichteigenschaften nahezu keinen Fall gibt, in dem der Betrachtungswinkel 602 des virtuellen Bildobjekts in einem Zustand, in dem die Größe des gesamten Bildobjekts im Raum erkannt werden kann, 10° überschreitet, einschließlich zum Beispiel einem Fall, in dem eine Person vor den Augen steht. Daher kann cos(0.5θ) als im Wesentlichen 1 angesehen werden und kann auch in Anbetracht des Ziels der vorliegenden Technik praktisch außer Acht gelassen werden.
Daher lässt sich die Gleichung (5) darstellen als a = (1 - IPD_USER/IPD_CAM), und die Größe des virtuellen Bildobjekts ist bei der Umwandlungsverarbeitung unnötig.
Wie oben beschrieben, wird im ersten Verfahren, in einem Fall, in dem die Distanz IPD_CAM zwischen den optischen Kameraachsen und die Interpupillardistanz IPD_USER des Nutzers verschieden sind, der Parameter so eingestellt, dass die Betrachtungsposition des Nutzers aus den Mitten der Kugelflächen (gesamte Himmelskugeln), auf welche das Video projiziert wird, verschoben wird (die Position der virtuellen Kameras, die der Betrachtungsposition des Nutzers entspricht, wird an die Projektionsoberfläche der Kugelfläche herangeführt oder von der Projektionsoberfläche weggeführt). Somit wird das virtuelle Bildobjekt einem Zustand entsprechend angezeigt, in dem die Distanz IDP_CAM zwischen den optischen Kameraachsen zum Bildaufnahmezeitpunkt mit der Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt übereinstimmt.
Das heißt, im ersten Verfahren wird, durch Verschieben der Betrachtungsposition des das stereoskopische Video betrachtenden Nutzers aus der Mitte der gesamten Himmelskugel, der Einfluss, dass das virtuelle Bildobjekt aufgrund der Beziehung IPD_CAM > IPD_USER als klein empfunden wird, aufgehoben, und das virtuelle Bildobjekt lässt sich in einem realitätsnäheren Zustand anzeigen.
Das heißt, in einem Fall, in dem die Beziehung IPD_CAM > IPD_USER auftritt, werden die gesamten Himmelskugeln, an welche die dem aufgenommenen linken Bild und rechten Bild entsprechenden Videos 600-L und 600-R angefügt werden, innerhalb der Positionen in Anbetracht der tatsächlichen Bildaufnahmepositionen angeordnet, und der Gesamtmaßstab wird reduziert. Somit erscheint das vom Nutzer betrachtete stereoskopische Video näher als in einem Fall, in dem das stereoskopische Video direkt betrachtet wird, ohne durch die Kameras 11-L und 11-R hindurchzutreten. Dann empfindet, vom Nutzer aus, obgleich sich der Gesamtsehwinkel 622 (Betrachtungswinkel 602) des virtuellen Bildobjekts nicht verändert hat, der Nutzer das virtuelle Bildobjekt als nahe und empfindet das virtuelle Bildobjekt als klein.
Dagegen wird im ersten Verfahren, in einem Fall, in dem die Beziehung IPD_CAM > IPD_USER auftritt, die Betrachtungsposition des Nutzers aus den Mitten der gesamten Himmelskugeln verschoben und an die Projektionsoberfläche herangeführt, so dass der Gesamtsehwinkel 622 (Betrachtungswinkel 602) des virtuellen Bildobjekts verändert (vergrößert) wird, damit es als groß empfunden wird. Folglich wird der Einfluss, dass das virtuelle Bildobjekt aufgrund der Beziehung IPD_CAM > IPD_USER als klein empfunden wird, aufgehoben und das virtuelle Bildobjekt wird in einem realitätsnäheren Zustand angezeigt.
Es sei darauf hingewiesen, dass in der obigen Beschreibung der Fall beschrieben wurde, in dem die Betrachtungsposition des Nutzers an die Projektionsoberfläche herangeführt wird, um die Empfindung der Größe des virtuellen Bildobjekts zu vergrößern, es aber umgekehrt, in einem Fall, in dem gewünscht wird, die Empfindung der Größe des virtuellen Bildobjekts zu verkleinern, nur erforderlich ist, die Betrachtungsposition des Nutzers von der Projektionsoberfläche wegzuführen, um den Gesamtsehwinkel 622 des virtuellen Bildobjekts zu verkleinern.
Ferner vergrößert sich, in einem Fall, in dem die Betrachtungsposition des Nutzers an die Projektionsoberfläche herangeführt wird, der Konvergenzwinkel und das virtuelle Bildobjekt wird als nah empfunden, und in einem Fall, in dem die Betrachtungsposition von der Projektionsoberfläche wegbewegt wird, verringert sich unterdessen der Konvergenzwinkel, und das virtuelle Bildobjekt wird als fern empfunden. Der Einfluss des Konvergenzwinkels ist für ein näheres Objekt größer und für ein ferneres Objekt kleiner.
(Zweites Verfahren)
Als Nächstes wird unter Bezugnahme auf 22 bis 26 das zweite Verfahren beschrieben. Das zweite Verfahren ist ein Verfahren eines geeigneteren Anzeigens eines Videos durch Drehen der an die gesamten Himmelskugeln anzufügenden Videos.
22 zeigt schematisch ein Beispiel für einen Zustand, in dem das zweite Verfahren in einem Fall angewendet wird, in dem die Beziehung IPD_CAM > IPD_USER auftritt.
22 zeigt einen Zustand, in dem an die gesamten Himmelskugeln angefügte Videos 700-L und 700-R in einem Fall, in dem die Beziehung zwischen der Distanz IDP_CAM zwischen den optischen Kameraachsen und der Interpupillardistanz IPD_USER des Nutzers eine ähnliche Bedingung wie die in der oben beschriebenen 12 ist.
In 22 wird das dem linken Bild entsprechende Video 700-L, das an die gesamte Himmelskugel für das linke Auge angefügt ist, um einen vorbestimmten Winkel (zum Beispiel 5°) im Gegenuhrzeigersinn gedreht, und das dem rechten Bild entsprechende Video 700-R, das an die gesamte Himmelskugel für das rechte Auge angefügt ist, wird um einen vorbestimmten Winkel (zum Beispiel 5°) im Uhrzeigersinn gedreht.
Dabei weist, wenn der Zustand von 22 mit dem Zustand von 10 verglichen wird, ein Betrachtungswinkel 702 ungefähr die gleiche Größe auf wie der Betrachtungswinkel 502, und eine Verschmelzungsdistanz 703 weist ungefähr die gleiche Größe auf wie die Verschmelzungsdistanz 503. Somit wird erachtet, dass durch Einstellen dieses Parameters dabei zumindest in Bezug auf die Empfindung der Größe und die Empfindung der Distanz in der Links-Rechts-Richtung des virtuellen Bildobjekts das Erscheinungsbild mit dem tatsächlichen Bildobjekt gleich erscheint.
Ferner wird das in 22 gezeigte Beispiel auch wie folgt aus einem anderen Aspekt verständlich. Das heißt, wie in 23 gezeigt, wird von einem Fall ausgegangen, in dem das bildliche Stereokamera-Aufnehmen des Bildobjekts mit der Distanz IPD_CAM zwischen den optischen Kameraachsen auf 85 mm eingestellt durchgeführt wird, das dem aufgenommenen linken Bild entsprechende Video 700-L um einen vorbestimmten Winkel im Gegenuhrzeigersinn gedreht und auf die gesamte Himmelskugel für das linke Auge projiziert (angefügt) wird, und das dem aufgenommenen rechten Bild entsprechende Video 700-R um einen vorbestimmten Winkel im Uhrzeigersinn gedreht und auf die gesamte Himmelskugel für das rechte Auge projiziert (angefügt) wird, so dass die an die gesamten Himmelskugeln angefügten Videos 700-L und 700-R nach außen gedreht werden.
Es sei darauf hingewiesen, dass in 23 der im linken Auge des Nutzers gesehene Bereich des stereoskopischen Videos durch einen linken Sehwinkel 721-L dargestellt ist, der im rechten Auge des Nutzers gesehene Bereich des stereoskopischen Videos durch einen rechten Sehwinkel 721-R dargestellt ist, und der Gesamtsehwinkel des stereoskopischen Videos durch einen Sehwinkel 722 dargestellt ist. Des Weiteren ist in 23 das verschmolzene Video durch ein Verschmelzungsvideo 723 dargestellt.
Ferner stellt in 23 eine in Bezug auf das Video 700-L beschriebene Kreuzlinie 731-L den Drehwinkel des an die gesamte Himmelskugel für das linke Auge angefügten Videos 700-L dar und befindet sich in einem Zustand eines Im-Gegenuhrzeigersinn-Gedrehtwerdens um einen vorbestimmten Winkel aus einem Referenzzustand (einem Zustand, in dem Längs- und Laterallinien der Kreuzlinie 731-L mit Durchmessern in einer Vertikalrichtung und einer Horizontalrichtung übereinstimmen). Ähnlich stellt eine in Bezug auf das Video 700-R beschriebene Kreuzlinie 731-R den Drehwinkel des an die gesamte Himmelskugel für das rechte Auge angefügten Videos 700-R dar und befindet sich in einem Zustand eines Im-Uhrzeigersinn-Gedrehtwerdens um einen vorbestimmten Winkel aus einem Referenzzustand (einem Zustand, in dem die Längs- und Laterallinien der Kreuzlinie 731-R mit den Durchmessern in der Vertikalrichtung und der Horizontalrichtung übereinstimmen).
Dabei weist der das Display-Terminal 20 tragende Nutzer die Interpupillardistanz IPD_User des Nutzers von 65 mm auf und sieht das virtuelle Bildobjekt gemäß dem Sehwinkel 722 mit dem linken Auge und dem rechten Auge. Das heißt, die Positionen des linken Auges und des rechten Auges des Nutzers liegen bei Positionen schwarzer Kreise an einem linken Ende und einem rechten Ende einer dicken Linie 720 im Diagramm.
Mit anderen Worten, es lässt sich hier sagen, dass die Videos 700-L und 700-R, die dem von der Stereokamera bildlich aufgenommenen linken Bild und rechten Bild entsprechen, nach außen gedreht sind und jeweils an die gesamten Himmelskugeln für das linke Auge und das rechte Auge angefügt sind, und der Nutzer betrachtet von den Mitten der gesamten Himmelskugeln für das linke und das rechte Auge aus (die virtuellen Kameras sind an den Mitten der gesamten Himmelskugeln für das linke Auge und das rechte Auge platziert).
Wie oben beschrieben, ändert sich durch Drehen der an die gesamte Himmelskugel angefügten Videos 700-L und 700-R nach außen, falls die Drehung eine kleine Drehung ist, der Sehwinkel 722 (Betrachtungswinkel 702) kaum, und während das virtuelle Bildobjekt nach außen gedreht wird, sieht das virtuelle Bildobjekt, dessen Größe sich nicht ändert, im Wesentlichen ferner aus, so dass der Nutzer das virtuelle Bildobjekt als groß empfindet.
Es sei darauf hingewiesen, dass der einfacheren Beschreibung halber in 23 ein Beispiel einer extremen Drehung gezeigt ist, in der Praxis jedoch auch eine Drehung des in 24 gezeigten Grades wirksam ist. Das heißt, wenn der Zustand von 24 mit dem Zustand von 13 verglichen wird, ist der Sehwinkel 722, obwohl die an die gesamten Himmelskugeln anzufügenden Videos nach außen gedreht werden, im Wesentlichen der gleiche wie der Sehwinkel 522, und das Verschmelzungsvideo 723 erscheint in einer von der Betrachtungsposition des Nutzers ferneren Position als verglichen mit dem Verschmelzungsvideo 523.
Ferner können, als Verfahren eines Drehens der an die gesamten Himmelskugeln angefügten Videos 700-L und 700-R, zusätzlich zum Verfahren eines Drehens der Videos 700-L und 700-R und dann Anfügen der Videos 700-L und 700-R an die gesamten Himmelskugeln für das linke Auge und das rechte Auge wie oben beschrieben, die Videos 700-L und 700-R an die gesamten Himmelskugeln für das linke Auge und das rechte Auge angefügt und dann zusammen mit den gesamten Himmelskugeln gedreht werden, und verschiedene Implementierungen sind möglich.
Des Weiteren ist es in einem Fall, in dem gewünscht wird, die Empfindung der Größe des virtuellen Bildobjekts für den Nutzer zu verkleinern, nur erforderlich, die an die gesamten Himmelskugeln angefügten Videos 700-L und 700-R im Gegensatz zur oben beschriebenen Außendrehung nach innen zu drehen. Das heißt, durch Drehen des virtuellen Bildobjekts nach innen, kann das die im Wesentlichen die gleiche Größe aufweisende virtuelle Bildobjekt in der Nähe gesehen werden, so dass der Nutzer das virtuelle Bildobjekt als klein empfindet.
25 zeigt einen Zustand, in dem die an die gesamten Himmelskugeln anzufügenden Videos 700-L und 700-R nach außen gedreht werden, wenn IPD_CAM > IPD_USER, in einem Fall, in dem sich das virtuelle Bildobjekt (virtuelle Objekt) direkt vorn befindet.
B von 25 zeigt einen Zustand, in dem die an die gesamte Himmelskugel angefügten Videos 700-L und 700-R nach außen gedreht werden, indem, aus dem Zustand vor der Drehung in A von 25, das an die gesamte Himmelskugel für das linke Auge angefügte Video 700-L im Gegenuhrzeigersinn gedreht wird und das an die gesamte Himmelskugel für das rechte Auge angefügte Video 700-R im Uhrzeigersinn gedreht wird. In A und B von 25 betragen die Gesamtsehwinkel 722 dabei 49°, was im Wesentlichen die gleichen Winkel sind. Das heißt, der Sehwinkel 722 des Objekts ändert sich mit einer kleinen Außendrehung kaum.
Die Wirkung vor und nach der Einstellung des Parameters für eine solche Außendrehung ist eine entgegengesetzte Wirkung zum oben beschriebenen Zustand von 13 in Bezug auf den Zustand von 11, das heißt, eine ähnliche Wirkung wie die Wirkung, in welcher die Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt in Bezug auf die Distanz IDP_CAM zwischen den optischen Kameraachsen zum Bildaufnahmezeitpunkt verbreitert ist. Somit ist es umgekehrt möglich, eine Wirkung in Aufhebungsrichtung des Einflusses zu erhalten, in einem Fall in dem die Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt in Bezug auf die Distanz IDP_CAM zwischen den optischen Kameraachsen zum Bildaufnahmezeitpunkt verengt ist. Folglich empfindet der Nutzer das virtuelle Bildobjekt als groß.
26 zeigt einen Zustand, in dem die an die gesamten Himmelskugeln anzufügenden Videos 700-L und 700-R nach innen gedreht werden, wenn IPD_CAM > IPD_USER, in einem Fall, in dem sich das virtuelle Bildobjekt (virtuelle Objekt) direkt vorn befindet.
B von 26 zeigt einen Zustand, in dem die an die gesamte Himmelskugel angefügten Videos 700-L und 700-R nach innen gedreht werden, indem, aus dem Zustand vor der Drehung in A von 26, das an die gesamte Himmelskugel für das linke Auge angefügte Video 700-L im Uhrzeigersinn gedreht wird und das an die gesamte Himmelskugel für das rechte Auge angefügte Video 700-R im Gegenuhrzeigersinn gedreht wird. In A und B von 26 betragen die Gesamtsehwinkel 722 dabei 49°, was im Wesentlichen die gleichen Winkel sind. Das heißt, der Sehwinkel 722 des Objekts ändert sich mit einer kleinen Innendrehung kaum.
Die Wirkung vor und nach der Einstellung des Parameters für eine solche Innendrehung ist ähnlich wie die oben beschriebene Wirkung des Zustands von 13 in Bezug auf den Zustand von 11, das heißt, eine ähnliche Wirkung wie die Wirkung, in welcher die Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt in Bezug auf die Distanz IDP_CAM zwischen den optischen Kameraachsen zum Bildaufnahmezeitpunkt verengt ist. Somit ist es umgekehrt möglich, eine Wirkung in Aufhebungsrichtung des Einflusses zu erhalten, in einem Fall in dem die Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt in Bezug auf die Distanz IDP_CAM zwischen den optischen Kameraachsen zum Bildaufnahmezeitpunkt verbreitert ist. Folglich empfindet der Nutzer das virtuelle Bildobjekt als klein.
Wie oben beschrieben, wird im zweiten Verfahren, in einem Fall, in dem die Distanz IPD_CAM zwischen den optischen Kameraachsen und die Interpupillardistanz IPD_USER des Nutzers verschieden sind, der Parameter so eingestellt, dass sich der Winkel der auf die Kugelflächen (gesamten Himmelskugeln) projizierten Videos ändert (so dass die auf die Kugelflächen projizierten Videos nach außen oder innen gedreht werden), in einem Zustand, in dem die Betrachtungsposition des Nutzers und die Positionen der Mitten der Kugelflächen (gesamten Himmelskugeln), auf welche die Videos projiziert werden, übereinstimmen. Somit wird das virtuelle Bildobjekt einem Zustand entsprechend angezeigt, in dem die Distanz IDP_CAM zwischen den optischen Kameraachsen zum Bildaufnahmezeitpunkt mit der Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt übereinstimmt.
Das heißt, im zweiten Verfahren ist es durch Drehen der an die gesamten Himmelskugeln angefügten Videos nach außen oder nach innen möglich, den Einfluss in einem Fall, in dem, in Bezug auf die Distanz IDP_CAM zwischen den optischen Kameraachsen zum Aufnahmezeitpunkt, die Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt verengt ist oder die Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt verbreitert ist, aufzuheben und das virtuelle Bildobjekt in einem realitätsnäheren Zustand zu zeigen. Das heißt, selbst in einem Zustand, in dem die an die gesamten Himmelskugeln anzufügenden Videos gedreht werden, ist es möglich, durch logisches Lenken eines geeigneten Werts einen Einfluss eines geeigneten Erscheinungsbilds bereitzustellen.
Es sei darauf hingewiesen, dass in einem Fall, in dem das zweite Verfahren verwendet wird, aufgrund einer Differenz aus einer ursprünglichen Lichtstrahlrichtung aufgrund der Drehung der an die gesamten Himmelskugeln anzufügenden Videos, die Möglichkeit besteht, dass eine Verzerrung auftritt oder ein Ereignis eintritt, in welchem das linke Auge und das rechte Auge des Nutzers schlecht ausgerichtet sehen. Ferner besteht, wenn die Drehbeträge der an die gesamten Himmelskugeln anzufügenden Videos zu groß werden, die Möglichkeit, dass keine Fokussierung mehr durchgeführt wird und es somit erforderlich ist, die Drehbeträge bei der Einstellung der Parameter auf geeignete Drehbeträge einzustellen.
(Drittes Verfahren)
Zum Abschluss wird unter Bezugnahme auf 27 bis 31 das dritte Verfahren beschrieben. Das dritte Verfahren ist ein Verfahren eines geeigneteren Anzeigens von Videos durch Verändern der Positionen der gesamten Himmelskugeln, an die die Videos angefügt werden.
27 zeigt schematisch ein Beispiel für einen Zustand, in dem das dritte Verfahren in einem Fall angewendet wird, in dem die Beziehung IPD_CAM > IPD_USER auftritt.
27 zeigt einen Zustand, in dem die Mitte der gesamten Himmelskugel für das linke Auge, an welche das dem linken Bild entsprechende Video 700-L angefügt wird, und die Mitte der gesamten Himmelskugel für das rechte Auge, an welche das dem rechten Bild entsprechende Video 700-R angefügt wird, in einem Fall nach außen verschoben werden, in dem die Beziehung zwischen der Distanz IPD_CAM zwischen den optischen Kameraachsen und der Interpupillardistanz IPD_USER des Nutzers eine ähnliche Bedingung wie die in der oben beschriebenen 12 ist.
Dabei werden, wenn der Zustand von 27 mit dem Zustand von 12 verglichen wird, ein Betrachtungswinkel 802 und eine Verschmelzungsdistanz 803 auf Werte geändert, die realitätsnäher sind als der Betrachtungswinkel 502 und die Verschmelzungsdistanz 503.
Ferner wird das in 27 gezeigte Beispiel auch wie folgt aus einem anderen Aspekt verständlich. Das heißt, wie in 28 gezeigt, wird von einem Fall ausgegangen, in dem das bildliche Stereokamera-Aufnehmen des Bildobjekts mit der Distanz IPD_CAM zwischen den optischen Kameraachsen auf 85 mm eingestellt durchgeführt wird, ein dem aufgenommenen linken Bild entsprechendes Video 800-L auf die gesamte Himmelskugel für das linke Auge projiziert (angefügt) wird, ein dem aufgenommenen rechten Bild entsprechendes Video 800-R auf die gesamte Himmelskugel für das rechte Auge projiziert (angefügt) wird, und die Mitten der gesamten Himmelskugeln für das linke Auge und das rechte Auge nach außen verschoben werden.
Es sei darauf hingewiesen, dass in 28 der im linken Auge des Nutzers gesehene Bereich des stereoskopischen Videos durch einen linken Sehwinkel 821-L dargestellt ist, der im rechten Auge des Nutzers gesehene Bereich des stereoskopischen Videos durch einen rechten Sehwinkel 821-R dargestellt ist, und der Gesamtsehwinkel des stereoskopischen Videos durch einen Sehwinkel 822 dargestellt ist. Des Weiteren ist in 28 das verschmolzene Video durch ein Verschmelzungsvideo 823 dargestellt.
Ferner stellt in 28 der Schnittpunkt einer in Bezug auf das Video 800-L beschriebenen Kreuzlinie 831-L die Mitte der gesamten Himmelskugel für das linke Auge dar, an welche das Video 800-L angefügt wird, und befindet sich in einem Zustand eines In-die-Horizontalrichtung-Bewegtwerdens, dahingehend, dass er sich von einem rechten Ende (der Position des rechten Auges des Nutzers) einer dicken Linie 820 in der grafischen Darstellung löst. Ähnlich stellt der Schnittpunkt einer in Bezug auf das Video 800-R beschriebenen Kreuzlinie 831-R die Mitte der gesamten Himmelskugel für das rechte Auge dar, an welche das Video 800-R angefügt wird, und befindet sich in einem Zustand eines In-die-Horizontalrichtung-Bewegtwerdens, dahingehend, dass er sich von einem linken Ende (der Position des linken Auges des Nutzers) der dicken Linie 820 in der grafischen Darstellung löst.
Dabei weist der das Display-Terminal 20 tragende Nutzer die Interpupillardistanz IPD_User des Nutzers von 65 mm auf und sieht das virtuelle Bildobjekt gemäß dem Sehwinkel 822 mit dem linken Auge und dem rechten Auge. Das heißt, Positionen von schwarzen Kreisen an einem linken Ende und einem rechten Ende der dicken Linie 820 in der grafischen Darstellung entsprechen der Position der virtuellen Kamera, da aber die Mitte der gesamten Himmelskugel für das linke Auge und das rechte Auge nach außen verschoben ist, ist die Betrachtungsposition des Nutzers aus der Mitte der gesamten Himmelskugel verschoben.
Mit anderen Worten, die Videos 800-L und 800-R, die dem von der Stereokamera bildlich aufgenommenen linken Bild und rechten Bild entsprechen, sind hier jeweils an die gesamten Himmelskugeln für das linke Auge und das rechte Auge angefügt, da aber die Mitten der gesamten Himmelskugel für das linke Auge und das rechte Auge nach außen verschoben sind, ist die virtuelle Kamera nicht an den betreffenden Mitten der gesamten Himmelskugeln für das linke Auge und das rechte Auge platziert, und der Nutzer betrachtet nicht von der Mitte der jeweiligen gesamten Himmelskugel für das linke Auge und das rechte Auge aus.
Wie oben beschrieben, ändert sich auch falls die Mitten der gesamten Himmelskugeln, an welche die Videos 800-L und 800-R angefügt sind, nach außen verschoben werden, der Sichtwinkel 822 (Betrachtungswinkel 802) des virtuellen Bildobjekts nicht, und während die gesamte Himmelskugel nach außen verschoben wird, erscheint das virtuelle Bildobjekt, dessen Größe sich nicht ändert, ferner, so dass der Nutzer das virtuelle Bildobjekt als groß empfindet.
Es sei darauf hingewiesen, dass der einfacheren Beschreibung halber die 28 ein Beispiel eines extremen Verschiebens zeigt, in der Praxis jedoch auch ein Verschiebungsbetrag eines in 29 gezeigten Grades wirksam ist. Das heißt, wenn der Zustand von 28 mit dem Zustand von 13 verglichen wird, ist der Sehwinkel 822, obwohl die gesamten Himmelskugeln von der Mitte nach außen verschoben sind, im Wesentlichen der gleiche wie der Sehwinkel 522, und das Verschmelzungsvideo 823 erscheint an einer von der Betrachtungsposition des Nutzers ferneren Position als verglichen mit dem Verschmelzungsvideo 523.
Des Weiteren ist es in einem Fall, in dem gewünscht wird, die Empfindung der Größe des virtuellen Bildobjekts für den Nutzer zu verkleinern, nur erforderlich, die Mitten der gesamten Himmelskugeln, an welche die Videos 800-L und 800-R angefügt sind, im Gegensatz zur oben beschriebenen Außenverschiebung nach innen zu verschieben. Das heißt, durch Verschieben der gesamten Himmelskugeln nach innen, kann das die im Wesentlichen die gleiche Größe aufweisende virtuelle Bildobjekt in der Nähe gesehen werden, und der Nutzer empfindet das virtuelle Bildobjekt somit als klein.
30 zeigt einen Zustand, in dem in einem Fall, in dem das virtuelle Bildobjekt (virtuelle Objekt) direkt vorn ist, wenn IPD_CAM > IPD_USER, die Mitten der gesamten Himmelskugeln, an welche die Videos 800-L und 800-R angefügt sind, nach außen bewegt sind.
B von 30 zeigt einen Zustand, in dem, aus dem Zustand vor der Bewegung in A von 30, die Mitte der gesamten Himmelskugel für das linke Auge, an welche das Video 800-L angefügt ist (Schnittpunkt der Kreuzlinie 831-L) in die Horizontalrichtung bewegt wird, dahingehend, dass sie sich vom rechten Ende der dicken Linie 820 in der grafischen Darstellung (Position des rechten Auges des Nutzers) löst, und die Mitte der gesamten Himmelskugel für das rechte Auge, an welche das Video 800-R angefügt ist (Schnittpunkt der Kreuzlinie 831-R) in die Horizontalrichtung bewegt wird, dahingehend, dass sie sich vom linken Ende der dicken Linie 820 in der grafischen Darstellung (Position des linken Auges des Nutzers) löst, so dass die Mitte der gesamten Himmelskugel, an die die Videos 800-L und 800-R angefügt sind, nach außen bewegt wird. Sowohl in A als auch in B von 30 betragen die Gesamtsehwinkel 822 dabei 49°, was im Wesentlichen die gleichen Winkel sind. Das heißt, wenn die gesamten Himmelskugeln leicht nach außen verschoben werden, ändert sich der Sehwinkel 822 des Targets kaum.
Eine solche Wirkung vor und nach der Einstellung des Parameters zum Verschieben der Mitten der gesamten Himmelskugeln nach außen ist entgegengesetzt zu den Wirkungen im oben beschriebenen Zustand von 13 in Bezug auf den Zustand von 11, das heißt ähnlich wie die Wirkung, in welcher die Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt in Bezug auf die Distanz IDP_CAM zwischen den optischen Kameraachsen zum Bildaufnahmezeitpunkt verbreitert ist. Somit ist es umgekehrt möglich, eine Wirkung in Aufhebungsrichtung des Einflusses zu erhalten, in einem Fall in dem die Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt in Bezug auf die Distanz IDP_CAM zwischen den optischen Kameraachsen zum Bildaufnahmezeitpunkt verengt ist. Folglich empfindet der Nutzer das virtuelle Bildobjekt als groß.
31 zeigt einen Zustand, in dem, in einem Fall in dem sich das virtuelle Bildobjekt (virtuelle Objekt) direkt vorn befindet, wenn IPD_CAM > IPD_USER, die Mitten der gesamten Himmelskugeln, an welche die Videos 800-L und 800-R angefügt sind, nach innen bewegt werden.
B von 31 zeigt einen Zustand, in dem, aus dem Zustand vor der Bewegung in A von 31, die Mitte der gesamten Himmelskugel für das linke Auge, an welche das Video 800-L angefügt ist (der Schnittpunkt der Kreuzlinie 831-L) in die Horizontalrichtung bewegt wird, dahingehend, dass sie sich dem rechten Ende der dicken Linie 820 in der grafischen Darstellung (der Position des rechten Auges des Nutzers) nähert, und die Mitte der gesamten Himmelskugel für das rechte Auge, an welche das Video 800-R angefügt ist (der Schnittpunkt der Kreuzlinie 831-R) in die Horizontalrichtung bewegt wird, dahingehend, dass sie sich dem linken Ende der dicken Linie 820 (der Position des linken Auges des Nutzers) nähert, so dass die Mitte der gesamten Himmelskugel, an die die Videos 800-L und 800-R angefügt sind, nach innen bewegt wird. Sowohl in A als auch in B von 31 betragen die Gesamtsehwinkel 822 dabei 49°, was im Wesentlichen die gleichen Winkel sind. Das heißt, wenn die gesamten Himmelskugeln leicht nach innen verschoben werden, ändert sich der Sehwinkel 822 des Targets kaum.
Eine solche Wirkung vor und nach der Einstellung des Parameters zum Verschieben der Mitten der gesamten Himmelskugeln nach innen ist ähnlich wie die Wirkungen im oben beschriebenen Zustand von 13 in Bezug auf den Zustand von 11, das heißt ähnlich wie die Wirkung, in welcher die Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt in Bezug auf die Distanz IDP_CAM zwischen den optischen Kameraachsen zum Bildaufnahmezeitpunkt verengt ist. Somit ist es umgekehrt möglich, eine Wirkung in Aufhebungsrichtung des Einflusses zu erhalten, in einem Fall in dem die Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt in Bezug auf die Distanz IDP_CAM zwischen den optischen Kameraachsen zum Bildaufnahmezeitpunkt verbreitert ist. Folglich empfindet der Nutzer das virtuelle Bildobjekt als klein.
Wie oben beschrieben, wird im dritten Verfahren, in einem Fall, in dem die Distanz IPD_CAM zwischen den optischen Kameraachsen und die Interpupillardistanz IPD_USER des Nutzers verschieden sind, der Parameter so eingestellt, dass die Mitten der Kugelflächen (gesamte Himmelskugeln), auf welche die Videos projiziert werden, aus der Betrachtungsposition des Nutzers verschoben werden (die Positionen der Mitten der Kugelflächen werden in Bezug auf die Positionen der virtuellen Kameras, die der Betrachtungsposition des Nutzers entsprechen, nach außen oder innen bewegt). Somit wird das virtuelle Bildobjekt einem Zustand entsprechend angezeigt, in dem die Distanz IDP_CAM zwischen den optischen Kameraachsen zum Bildaufnahmezeitpunkt mit der Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt übereinstimmt.
Das heißt, im dritten Verfahren ist es durch Bewegen der Mitten der gesamten Himmelskugeln, an welche die Videos angefügt sind, zu einer Außenseite oder einer Innenseite, möglich, den Einfluss in einem Fall, in dem, in Bezug auf die Distanz IDP_CAM zwischen den optischen Kameraachsen zum Aufnahmezeitpunkt, die Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt verengt ist oder die Interpupillardistanz IPD_USER des Nutzers zum Betrachtungszeitpunkt verbreitert ist, aufzuheben und das virtuelle Bildobjekt in einem realitätsnäheren Zustand zu zeigen. Das heißt, selbst in einem Zustand, in dem die Mitten der gesamten Himmelskugeln, an welche die Videos angefügt sind, bewegt werden, ist es möglich, durch logisches Lenken eines geeigneten Werts einen Einfluss eines geeigneten Erscheinungsbilds bereitzustellen.
Es sei darauf hingewiesen, dass, in einem Fall, in dem das dritte Verfahren verwendet wird, die Betrachtungsposition des Nutzers aus den Mitten der gesamten Himmelskugeln verschoben wird, indem die Mitten der gesamten Himmelskugeln, an die die Videos angefügt sind, bewegt werden. Das oben beschriebene „solange der Nutzer 50 nicht die Position der Augen bewegt (nur die Augäpfel bewegt), kann das stereoskopische Video korrekt betrachtet werden“ ist somit nicht gültig, und es besteht die Möglichkeit, dass es für das linke und rechte Auge verschoben aussieht. Ferner besteht, wenn die gesamten Himmelskugeln zu sehr aus der Mitte bewegt werden, die Möglichkeit, dass keine Fokussierung mehr durchgeführt wird (da der Abweichungsbetrag größer ist, scheint sich das Größenempfinden zu ändern und es erhöht sich auch der Einfluss der Veränderung des Erscheinungsbildes), und es ist somit eine Einstellung auf einen geeigneten Abweichungsbetrag erforderlich wenn der Parameter eingestellt wird.
<2. Abwandlungsbeispiel>
In der vorstehenden Beschreibung wurde ein Fall beschrieben, in dem das erste Verfahren bis dritte Verfahren jeweils als unabhängiges Verfahren durchgeführt werden. Andererseits besteht bei jedem aus dem ersten Verfahren, bei welchem die Betrachtungsposition des Nutzers aus den Mitten der gesamten Himmelskugeln verschoben wird, dem zweiten Verfahren, bei welchem die an die gesamten Himmelskugeln anzufügenden Videos gedreht werden, und dem dritten Verfahren, bei welchem die Mitten der gesamten Himmelskugeln, an welche die Videos angefügt sind, verschoben werden, die Möglichkeit, dass sie eine Verzerrung bewirken, da sie im Video einige voneinander verschiedene Charakteristika aufweisen. Entsprechend können, um Nebenwirkungen gemäß jedem Verfahren zu unterdrücken, wenigstens zwei Verfahren aus dem ersten Verfahren bis dritten Verfahren in Kombination miteinander durchgeführt werden.
Zum Beispiel kann in einem Fall, in dem das erste Verfahren angewendet wird und die Betrachtungsposition des Nutzers nach vorn bewegt wird, falls sich das Bildobjekt zum Bildaufnahmezeitpunkt nahe an der Kamera befindet, ein Phänomen auftreten, bei dem das Bildobjekt übermäßig nah aussieht. Wie oben beschrieben können auch das zweite Verfahren und das dritte Verfahren Nebenwirkungen aufweisen, und je größer der Einstellbetrag (Korrekturbetrag) des Parameters ist, desto größer ist der Einfluss.
Im vorliegenden Abwandlungsbeispiel ist es durch Kombinieren von beliebigen zwei Verfahren oder drei Verfahren, um den Einstellbetrag (Korrekturbetrag) des Parameters gemäß jedem Verfahren zu reduzieren möglich, das Erscheinungsbild der Empfindung der Größe des virtuellen Bildobjekts zu steuern und dabei die Nebenwirkungen gemäß jedem Verfahren zu unterdrücken.
Zum Beispiel wird in einem Fall, in dem das erste Verfahren angewendet wird, als Einstellung des Parameters wenn die Betrachtungsposition des Nutzers vorwärts bewegt wird, die Einstellung in solchem Maße unterdrückt, dass sie nicht übermäßig ist, und der verbleibende Teil, der nicht eingestellt worden ist, wird gemäß einem anderen Verfahren eingestellt. So ist es, da die Parameter gemäß mehreren Verfahren eingestellt werden, möglich, ein geeignetes Videoerscheinungsbild bereitzustellen und dabei eine Verzerrung aufgrund jeder Einstellung zu minimieren.
Ferner kann, da sich die Veränderung im Erscheinungsbilds des Videos aufgrund der Umwandlungsverarbeitung, auf welche die vorliegende Technik angewendet wird, logisch vorhersagen lässt, ein Content-Erzeuger, ein Produzent oder dergleichen auch unter Verwendung dieser Einstellungslogik das Erscheinungsbild des Videos steuern. Insbesondere lässt sich eine gewünschte Performance erzielen durch Einstellen des Bewegungsverhältnisses a, das ein in der oben beschriebenen Gleichung (2) oder dergleichen enthaltener Parameter ist, auf einen übermäßig kleinen Wert oder einen übermäßig großen Wert innerhalb eines Bereichs, in dem kein Problem einer visuellen Belastung des Nutzers besteht, und innerhalb eines Bereichs, in dem kein Problem einer Verzerrung in der Qualität des Videos besteht.
Diese Durchführung kann in zeitlicher Reihe geändert werden. Zum Beispiel wird, wie in 32 gezeigt, nachdem ein virtuelles Bildobjekt 70-1 in einem Standardzustand zu einem Zeitpunkt t1 angezeigt wird, das erste Verfahren zum Zeitpunkt t2 angewendet, um ein virtuelles Bildobjekt 70-2 anzuzeigen, indem die Betrachtungsposition des Nutzers 50 an die Projektionsoberfläche herangeführt wird. Dann kann, zu einem nachfolgenden Zeitpunkt t3, die Anzeige eines virtuellen Bildobjekts 70 frei mit beliebigem Timing in zeitlicher Reihe gewechselt werden, wie etwa ein Anzeigen eines virtuellen Bildobjekts 70-3 zu einem Zeitpunkt eines Szenenwechsels.
Ferner lässt sich, neben dem Standpunkt einer solchen Performance, im Hinblick auf eine Betrachtbarkeit des Videos, eine Betrachtungsneigung eines einzelnen Nutzers und dergleichen, zum Beispiel wann der Nutzer die Zoom-Bedienung durchführt, oder wann es besser ist, die Belastung zu verringern, das Timing, an welchem der Parameter geändert (eingestellt) werden soll, im Voraus zu einem Zeitpunkt einer Content-Erzeugung oder dergleichen eingeben. Alternativ dazu kann zum Beispiel der Parameter durch Eingeben verschiedener anderer Bedingungen als dem Content des Videos eingestellt werden, wie etwa Ändern (Einstellen) des Parameters gemäß einer Bedienung durch den Nutzer, Ändern (Einstellen) des Parameters gemäß einer Betrachtungszeit, oder Steuern in Echtzeit über das Internet 30 über ein vorbestimmtes Gerät.
Das heißt, in der vorstehenden Beschreibung wurde insbesondere der Fall erläutert, in dem das virtuelle Bildobjekt, in einem Fall, in dem die Distanz IDP_CAM zwischen den optischen Kameraachsen und die Interpupillardistanz IPD_USER des Nutzers verschieden sind, aufgrund einer Parametereinstellung als erstes Verfahren bis drittes Verfahren dem Zustand entsprechend angezeigt wird, in dem die Distanz IDP_CAM zwischen den optischen Kameraachsen und die Interpupillardistanz IPD_USER des Nutzers übereinstimmen, die Anzeigeform des dem eingestellten Parameter entsprechenden virtuellen Bildobjekts ist jedoch nicht hierauf beschränkt. Zum Beispiel kann der Parameter so eingestellt werden, dass ein virtuelles Bildobjekt (zum Beispiel ein virtuelles Bildobjekt, das ein Erscheinungsbild aufweist, das von dem eines realen Bildobjekts verschieden ist), das einem Zustand entspricht, in dem die Distanz IDP_CAM zwischen den optischen Kameraachsen und die Interpupillardistanz IPD_USER des Nutzers voneinander verschieden sind, in einem Fall angezeigt wird, in dem die Distanz IDP_CAM zwischen den optischen Kameraachsen und die Interpupillardistanz IPD_USER des Nutzers übereinstimmen oder voneinander verschieden sind.
Es sei darauf hingewiesen, dass in der vorstehenden Beschreibung, obgleich hauptsächlich die Zeit, in der IPD_CAM > IPD_USER in einem Fall, in dem das Display-Terminal 20 ein Head-Mounted-Display ist, beschrieben wurde, die vorliegende Technik auch auf einen Fall angewendet werden kann, in dem ein Informationsterminal, wie etwa ein Smartphone, als Display-Terminal 20 verwendet wird, um eine Erweiterte-Realität-(AR-)Funktion eines Anzeigens eines von der Kamera aufgenommenen Videos des Informationsterminals in durchsichtiger Weise auf einer Display-Einheit des Informationsterminals zu implementieren.
In diesem Fall weist das Display-Terminal 20 als Informationsterminal, wie etwa ein Smartphone, zusätzlich zur Wiedergabeeinheit 220 und der Umwandlungsverarbeitungseinheit 300 eine Funktion einer Abbildungsvorrichtung (einer der Kamera 11 entsprechende Funktion) auf. In einem Fall, in dem ein Informationsterminal, wie etwa ein Smartphone, verwendet wird, wird hier auch davon ausgegangen, dass IPD_USER > IPD_CAM. Auch in einem solchen Fall ist es durch Anwenden der vorliegenden Technik und geeignetes Einstellen eines Parameters, der ein Erscheinungsbild für den Nutzer bezüglich des virtuellen Bildobjekts (zum Beispiel eine Empfindung der Größe, eine Empfindung der Distanz oder dergleichen des virtuellen Bildobjekts) beeinflusst, möglich, ein Video geeignet anzuzeigen, wie etwa, es einem realen Bildobjekt gleich erscheinen zu lassen.
Ferner wurde in der vorstehenden Beschreibung der Fall beschrieben, in dem das Display-Terminal 20 die Wiedergabeeinheit 220 und die Display-Einheit 203 aufweist, es kann jedoch eine Ausbildung bereitgestellt werden, in welcher das die Display-Einheit 203 aufweisende Display-Terminal 20 nicht die Wiedergabeeinheit 220 aufweist, indem eine die Wiedergabeeinheit 220 aufweisende Wiedergabevorrichtung separat bereitgestellt wird. Darüber hinaus können die Funktionen der Workstation 10 und die Funktionen des Videoverteilservers 12 kombiniert (integriert) werden, um als ein einziges Gerät ausgebildet zu werden.
Das heißt, es ist im Videoverteilsystem 1 frei wählbar, welches Gerät die Komponenten (Verarbeitungseinheiten) aufweist, die jeweils das Gerät der Workstation 10, der Kamera 11, des Videoverteilservers 12 und des Display-Terminals 20 bilden. Mit anderen Worten, mit „System“ ist ein Satz von mehreren Komponenten (Geräten, Modulen (Teilen) und dergleichen) gemeint, und es ist unwesentlich, ob sich alle Komponenten im gleichen Gehäuse befinden.
Systeme sind daher sowohl mehrere in separaten Gehäusen untergebrachte und über ein Netzwerk verbundene Geräte als auch ein einzelnes Gerät, in welchem mehrere Module in einem Gehäuse untergebracht sind. Ferner ist auch eine Kommunikationsform jeder Komponente frei wählbar. Mit anderen Worten, die Komponenten können über das Internet 30 verbunden sein oder können über ein lokales Netz (lokales Netzwerk (LAN) oder Weitbereichsnetz (WAN)) verbunden sein. Ferner können die Komponenten drahtgebunden oder drahtlos verbunden sein.
Darüber hinaus ist in der obigen Beschreibung das stereoskopische Video nicht auf ein Bewegtbild wie ein VR-Bewegtbild beschränkt und umfasst auch ein Video wie ein Standbild. Ferner wurde in der obigen Beschreibung beschrieben, dass der virtuelle Raum dadurch erzielt wird, dass die betreffenden Videos, die dem linken Bild und dem rechten Bild entsprechen, die von den als Stereokameras ausgebildeten Kameras 11-L und 11-R aufgenommen wurden, jeweils auf die gesamten Himmelskugeln für das linke Auge und das rechte Auge projiziert werden. Die gesamte Himmelskugel ist ein Beispiel für die Projektionsoberfläche und kann auf eine andere Kugelfläche, wie etwa eine halbe Himmelskugel, eine Innenoberfläche eines Zylinders, eine Ebene, die das Sehfeld des Nutzers um ungefähr 180° abdeckt oder dergleichen projiziert werden.
Wie oben beschrieben weist das Videoverteilsystem 1, auf welches die vorliegende Technik angewendet wird, eine Bilderfassungseinheit (zum Beispiel die Bilderfassungseinheit 111 der Verarbeitungseinheit 100 der Workstation 10) auf, die ein von der Kamera 11-L, der Kamera 11-R aufgenommenes linkes Bild und rechtes Bild eines Bildobjekts (zum Beispiel des Bildobjekts 60) erfasst, eine Parametereinstelleinheit (zum Beispiel die Parametereinstelleinheit 320 der Umwandlungsverarbeitungseinheit 300), die einen Parameter einstellt, der ein Erscheinungsbild für einen Nutzer (zum Beispiel die Empfindung der Größe, die Empfindung der Distanz oder dergleichen eines virtuellen Bildobjekts) bezüglich eines virtuellen Bildobjekts, das dem vom erfassten linken Bild und rechten Bild dargestellten Bildobjekt in einem virtuellen Raum entspricht, und eine Display-Steuereinheit (zum Beispiel die Display-Steuereinheit 213 der Verarbeitungseinheit 200 des Display-Terminals 20), die ein Video (zum Beispiel Videos 600-L, 600-R und dergleichen) anzeigt, das den virtuellen Raum einschließlich des virtuellen Bildobjekts dem eingestellten Parameter entsprechend auf einem Display-Terminal (zum Beispiel der Display-Einheit 203 des Display-Terminals 20) darstellt.
Das heißt, im Videoverteilsystem 1, auf welche die vorliegende Technik angewendet wird, wird als Parameter, der das Erscheinungsbild für den Nutzer, wie etwa die Empfindung der Größe und die Empfindung der Distanz des virtuellen Bildobjekts beeinflusst, zum Beispiel ein Parameter, der zu wenigstens einem aus der Distanz IDP_CAM zwischen den optischen Kameraachsen, der Interpupillardistanz IPD_USER des Nutzers, der Distanz zum virtuellen Bildobjekt oder der Größe des virtuellen Bildobjekts in Beziehung steht (zum Beispiel ein mit einer Beziehung zwischen der Distanz IDP_CAM zwischen den optischen Kameraachsen und der Interpupillardistanz IPD_USER des Nutzers korrelierender Parameter) eingestellt (zum Beispiel werden das erste Verfahren bis dritte Verfahren jeweils als einzelnes Verfahren durchgeführt oder wenigstens zwei des ersten Verfahrens bis dritten Verfahrens werden in Kombination miteinander durchgeführt), so dass das Video (stereoskopische Video) geeigneter angezeigt werden kann.
Ferner wird der Einfluss der Distanz IDP_CAM zwischen den optischen Kameraachsen, die durch die Größe eines Kamerakörpers und der Linse in der Kamera 11 begrenzt wird, anderen Bildaufnahmeumgebungen und dergleichen beseitigt oder verringert, was den Freiheitsgrad von Möglichkeiten des Kamerakörpers und der Linse vergrößert, wodurch es möglich gemacht wird, eine für verschiedene Umgebungen und Bildobjekte geeignete optimale Ausrüstung auszuwählen. Folglich kann Content, bei dem es in der Vergangenheit schwierig war, die Größe und die Empfindung der Distanz des tatsächlichen Bildobjekts zu vermitteln, in einem dem tatsächlichen Bildobjekt näheren Zustand wiedergegeben werden.
Darüber hinaus ist es möglich, eine Differenz im Erscheinungsbild des virtuellen Bildobjekts zwischen einzelnen Personen durch die Interpupillardistanz IPD_USER des Nutzers einzustellen, und das Niveau des Videoerlebnisses für jeden Nutzer kann somit vereinheitlicht werden. Insbesondere ist es, wenn der Nutzer den die Videoperformance aufweisenden Content unter Verwendung der Größe und der empfundenen Distanz betrachtet, möglich, dem Nutzer den Zweck der Performance geeignet zu vermitteln.
Ferner ist es möglich, jedem Einzelnen ein optimales Videoerlebnis bereitzustellen, indem die Größe und die Empfindung der Distanz gemäß den Präferenzen des Nutzers innerhalb eines Bereichs eingestellt werden, in welchem der Wert des Contents nicht verloren geht. Die Größe und die Empfindung der Distanz können hier nicht nur für Genauigkeit und persönliche Präferenz des Nutzers sondern auch für Performance eingestellt werden. Darüber hinaus ist es, wenn die vorliegende Technik auf ein System angewendet wird, das eine physische Handlung in Abhängigkeit von der Größe des Erscheinungsbilds und der Empfindung der Distanz eines Partners in einer Fernkommunikation oder dergleichen durchführt, möglich, einen Erlebnisunterschied zwischen Realität und virtueller Realität (VR) zu verkleinern.
Es sei darauf hingewiesen, dass die oben beschriebene Patentschrift 1 eine Technik zum Einstellen des Erscheinungsbildes eines Stereosehens vorschlägt. Bei diesem technischen Vorschlag wird ein Lösungsansatz verwendet, es einem Nutzer zu ermöglichen, eine Einstellung unter Verwendung einer Nutzerschnittstelle (UI) vorzunehmen, es bestehen jedoch bei der tatsächlichen Bedienung Probleme bei folgenden zwei Punkten. Das heißt, erstens besteht, in Abhängigkeit von der Einstellung durch den Nutzer, die Möglichkeit, dass die Verwendung in einem ungeeigneten Zustand weitergeführt wird, in dem eine visuelle Belastung angewendet wird, und zweitens wird es für die Content-Provider-Seite nicht ersichtlich, in welcher Größe sie dem Nutzer erscheint, und es wird demnach unmöglich, das Videoerlebnis für jeden Nutzer zu vereinheitlichen.
Andererseits treten bei der vorliegenden Technik, da der Optimalzustand präsentiert wird, um das Erscheinungsbild zum Zeitpunkt der Bildaufnahme logisch wiederzugeben, die beiden oben beschriebenen Probleme nicht auf. Es sei darauf hingewiesen, dass auch in der vorliegenden Technik als eine Option eines Verfahrens zum Einstellen des Erscheinungsbildes ohne Verwendung von theoretischen Werten ein Verfahren beschrieben wird, in dem der Nutzer visuell zu bevorzugende auswählt wie in der in Patentschrift 1 offenbarten Technik, es jedoch im Prinzip möglich ist, eine Präsentation unter Ausschluss einer Option durchzuführen, die visuell belastend ist, wenn sie dem Nutzer präsentiert wird, und einer Option, bei der gefunden wird, dass das Videoerlebnis nicht vereinheitlicht werden kann, so dass die beiden oben beschriebenen Probleme nicht auftreten.
Ferner schlägt die oben beschriebene Patentschrift 2 eine Technik zum Korrigieren des Einflusses des Beeinträchtigens des realistischen Gefühls des Videos in Abhängigkeit von der Größenbeziehung zwischen der Distanz zwischen Bildobjekt und Kamera und der Distanz zwischen Display-Gerät und Nutzer vor. Bei diesem technischen Vorschlag wird ein Lösungsansatz eines Einstellens der Größe des Erscheinungsbilds des Bildobjekts durch Verändern des Winkels der Kamera zum Aufnahmezeitpunkt eingesetzt. Jedoch tritt bei diesem Verfahren bei einer kurzen Distanz eine große Verzerrung des Videos auf, das immersive Gefühl wird dadurch insbesondere in einer Umgebung geschwächt, in der ein Video virtueller Realität (VR) betrachtet wird, und folglich wird die Qualität verschlechtert und es wird schwierig, die Technik in die Praxis umzusetzen. Ferner hängt die Technik vom Winkel der Kamera zum Bildaufnahmezeitpunkt ab, es ist nicht möglich nach einmaliger Bildaufnahme eine Korrektur hinzuzufügen.
Andererseits ist es bei der vorliegenden Technik, da ein oder mehrere Parameter gemäß den drei Verfahren des ersten Verfahrens bis dritten Verfahrens oder dergleichen nach dem bildlichen Aufnehmen des Bildobjekts eingestellt werden können, möglich, verschiedenerlei Distanzen zu bewältigen und es wird darüber hinaus eine Umwandlungsverarbeitung (Parametereinstellung) durch Post-Processing eines erfassten Videos (Bilds) erzielt, so dass ein solches Problem nicht auftritt.
Es sei darauf hingewiesen, dass in anderem Stand der Technik als der oben beschriebenen Patentschrift 1 und 2 Verfahren zum Einstellen einer empfundenen Distanz und einer empfundenen Größe für ein stereoskopisches Display wie ein 3D-kompatibles Fernsehgerät vorgeschlagen worden sind, diese Verfahren jedoch hauptsächlich eine Empfindung der Größe eines Bildobjekts korrigiert, die aus einer Differenz in einem Gerät, das ein Video anzeigt, oder einer Betrachtungsposition eines Nutzers herrührt. Hinzu kommt, dass im Grunde in einer solchen Betrachtungsumgebung der Nutzer ein Bildobjekt nicht als „tatsächliches Objekt selbst“ sehen kann und keine hohe Genauigkeit anfordern kann.
Andererseits werden, wenn ein Virtuelle-Realität-(VR-)Video auf dem Display-Terminal 20, wie etwa einem Head-Mounted-Display, betrachtet wird, ein Raum zu einem virtuellen Bildobjekt hin und Informationen zu vorne, hinten, links und rechts wiedergegeben, und das immersive Gefühl vom Nutzer aus ist hoch und das virtuelle Bildobjekt sieht aus wie das Bildobjekt („tatsächliches Objekt selbst“). Daher wird eine genauere Einstellung (Parametereinstellung) in der empfundenen Distanz zum Bildobjekt und der empfundenen Größe erforderlich, und es lässt sich sagen, dass der die Charakteristika des Display-Terminals 20, einschließlich dem Head-Mounted-Display, berücksichtigende Lösungsansatz der vorliegenden Technik geeignet ist.
<3. Ausbildungsbeispiel des Rechners>
Die oben beschriebene Reihe von Prozessen (zum Beispiel die Verarbeitung des in 9 gezeigten gesamten Systems) kann durch Hardware oder Software ausgeführt werden. In einem Fall, in dem die Reihe von Prozessen durch Software ausgeführt wird, wird in einem Rechner jedes Geräts ein die Software bildendes Programm installiert. 33 zeigt in einem Blockdiagramm ein Ausbildungsbeispiel von Hardware eines Rechners, die die oben beschriebene Reihe von Prozessen durch ein Programm ausführt.
Im Rechner von 33 sind eine Zentraleinheit (CPU) 1001, ein Nur-LeseSpeicher (ROM) 1002 und ein Direktzugriffsspeicher (RAM) 1003 über einen Bus 1004 miteinander verbunden. Ferner ist eine Eingangs-/Ausgangsschnittstelle 1005 mit dem Bus 1004 verbunden. Mit der Eingangs-/Ausgangsschnittstelle 1005 sind eine Eingabeeinheit 1006, eine Ausgabeeinheit 1007, eine Speichereinheit 1008, eine Kommunikationseinheit 1009 und ein Laufwerk 1010 verbunden.
Die Eingabeeinheit 1006 weist ein Mikrofon, eine Tastatur, eine Maus und dergleichen auf. Die Ausgabeeinheit 1007 weist einen Lautsprecher, ein Display und dergleichen auf. Die Speichereinheit 1008 weist eine Festplatte, einen nichtflüchtigen Speicher und dergleichen auf. Die Kommunikationseinheit 1009 weist eine Netzwerkschnittstelle und dergleichen auf. Das Laufwerk 1010 treibt ein wechselbares Aufzeichnungsmedium 1011 wie eine Magnetplatte, eine optische Platte, eine magnetooptische Platte oder einen Halbleiterspeicher an.
In dem wie oben beschrieben ausgebildeten Rechner lädt die CPU 1001 ein im ROM 1002 oder der Speichereinheit 1008 aufgezeichnetes Programm in das RAM 1003 über die Eingangs-/Ausgangsschnittstelle 1005 und den Bus 1004 und führt das Programm aus, um die oben beschriebene Reihe von Prozessen durchzuführen.
Das vom Rechner (CPU 1001) ausgeführte Programm kann dadurch bereitgestellt werden, dass es auf dem wechselbaren Aufzeichnungsmedium 1011 als Paket-Medium oder dergleichen aufgezeichnet wird. Ferner kann das Programm über ein drahtgebundenes oder drahtloses Übertragungsmedium, wie etwa ein Lokalnetzwerk, das Internet oder digitale Satellitenübertragung bereitgestellt werden.
Im Rechner kann das Programm in der Speichereinheit 1008 über die Eingangs-/Ausgangsschnittstelle 1005 durch Bereitstellen des wechselbaren Aufzeichnungsmediums 1011 an das Laufwerk 1010 installiert werden. Ferner kann das Programm von der Kommunikationseinheit 1009 über ein drahtgebundenes oder drahtloses Übertragungsmedium empfangen und in der Speichereinheit 1008 installiert werden. Außerdem kann das Programm im ROM 1002 oder in der Speichereinheit 1008 im Voraus installiert werden.
In der vorliegenden Beschreibung muss hier die vom Rechner gemäß dem Programm durchgeführte Verarbeitung nicht unbedingt in zeitlicher Reihe in der als Flussdiagramm beschriebenen Reihenfolge durchgeführt werden. Das heißt, die durch den Rechner gemäß dem Programm durchgeführte Verarbeitung umfasst auch eine Verarbeitung, die parallel oder einzeln (zum Beispiel Parallelverarbeitung oder Objektverarbeitung) ausgeführt wird. Ferner kann das Programm durch einen Rechner (Prozessor) verarbeitet oder auf verteilte Weise durch mehrere Rechner verarbeitet werden.
Es sei darauf hingewiesen, dass Ausführungsformen der vorliegenden Technik nicht auf die oben beschriebenen Ausführungsformen beschränkt sind, und verschiedene Abwandlungen möglich sind, ohne vom Kern der vorliegenden Technik abzuweichen.
Ferner kann jeder Schritt der Verarbeitung des gesamten in 9 gezeigten Systems von einem einzelnen Gerät ausgeführt werden oder geteilt und von mehreren Geräten ausgeführt werden. Darüber hinaus können, in einem Fall, in dem mehrere Prozesse in einem Schritt umfasst sind, die in dem einen Schritt umfassten mehreren Prozesse neben einer Ausführung durch ein einzelnes Gerät auch in geteilter Weise von mehreren Geräten ausgeführt werden.
Es sei darauf hingewiesen, dass die vorliegende Technologie auch die folgenden Ausbildungen einsetzen kann.

(1) Videoverteilsystem, aufweisend:
- eine Bilderfassungseinheit, welche ein von einer ersten Kamera und einer zweiten Kamera aufgenommenes erstes Bild und zweites Bild eines Bildobjekts erfasst;
- eine Parametereinstelleinheit, die einen Parameter einstellt, der ein Erscheinungsbild für einen Nutzer bezüglich eines virtuellen Bildobjekts, das dem vom erfassten ersten Bild und zweiten Bild dargestellten Bildobjekt in einem virtuellen Raum entspricht, beeinflusst; und
- eine Display-Steuereinheit, die ein Video anzeigt, das den virtuellen Raum einschließlich des virtuellen Bildobjekts dem eingestellten Parameter entsprechend auf einem Display-Terminal darstellt.
(2) Videoverteilsystem gemäß (1), wobei der Parameter einen Parameter aufweist, der zu wenigstens einem aus einer ersten Distanz zwischen der ersten Kamera und der zweiten Kamera, einer zweiten Distanz zwischen den Pupillen des Nutzers, einer Distanz zum virtuellen Bildobjekt oder einer Größe des virtuellen Bildobjekts in Beziehung steht.
(3) Videoverteilsystem gemäß (2), wobei der Parameter einen Parameter aufweist, der mit einer Beziehung zwischen der ersten Distanz und der zweiten Distanz in Wechselbeziehung steht.
(4) Videoverteilsystem gemäß (3), wobei in einem Fall, in dem die erste Distanz und die zweite Distanz verschieden sind, die Parametereinstelleinheit den Parameter derart einstellt, dass das virtuelle Bildobjekt einem Zustand entsprechend angezeigt wird, in dem die erste Distanz und die zweite Distanz übereinstimmen.
(5) Videoverteilsystem gemäß (4), wobei die Parametereinstelleinheit den Parameter derart einstellt, dass eine Betrachtungsposition des Nutzers aus einer Mitte einer Kugelfläche, auf welche ein Video projiziert wird, verschoben wird.
(6) Videoverteilsystem gemäß (5), wobei die Parametereinstelleinheit eine Position einer virtuellen Kamera, die der Betrachtungsposition des Nutzers entspricht, an eine Projektionsoberfläche der Kugelfläche heranführt oder von der Projektionsoberfläche wegführt.
(7) Videoverteilsystem gemäß einem von (4) bis (6), wobei die Parametereinstelleinheit den Parameter derart einstellt, dass sich in einem Zustand, in dem die Betrachtungsposition des Nutzers und eine Position einer Mitte einer Kugelfläche, auf welche ein Video projiziert wird, übereinstimmen, ein Winkel des auf die Kugelfläche projizierten Videos ändert.
(8) Videoverteilsystem gemäß (7), wobei die Parametereinstelleinheit das auf die Kugelfläche projizierte Video nach außen oder nach innen dreht.
(9) Videoverteilsystem gemäß einem von (4) bis (8), wobei die Parametereinstelleinheit den Parameter derart einstellt, dass eine Mitte einer Kugelfläche, auf welche ein Video projiziert wird, aus einer Betrachtungsposition des Nutzers verschoben wird.
(10) Videoverteilsystem gemäß (9), wobei die Parametereinstelleinheit eine Position der Mitte der Kugelfläche in Bezug auf eine Position einer virtuellen Kamera, die der Betrachtungsposition des Nutzers entspricht, nach außen oder nach innen bewegt.
(11) Videoverteilsystem gemäß (4), wobei die Parametereinstelleinheit beim Einstellen des Parameters nur ein Verfahren allein durchführt oder eine Kombination aus wenigstens zwei Verfahren aus einem ersten Verfahren eines Verschiebens einer Betrachtungsposition des Nutzers aus der Mitte einer Kugelfläche, auf die ein Video projiziert wird, einem zweiten Verfahren eines Änderns eines Winkels des auf die Kugelfläche projizierten Videos, in einem Zustand, in dem die Betrachtungsposition des Nutzers und die Mitte der Kugelfläche übereinstimmen, oder einem dritten Verfahren eines Verschiebens der Mitte der Kugelfläche aus der Betrachtungsposition des Nutzers.
(12) Videoverteilsystem gemäß (11), wobei die Parametereinstelleinheit in einem Fall, in dem das erste Verfahren durchgeführt wird, die Betrachtungsposition des Nutzers verschiebt, indem sie eine Position einer virtuellen Kamera, die der Betrachtungsposition des Nutzers entspricht, an eine Projektionsoberfläche der Kugelfläche heranführt oder von der Projektionsoberfläche wegführt,

(13) Videoverteilsystem gemäß einem von (1) bis (12), wobei die erste Kamera an einer Position auf einer linken Seite in Bezug auf das Bildobjekt angebracht wird, wenn das Bildobjekt von vorn betrachtet wird, und die zweite Kamera an einer Position auf einer rechten Seite in Bezug auf das Bildobjekt angebracht wird, wenn das Bildobjekt von vorn betrachtet wird.
(14) Videoverteilsystem gemäß (13), wobei ein den virtuellen Raum einschließlich des virtuellen Bildobjekts darstellendes Video angezeigt wird durch Projizieren eines ersten Videos, das dem von der ersten Kamera aufgenommenen ersten Bild entspricht, auf eine erste Kugelfläche, die auf einer Position einer ersten virtuellen Kamera, die einem linken Auge des Nutzers im virtuellen Raum entspricht, zentriert ist, und Projizieren eines zweiten Videos, das dem von der zweiten Kamera aufgenommenen zweiten Bild entspricht, auf eine zweite Kugelfläche, die auf einer Position einer zweiten virtuellen Kamera, die einem rechten Auge des Nutzers im virtuellen Raum entspricht, zentriert ist.
(15) Videoverteilsystem gemäß (14), wobei die erste Kugelfläche und die zweite Kugelfläche eine Kugelfläche aufweisen, die einer gesamten Himmelskugel oder einer halben Himmelskugel entspricht.
(16) Videoverteilsystem gemäß (3), wobei die Parametereinstelleinheit in einem Fall, in dem die erste und die zweite Distanz übereinstimmen oder voneinander verschieden sind, den Parameter derart einstellt, dass das virtuelle Bildobjekt einem Zustand entsprechend angezeigt wird, in dem die erste Distanz und die zweite Distanz verschieden sind.
(17) Videoverteilsystem gemäß einem von (1) bis (16), wobei bei einer Veränderung des Bildobjekts als Bildaufnahme-Target, die Parametereinstelleinheit den Parameter gemäß einem Betrag der Änderung dynamisch einstellt.
(18) Videoverteilsystem gemäß einem von (1) bis (17), wobei das Display-Terminal ein Head-Mounted-Display aufweist.
(19) Videoverteilverfahren, aufweisend, durch ein Videoverteilsystem:
- Erfassen eines von einer ersten Kamera und einer zweiten Kamera aufgenommenen ersten Bilds und zweiten Bilds eines Bildobjekts;
- Einstellen eines Parameters, der ein Erscheinungsbild für einen Nutzer bezüglich eines virtuellen Bildobjekts, das dem vom erfassten ersten Bild und zweiten Bild dargestellten Bildobjekt in einem virtuellen Raum entspricht, beeinflusst; und
- Anzeigen eines den virtuellen Raum einschließlich des virtuellen Bildobjekts darstellenden Videos dem eingestellten Parameter entsprechend auf einem Display-Terminal.
(20) Display-Terminal, aufweisend:
- eine Display-Steuereinheit, die auf einem Display-Terminal ein Video anzeigt, das einen virtuellen Raum einschließlich eines virtuellen Bildobjekts darstellt, dessen Parameter eingestellt wird, wobei der Parameter ein Erscheinungsbild für einen Nutzer bezüglich des virtuellen Bildobjekts beeinflusst, das einem von einem von einer ersten Kamera und einer zweiten Kamera aufgenommenen ersten Bild und zweiten Bild des Bildobjekts dargestellten Bildobjekt im virtuellen Raum entspricht.

Bezugszeichenliste

1: Videoverteilsystem
10: Workstation
11, 11-L, 11-R: Kamera
12: Videoverteilserver
20, 20-1 bis 20-N: Display-Terminal
100: Verarbeitungseinheit
101: Eingabeeinheit
102: Ausgabeeinheit
103: Speichereinheit
104: Kommunikationseinheit
111: Bilderfassungseinheit
112: Bildverarbeitungseinheit
113: Übertragungssteuereinheit
120: Abbildungseinheit
130: Detektionseinheit für die Distanz zwischen den optischen Achsen
200: Verarbeitungseinheit
201: Sensoreinheit
202: Speichereinheit
203: Display-Einheit
204: Audioausgabeeinheit
205: Eingabe-Terminal
206: Ausgabe-Terminal
207: Kommunikationseinheit
211: Bilderfassungseinheit
212: Bildverarbeitungseinheit
213: Display-Steuereinheit
220: Wiedergabeeinheit
230: Interpupillardistanzdetektionseinheit
300: Umwandlungsverarbeitungseinheit
320: Parametereinstelleinheit
1001: CPU

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2003284093 [0004]
JP 2014209768 [0004]

Claims

Videoverteilsystem, aufweisend: eine Bilderfassungseinheit, welche ein von einer ersten Kamera und einer zweiten Kamera aufgenommenes erstes Bild und zweites Bild eines Bildobjekts erfasst; eine Parametereinstelleinheit, die einen Parameter einstellt, der ein Erscheinungsbild für einen Nutzer bezüglich eines virtuellen Bildobjekts, das dem vom erfassten ersten Bild und zweiten Bild dargestellten Bildobjekt in einem virtuellen Raum entspricht, beeinflusst; und eine Display-Steuereinheit, die ein Video anzeigt, das den virtuellen Raum einschließlich des virtuellen Bildobjekts dem eingestellten Parameter entsprechend auf einem Display-Terminal darstellt.
Videoverteilsystem gemäß Anspruch 1, wobei der Parameter einen Parameter aufweist, der zu wenigstens einem aus einer ersten Distanz zwischen der ersten Kamera und der zweiten Kamera, einer zweiten Distanz zwischen den Pupillen des Nutzers, einer Distanz zum virtuellen Bildobjekt oder einer Größe des virtuellen Bildobjekts in Beziehung steht.
Videoverteilsystem gemäß Anspruch 2, wobei der Parameter einen Parameter aufweist, der mit einer Beziehung zwischen der ersten Distanz und der zweiten Distanz in Wechselbeziehung steht.
Videoverteilsystem gemäß Anspruch 3, wobei in einem Fall, in dem die erste Distanz und die zweite Distanz verschieden sind, die Parametereinstelleinheit den Parameter derart einstellt, dass das virtuelle Bildobjekt einem Zustand entsprechend angezeigt wird, in dem die erste Distanz und die zweite Distanz übereinstimmen.
Videoverteilsystem gemäß Anspruch 4, wobei die Parametereinstelleinheit den Parameter derart einstellt, dass eine Betrachtungsposition des Nutzers aus einer Mitte einer Kugelfläche, auf welche ein Video projiziert wird, verschoben wird.
Videoverteilsystem gemäß Anspruch 5, wobei die Parametereinstelleinheit eine Position einer virtuellen Kamera, die der Betrachtungsposition des Nutzers entspricht, an eine Projektionsoberfläche der Kugelfläche heranführt oder von der Projektionsoberfläche wegführt.
Videoverteilsystem gemäß Anspruch 4, wobei die Parametereinstelleinheit den Parameter derart einstellt, dass sich in einem Zustand, in dem eine Betrachtungsposition des Nutzers und eine Position einer Mitte einer Kugelfläche, auf welche ein Video projiziert wird, übereinstimmen, ein Winkel des auf die Kugelfläche projizierten Videos ändert.
Videoverteilsystem gemäß Anspruch 7, wobei die Parametereinstelleinheit das auf die Kugelfläche projizierte Video nach außen oder nach innen dreht.
Videoverteilsystem gemäß Anspruch 4, wobei die Parametereinstelleinheit den Parameter derart einstellt, dass eine Mitte einer Kugelfläche, auf welche ein Video projiziert wird, aus einer Betrachtungsposition des Nutzers verschoben wird.
Videoverteilsystem gemäß Anspruch 9, wobei die Parametereinstelleinheit eine Position der Mitte der Kugelfläche in Bezug auf eine Position einer virtuellen Kamera, die der Betrachtungsposition des Nutzers entspricht, nach außen oder nach innen bewegt.
Videoverteilsystem gemäß Anspruch 4, wobei die Parametereinstelleinheit beim Einstellen des Parameters nur ein Verfahren allein durchführt oder eine Kombination aus wenigstens zwei Verfahren aus einem ersten Verfahren eines Verschiebens einer Betrachtungsposition des Nutzers aus der Mitte einer Kugelfläche, auf die ein Video projiziert wird, einem zweiten Verfahren eines Änderns eines Winkels des auf die Kugelfläche projizierten Videos, in einem Zustand, in dem die Betrachtungsposition des Nutzers und die Mitte der Kugelfläche übereinstimmen, oder einem dritten Verfahren eines Verschiebens der Mitte der Kugelfläche aus der Betrachtungsposition des Nutzers.
Videoverteilsystem gemäß Anspruch 11, wobei die Parametereinstelleinheit in einem Fall, in dem das erste Verfahren durchgeführt wird, die Betrachtungsposition des Nutzers verschiebt, indem sie eine Position einer virtuellen Kamera, die der Betrachtungsposition des Nutzers entspricht, an eine Projektionsoberfläche der Kugelfläche heranführt oder von der Projektionsoberfläche wegführt, in einem Fall, in dem das zweite Verfahren durchgeführt wird, durch Drehen des auf die Kugelfläche projizierten Videos nach außen oder nach innen, einen Winkel des auf die Kugelfläche projizierten Videos ändert, und in einem Fall, in dem das dritte Verfahren durchgeführt wird, durch Bewegen der Position der Mitte der Kugelfläche nach außen oder nach innen in Bezug auf die Position der virtuellen Kamera, die Mitte der Kugelfläche verschiebt.
Videoverteilsystem gemäß Anspruch 1, wobei die erste Kamera an einer Position auf einer linken Seite in Bezug auf das Bildobjekt angebracht wird, wenn das Bildobjekt von vorn betrachtet wird, und die zweite Kamera an einer Position auf einer rechten Seite in Bezug auf das Bildobjekt angebracht wird, wenn das Bildobjekt von vorn betrachtet wird.
Videoverteilsystem gemäß Anspruch 13, wobei ein den virtuellen Raum einschließlich des virtuellen Bildobjekts darstellendes Video angezeigt wird durch Projizieren eines ersten Videos, das dem von der ersten Kamera aufgenommenen ersten Bild entspricht, auf eine erste Kugelfläche, die auf einer Position einer ersten virtuellen Kamera, die einem linken Auge des Nutzers im virtuellen Raum entspricht, zentriert ist, und Projizieren eines zweiten Videos, das dem von der zweiten Kamera aufgenommenen zweiten Bild entspricht, auf eine zweite Kugelfläche, die auf einer Position einer zweiten virtuellen Kamera, die einem rechten Auge des Nutzers im virtuellen Raum entspricht, zentriert ist.
Videoverteilsystem gemäß Anspruch 14, wobei die erste Kugelfläche und die zweite Kugelfläche eine Kugelfläche aufweisen, die einer gesamten Himmelskugel oder einer halben Himmelskugel entspricht.
Videoverteilsystem gemäß Anspruch 3, wobei die Parametereinstelleinheit in einem Fall, in dem die erste und die zweite Distanz übereinstimmen oder voneinander verschieden sind, den Parameter derart einstellt, dass das virtuelle Bildobjekt einem Zustand entsprechend angezeigt wird, in dem die erste Distanz und die zweite Distanz verschieden sind.
Videoverteilsystem gemäß Anspruch 1, wobei bei einer Veränderung des Bildobjekts als Bildaufnahme-Target, die Parametereinstelleinheit den Parameter gemäß einem Betrag der Änderung dynamisch einstellt.
Videoverteilsystem gemäß Anspruch 1, wobei das Display-Terminal ein Head-Mounted-Display aufweist.
Videoverteilverfahren, aufweisend, durch ein Videoverteilsystem: Erfassen eines von einer ersten Kamera und einer zweiten Kamera aufgenommenen ersten Bilds und zweiten Bilds eines Bildobjekts; Einstellen eines Parameters, der ein Erscheinungsbild für einen Nutzer bezüglich eines virtuellen Bildobjekts, das dem vom erfassten ersten Bild und zweiten Bild dargestellten Bildobjekt in einem virtuellen Raum entspricht, beeinflusst; und Anzeigen eines den virtuellen Raum einschließlich des virtuellen Bildobjekts darstellenden Videos dem eingestellten Parameter entsprechend auf einem Display-Terminal.
Display-Terminal, aufweisend: eine Display-Steuereinheit, die auf einem Display-Terminal ein Video anzeigt, das einen virtuellen Raum einschließlich eines virtuellen Bildobjekts darstellt, dessen Parameter eingestellt wird, wobei der Parameter ein Erscheinungsbild für einen Nutzer bezüglich des virtuellen Bildobjekts beeinflusst, das einem von einem von einer ersten Kamera und einer zweiten Kamera aufgenommenen ersten Bild und zweiten Bild des Bildobjekts dargestellten Bildobjekt im virtuellen Raum entspricht.