DE112021003828T5

DE112021003828T5 - Informationsverarbeitungsvorrichtung und Bilddatenerzeugungsverfahren

Info

Publication number: DE112021003828T5
Application number: DE112021003828.1T
Authority: DE
Inventors: Yoichi Hirota; Hisako Sugano
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2020-07-17
Filing date: 2021-07-01
Publication date: 2023-05-04
Also published as: WO2022014341A1; JPWO2022014341A1

Abstract

Eine Bildkombiniereinheit (55) (Bilderzeugungseinheit) einer Decodierungsvorrichtung (50a) (Informationsverarbeitungsvorrichtung) erzeugt ein zusammengesetztes Bild (L), in dem reale Bilder (Ia, Ib), die ein Subjekt (90) (erstes Objekt) umfassen, das durch reale Kameras (70) (erste Bildgebungsvorrichtungen) aufgenommen wird, ein virtuelles Bild (V) (erstes virtuelles Bild), das auf der Basis eines 3D-Modells (90M) entsprechend dem Subjekt (90) und einem spezifischen virtuellen Standpunkt (Vp) (Standpunktinformationen) erzeugt wird, und ein 3DCG-Objektbild (O) (zweites virtuelles Bild), das auf der Basis eines 3D-Modells (92) entsprechend einem 3DCG-Objekt (zweiten Objekt), das von dem Subjekt (90) verschieden ist, und den virtuellen Standpunkt (Vp) erzeugt wird, mit Überlagerungsverhältnissen (r, r3DCG) (Zusammensetzungsverhältnisse) entsprechend dem virtuellen Standpunkt kombiniert werden.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung und ein Bilddatenerzeugungsverfahren.
Hintergrund
Im Stand der Technik wird ein Verfahren vorgeschlagen, bei dem ein 3D-Objekt in einem audiovisuellen Raum erzeugt wird, in dem Informationen verwendet werden, die aus Erfassung eines realen 3D-Raums, zum Beispiel einem durch Abbilden eines Subjekts von verschiedenen Standpunkten aus erhaltenen Mehrfach-Standpunkt-Video, erhalten werden, und ein Video (volumetrisches Video) erzeugt wird, in dem das Objekt so aussieht, als existierte es im audiovisuellen Raum.
Außerdem offenbart die Patentliteratur 1 ein Beispiel, in dem Informationen in Bezug auf ein Subjekt einem erzeugten volumetrischen Bild überlagert werden.
Zitatliste
Patentliteratur
Patentliteratur 1: WO 2019/021375 A
Kurzfassung
Technisches Problem
Was in der Patentliteratur 1 einem Subjekt überlagert wird, sind jedoch Informationen in Bezug auf das Subjekt, und es nicht so, dass verschiedene Bilder überlagert werden. Deshalb besteht ein Nachteil, dass es nicht auf Erzeugung eines Videos angewandt werden kann, das durch eine tatsächliche Kamera aufgenommenen realen Bilds eines Subjekts und einen von einem virtuellen Standpunkt aus beobachteten virtuellen Bild des Subjekts wechselt.
Die vorliegende Offenbarung schlägt eine Informationsverarbeitungsvorrichtung und ein Bilddatenerzeugungsverfahren vor, die zwischen einem durch eine tatsächliche Kamera aufgenommenen realen Bild und einem virtuellen Bild wechseln können.
Problemlösung
Um die oben beschriebenen Probleme zu lösen, umfasst eine Informationsverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung eine Bilderzeugungseinheit, die ein zusammengesetztes Bild erzeugt, das erhalten wird, indem Folgendes kombiniert wird: ein reales Bild, das ein durch eine erste Bildgebungsvorrichtung aufgenommenes erstes Objekt umfasst; ein erstes virtuelles Bild, das auf einer Basis eines dem ersten Objekt entsprechenden 3D-Modells und von spezifischen Standpunktinformationen erzeugt wird; und ein zweites virtuelles Bild, das auf einer Basis der Standpunktinformationen und eines 3D-Modells erzeugt wird, das einem zweiten Objekt entspricht, das von dem ersten Objekt verschieden ist, mit Zusammensetzungsverhältnissen, die den Standpunktinformationen entsprechen.
Figurenliste

1 ist eine Blockdarstellung einer schematischen Konfiguration eines Informationsverarbeitungssystems gemäß einer ersten Ausführungsform.
2 ist eine Darstellung eines Beispiels für eine Bildgebungsvorrichtung.
3 ist ein Flussdiagramm eines Beispiels für einen Ablauf von durch das Informationsverarbeitungssystem durchgeführter Verarbeitung.
4 ist eine Hardware-Blockdarstellung eines Beispiels für die Hardwarekonfiguration des Informationsverarbeitungssystems.
5 ist eine Funktionsblockdarstellung eines Beispiels für die funktionale Konfiguration einer Wiedergabeeinheit.
6 ist eine Darstellung eines Beispiels der Anordnung realer Kameras und virtueller Kameras.
7 ist eine Darstellung zur Erläuterung eines Verfahrens des Überlagerns mehrerer Bilder.
8 ist ein Graph eines Beispiels für das Setzen von Überlagerungsverhältnissen abhängig von einer Position eines virtuellen Standpunkts.
9 ist eine Darstellung eines Beispiels für Überlagerungsergebnisse von Bildern.
10 ist ein Flussdiagramm eines Beispiels für einen Ablauf von durch das Informationsverarbeitungssystem der ersten Ausführungsform durchgeführter Verarbeitung.
11 umfasst Graphen, die andere Beispiele für das Setzen von Überlagerungsverhältnissen abhängig von einer Position eines virtuellen Standpunkts veranschaulichen.
12 ist eine Darstellung einer Übersicht eines Informationsverarbeitungssystems gemäß einer zweiten Ausführungsform.
13 ist eine Funktionsblockdarstellung eines Beispiels für die funktionale Konfiguration eines mobilen Endgeräts.
14 umfasst Graphen, die Beispiele für das Setzen von Überlagerungsverhältnissen abhängig von einer Position eines virtuellen Standpunkts in der zweiten Ausführungsform veranschaulichen.
15 ist ein Flussdiagramm eines Beispiels für einen Ablauf von durch das Informationsverarbeitungssystem der zweiten Ausführungsform durchgeführter Verarbeitung.

Beschreibung von Ausführungsformen
Im Folgenden werden Ausführungsformen der vorliegenden Offenbarung ausführlich auf der Grundlage der Zeichnungen beschrieben. Man beachte, dass in jeder der folgenden Ausführungsformen dieselben Teile durch dasselbe Symbol bezeichnet werden und redundante Beschreibung weggelassen wird.
Die vorliegende Offenbarung wird in der folgenden Postenreihenfolge beschrieben.

1. Erste Ausführungsform
1. 1-1. Funktionale Konfiguration des Informationsverarbeitungssystems
2. 1-2. Ablauf von durch Informationsverarbeitungssystem durchgeführter Verarbeitung
3. 1-3. Hardwarekonfiguration des Informationsverarbeitungssystems
4. 1-4. Ausführliche Konfiguration der Wiedergabeeinheit
5. 1-5. Funktionsweise der ersten Ausführungsform
6. 1-6. Ablauf der Verarbeitung der ersten Ausführungsform
7. 1-7. Modifikation der ersten Ausführungsform
8. 1-8. Effekte der ersten Ausführungsform
2. Zweite Ausführungsform
- 2-1. Übersicht über das Informationsverarbeitungssystem
- 2-2. Funktionale Konfiguration des Informationsverarbeitungssystems
- 2-3. Funktionsweise der zweiten Ausführungsform
- 2-4. Ablauf der Verarbeitung der zweiten Ausführungsform
- 2-5. Effekte der zweiten Ausführungsform
3. Anwendungsbeispiele der Offenbarung
- 3-1. Produktion von Inhalt
- 3-2. Erfahrung im virtuellen Raum
- 3-3. Anwendung auf Kommunikation mit entferntem Ort
- 3-4. Anderes

(1. Erste Ausführungsform)
[1-1. Funktionale Konfiguration des Informationsverarbeitungssystems]
Als Erstes wird unter Bezugnahme auf 1 eine Übersicht über ein Informationsverarbeitungssystem 10a beschrieben, auf das die vorliegende Offenbarung angewandt wird. 1 ist eine Blockdarstellung einer schematischen Konfiguration eines Informationsverarbeitungssystems gemäß einer ersten Ausführungsform.
Wie in 1 dargestellt, umfasst das Informationsverarbeitungssystem 10a eine Datenbeschaffungseinheit 11, eine 3D-Modell-Erzeugungseinheit 12, eine Codierungseinheit 13a, eine Sendeeinheit 14, eine Empfangseinheit 15, eine Decodierungseinheit 16a, eine Wiedergabeeinheit 17a und eine Anzeigeeinheit 18.
Die Datenbeschaffungseinheit 11 beschafft Bilddaten zur Erzeugung eines 3D-Modells 90M eines Subjekts 90, das ein Bildgebungs-Zielobjekt ist. Zum Beispiel werden, wie in 2 dargestellt, mehrere Standpunktbilder, die durch mehrere reale Kameras 70 (70a, 70b, 70c, 70d, 70e, ...) aufgenommen werden, die so angeordnet sind, dass sie das Subjekt 90 umgeben, als Bilddaten beschafft. In diesem Fall sind die mehreren Standpunktbilder vorzugsweise Bilder, die synchron durch die mehreren realen Kameras 70 aufgenommen werden. Als Alternative kann die Datenbeschaffungseinheit 11 zum Beispiel Bilddaten beschaffen, die durch Bildgebung des Subjekts 90 von mehreren Standpunkten aus durch Bewegen einer einzigen realen Kamera 70 erhalten werden. Man beachte, dass die Datenbeschaffungseinheit 11 Kalibration auf der Basis der Bilddaten durchführen und interne Parameter und externe Parameter jeder der realen Kameras 70 beschaffen kann. Ferner kann die Datenbeschaffungseinheit 11 zum Beispiel mehrere Elemente von Tiefeninformationen beschaffen, die Distanzen von Standpunkten an mehreren Orten zum Subjekt 90 angeben. Man beachte, dass die realen Kameras 70 (70a, 70b, 70c, 70d, 70e, ...) in der Offenbarung ein Beispiel für eine erste Bildgebungsvorrichtung sind. Ferner ist das Subjekt 90 in der Offenbarung ein Beispiel für ein erstes Objekt.
Die 3D-Modell-Erzeugungseinheit 12 erzeugt ein Modell, das dreidimensionale Informationen des Subjekts aufweist, auf der Basis von Bilddaten zur Erzeugung des 3D-Modells 90M des Subjekts 90. Die 3D-Modell-Erzeugungseinheit 12 erzeugt ein 3D-Modell des Subjekts zum Beispiel durch Formen der dreidimensionalen Form des Subjekts unter Verwendung von Bildern (zum Beispiel Silhouettenbildern aus den mehreren Standpunkten) von den mehreren Standpunkten aus unter Verwendung einer sogenannten visuellen Hülle. In diesem Fall kann die 3D-Modell-Erzeugungseinheit 12 ferner das unter Verwendung der visuellen Hülle erzeugte 3D-Modell 90M mit hoher Genauigkeit unter Verwendung mehrerer Elemente von Tiefeninformationen umformen, die Distanzen von den Standpunkten an den mehreren Orten zum Subjekt angeben. Ferner kann die 3D-Modell-Erzeugungseinheit 12 das 3D-Modell 90M des Subjekts 90 aus einem aufgenommenen Bild des Subjekts 90 erzeugen.
Das durch die 3D-Modell-Erzeugungseinheit 12 erzeugte 3D-Modell 90M kann auch als Bewegtbild des 3D-Modells bezeichnet werden, falls es für jedes Einzelbild in einer Zeitreihe erzeugt wird. Ferner kann, da das 3D-Modell 90M unter Verwendung von durch eine Bildgebungsvorrichtung aufgenommenen Bildern erzeugt wird, es auch als Life-Action-3D-Modell bezeichnet werden. Das 3D-Modell kann zum Beispiel Forminformationen ausdrücken, die die Oberflächenform des Subjekts 90 in Form von dreidimensionalen Netzdaten angeben, die durch Verbindungen zwischen Vertices, bezeichnet als Polygon-Netz, ausgedrückt werden. Die dreidimensionalen Netzdaten passen zum Beispiel dreidimensionale Koordinaten eines Netzes und Indexinformationen, die angeben, welche Vertices kombiniert werden, um ein Dreiecksnetz zu bilden. Man beachte, dass das Verfahren zum Ausdrücken des 3D-Modells nicht darauf beschränkt ist und das 3D-Modell durch ein sogenanntes Punktwolken-Ausdrucksverfahren beschrieben werden kann, bei dem der Ausdruck durch Positionsinformationen von Punkten erfolgt. Außerdem werden in Verbindung mit den 3D-Formdaten Farbinformationsdaten als Textur erzeugt. Es gibt Fälle von ansichtsabhängigen Texturen, bei denen die Farbe selbst bei Betrachtung von beliebiger Richtung konstant ist, und Fälle von ansichtsabhängigen Texturen, bei denen sich die Farbe abhängig von einer Sichtrichtung ändert.
Die Codierungseinheit 13a setzt Daten des durch die 3D-Modell-Erzeugungseinheit 12 erzeugten 3D-Modells 90M in ein für Übertragung und Akkumulation geeignetes Format um. Zum Beispiel kann das durch die 3D-Modell-Erzeugungseinheit 12 erzeugte 3D-Modell durch Ausführen einer perspektivischen Projektion von mehreren Richtungen aus in mehrere zweidimensionale Bilder umgesetzt werden. In diesem Fall können unter Verwendung des 3D-Modells Tiefeninformationen erzeugt werden, die zweidimensionale Tiefenbilder von mehreren Standpunkten aus sind. Die Tiefeninformationen im Zustand des zweidimensionalen Bildes und Farbinformationen werden komprimiert und an die Übertragungseinheit 14 ausgegeben. Die Tiefeninformationen und Farbinformationen können nebeneinander als ein Bild oder als zwei getrennte Bilder übertragen werden. In diesem Fall können, da die Informationen in Form von zweidimensionalen Bilddaten vorliegen, sie unter Verwendung einer zweidimensionalen Komprimierungstechnologie, wie etwa AVC (Advanced Video Coding) komprimiert werden. Ferner können die 3D-Daten zum Beispiel in ein Punktwolkenformat umgesetzt oder auch als dreidimensionale Daten an die Übertragungseinheit 14 ausgegeben werden. In diesem Fall kann zum Beispiel dreidimensionale Komprimierungstechnologie eines auf Geometrie basierenden Ansatzes, der bei MPEG besprochen wird, verwendet werden.
Die Sendeeinheit 14 sendet die durch die Codierungseinheit 13a gebildeten Übertragungsdaten zu der Empfangseinheit 15. Die Sendeeinheit 14 führt eine Reihe von Verarbeitung der Datenbeschaffungseinheit 11, der 3D-Modellerzeugungseinheit 12 und der Codierungseinheit 13a offline durch und sendet die Übertragungsdaten dann zur Empfangseinheit 15. Als Alternative kann die Sendeeinheit 14 die von der Reihe von Verarbeitung erzeugten Übertragungsdaten in Echtzeit zur Empfangseinheit senden.
Man beachte, dass die 3D-Modell-Erzeugungseinheit 12, die Codierungseinheit 13a und die Sendeeinheit 14 in der Codierungsvorrichtung 40a enthalten sind. Die Codierungsvorrichtung 40a ist ein Beispiel für die Informationsverarbeitungsvorrichtung in der Offenbarung.
Die Empfangseinheit 15 empfängt die von der Sendeeinheit 14 gesendeten Übertragungsdaten.
Die Decodierungseinheit 16a stellt einen durch die Empfangseinheit 15 empfangenen Bitstrom wieder zu einem zweidimensionalen Bild her und stellt Netz- und Texturinformationen, die durch die Wiedergabeeinheit 17a gezeichnet werden können, aus dem wiederhergestellten zweidimensionalen Bild wieder her.
Man beachte, dass die Empfangseinheit 15, die Decodierungseinheit 16a und die Wiedergabeeinheit 17a in einer Decodierungsvorrichtung 50a enthalten sind. Die Decodierungsvorrichtung 50a ist ein Beispiel für die Informationsverarbeitungsvorrichtung in der Offenbarung.
Die Wiedergabeeinheit 17a projiziert das Netz des 3D-Modells 90M von einem Standpunkt einer Zeichnungskamera aus und führt Texturabbildung des Ablegens einer Farbe oder ein Muster repräsentierenden Textur durch. Ein Merkmal der vorliegenden Ausführungsform ist, dass die Zeichnung an diesem Punkt von einem nach Wunsch gesetzten freien Standpunkt aus betrachtet werden kann, ungeachtet der Kameraposition zum Zeitpunkt der Bildgebung. Die Texturabbildung umfasst ein sogenanntes ansichtsabhängiges Verfahren (VD-Verfahren), bei dem der Ansichtsstandpunkt eines Benutzers berücksichtigt wird, und ein ansichtsunabhängiges Verfahren (VI-Verfahren), bei dem der Ansichtsstandpunkt eines Benutzers nicht berücksichtigt wird. Da das VD-Verfahren die auf das 3D-Modell abgelegte Textur abhängig von der Position des Ansichtsstandpunkts ändert, besteht ein Vorteil, dass Wiedergabe mit höherer Qualität als beim VI-Verfahren implementiert werden kann. Da das VI-Verfahren die Position eines Ansichtsstandpunkts nicht berücksichtigt, besteht zwischenzeitlich ein Vorteil, dass die Verarbeitungsmenge kleiner als die des VD-Verfahrens ist. Man beachte, dass in Bezug auf Daten des Ansichtsstandpunkts eine Anzeigevorrichtung eine Ansichtsregion (interessierende Region) des Benutzers detektiert, die von der Anzeigevorrichtung in die Wiedergabeeinheit 17a eingegeben wird.
Die Anzeigeeinheit 18 zeigt das durch die Wiedergabeeinheit 17a wiedergegebene Ergebnis auf einer Anzeigeeinheit der Anzeigevorrichtung an. Die Anzeigevorrichtung kann zum Beispiel ein 2D-Monitor oder ein 3D-Monitor, wie etwa eine am Kopf angebrachte Anzeige, eine räumliche Anzeige, ein Mobiltelefon, ein Fernseher oder ein PC sein.
Man beachte, dass das Informationsverarbeitungssystem 10a in 1 eine Flussreihe von der Datenbeschaffungseinheit 11, die aufgenommene Bilder beschafft, die Materialien zur Erzeugung von Inhalt sind, zu der Anzeigeeinheit 18, die die Anzeigevorrichtung, die vom Benutzer betrachtet wird, steuert, veranschaulicht. Es bedeutet jedoch nicht, dass alle Funktionsblöcke zur Implementierung des vorliegenden Verfahrens notwendig sind, und die vorliegende Ausführungsform kann für jeden Funktionsblock oder eine Kombination mehrerer Funktionsblöcke implementiert werden. Zum Beispiel sind in 1 die Sendeeinheit 14 und die Empfangseinheit 15 enthalten, um eine Flussreihe von einer Seite, auf der der Inhalt erzeugt wird, zu einer Seite, auf der der Inhalt mittels Verteilung von Inhaltsdaten betrachtet wird, zu veranschaulichen. Falls jedoch Inhaltsproduktion zur Betrachtung durch dieselbe Informationsverarbeitungsvorrichtung (zum Beispiel einen Personal Computer) durchgeführt wird, ist es nicht notwendig, die Sendeeinheit 14 oder die Empfangseinheit 15 vorzusehen.
Wenn das Informationsverarbeitungssystem 10a implementiert wird, kann derselbe Implementierer alles Obige implementieren, oder verschiedene Implementierer können jeden Funktionsblock implementieren. Zum Beispiel erzeugt eine Firma X 3D-Inhalt mittels der Datenbeschaffungseinheit 11, der 3D-Modellerzeugungseinheit 12 und der Codierungseinheit 13a. Außerdem gibt es auch einen Fall, bei dem mehrere Implementierer gemeinsam implementieren, so dass der 3D-Inhalt mittels der Sendeeinheit 14 (Plattform) einer Firma Y verteilt wird, während die Anzeigevorrichtung einer Firma Z Empfang, Wiedergabe und Anzeigesteuerung des 3D-Inhalts durchführt.
Außerdem kann jeder oben beschriebene Funktionsblock auf einer Cloud implementiert werden. Zum Beispiel kann die Wiedergabeeinheit 17a in der Anzeigevorrichtung oder durch einen Server implementiert werden. In diesem Fall werden Informationen zwischen der Anzeigevorrichtung und dem Server ausgetauscht.
In 1 werden die Datenbeschaffungseinheit 11, die 3D-Modell-Erzeugungseinheit 12, die Codierungseinheit 13a, die Sendeeinheit 14, die Empfangseinheit 15, die Wiedergabeeinheit 17a und die Anzeigeeinheit 18 zusammen betrachtet und als das Informationsverarbeitungssystem 10a beschrieben. Man beachte, dass das Informationsverarbeitungssystem 10a der vorliegenden Beschreibung als ein Informationsverarbeitungssystem bezeichnet wird, wenn zwei oder mehr Funktionsblöcke in Beziehung stehen und zum Beispiel können die Datenbeschaffungseinheit 11, die 3D-Modell-Erzeugungseinheit 12, die Codierungseinheit 13a, die Sendeeinheit 14, die Empfangseinheit 15, die Decodierungseinheit 16a und die Wiedergabeeinheit 17a zusammen als ein Informationsverarbeitungssystem 10a bezeichnet werden, ohne die Anzeigeeinheit 18 einzuschließen.
[1-2. Durch das Informationsverarbeitungssystem ausgeführter Verarbeitungsfluss]
Als Nächstes wird ein durch das Informationsverarbeitungssystem 10a ausgeführter Verarbeitungsfluss mit Bezug auf 3 beschrieben. 3 ist ein Flussdiagramm eines Beispiels für einen durch das Informationsverarbeitungssystem ausgeführten Verarbeitungsfluss.
Wenn die Verarbeitung gestartet wird, beschafft die Datenbeschaffungseinheit 11 in Schritt S11 Bilddaten zur Erzeugung eines 3D-Modells des Subjekts.
Als Nächstes erzeugt in Schritt S12 die 3D-Modell-Erzeugungseinheit 12 ein 3D-Modell mit dreidimensionalen Informationen des Subjekts auf der Basis der Bilddaten zur Erzeugung des 3D-Modells des Subjekts.
In Schritt S13 codiert die Codierungseinheit 13a die Form- und Texturdaten des durch die 3D-Modell-Erzeugungseinheit 12 erzeugten 3D-Modells zu einem für Übertragung und Akkumulation geeigneten Format.
Dann sendet in Schritt S14 die Sendeeinheit 14 die codierten Daten, und in Schritt S15 empfängt die Empfangseinheit 15 die gesendeten Daten.
In Schritt S16 führt die Decodierungseinheit 16a Detektionsverarbeitung aus, um das 3D-Modell in für Anzeige notwendige Form- und Texturdaten umzusetzen. Dann führt in Schritt S17 die Wiedergabeeinheit 17a Wiedergabe unter Verwendung der Form- und Texturdaten durch. Das wiedergegebene Ergebnis wird in Schritt S18 auf der Anzeigeeinheit angezeigt. Wenn die Verarbeitung von Schritt S18 endet, endet dann die Verarbeitung des Informationsverarbeitungssystems 10a.
[1-3. Hardwarekonfiguration des Informationsverarbeitungssystems]
Als Nächstes wird mit Bezug auf 4 eine Hardwarekonfiguration des Informationsverarbeitungssystems 10 beschrieben. 4 ist eine Hardware-Blockdarstellung eines Beispiels für die Hardwarekonfiguration des Informationsverarbeitungssystems.
In 4 sind eine CPU 21, ein ROM 22 und ein RAM 23 über einen Bus 24 miteinander verbunden. Der Bus 24 ist auch mit einer Eingabe- und Ausgabeschnittstelle 25 verbunden. Die Eingabe- und Ausgabeschnittstelle 25 ist mit einer Eingabeeinheit 26, einer Ausgabeeinheit 27, einer Speicherungseinheit 28, einer Kommunikationseinheit 29 und einem Laufwerk 30 verbunden.
Die Eingabeeinheit 26 umfasst zum Beispiel eine Tastatur, eine Maus, ein Mikrofon, ein Touchpanel, ein Eingabeterminal und dergleichen. Die Ausgabeeinheit 27 umfasst zum Beispiel eine Anzeige, einen Lautsprecher, ein Ausgabeterminal und dergleichen. Die Speicherungseinheit 28 umfasst zum Beispiel eine Festplatte, eine RAM-Platte, einen nichtflüchtigen Speicher und dergleichen. Die Kommunikationseinheit 29 umfasst zum Beispiel eine Netzwerkschnittstelle und dergleichen. Das Laufwerk 30 lässt ein wechselbares Medium, wie etwa einen magnetischen Datenträger, einen optischen Datenträger, einen magnetooptischen Datenträger oder einen Halbleiterspeicher, laufen.
In einem wie oben beschrieben konfigurierten Computer lädt zum Beispiel die CPU 21 ein in der Speicherungseinheit 28 gespeichertes Programm über die Eingabe- und Ausgabeschnittstelle 25 und den Bus 24 in den RAM 23 und führt das Programm aus, um dadurch die oben beschriebene Verarbeitungsreihe auszuführen. Der RAM 23 speichert außerdem wie erforderlich Daten und dergleichen, die notwendig sind, damit die CPU 21 verschiedene Arten von Verarbeitung ausführt.
Das durch den Computer ausgeführte Programm kann zum Beispiel angewandt werden, indem es in einem wechselbaren Medium als Paketmedien oder dergleichen aufgezeichnet wird. In diesem Fall kann das Programm über die Eingabe- und Ausgabeschnittstelle durch Anschließen der wechselbaren Medien an das Laufwerk in der Speicherungseinheit 28 installiert werden.
Ferner kann das Programm auch über ein drahtgebundenes oder drahtloses Übertragungsmedium bereitgestellt werden, wie etwa ein lokales Netzwerk, das Internet oder Digital-Satellitenausstrahlung. In diesem Fall kann das Programm durch die Kommunikationseinheit 29 empfangen und in der Speicherungseinheit 28 installiert werden.
[1-4. Ausführliche Konfiguration der Wiedergabeeinheit]
Als Nächstes wird mit Bezug auf 5 eine ausführliche Konfiguration der Wiedergabeeinheit 17a beschrieben. 5 ist eine Funktionsblockdarstellung eines Beispiels für die Funktionskonfiguration der Wiedergabeeinheit.
Wie in 5 dargestellt, umfasst die Wiedergabeeinheit 17a eine Virtuelles-Bild-Erzeugungseinheit 51, eine Standpunkt-Setzeinheit 52, eine Überlagerungsverhältnis-Berechnungseinheit 53, eine 3DCG-Objektbilderzeugungseinheit 54 und eine Bildkombiniereinheit 55.
Die Virtuelles-Bild-Erzeugungseinheit 51 beschafft reale Bilder, die durch die reale Kamera 70 aufgenommen werden, das durch die 3D-Modellerzeugungseinheit 12 (siehe 1) erzeugte 3D-Modell 90M des Subjekts 90 und die Position eines durch die Standpunkt-Setzeinheit 52 gesetzten virtuellen Standpunkts Vp und Erzeugt ein virtuelles Bild V (siehe 7), indem das Subjekt 90 von dem virtuellen Standpunkt Vp aus (siehe 6) betrachtet wird. Das 3D-Modell 90M umfasst Forminformationen und Texturinformationen des Subjekts 90, beschafft durch jede der mehreren realen Kameras 70. Man beachte, dass das Subjekt 90 ein Beispiel für ein Objekt in der Offenbarung ist.
Das durch die Virtuelles-Bild-Erzeugungseinheit 51 erzeugte virtuelle Bild V ist ein sogenanntes volumetrisches Bild, das durch Projizieren des 3D-Modells 90M des Subjekts 90 auf den virtuellen Standpunkt Vp erhalten wird. Man beachte, dass ein Verfahren des Erzeugens des virtuellen Bildes V nicht beschränkt ist, sondern zum Beispiel das 3D-Modell 90M des Subjekts 90, das durch das Verfahren erzeugt wird, wie etwa eine visuelle Hülle, unter Verwendung der realen Bilder erzeugt wird, die jeweils durch eine der mehreren realen Kameras 70 aufgenommen werden. Dann wird durch Projizieren des erzeugten 3D-Modells 90M auf den virtuellen Standpunkt Vp das virtuelle Bild V erzeugt, indem das Subjekt 90 von dem virtuellen Standpunkt Vp aus betrachtet wird. Man beachte, dass das virtuelle Bild V ein Beispiel für ein erstes virtuelles Bild in der Offenbarung ist.
Die Standunkt-Setzeinheit 52 setzt die Position des virtuellen Standpunkts Vp und die Beobachtungsrichtung von dem virtuellen Standpunkt Vp in Richtung des Subjekts 90 (erstes Objekt) chronologisch, das heißt, in Korrespondenz mit der Zeit t. Man beachte, dass der virtuelle Standpunkt Vp ein Beispiel für Standpunktinformationen in der Offenbarung ist.
Die Überlagerungsverhältnis-Berechnungseinheit 53 empfängt Installationspositionen der realen Kameras 70a und 70b, Genauigkeitsinformationen realer Kameras und das 3D-Modell 90M des Subjekts 90 von der 3D-Modellerzeugungseinhit 12 (siehe 1). Dann berechnet die Überlagerungsverhältnis-Berechnungseinheit 53 Überlagerungsverhältnisse R eines realen Bildes Ia, des virtuellen Bildes V, eines 3DCG-Objektbildes O und eines realen Bildes Ib zur Erzeugung eines zusammengesetzten Bildes L (siehe 9) des realen Bildes Ia, des virtuellen Bildes V, des 3DCG-Objektbildes O und des realen Bildes Ib an dem virtuellen Standpunkt Vp, der durch die Standpunkt-Setzeinheit 52 gesetzt wird. Man beachte, dass das reale Bild Ia ein Beispiel für ein erstes reales Bild in der Offenbarung ist. Das reale Bild Ib ist ein Beispiel für ein zweites reales Bild in der Offenbarung. Die Überlagerungsverhältnisse r sind ein Beispiel für Zusammensetzungsverhältnisse in der Offenbarung. Ferner sind die Genauigkeitsinformationen realer Kameras Kalibrationsinformationen (externe Kalibrationsinformationen in Bezug auf Installationspositionen realer Kameras und interne Parameterinformationen in Bezug auf optische Parameter realer Kameras) oder dergleichen hinsichtlich der realen Kameras 70a und 70b.
Man beachte, dass die realen Bilder Ia und Ib (siehe 7) Bilder sind, die das tatsächlich durch die realen Kameras 70a bzw. 70b aufgenommene Subjekt 90 umfassen. Außerdem definieren die Überlagerungsverhältnisse r Überlagerungsverhältnisse (Verhältnisse von Luminanz und Verhältnisse von Farben) der zu überlagernden Bilder und des 3DCG-Objektbildes O, wenn die Bildkombiniereinheit 55 das reale Bild Ia, das virtuelle Bild V, das 3DCG-Objektbild O und das reale Bild Ib überlagert, um das zusammengesetzte Bild L zu erzeugen. Man beachte, dass, wenn ein Überlagerungsverhältnis des realen Bildes Ia als r_ca bezeichnet wird (0 ≤ r_ca ≤ 1), ein Überlagerungsverhältnis eines realen Bildes Ib als r_cb bezeichnet wird (0 ≤ r_cb ≤ 1), ein Überlagerungsverhältnis des virtuellen Bildes V als r_V bezeichnet wird (0 ≤ r_V ≤ 1) und ein Überlagerungsverhältnis des 3DCG-Objektbildes O als r_3DCG bezeichnet wird (0 ≤ r_3DCG ≤ 1), wobei die Überlagerungsverhältnisse r_ca, r_cb und R_V die Bedingung von Gleichung (1) erfüllen. Im Übrigen werden die Überlagerungsverhältnisse r abhängig von der Position des virtuellen Standpunkts Vp gesetzt. Einzelheiten werden später beschrieben. $r_{ca} + r_{cb} + r_{V} = 1$
Außerdem wird das 3DCG-Objektbild O durch Alphamischung mit Bezug auf ein Bild kombiniert, in dem das reale Bild Ia, das virtuelle Bild V und das reale Bild Ib überlagert sind. Einzelheiten werden später beschrieben (siehe 7).
Die 3DCG-Objektbilderzeugungseinheit 54 erzeugt das 3DCG-Objektbild O, das dem zusammengesetzten Bild L über überlagern ist. Man beachte, dass die 3DCG-Objektbilderzeugungseinheit 54 als das 3DCG-Objektbild O ein Bild erzeugen kann, das eine Figur mit 3D-Informationen umfasst, oder einen Videoeffekt erzeugen kann, um an dem gesamten zusammengesetzten Bild L zu wirken. Speziell projiziert die 3DCG-ObjektbildErzeugungseinheit 54 ein in dem 3DCG-Objekt enthaltenes 3D-Modell 92 auf dem virtuellen Standpunkt Vp, um das 3DCG-Objektbild O zu erzeugen, in dem ein 3DCG-Objekt von dem virtuellen Standpunkt Vp aus betrachtet wird. Man beachte, dass das 3DCG-Objektbild O ein Beispiel für ein zweites virtuelles Bild in der Offenbarung ist. Ferner ist das 3DCG-Objekt ein Beispiel für ein zweites Objekt in der Offenbarung.
Die Bildkombiniereinheit 55 erzeugt ein zusammengesetztes Bild L, erhalten durch Kombinieren der realen Bilder Ia und Ib, die das Subjekt 90 mit dem 3D-Modell 90M umfasst, der realen Bilder Ia und Ib, die durch die realen Kameras 70 (erste Bildgebungsvorrichtung) von verschiedenen Positionen aus aufgenommen werden, des virtuellen Bildes V, das durch Beobachten des Subjekts 90 von dem durch die Standpunkt-Setzeinheit 52 gesetzten virtuellen Standpunkt Vp aus in Korrespondenz mit der Zeit t erhalten wird, und des 3DCG-Objektbildes O mit dem 3D-Modell 92, das von dem virtuellen Standpunkt Vp aus betrachtet wird, mit den Überlagerungsverhältnissen r und r_3DCG, die durch die Überlagerungsverhältnis-Berechnungseinheit 53 abhängig von der Position des virtuellen Standpunkts Vp berechnet werden. Man beachte, dass die Bildkombiniereinheit 55 ein Beispiel für eine Bilderzeugungseinheit in der Offenbarung ist.
[1-5. Funktionsweise der ersten Ausführungsform]
Als Nächstes wird die durch die Decodierungsvorrichtung 50a der ersten Ausführungsform durchgeführte Funktionsweise speziell mit Bezug auf 6 bis 9 beschrieben. 6 ist eine Darstellung eines Beispiels für die Anordnung realer Kameras und virtueller Kameras. 7 ist eine Darstellung zur Erläuterung eines Verfahrens zum Überlagern mehrerer Bilder. 8 ist ein Graph eines Beispiels für das Setzen von Überlagerungsverhältnissen abhängig von der Position des virtuellen Standpunkts. 9 ist eine Darstellung eines Beispiels für Überlagerungsergebnisse der Bilder.
In dem Informationsverarbeitungssystem 10a, zum Beispiel wie in 6 dargestellt, nehme man an, dass die Standpunkt-Setzeinheit 52 Einstellungen vornimmt, um den virtuellen Standpunkt Vp von der realen Standpunktposition der realen Kamera 70a zu der realen Standpunktposition der realen Kamera 70b auf einer der Zeit t entsprechenden Bewegungsroute 88a zu bewegen.
Spezieller bewegt sich der virtuelle Standpunkt Vp zu der Position einer virtuellen Kamera 72a zum Zeitpunkt t1, während weiter das Subjekt 90 mit dem 3D-Modell 90M aufgenommen wird. Außerdem wird angenommen, dass der virtuelle Standpunkt Vp sich dann zu der Position einer virtuellen Kamera 72b zum Zeitpunkt t2, der Position einer virtuellen Kamera 72c zum Zeitpunkt t3, der Position einer virtuellen Kamera 72d zum Zeitpunkt t4, der Position einer virtuellen Kamera 72e zum Zeitpunkt t5 und der Position der realen Kamera 70b zum Zeitpunkt t6 bewegt.
Die Überlagerungsverhältnis-Berechnungseinheit 53 berechnet Überlagerungsverhältnisse r jeweils für die realen Bilder Ia und Ib, das virtuelle Bild V des Subjekts 90, von dem virtuellen Standpunkt Vp aus gesehen, und das 3DCG-Objektbild O, von dem virtuellen Standpunkt Vp aus gesehen, in dem zusammengesetzten Bild L auf der Basis der räumlichen Distanz (Distanz) zwischen einer der realen Kamera 70a und der realen Kamera 70b und dem virtuellen Standpunkt Vp, der zeitlichen Distanz von der Zeit, zu der sich der virtuelle Standpunkt Vp an der Position der realen Kamera 70a oder der realen Kamera 70b befindet, das heißt, der Bewegungsgeschwindigkeit des virtuellen Standpunkts, und dergleichen.
Die Bildkombiniereinheit 55 führt die in 7 dargestellte Verarbeitung aus, um das zusammengesetzte Bild L zu erzeugen. Man beachte, dass die Beschreibung unter der Annahme erfolgt, dass die Überlagerungsverhältnis-Berechnungseinheit 53 das Überlagerungsverhältnis r_ca des realen Bildes Ia, das Überlagerungsverhältnis r_cb des realen Bildes Ib, das Überlagerungsverhältnis r_V des virtuellen Bildes V und das Überlagerungsverhältnis r_3DCG des 3DCG-Objektbildes O berechnet hat.
Wie in 7 dargestellt, umfasst die Bildkombiniereinheit 55 Multiplizierer M1, M2, M3, M4 und M5, Addierer A1 und A2, eine 3D-Objekt-Überlagerungseinheit 56 und eine Signalauswahleinheit 57.
Der Multiplizierer M1 multipliziert das reale Bild Ia mit dem Überlagerungsverhältnis r_ca. Der Multiplizierer M2 multipliziert das reale Bild Ib mit dem Überlagerungsverhältnis r_cb. Der Multiplizierer M3 multipliziert das virtuelle Bild V mit dem Überlagerungsverhältnis r_V. Der Multiplizierer M4 multipliziert das 3DCG-Objektbild O mit dem Überlagerungsverhältnis r_3DCG. Der Multiplizierer M5 multipliziert ein Additionsergebnis der Ausgabe des Multiplizierers M1, der Ausgabe des Multiplizierers M2 und der Ausgabe des Multiplizierers M3 mit einem Überlagerungsverhältnis (1 - r_3DCG).
Der Addierer A1 addiert die Ausgabe des Multiplizierers M1, die Ausgabe des Multiplizierers M2 und die Ausgabe des Multiplizierers M3.
Die 3D-Objekt-Überlagerungseinheit 56 erzeugt ein Überlagerungsbild Ix2 durch weiteres Kombinieren des 3DCG-Objektbildes O mit einem Überlagerungsbild Ix1, das durch Überlagern des realen Bildes Ia, des realen Bildes Ib und des virtuellen Bildes V erhalten wird. Kombinieren des 3DCG-Objektsbildes O erfolgt zum Beispiel durch Alphamischung. Alphamischung ist eines der Verfahren zum Kombinieren mehrerer Bilder und ist ein Verfahren zum Überlagern von Bildern in Anbetracht von Transparenz. Das heißt, das Überlagerungsverhältnis r_3DCG des 3DCG-Objektbildes O repräsentiert die Transparenz des 3DCG-Objektbildes O.
Die Signalauswahleinheit 57 ist ein Selektor, der zwischen dem Überlagerungsbild Ix1 (Eingabe A), in dem das reale Bild Ia, das reale Bild Ib und das virtuelle Bild V überlagert sind, und dem Überlagerungsbild Ix2 (Eingabe B) auswählt. Die Signalauswahleinheit 57 wählt das Überlagerungsbild Ix2 (Eingabe B) für eine Region aus, in der das 3DCG-Objekt anwesend ist. Andererseits wählt die Signalauswahleinheit 57 für eine Region, in der das 3DCG-Objekt nicht anwesend ist, das Überlagerungsbild Ix1 (Eingabe A) aus. Man beachte, dass, ob das 3DCG-Objekt in der Region anwesend ist oder nicht, auf der Basis einer 3DCG-Objektanwesenheitsabbildung Mo bestimmt wird. Die 3DCG-Objektanwesenheitsabbildung Mo ist ein Bild, das die Position angibt, an der das 3DCG-Objekt anwesend ist. Die 3DCG-Objektanwesenheitsabbildung Mo dient zum Spezifizieren einer Region, die für die Zusammenstellung durch die Bildkombiniereinheit 55 aus dem 3DCG-Objektbild O, in dem das 3DCG-Objekt von dem virtuellen Standpunkt Vp aus betrachtet wird, verwendet wird.
Dann gibt die Bildkombiniereinheit 55 die Ausgabe der Signalauswahleinheit 57 als das zusammengesetzte Bild L an die Anzeigeeinheit 18 aus.
Man beachte, dass, falls das 3DCG-Objektbild O ein Bild ist, das einen Videoeffekt auf das gesamte zusammengesetzte Bild L anwendet, die Signalauswahleinheit 57 das Überlagerungsbild Ix2 (Eingabe B) für das gesamte Bild auswählt.
Ferner können, obwohl es in 7 nicht dargestellt ist, eine Vordergrundbereichsabbildung, die die Position angibt, an der das Subjekt 90 in den realen Bildern Ia und Ib anwesend ist, verwendet werden, um kompliziertere Überlagerung zu implementieren. Außerdem kann eine Tiefenabbildung verwendet werden, die die Distanz zu dem Objekt 90 in dem virtuellen Bild V angibt.
Als Nächstes wird mit Bezug auf 8 ein Beispiel für das Setzen der Überlagerungsverhältnisse r (r_ca, r_cb, r_V, r_3DCG)abhängig von der Position des virtuellen Standpunkts Vp beschrieben.
Als Erstes wird das Überlagerungsverhältnis r_ca des realen Bildes Ia beschrieben. Die Überlagerungsverhältnis-Berechnungseinheit 53 vermindert allmählich das auf 100% gesetzte Überlagerungsverhältnis r_ca an der Position der realen Kamera 70a von etwa dem Zeitpunkt t1 an und vergrößert allmählich gleichzeitig das auf 0% gesetzte Überlagerungsverhältnis r_V an der Position der realen Kamera 70a von etwa dem Zeitpunkt t1 an. Dann setzt die Überlagerungsverhältnis-Berechnungseinheit 53 das Überlagerungsverhältnis r_V auf 100% zu einem Zeitpunkt t, zu dem das Überlagerungsverhältnis r_ca 0% erreicht.
Dann vermindert die Überlagerungsverhältnis-Berechnungseinheit 53 allmählich das Überlagerungsverhältnis r_V etwa von dem Zeitpunkt t4 an und vergrößert gleichzeitig allmählich das Überlagerungsverhältnis r_cb des realen Bildes Ib. Das Überlagerungsverhältnis r_V wird in der Nähe der Zeit t5 auf 0% gesetzt und das Überlagerungsverhältnis r_cb wird in der Nähe des Zeitpunkts t5 auf 100% gesetzt. Man beachte, dass das Überlagerungsverhältnis r_ca bis zum Zeitpunkt t6 auf 0% gehalten wird.
Wie oben beschrieben setzt, falls die Distanz zwischen der realen Kamera 70a und dem virtuellen Standpunkt Vp kleiner oder gleich einem vorbestimmten Wert ist und falls die Distanz zwischen der realen Kamera 70b und dem virtuellen Standpunkt Vp kleiner oder gleich dem vorbestimmten Wert ist, die Überlagerungsverhältnis-Berechnungseinheit 53 das Überlagerungsverhältnis r_V, das niedriger ist als in einem Fall, bei dem die Distanz größer als der vorbestimmte Wert ist. Folglich wird, falls der virtuelle Standpunkt Vp sich in der Umgebung der realen Kameras 70a und 70b befindet, der Beitrag der realen Bilder Ia und Ib in dem zusammengesetzten Bild L vergrößert.
Qualitativ wird, falls der virtuelle Standpunkt Vp zwischen der realen Kamera 70a und der realen Kamera 70b liegt (in der Nähe des Zeitpunkts t3 in 8), das Überlagerungsverhältnis r_V des virtuellen Bildes V auf 100% gesetzt. Da das Überlagerungsverhältnis r_V des virtuellen Bildes V niedrig geschätzt wird, falls die realen Kameras 70a und 70b nahe zueinander angeordnet sind, kann das Überlagerungsverhältnis r_V jedoch nicht 100% erreichen.
Ferner setzt die Überlagerungsverhältnis-Berechnungseinheit 53 das Überlagerungsverhältnis r_3DCG des 3DCG-Objektbildes O. In dem Beispiel von 8 setzt die Überlagerungsverhältnis-Berechnungseinheit 53 das Überlagerungsverhältnis r_3DCG von etwa dem Zeitpunkt t1 an bis zu etwa dem Zeitpunkt t5 auf 100%. Dann wird das Überlagerungsverhältnis r_3DCG zu Zeiten vor und nach dem Obigen auf 0% variiert.
Ferner kann die Überlagerungsverhältnis-Berechnungseinheit 53 die Änderungsraten der Überlagerungsverhältnisse r (r_ca, r_cb, r_V, r_3DCG) abhängig von der Bewegungsgeschwindigkeit des virtuellen Standpunkts Vp setzen. Falls zum Beispiel die Bewegungsgeschwindigkeit des virtuellen Standpunkts Vp langsam ist, ist es wünschenswert, die Änderungsraten der Überlagerungsverhältnisse r (r_ca, r_cb, r_V, r_3DCG) pro Zeiteinheit klein zu setzen. Falls dagegen die Bewegungsgeschwindigkeit des virtuellen Standpunkts Vp schnell ist, ist es wünschenswert, die Änderungsraten der Überlagerungsverhältnisse r (r_ca, r_cb, r_V, r_3DCG) pro Zeiteinheit groß zu setzen. Folglich können Änderungen in dem zusammengesetzten Bild L, die der Bewegung des virtuellen Standpunkts Vp einhergehen, unauffällig gemacht werden.
Man beachte, dass das Setzmuster der Überlagerungsverhältnisse r nicht auf das Beispiel von 8 beschränkt ist. Später werden andere Setzmuster der Überlagerungsverhältnisse r beschrieben (siehe 11).
Ferner kann die Überlagerungsverhältnis-Berechnungseinheit 53 gleichzeitig nicht nur die Überlagerungsverhältnisse r der Bilder setzen, sondern auch die Farbdichte jedes der Bilder, den Grad der Unschärfe jedes der Bilder oder dergleichen.
Als Nächstes wird mit Bezug auf 9 ein Beispiel für das durch die Bildkombiniereinheit 55 erzeugte zusammengesetzte Bild beschrieben. 9 zeigt die realen Bilder Ia und Ib zu jeweiligen Zeiten vom Zeitpunkt t0 bis zum Zeitpunkt t6 wie in 6 dargestellt beobachtet, das aus den realen Bildern Ia und Ib erzeugte virtuelle Bild V und das 3DCG-Objektbild O, das einen Videoeffekt zu jedem der Zeitpunkte repräsentiert. Außerdem zeigt 9 das durch Kombinieren dieser Bilder zu jedem der Zeitpunkte erhaltene zusammengesetzte Bild L. Man beachte, dass, obwohl ein Hintergrund in den realen Bildern Ia und Ib aufgenommen wird, das virtuelle Bild V nur für die aus den realen Bildern Ia und Ib extrahierte Region des Subjekts 90 erzeugt wird.
Das virtuelle Bild V wird auf der Basis des 3D-Modells 90M des Subjekts 90 erzeugt, das in dem realen Bild Ia und dem realen Bild Ib aufgenommen wird. Obwohl es in 9 nicht vollständig ausgedrückt ist, ist deshalb streng gesagt das virtuelle Bild V ein Bild, in dem sich das reale Bild Ia und das reale Bild Ib überlappen.
Außerdem ist in 9 das 3DCG-Objektbild O ein Videoeffekt, der zufällig über das gesamte Bild fallende Teilchen zeichnet.
Das zusammengesetzte Bild L wird auf der Basis der Überlagerungsverhältnisse r erzeugt, die durch die Überlagerungsverhältnis-Berechnungseinheit 53 gesetzt werden. 9 zeigt ein Beispiel, in dem die Überlagerungsverhältnisse r, die im Wesentlichen denen von 8 gleich sind, gesetzt werden.
[1-6. Verarbeitungsfluss der ersten Ausführungsform]
Als Nächstes wird ein durch das Informationsverarbeitungssystem 10a ausgeführter Verarbeitungsfluss mit Bezug auf 10 beschrieben. 10 ist ein Flussdiagramm eines Beispiels für einen Verarbeitungsfluss, der durch das Informationsverarbeitungssystem gemäß der ersten Ausführungsform ausgeführt wird.
Die Standpunkt-Setzeinheit 52 setzt den virtuellen Standpunkt Vp für jede Zeit (Schritt S21).
Die Bildkombiniereinheit 55 beschafft das durch die reale Kamera 70a aufgenommene reale Bild Ia und das durch die reale Kamera 70b aufgenommene reale Bild Ib (Schritt S22).
Die Virtuelles-Bild-Erzeugungseinheit 51 erzeugt das virtuelle Bild V auf der Basis der durch die reale Kamera 70a aufgenommenen realen Bildes Ia, des durch die reale Kamera 70b aufgenommenen realen Bildes Ib, des 3D-Modells 90M (Forminformationen und Texturinformationen) des Subjekts 90, erzeugt durch die 3D-Modell-Erzeugungseinheit 12, und der Position des virtuellen Standpunkts Vp, die durch die Standpunkt-Setzeinheit 52 gesetzt wird (Schritt S23) .
Die 3DCG-Objektbilderzeugungseinheit 54 erzeugt das 3DCG-Objektbild O von dem virtuellen Standpunkt Vp aus betrachtet (Schritt S24).
Die Überlagerungsverhältnis-Berechnungseinheit 53 setzt die Überlagerungsverhältnisse r (r_ca, r_cb, r_V, r_3DCG) (Schritt S25) .
Die Bildkombiniereinheit 55 erzeugt das zusammengesetzte Bild L (Schritt S26).
Die Bildkombiniereinheit 55 gibt das zusammengesetzte Bild L an die Anzeigeeinheit 18 aus (Schritt S27).
Die Standpunkt-Setzeinheit 52 bestimmt, ob sich der virtuelle Standpunkt Vp zu der Endposition bewegt hat oder nicht (Schritt S28). Wenn bestimmt wird, dass sich der virtuelle Standpunkt Vp zu der Endposition bewegt hat (Schritt S28: Ja), beendet das Informationsverarbeitungssystem 10a die Verarbeitung von 10. Wenn dagegen nicht bestimmt wird, dass sich der virtuelle Standpunkt Vp zu der Endposition bewegt hat (Schritt S28: Nein), kehrt die Verarbeitung zu Schritt S21 zurück.
Man beachte, dass das oben beschriebene Betriebsbeispiel ein Beispiel für das Erzeugen des zusammengesetzten Bildes L, nachdem jeweils das volumetrische Video und das 3DCG-Objekt zu einem zweidimensionalen Bild zusammengestellt wurden, ist. Auch ist klar, dass das zusammengesetzte Bild L durch Kombinieren des volumetrischen Videos und des 3DCG-Objekts als 3D-Modelle und Projizieren der kombinierten 3D-Modelle in ein zweidimensionales Bild erzeugt werden kann.
Zum Beispiel können das 3D-Modell 90M des Subjekts 90 und das 3D-Modell 92 des 3DCG-Objekts dreidimensional auf der Basis der dreidimensionalen Positionsinformationen jedes der 3D-Modelle und der dreidimensionalen Positionsinformationen des virtuellen Standpunkts Vp kombiniert werden. Dann kann das zusammengesetzte Bild L durch Projizieren der kombinierten dreidimensionalen Informationen auf das von dem virtuellen Standpunkt Vp aus beobachtete zweidimensionale virtuelle Bild V erzeugt werden.
[1-7. Modifikation der ersten Ausführungsform]
Die durch die Überlagerungsverhältnis-Berechnungseinheit 53 gesetzten Überlagerungsverhältnisse r sind nicht auf das in 8 dargestellte Setzbeispiel beschränkt. Nachfolgend wird mit Bezug auf 11 ein anderes Setzbeispiel für die Überlagerungsverhältnisse r beschrieben. 11 ist ein Graph eines anderen Beispiels für das Setzen von Überlagerungsverhältnissen abhängig von der Position des virtuellen Standpunkts.
Die Überlagerungsverhältnisse r1 sind ein Setzbeispiel, in dem ein Paar des realen Bildes Ia und des virtuellen Bildes V und ein Paar des virtuellen Bildes V und des realen Bildes Ib jeweils unmittelbar zu einem vorbestimmten Zeitpunkt umgeschaltet werden. Das heißt, ein Überlagerungsverhältnis r_ca des realen Bildes Ia wird zu einem Zeitpunkt ta von 100% auf 0% umgeschaltet. Dann wird ein Überlagerungsverhältnis r_V des virtuellen Bildes V zu dem Zeitpunkt ta von 0% auf 100% umgeschaltet. Ferner wird ein Überlagerungsverhältnis r_cb des realen Bildes Ib zu einem Zeitpunkt tb von 0% auf 100% umgeschaltet. Dann wird das Überlagerungsverhältnis r_V des virtuellen Bildes v zum Zeitpunkt tb von 100% auf 0% umgeschaltet. Man beachte, dass, obwohl die in 11 dargestellten jeweiligen Signalformen, die die Überlagerungsverhältnisse r1 angeben, im strikten Sinne rechteckige Wellenformen aufweisen, sie mit starken Neigungen gezeichnet sind, um Verkomplizierung bei der Veranschaulichung zu vermeiden.
Auf diese Weise kann der Schnitt- (Umschalt-) Effekt durch unmittelbares Umschalten der zwei Bilder erhalten werden. Man beachte, dass die in 11 dargestellten Überlagerungsverhältnisse r1 so gesetzt sind, dass sie sich unmittelbar umschalten, gleichgültig, ob das 3DCG-Objektbild O dem Überlagerungsbild Ix1 auch für das 3DCG-Objektbild O überlagert werden soll oder nicht.
Die Überlagerungsverhältnisse r2 sind ein Beispiel für das Ändern des Überlagerungsverhältnisses r_ca des realen Bildes Ia und des Überlagerungsverhältnisses r_V des virtuellen Bildes V in einen Zustand, in dem das Überlagerungsverhältnis r_3DCG des 3DCG-Objektbildes O auf 100% (Maximalwert) gesetzt ist. Das heißt, zum Zeitpunkt tc, zu dem das Überlagerungsverhältnis r_3DCG des 3DCG-Objektbildes O auf 100% gesetzt ist, wird das Überlagerungsverhältnis r_ca des realen Bildes Ia allmählich von 100% aus vermindert. Ferner wird, nachdem das Überlagerungsverhältnis r_cb des realen Bildes Ib zum Zeitpunkt td allmählich auf 100% vergrößert wird, das Überlagerungsverhältnis r_3DCG des 3DCG-Objektbildes O allmählich von 100% aus vermindert.
Durch Setzen des Überlagerungsverhältnisses r2 auf diese Weise kann das Umschalten von dem realen Bild Ia auf das virtuelle Bild V und das Umschalten von dem virtuellen Bild V auf das reale Bild Ib unauffällig gemacht werden, wenn sich die Überlagerungsverhältnisse r2 des realen Bildes Ia, des virtuellen Bildes V und des realen Bildes Ib ändern. Dies erzeugt dann einen Effekt des Bewirkens, dass ein Betrachter des zusammengesetzten Bildes L erkennt, dass sich das virtuelle Bild V und die realen Bilder Ia und Ib im selben Raum befinden.
Die Überlagerungsverhältnisse r3 sind ein Setzbeispiel, in dem das Anstiegstiming des Überlagerungsverhältnisses r_V des virtuellen Bildes V von dem Abfalltiming des Überlagerungsverhältnisses r_ca des realen Bildes Ia verzögert wird und das Abfalltiming des Überlagerungsverhältnisses r_V früher als das Anstiegstiming des Überlagerungsverhältnisses r_cb des realen Bildes Ib erfolgt.
Speziell wird das Überlagerungsverhältnis r_ca des realen Bildes Ia vom Zeitpunkt te zum Zeitpunkt tf allmählich von 100% auf 0% vermindert, und dann wird das Überlagerungsverhältnis r_V des virtuellen Bildes V zum Zeitpunkt tf allmählich von 0% auf 100% vergrößert. Nachdem das Überlagerungsverhältnis r_V des virtuellen Bildes V zum Zeitpunkt tg allmählich auf 0% vermindert wird, wird dann das Überlagerungsverhältnis r_cb des realen Bildes Ib vom Zeitpunkt tg bis zum Zeitpunkt th allmählich von 0% auf 100% vergrößert. Man beachte, dass das Überlagerungsverhältnis r_3DCG des 3DCG-Objektbildes O zum Zeitpunkt te beginnt, von 0% aus zuzunehmen, und, nachdem das Überlagerungsverhältnis r_3DCG auf 100% gesetzt ist, zum Zeitpunkt th allmählich auf 0% vermindert wird.
Durch Setzen der Überlagerungsverhältnisse r3 auf diese Weise ist es möglich, einen Videoeffekt zu erhalten, bei dem das Subjekt 90 vorübergehend verschwindet und dann das virtuelle Bild V erscheint.
[1-8. Effekte der ersten Ausführungsform]
Wie oben beschrieben erzeugt in der Decodierungsvorrichtung 50a (Informationsverarbeitungssystem) der ersten Ausführungsform die Bildkombiniereinheit 55 (Bilderzeugungseinheit) das zusammengesetzte Bild L, in dem die realen Bilder Ia und Ib, die das Subjekt 90 (erstes Objekt) umfassen, das durch die realen Kameras 70 (erste Bildgebungsvorrichtungen) aufgenommen wird, das virtuelle Bild V (erste virtuelle Bild), das auf der Basis des dem Subjekt 90 und dem spezifischen virtuellen Standpunkt Vp (Standpunktinformationen) entsprechenden 3D-Modells 90M erzeugt wird, und das 3DCG-Objektbild O (zweite virtuelle Bild), das auf der Basis des 3D-Modells 92 erzeugt wird, das dem 3DCG-Objekt (zweiten Objekt), das von dem Subjekt 90 und dem virtuellen Standpunkt Vp verschieden ist, entspricht, mit den Überlagerungsverhältnisses r und r_3DCG (Zusammensetzungsverhältnisse) entsprechend den Standpunktinformationen kombiniert werden.
Als Ergebnis können die durch die realen Kameras 70 aufgenommenen realen Bilder Ia und Ib und das virtuelle Bild V nahtlos umgeschaltet werden.
Ferner erzeugt in der Decodierungsvorrichtung 50a (Informationsverarbeitungssystem) der ersten Ausführungsform die Bildkombiniereinheit 55 (Bilderzeugungseinheit) das zusammengesetzte Bild L mit dem Überlagerungsverhältnissen r (Zusammensetzungsverhältnissen) entsprechend der Distanz zwischen dem virtuellen Standpunkt Vp und der realen Kamera 70 (erste Bildgebungsvorrichtung).
Als Ergebnis ist es möglich, die Überlagerungsverhältnisse r (Zusammensetzungsverhältnisse) unter den realen Bildern Ia und Ib, die durch die realen Kameras 70a und 70b aufgenommen werden, und dem virtuellen Bild V durch simple arithmetische Verarbeitung zu setzen.
Ferner kombiniert in der Decodierungsvorrichtung 50a (Informationsverarbeitungssystem) der ersten Ausführungsform, falls die Distanz zwischen den realen Kameras 70 (ersten Bildgebungsvorrichtungen) und dem virtuellen Standpunkt Vp kleiner oder gleich einem vorbestimmten Wert ist, die Bildkombiniereinheit 55 (Bilderzeugungseinheit) das virtuelle Bild V mit einem niedrigeren Überlagerungsverhältnis r_V (Zusammensetzungsverhältnis) als in einem Fall, in dem die Distanz größer als der vorbestimmte Wert ist.
Als Ergebnis kann in der Umgebung der realen Kameras 70a und 70b durch Vergrößern des Beitrags der realen Bilder Ia und Ib in dem zusammengesetzten Bild L das zusammengesetzte Bild L einer höheren Qualität erhalten werden.
Ferner setzt in der Decodierungsvorrichtung 50a (Informationsverarbeitungssystem) der ersten Ausführungsform die Standpunkt-Setzeinheit 52 den virtuellen Standpunkt Vp, das heißt, Standpunktinformationen, chronologisch.
Als Ergebnis kann durch Bewegen des virtuellen Standpunkts Vp freie Standpunktbewegung implementiert werden.
Ferner umfassen in der Decodierungsvorrichtung 50a (Informationsverarbeitungssystem) der ersten Ausführungsform die Standpunktinformationen die Position des virtuellen Standpunkts Vp und die Beobachtungsrichtung an dem virtuellen Standpunkt Vp.
Als Ergebnis kann der virtuelle Standpunkt Vp bewegt werden, während das Subjekt 90 aufgenommen wird.
Ferner erzeugt in der Decodierungsvorrichtung 50a (Informationsverarbeitungssystem) der ersten Ausführungsform die Bildkombiniereinheit 55 (Bilderzeugungseinheit) das zusammengesetzte Bild L mit den Überlagerungsverhältnissen r (Zusammensetzungsverhältnissen) entsprechend der Bewegungsgeschwindigkeit des virtuellen Standpunkts Vp.
Als Ergebnis kann das Umschalten zwischen den realen Bildern Ia und Ib und dem virtuellen Bild V unauffällig gemacht werden.
Ferner erzeugt in der Detektionsvorrichtung 50a (Informationsverarbeitungssystem) der ersten Ausführungsform die Bildkombiniereinheit 55 (Bilderzeugungseinheit) das zusammengesetzte Bild L durch Verwendung des realen Bildes Ia (ersten realen Bildes) und des realen Bildes Ib (zweiten realen Bildes), die durch die zwei verschiedenen realen Kameras 70a (erste Bildgebungsvorrichtung) bzw. die reale Kamera 70b (erste Bildgebungsvorrichtung) aufgenommen werden, das virtuelle Bild V (erste virtuelle Bild), das durch Projizieren des 3D-Modells 90M des Subjekts 90 (ersten Objekts) auf dem virtuellen Standpunkt Vp an einer Position zwischen den zwei realen Kameras 70a und 70b erzeugt wird, und des 3DCG-Objektbildes O (zweiten virtuellen Bildes), das aus dem 3DCG-Objekt (zweiten Objekt) erzeugt wird.
Als Ergebnis können das durch die reale Kamera 70a aufgenommene reale Bild Ia, das durch die reale Kamera 70b aufgenommene reale Bild Ib und das virtuelle Bild V nahtlos umgeschaltet werden.
Ferner erzeugt in der Decodierungsvorrichtung 50a (Informationsverarbeitungssystem) der ersten Ausführungsform die Bildkombiniereinheit 55 (Bilderzeugungseinheit) das zusammengesetzte Bild L durch Umschalten der Überlagerungsverhältnisse r (Zusammensetzungsverhältnisse) zwischen dem minimalen Wert (0%) und dem maximalen Wert 100%) zu einem vorbestimmten Zeitpunkt.
Als Ergebnis können zwei Bilder unmittelbar umgeschaltet werden und somit kann ein Schnitt-(Umschalt-) Effekt erhalten werden.
Ferner erzeugt in der Decodierungsvorrichtung 50a (Informationsverarbeitungssystem) der ersten Ausführungsform die Bildkombiniereinheit 55 (Bilderzeugungseinheit) das zusammengesetzte Bild L durch Ändern der Überlagerungsverhältnisse r (Zusammensetzungsverhältnisse) der realen Bilder Ia und Ib und des virtuellen Bildes V in einen Zustand, in dem das Überlagerungsverhältnis r_3DCG (Zusammensetzungsverhältnis) des 3DCG-Objektbildes O (CG-Objekts) auf den Maximalwert (100%) gesetzt ist.
Als Ergebnis kann das Umschalten von dem realen Bild Ia auf das virtuelle Bild V und das Umschalten von dem virtuellen Bild V auf das reale Bild Ib unauffällig gemacht werden und somit ist es möglich, einen Effekt zu produzieren, zu bewirken, dass der Betrachter des zusammengesetzten Bildes L erkennt, dass sich das virtuelle Bild V und die realen Bilder Ia und Ib im selben Raum befinden.
Ferner erzeugt in der Decodierungsvorrichtung 50a (Informationsverarbeitungssystem) der ersten Ausführungsform die Bildkombiniereinheit 55 (Bilderzeugungseinheit) das zusammengesetzte Bild L durch Verzögern des Änderungstimings des Überlagerungsverhältnisses r_V des virtuellen Bildes V von dem Abfalltiming des Überlagerungsverhältnisses r_ca des realen Bildes Ia oder Vorrücken des Änderungstimings von dem Anstiegstiming des Überlagerungsverhältnisses r_cb des realen Bildes Ib.
Als Ergebnis ist es möglich, einen Videoeffekt zu erhalten, bei dem das Subjekt 90 einmal verschwindet und dann das virtuelle Bild V erscheint.
Ferner ist in der Decodierungsvorrichtung 50a (Informationsverarbeitungssystem) der ersten Ausführungsform das Überlagerungsverhältnis r_3DCG (Zusammensetzungsverhältnis) des 3DCG-Objektbildes O (CG-Objekt) die Transparenz, wenn ein Paar des realen Bildes Ia und des virtuellen Bildes V und des 3DCG-Objektbildes O überlagert werden oder wenn ein Paar des realen Bildes Ib und des virtuellen Bildes V und das 3DCG-Objektbild O überlagert werden.
Als Ergebnis kann das 3DCG-Objektbild O mit einer gewünschten Transparenz kombiniert werden, und somit kann der Umfang des Ausdrucks des zusammengesetzten L vergrößert werden.
Ferner umfasst in der Decodierungsvorrichtung 50a (Informationsverarbeitungssystem) der ersten Ausführungsform das 3DCG-Objektbild O (CG-Objekt) einen Videoeffekt mit 3D-Informationen.
Als Ergebnis ist es möglich, ein Gefühl der Unannehmlichkeit des Umschaltens zu verringern, indem ein Videoeffekt bereitgestellt wird, wenn die realen Bilder Ia und Ib und das virtuelle Bild V umgeschaltet werden.
Ferner umfasst in der Decodierungsvorrichtung 50a (Informationsverarbeitungssystem) der ersten Ausführungsform das 3DCG-Objektbild O (CG-Objekt) eine Figur.
Als Ergebnis kann eine Figur in dem zusammengesetzten Bild L überlagert werden, und somit kann der Umfang des Ausdrucks des zusammengesetzten Bildes L vergrößert werden.
Ferner ist in der Decodierungsvorrichtung 50a (Informationsverarbeitungssystem) der ersten Ausführungsform die Beobachtungsrichtung eine Richtung von dem virtuellen Standpunkt Vp in Richtung des Subjekts 90 (Objekts).
Als Ergebnis können die realen Bilder Ia und Ib und das virtuelle Bild V in einem Zustand umgeschaltet werden, in dem das Subjekt 90 immer aufgenommen wird.
Ferner erzeugt in der Decodierungsvorrichtung 50a (Informationsverarbeitungssystem) der ersten Ausführungsform die Bildkombiniereinheit 55 (Bilderzeugungseinheit) das zusammengesetzte Bild L, das durch Kombinieren der das Subjekt 90 (erste Objekt), das durch die realen Kameras 70 (ersten Bildgebungsvorrichtungen) aufgenommen wird, enthaltenden realen Bilder Ia und Ib, das dem Subjekt 90 entsprechenden 3D-Modells 90M und des 3D-Modells 92, das einem 3DCG-Objekt (zweiten Objekt) entspricht, das von dem Subjekt 90 verschieden ist, erhalten wird, mit Überlagerungsverhältnissen r und r_3DCG (Zusammensetzungsverhältnissen) entsprechend spezifischen Standpunktinformationen.
Als Ergebnis können die durch die realen Kameras 70 aufgenommenen realen Bilder Ia und Ib und das virtuelle Bild V nahtlos umgeschaltet werden.
(2. Ausführungsform)
Das in der ersten Ausführungsform beschriebene Informationsverarbeitungssystem 10a (siehe 1) ist nur unter Verwendung der realen Kameras 70 ausgestaltet, die zum Beispiel in einem Veranstaltungsort oder dergleichen als Bildgebungsvorrichtungen installiert sind. Deshalb sind Bildgebungspositionen begrenzt und somit sind die Bilder (realen Bilder Ia und Ib und das virtuelle Bild V), die das Subjekt 90 aufnehmen, gleichförmig. Ein Informationsverarbeitungssystem 10b (siehe 12) einer zweiten Ausführungsform erweitert den dramatischen Effekt weiter durch Hinzufügung von Varianten eines realen Bildes, das das Subjekt 90 aufnimmt, indem zum Beispiel zu der Konfiguration des Konfigurationsverarbeitungssystems 10a eine reale Kamera hinzugefügt wird, die in einem mobilen Endgerät enthalten ist, das von einem Publikum gehalten wird.
[2-1. Übersicht über das Informationsverarbeitungssystem]
Als Erstes wird mit Bezug auf 12 eine Übersicht über das Informationsverarbeitungssystem 10b beschrieben.
12 ist eine Darstellung einer Übersicht des Informationsverarbeitungssystems gemäß der zweiten Ausführungsform.
Das Informationsverarbeitungssystem 10b umfasst ferner zusätzlich zu den realen Kameras 70 (70a und 70b), die an einem Veranstaltungsort oder dergleichen zur Aufnahme des Subjekts 90 installiert sind, reale Kameras 76 (76a, 76b, ...), die jeweils in mehrere mobile Endgeräte 74 (74a, 74b, ...) eingebaut sind, die von Publikumsmitgliedern am Veranstaltungsort gehalten werden. Die reale Kamera 76a nimmt ein reales Bild Ic auf, das ein Subjekt 90 umfasst. In der Zwischenzeit nimmt die reale Kamera 76b ein reales Bild Id auf, dass das Subjekt 90 umfasst. Die realen Kameras 76 sind von den realen Kameras 70 (ersten Bildgebungsvorrichtungen), die oben beschrieben wurden, verschieden. Das heißt, die realen Bilder Ia und Ib, die durch die realen Kameras 70 aufgenommen werden, werden zur Erzeugung eines 3D-Modells 90M des Subjekts 90 verwendet, während die durch die realen Kameras 76 aufgenommenen realen Bilder Ic und Id nicht zur Erzeugung des 3D-Modells 90M des Subjekts 90 verwendet werden. Man beachte, dass die realen Kameras 76 (76a, 76b, ...) ein Beispiel für zweite Bildgebungsvorrichtungen in der Offenbarung sind.
Dann beschafft eine Standpunkt-Setzeinheit 52 (Standpunkt-Setzeinheit) des Informationsverarbeitungssystems 10b die aktuellen Positionen der realen Kameras 76 und setzt einen virtuellen Standpunkt Vp auf der Basis der Positionen der realen Kameras 70. Als Ergebnis setzt die Standpunkt-Setzeinheit 52 zum Beispiel eine Bewegungsroute zum Bewegen des virtuellen Standpunkts Vp zu der aktuellen Position einer realen Kamera 76.
Dann bewegt das Informationsverarbeitungssystem 10b allmählich den virtuellen Standpunkt Vp von der Position in der Umgebung einer realen Kamera 70 weg zu den Positionen der realen Kameras 76 (76a, 76b, ...), die in die von den Publikumsmitgliedern gehaltenen mobilen Endgeräten 74 (74a, 74b, ...) eingebaut sind.
An diesem Punkt erzeugt das Informationsverarbeitungssystem 10b während der Bewegung des virtuellen Standpunkts Vp das zusammengesetzte Bild L des virtuellen Bildes V (zweidimensionalen Bildes), das aus einem volumetrischen Video und einem realen Bild, das durch eine reale Kamera 76 an der Position des virtuellen Standpunkts Vp, der sich bewegt, aufgenommen wird, erzeugt wird. Dann zeigt das Informationsverarbeitungssystem 10b das erzeugte zusammengesetzte Bild L auf den von den Publikumsmitgliedern gehaltenen mobilen Endgeräten 74 an.
Man beachte, dass die realen Kameras 76 (76a, 76b, ...), die in die mobilen Endgeräte 74 (74a, 74b, ...) eingebaut sind, die von den Publikumsmitgliedern gehalten werden, nicht zur Erzeugung des 3D-Modells 90M des Subjekts 90 verwendet werden und somit wird das durch die realen Kameras 70 erzeugte als das 3D-Modell 90M des Subjekts 90 benutzt.
Als Ergebnis kann das Publikum, das das mobile Endgerät 74a oder 74b hält, erleben, wie das Video des Subjekts 90, das durch die realen Kameras 70 aufgenommen wird, mit der Zeit auf das reale Bild Ic oder Id umgeschaltet wird, das durch die reale Kamera 76a oder 76b ihres eigenen mobilen Endgeräts 74a bzw. 74b aufgenommen wird.
Man beachte, dass die realen Kameras 76 (76a, 76b, ...) nicht auf die in die mobilen Endgeräte 74 eingebauten Kameras beschränkt sind. Das heißt, die realen Kameras 76 (76a, 76b, ...) können eine feste Kamera oder eine tragbare Kamera sein, die weit von dem Subjekt 90 in dem Veranstaltungsort vorgesehen ist.
Die Bewegungsroute des virtuellen Standpunkts Vp kann wünschenswerterweise gesetzt werden, in dem in 12 dargestellten Beispiel wird der virtuelle Standpunkt Vp jedoch von der Position der realen Kamera 70a zum Zeitpunkt t0 zu der Position der realen Kamera 70b zum Zeitpunkt t6 bewegt und dann zum Zeitpunkt t10 zu der Position der realen Kamera 76a bewegt (Bewegungsroute 88b). Auf diese Weise setzt das Informationsverarbeitungssystem 10b für die mehreren mobilen Endgerät 74 (74a, 74b, ...) eine Bewegungsroute des virtuellen Standpunkts Vp auf der Basis der Position des mobilen Endgeräts 74 (74a, 74b, ...).
[2-2. Funktionskonfiguration des Informationsverarbeitungssystems]
Das Informationsverarbeitungssystem 10b umfasst die in der ersten Ausführungsform beschriebene Codierungsvorrichtung 40a und eine Decodierungsvorrichtung 50b (nicht dargestellt) anstelle der Decodierungsvorrichtung 50a. Das Informationsverarbeitungssystem 10b umfasst ferner die oben beschriebenen mobilen Endgeräte 74 (74a, 74b, ...). Man beachte, dass die Decodierungsvorrichtung 50b ein Beispiel für eine Informationsverarbeitungssystem in der Offenbarung ist.
Die Decodierungsvorrichtung 50b ist insofern von der Decodierungsvorrichtung 50a verschieden, als sie eine Funktion des Empfangens von Bildern, die durch die in die mobilen Endgeräte 74 eingebauten realen Kamers 76 aufgenommen werden, eine Funktion des Empfangens der aktuellen Positionen der mobilen Endgeräte 74 und eine Funktion des Sendens des zusammengesetzten Bildes L zu den mobilen Endgeräten 74 aufweist. Dementsprechend umfasst die Decodierungsvorrichtung 50b eine (nicht dargestellte) Wiedergabeeinheit 17b anstelle der Wiedergabeeinheit 17a. Die Wiedergabeeinheit 17b besitzt im Gegensatz zu der Wiedergabeeinheit 17a eine Funktion des Empfangens der durch die realen Kameras 76 aufgenommenen Bilder, eine Funktion des Empfangens der aktuellen Positionen der mobilen Endgerät 74 und eine Funktion des Sendens des zusammengesetzten Bildes L zu den mobilen Endgeräten 74. Man beachte, dass die Funktionsblockkonfiguration der Wiedergabeeinheit 17b die gleiche wie die Funktionsblockkonfiguration der Wiedergabeeinheit 17a ist und somit ihre Darstellung weggelassen wird und die Funktionsblöcke unter Verwendung derselben Symbole wie in 5 beschrieben werden. Das heißt, eine Bildkombiniereinheit 55 und eine Virtuelles-Bild-Erzeugungseinheit 51 empfangen die durch die realen Kameras 76 aufgenommenen Bilder. Ferner empfängt eine Überlagerungsverhältnis-Berechnungseinheit 53 die aktuellen Positionen der mobilen Endgeräte 74. Außerdem sendet die Bildkombiniereinheit 55 das zusammengesetzte Bild L zu den mobilen Endgeräten 74.
Ein mobiles Endgerät 74 weist die in 13 dargestellte Funktionskonfiguration auf. 13 ist eine Funktionsblockdarstellung eines Beispiels für die Funktionskonfiguration eines mobilen Endgeräts.
Ein mobiles Endgerät 74 (74a, 74b, ...) umfasst eine Betriebssteuereinheit 74, die eine Computerkonfiguration aufweist. Die Betriebssteuereinheit 75 umfasst eine Bildgebungssteuereinheit 80, eine Positionsbestimmungseinheit 81, eine Anwendungssteuereinheit 82, eine Anzeigesteuereinheit 83, eine Betriebssteuereinheit 84 und eine Kommunikationssteuereinheit 85.
Die Bildgebungssteuereinheit 81 steuert die Bildgebungsoperation einer realen Kamer 76 (76a, 76b, ...), die in dem mobilen Endgerät 74 (74a, 74b, ...) enthalten ist.
Die Positionsbestimmungseinheit 81 detektiert die aktuelle Position des mobilen Endgeräts 74 (74a, 74b, ...) zum Beispiel durch einen in dem mobilen Endgerät 74 (74a, 74b, ...) enthaltenen GPS-Empfänger 77. Man beachte, dass die Positionsbestimmungseinheit 81 die aktuelle Position des mobilen Endgeräts 74 (74a, 74b, ...) durch eine andere Funktion als den GPS-Empfänger 77 detektieren kann, zum Beispiel WiFi- (eingetragenes Warenzeichen) Positionsbestimmung, Bluetooth-(eingetragenes Warenzeichen) Positionsbestimmung oder dergleichen. Ferner kann die Positionsbestimmungseinheit 81 die Position und die Orientierung des mobilen Endgeräts 74 (74a, 74b, ...) auf der Basis eines Bildes einer am Veranstaltungsort installierten Markierung detektieren, die durch die reale Kamera 76 (76a, 76b, ...) aufgenommen wurde.
Die Anwendungssteuereinheit 82 steuert den Betrieb einer Videoanzeigeanwendung, die auf dem mobilen Endgerät 74 (74a, 74b, ...) operiert.
Die Anzeigesteuereinheit 83 steuert einen Anzeigezustand einer in dem mobilen Endgerät 74 (74a, 74b, ...) enthaltenen Anzeige 78.
Die Betriebssteuereinheit 84 empfängt ein Betätigungssignal einer Betätigungsvorrichtung, wie etwa eines in dem mobilen Endgerät 74 (74a, 74b, ...) enthaltenen Touchpanel 79, und erkennt Betätigungsinhalt.
Die Kommunikationssteuereinheit 85 steuert einen Kommunikationszustand zwischen dem mobilen Endgerät 74 (74a, 74b, ...) und der Decodierungsvorrichtung 50b.
[2-3. Funktionsweise der zweiten Ausführungsform]
Als Nächstes wird die Funktionsweise des Informationsverarbeitungssystems 10b gemäß der zweiten Ausführungsform mit Bezug auf 14 beschrieben. 14 umfasst Graphen von Beispielen für das Setzen von Überlagerungsverhältnissen abhängig von der Position eines virtuellen Standpunkts in der zweiten Ausführungsform. Man beachte, fass zur Vereinfachung der Beschreibung in 14 nur die Überlagerungsverhältnisse zwischen den realen Bildern Ia, Ib, Ic und Id und einem virtuellen Bild V dargestellt sind und ein Überlagerungsverhältnis eines 3DCG-Objektbildes O weggelassen ist.
Falls die Standpunkt-Setzeinheit 52 Setzen zum Bewegen des virtuellen Standpunkts Vp entlang der Bewegungsroute 88b durchführt, die Überlagerungsverhältnis-Berechnungseinheit 53 die in 14 dargestellten Überlagerungsverhältnisse r4 setzt.
Die Überlagerungsverhältnis-Berechnungseinheit 53 setzt ein Überlagerungsverhältnis r_ca des realen Bildes Ia, das auf 100% gesetzt ist, um so allmählich vom Zeitpunkt t1 (Position der virtuellen Kamera 72a) an auf 0% zu vermindern, bevor der Zeitpunkt t3 (Position der virtuellen Kamera 72c) erreicht ist. Dann wird r_ca = 0% aufrechterhalten, bis der Zeitpunkt t10 (Position der realen Kamera 76a) erreicht ist.
Ferner setzt die Überlagerungsverhältnis-Berechnungseinheit 53 ein Überlagerungsverhältnis r_V1 des virtuellen Bildes V, das auf 0% gesetzt ist, um so von etwa dem Zeitpunkt t1 (Position der virtuellen Kamera 72a) an allmählich zuzunehmen und 100% zu erreichen, bevor der Zeitpunkt t3 (Position der virtuellen Kamera 72c) erreicht ist. Dann führt die Überlagerungsverhältnis-Berechnungseinheit 53 Setzen durch, um das Überlagerungsverhältnis r_V1 des virtuellen Bildes V von dem Zeitpunkt t4 (Position einer virtuellen Kamera 72d) bis zu dem Zeitpunkt t5 (Position einer virtuellen Kamera 72e) auf 0% zu vermindern. Man beachte, dass das Überlagerungsverhältnis r_V1 ein Überlagerungsverhältnis des virtuellen Bildes V ist, das auf der Basis des durch die reale Kamera 70a aufgenommenen realen Bildes Ia und des durch die reale Kamera 70b aufgenommenen realen Bildes Ib ist.
Ferner setzt die Überlagerungsverhältnis-Berechnungseinheit 53 ein Überlagerungsverhältnis r_cb des realen Bildes Ib, das auf 0% gesetzt ist, um sich allmählich von etwa dem Zeitpunkt t4 (Position der virtuellen Kamera 72d) an zu vergrößern, um zum Zeitpunkt t5 (Position der virtuellen Kamera 72e) 100% zu erreichen. Dann vermindert die Überlagerungsverhältnis-Berechnungseinheit 53 allmählich das Überlagerungsverhältnis r_cb des realen Bildes Ib von dem Zeitpunkt t7 (Position der virtuellen Kamera 72f) an und setzt das Überlagerungsverhältnis r_cb auf 0%, bevor der Zeitpunkt t8 (Position einer virtuellen Kamera 72g) erreicht ist.
Ferner setzt die Überlagerungsverhältnis-Berechnungseinheit 53 ein Überlagerungsverhältnis r_v2 des virtuellen Bildes V, das auf 0% gesetzt ist, um so allmählich von etwa dem Zeitpunkt t7 (Position der virtuellen Kamera 72f) an zuzunehmen und 100% zu erreichen, bevor der Zeitpunkt t8 (Position der virtuellen Kamera 72g) erreicht ist. Dann führt die Überlagerungsverhältnis-Berechnungseinheit 53 Setzen durch, um das Überlagerungsverhältnis r_v2 des virtuellen Bildes V allmählich von dem Zeitpunkt t9 (Position einer virtuellen Kamera 72h) bis zum Zeitpunkt t10 (Position der realen Kamera 76a) auf 0% zu vermindern. Man beachte, dass das Überlagerungsverhältnis r_v2 ein Überlagerungsverhältnis des virtuellen Bildes V ist, das auf der Basis des durch die reale Kamera 70b aufgenommenen realen Bildes Ib und des durch die reale Kamera 76a aufgenommenen realen Bildes Ic erzeugt wird.
Ferner setzt die Überlagerungsverhältnis-Berechnungseinheit 53 ein Überlagerungsverhältnis r_cc des realen Bildes Ic, das auf 0% gesetzt ist, um allmählich von etwa dem Zeitpunkt t9 (Position der virtuellen Kamera 72h) an zuzunehmen, um zum Zeitpunkt t10 (Position der realen Kamera 76a) 100% zu erreichen.
Man beachte, dass das Überlagerungsverhältnis r_v2 in der Umgebung der realen Kamera 26a zum Beispiel von Zeitpunkt t9 bis zum Zeitpunkt t10 allmählich vermindert (variiert) wird. Der Grund dafür ist, dass das durch die reale Kamera 76a, das heißt, die zweite Bildgebungsvorrichtung, aufgenommene reale Bild Ic niedrigere Genauigkeit der Kalibration und Synchronisation als die der durch die realen Kameras 70 (70a und 70b), das heißt, die ersten Bildgebungsvorrichtungen, aufgenommenen realen Bilder Ia und Ib aufweist. Das heißt, da eine Möglichkeit besteht, dass eine Positionsabweichung des Subjekts 90 auftritt, wenn das virtuelle Bild V auf das reale Bild Ic umgeschaltet wird, wird Obiges durchgeführt, damit die Positionsabweichung unauffällig wird.
Falls die Standpunkt-Setzeinheit 52 Setzen zum Bewegen des virtuellen Standpunkts Vp entlang der Bewegungsroute 88c durchführt, setzt ferner die Überlagerungsverhältnis-Berechnungseinheit 53 in 14 dargestellte Überlagerungsverhältnisse r5.
Die Überlagerungsverhältnis-Berechnungseinheit 53 setzt ein Überlagerungsverhältnis r_ca des realen Bildes Ia, das auf 100% gesetzt ist, um so vom Zeitpunkt t1 (Position der virtuellen Kamera 72a) an allmählich auf 0% zu vermindern, bevor die Zeit t3 (Position der virtuellen Kamera 72c) erreicht ist. Dann wird r_ca = 0% aufrechterhalten, bis die Zeit t10 (Position der realen Kamera 76a) erreicht ist.
Ferner setzt die Überlagerungsverhältnis-Berechnungseinheit 53 das Überlagerungsverhältnis r_v1 des virtuellen Bildes V, das auf 0% gesetzt ist, um von etwa dem Zeitpunkt t1 (Position der virtuellen Kamera 72a) an allmählich zu vermindern und zwischen dem Zeitpunkt t2 (Position einer virtuellen Kamera 72b) und dem Zeitpunkt t3 (Position der virtuellen Kamera 72c) 100% zu erreichen. Dann führt die Überlagerungsverhältnis-Berechnungseinheit 53 Setzen durch, um das Überlagerungsverhältnis r_v1 des virtuellen Bildes V zwischen dem Zeitpunkt t3 (Position der virtuellen Kamera 72c) und dem Zeitpunkt t11 (Position der virtuellen Kamera 72i) allmählich auf 0% zu vermindern. Man beachte, dass das Überlagerungsverhältnis r_v1 ein Überlagerungsverhältnis des virtuellen Bildes V ist, das auf der Basis des durch die reale Kamera 70a aufgenommenen realen Bildes Ia und des durch die reale Kamera 70b aufgenommenen realen Bildes Ib erzeugt wird.
Ferner setzt die Überlagerungsverhältnis-Berechnungseinheit 53 ein Überlagerungsverhältnis r_v2 des virtuellen Bildes V, das auf 0% gesetzt ist, um so von etwa dem Zeitpunkt t3 (Position der virtuellen Kamera 72c) an allmählich zu vermindern und 100% zu erreichen, bevor der Zeitpunkt t11 (Position der virtuellen Kamera 72i) erreicht ist. Dann führt die Überlagerungsverhältnis-Berechnungseinheit 53 Setzen durch, um das Überlagerungsverhältnis r_v2 vom Zeitpunkt t13 (Position einer virtuellen Kamera 72k) bis zum Zeitpunkt t14 (Position der realen Kamera 76b) allmählich auf 0% zu vermindern. Man beachte, dass das Überlagerungsverhältnis r_v2 ein Überlagerungsverhältnis des virtuellen Bildes V ist, das auf der Basis des zum Zeitpunkt t3 (Position der virtuellen Kamera 72c) erzeugten virtuellen Bildes V und des durch die reale Kamera 76b aufgenommenen realen Bildes Id erzeugt wird.
Ferner setzt die Überlagerungsverhältnis-Berechnungseinheit 53 ein Überlagerungsverhältnis r_cd des realen Bildes Id, das auf 0% gesetzt ist, um von etwa dem Zeitpunkt t13 (Position der virtuellen Kamera 72k) an allmählich zu vergrößern, um zum Zeitpunkt t14 (Position der realen Kamera 76b) 100% zu erreichen.
Man beachte, dass das Überlagerungsverhältnis r_v2 in der Umgebung der realen Kamera 76b zum Beispiel vom Zeitpunkt t13 zum Zeitpunkt t14 allmählich vermindert (variiert) wird. Der Grund dafür ist, dass das durch die reale Kamera 76b, das heißt, die zweite Bildgebungsvorrichtung, aufgenommene reale Bild Id niedrigere Genauigkeit von Kalibration und Synchronisation aufweist als die der durch die realen Kameras 70 (70a und 70b), das heißt, die ersten Bildgebungsvorrichtungen, aufgenommenen realen Bilder Ia und Ib. Das heißt, da eine Möglichkeit besteht, dass eine Positionsabweichung des Subjekts 90 auftritt, wenn das virtuelle Bild V auf das reale Bild Id umgeschaltet wird, wird das Obige durchgeführt, damit die Positionsabweichung unauffällig wird.
Ferner kann die Überlagerungsverhältnis-Berechnungseinheit 53 die Überlagerungsverhältnisse r_cc und r_cd (Zusammensetzungsverhältnisse) der realen Bilder Ic und Id entsprechend der Distanz zwischen dem virtuellen Standpunkt Vp und den realen Kameras 76 (76a und 76b) setzen. Zum Beispiel können die Überlagerungsverhältnisse r_cc und r_cd der durch die realen Kameras 76 aufgenommenen realen Bilder Ic und Id, wenn sich der virtuelle Standpunkt Vp den realen Kameras 76 (76a und 76b) um eine Distanz nähert, die kürzer als eine vorbestimmte Distanz ist, höher als die Überlagerungsverhältnisse r_cc und r_cd der durch die realen Kameras 76 aufgenommenen realen Bilder Ic und Id, wenn der virtuelle Standpunkt Vp um eine Distanz von mehr als der vorbestimmten Distanz von den realen Kameras 76 getrennt ist, gesetzt werden.
Ferner kann die Überlagerungsverhältnis-Berechnungseinheit 53 gleichzeitig nicht nur die Überlagerungsverhältnisse r der Bilder steuern, sondern auch die Farbdichte jedes der Bilder, den Grad der Unschärfe jedes der Bilder oder dergleichen.
[2-4. Verarbeitungsfluss der zweiten Ausführungsform]
Als Nächstes wird mit Bezug auf 15 ein durch das Informationsverarbeitungssystem 10b ausgeführter Verarbeitungsfluss beschrieben. 15 ist ein Flussdiagramm eines Beispiels für einen Verarbeitungsfluss, der durch das Informationsverarbeitungssystem gemäß der zweiten Ausführungsform ausgeführt wird. Man beachte, dass als ein Beispiel die Funktionsweise in einem Zustand beschrieben wird, in dem die in 12 dargestellte Bewegungsroute 88b gesetzt wird.
Als Erstes wird ein durch die (nicht dargestellte) Wiedergabeeinheit 17b ausgeführter Verarbeitungsfluss beschrieben. Nachdem das Informationsverarbeitungssystem 10b eine Anwendung zum Betreiben der zweiten Ausführungsform aktiviert, bestimmt die Wiedergabeeinheit 17b, ob die Positionsinformationen des mobilen Endgeräts 74a empfangen wurden (Schritt S31). Wenn bestimmt wird, dass die Positionsinformationen des mobilen Endgeräts 74a empfangen wurden (Schritt S31: Ja), schreitet die Verarbeitung zu Schritt S32. Wenn dagegen nicht bestimmt wird, dass die Positionsinformationen des mobilen Endgeräts 74a empfangen werden (Schritt S31: Nein), wird die Bestimmung in Schritt S31 wiederholt.
Wenn in Schritt S31 Ja bestimmt wird, setzt die Standpunkt-Setzeinheit 52 den virtuellen Standpunkt Vp für jede Zeit (Schritt S32).
Die Bildkombiniereinheit 55 beschafft das durch die reale Kamera 70a aufgenommene reale Bild Ia, das durch die reale Kamera 70b aufgenommene reale Bild Ib und das durch das mobile Endgerät 74a (reale Kamera 76a) aufgenommene reale Bild Ic (Schritt S33).
Die Virtuelles-Bild-Erzeugungseinheit 51 erzeugt das virtuelle Bild V auf der Basis des durch die reale Kamera 70a aufgenommenen realen Bildes Ia, des durch die reale Kamera 70b aufgenommenen realen Bildes Ib, des durch die 3D-Modellerzeugungseinheit 12 erzeugten 3D-Modells 90M (Forminformationen und Texturinformationen) des Subjekts 90 und der durch die Standpunkt-Setzeinheit 52 gesetzten Position des virtuellen Standpunkts Vp. Ferner erzeugt die Virtuelles-Bild-Erzeugungseinheit 51 das virtuelle Bild V auf der Basis des durch die reale Kamera 70b aufgenommenen realen Bildes Ib, des durch die reale Kamera 70b aufgenommenen realen Bildes Ib, des durch das mobile Endgerät 74a (reale Kamera 76a) aufgenommenen realen Bildes Ic, des durch die 3D-Modellerzeugungseinheit 12 erzeugten 3D-Modells 90M (Forminformationen und Texturinformationen) des Subjekts 90 und der durch die Standpunkt-Setzeinheit 52 gesetzten Position des virtuellen Standpunkts Vp (Schritt S34).
Die Überlagerungsverhältnis-Berechnungseinheit 53 setzt Überlagerungsverhältnisse r (r_ca, r_cb, r_v1, r_v2) (Schritt S35).
Die Bildkombiniereinheit 55 erzeugt das zusammengesetzte Bild L (Schritt S36).
Die Bildkombiniereinheit 55 sendet das zusammengesetzte Bild L und die Position des virtuellen Standpunkts Vp zu dem mobilen Endgerät 74a (Schritt S37).
Die Wiedergabeeinheit 17b bestimmt, ob sich der virtuelle Standpunkt Vp zu der Position des mobilen Endgeräts 74a bewegt hat oder nicht (Schritt S38). Wenn bestimmt wird, dass sich der virtuelle Standpunkt Vp zu der Position des mobilen Endgeräts 74a bewegt hat (Schritt S38: Ja), beendet die Wiedergabeeinheit 17b die Verarbeitung von 15. Wenn dagegen nicht bestimmt wird, dass sich der virtuelle Standpunkt Vp zu der Position des mobilen Endgeräts 74a bewegt hat (Schritt S38: Nein), kehrt die Verarbeitung zu Schritt S33 zurück.
Als Nächstes wird ein durch das mobile Endgerät 74a ausgeführter Verarbeitungsfluss beschrieben. Auf der Basis des durch die Betriebssteuereinheit 84 detektierten Betätigungssignals bestimmt die Anwendungssteuereinheit 82, ob die Anwendung zum Betreiben der zweiten Ausführungsform aktiviert ist oder nicht (Schritt S41). Wenn bestimmt wird, dass die Anwendung aktiviert ist (Schritt S41: Ja), schreitet die Verarbeitung zu Schritt S42. Wenn dagegen nicht bestimmt wird, dass die Anwendung aktiviert ist (Schritt S41: Nein), wird die Bestimmung in Schritt S41 wiederholt.
Wenn in Schritt S41 als Ja bestimmt wird, sendet die Kommunikationssteuereinheit 85 die durch die Positionsbestimmungseinheit 81 berechnete aktuelle Position des mobilen Endgeräts 74a zu der Wiedergabeeinheit 17b (Schritt S42).
Die Kommunikationssteuereinheit 85 sendet das reale Bild Ic, dessen Aufnahme durch die reale Kamera 76a die Bildgebungssteuereinheit 80 bewirkt hat, zu der Wiedergabeeinheit 17b (Schritt S43).
Die Kommunikationssteuereinheit 84 empfängt das zusammengesetzte Bild L und die Position des virtuellen Standpunkts Vp von der Wiedergabeeinheit 17b (Schritt S44) .
Die Anzeigesteuereinheit 83 zeigt das zusammengesetzte Bild L auf der Anzeige 78 an (Schritt S45) .
Die Anwendungssteuereinheit 82 bestimmt, ob der virtuelle Standpunkt Vp und die Position des mobilen Endgeräts 74a übereinstimmen oder nicht (Schritt S46) .
Wenn bestimmt wird, dass der virtuelle Standpunkt Vp und die Position des mobilen Endgeräts 74a übereinstimmen (Schritt S46: Ja), beendet die Wiedergabeeinheit 17b die Verarbeitung von 15. Wenn dagegen nicht bestimmt wird, dass der virtuelle Standpunkt Vp und die Position des mobilen Endgeräts 74a übereinstimmen (Schritt S46: Nein), kehrt die Verarbeitung zu Schritt S43 zurück).
Man beachte, dass in 15 beschrieben wurde, dass die Anwendung auf der Seite des mobilen Endgeräts 74a gestartet wird, dass Bild kann jedoch von der Seite der Decodierungsvorrichtung 50b zu dem mobilen Endgerät 74 eines Kunden als Aufführung in einer bestimmten Szene gesendet werden.
[2-5. Effekte der zweiten Ausführungsform]
Wie oben beschrieben, setzt in der Decodierungsvorrichtung 50b (Informationsverarbeitungsvorrichtung) der zweiten Ausführungsform die Standpunkt-Setzeinheit 52 die Position des virtuellen Standpunkts Vp auf der Basis der Positionen der realen Kameras 76 (76a und 76b) (zweiten Bildgebungsvorrichtungen), die von den mehreren realen Kameras 70 (ersten Bildgebungsvorrichtungen) verschieden sind, die zur Erzeugung des 3D-Modells 90M des Subjekts 90 (Objekts) verwendet werden.
Da die durch die realen Kameras 76 (76a und 76b) (zweiten Bildgebungsvorrichtungen) aufgenommenen realen Bilder Ic und Id, die nicht zur Erzeugung des 3D-Modells 90M des Subjekts 90 verwendet werden, als die Materialien des zusammengesetzten Bildes L verwendet werden können, kann als Ergebnis der Umfang des Ausdrucks des zusammengesetzten Bildes L vergrößert werden.
Ferner setzt in der Decodierungsvorrichtung 50b (Informationsverarbeitungsvorrichtung) der zweiten Ausführungsform die Bildkombiniereinheit 55 (Bilderzeugungseinheit) die Überlagerungsverhältnisse r_cc und r_cd durch die realen Kameras 76 aufgenommenen realen Bilder Ic und Id, wenn sich der virtuelle Standpunkt Vp den realen Kameras 76 (76a und 76b) (zweiten Bildgebungsvorrichtungen) um eine Distanz von weniger als einer vorbestimmten Distanz nähert, höher als die Überlagerungsverhältnisse r_cc und r_cd (Zusammensetzungsverhältnisse) der durch die realen Kameras 76 aufgenommenen realen Bilder Ic und Id, wenn der virtuelle Standpunkt Vp um eine Distanz von mehr als der vorbestimmten Distanz von den realen Kameras 76 getrennt ist.
Während sich der virtuelle Standpunkt Vp den realen Kameras 76 (76a und 76b) nähert, werden als Ergebnis die Überlagerungsverhältnisse r_cc und r_cd der realen Bilder Ic und Id hoch gesetzt, und somit kann das Umschalten von dem virtuellen Bild V auf die realen Bilder Ic und Id unauffällig gemacht werden.
Ferner variiert in der Decodierungsvorrichtung 50b (Informationsverarbeitungsvorrichtung) der zweiten Ausführungsform, wenn sich die Position des virtuellen Standpunkts Vp den realen Kameras 76 (76a und 76b) (zweiten Bildgebungsvorrichtungen) nähert, die Bildkombiniereinheit 55 (Bilderzeugungseinheit) die Überlagerungsverhältnisse r_cc und r_cd (Zusammensetzungsverhältnisse) der durch die realen Kameras 76 (76a und 76b) aufgenommenen realen Bilder Ic und Id sanfter als die Überlagerungsverhältnisse r_ca und r_cb (Zusammensetzungsverhältnisse) der durch die realen Kameras 70 (70a und 70b) aufgenommenen realen Bilder Ia und Ib variieren, wenn sich die Position des virtuellen Standpunkts Vp den realen Kameras 70 (70a und 70b) (ersten Bildgebungsvorrichtungen) nähert.
Als Ergebnis kann Umschalten von dem virtuellen Bild V auf die realen Bilder Ic und Id unauffällig gemacht werden, falls die durch die realen Kameras 76 (76a und 76b) mit schlechter Kalibrations- oder Synchronisationsgenauigkeit aufgenommenen realen Bilder Ic und Id verwendet werden.
Ferner ist in der Decodierungsvorrichtung 50b (Informationsverarbeitungsvorrichtung) der zweiten Ausführungsform die zweite Bildgebungsvorrichtung in den mobilen Endgeräten 74 (74a und 74b) enthalten.
Als Ergebnis können die durch die realen Kameras 76 (76a und 76b) (zweiten Bildgebungsvorrichtungen), die in den mobilen Endgeräten 74 (74a und 74b) enthalten sind, aufgenommenen realen Bilder Ic und Id zu der Decodierungsvorrichtung 50b (Informationsverarbeitungsvorrichtung) gesendet werden, und Kunden, die die mobilen Endgeräte 74 (74a und 74b) halten, können das von der Decodierungsvorrichtung 50b (Informationsverarbeitungsvorrichtung) gesendete zusammengesetzten Bild L betrachten. Das heißt, es können bidirektionale Dienste zwischen der Decodierungsvorrichtung 50b (Informationsverarbeitungsvorrichtung) und den mobilen Endgeräten 74 (74a und 74b) implementiert werden.
(3. Anwendungsbeispiele der vorliegenden Offenbarung)
[3-1. Produktion von Inhalt]
Zum Beispiel können das durch die 3D-Modellerzeugungseinheit 12 erzeugte 3D-Modell 90M des Subjekts 90 und ein durch einen anderen Server verwaltetes 3D-Modell kombiniert werden, um Videoinhalt zu produzieren. Ferner ist es zum Beispiel, falls es durch eine Bildgebungsvorrichtung wie Lidar beschaffte Hintergrunddaten gibt, durch Kombinieren des 3D-Modells 90M des Subjekts 90, das durch die 3D-Modellerzeugungseinheit 12 erzeugt wird, und der Hintergrunddaten möglich, Inhalt zu erzeugen, bei dem es so ist, als befände sich das Subjekt 90 an einem durch die Hintergrunddaten angegebenen Ort. Man beachte, dass der Videoinhalt dreidimensionaler Videoinhalt oder zweidimensionaler Videoinhalt, der in zwei Dimensionen umgesetzt wird, sein kann. Das in der vorliegenden Ausführungsform erzeugte 3D-Modell 90 des Subjekts 90 ist zum Beispiel ein durch die 3D-Modellerzeugungseinheit 12 erzeugtes 3D-Modell, ein durch die Wiedergabeeinheit 17a oder 17b rekonstruiertes 3D-Modell oder dergleichen.
[3-2. Erlebnis im virtuellen Raum]
Zum Beispiel kann das in der vorliegenden Ausführungsform erzeugte Subjekt 90 in einem virtuellen Raum angeordnet werden, der ein Ort ist, an dem ein Benutzer als Avatar kommuniziert. In diesem Fall wird der Benutzer ein Avatar und kann das Live-Action-Subjekt 90 im virtuellen Raum sehen.
[3-3. Anwendung auf Kommunikation mit einem entfernten Ort]
Zum Beispiel kann durch Senden des durch die 3d-Modellerzeugungseinheit 12 erzeugten 3D-Modells 90M des Subjekts 90 von der Sendeeinheit 14 zu einem entfernten Ort ein Benutzer an dem entfernten Ort das 3D-Modell 90M des Subjekts 90 mittels einer Wiedergabevorrichtung an dem entfernten Ort betrachten. Zum Beispiel können durch Senden des 3D-Modells 90M des Subjekts 90 in Echtzeit das Subjekt 90 und der Benutzer an dem entfernten Ort in Echtzeit miteinander kommunizieren. Zum Beispiel sind ein Fall, bei dem das Subjekt 90 ein Lehrer ist und der Benutzer ein Schüler ist, oder ein Fall, bei dem das Subjekt 90 ein Arzt und der Benutzer ein Patient ist, und andere Fälle denkbar.
[3-4. Weiteres]
Zum Beispiel ist es auch möglich, ein Frei-Standpunkt-Video von Sport oder dergleichen auf der Basis von durch die 3D-Modellerzeugungseinheit 12 erzeugten 3D-Modellen 90M mehrerer Subjekte 90 zu erzeugen. Ferner kann ein Individuum die durch die 3D-Modellerzeugungseinheit 12 erzeugte Person selbst an eine Verteilungsplattform verteilen. Wie oben beschrieben, können die Inhalte in den Ausführungsformen, die hier beschrieben werden, auf verschiedene Arten von Technologie und Diensten angewandt werden.
Obwohl die vorliegende Offenbarung unter Verwendung einiger Ausführungsformen beschrieben wurde, können diese Ausführungsformen in einer gewünschten Vorrichtung ausgeführt werden. In diesem Fall reicht es auch, dass die Vorrichtung notwendige Funktionsblöcke aufweist und notwendige Informationen erhalten kann.
Ferner können zum Beispiel Schritte eines Flussdiagramms durch eine Vorrichtung ausgeführt oder durch mehrere Vorrichtungen geteilt ausgeführt werden. Außerdem können, falls mehrere Schritte der Verarbeitung in einem Schritt enthalten sind, die mehreren Schritte der Verarbeitung durch eine Vorrichtung ausgeführt oder durch mehrere Vorrichtungen geteilt und ausgeführt werden. Anders ausgedrückt, können mehrere in einem Schritt enthaltene Verarbeitungsschritte auch als Verarbeitung mehrerer Schritte ausgeführt werden. Umgekehrt kann Verarbeitung, die als mehrere Schritte beschrieben wurde, zusammen als ein Schritt ausgeführt werden.
Ferner kann zum Beispiel in einem durch einen Computer ausgeführten Programm Verarbeitung von in dem Programm beschriebenen Schritten in Zeitreihe in der vorliegenden Beschreibung beschriebenen Reihenfolge oder parallel oder einzeln mit notwendigem Timing ausgeführt werden, wie etwa wenn ein Aufruf erfolgt. Das heißt, solange kein Widerspruch besteht, kann Verarbeitung von Schritten in einer Reihenfolge ausgeführt werden, die von der oben beschriebenen Reihenfolge verschieden ist. Ferner kann die Verarbeitung von das Programm beschreibenden Schritten parallel mit Verarbeitung eines anderen Programms oder in Kombination mit Verarbeitung eines anderen Programms ausgeführt werden.
Ferner können zum Beispiel mehrere Elemente von Technologie in Bezug auf die vorliegende Technologie getrennt und unabhängig implementiert werden, solange kein Widerspruch besteht. Es ist auch klar, dass mehrere beliebige Elemente der vorliegenden Technologie angewandt und implementiert werden können. Zum Beispiel kann die vorliegende Technologie, die in einer beliebigen der Ausführungsformen beschrieben wird, ganz oder teilweise in Kombination mit mit einem Teil der in anderen Ausführungsformen beschriebenen vorliegenden Technologie oder aller dieser implementiert werden. Ferner kann die oben beschriebene vorliegende Technologie ganz oder teilweise in Kombination mit oben nicht beschriebener anderer Technologie implementiert werden.
Man beachte, dass die vorliegenden Effekte lediglich Beispiele und nicht einschränkend sind und auch andere Effekte erzielt werden können. Ferner sind Ausführungsformen der vorliegenden Offenbarung nicht auf die oben beschriebenen Ausführungsformen beschränkt, und verschiedene Modifikationen können vorgenommen werden, ohne vom Wesen der vorliegenden Offenbarung abzuweichen.
Zum Beispiel kann die vorliegende Offenbarung auch die folgenden Ausgestaltungen aufweisen:

(1) Informationsverarbeitungsvorrichtung, umfassend:
- eine Bilderzeugungseinheit, die ein zusammengesetztes Bild erzeugt, in dem Folgendes kombiniert wird:
  - ein reales Bild, das ein erstes Objekt umfasst, das durch eine erste Bildgebungsvorrichtung aufgenommen wird;
  - ein erstes virtuelles Bild, das auf einer Basis eines 3D-Modells entsprechend dem ersten Objekt und spezifischen Standpunktinformationen erzeugt wird; und
  - ein zweites virtuelles Bild, das auf einer Basis der Standpunktinformationen und eines 3D-Modells entsprechend einem von dem ersten Objekt verschiedenen zweiten Objekt erzeugt wird,
  - mit Zusammensetzungsverhältnissen entsprechend den Standpunktinformationen.
(2) Informationsverarbeitungsvorrichtung nach (1), wobei die Bilderzeugungseinheit das zusammengesetzte Bild mit Zusammensetzungsverhältnissen entsprechend einer Distanz zwischen einem virtuellen Standpunkt auf der Basis der Standpunktinformationen und der ersten Bildgebungsvorrichtung erzeugt.
(3) Informationsverarbeitungsvorrichtung nach (1) oder (2), wobei, falls eine Distanz zwischen der ersten Bildgebungsvorrichtung und einem virtuellen Standpunkt auf der Basis der Standpunktinformationen kleiner oder gleich einem vorbestimmten Wert ist, die Bilderzeugungseinheit das erste virtuelle Bild mit einem Zusammensetzungsverhältnis kombiniert, das kleiner als das für einen Fall ist, bei dem die Distanz größer als der vorbestimmte Wert ist.
(4) Informationsverarbeitungsvorrichtung nach einem von (1) bis (3), ferner umfassend:
- eine Standpunkt-Setzeinrichtung, die einen virtuellen Standpunkt, bei dem es sich um Standpunktinformationen handelt, chronologisch setzt.
(5) Informationsverarbeitungsvorrichtung nach einem von (1) bis (4), wobei die Standpunktinformationen eine Position des virtuellen Standpunkts und eine Beobachtungsrichtung am virtuellen Standpunkt umfassen.
(6) Informationsverarbeitungsvorrichtung nach (4) oder (5), wobei die Bilderzeugungseinheit das zusammengesetzte Bild mit Zusammensetzungsverhältnissen entsprechend einer Bewegungsgeschwindigkeit des virtuellen Standpunkts erzeugt.
(7) Informationsverarbeitungsvorrichtung nach einem von (2) bis (6), wobei die Bilderzeugungseinheit das zusammengesetzte Bild erzeugt, indem Folgendes verwendet wird:
- ein erstes reales Bild und ein zweites reales Bild, die jeweils durch eine von verschiedenen zwei der ersten Bildgebungsvorrichtungen aufgenommen werden;
- ein erstes virtuelles Bild, das durch Projizieren des 3D-Modells des ersten Objekts auf dem virtuellen Standpunkt an einer Position zwischen den zwei ersten Bildgebungsvorrichtungen erzeugt wird; und
- ein zweites virtuelles Bild, das aus dem zweiten Objekt erzeugt wird.
(8) (7),Informationsverarbeitungsvorrichtung nach (6) oder wobei die Bilderzeugungseinheit das zusammengesetzte Bild durch Wechseln der Zusammensetzungsverhältnisse zwischen einem Mindestwert und einem Maximalwert zu einem vorbestimmten Zeitpunkt erzeugt.
(9) Informationsverarbeitungsvorrichtung nach einem von (6) bis (8) wobei die Bilderzeugungseinheit das zusammengesetzte Bild durch Ändern von Zusammensetzungsverhältnissen des realen Bildes und des ersten virtuellen Bildes in einem Zustand erzeugt, bei dem ein Zusammensetzungsverhältnis des zweiten Objekts auf den Maximalwert gesetzt ist.
(10) Informationsverarbeitungsvorrichtung nach einem von (6) bis (9), wobei die Bilderzeugungseinheit das zusammengesetzte Bild durch Verzögern des Änderungstimings des Zusammensetzungsverhältnisses des ersten virtuellen Bildes vom Abfalltiming des Zusammensetzungsverhältnisses des realen Bildes oder Vorrücken des Änderungstimings des Zusammensetzungsverhältnisses des ersten virtuellen Bildes von der Anstiegszeit des Zusammensetzungsverhältnisses des realen Bildes erzeugt.
(11) Informationsverarbeitungsvorrichtung nach einem von (1) bis (10), wobei ein Zusammensetzungsverhältnis des zweiten Objekts zu einem Zeitpunkt, wenn das reale Bild, das erste virtuelle Bild und das zweite Objekt überlagert werden, eine Transparenz ist.
(12) Informationsverarbeitungsvorrichtung nach einem von (1) bis (11), wobei das zweite Objekt einen Videoeffekt umfasst.
(13) Informationsverarbeitungsvorrichtung nach einem von (1) bis (11), wobei das zweite Objekt eine Figur umfasst.
(14) Informationsverarbeitungsvorrichtung nach einem von (5) bis (13), wobei die Beobachtungsrichtung von dem virtuellen Standpunkt in Richtung des ersten Objekts gerichtet ist.
(15) Informationsverarbeitungsvorrichtung nach einem von (5) bis (14), wobei die Standpunkt-Setzeinheit den virtuellen Standpunkt auf einer Basis einer Position einer zweiten Bildgebungsvorrichtung setzt, die von mehreren der ersten Bildgebungsvorrichtungen, die zur Erzeugung des 3D-Modells des ersten Objekts verwendet werden, verschieden ist.
(16) Informationsverarbeitungsvorrichtung nach (15), wobei zu einem Zeitpunkt, wenn der virtuelle Standpunkt der zweiten Bildgebungsvorrichtung näher als eine vorbestimmte Distanz ist, die Bilderzeugungseinheit ein Zusammensetzungsverhältnis des durch die zweite Bildgebungsvorrichtung aufgenommenen realen Bildes höher setzt als ein Zusammensetzungsverhältnis des durch die zweite Bildgebungsvorrichtung aufgenommenen realen Bildes zu einer Zeit, wenn der virtuelle Standpunkt mehr als die vorbestimmte Distanz von der zweiten Bildgebungsvorrichtung getrennt ist.
(17) Informationsverarbeitungsvorrichtung nach (16), wobei die Bilderzeugungseinheit das Zusammensetzungsverhältnis des durch die zweite Bildgebungsvorrichtung aufgenommenen realen Bildes, wenn sich die Position des virtuellen Standpunkts der zweiten Bildgebungsvorrichtung nähert, sanfter variiert als das Zusammensetzungsverhältnis des durch die erste Bildgebungsvorrichtung aufgenommenen realen Bildes, wenn sich die Position des virtuellen Standpunkts der ersten Bildgebungsvorrichtung nähert.
(18) Informationsverarbeitungsvorrichtung nach einem von (15) bis (17), wobei die zweite Bildgebungsvorrichtung in einem mobilen Endgerät enthalten ist.
(19) Informationsverarbeitungsvorrichtung, umfassend:
- eine Bilderzeugungseinheit, die ein zusammengesetztes Bild erzeugt, das erhalten wird, indem ein reales Bild, das ein erstes Objekt umfasst, das durch eine erste Bildgebungsvorrichtung aufgenommen wird, ein 3D-Modell entsprechend dem ersten Objekt und ein 3D-Modell entsprechend einem von dem ersten Objekt verschiedenen zweiten Objekt mit Zusammensetzungsverhältnissen entsprechend spezifischen Standpunktinformationen kombiniert werden.
(20) Bilddaten-Erzeugungsverfahren, das den folgenden Schritt umfasst:
- Erzeugen eines zusammengesetzten Bildes, das erhalten wird, indem Folgendes kombiniert wird:
  - ein reales Bild, das ein erstes Objekt umfasst, das durch eine erste Bildgebungsvorrichtung aufgenommen wird;
  - ein erstes virtuelles Bild, das auf einer Basis eines 3D-Modells entsprechend dem ersten Objekt und spezifischen Standpunktinformationen erzeugt wird; und
  - ein zweites virtuelles Bild, das auf einer Basis der Standpunktinformationen und eines 3D-Modells entsprechend einem von dem ersten Objekt verschiedenen zweiten Objekt erzeugt wird,
  - mit Zusammensetzungsverhältnissen entsprechend den Standpunktinformationen.

Bezugszeichenliste

10a: INFORMATIONSVERARBEITUNGSSYSTEM
11: DATENBESCHAFFUNGSEINHEIT
12: 3D-MODELLERZEUGUNGSEINHEIT
13a: CODIERUNGSEINHEIT
14: SENDEEINHEIT
15: EMPFANGSEINHEIT
16a: DECODIERUNGSEINHEIT
17a, 17b: WIEDERGABEEINHEIT
18: ANZEIGEEINHEIT
40a: CODIERUNGSVORRICHTUNG (INFORMATIONSVERARBEITUNGSVORRICHTUNG)
50a, 50b: DECODIERUNGSVORRICHTUNG (INFORMATIONSVERARBEITUNGSVORRICHTUNG)
51: VIRTUELLES-BILD-ERZEUGUNGSEINHEIT
52: STANDPUNKT-SETZEINHEIT
53: ÜBERLAGERUNGSVERHÄLTNIS-BERECHNUNGSEINHEIT
54: 3DCG-OBJEKTBILD-ERZEUGUNGSEINHEIT
55: BILDKOMBINIEREINHEIT (BILDERZEUGUNGSEINHEIT)
56: 3D-OBJEKT-ÜBERLAGERUNGSEINHEIT
57: SIGNALAUSWAHLEINHEIT
70, 70a, 70b: REALE KAMERA (ERSTE BILDGEBUNGSVORRICHTUNG)
72a, 72b, 72c, 72d, 72e, 72f, 72g, 72h, 72i, 72k: VIRTUELLE KAMERA
74, 74a, 74b: MOBILES ENDGERÄT
75: BETRIEBSSTEUEREINHEIT
76, 76a, 76b: REALE KAMERA (ZWEITE BILDGEBUNGSVORRICHTUNG)
80: BILDGEBUNGS-STEUEREINHEIT
81: POSITIONSBESTIMMUNGSEINHEIT
82: ANWENDUNGS-STEUEREINHEIT
83: ANZEIGESTEUEREINHEIT
84: BETRIEBSSTEUEREINHEIT
85: KOMMUNIKATIONSSTEUEREINHEIT
88a, 88b, 88c: BEWEGUNGSROUTE
90: SUBJEKT (ERSTES OBJEKT)
90M, 92: 3D-MODELL
A1, A2: ADDIERER
Ia: REALES BILD (ERSTES REALES BILD)
Ib: REALES BILD (ZWEITES REALES BILD)
Ic, Id: REALES BILD
Ix1, Ix2: ÜBERLAGERUNGSBILD
L: ZUSAMMENGESETZTES BILD
M1, M2, M3, M4, M5: MULTIPLIZIRER
Mo: 3DCG-OBJEKTANWESENHEITSABBILDUNG
O: 3DCG-OBJEKTBILD (ZWEITES VIRTUELLES BILD)
R, r1, r2, r3, rca, rcb, rcc, rcd, rv, rv1, rv2, r3DCG: ÜBERLAGERUNGSVERHÄLTNIS (ZUSAMMENSETZUNGSVERHÄLTNIS)
V: VIRTUELLES BILD (ERSTES VIRTUELLES BILD)
Vp: VIRTUELLER STANDPUNKT (STANDPUNKTINFORMATIONEN)

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2019/021375 A [0004]

Claims

Informationsverarbeitungsvorrichtung, umfassend: eine Bilderzeugungseinheit, die ein zusammengesetztes Bild erzeugt, in dem Folgendes kombiniert wird: ein reales Bild, das ein erstes Objekt umfasst, das durch eine erste Bildgebungsvorrichtung aufgenommen wird; ein erstes virtuelles Bild, das auf einer Basis eines 3D-Modells entsprechend dem ersten Objekt und spezifischen Standpunktinformationen erzeugt wird; und ein zweites virtuelles Bild, das auf einer Basis der Standpunktinformationen und eines 3D-Modells entsprechend einem von dem ersten Objekt verschiedenen zweiten Objekt erzeugt wird, mit Zusammensetzungsverhältnissen entsprechend den Standpunktinformationen.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Bilderzeugungseinheit das zusammengesetzte Bild mit Zusammensetzungsverhältnissen entsprechend einer Distanz zwischen einem virtuellen Standpunkt auf der Basis der Standpunktinformationen und der ersten Bildgebungsvorrichtung erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei, falls eine Distanz zwischen der ersten Bildgebungsvorrichtung und einem virtuellen Standpunkt auf der Basis der Standpunktinformationen kleiner oder gleich einem vorbestimmten Wert ist, die Bilderzeugungseinheit das erste virtuelle Bild mit einem Zusammensetzungsverhältnis kombiniert, das kleiner als das für einen Fall ist, bei dem die Distanz größer als der vorbestimmte Wert ist.
Informationsverarbeitungsvorrichtung nach Anspruch 1, ferner umfassend: eine Standpunkt-Setzeinrichtung, die einen virtuellen Standpunkt, bei dem es sich um Standpunktinformationen handelt, chronologisch setzt.
Informationsverarbeitungsvorrichtung nach Anspruch 4, wobei die Standpunktinformationen eine Position des virtuellen Standpunkts und eine Beobachtungsrichtung am virtuellen Standpunkt umfassen.
Informationsverarbeitungsvorrichtung nach Anspruch 5, wobei die Bilderzeugungseinheit das zusammengesetzte Bild mit Zusammensetzungsverhältnissen entsprechend einer Bewegungsgeschwindigkeit des virtuellen Standpunkts erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Bilderzeugungseinheit das zusammengesetzte Bild erzeugt, indem Folgendes verwendet wird: ein erstes reales Bild und ein zweites reales Bild, die jeweils durch eine von verschiedenen zwei der ersten Bildgebungsvorrichtungen aufgenommen werden; ein erstes virtuelles Bild, das durch Projizieren des 3D-Modells des ersten Objekts auf dem virtuellen Standpunkt an einer Position zwischen den zwei ersten Bildgebungsvorrichtungen erzeugt wird; und ein zweites virtuelles Bild, das aus dem zweiten Objekt erzeugt wird.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei die Bilderzeugungseinheit das zusammengesetzte Bild durch Wechseln der Zusammensetzungsverhältnisse zwischen einem Mindestwert und einem Maximalwert zu einem vorbestimmten Zeitpunkt erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei die Bilderzeugungseinheit das zusammengesetzte Bild durch Ändern von Zusammensetzungsverhältnissen des realen Bildes und des ersten virtuellen Bildes in einem Zustand erzeugt, bei dem ein Zusammensetzungsverhältnis des zweiten Objekts auf den Maximalwert gesetzt ist.
Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei die Bilderzeugungseinheit das zusammengesetzte Bild durch Verzögern des Änderungstimings des Zusammensetzungsverhältnisses des ersten virtuellen Bildes vom Abfalltiming des Zusammensetzungsverhältnisses des realen Bildes oder Vorrücken des Änderungstimings des Zusammensetzungsverhältnisses des ersten virtuellen Bildes von der Anstiegszeit des Zusammensetzungsverhältnisses des realen Bildes erzeugt.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei ein Zusammensetzungsverhältnis des zweiten Objekts zu einem Zeitpunkt, wenn das reale Bild, das erste virtuelle Bild und das zweite Objekt überlagert werden, eine Transparenz ist.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei das zweite Objekt einen Videoeffekt umfasst.
Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei das zweite Objekt eine Figur umfasst.
Informationsverarbeitungsvorrichtung nach Anspruch 5, wobei die Beobachtungsrichtung von dem virtuellen Standpunkt in Richtung des ersten Objekts gerichtet ist.
Informationsverarbeitungsvorrichtung nach Anspruch 5, wobei die Standpunkt-Setzeinheit den virtuellen Standpunkt auf einer Basis einer Position einer zweiten Bildgebungsvorrichtung setzt, die von mehreren der ersten Bildgebungsvorrichtungen, die zur Erzeugung des 3D-Modells des ersten Objekts verwendet werden, verschieden ist.
Informationsverarbeitungsvorrichtung nach Anspruch 15, wobei zu einem Zeitpunkt, wenn der virtuelle Standpunkt der zweiten Bildgebungsvorrichtung näher als eine vorbestimmte Distanz ist, die Bilderzeugungseinheit ein Zusammensetzungsverhältnis des durch die zweite Bildgebungsvorrichtung aufgenommenen realen Bildes höher setzt als ein Zusammensetzungsverhältnis des durch die zweite Bildgebungsvorrichtung aufgenommenen realen Bildes zu einer Zeit, wenn der virtuelle Standpunkt mehr als die vorbestimmte Distanz von der zweiten Bildgebungsvorrichtung getrennt ist.
Informationsverarbeitungsvorrichtung nach Anspruch 16, wobei die Bilderzeugungseinheit das Zusammensetzungsverhältnis des durch die zweite Bildgebungsvorrichtung aufgenommenen realen Bildes, wenn sich die Position des virtuellen Standpunkts der zweiten Bildgebungsvorrichtung nähert, sanfter variiert als das Zusammensetzungsverhältnis des durch die erste Bildgebungsvorrichtung aufgenommenen realen Bildes, wenn sich die Position des virtuellen Standpunkts der ersten Bildgebungsvorrichtung nähert.
Informationsverarbeitungsvorrichtung nach Anspruch 15, wobei die zweite Bildgebungsvorrichtung in einem mobilen Endgerät enthalten ist.
Informationsverarbeitungsvorrichtung, umfassend: eine Bilderzeugungseinheit, die ein zusammengesetztes Bild erzeugt, das erhalten wird, indem ein reales Bild, das ein erstes Objekt umfasst, das durch eine erste Bildgebungsvorrichtung aufgenommen wird, ein 3D-Modell entsprechend dem ersten Objekt und ein 3D-Modell entsprechend einem von dem ersten Objekt verschiedenen zweiten Objekt mit Zusammensetzungsverhältnissen entsprechend spezifischen Standpunktinformationen kombiniert werden.
Bilddaten-Erzeugungsverfahren, das den folgenden Schritt umfasst: Erzeugen eines zusammengesetzten Bildes, das erhalten wird, indem Folgendes kombiniert wird: ein reales Bild, das ein erstes Objekt umfasst, das durch eine erste Bildgebungsvorrichtung aufgenommen wird; ein erstes virtuelles Bild, das auf einer Basis eines 3D-Modells entsprechend dem ersten Objekt und spezifischen Standpunktinformationen erzeugt wird; und ein zweites virtuelles Bild, das auf einer Basis der Standpunktinformationen und eines 3D-Modells entsprechend einem von dem ersten Objekt verschiedenen zweiten Objekt erzeugt wird, mit Zusammensetzungsverhältnissen entsprechend den Standpunktinformationen.