DE112021002080T5

DE112021002080T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm

Info

Publication number: DE112021002080T5
Application number: DE112021002080.3T
Authority: DE
Inventors: Sho Ogura
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2020-03-30
Filing date: 2021-02-12
Publication date: 2023-01-19
Also published as: JPWO2021199714A1; CN115335870A; US20230164305A1; WO2021199714A1

Abstract

Diese Informationsverarbeitungsvorrichtung ist mit einer Anzeigeverarbeitungseinheit zum Durchführen einer Anzeigeverarbeitung eines Bildschirms als Kameraführungs-Bestimmungsbildschirm, der eine Bestimmungsoperation von Kameraführungsinformationen annimmt, die mindestens einen Bewegungsort eines Blickpunktes in einem Free-Viewpoint-Bild anzeigen, versehen, wobei der Bildschirm eine Vielzahl von Informationen filtert, um daraus einen Teil von Kameraführungsinformationen anzuzeigen, die den von einem Benutzer eingegebenen Informationen entsprechen.

Description

TECHNISCHES GEBIET
Die vorliegende Technologie bezieht sich auf eine Informationsverarbeitungsvorrichtung, ein entsprechendes Verfahren und ein Programm und bezieht sich insbesondere auf eine Verarbeitungstechnologie, die sich auf ein Free-Viewpoint-Bild bezieht, bei dem ein aufgenommenes Motiv von einem beliebigen Blickpunkt in einem dreidimensionalen Raum aus betrachtet werden kann.
STAND DER TECHNIK
Ein Verfahren zur Erstellung eines Free-Viewpoint-Bildes (auch als Free-Viewpoint-Video, virtuelles Blickpunktbild (Video) oder dergleichen bezeichnet), das einem Beobachtungsbild von einem beliebigen Blickpunkt in einem dreidimensionalen Raum entspricht, ist auf der Grundlage dreidimensionaler Informationen bekannt, die ein erfasstes Motiv in dem dreidimensionalen Raum darstellen.
Das nachstehende Patentdokument 1 kann als verwandter Stand der Technik angeführt werden. Patentdokument 1 offenbart eine Technik zur Erstellung einer Kameraführung, die als Bewegungstrajektorie eines Blickpunktes bezeichnet werden kann.
LISTE DER ANFÜHRUNGEN
PATENTDOKUMENT
Patentdokument 1: WO 2018/030206 A
ZUSAMMENFASSUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
Das Free-Viewpoint-Bild ist auch als Übertragungsinhalt nützlich und wird z. B. bei Sportübertragungen als Replay-Bild verwendet. Bei Fußball- oder Basketballübertragungen beispielsweise wird aus den in Echtzeit aufgezeichneten Bildern ein Clip von mehreren Sekunden Länge, etwa eine Schussszene, erstellt und als Replay-Bild gesendet. Beachten Sie, dass sich der Begriff „Clip“ in der vorliegenden Offenbarung auf ein Bild einer bestimmten Szene bezieht, das durch Ausschneiden oder eine weitere Verarbeitung des aufgezeichneten Bildes entsteht.
An einem Sendestandort, insbesondere bei Live-Übertragungen, muss ein Bediener schnell einen Clip für die Wiederholung erstellen und diesen senden. Es gibt zum Beispiel auch die Forderung, 10 Sekunden nach einem bestimmten Spielzug eine Wiederholung zu senden. Eine solche Anforderung gilt auch für die Erstellung des Clips mit dem Free-Viewpoint-Bild, und daher muss die Erstellung des Free-Viewpoint-Bildes schnell erfolgen.
Die vorliegende Technologie wurde in Anbetracht der oben genannten Umstände entwickelt, und ein Ziel der vorliegenden Technologie ist es, die schnelle Erstellung eines Free-Viewpoint-Bildes zu ermöglichen.
LÖSUNGEN DER PROBLEME
Eine Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie umfasst eine Anzeigeverarbeitungseinheit, die die Verarbeitung der Anzeige eines Bildschirms durchführt, der, durch Filtern, Kameraführungsinformationen anzeigt, die Eingabeinformationen eines Benutzers aus einer Vielzahl von Kameraführungsinformationsstücken entsprechen, als einen Kameraführungs-Bestimmungsbildschirm, der eine Bestimmungsoperation von Kameraführungsinformationen empfängt, bei denen es sich um Informationen handelt, die zumindest eine Bewegungstrajektorie eines Blickpunkts in einem Free-Viewpoint-Bild anzeigen.
Durch das Filtern und Anzeigen der Kameraführungsinformationen entsprechend den Eingabeinformationen des Benutzers ist es möglich, die vom Benutzer gewünschten Kameraführungsinformationen leicht zu finden und die für die Bestimmung der Kameraführungsinformationen erforderliche Zeit zu verkürzen.
In der oben beschriebenen Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie kann die Anzeigeverarbeitungseinheit so ausgebildet sein, dass sie die Verarbeitung der Filterung und die Anzeige von Kameraführungsinformationen gemäß einem Schlüsselwort als die Eingabeinformationen auf dem Kameraführungs-Bestimmungsbildschirm durchführt.
Auf diese Weise ist es möglich, eine geeignete Filterung der Kameraführungsinformationen vorzunehmen, die die Absicht des Benutzers widerspiegelt.
In der oben beschriebenen Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie ist es möglich, so zu konfigurieren, dass Filterbedingungsinformationen, die eine Filterbedingung von Kameraführungsinformationen anzeigen, auf dem Kameraführungs-Bestimmungsbildschirm angezeigt werden, und die Anzeigeverarbeitungseinheit die Verarbeitung des Filterns und die Anzeige der Kameraführungsinformationen gemäß der Filterbedingung durchführt, die durch die ausgewählten Filterbedingungsinformationen als die Eingabeinformationen angezeigt wird.
Dadurch kann die Operation, die für die Filterung und Anzeige der Kameraführungsinformationen erforderlich ist, auf die Operation der Auswahl der Filterbedingungsinformationen reduziert werden.
In der oben beschriebenen Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie kann die Anzeigeverarbeitungseinheit so ausgebildet sein, dass sie die Verarbeitung der Anzeige von Informationen durchführt, die durch die Visualisierung einer Bewegungstrajektorie des Blickpunkts auf dem Kameraführungs-Bestimmungsbildschirm erhalten werden.
Durch die Anzeige der Informationen, die die Bewegungstrajektorie des Blickpunkts visualisieren, kann sich der Benutzer leicht ein Bild von der Kameraführung machen.
In der oben beschriebenen Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie kann die Anzeigeverarbeitungseinheit so ausgebildet sein, dass sie die Verarbeitung der Anzeige von Kameraanordnungspositionsinformationen auf dem Kameraführungs-Bestimmungsbildschirm durchführt, die die Anordnungspositionen einer Vielzahl von Kameras anzeigen, die die Bildgebung zur Erstellung eines Free-Viewpoint-Bildes durchführen.
Durch die Anzeige der Informationen über die Anordnungsposition der einzelnen Kameras kann sich der Benutzer leicht vorstellen, welche Art von Bild als Free-Viewpoint-Bild erstellt werden soll.
In der oben beschriebenen Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie kann die Anzeigeverarbeitungseinheit so ausgebildet sein, dass sie die Verarbeitung der Anzeige von Startpunktanordnungspositionsinformationen und von Endpunktanordnungspositionsinformationen auf dem Kameraführungs-Bestimmungsbildschirm durchführt, die die jeweiligen Positionen einer Kamera, die als Bewegungsstartpunkt dient, und einer Kamera, die als Bewegungsendpunkt des Blickpunkts dient, aus der Vielzahl der Kameras angeben.
Dadurch ist es möglich, dem Benutzer zu ermöglichen, zu erkennen, von welcher Kameraposition aus die Bewegung des Blickpunkts beginnt und an welcher Kameraposition in der Kameraführung endet.
In der oben beschriebenen Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie kann die Anzeigeverarbeitungseinheit so ausgebildet sein, dass sie die Verarbeitung der Anzeige der Startpunktanordnungspositionsinformationen und der Endpunktanordnungspositionsinformationen sowie der Anordnungspositionsinformationen von anderen Kameras als der Kamera, die als Bewegungsstartpunkt dient, und der Kamera, die als Bewegungsendpunkt dient, aus der Vielzahl der Kameras in verschiedenen Modi durchführt.
Dadurch ist es möglich, dass der Benutzer intuitiv erfassen kann, von welcher Kameraposition aus die Bewegung des Blickpunkts beginnt und an welcher Kameraposition in der Kameraführung endet.
In der oben beschriebenen Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie kann die Anzeigeverarbeitungseinheit so ausgebildet sein, dass sie die Verarbeitung der Anzeige von Informationen durchführt, die durch die Visualisierung der Bewegungsgeschwindigkeit des Blickpunkts auf dem Kameraführungs-Bestimmungsbildschirm erhalten werden.
Der Zeitraum, in dem die Bewegungsgeschwindigkeit des Blickpunkts in dem Zeitraum, in dem der Blickpunkt bewegt wird, geändert wird, ist ein wichtiger Faktor bei der Zeichnung des Free-Viewpoint-Bildes.
In der oben beschriebenen Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie kann die Anzeigeverarbeitungseinheit so ausgebildet sein, dass sie die Verarbeitung der Anzeige von Informationen durchführt, die einen Zeitraum angeben, in dem die Bewegungsgeschwindigkeit abnimmt, und zwar als Informationen, die durch die Visualisierung der Bewegungsgeschwindigkeit des Blickpunkts erhalten werden.
Der Zeitraum, in dem die Bewegungsgeschwindigkeit des Blickpunkts in dem Zeitraum, in dem der Blickpunkt bewegt wird, verringert wird, ist ein wichtiger Faktor bei der Zeichnung des Free-Viewpoint-Bildes.
In der oben beschriebenen Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie kann die Anzeigeverarbeitungseinheit so ausgebildet sein, dass sie die Verarbeitung der Anzeige von Informationen durchführt, die durch die Visualisierung eines Sichtfelds vom Blickpunkt auf dem Kameraführungs-Bestimmungsbildschirm erhalten werden.
Da das Sichtfeld visuell angezeigt wird, ist es möglich, dem Benutzer das Erfassen der Kameraführung zu erleichtern.
In der oben beschriebenen Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie kann die Anzeigeverarbeitungseinheit so ausgebildet sein, dass sie die Verarbeitung der Anzeige eines Ziels durchführt, das eine Sichtlinienrichtung vom Blickpunkt auf dem Kameraführungs-Bestimmungsbildschirm definiert.
Dadurch ist es möglich, dass der Benutzer leicht erkennen kann, auf welche Position des Motivs im dreidimensionalen Raum die Kameraführung abzielt.
Die oben beschriebene Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie kann so ausgebildet sein, dass sie eine Kameraführungsbearbeitungs-Verarbeitungseinheit enthält, die Informationen über die Position des Ziels in Kameraführungsinformationen entsprechend einer Änderung der Position des Ziels auf dem Kameraführungs-Bestimmungsbildschirm aktualisiert.
Daher ist es nicht notwendig, eine Software zur Erstellung der Kameraführungsinformationen zu starten, wenn diese in der Phase der Bestimmung der Kameraführungsinformationen, die für die Erstellung des Free-Viewpoint-Bildes verwendet werden sollen, bearbeitet werden sollen.
In der oben beschriebenen Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie kann die Anzeigeverarbeitungseinheit so ausgebildet sein, dass sie eine Verarbeitung zur Anzeige eines Bildes durchführt, das durch Beobachtung eines dreidimensionalen Raums vom Blickpunkt auf dem Kameraführungs-Bestimmungsbildschirm erhalten wird.
Infolgedessen kann dem Benutzer ein Bild, das dem Free-Viewpoint-Bild ähnelt, das auf der Grundlage der Kameraführungsinformationen erstellt wurde, als Vorschau angezeigt werden, und das Erfassen der Kameraführung kann erleichtert werden.
In der oben beschriebenen Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie kann die Anzeigeverarbeitungseinheit so ausgebildet sein, dass sie die Verarbeitung der Anzeige eines Bildes durchführt, das durch das Rendern eines virtuellen dreidimensionalen Modells eines realen Raums als ein Bild erhalten wird, das durch die Beobachtung eines dreidimensionalen Raums vom Blickpunkt aus erhalten wird.
Daher ist es bei der Vorschauanzeige des Beobachtungsbildes vom Blickpunkt aus nicht notwendig, die Rendering-Verarbeitung mit dem dreidimensionalen Modell durchzuführen, das aus dem aufgenommenen Bild des realen Zielraums erstellt wurde.
In der oben beschriebenen Informationsverarbeitungsvorrichtung gemäß der vorliegenden Technologie kann die Anzeigeverarbeitungseinheit so ausgebildet sein, dass sie die Verarbeitung der Anzeige von Informationen durchführt, die eine Kamera benachrichtigen, in der eine Änderung des Sichtfeldes unter der Vielzahl von Kameras erkannt wurde.
Bei der Erstellung eines Free-Viewpoint-Bildes ist es zur genauen Erstellung dreidimensionaler Informationen aus Bildern, die von einer Vielzahl von Kameras aufgenommen wurden, notwendig, dass jede Kamera im Voraus eine angenommene Position und Ausrichtung beibehält, und in einem Fall, in dem eine Änderung der Position und Ausrichtung bei einer beliebigen Kamera auftritt, ist es notwendig, die zur Erstellung dreidimensionaler Informationen verwendeten Parameter zu kalibrieren. Durch die Benachrichtigung der Kamera, bei der wie oben beschrieben eine Änderung des Sichtfelds festgestellt wird, kann der Benutzer darüber informiert werden, welche Kamera kalibriert werden muss.
Ein Informationsverarbeitungsverfahren gemäß der vorliegenden Technologie ist ein Informationsverarbeitungsverfahren, bei dem eine Informationsverarbeitungsvorrichtung die Verarbeitung der Anzeige eines Bildschirms durchführt, der durch Filtern Kameraführungsinformationen anzeigt, die Eingabeinformationen eines Benutzers aus einer Vielzahl von Kameraführungsinformationen entsprechen, als ein Kameraführungs-Bestimmungsbildschirm, der eine Bestimmungsoperation von Kameraführungsinformationen empfängt, bei denen es sich um Informationen handelt, die mindestens eine Bewegungstrajektorie eines Blickpunkts in einem Free-Viewpoint-Bild anzeigen.
Auch durch ein solches Informationsverarbeitungsverfahren nach der vorliegenden Technologie können die gleichen Wirkungen erzielt werden wie durch die oben beschriebene Informationsverarbeitungsvorrichtung nach der vorliegenden Technologie.
Ein Programm gemäß der vorliegenden Technologie ist ein Programm, das von einer Computervorrichtung gelesen werden kann und die Computervorrichtung dazu veranlasst, eine Funktion zur Durchführung der Verarbeitung der Anzeige eines Bildschirms zu implementieren, der durch Filtern Kameraführungsinformationen anzeigt, die Eingabeinformationen eines Benutzers aus einer Vielzahl von Kameraführungsinformationen entsprechen, als ein Kameraführungs-Bestimmungsbildschirm, der eine Bestimmungsoperation von Kameraführungsinformationen empfängt, bei denen es sich um Informationen handelt, die zumindest eine Bewegungstrajektorie eines Blickpunkts in einem Free-Viewpoint-Bild anzeigen.
Mit einem solchen Programm wird die Informationsverarbeitungsvorrichtung gemäß der oben beschriebenen vorliegenden Technologie realisiert.
Figurenliste

1 ist ein Blockdiagramm einer Systemkonfiguration gemäß einer Ausführungsform der vorliegenden Technologie.
2 ist ein erläuterndes Diagramm eines Anordnungsbeispiels von Kameras zur Erstellung eines Free-Viewpoint-Bildes gemäß der Ausführungsform.
3 ist ein Blockdiagramm einer Hardwarekonfiguration der Informationsverarbeitungsvorrichtung gemäß der Ausführungsform.
4 ist ein erläuterndes Diagramm der Funktionen eines Bilderstellungscontrollers gemäß einer Ausführungsform.
5 ist ein erläuterndes Diagramm der Funktionen eines Free-Viewpoint-Bildservers gemäß der Ausführungsform.
6A und 6B sind erläuternde Diagramme eines Blickpunkts in einem Free-Viewpoint-Bild gemäß der Ausführungsform.
7 ist ein erläuterndes Diagramm eines Umrisses eines Kameraführungs-Bestimmungsbildschirms in der Ausführungsform.
8 ist ein erläuterndes Diagramm eines Umrisses eines Erstellungsoperationsbildschirms gemäß der Ausführungsform.
9 ist ein erläuterndes Diagramm eines Ausgabeclips gemäß der Ausführungsform.
10 ist ein erläuterndes Diagramm eines Ausgabeclips, der einen Standbild-FV-Clip gemäß der Ausführungsform enthält.
11 ist ein erläuterndes Diagramm eines Ausgabeclips, der einen Bewegtbild-FV-Clip gemäß der Ausführungsform enthält.
12 ist ein erläuterndes Diagramm eines Beispiels für ein Bild eines Ausgabeclips gemäß der Ausführungsform.
13 ist ein erläuterndes Diagramm eines Arbeitsablaufs der Clip-Erstellung gemäß der Ausführungsform.
14 ist ein erläuterndes Diagramm eines Arbeitsablaufs zur Erkennung von Kameravariationen gemäß der Ausführungsform.
15 ist ein Diagramm, das einen Anfangsbildschirm eines Erstellungsoperationsbildschirms gemäß der Ausführungsform zeigt.
16 ist ein Diagramm, das ein Beispiel für eine Operation zur Erfassung einer Voreinstellungsliste von Kameras beschreibt.
17 ist ein erläuterndes Diagramm zur Veränderung eines 3D-Hintergrundmodells.
18 ist ebenfalls ein erläuterndes Diagramm der Veränderung des 3D-Hintergrundmodells.
19 ist ein erläuterndes Diagramm der Hinzufügung eines Eintrags der Kameraführung.
20 ist ebenfalls ein erläuterndes Diagramm eines Beispiels für die Anzeige eines Sichtfelds und eines Beobachtungsbildes einer bestimmten Kamera.
21 ist ebenfalls ein erläuterndes Diagramm eines Beispiels für die Anzeige eines Sichtfelds und eines Beobachtungsbildes einer bestimmten Kamera.
22 ist ein erläuterndes Diagramm eines Beispiels für ein Verfahren zur Bestimmung einer In-Kamera.
23 ist ein Diagramm, das ein Beispiel für eine Bildschirmanzeige in einem Fall zeigt, in dem eine In-Kamera vorgesehen ist.
24 ist ein erläuterndes Diagramm eines Beispiels für ein Verfahren zur Bestimmung einer Out-Kamera.
25 ist ein Diagramm zur Veranschaulichung eines Bildschirmanzeigebeispiels für den Fall, dass eine Out-Kamera vorgesehen ist.
26 ist ein erläuterndes Diagramm eines Bildschirmanzeigewechsels entsprechend der Betätigung einer Suchleiste in einer Zeitachsen-Bedienungseinheit.
27 ist ein erläuterndes Diagramm eines Beispiels für ein Verfahren zur Bestimmung eines Via-Punkts eines Blickpunkts.
28 ist ebenfalls ein erläuterndes Diagramm eines Beispiels für ein Verfahren zur Bestimmung eines Via-Punkts eines Blickpunkts.
29 ist ein erläuterndes Diagramm eines Bildschirmanzeigebeispiels für den Fall, dass die Bestimmung eines Via-Punkts eines Blickpunkts abgeschlossen ist.
30 ist ein erläuterndes Diagramm eines Bildschirmanzeigebeispiels in einem Fall, in dem eine Vielzahl von Via-Punkten bestimmt ist.
31 ist ein Diagramm zur Beschreibung eines Beispiels für ein Verfahren zur Bestimmung eines Formtyps einer Bewegungstrajektorie eines Blickpunkts.
32 ist ebenfalls ein Diagramm zur Beschreibung eines Beispiels für ein Verfahren zur Bestimmung des Formtyps der Bewegungstrajektorie des Blickpunkts.
33 ist ein erläuterndes Diagramm eines Bildschirmanzeigebeispiels in einem Fall, in dem der Formtyp der Bewegungstrajektorie des Blickpunkts bestimmt wird.
34 ist ein Diagramm zur Beschreibung eines Beispiels für ein Verfahren zur Bestimmung der Bewegungsgeschwindigkeit eines Blickpunkts.
35 ist ein erläuterndes Diagramm eines Bildschirmanzeigebeispiels für den Fall, dass eine Bewegungsgeschwindigkeit eines Blickpunktes bestimmt wird.
36 ist ein erläuterndes Diagramm zur Bedeutung eines Ziels in einer Ausführungsform.
37 ist ebenfalls ein erläuterndes Diagramm zur Bedeutung eines Ziels in der Ausführungsform.
38 ist ein erläuterndes Diagramm zur Bestimmung der Bewegung eines Ziels gemäß der Ausführungsform.
39 ist ebenfalls ein erläuterndes Diagramm zur Bestimmung der Bewegung eines Ziels gemäß der Ausführungsform.
40 ist ebenfalls ein erläuterndes Diagramm zur Bestimmung der Bewegung eines Ziels gemäß der Ausführungsform.
41 ist ebenfalls ein erläuterndes Diagramm zur Bestimmung der Bewegung eines Ziels gemäß der Ausführungsform.
42 ist ebenfalls ein erläuterndes Diagramm zur Bestimmung der Bewegung eines Ziels gemäß der Ausführungsform.
43 ist ein erläuterndes Diagramm einer beispielhaften Operation zur Bestimmung eines Zeitraums der Ausrichtung auf ein Ziel.
44 ist ebenfalls ein erläuterndes Diagramm einer beispielhaften Operation zur Bestimmung eines Zeitraums der Ausrichtung auf ein Ziel.
45 ist ebenfalls ein erläuterndes Diagramm einer beispielhaften Operation zur Bestimmung eines Zeitraums der Ausrichtung auf ein Ziel.
46 ist ein Diagramm, das ein Beispiel für die Anzeige eines Vorschaubildes in einem Fall zeigt, in dem eine Zielbewegung bestimmt ist.
47 ist ebenfalls ein Diagramm, das ein Beispiel für die Anzeige eines Vorschaubildes in einem Fall zeigt, in dem eine Zielbewegung bestimmt ist.
48 ist ebenfalls ein Diagramm, das ein Beispiel für die Anzeige eines Vorschaubildes in einem Fall zeigt, in dem eine Zielbewegung bestimmt ist.
49 ist ebenfalls ein Diagramm, das ein Beispiel für die Anzeige eines Vorschaubildes in einem Fall zeigt, in dem eine Zielbewegung bestimmt ist.
50 ist ein Diagramm, das ein weiteres Beispiel für die Einstellung eines Zeitraums der Ausrichtung auf ein Ziel zeigt.
51 ist ein erläuterndes Diagramm eines Beispiels für die individuelle Bestimmung von Zeiträumen der Ausrichtung auf eine Vielzahl von zusätzlichen Zielen.
52 ist ein Flussdiagramm der Verarbeitung im Zusammenhang mit der Erstellung und Anzeige einer Blickpunkt-Bewegungstrajektorie entsprechend der Bestimmung einer In-Kamera und einer Out-Kamera.
53 ist ein Flussdiagramm, das die Verarbeitung im Zusammenhang mit der Erstellung und Anzeige einer Blickpunkt-Bewegungstrajektorie entsprechend der Bestimmung eines Via-Punkts veranschaulicht.
54 ist ein Diagramm, das einen Anfangsbildschirm eines Kameraführungs-Bestimmungsbildschirms gemäß der Ausführungsform zeigt.
55 ist ein erläuterndes Diagramm eines Beispiels für ein Verfahren zum Importieren von Bildern, die zur Erstellung eines Free-Viewpoint-Bildes verwendet werden.
56 ist ebenfalls ein erläuterndes Diagramm eines Beispiels für ein Verfahren zum Importieren von Bildern, das zur Erstellung eines Free-Viewpoint-Bildes verwendet wird.
57 ist ein Diagramm, das ein Beispiel für eine Bildschirmanzeige nach dem Bildimport zeigt.
58 ist eine Ansicht, die ein Anzeigebeispiel eines Bildes eines X-Achsen-Blickpunkts zeigt.
59 ist eine Ansicht, die ein Anzeigebeispiel eines Bildes eines Y-Achsen-Blickpunkts zeigt.
60 ist eine Ansicht, die ein Anzeigebeispiel eines Bildes eines Z-Achsen-Blickpunkts zeigt.
61 ist ein Diagramm, das ein Anzeigebeispiel eines Bildes eines Pe-Blickpunkts zeigt.
62 ist ein Diagramm, das ein Anzeigebeispiel eines Bildes von einem Ca-Blickpunkt zeigt.
63 ist ein Diagramm zur Beschreibung eines Operationsverfahrensbeispiels für das Filtern und Anzeigen einer Kameraführung.
64 ist ein Diagramm zur Veranschaulichung eines Beispiels für die Filterung und Anzeige einer Kameraführung.
65 ist ein erläuterndes Diagramm einer Rücksetztaste der Filterbetriebseinheit gemäß der Ausführungsform.
66 ist ein erläuterndes Diagramm einer Modifikation der Filterbetriebseinheit.
67 ist ein erläuterndes Diagramm einer weiteren Modifikation der Filterbetriebseinheit.
68 ist ein Diagramm, das ein Anzeigebeispiel für die Visualisierung von Informationen über die Bewegungsgeschwindigkeit eines Blickpunkts zeigt.
69 ist ein Diagramm, das ein weiteres Anzeigebeispiel für die Visualisierung von Informationen über die Bewegungsgeschwindigkeit des Blickpunkts zeigt.
70 ist ein erläuterndes Diagramm der Bearbeitung einer Zielposition auf einem Kameraführungs-Bestimmungsbildschirm gemäß der Ausführungsform.
71 ist ebenfalls ein erläuterndes Diagramm der Bearbeitung einer Zielposition auf dem Kameraführungs-Bestimmungsbildschirm gemäß der Ausführungsform.
72 ist ein Diagramm, das ein Anzeigebeispiel von Benachrichtigungsinformationen einer Kamera zeigt, bei der eine Variation erkannt wurde.
73 ist ein Flussdiagramm zur Veranschaulichung der Verarbeitung im Zusammenhang mit der Filterung einer Kameraführung auf der Grundlage der auf einem Bildschirm angezeigten Tag-Information.
74 ist ein Flussdiagramm zur Veranschaulichung der Verarbeitung im Zusammenhang mit der Filterung einer Kameraführung, die einem eingegebenen Schlüsselwort entspricht.
75 ist ein Flussdiagramm zur Veranschaulichung der Verarbeitung im Zusammenhang mit der Benachrichtigung über eine Kamera, die einer Kalibrierung bedarf.

MODUS ZUM AUSFÜHREN DER ERFINDUNG
Im Folgenden werden beispielhafte Ausführungsformen in der folgenden Reihenfolge beschrieben.

<1. Systemkonfiguration>
<2. Konfiguration eines Bilderstellungscontrollers und eines Free-Viewpoint-Bildservers>
<3. Umriss der GUI>
<4. Clip mit Free-Viewpoint-Bild>
<5. Clip-Erstellungsprozess>
<6. Erkennung einer Kameravariation>
<7. GUI für die Erstellung der Kameraführung>
<8. GUI für die Erstellung eines Free-Viewpoint-Bildes>
<9. Modifikation>
<10. Zusammenfassung der Ausführungsformen>
<11. Vorliegende Technologie>

<1. Systemkonfiguration>
1 stellt ein Konfigurationsbeispiel für ein Bildverarbeitungssystem gemäß einer Ausführungsform der vorliegenden Technologie dar.
Das Bildverarbeitungssystem beinhaltet einen Bilderstellungscontroller 1, einen Free-Viewpoint-Bildserver 2, einen Videoserver 3, eine Vielzahl (z. B. vier) von Videoservern 4A, 4B, 4C und 4D, einen Netzwerkspeicher (NAS) 5, einen Switcher 6, eine Bildkonvertierungseinheit 7, einen Utility-Server 8 und eine Vielzahl (z. B. sechzehn) von Bildgebungsvorrichtungen 10.
Im Folgenden bezieht sich der Begriff „Kamera“ auf die Bildgebungsvorrichtung 10. Beispielsweise bedeutet „Kameraanordnung“ die Anordnung einer Vielzahl von Bildgebungsvorrichtungen 10.
Wenn die Videoserver 4A, 4B, 4C und 4D gemeinsam genannt werden, ohne besonders hervorgehoben zu werden, werden sie auch als „Videoserver 4“ bezeichnet.
In diesem Bildverarbeitungssystem kann ein Free-Viewpoint-Bild, das einem Beobachtungsbild von einem beliebigen Blickpunkt in einem dreidimensionalen Raum entspricht, auf der Grundlage von aufgenommenen Bildern (z. B. Bilddaten V1 bis V16), die von einer Vielzahl von Bildgebungsvorrichtungen 10 erfasst wurden, erstellt werden, und ein Ausgabeclip, der das Free-Viewpoint-Bild enthält, kann erstellt werden.
In 1 ist der Verbindungszustand der einzelnen Teile durch eine durchgezogene, eine gestrichelte und eine doppelte Linie dargestellt.
Eine durchgezogene Linie zeigt die Verbindung einer seriellen digitalen Schnittstelle (SDI) an. SDI ist ein Schnittstellenstandard für die Verbindung von Übertragungsvorrichtungen, wie z. B. einer Kamera und eines Switchers, und unterstützt z. B. 4K. Die Bilddaten werden hauptsächlich über die SDI-Verkabelung zwischen den Geräten übertragen und empfangen.
Die Doppellinie zeigt die Verbindung eines Kommunikationsstandards zum Aufbau eines Computernetzwerks an, z. B. 10-Gigabit-Ethernet. Der Bilderstellungscontroller 1, der Free-Viewpoint-Bildserver 2, die Videoserver 3, 4A, 4B, 4C und 4D, der NAS 5 und der Utility-Server 8 sind über ein Computernetzwerk miteinander verbunden, so dass Bilddaten und verschiedene Steuersignale zu- und voneinander übertragen und empfangen werden können.
Eine gestrichelte Linie zwischen den Videoservern 3 und 4 zeigt einen Zustand an, in dem die Videoserver 3 und 4, die mit der Funktion zur gemeinsamen Nutzung von Dateien zwischen Servern ausgestattet sind, beispielsweise über ein 10G-Netzwerk verbunden sind. Dadurch kann jeder Videoserver zwischen dem Videoserver 3 und den Videoservern 4A, 4B, 4C und 4D Material in anderen Videoservern anzeigen und senden. Das bedeutet, dass ein System mit einer Vielzahl von Videoservern aufgebaut ist und eine effiziente Bearbeitung und Versendung von Highlights realisiert werden kann.
Jede Bildgebungsvorrichtung 10 ist als digitales Kameragerät mit einem Bildgebungselement, z. B. einem CCD-Sensor (Charge-Coupled Device) oder einem CMOS-Sensor (Complementary Metal-Oxide-Semiconductor), ausgebildet und erhält die aufgenommenen Bilder (Bilddaten V1 bis V16) als digitale Daten. In diesem Beispiel erhält jede Bildgebungsvorrichtung 10 ein aufgenommenes Bild in Form eines Bewegtbildes.
In diesem Beispiel nimmt jede Bildgebungsvorrichtung 10 ein Bild einer Situation auf, in der ein Wettkampf, wie z. B. Basketball oder Fußball, stattfindet, und jede Bildgebungsvorrichtung ist in einer vorbestimmten Ausrichtung an einer vorbestimmten Position in einer Wettkampfstätte angeordnet, in der der Wettkampf stattfindet. In diesem Beispiel beträgt die Anzahl der Bildgebungsvorrichtungen 10 sechzehn, aber die Anzahl der Bildgebungsvorrichtungen 10 kann mindestens zwei oder mehr betragen, um die Erstellung eines Free-Viewpoint-Bildes zu ermöglichen. Durch die Erhöhung der Anzahl der Bildgebungsvorrichtungen 10 und die Abbildung eines Zielmotivs aus einer größeren Anzahl von Winkeln kann die Genauigkeit der dreidimensionalen Wiederherstellung des Motivs und die Bildqualität des virtuellen Blickpunktbildes verbessert werden.
2 zeigt ein Anordnungsbeispiel der Bildgebungsvorrichtung 10 um ein Basketballfeld. Es wird davon ausgegangen, dass die Kreise (o) die Bildgebungsvorrichtungen 10 sind. Dies ist beispielsweise ein Kameraanordnungsbeispiel in einem Fall, in dem hauptsächlich die Nähe des Tors auf der linken Seite der Zeichnung aufgenommen werden soll. Natürlich sind die Anordnung und die Anzahl der Kameras nur Beispiele und sollten je nach Inhalt und Zweck der Aufnahmen und Übertragungen festgelegt werden.
Der Bilderstellungscontroller 1 enthält eine Informationsverarbeitungsvorrichtung. Der Bilderstellungscontroller 1 kann beispielsweise mit einer speziellen Workstation, einem Universal-Personal-Computer, einem mobilen Endgerät oder dergleichen realisiert werden.
Der Bilderstellungscontroller 1 übernimmt die Steuerung/Betriebsführung der Videoserver 3 und 4 sowie die Verarbeitung zur Erstellung von Clips.
Beispielsweise ist der Bilderstellungscontroller 1 eine vom Bediener OP1 bedienbare Vorrichtung. Der Bediener OP1 wählt zum Beispiel einen Clipinhalt aus und gibt eine Anweisung zur Erstellung des Clips.
Der Free-Viewpoint-Bildserver 2 ist als Informationsverarbeitungsvorrichtung ausgebildet, die einen Prozess zur Erstellung eines Free-Viewpoint-Bildes (Free View (FV)-Clip, der später beschrieben wird) gemäß einer Anweisung von dem Bilderstellungscontroller 1 oder dergleichen durchführt. Der Free-Viewpoint-Bildserver 2 kann auch z. B. mit einer dedizierten Workstation, einem Universal-PC, einem mobilen Endgerät oder dergleichen realisiert werden.
Der Free-Viewpoint-Bildserver 2 ist zum Beispiel eine Vorrichtung, die vom Bediener OP2 bedient werden kann. Der Bediener OP2 führt z. B. Arbeiten im Zusammenhang mit der Erstellung eines FV-Clips als Free-Viewpoint-Bild aus. Konkret führt der Bediener OP2 eine Bestimmungsoperation (Auswahloperation) der Kameraführung zur Erstellung des Free-Viewpoint-Bildes durch. In diesem Beispiel führt der Bediener OP2 auch die Arbeit der Erstellung einer Kameraführung aus.
Konfigurationen und Abläufe des Bilderstellungscontrollers 1 und des Free-Viewpoint-Bildservers 2 werden später im Detail beschrieben. Darüber hinaus führen die Bediener OP1 und OP2 Operationen durch, aber zum Beispiel können der Bilderstellungscontroller 1 und der Free-Viewpoint-Bildserver 2 nebeneinander angeordnet und von einem Bediener bedient werden.
Jeder der Videoserver 3 und 4 ist eine Bildaufzeichnungsvorrichtung und weist beispielsweise eine Datenaufzeichnungseinheit, wie ein Solid-State-Laufwerk (SSD) oder ein Festplattenlaufwerk (HDD), und eine Steuereinheit, die die Datenaufzeichnung und - wiedergabe der Datenaufzeichnungseinheit steuert, auf.
Jeder der Videoserver 4A, 4B, 4C und 4D kann beispielsweise Eingaben von vier Systemen empfangen, und jeder Videoserver zeichnet gleichzeitig Bilder auf, die von den vier Bildgebungsvorrichtungen 10 aufgenommen wurden.
Der Videoserver 4A zeichnet zum Beispiel die Bilddaten V1, V2, V3 und V4 auf. Der Videoserver 4B zeichnet die Bilddaten V5, V6, V7 und V8 auf. Der Videoserver 4C zeichnet die Bilddaten V9, V10, V11 und V12 auf. Der Videoserver 4D zeichnet die Bilddaten V13, V14, V15 und V16 auf.
Dadurch werden alle von den sechzehn Bildgebungsvorrichtungen 10 aufgenommenen Bilder gleichzeitig gespeichert.
Die Videoserver 4A, 4B, 4C und 4D nehmen z. B. während eines zu übertragenden Sportspiels ständig auf.
Der Videoserver 3 ist z.B. direkt mit dem Bilderstellungscontroller 1 verbunden und kann Eingaben von zwei Systemen empfangen und Daten an zwei Systeme ausgeben. Die Bilddaten Vp und Vq werden als Eingaben von zwei Systemen dargestellt. Als Bilddaten Vp und Vq können Bilder ausgewählt werden, die von zwei beliebigen Bildgebungsvorrichtungen 10 (zwei beliebige Bilddatenstücke V1 bis V16) aufgenommen wurden. Natürlich kann es sich bei dem aufgenommenen Bild auch um ein Bild handeln, das von einer anderen Bildgebungsvorrichtung aufgenommen wurde.
Der Bilderstellungscontroller 1 kann die Bilddaten Vp und Vq als Monitorbilder auf dem Display anzeigen. Der Bediener OP1 kann die Situation der aufgenommenen und für die Übertragung aufgezeichneten Szene z. B. anhand der in den Videoserver 3 eingegebenen Bilddaten Vp und Vq überprüfen.
Da die Videoserver 3 und 4 mit dem Dateifreigabestatus verbunden sind, kann der Bilderstellungscontroller 1 außerdem die von den Bildgebungsvorrichtungen 10 aufgenommenen Bilder, die auf den Videoservern 4A, 4B, 4C und 4D gespeichert sind, überwachen und anzeigen, und der Bediener OP1 kann die aufgenommenen Bilder nacheinander überprüfen.
Beachten Sie, dass in diesem Beispiel ein Timecode an ein Bild angehängt wird, das von jeder Bildgebungsvorrichtung 10 aufgenommen wurde, und dass die Bildsynchronisation bei der Verarbeitung in den Videoservern 3, 4A, 4B, 4C und 4D erreicht werden kann.
Der NAS 5 ist eine Speichervorrichtung, die in einem Netzwerk angeordnet ist und z. B. eine SSD, eine Festplatte oder dergleichen enthält. Im Falle dieses Beispiels handelt es sich bei dem NAS 5 um eine Vorrichtung, die für die Verarbeitung in dem Free-Viewpoint-Bildserver 2 speichert oder das erstellte Free-Viewpoint-Bild speichert, wenn einige Frames der in den Videoservern 4A, 4B, 4C und 4D aufgezeichneten Bilddaten V1, V2, ..., V16 zur Erstellung des Free-Viewpoint-Bildes übertragen werden.
Der Switcher 6 ist eine Vorrichtung, die ein über den Videoserver 3 ausgegebenes Bild eingibt und das Hauptleitungsbild PGMout auswählt, das schließlich ausgewählt und ausgestrahlt werden soll. Beispielsweise führt ein Rundfunkdirektor oder dergleichen die notwendigen Operationen durch.
Die Bildkonvertierungseinheit 7 führt z. B. die Auflösungskonvertierung und die Synthese von Bilddaten durch die Bildgebungsvorrichtung 10 durch, erstellt ein Überwachungsbild der Kameraanordnung und liefert das Überwachungsbild an den Utility-Server 8. Beispielsweise werden sechzehn Systeme von Bilddaten (V1 bis V16), die 8K-Bilder sein sollen, nach der Auflösungskonvertierung in 4K-Bilder in vier kachelartig angeordnete Bildsysteme umgewandelt, und die vier Bildsysteme werden an den Utility-Server 8 geliefert.
Der Utility-Server 8 ist eine Computervorrichtung, die in der Lage ist, verschiedene verwandte Prozesse durchzuführen. In diesem Beispiel ist der Utility-Server 8 eine Vorrichtung, die eine Kamerabewegung zur Kalibrierung erkennt. Der Utility-Server 8 überwacht beispielsweise die Bilddaten von der Bildkonvertierungseinheit 7, um Kamerabewegungen zu erkennen. Bei der Kamerabewegung handelt es sich beispielsweise um die Bewegung einer beliebigen Anordnungsposition der Bildgebungsvorrichtungen 10, die wie in 2 dargestellt angeordnet sind. Die Information über die Anordnungsposition der Bildgebungsvorrichtung 10 ist ein wichtiger Faktor für die Erstellung des Free-Viewpoint-Bildes, und es ist notwendig, die Parametereinstellung erneut vorzunehmen, wenn sich die Anordnungsposition ändert. Daher wird die Kamerabewegung überwacht.
<2. Konfiguration eines Bilderstellungscontrollers und eines Free-Viewpoint-Bildservers>
Der Bilderstellungscontroller 1, der Free-Viewpoint-Bildserver 2, die Videoserver 3 und 4 und der Utility-Server 8 mit der oben beschriebenen Konfiguration können beispielsweise als Informationsverarbeitungsvorrichtung 70 mit der in 3 dargestellten Konfiguration realisiert werden.
In 3 führt eine CPU 71 der Informationsverarbeitungsvorrichtung 70 verschiedene Prozesse gemäß einem im ROM 72 gespeicherten Programm oder einem aus der Speichereinheit 79 in das RAM 73 geladenen Programm aus. Das RAM 73 speichert auch in geeigneter Weise Daten und dergleichen, die die CPU 71 zur Ausführung verschiedener Prozesse benötigt.
Die CPU 71, das ROM 72 und das RAM 73 sind über einen Bus 74 miteinander verbunden. Eine Ein-/Ausgabeschnittstelle 75 ist ebenfalls mit dem Bus 74 verbunden.
An die Ein-/Ausgabeschnittstelle 75 ist eine Eingabeeinheit 76 mit einem Bediener und einer Bedienungsvorrichtung angeschlossen.
Als Eingabeeinheit 76 werden zum Beispiel verschiedene Bediener und Bedienungsvorrichtungen wie eine Tastatur, eine Maus, eine Taste, ein Drehknopf, ein Touchpanel, ein Touchpad und eine Fernbedienung angenommen.
Eine Operation des Benutzers wird von der Eingabeeinheit 76 erkannt, und ein der Eingabeoperation entsprechendes Signal wird von der CPU 71 interpretiert.
Darüber hinaus sind eine Anzeigeeinheit 77, die aus einer Flüssigkristallanzeige (LCD), einem organischen Elektrolumineszenz-(EL)-Panel oder dergleichen besteht, und eine Tonausgabeeinheit 78, die aus einem Lautsprecher oder dergleichen besteht, integral oder separat mit der Ein-/Ausgabeschnittstelle 75 verbunden.
Bei der Anzeigeeinheit 77 handelt es sich um eine Anzeigeeinheit, die verschiedene Anzeigen durchführt und beispielsweise eine Anzeigevorrichtung in einem Gehäuse der Informationsverarbeitungsvorrichtung 70, eine separate Anzeigevorrichtung, die mit der Informationsverarbeitungsvorrichtung 70 verbunden ist, oder dergleichen aufweist.
Die Anzeigeeinheit 77 führt die Anzeige eines Bildes für verschiedene Arten der Bildverarbeitung, eines zu verarbeitenden Bewegtbildes und dergleichen auf einem Anzeigebildschirm auf der Grundlage einer Anweisung von der CPU 71 aus. Außerdem zeigt die Anzeigeeinheit 77 verschiedene Betriebsmenüs, Symbole, Meldungen und dergleichen an, d. h. sie zeigt eine grafische Benutzeroberfläche (GUI) auf der Grundlage einer Anweisung der CPU 71 an.
In einigen Fällen sind eine Speichereinheit 79, die eine Festplatte, einen Festkörperspeicher oder dergleichen enthält, und eine Kommunikationseinheit 80, die aus einem Modem oder dergleichen besteht, mit der Ein-/Ausgabeschnittstelle 75 verbunden.
Die Kommunikationseinheit 80 führt die Kommunikationsverarbeitung über einen Übertragungsweg wie das Internet, die drahtgebundene/drahtlose Kommunikation mit verschiedenen Vorrichtungen, die Buskommunikation und dergleichen durch.
An die Ein-/Ausgabeschnittstelle 75 wird bei Bedarf auch ein Laufwerk 82 angeschlossen, und ein Wechseldatenträger 81 wie z. B. eine Magnetplatte, eine optische Platte, eine magneto-optische Platte oder ein Halbleiterspeicher, wird in geeigneter Weise montiert.
Eine Datendatei, wie z. B. eine Bilddatei MF, verschiedene Computerprogramme und dergleichen kann durch das Laufwerk 82 von dem Wechseldatenträger 81 ausgelesen werden. Die ausgelesene Datendatei wird in der Speichereinheit 79 gespeichert, und die in der Datendatei enthaltenen Bilder und Sounds werden von der Anzeigeeinheit 77 und der Tonausgabeeinheit 78 ausgegeben. Außerdem werden das Computerprogramm und dergleichen, die von dem Wechseldatenträger 81 ausgelesen werden, je nach Bedarf in der Speichereinheit 79 installiert.
In der Informationsverarbeitungsvorrichtung 70 kann die Software über die Kommunikationseinheit 80 oder den Wechseldatenträger 81 über Netzwerkkommunikation installiert werden. Alternativ kann die Software vorab im ROM 72, in der Speichereinheit 79 oder dergleichen gespeichert werden.
In einem Fall, in dem der Bilderstellungscontroller 1 und der Free-Viewpoint-Bildserver 2 mit einer solchen Informationsverarbeitungsvorrichtung 70 realisiert sind, werden die in 4 und 5 dargestellten Verarbeitungsfunktionen in der CPU 71 beispielsweise durch Software realisiert.
4 zeigt eine Abschnittsidentifikations-Verarbeitungseinheit 21, eine Zielbildübertragungs-Steuereinheit 22 und eine Ausgabebilderstellungseinheit 23 als Funktionen, die in der CPU 71 der Informationsverarbeitungsvorrichtung 70, die als Bilderstellungscontroller 1 dient, ausgebildet sind.
Die Abschnittsidentifikations-Verarbeitungseinheit 21 führt eine Verarbeitung zur Identifizierung eines Erstellungszielbildabschnitts als Erstellungsziel eines Free-Viewpoint-Bildes für eine Vielzahl von aufgenommenen Bildern (Bilddaten V1 bis V16) durch, die gleichzeitig von der Vielzahl von Bildgebungsvorrichtungen 10 aufgenommen wurden. Wenn der Bediener OP1 beispielsweise eine Szene auswählt, die in dem Bild wiedergegeben werden soll, wird ein Timecode für die Szene festgelegt, insbesondere ein Abschnitt (Zielbildabschnitt) der Szene, der ein Free-Viewpoint-Bild sein soll, und der Free-Viewpoint-Bildserver 2 wird über den Timecode informiert.
In diesem Fall bezieht sich der Erstellungszielbildabschnitt auf einen Bildabschnitt, der tatsächlich als Free-Viewpoint-Bild verwendet wird. Wenn ein Free-Viewpoint-Bild für ein Frame in einem Bewegtbild erstellt wird, ist dieses Frame der Erstellungszielbildabschnitt. In diesem Fall haben der In- und der Out-Punkt für das Free-Viewpoint-Bild denselben Timecode.
Außerdem ist in einem Fall, in dem ein Free-Viewpoint-Bild für einen Abschnitt einer Vielzahl von Frames in einem Bewegtbild erstellt wird, die Vielzahl von Frames der Erstellungszielbildabschnitt. In diesem Fall sind der In- und der Out-Punkt für das Free-Viewpoint-Bild unterschiedliche Timecodes.
Obwohl die Struktur des Clips später beschrieben wird, wird davon ausgegangen, dass der In-Punkt/Out-Punkt des Erstellungszielbildabschnitts sich von dem In-Punkt/Out-Punkt des endgültig zu erzeugenden Ausgabeclips unterscheidet. Das liegt daran, dass ein vorderer und ein hinterer Clip, die später beschrieben werden, gekoppelt sind.
Die Zielbildübertragungs-Steuereinheit 22 steuert die Übertragung von Bilddaten des Erstellungszielbildabschnitts in jedem der Vielzahl von aufgenommenen Bildern 10, d. h. eines oder mehrerer Einzelbilder der Bilddaten V1 bis V16, als Bilddaten, die zur Erstellung eines Free-Viewpoint-Bildes im Free-Viewpoint-Bildserver 2 verwendet werden. Konkret wird gesteuert, dass die Bilddaten als Erstellungszielbildabschnitt von den Videoservern 4A, 4B, 4C und 4D an den NAS 5 übertragen werden.
Die Ausgabebilderstellungseinheit 23 führt einen Prozess zur Erstellung eines Ausgabebildes (Ausgabeclip) durch, das das vom Free-Viewpoint-Bildserver 2 erstellte und empfangene Free-Viewpoint-Bild (FV-Clip) enthält.
Beispielsweise kombiniert der Bilderstellungscontroller 1 durch die Verarbeitung der Ausgabebild-Erstellungseinheit 23 auf der Zeitachse einen vorderen Clip, bei dem es sich um ein tatsächliches Bewegtbild zu einem früheren Zeitpunkt handelt, und einen hinteren Clip, bei dem es sich um ein tatsächliches Bewegtbild zu einem späteren Zeitpunkt handelt, mit einem FV-Clip, bei dem es sich um ein virtuelles Bild handelt, das vom Free-Viewpoint-Bildserver 2 erstellt wird, um einen Ausgabeclip zu erhalten. Das heißt, der vordere Clip + der FV-Clip + der hintere Clip werden als ein Ausgabeclip festgelegt.
Natürlich kann der vordere Clip + FV-Clip ein einziger Ausgabeclip sein.
Alternativ können der FV-Clip + der hintere Clip ein einziger Ausgabeclip sein.
Außerdem kann ein Ausgabeclip nur mit dem FV-Clip erstellt werden, ohne dass der vordere Clip und der hintere Clip gekoppelt sind.
In jedem Fall erstellt der Bilderstellungscontroller 1 einen Ausgabeclip, der den FV-Clip enthält, gibt den Ausgabeclip an den Switcher 6 aus und kann den Ausgabeclip für die Ausstrahlung verwenden.
5 zeigt eine Zielbilderfassungseinheit 31, eine Bilderstellungs-Verarbeitungseinheit 32, eine Übertragungssteuereinheit 33 und eine Kameraführungserstellungs-Verarbeitungseinheit 34 als Funktionen, die in der CPU 71 der Informationsverarbeitungsvorrichtung 70 gebildet werden, die als Free-Viewpoint-Bildserver 2 dient.
Die Zielbilderfassungseinheit 31 führt die Verarbeitung der Erfassung von Bilddaten eines Erstellungszielbildabschnitts als Erstellungsziel eines Free-Viewpoint-Bildes in jedem einer Vielzahl von aufgenommenen Bildern (Bilddaten V1 bis V16) durch, die gleichzeitig von der Vielzahl von Bildgebungsvorrichtungen 10 erfasst werden. Das heißt, die Bilddaten eines oder mehrerer Bilder, die durch den In-Punkt/Out-Punkt des durch die Funktion der Abschnittsidentifikations-Verarbeitungseinheit 21 von dem Bilderstellungscontroller 1 spezifizierten Erstellungszielbildabschnitts bestimmt sind, können von den Videoservern 4A, 4B, 4C und 4D über den NAS 5 erfasst und zur Erstellung eines Free-Viewpoint-Bildes verwendet werden.
Beispielsweise erfasst die Zielbilderfassungseinheit 31 die Bilddaten eines oder einer Vielzahl von Einzelbildern des Erstellungszielbildabschnitts für alle Bilddatenstücke V1 bis V16. Die Bilddaten des Erstellungszielbildabschnitts werden für alle Bilddatenstücke V1 bis V16 erfasst, um ein qualitativ hochwertiges Free-Viewpoint-Bild zu erzeugen. Wie oben beschrieben, ist es möglich, ein Free-Viewpoint-Bild zu erzeugen, indem Bilder verwendet werden, die von mindestens zwei oder mehr Bildgebungsvorrichtungen 10 aufgenommen wurden. Durch Erhöhen der Anzahl der Bildgebungsvorrichtungen 10 (d. h. der Anzahl der Blickpunkte) ist es jedoch möglich, ein feineres 3D-Modell zu erstellen und ein hochwertiges Free-Viewpoint-Bild zu erzeugen. Daher werden z. B. in einem Fall, in dem sechzehn Bildgebungsvorrichtungen 10 angeordnet sind, die Bilddaten des Erstellungszielbildabschnitts für alle Bilddatenstücke (V1 bis V16) der sechzehn Bildgebungsvorrichtungen 10 erfasst.
Die Bilderstellungs-Verarbeitungseinheit 32 ist eine Funktion der Erstellung eines Free-Viewpoint-Bildes, d. h. eines FV-Clips in diesem Beispiel, unter Verwendung der von der Zielbilderfassungseinheit 31 erfassten Bilddaten.
Beispielsweise führt die Bilderstellungs-Verarbeitungseinheit 32 die Modellierungsverarbeitung durch, einschließlich der Erstellung eines 3D-Modells und der Motivanalyse, sowie die Verarbeitung, wie z. B. das Rendern, um ein Free-Viewpoint-Bild zu erzeugen, das ein zweidimensionales Bild des 3D-Modells ist.
Die 3D-Modellerstellung ist die Verarbeitung der Erstellung von 3D-Modelldaten, die das Motiv in einem dreidimensionalen Raum darstellen (d. h. die dreidimensionale Struktur des Motivs wird aus dem zweidimensionalen Bild wiederhergestellt), auf der Grundlage des von jeder Bildgebungsvorrichtung 10 aufgenommenen Bildes und der Kameraparameter für jede Bildgebungsvorrichtung 10, die z. B. vom Utility-Server 8 oder dergleichen eingegeben werden. Zu den 3D-Modelldaten gehören insbesondere Daten, die das Motiv in einem dreidimensionalen Koordinatensystem (X, Y, Z) darstellen.
Bei der Motivanalyse werden die Position, die Ausrichtung und die Körperhaltung eines Motivs als Person (Spieler) auf der Grundlage der 3D-Modelldaten analysiert. Insbesondere wird eine Schätzung der Position des Motivs, die Erstellung eines einfachen Modells des Motivs, eine Schätzung der Orientierung des Motivs und dergleichen durchgeführt.
Anschließend wird auf der Grundlage der 3D-Modelldaten und der Informationen zur Motivanalyse ein Free-Viewpoint-Bild erstellt. So wird beispielsweise ein Free-Viewpoint-Bild erstellt, bei dem der Blickpunkt in Bezug auf ein 3D-Modell bewegt wird, in dem ein Spieler als Motiv stationär ist.
Der Blickwinkel des Free-Viewpoint-Bildes wird unter Bezugnahme auf 6A und 6B beschrieben.
6A zeigt ein Bild eines Free-Viewpoint-Bildes, bei dem ein Motiv von einem gewünschten Blickwinkel in einem dreidimensionalen Raum erfasst wird. Im Free-Viewpoint-Bild ist in diesem Fall das Motiv S1 im Wesentlichen von vorne und das Motiv S2 im Wesentlichen von hinten zu sehen.
6B zeigt ein Bild eines Virtual-Viewpoint-Bildes in einem Fall, in dem die Position des Blickpunkts in Richtung des Pfeils C in 6A geändert wird und der Blickpunkt für die Betrachtung des Motivs S1 im Wesentlichen von hinten eingestellt wird. In dem Free-Viewpoint-Bild von 6B ist das Motiv S2 im Wesentlichen von vorne zu sehen, und das Motiv S3 und das Korbtor, die in 6A nicht dargestellt sind, sind dargestellt.
Zum Beispiel wird der Blickpunkt ausgehend vom Zustand von 6A schrittweise in Richtung des Pfeils C verschoben, und ein Bild von etwa 1 Sekunde bis 2 Sekunden, das zum Zustand von 6B führt, wird als Free-Viewpoint-Bild (FV-Clip) erstellt. Natürlich können die Zeitlänge des FV-Clips als Free-Viewpoint-Bild und die Trajektorie der Blickpunktbewegung auf unterschiedliche Weise berücksichtigt werden.
In diesem Beispiel hat der Free-Viewpoint-Bildserver 2 (CPU 71) eine Funktion als Anzeigeverarbeitungseinheit 32a als Teil der Funktion der Bilderstellungs-Verarbeitungseinheit 32.
Die Anzeigeverarbeitungseinheit 32a führt die Verarbeitung der Anzeige des Kameraführungs-Bestimmungsbildschirms Gs durch, der die Bestimmungsoperation der Kameraführungsinformationen empfängt, die zur Erstellung des Free-Viewpoint-Bildes verwendet werden. Es ist zu beachten, dass die Einzelheiten der Kameraführung in Bezug auf das Free-Viewpoint-Bild und den Kameraführungs-Bestimmungsbildschirm Gs später noch einmal beschrieben werden.
Außerdem hat der Free-Viewpoint-Bildserver 2 in diesem Beispiel auch eine Funktion als Kameraführungsbearbeitungs-Verarbeitungseinheit 32b als Teil der Funktion der Bilderstellungs-Verarbeitungseinheit 32, aber die Funktion als Kameraführungsbearbeitungs-Verarbeitungseinheit 32b wird auch später beschrieben.
Die Übertragungssteuereinheit 33 steuert die Übertragung des von der Bilderstellungs-Verarbeitungseinheit 32 erstellten Free-Viewpoint-Bildes (FV-Clip) über den NAS 5 an den Bilderstellungscontroller 1. In diesem Fall steuert die Übertragungssteuereinheit 33 auch die Übertragung von Begleitinformationen zur Erstellung eines Ausgabebildes an den Bilderstellungscontroller 1. Bei den Begleitinformationen wird davon ausgegangen, dass es sich um Informationen handelt, die Bilder des vorderen und hinteren Clips bestimmen. Das heißt, es sind Informationen, die angeben, welches Bild der Bilddaten V1 bis V16 zum Erstellen (Ausschneiden) des vorderen Clips und des hinteren Clips verwendet werden. Außerdem werden auch Informationen über die Zeitlänge des vorderen oder hinteren Clips als Begleitinformationen angenommen.
Die Kameraführungserstellungs-Verarbeitungseinheit 34 führt die Verarbeitung in Bezug auf die Erstellung von Kameraführungsinformationen durch, die zur Erstellung eines Free-Viewpoint-Bildes verwendet werden. Bei der Erstellung des Free-Viewpoint-Bildes wird im Voraus eine Vielzahl von Kameraführungen erstellt, um verschiedenen Szenen gerecht zu werden. Um eine solche Vorerstellung der Kameraführung zu ermöglichen, wird in diesem Beispiel ein Softwareprogramm zur Erstellung der Kameraführung auf dem Free-Viewpoint-Bildserver 2 installiert. Die Kameraführungserstellungs-Verarbeitungseinheit 34 ist eine Funktion, die durch dieses Softwareprogramm realisiert wird, und führt einen Kameraführungs-Erstellungsprozess auf der Grundlage einer Bedienungseingabe des Benutzers durch.
Die Kameraführungserstellungs-Verarbeitungseinheit 34 hat eine Funktion als Anzeigeverarbeitungseinheit 34a. Die Anzeigeverarbeitungseinheit 34a führt eine Verarbeitung der Anzeige des Erstellungsoperationsbildschirms Gg durch, um den Empfang verschiedener Bedienungseingaben zur Erstellung der Kameraführung durch den Benutzer (in diesem Beispiel der Bediener OP2) zu ermöglichen.
<3. Umriss der GUI>
Mit Bezug auf 7 und 8 wird ein Umriss über den Kameraführungs-Bestimmungsbildschirm Gs, der zur Erstellung des Free-Viewpoint-Bildes verwendet wird, und den Erstellungsoperationsbildschirm Gg, der zur Erstellung der Kameraführung verwendet wird, beschrieben. In diesem Beispiel werden der Kameraführungs-Bestimmungsbildschirm Gs und der Erstellungsoperationsbildschirm Gg auf der Anzeigeeinheit 77 im Free-Viewpoint-Bildserver 2 angezeigt und können vom Bediener OP2 überprüft und bedient werden.
Auf dem in 7 dargestellten Kameraführungs-Bestimmungsbildschirm Gs sind ein Szenenfenster 41, eine Szenenlisten-Anzeigeeinheit 42, ein Kameraführungsfenster 43, eine Kameraführungslisten-Anzeigeeinheit 44, eine Parameter-Anzeigeeinheit 45 und ein Übertragungsfenster 46 angeordnet.
Im Szenenfenster 41 wird z. B. eine Monitoranzeige des Bildes des Erstellungszielbildabschnitts durchgeführt, und der Bediener OP2 kann den Inhalt der Szene, in der das Free-Viewpoint-Bild erstellt wird, überprüfen.
Beispielsweise wird eine Liste von Szenen, die als Erstellungszielbildabschnitt bestimmt sind, auf der Szenenlisten-Anzeigeeinheit 42 angezeigt. Der Bediener OP2 kann eine Szene auswählen, die im Szenenfenster 41 der Szenenlisten-Anzeigeeinheit 42 angezeigt werden soll.
Im Kameraführungsfenster 43 wird die Position der angeordneten Bildgebungsvorrichtung 10, die ausgewählte Kameraführung, eine Vielzahl von auswählbaren Kameraführungen oder dergleichen angezeigt.
In diesem Fall handelt es sich bei den Kameraführungsinformationen um Informationen, die zumindest eine Bewegungstrajektorie des Blickpunkts im Free-Viewpoint-Bild angeben. Wenn beispielsweise ein FV-Clip erstellt wird, bei dem die Position des Blickpunkts, die Sichtlinienrichtung und der Blickwinkel (Brennweite) in Bezug auf das Motiv, für das das 3D-Modell erstellt wurde, geändert werden, sind die Parameter, die für die Definition der Bewegungstrajektorie des Blickpunkts, des Änderungsmodus der Sichtlinienrichtung und des Änderungsmodus des Blickwinkels erforderlich sind, die Kameraführungsinformationen.
Im Kameraführungsfenster 43 werden zumindest Informationen, die die Bewegungstrajektorie des Blickpunkts visualisieren und angeben, als Anzeige der Kameraführung angezeigt.
Die Kameraführungslisten-Anzeigeeinheit 44 zeigt eine Liste von Informationsstücken über verschiedene Arten von Kameraführungen an, die im Voraus erstellt und gespeichert wurden. Der Bediener OP2 kann die für die FV-Clip-Erstellung zu verwendende Kameraführung aus den auf der Kameraführungslisten-Anzeigeeinheit 44 angezeigten Kameraführungen auswählen und bestimmen.
Auf der Parameter-Anzeigeeinheit 45 werden verschiedene Parameter für die ausgewählte Kameraführung angezeigt.
Im Übertragungsfenster 46 werden Informationen zur Übertragung des erstellten FV-Clips an den Bilderstellungscontroller 1 angezeigt.
Als nächstes wird der Erstellungsoperationsbildschirm Gg in 8 beschrieben.
Auf dem Erstellungsoperationsbildschirm Gg sind eine Voreinstellungslisten-Anzeigeeinheit 51, eine Kameraführungslisten-Anzeigeeinheit 52, ein Kameraführungsfenster 53, eine Bedienfeldeinheit 54 und ein Vorschaufenster 55 angeordnet.
Die Voreinstellungslisten-Anzeigeeinheit 51 kann selektiv eine Voreinstellungsliste von Kameras, eine Voreinstellungsliste von Zielen und eine Voreinstellungsliste von 3D-Modellen anzeigen.
Die Voreinstellungsliste von Kameras ist eine Liste von Positionsinformationen (Positionsinformationen in einem dreidimensionalen Raum) jeder Kamera, die vom Benutzer für die Kameraanordnungsposition am Standort voreingestellt wurde. Wie später beschrieben wird, werden bei Auswahl der Voreinstellungsliste von Kameras Informationen, die die Position jedes Identifikationsinformationsstücks (z. B. Kamera 1, Kamera 2, ..., Kamera 16) der Kamera angeben, in Listenform auf der Voreinstellungslisten-Anzeigeeinheit 51 angezeigt.
Außerdem bedeutet das Ziel in der Voreinstellungsliste von Zielen eine Zielposition, die eine Sichtlinienrichtung von einem Blickpunkt im Free-Viewpoint-Bild bestimmt. Bei der Erstellung des Free-Viewpoint-Bildes wird die Sichtlinienrichtung vom Blickpunkt aus auf das Ziel ausgerichtet.
Wenn die Voreinstellungsliste von Zielen ausgewählt wird, zeigt die Voreinstellungslisten-Anzeigeeinheit 51 eine Liste von Identifikationsinformationsstücken über die vom Benutzer voreingestellten Ziele und Informationen über die Positionen der Ziele an.
Im Folgenden wird das Ziel, das die Sichtlinienrichtung vom Blickpunkt im Free-Viewpoint-Bild wie oben beschrieben bestimmt, als „Ziel Tg“ bezeichnet.
Die Voreinstellungsliste von 3D-Modellen ist eine Voreinstellungsliste von 3D-Modellen, die als Hintergrund des Kameraführungsfensters 43 angezeigt werden sollen, und wenn die Voreinstellungsliste von 3D-Modellen ausgewählt wird, zeigt die Voreinstellungslisten-Anzeigeeinheit 51 eine Liste von Identifikationsinformationsstücken der voreingestellten 3D-Modelle an.
Die Kameraführungslisten-Anzeigeeinheit 52 kann eine Liste von Informationsstücken über die durch den Erstellungsoperationsbildschirm Gg erstellte Kameraführung und Informationen (Eintrag wird später beschrieben) über die durch den Erstellungsoperationsbildschirm Gg neu zu erstellende Kameraführung anzeigen.
Im Kameraführungsfenster 53 werden zumindest Informationen, die die Bewegungstrajektorie des Blickpunkts visualisieren und angeben, als Anzeige der Kameraführung angezeigt.
Die Bedienfeldeinheit 54 ist ein Bereich, der verschiedene Bedienungseingaben bei der Kameraführungserstellung empfängt.
Im Vorschaufenster 55 wird ein Beobachtungsbild von einem Blickpunkt aus angezeigt. In einem Fall, in dem eine Operation zum Bewegen des Blickpunkts auf der Bewegungstrajektorie durchgeführt wird, werden Beobachtungsbilder von den jeweiligen Blickpunktpositionen auf der Bewegungstrajektorie nacheinander im Vorschaufenster 55 angezeigt. Außerdem wird, wie später beschrieben, in einem Fall, in dem eine Operation zur Bestimmung einer Kamera aus der Voreinstellungsliste von Kameras in einem Zustand durchgeführt wird, in dem die Voreinstellungsliste von Kameras auf der Voreinstellungslisten-Anzeigeeinheit 51 angezeigt wird, ein Beobachtungsbild von der Anordnungsposition der Kamera im Vorschaufenster 55 dieses Beispiels angezeigt.
Beachten Sie, dass Einzelheiten des Kameraführungs-Bestimmungsbildschirms Gs und ein spezifisches Verfahren für die Bestimmung der Kameraführung, wie in 7 dargestellt, und Einzelheiten des Erstellungsoperationsbildschirms Gg und ein spezifisches Verfahren für die Erstellung der Kameraführung, wie in 8 dargestellt, später noch einmal beschrieben werden.
<4. Clip mit Free-Viewpoint-Bild>
Als nächstes wird ein Ausgabeclip beschrieben, der einen FV-Clip als Free-Viewpoint-Bild enthält.
10 zeigt einen Zustand, in dem ein vorderer Clip, ein FV-Clip und ein hinterer Clip als Beispiel für den Ausgabeclip verbunden sind.
Beispielsweise ist der vordere Clip ein aktuelles Bewegtbild in einem Abschnitt der Timecodes TC1 bis TC2 in bestimmten Bilddaten Vx unter den Bilddaten V1 bis V16.
Außerdem ist der hintere Clip ein aktuelles Bewegtbild in einem Abschnitt der Timecodes TC5 bis TC6 in bestimmten Bilddaten Vy unter den Bilddaten V1 bis V16.
Normalerweise wird davon ausgegangen, dass die Bilddaten Vx die Bilddaten der Bildgebungsvorrichtung 10 vor dem Anfang der Blickpunktbewegung durch den FV-Clip sind und die Bilddaten Vy die Bilddaten der Bildgebungsvorrichtung 10 am Ende der Blickpunktbewegung durch den FV-Clip sind.
In diesem Beispiel ist der vordere Clip ein Bewegtbild mit einer Zeitlänge t1, der FV-Clip ist ein Free-Viewpoint-Bild mit einer Zeitlänge t2, und der hintere Clip ist ein Bewegtbild mit einer Zeitlänge t3. Die Wiedergabezeitlänge des gesamten Ausgabeclips beträgt t1 + t2 + t3. Als Ausgabeclip für 5 Sekunden können zum Beispiel ein 1,5-Sekunden-Bewegtbild, ein 2-Sekunden-Free-Viewpoint-Bild, ein 1,5-Sekunden-Bewegtbild und dergleichen in Betracht gezogen werden.
Hier wird der FV-Clip als ein Abschnitt der Timecodes TC3 bis TC4 dargestellt, der jedoch nicht unbedingt der Anzahl der Bilder des tatsächlichen Bewegtbildes entspricht.
Das heißt, dass es beim FV-Clip einen Fall gibt, in dem der Blickpunkt in einem Zustand bewegt wird, in dem die Zeit des Bewegtbildes angehalten wird (TC3 = TC4), und einen Fall, in dem der Blickpunkt bewegt wird, ohne die Zeit des Bewegtbildes anzuhalten (TC3 / TC4).
Zur Beschreibung wird ein FV-Clip in einem Fall, in dem der Blickpunkt in einem Zustand bewegt wird, in dem die Zeit des Bewegtbildes angehalten wird, als „Standbild-FV-Clip“ bezeichnet, und ein FV-Clip in einem Fall, in dem der Blickpunkt ohne Anhalten der Zeit des Bewegtbildes bewegt wird, als „Bewegtbild-FV-Clip“.
10 zeigt den Standbild-FV-Clip in Bezug auf das Frame des Bewegtbildes. In diesem Beispiel sind die Timecodes TC1 und TC2 des vorderen Clips die Timecodes der Frames F1 und F81, und der Timecode des folgenden Frames F82 ist der Timecode TC3 = TC4 in 9. Die Timecodes TC5 und TC6 des hinteren Clips sind die Timecodes der Frames F83 und F166.
Dies ist der Fall, wenn ein Free-Viewpoint-Bild erstellt wird, bei dem sich der Blickpunkt in Bezug auf das Standbild eines Frames des Frames F82 bewegt.
Der Bewegtbild-FV-Clip ist in 11 dargestellt. In diesem Beispiel sind die Timecodes TC1 und TC2 des vorderen Clips die Timecodes der Frames F1 und F101, und die Timecodes der Frames F102 und F302 sind die Timecodes TC3 und TC4 in 9. Die Timecodes TC5 und TC6 des hinteren Clips sind die Timecodes der Frames F303 und F503.
Das heißt, in diesem Fall wird ein Free-Viewpoint-Bild, in dem sich der Blickpunkt bewegt, für ein Bewegtbild in einem Abschnitt einer Vielzahl von Frames von Frame F102 bis Frame 302 erstellt.
Daher ist der vom Bilderstellungscontroller 1 bestimmte Erstellungszielbildabschnitt ein Abschnitt eines Frames des Frames F82 im Fall der Erstellung des Standbild-FV-Clips von 10 und ein Abschnitt einer Vielzahl von Frames vom Frame F102 bis zum Frame 302 im Fall der Erstellung des Bewegtbild-FV-Clips von 11.
12 zeigt ein Beispiel für den Bildinhalt des Ausgabeclips im Beispiel des Standbild-FV-Clips von 10.
In 12 ist der vordere Clip ein aktuelles Bewegtbild von Frame F1 bis Frame F81. Der FV-Clip ist ein virtuelles Bild, in dem der Blickpunkt in der Szene des Frames F81 verschoben wird. Der hintere Clip ist ein aktuelles Bewegtbild von Frame F83 bis Frame F166.
So wird beispielsweise der Ausgabeclip einschließlich des FV-Clips auf diese Weise erstellt und als Bild für die Übertragung verwendet.
<5. Clip-Erstellungsprozess>
Nachfolgend wird ein Verarbeitungsbeispiel für die Erstellung von Ausgabeclips beschrieben, das im Bildverarbeitungssystem von 1 durchgeführt wird. Im Wesentlichen wird die Verarbeitung des Bilderstellungscontrollers 1 und des Free-Viewpoint-Bildservers 2 beschrieben.
Zunächst wird ein Verarbeitungsablauf mit den Bedienern OP1 und OP2 unter Bezugnahme auf 13 beschrieben. Es ist zu beachten, dass die Verarbeitung des Bedieners OP1 in 13 die GUI-Verarbeitung und die Bedieneroperation des Bilderstellungscontrollers 1 gemeinsam darstellt. Außerdem veranschaulicht die Verarbeitung des Bedieners OP2 die GUI-Verarbeitung und die Bedieneroperation des Free-Viewpoint-Bildservers 2.
Schritt S1: Auswahl einer Szene
Wenn ein Ausgabeclip erstellt wird, wählt der Bediener OP1 zunächst eine Szene als FV-Clip aus. Beispielsweise sucht der Bediener OP1 nach einer Szene, die ein FV-Clip sein soll, während er das aufgenommene Bild beobachtet, das auf der Anzeigeeinheit 77 auf der Seite des Bilderstellungscontrollers 1 angezeigt wird. Dann wird ein Erstellungszielbildabschnitt aus einem oder mehreren Frames ausgewählt.
Die Informationen des Erstellungszielbildabschnitts werden an den Free-Viewpoint-Bildserver 2 übertragen, und der Bediener OP2 kann den Erstellungszielbildabschnitt über die GUI auf der Anzeigeeinheit 77 auf der Seite des Free-Viewpoint-Bildservers 2 erkennen.
Konkret handelt es sich bei den Informationen über den Erstellungszielbildabschnitt um Informationen über die Timecodes TC3 und TC4 in 9. Wie oben beschrieben, sind die Timecodes im Fall des Standbild-FV-Clips TC3 = TC4.
Schritt S2: Anweisung zur Übertragung von Szenenbildern
In Reaktion auf die Bestimmung des Erstellungszielbildabschnitts führt der Bediener OP2 eine Operation durch, bei der er eine Anweisung zur Übertragung des Bildes der entsprechenden Szene gibt. In Reaktion auf diese Operation überträgt der Free-Viewpoint-Bildserver 2 eine Übertragungsanforderung für Bilddaten im Abschnitt der Timecodes TC3 und TC4 an den Bilderstellungscontroller 1.
Schritt S3: Synchroner Ausschnitt
In Reaktion auf die Bilddaten-Übertragungsanforderung steuert der Bilderstellungscontroller 1 die Videoserver 4A, 4B, 4C und 4D und veranlasst die Videoserver, den Abschnitt der Timecodes TC3 und TC4 für jedes der sechzehn Bilddatensysteme aus den Bilddaten V1 und den Bilddaten V16 auszuschneiden.
Schritt S4: NAS-Übertragung
Anschließend überträgt der Bilderstellungscontroller 1 die Daten im Abschnitt aller Timecodes TC3 und TC4 der Bilddaten V1 bis V16 an den NAS 5.
Schritt S5: Anzeige von Miniaturbildern
Der Free-Viewpoint-Bildserver 2 zeigt die Miniaturbilder der Bilddatenstücke V1 bis V16 im Abschnitt der zum NAS 5 übertragenen Timecodes TC3 und TC4 an.
Schritt S6: Überprüfung der Szene
Der Bediener OP2 prüft den Szeneninhalt des Abschnitts, der durch die Timecodes TC3 und TC4 auf dem Kameraführungs-Bestimmungsbildschirm Gs angegeben ist, durch den Free-Viewpoint-Bildserver 2.
Schritt S7: Auswählen der Kameraführung
Der Bediener OP2 wählt (bestimmt) auf dem Kameraführungs-Bestimmungsbildschirm Gs die Kameraführung aus, die er je nach dem Inhalt der Szene für geeignet hält.
Schritt S8: Ausführung der Erstellung
Nach der Auswahl der Kameraführung führt der Bediener OP2 eine Operation zur Erstellung des FV-Clips durch.
Schritt S9: Modellierung
Der Free-Viewpoint-Image-Server 2 erstellt ein 3D-Modell des Motivs, analysiert das Motiv und dergleichen unter Verwendung von Daten von Frames jeweils im Abschnitt der Timecodes TC3 und TC4 in den Bilddaten V1 bis V16 sowie von Parametern wie der im Voraus eingegebenen Anordnungsposition der einzelnen Bildgebungsvorrichtungen 10.
Schritt S10: Rendering
Der Free-Viewpoint-Bildserver 2 erstellt auf der Basis der 3D-Modelldaten und der
Motivanalyseinformationen ein Free-Viewpoint-Bild. Zu diesem Zeitpunkt wird ein Free-Viewpoint-Bild erstellt, so dass die Blickpunktbewegung auf der Grundlage der in Schritt S7 ausgewählten Kameraführung durchgeführt wird.
Schritt S11: Übertragung
Der Free-Viewpoint-Bildserver 2 überträgt den erstellten FV-Clip an den Bilderstellungscontroller 1. Dabei können nicht nur der FV-Clip, sondern auch die Bestimmungsinformationen des vorderen Clips und des hinteren Clips sowie die Bestimmungsinformationen der Zeitlängen des vorderen Clips und des hinteren Clips als Begleitinformationen übertragen werden.
Schritt S12: Qualitätskontrolle
Beachten Sie, dass auf der Seite des Free-Viewpoint-Bildserver 2 die Qualitätsprüfung durch den Bediener OP2 vor oder nach der Übertragung in Schritt S11 durchgeführt werden kann. Das heißt, der Free-Viewpoint-Bildserver 2 reproduziert den erstellten FV-Clip und zeigt ihn auf dem Kameraführungs-Bestimmungsbildschirm Gs an, damit der Bediener OP2 den FV-Clip überprüfen kann. In einigen Fällen ist es auch möglich, dass der Bediener OP2 die Generierung des FV-Clips erneut durchführt, ohne die Übertragung auszuführen.
Schritt S13: Erstellung von Wiedergabelisten
Der Bilderstellungscontroller 1 erstellt einen Ausgabeclip unter Verwendung des übertragenen FV-Clips. In diesem Fall werden der vordere Clip und der hintere Clip mit dem FV-Clip auf der Zeitachse gekoppelt, um den Ausgabeclip zu erstellen.
Der Ausgabeclip kann als Streamdaten erstellt werden, bei dem jedes Frame als vorderer Clip, jedes virtuell erstellte Frame als FV-Clip und jedes Frame als hinterer Clip tatsächlich in einer Zeitreihe verbunden sind. In diesem Verarbeitungsbeispiel sind die Frames jedoch virtuell als Wiedergabeliste verbunden.
Das heißt, die Wiedergabeliste wird so erstellt, dass der FV-Clip nach der Wiedergabe des Frameabschnitts als vorderer Clip wiedergegeben wird und der Frameabschnitt als nachfolgender Clip danach wiedergegeben wird, so dass der Ausgabeclip wiedergegeben werden kann, ohne dass die tatsächlich als Ausgabeclip verbundenen Streamdaten erstellt werden.
Schritt S14: Qualitätskontrolle
Die GUI auf der Seite des Bilderstellungscontrollers 1 führt die Wiedergabe auf der Grundlage der Wiedergabeliste durch, und der Bediener OP1 überprüft den Inhalt des Ausgabeclips.
Schritt S15: Wiedergabeanweisung
Der Bediener OP1 gibt eine Wiedergabeanweisung durch eine vorbestimmte Operation entsprechend der Qualitätsbestätigung. Der Bilderstellungscontroller 1 erkennt die Eingabe der Wiedergabeanweisung.
Schritt S16: Wiedergabe
In Reaktion auf die Wiedergabeanweisung liefert der Bilderstellungscontroller 1 den Ausgabeclip an den Switcher 6. Dadurch kann die Übertragung des Ausgabeclips ausgeführt werden.
<6. Erkennung einer Kameravariation>
Um ein Free-Viewpoint-Bild zu erzeugen, da ein 3D-Modell unter Verwendung der Bilddaten V1, V2, , V16 erstellt wird, sind Parameter wichtig, die Positionsinformationen für jede Bildgebungsvorrichtung 10 beinhalten.
Wenn beispielsweise die Position einer bestimmten Bildgebungsvorrichtung 10 verschoben oder die Bildgebungsrichtung in der Schwenkrichtung, der Neigungsrichtung oder dergleichen mitten in der Übertragung geändert wird, muss der entsprechende Parameter kalibriert werden. Daher erkennt der Utility-Server 8 im Bildverarbeitungssystem von 1 die Variation der Kamera. Hier bedeutet die Variation der Kamera, dass sich mindestens die Position oder die Bildgebungsrichtung der Kamera ändert.
Ein Verarbeitungsverfahren des Bilderstellungscontrollers 1 und des Utility-Servers 8 zum Zeitpunkt der Erkennung der Variation der Kamera wird unter Bezugnahme auf 14 beschrieben. 14 stellt ein Verarbeitungsverfahren in einem Format dar, das dem von 13 ähnlich ist, doch der Bediener OP2 führt ebenfalls eine Operation auf dem Utility-Server 8 durch.
Schritt S30: HD-Ausgabe
Der Bilderstellungscontroller 1 steuert die Bildkonvertierungseinheit 7 zur Ausgabe von Bilddaten von den Videoservern 4A, 4B, 4C und 4D für die Kamerabewegungserkennung. Die Bilder von den Videoservern 4A, 4B, 4C und 4D, d. h. die Bilder der sechzehn Bildgebungsvorrichtungen 10, werden von der Bildkonvertierungseinheit 7 einer Auflösungskonvertierung unterzogen und an den Utility-Server 8 weitergeleitet.
Schritt S31: Erstellung des Hintergrunds
Der Utility-Server 8 erstellt auf der Grundlage des gelieferten Bildes ein Hintergrundbild. Da es sich bei dem Hintergrundbild um ein Bild handelt, das sich nicht ändert, es sei denn, es findet ein Wechsel der Kamera statt, wird beispielsweise für Bilddaten von sechzehn Systemen (V1 bis V16) ein Hintergrundbild ohne ein Motiv, wie z. B. einen Spieler, erstellt.
Schritt S32: Prüfung der Differenz
Das Hintergrundbild wird als GUI angezeigt, so dass der Bediener OP2 eine Veränderung des Bildes überprüfen kann.
Schritt S33: Automatische Erkennung von Variationen
Es ist auch möglich, automatisch eine Variation der Kamera zu erkennen, indem zu jedem Zeitpunkt eine Vergleichsverarbeitung des Hintergrundbildes durchgeführt wird.
Schritt S34: Erkennung von Kameravariationen
Als Ergebnis von Schritt S33 oder Schritt S32 wird eine Variation einer bestimmten Bildgebungsvorrichtung 10 erkannt.
Schritt S35: Bilderfassung
In Reaktion auf die Erkennung einer Variation in der Bildgebungsvorrichtung 10 ist eine Kalibrierung erforderlich. Daher fordert der Utility-Server 8 den Bilderstellungscontroller 1 auf, die Bilddaten im geänderten Zustand anzufordern.
Schritt S36: Clip-Ausschnitt
Der Bilderstellungscontroller 1 steuert die Videoserver 4A, 4B, 4C und 4D als Reaktion auf eine Anforderung zur Bilderfassung vom Utility-Server 8 und veranlasst die Videoserver, einen Clip-Ausschnitt für die Bilddaten V1 bis V16 auszuführen.
Schritt S37: NAS-Übertragung
Der Bilderstellungscontroller 1 steuert die Videoserver 4A, 4B, 4C und 4D, um die ausgeschnittenen Bilddaten als Clip an den NAS 5 zu übertragen.
Schritt S38: Korrektur von Merkmalspunkten
Durch die Übertragung zum NAS 5 kann der Utility-Server 8 das Bild im Zustand nach dem Kamerawechsel abrufen und anzeigen. Der Bediener OP2 führt eine für die Kalibrierung notwendige Operation durch, z. B. die Korrektur von Merkmalspunkten.
Schritt S39: Neukalibrierung
Der Utility-Server 8 führt die Kalibrierung zur Erstellung des 3D-Modells anhand der Bilddaten (V1 bis V16) im Zustand nach der Kameravariation erneut durch.
Schritt S40: Wiedererwerb des Hintergrunds
Nach der Kalibrierung fordert der Utility-Server 8 als Reaktion auf die Operation durch den Bediener OP2 die erneute Erfassung von Bilddaten für das Hintergrundbild an.
Schritt S41: Clip-Ausschnitt
Der Bilderstellungscontroller 1 steuert die Videoserver 4A, 4B, 4C und 4D als Reaktion auf eine Anforderung zur Bilderfassung vom Utility-Server 8 und veranlasst die Videoserver, einen Clip-Ausschnitt für die Bilddaten V1 bis V16 auszuführen.
Schritt S42: NAS-Übertragung
Der Bilderstellungscontroller 1 steuert die Videoserver 4A, 4B, 4C und 4D, um die ausgeschnittenen Bilddaten als Clip an den NAS 5 zu übertragen.
Schritt S43: Erstellung des Hintergrunds
Der Utility-Server 8 erstellt aus den an den NAS 5 übertragenen Bilddaten ein Hintergrundbild. Dabei handelt es sich beispielsweise um ein Hintergrundbild, das als Referenz für die anschließende Erkennung von Kameravariationen dient.
Durch die Durchführung der Erkennung und Kalibrierung von Kameravariationen wie im obigen Verfahren wird der Parameter beispielsweise auch dann entsprechend korrigiert, wenn sich die Position oder die Bildgebungsrichtung der Bildgebungsvorrichtung 10 während der Übertragung ändert, so dass ein genauer FV-Clip kontinuierlich erstellt werden kann.
<7. GUI für die Erstellung der Kameraführung>
Im Folgenden werden Einzelheiten des in 8 dargestellten Erstellungsoperationsbildschirms Gg, ein Beispiel für ein Verfahren zur Erstellung einer Kameraführung und verschiedene Funktionen im Zusammenhang mit der Erstellung einer Kameraführung unter Bezugnahme auf 15 bis 51 beschrieben.
15 ist ein Diagramm, das einen Anfangsbildschirm des Erstellungsoperationsbildschirms Gg zeigt.
Wie oben beschrieben, sind die Voreinstellungslisten-Anzeigeeinheit 51, die Kameraführungslisten-Anzeigeeinheit 52, das Kameraführungsfenster 53, die Bedienfeldeinheit 54 und das Vorschaufenster 55 auf dem Erstellungsoperationsbildschirm Gg angeordnet.
Wie dargestellt, ist die Voreinstellungslisten-Anzeigeeinheit 51 mit einer Kamerataste B1, einer Zieltaste B2 und einer 3D-Modell-Taste B3 ausgestattet. Die Kamerataste B1 ist eine Taste, mit der eine Anweisung zur Anzeige der oben beschriebenen Voreinstellungsliste von Kameras auf der Voreinstellungslisten-Anzeigeeinheit 51 gegeben wird, und die Zieltaste B2 und die 3D-Modell-Taste B3 sind Tasten, mit denen eine Anweisung zur Anzeige der oben beschriebenen Voreinstellungsliste von Zielen und der Voreinstellungsliste von 3D-Modellen als Hintergrund auf der Voreinstellungslisten-Anzeigeeinheit 51 gegeben wird.
In der Zeichnung ist die Kamerataste B1 durch einen Unterstrich gekennzeichnet, was bedeutet, dass die Voreinstellungslistenanzeige der Kamera ausgewählt ist.
Die Voreinstellungslisten-Anzeigeeinheit 51 ist mit einer Ordnerverweistaste B4 ausgestattet. Durch Betätigen der Ordnerverweistaste B4 kann der Benutzer auf einen Ordner verweisen, in dem Daten gespeichert sind, die als Liste auf der Voreinstellungslisten-Anzeigeeinheit 51 angezeigt werden sollen.
In der Kameraführungslisten-Anzeigeeinheit 52 ist eine Neuerstellungstaste B5 vorgesehen. Der Benutzer kann durch Betätigen der Neuerstellungstaste B5 eine Anweisung zum Hinzufügen eines neuen Eintrags der Kameraführung erteilen. Der hinzugefügte Eintrag der Kameraführung wird auf der Kameraführungslisten-Anzeigeeinheit 52 angezeigt.
Das Kameraführungsfenster 53 ist mit einer X-Blickpunkttaste B6, einer Y-Blickpunkttaste B7, einer Z-Blickpunkttaste B8, einer Ca-Blickpunkttaste B9 und einer Pe-Blickpunkttaste B10 versehen. Jede dieser Blickpunkttasten ist eine Taste zur Festlegung eines Beobachtungsblickpunkts für ein Motiv, das im Kameraführungsfenster 53 angezeigt werden soll. Insbesondere sind die X-Blickpunkttaste B6, die Y-Blickpunkttaste B7 und die Z-Blickpunkttaste B8 Tasten, um jeweils den Blickpunkt auf der X-Achse, den Blickpunkt auf der Y-Achse und den Blickpunkt auf der Z-Achse als Blickpunkte zum Beobachten der Visualisierungsinformationen der im Kameraführungsfenster 53 angezeigten Kameraführungsinformationen anzuweisen, und die Pe-Blickpunkttaste B10 ist eine Taste zum Anweisen des Wechsels in einen Modus zum Ändern des Beobachtungsblickpunkts der Visualisierungsinformationen der Kameraführungsinformationen in eine beliebige Position. Die Ca-Blickpunkttaste B9 ist eine Taste, mit der eine Anweisung zur Anzeige eines Bildes gegeben werden kann, das durch Beobachtung des dreidimensionalen Zielraums anhand der als Kameraführungsinformationen definierten Blickpunkt-Bewegungstrajektorie gewonnen wird. Beachten Sie, dass die 58 bis 62, die weiter unten beschrieben werden, Bilder des X-Achsen-Blickpunkts, des Y-Achsen-Blickpunkts, des Z-Achsen-Blickpunkts, des Pe-Blickpunkts und des Ca-Blickpunkts enthalten.
In diesem Fall kann auf dem Erstellungsoperationsbildschirm Gg das Anzeigebild im Kameraführungsfenster 53 oder im Vorschaufenster 55 entsprechend einer vorbestimmten Operation, wie z. B. einer Radoperation einer Maus, vergrößert oder verkleinert werden. Darüber hinaus kann das Anzeigebild im Kameraführungsfenster 53 und im Vorschaufenster 55 entsprechend einer vorbestimmten Operation, wie z. B. einer Ziehoperation, gescrollt werden. Es ist zu beachten, dass die Vergrößerung, Verkleinerung und das Scrollen des Anzeigebildes durch die Betätigung einer Taste auf dem Bildschirm erfolgen kann.
Die Bedienfeldeinheit 54 ist mit einer Wiedergabetaste B11, einer Pausentaste B12, einer Stopptaste B13, einer Zeitachsen-Bedienungseinheit 54a, einer Geschwindigkeitseinstellungs-Bedienungseinheit 56 und einer Trajektorieformeinstellungs-Bedienungseinheit 57 ausgestattet.
Die Wiedergabetaste B11, die Pausentaste B12 und die Stopptaste B13 sind Tasten, mit denen die Wiedergabe, die Pause und das Anhalten des Visualisierungsbildes der im Kameraführungsfenster 53 angezeigten Kameraführungsinformationen bzw. des im Vorschaufenster 55 angezeigten Beobachtungsbildes aus der Sicht des Betrachters angewiesen werden. Die Wiedergabetaste B11, die Pausentaste B12 und die Stopptaste B13 werden zumindest dann aktiviert, wenn die Information über die Bewegungstrajektorie des Blickpunkts als Kameraführungsinformationen bestimmt wird.
Die Zeitachsen-Bedienungseinheit 54a ist ein Bereich, der eine Operation empfängt, die sich auf die Erstellung der Kameraführung auf der Zeitachse bezieht, die den Bewegungszeitraum des Blickpunkts des Free-Viewpoint-Bildes darstellt. Zu den Beispielen für die Bedienung der Zeitachsen-Bedienungseinheit 54a gehört das Ziehen und Ablegen einer der in der Voreinstellungslisten-Anzeigeeinheit 51 aufgelisteten Kameras an eine beliebige Position auf der Zeitachse (d. h. einen beliebigen Zeitpunkt innerhalb des Bewegungszeitraums des Blickpunkts) (siehe 27 bis 29). Wie später noch beschrieben wird, dient diese Operation zur Bestimmung des Zeitpunkts, zu dem der Blickpunkt die Position der gezogenen und abgelegten Kamera innerhalb des Blickpunktbewegungszeitraums durchläuft.
In der Geschwindigkeitseinstellungs-Bedienungseinheit 56 sind verschiedene Bedientasten zur Einstellung der Bewegungsgeschwindigkeit des Blickpunkts angeordnet. In der Trajektorieformeinstellungs-Bedienungseinheit 57 sind verschiedene Bedientasten zur Anpassung der Form der Bewegungstrajektorie des Blickpunkts angeordnet.
Die Geschwindigkeitseinstellungs-Bedienungseinheit 56 und die Trajektorieformeinstellungs-Bedienungseinheit 57 werden später beschrieben.
Ein Kameraführungs-Erstellungsverfahren und verschiedene Funktionen im Zusammenhang mit der Erstellung einer Kameraführung werden beschrieben.
Zunächst führt der Benutzer (in diesem Beispiel Bediener OP2) eine Operation zur Erfassung einer Voreinstellungsliste von Kameras durch, wie in 16 dargestellt. Mit dieser Operation wird eine Voreinstellungsliste von Kameras erfasst, die die Positionen der tatsächlich am Standort installierten Kameras angibt.
Die Voreinstellungsliste der Kameras wird durch Betätigen der Ordnerverweistaste B4 erfasst, um den entsprechenden Ordner zu bestimmen.
Wenn ein Ordner bestimmt wird, führt die Anzeigeverarbeitungseinheit 34a die Verarbeitung der Anzeige einer Voreinstellungsliste von Kameras entsprechend dem Dateninhalt des bestimmten Ordners auf der Voreinstellungslisten-Anzeigeeinheit 51 durch.
Gleichzeitig führt die Anzeigeverarbeitungseinheit 34a eine Verarbeitung der Anzeige von Informationen durch, die die Anordnung jeder Kamera auf dem Kameraführungsfenster 53 auf der Grundlage der erfassten Positionsinformationen der Kamera visuell anzeigen. Insbesondere wird die Verarbeitung zur Anzeige einer Kamerapositionsmarke Mc, die die Position jeder Kamera angibt, durchgeführt.
Es ist zu beachten, dass bei der Anzeige der Kamerapositionsmarke Mc jede Kamera durch eine Farbcodierung identifiziert werden kann. Beispielsweise kann jede Kamera in der Voreinstellungsliste von Kameraliste farblich gekennzeichnet werden, und jede Kamerapositionsmarke Mc kann durch dieselbe Farbcodierung im Kameraführungsfenster 43 angezeigt werden.
Darüber hinaus ist es auch denkbar, im Kameraführungsfenster 53 die Identifikationsinformationen (z. B. Kamera 1, Kamera 2, ..., Kamera X und dergleichen) der Kamera für die Mouse-over-Kamerapositionsmarke Mc anzuzeigen.
In diesem Beispiel kann das 3D-Modell, das als Hintergrund angezeigt wird, im Kameraführungsfenster 53 geändert werden.
Bei der Beschreibung der Änderung des 3D-Hintergrundmodells unter Bezugnahme auf 17 und 18 betätigt der Benutzer in einem Fall, in dem er das 3D-Hintergrundmodell ändern möchte, die 3D-Modell-Taste B3, um den Anzeigezustand der Voreinstellungslisten-Anzeigeeinheit 51 auf den Anzeigezustand der Voreinstellungsliste von 3D-Modellen zu setzen. In diesem Anzeigezustand werden in der Voreinstellungslisten-Anzeigeeinheit 51 eine Standardbestimmungstaste B14, eine Rasterbestimmungstaste B15 und eine N/A-Bestimmungstaste B16, wie in der Zeichnung dargestellt, angezeigt, und der Benutzer kann das 3D-Hintergrundmodell durch Betätigung dieser Tasten umschalten. Hier ist die Standardbestimmungstaste B14 eine Taste zum Anweisen des Umschaltens auf ein 3D-Hintergrundmodell (z. B. ein 3D-Modell, das eine Bühne, einen Boden oder dergleichen anzeigt), das im Voraus als eine Anfangseinstellung vorbereitet wurde, und die Rasterbestimmungstaste B15 ist eine Taste zum Anweisen des Umschaltens auf ein 3D-Hintergrundmodell (z. B. eine Rasterlinie, ein Quadrat oder dergleichen), dessen Abstand und Winkel visuell erkannt werden können. Außerdem ist die N/A-Bestimmungstaste B16 eine Taste, mit der die Anzeige des 3D-Hintergrundmodells ausgeschaltet werden kann.
17 zeigt ein Beispiel des 3D-Hintergrundmodells des Kameraführungsfensters 53 für den Fall, dass die Rasterbestimmungstaste B15 betätigt wird. Darüber hinaus zeigt 18 ein Beispiel des 3D-Hintergrundmodells des Kameraführungsfensters 53 für den Fall, dass die Standardbestimmungstaste B14 betätigt wird.
Um mit der Erstellung der Kameraführung zu beginnen, betätigt der Benutzer die Neuerstellungstaste B5, wie in 19 dargestellt.
Als Reaktion auf die Betätigung der Neuerstellungstaste B5 zeigt die Anzeigeverarbeitungseinheit 34a einen neuen Eintrag für eine Kameraführung auf der Kameraführungslisten-Anzeigeeinheit 52 an. In diesem Eintrag wird eine Bedienungseinheit angezeigt, mit der die In-Kamera als Startpunkt der Blickpunktbewegung und die Out-Kamera als Endpunkt der Blickpunktbewegung festgelegt wird.
Da in diesem Beispiel bei der Erstellung des Free-Viewpoint-Bildes die auf dem von der Kamera aufgenommenen Bild basierende Textur in das 3D-Modell des Motivs eingefügt wird, ist es wünschenswert, eine Bewegungstrajektorie zu erstellen, die so weit wie möglich durch die Kameraposition als Bewegungstrajektorie des Blickpunkts verläuft. Da der Start- und der Endpunkt der Blickpunktbewegung im Free-Viewpoint-Bild Umschaltpunkte des Bildes mit dem vorderen und hinteren Clip sind, sollten der Start- und der Endpunkt der Blickpunktbewegung mit der Kameraposition übereinstimmen. Daher werden der Startpunkt und der Endpunkt der Blickpunktbewegung als Kamerapositionen der In-Kamera bzw. der Out-Kamera bezeichnet.
Es ist zu beachten, dass der Startpunkt und der Endpunkt der Bewegung des Blickpunkts nicht unbedingt auf die Kameraposition beschränkt sind, sondern auch eine andere Position als die Kameraposition sein kann.
Wie in der Zeichnung dargestellt, handelt es sich bei der Bedienungseinheit zur Bestimmung der In-Kamera und der Out-Kamera beispielsweise um eine Bedienungseinheit zur Bestimmung der Kamera in einem Pulldown-Format. Wenn das Herunterziehen durch eine Benutzeroperation angewiesen wird, werden Informationen (in diesem Beispiel die Kameranummerninformationen) angezeigt, die jede Kamera angeben, die in einer Voreinstellungsliste von spezifizierbaren Kameras aufgeführt ist, d. h. Kameras, die vom Benutzer bestimmt wurden (siehe 22 und 24, die später beschrieben werden).
Darüber hinaus wird bei Betätigung der Neuerstellungstaste B5 der neue Eintrag der Kameraführung in der Kameraführungslisten-Anzeigeeinheit 52 angezeigt, wie oben beschrieben, und eine Marke (im Folgenden als „Zielmarke Mt“ bezeichnet), die die Position des vom Benutzer festgelegten Ziels Tg anzeigt, wird im Kameraführungsfenster 53 angezeigt.
In diesem Fall wird bei der Erstellung der Kameraführung die Position des Ziels Tg auf eine geeignete, für die Zielszene angenommene Position gesetzt, z. B. in einem Fall, in dem ein Bild einer Aufnahmeszene als Free-Viewpoint-Bild erstellt werden soll, wird die Position auf eine Position in der Nähe eines Tors in einem dreidimensionalen Zielraum (z. B. ein Fußballplatz im Fall von Fußball) gesetzt. Dabei wird davon ausgegangen, dass die Position des Ziels Tg vom Benutzer vorab im Free-Viewpoint-Bildserver 2 festgelegt werden kann.
Wie oben beschrieben, kann das Free-Viewpoint-Bild so erstellt werden, dass die Sichtlinienrichtung vom Blickpunkt auf das Ziel Tg gerichtet ist. Insbesondere kann das Free-Viewpoint-Bild in diesem Beispiel so erstellt werden, dass sich das Ziel Tg während des Bewegungszeitraums des Blickpunkts zumindest teilweise weiterhin an einer vorbestimmten Position (z. B. der Mittelposition) im Bildrahmen befindet.
Es ist zu beachten, dass bei der Erstellung des Free-Viewpoint-Bildes die Positionierung des Ziels Tg an einer vorbestimmten Position im Bildrahmen, wie oben beschrieben, als „Verfolgung des Ziels Tg“ bezeichnet wird. Dieses „Verfolgen des Ziels Tg“ ist gleichbedeutend mit der Tatsache, dass die Sichtlinienrichtung vom Blickpunkt aus weiterhin auf das Ziel Tg ausgerichtet ist, während sich der Blickpunkt bewegt.
Hier wird in einem Zustand, in dem eine Voreinstellungsliste von Kameras im Kameraführungsfenster 53 angezeigt wird, ein Beobachtungsbild von einem Sichtfeld oder einem Blickpunkt (ein Bild, das durch Beobachtung eines dreidimensionalen Raums vom Blickpunkt aus erhalten wird) in einem Fall, in dem der Blickpunkt auf die Position der bezeichneten Kamera eingestellt ist, im Kameraführungsfenster 53 bzw. im Vorschaufenster 55 entsprechend der Bestimmungsoperation der Kamera aus der Voreinstellungsliste von Kameras angezeigt.
Insbesondere zeigen die 20 und 21 Anzeigeinhaltsbeispiele des Erstellungsoperationsbildschirms Gg in einem Fall, in dem die Kamera als Kamera 1 und die Kamera als Kamera 2 aus der Kameravoreinstellungsliste ausgewählt wurden.
In diesem Fall zeigt das Kameraführungsfenster 53 die Sichtfeldinformationen Fv an, die das Sichtfeld der Kamera für die aus der Voreinstellungsliste der Kameras ausgewählte Kamera visualisieren und angeben. Wie in der Zeichnung dargestellt, werden in diesem Beispiel die Informationen, die das Sichtfeld als Figur darstellen, als Sichtfeldinformationen Fv angezeigt.
Außerdem wird in diesem Fall im Kameraführungsfenster 53 die Kamerapositionsmarke Mc für die bezeichnete Kamera stärker hervorgehoben als die Kamerapositionsmarken Mc für andere Kameras (in der Abbildung ist ein Beispiel für die Vergrößerung dargestellt), so dass der Benutzer leicht erkennen kann, an welcher Position sich die bezeichnete Kamera befindet.
Im Vorschaufenster 55 wird ein Bild angezeigt, das durch Beobachtung eines dreidimensionalen Raums von einer bestimmten Kamera aus gewonnen wurde.
In diesem Beispiel wird davon ausgegangen, dass die Erstellung der Kameraführung vor der Erstellung des Free-Viewpoint-Bildes erfolgt. Das heißt, es wird davon ausgegangen, dass das aufgenommene Bild, das zur Erstellung des Free-Viewpoint-Bildes verwendet wird, in einem nicht erfassten Zustand durchgeführt wird. Daher ist das Bild, das durch die Beobachtung des dreidimensionalen Raums von dem hier erwähnten Blickpunkt aus erhalten wird, kein Bild, das durch Rendering eines 3D-Modells als zweidimensionales Bild erhalten wird (im Folgenden wird es der Beschreibung halber als „reales dreidimensionales Modell“ bezeichnet), das durch die Durchführung einer Motiverkennung oder dergleichen aus dem von jeder Kamera, die den realen Zielraum erfasst, aufgenommenen Bild erstellt wird, sondern ein Bild, das durch Rendering eines virtuellen 3D-Modells als zweidimensionales Bild erhalten wird (als „virtuelles dreidimensionales Modell“ bezeichnet), das den realen Zielraum simuliert. Bei der Erstellung des Beobachtungsbildes vom Blickpunkt aus wird in diesem Fall, da das aufgenommene Bild nicht erfasst wurde, das Verfahren zum Einfügen der aus dem aufgenommenen Bild erstellten Textur in das 3D-Modell nicht durchgeführt.
Die 22 bis 25 sind erläuternde Diagramme eines Verfahrens zur Bestimmung der In-Kamera und der Out-Kamera.
Wie in 22 dargestellt, wird für die Bestimmung der In-Kamera eine Kamerabestimmungsoperation aus der Pulldown-Liste der In-Kameras in dem Eintrag durchgeführt, der der Kameraführungslisten-Anzeigeeinheit 52 hinzugefügt wurde.
23 zeigt einen Zustand des Erstellungsoperationsbildschirms Gg in einem Fall, in dem die Kamera 1 als In-Kamera bezeichnet wird. In einem Fall, in dem Kamera 1 als In-Kamera bezeichnet wird, wird „1“ in dem Posten der In-Kamera in dem Eintrag angezeigt, der der Kameraführungslisten-Anzeigeeinheit 52 hinzugefügt wurde, wie in der Zeichnung dargestellt.
Außerdem wird im Kameraführungsfenster 53 die Kamerapositionsmarke Mc für die Kamera 1 hervorgehoben, und die Sichtfeldinformation Fv für die Kamera 1 wird angezeigt.
Es ist zu beachten, dass im Vergleich zu der oben beschriebenen 20 der Anzeigemodus der Kamerapositionsmarke Mc und der Sichtfeldinformationen Fv im Kameraführungsfenster 53 unterschiedlich sein kann, wenn sie aus der Voreinstellungsliste von Kameras ausgewählt werden und wenn sie als „In-Kamera“ bezeichnet werden.
Im Vorschaufenster 55 wird ein Bild angezeigt, das durch Beobachtung eines dreidimensionalen Raums von der Kamera 1 aus gewonnen wurde.
In einem Fall, in dem die Out-Kamera bestimmt wird, wie in 24 dargestellt, wird die Kamerabestimmungsoperation von der Pulldown-Liste der Out-Kameras in dem Eintrag ausgeführt, der der Kameraführungslisten-Anzeigeeinheit 52 hinzugefügt wurde.
25 zeigt einen Zustand des Erstellungsoperationsbildschirms Gg in einem Fall, in dem die Kamera 9 als Out-Kamera bezeichnet wird. In diesem Fall wird „9“ in der Position der Out-Kamera in dem Eintrag angezeigt, der in der Kameraführungslisten-Anzeigeeinheit 52 hinzugefügt wurde.
Hier wird die Bewegungstrajektorie des Blickpunkts durch die Bestimmung der In-Kamera und der Out-Kamera bestimmt. Daher werden im Kameraführungsfenster 53 in diesem Fall Informationen angezeigt, die die Bewegungstrajektorie des Blickpunkts angeben, der die Positionen der In-Kamera und der Out-Kamera verbindet, was in der Figur als Bewegungstrajektorieinformationen Mm dargestellt ist. In diesem Fall sind die Bewegungstrajektorieinformationen Mm Informationen, die durch die Visualisierung der Bewegungstrajektorie des Blickpunkts gewonnen werden.
Konkret wird im Kameraführungsfenster 53 in diesem Fall die Kamerapositionsmarke Mc für die als Out-Kamera bezeichnete Kamera 9 hervorgehoben, und die lineare Bewegungstrajektorieinformation Mm, die die Positionen der In-Kamera und der Out-Kamera verbindet, wird zusätzlich aus dem Fall von 23 angezeigt.
Auch wenn dies nicht dargestellt wird, kann auf dem Erstellungsoperationsbildschirm Gg eine Vorschau der Kameraführung angezeigt werden, nachdem zumindest die In-Kamera und die Out-Kamera wie oben beschrieben bestimmt wurden und die Bewegungstrajektorie des Blickpunkts gebildet wurde.
Insbesondere kann diese Vorschauanzeige durch Betätigung der Wiedergabetaste B11 auf der Bedienfeldeinheit 54 gestartet werden. Im Kameraführungsfenster 53 wird als Vorschauanzeige der Kameraführung ein Bild angezeigt, in dem sich die Sichtfeldinformation Fv von Moment zu Moment mit der Bewegung des Blickpunkts ändert. Darüber hinaus wird in Verbindung mit einer solchen Vorschauanzeige der Kameraführung im Vorschaufenster 55 ein Beobachtungsbild in einem dreidimensionalen Raum (Beobachtungsbild vom Blickpunkt aus) angezeigt, das sich von Moment zu Moment mit der Bewegung des Blickpunkts ändert.
Darüber hinaus kann in diesem Beispiel eine solche Vorschauanzeige der Kameraführung und eine Vorschauanzeige des Beobachtungsbildes im dreidimensionalen Raum nicht nur durch die Betätigung der Wiedergabetaste B11, sondern auch durch das Ziehen der Suchleiste B17 in der Zeitachsen-Bedienungseinheit erfolgen.
26 veranschaulicht einen Zustand, in dem die Suchleiste B17 durch Ziehen der Suchleiste B17 in der Zeitachsen-Bedienungseinheit 54a an einer gewünschten Position auf der Zeitachse positioniert ist.
Während des Ziehens der Suchleiste B17 ändert sich die Position der Suchleiste B17 auf der Zeitachse, d. h. auf der Zeitachse vom Startzeitpunkt bis zum Endzeitpunkt des Free-Viewpoint-Bildes, von Moment zu Moment. Daher wird, während der Ziehvorgang durchgeführt wird, die Sichtfeldinformation Fv, die der Blickpunktposition zu dem durch die Suchleiste B17 angegebenen Zeitpunkt entspricht, nacheinander im Kameraführungsfenster 53 angezeigt und vom Benutzer visuell als ein Bild erkannt, in dem sich die Sichtfeldinformation Fv von Moment zu Moment mit der Bewegung des Blickpunkts ändert. In ähnlicher Weise wird im Vorschaufenster 55 ein Beobachtungsbild des dreidimensionalen Raums von einem sich von Moment zu Moment ändernden Blickwinkel entsprechend der Bewegung der Suchleiste B17 angezeigt.
Als Nächstes wird der Via-Punkt des Blickpunkts beschrieben.
Auf dem Erstellungsoperationsbildschirm Gg kann ein Via-Punkt für den Blickpunkt und ein Zeitpunkt angegeben werden, zu dem der Blickpunkt den Via-Punkt passiert.
Die 27 bis 30 sind erläuternde Diagramme zur Bestimmung eines Via-Punkts eines Blickpunkts und einer Durchgangszeitmessung.
In diesem Beispiel können der Via-Punkt und der Zeitpunkt, zu dem der Blickpunkt den Via-Punkt passiert, durch Ziehen und Ablegen einer Kamera bestimmt werden, die als Via-Punkt auf der Zeitachse in der Zeitachsen-Bedienungseinheit 54a bestimmt werden soll.
Die 27 bis 29 sind erläuternde Diagramme von Betriebsbeispielen für den Fall, dass eine Kamera 6 als Via-Punkt bezeichnet wird.
Zunächst wird, wie in 27 dargestellt, eine Kamera, die als Via-Punkt bestimmt werden soll, aus einer Kameravoreinstellungsliste in der Voreinstellungslisten-Anzeigeeinheit 51 ausgewählt. In diesem Beispiel wird die Auswahl durch das Drücken der linken Maustaste getroffen.
Die so ausgewählte Kamera wird, wie in 28 dargestellt, auf den Bildschirm gezogen und an einer gewünschten Position auf der Zeitachse der Zeitachsen-Bedienungseinheit 54a, wie in 29 dargestellt, abgelegt (in diesem Beispiel ist der Druckzustand des Linksklicks aufgehoben). Damit ist die Bestimmung der Kamera als Via-Punkt und der Zeitpunkt, zu dem der Blickpunkt den Via-Punkt passiert, abgeschlossen.
Als Reaktion auf den Abschluss der Bestimmung wird, wie in 29 dargestellt, die Via-Punkt-Marke Mv auf der Zeitachse der Zeitachsen-Bedienungseinheit 54a angezeigt. Die Via-Punkt-Marke Mv wird an einer Position auf der Zeitachse angezeigt, die durch den oben beschriebenen Ablegevorgang festgelegt wurde. Das heißt, das Free-Viewpoint-Bild wird an der Position angezeigt, die den angegebenen Zeitpunkt innerhalb des Zeitraums zwischen dem Startzeitpunkt und dem Endzeitpunkt des Free-Viewpoint-Bildes (innerhalb des Bewegungszeitraums des Blickpunkts) angibt.
In diesem Beispiel wird die Via-Punkt-Marke Mv im Ausgangszustand als quadratische Marke angezeigt, wie in der Zeichnung dargestellt.
Darüber hinaus hebt das Kameraführungsfenster 53 in einem Zustand, in dem die Bestimmung des Via-Punkts und die Via-Zeitsteuerung abgeschlossen sind, die Kamerapositionsmarke Mc für die als Via-Punkt bestimmte Kamera (in diesem Fall Kamera 6) hervor und zeigt die Sichtfeldinformation Fv an, die das Sichtfeld der Kamera angibt. Darüber hinaus zeigt das Vorschaufenster 55 ein Bild an, das durch Betrachtung des dreidimensionalen Raums aus der Sicht der als Via-Punkt bezeichneten Kameraposition gewonnen wird.
Durch Auswahl einer Kamera aus der Voreinstellungsliste und Ziehen und Ablegen der ausgewählten Kamera, wie oben beschrieben, ist es möglich, einen Via-Punkt des Blickpunkts und einen Zeitpunkt festzulegen, zu dem der Blickpunkt den Via-Punkt durchläuft.
30 zeigt einen Zustand des Erstellungsoperationsbildschirms Gg in einem Fall, in dem ein Via-Punkt und ein Via-Timing für zwei Kameras auf dieselbe Weise wie oben beschrieben festgelegt wurden.
Es ist zu beachten, dass trotz des hier beschriebenen Beispiels, in dem die Kameraposition als Via-Punkt des Blickpunkts bezeichnet wird, eine beliebige andere Position als die Kameraposition als Via-Punkt bezeichnet werden kann.
Darüber hinaus kann auf dem Erstellungsoperationsbildschirm Gg die Art der Form der Bewegungstrajektorie des Blickpunkts festgelegt werden.
Unter Bezugnahme auf die 31 bis 33 werden ein bestimmter Betriebsablauf und ein Bildschirmübergang entsprechend dem Betrieb beschrieben.
Zunächst wird, wie in 31 dargestellt, ein Zielbereich, in dem die Art der Bewegungstrajektorie bestimmt werden soll, auf der Zeitachse in der Zeitachsen-Bedienungseinheit 54a bestimmt. Die Abbildung zeigt ein Beispiel, in dem ein Bereich von einem ersten Via-Punkt bis zu einem dritten Via-Punkt in einem Fall bezeichnet wird, in dem drei Via-Punkte von Blickpunkten festgelegt sind, wie in 30 dargestellt.
Eine Bedientaste in der Trajektorieformeinstellungs-Bedienungseinheit 57 wird betätigt, um den Typ der Form der Bewegungstrajektorie zu bestimmen. Beispielsweise wird, wie in 32 dargestellt, die Kurveninterpolationstaste B18 in der Trajektorieformeinstellungs-Bedienungseinheit 57 betätigt.
Als Reaktion auf die Betätigung der Kurveninterpolationstaste B18 führt die Kameraführungserstellungs-Verarbeitungseinheit 34 eine Kurveninterpolation der Bewegungstrajektorie für den in 31 bezeichneten Teilbereich der Blickpunkt-Bewegungstrajektorie durch. Dann, wie in 33 dargestellt, führt die Anzeigeverarbeitungseinheit 34a die Verarbeitung der Anzeige der durch die Kurveninterpolation erstellten Bewegungstrajektorieinformationen Mm im Kameraführungsfenster 53 durch.
Indem die Bewegungstrajektorie des Blickpunkts auf diese Weise in eine gekrümmte Form gebracht wird, kann verhindert werden, dass sich der Abstand zwischen dem Zielmotiv und dem Blickpunkt stark verändert, selbst wenn sich der Blickpunkt bewegt. Mit anderen Worten: Es kann verhindert werden, dass sich die Größe des Zielmotivs im Free-Viewpoint-Bild stark verändert.
In diesem Beispiel wird in einem Fall, in dem die oben beschriebene Kurveninterpolation durchgeführt wird, die Änderung der Form der auf der Zeitachse in der Zeitachsen-Bedienungseinheit 54a angezeigten Via-Punkt-Marke Mv in eine Form, die der Kurveninterpolation entspricht, durchgeführt. Konkret wird in diesem Beispiel, wie in der Figur dargestellt, die Form der Via-Punkt-Marke Mv von einer quadratischen zu einer runden Marke geändert. Dadurch ist es möglich, dem Benutzer mitzuteilen, dass eine Kurveninterpolation für die Bewegungstrajektorie des Blickpunkts durchgeführt wird, die die Via-Punkte auch auf der Zeitachse verbindet.
Beachten Sie, dass in diesem Beispiel eine Bedientaste zur Anweisung, die Form der Bewegungstrajektorie linear zu machen, in der Trajektorieformeinstellungs-Bedienungseinheit 57 angeordnet ist, und wenn die Bedientaste betätigt wird, wird die Form der entsprechenden Via-Punkt-Marke Mv in eine quadratische Marke geändert.
Hier können als Form der Bewegungstrajektorie auch andere Formen als eine Kurve und eine gerade Linie eingestellt werden. Wie in den Bewegungstrajektorieinformationen Mm in 33 dargestellt, kann beispielsweise eine Form verwendet werden, bei der eine Kurve und eine gerade Linie gemischt werden. Darüber hinaus ist die Bewegungstrajektorie durch die Kurve nicht auf eine konstante Krümmung beschränkt, und es ist auch möglich, die Krümmung in einigen Abschnitten unterschiedlich zu gestalten.
Darüber hinaus kann in einem Fall, in dem es eine Variation in der Bewegungstrajektorieform gibt, wie oben beschrieben, die Via-Punkt-Marke Mv nicht nur in den zwei Arten von Anzeigeformen der geraden Linie und der gekrümmten Linie, wie oben dargestellt, angezeigt werden, sondern auch in verschiedenen Anzeigeformen entsprechend jeder Variation.
Im Erstellungsoperationsbildschirm Gg dieses Beispiels ist es außerdem möglich, die Bewegungsgeschwindigkeit des Blickpunkts zu bestimmen.
Bei der Bestimmung der Bewegungsgeschwindigkeit wird zunächst, wie in 31 dargestellt, der Zielbereich auf der Zeitachse in der Zeitachsen-Bedienungseinheit 54a bestimmt. Hier wird, wie in 34 dargestellt, davon ausgegangen, dass ein Bereich nur über den zweiten Via-Punkt bezeichnet wird. Dann wird eine Bedientaste in der Geschwindigkeitseinstellungs-Bedienungseinheit 56 betätigt. Wie in 34 dargestellt, wird beispielsweise eine Geschwindigkeitseinstelltaste B19 in der Geschwindigkeitseinstellungs-Bedienungseinheit 56 betätigt.
Als Reaktion auf die Betätigung der Geschwindigkeitseinstelltaste B19 passt die Kameraführungserstellungs-Verarbeitungseinheit 34 die Geschwindigkeit des Blickpunkts, der der betätigten Taste entspricht, für einen Teilbereich der festgelegten Blickpunkt-Bewegungstrajektorie an.
In diesem Beispiel führt die Anzeigeverarbeitungseinheit 34a als Reaktion auf eine solche Geschwindigkeitseinstellung die Änderung der Form der entsprechenden Via-Punkt-Marke Mv auf der Zeitachse in eine Form entsprechend dem Modus der durchgeführten Geschwindigkeitseinstellung durch, wie in 35 dargestellt. Beachten Sie, dass der dargestellte Anzeigemodus lediglich ein Beispiel ist. Durch die Durchführung einer solchen Formänderung ist es möglich, dem Benutzer auf der Zeitachse mitzuteilen, dass die Geschwindigkeitseinstellung in dem entsprechenden Bereich der Bewegungstrajektorie des Blickpunkts durchgeführt wurde.
Anschließend wird die Einstellung der Zielposition beschrieben.
Zunächst wird die Bedeutung des Ziels Tg mit Bezug auf die 36 und 37 beschrieben.
Wie oben beschrieben, wird das Ziel Tg verwendet, um die Sichtlinienrichtung vom Blickpunkt im Free-Viewpoint-Bild zu bestimmen. 36 zeigt das Sichtfeld Rf (Rf1, Rf3, Rf6, Rf9 für jede Kameraposition) und die Sichtlinienrichtung Dg (Dg1, Dg3, Dg6, Dg9 für jede Kameraposition) von jeder Kameraposition (hier Kamera 1, Kamera 3, Kamera 6 und Kamera 9) in der Bewegungstrajektorie des Blickpunkts.
Wie oben beschrieben, ist es bei der Erstellung des Free-Viewpoint-Bildes in diesem Beispiel möglich, den Zeitraum der Ausrichtung auf das Ziel Tg als Bewegungszeitraum des Blickpunkts zu bezeichnen. Mit anderen Worten, es ist möglich, einen Zeitraum, in dem das Ziel Tg weiterhin an einer vorbestimmten Position im Bild positioniert ist, als einen Zeitraum für die Verfolgung des Ziels Tg zu bezeichnen. In diesem Beispiel wird die Verfolgung des Ziels Tg so durchgeführt, dass das Ziel Tg weiterhin an der mittleren Position im Bildrahmen positioniert ist, wie z. B. in 37 dargestellt.
36 veranschaulicht die Sichtlinienrichtung Dg und das Sichtfeld Rf im Falle der Verfolgung des Ziels Tg innerhalb des Bewegungszeitraums des Blickpunkts von der Kamera 1 zur Kamera 9. In diesem Beispiel werden jedoch, wie in der Zeichnung dargestellt, die Sichtlinienrichtung Dg und das Sichtfeld Rf so eingestellt, dass das Ziel Tg in der Mitte des Bildes erfasst wird.
In diesem Beispiel kann die Position des Ziels Tg auf dem Erstellungsoperationsbildschirm Gg eingestellt werden. Als Einstellungsoperation des Ziels Tg ist z. B. eine Operation zur Einstellung der Position der im Kameraführungsfenster 53 angezeigten Zielmarke Mt denkbar.
Wenn die Position des Ziels Tg durch Einstellung verändert wird, stellt die Kameraführungserstellungs-Verarbeitungseinheit 34 die Sichtlinienrichtung Dg und das Sichtfeld Rf an jeder Blickpunktposition so ein, dass das veränderte Ziel Tg an einer vorbestimmten Position im Bildrahmen bleibt.
In diesem Beispiel ist es möglich, auf dem Erstellungsoperationsbildschirm Gg die Position des Ziels Tg mit dem Zeitablauf während des Blickpunktbewegungszeitraums zu bestimmen.
Ein spezifisches Verfahren zur Bestimmung der Bewegung des Ziels Tg wird unter Bezugnahme auf die 38 bis 45 beschrieben.
Zunächst wird, wie in 38 dargestellt, eine Operation zur Bestimmung des neuen Punkts Ptn des Ziels Tg durchgeführt. Insbesondere wird im Kameraführungsfenster 53 eine Operation zum Setzen der Zielpositionsbestimmungsmarke Mtn zur Bestimmung des neuen Punkts Ptn an einer gewünschten Position durchgeführt. Obwohl nicht abgebildet, wird die Zielpositionsbestimmungsmarke Mtn im Ausgangszustand auf der Zielmarke Mt überlagert und angezeigt, und der Benutzer zieht die Zielpositionsbestimmungsmarke Mtn von der Position der Zielmarke Mt zu einer gewünschten Position und legt sie ab.
Durch einen solchen Vorgang wird der neue Punkt Ptn des Ziels Tg bestimmt.
Als nächstes betätigt der Benutzer die Zieltaste B2 auf der Voreinstellungslisten-Anzeigeeinheit 51, um die Voreinstellungslisten-Anzeigeeinheit 51 in einen Anzeigezustand der Liste der Ziele Tg zu bringen. Im Anzeigezustand, wie in 39 dargestellt, wird eine Hinzufügungstaste B20 des Ziels Tg auf der Voreinstellungslisten-Anzeigeeinheit 51 angezeigt, und der Benutzer kann durch Betätigung der Hinzufügungstaste B20 die Anweisung geben, das neue Ziel Tg zu der durch die Zielpositionsbestimmungsmarke Mtn bezeichneten Position hinzuzufügen.
Als Reaktion auf die Betätigung der Hinzufügungstaste B20 werden Identifikationsinformationen („Target0“ in der Zeichnung) und Positionsinformationen (Positionsinformationen, die den neuen Punkt Ptn angeben) über das hinzugefügte Ziel Tg auf der Voreinstellungslisten-Anzeigeeinheit 51 angezeigt, wie in der Zeichnung dargestellt. Außerdem wird im Kameraführungsfenster 53 an der Position der Zielpositionsbestimmungsmarke Mtn eine zusätzliche Zielmarke Mtt als Marke für das hinzugefügte Ziel Tg angezeigt.
Als Nächstes fügt der Benutzer ein neues Ziel in die Zeitachse ein, wie in den Übergängen von 40 zu 42 dargestellt. Insbesondere wird eine Operation des Ziehens und Ablegens eines Ziels (hier „Target0“), das neu auf der Voreinstellungslisten-Anzeigeeinheit 51 angezeigt wird, an eine gewünschte Position auf der Zeitachse der Zeitachsen-Bedienungseinheit 54a durchgeführt.
Die in 42 dargestellte Zielankunftszeitmarke Mem wird an der Position auf der Zeitachse angezeigt, die durch den Ablegevorgang bestimmt wurde. Die Zielankunftszeitmarke Mem ist eine Marke, die die Zielankunftszeit für den neuen Punkt Ptn des Ziels Tg angibt, wenn die Position des Ziels Tg von der durch die Zielmarke Mt angegebenen Position (d. h. der Anfangsposition des Ziels Tg) zu der durch die zusätzliche Zielmarke Mtt angegebenen Position (d. h. dem neuen Punkt Ptn) verschoben wird. Mit anderen Worten, der Vorgang des Hinzufügens eines neuen Ziels zur Zeitachse, wie oben beschrieben, ist eine Operation der Bestimmung eines Zielzeitpunkts, an dem die Position des Ziels Tg den neuen Punkt Ptn in Bezug auf die Bewegung des Ziels Tg erreicht.
Nach dem Hinzufügen eines neuen Ziels zur Zeitachse, wie oben beschrieben, bestimmt der Benutzer einen Zeitraum, in dem er das Ziel Tg anvisiert, wie in den 43 bis 45 dargestellt.
Bei der Bestimmung des Zeitraums der Ausrichtung auf das Ziel Tg wird zunächst, wie in 43 dargestellt, die LookAt-Taste B21 in der Zeitachsen-Bedienungseinheit 54a betätigt. Dann wird, wie in der Figur dargestellt, eine Zeitraumbestimmungsleiste B22 zur Bestimmung eines Zeitraums auf der Zeitachse angezeigt. Die Zeitraumbestimmungsleiste B22 wird in einem Modus angezeigt, in dem er einen Zeitraum vom Startzeitpunkt der Bewegung bis zu dem Zeitpunkt bezeichnet, der durch die Zielankunftszeitmarke Mem angezeigt wird, wie in der Zeichnung in dem Stadium dargestellt, in dem die LookAt-Taste B21 betätigt wird. In einem Fall, in dem der Benutzer den Zeitraum der Ausrichtung auf das Ziel Tg ändern möchte, führt der Benutzer eine Operation zur Verlängerung oder Verringerung der Zeitraumbestimmungsleiste B22 durch. Hier wird, wie in den 44 und 45 dargestellt, angenommen, dass die Zeitraumbestimmungsleiste B22 verlängert wird und der Zeitraum der Ausrichtung auf das Ziel Tg als der Zeitraum bis zum Bewegungsendpunkt des Blickpunkts bezeichnet wird (Zeitraum vom Beginn bis zum Ende der Bewegung des Blickpunkts).
Die 46 bis 49 sind Diagramme zur Beschreibung eines Vorschau-Wiedergabebildes der Kameraführung und eines Vorschau-Wiedergabebildes eines Beobachtungsbildes von einem Blickpunkt aus in einem Fall, in dem verschiedene Bestimmungsoperationen für die Bewegung des Ziels Tg, die unter Bezugnahme auf die 38 bis 45 beschrieben sind, durchgeführt werden. Insbesondere wird der Übergang der im Kameraführungsfenster 53 und im Vorschaufenster 55 angezeigten Bilder als Reaktion auf die Betätigung der Wiedergabetaste B11 nach Durchführung verschiedener Bestimmungsoperationen bezüglich der Bewegung des Ziels Tg, die unter Bezugnahme auf die 38 bis 45 beschrieben wurden, dargestellt.
In diesem Fall wird die Bewegung des Ziels Tg so durchgeführt, dass der neue Punkt Ptn zu dem Zeitpunkt erreicht wird, der durch die Zielankunftszeitmarke Mem auf der Zeitachse innerhalb des Zeitraums vom Beginn bis zum Ende der Bewegung des Blickpunkts angegeben ist. Daher nähert sich die Zielmarke Mt allmählich der Zielpositionsbestimmungsmarke Mtn (der zusätzlichen Zielmarke Mtt im Kameraführungsfenster 53), wie in den 46 und 47 dargestellt, vom Startzeitpunkt der Blickpunktbewegung bis zu dem Zeitpunkt, der durch die Zielankunftszeitmarke Mem angegeben wird. In den 46 und 47 ist die Zielanfangsmarke Mst sowohl im Kameraführungsfenster 53 als auch im Vorschaufenster 55 dargestellt, aber die Zielanfangsmarke Mst ist eine Marke, die die Position des Ziels Tg zu Beginn der Bewegung des Blickpunkts anzeigt.
In diesem Beispiel wird der Zeitraum der Ausrichtung auf das Ziel Tg als der gesamte Zeitraum vom Beginn bis zum Ende der Bewegung des Blickpunkts bezeichnet. Das heißt, ein Zeitraum, der über den Zeitraum bis zu dem Zeitpunkt hinausgeht, der durch die Zielankunftszeitmarke Mem angezeigt wird, wird als der Zeitraum der Ausrichtung auf das Ziel Tg bezeichnet.
Auf diese Weise wird in einem Fall, in dem der Zeitraum der Ausrichtung auf das Ziel Tg als ein Zeitraum bezeichnet wird, der den Zeitraum bis zur Zielankunftszeitmarke Mem überschreitet, in diesem Beispiel die Position des Ziels Tg schrittweise vom neuen Punkt Ptn zur Startposition der Bewegung als die Bewegung des Ziels Tg in dem Zeitraum, der den Zeitraum bis zur Zielankunftszeitmarke Mem überschreitet, zurückgeführt.
Daher nähert sich die Zielmarke Mt in einem Zeitraum, der über den Zeitraum bis zur Zielankunftszeitmarke Mem hinausgeht, in dem Zeitraum der Ausrichtung auf das Ziel Tg allmählich der Zielanfangspositionsmarke Mst, die die Startposition der Bewegung anzeigt, wie in den 48 und 49 dargestellt.
Durch das Ermöglichen der Bewegung des Ziels Tg, wie oben beschrieben, kann der Freiheitsgrad bei der Erstellung eines Free-Viewpoint-Bildes im Vergleich zu einem Fall, in dem die Position des Ziels Tg festgelegt ist, verbessert werden.
In der obigen Beschreibung wurde in einem Fall, in dem die Position des Ziels Tg verschoben wird, ein Fall dargestellt, in dem der Zeitraum, der über den Zeitraum bis zur Zielankunftszeitmarke Mem hinausgeht, als der Zeitraum der Ausrichtung auf das Ziel Tg bezeichnet wird. Wie in 50 dargestellt, kann der Zeitraum vom Startpunkt der Blickpunktbewegung bis zur Zielankunftszeitmarke Mem auch als der Zeitraum der Ausrichtung auf das Ziel Tg bezeichnet werden. In diesem Fall wird in dem Blickpunktbewegungszeitraum nach dem Zeitraum bis zur Zielankunftszeitmarke Mem ein Free-Viewpoint-Bild erstellt, das nicht dem vorgesehenen Ziel Tg folgt.
Darüber hinaus wurde in der obigen Beschreibung ein Beispiel beschrieben, bei dem ein Ziel Tg als Zusatz des neuen Ziels Tg unter Verwendung der Zielpositionsbestimmungsmarke Mtn hinzugefügt wird, es kann aber auch eine Vielzahl von Zielen Tg hinzugefügt werden.
In diesem Fall kann, wie in 51 dargestellt, der Zeitraum der Ausrichtung auf das Ziel Tg für jedes hinzugefügte Ziel Tg individuell festgelegt werden. 51 veranschaulicht einen Zustand, in dem in einem Fall, in dem zwei Ziele Tg (im Folgenden als Ziel Tg-1 und Ziel Tg-2 bezeichnet) als neue Ziele Tg durch die Operation unter Verwendung der Zielpositionsbestimmungsmarke Mtn (siehe 38 und 39) hinzugefügt werden, durch Hinzufügen der Ziele Tg-1 und Tg-2 zu verschiedenen Positionen auf der Zeitachse die Zielankunftszeitmarken Mem-1 und Mem-2 einzeln auf der Zeitachse angezeigt werden. In diesem Fall wird in Bezug auf das Ziel Tg-1, wie in der Figur durch eine Zeitraumbestimmungsleiste B22-1 angedeutet, davon ausgegangen, dass ein Zeitraum vom Startzeitpunkt der Bewegung des Betrachtungspunkts bis zur Zielankunftszeitmarke Mem-1 als Zeitraum der Ausrichtung auf das Ziel Tg bezeichnet wird. Darüber hinaus wird für das Ziel Tg-2, wie durch eine Zeitraumbestimmungsleiste B22-2 in der Figur angezeigt, angenommen, dass ein Zeitraum von einem Zeitpunkt nach dem Ablauf einer vorbestimmten Zeit von einem Zeitpunkt, der durch die Zielankunftszeitmarke Mem-1 angezeigt wird, bis zu einem Zeitpunkt, der durch die Zielankunftszeitmarke Mem-2 angezeigt wird, als ein Zeitraum der Ausrichtung auf das Ziel Tg bezeichnet wird.
In diesem Fall wird in dem Zeitraum, der durch die Zeitraumbestimmungsleiste B22-1 innerhalb des Bewegungszeitraums des Blickpunkts angezeigt wird, ein Free-Viewpoint-Bild erstellt, in dem sich die Position des Ziels Tg allmählich von der Ausgangsposition (Position des Ziels Tg zum Startzeitpunkt der Blickpunktbewegung) zur Position des Ziels Tg-1 bewegt, und in dem Zeitraum, der durch die Zeitraumbestimmungsleiste B22-2 angezeigt wird, wird zum Beispiel ein Free-Viewpoint-Bild erstellt, in dem sich die Position des Ziels Tg allmählich von der Ausgangsposition zur Position des Ziels Tg-2 bewegt.
Wie aus der Beschreibung von 51 hervorgeht, kann der Erstellungsoperationsbildschirm Gg eine Operation zur Bestimmung der Positionen einer Vielzahl von Zielen Tg annehmen.
Dadurch ist es möglich, ein Free-Viewpoint-Bild zu erzeugen, das in einem bestimmten Zeitraum dem Ziel A und in einem anderen Zeitraum dem Ziel B folgt, und die Einstellung des zu verfolgenden Ziels zu verbessern.
Daher kann der Freiheitsgrad bei der Erstellung eines Free-Viewpoint-Bildes verbessert werden.
Es ist zu beachten, dass in der obigen Beschreibung als die Bestimmung der Position des Ziels Tg ein Beispiel für die Bestimmung der Position des Ziels Tg als der Bewegungszielpunkt in einem Fall beschrieben wurde, in dem die Position des Ziels Tg während des Blickpunktbewegungszeitraums bewegt wird. Die Bestimmung der Position des Ziels Tg kann jedoch auch als Bestimmung der Position des Ziels Tg erfolgen, das während des Blickpunktbewegungszeitraums nicht bewegt wird.
Die Verarbeitung im Zusammenhang mit der Erstellung und Anzeige einer Bewegungstrajektorie gemäß einer Bedienungseingabe auf dem Erstellungsoperationsbildschirm Gg wird unter Bezugnahme auf die Flussdiagramme der 52 und 53 beschrieben.
Es ist zu beachten, dass die in den 52 und 53 dargestellte Verarbeitung von der CPU 71 des Free-Viewpoint-Bildservers 2 ausgeführt wird. Diese Verarbeitung ist eine Verarbeitung zur Realisierung einiger Funktionen der oben beschriebenen Kameraführungserstellungs-Verarbeitungseinheit 34.
52 veranschaulicht die Verarbeitung im Zusammenhang mit der Erstellung und Anzeige der Blickpunkt-Bewegungstrajektorie entsprechend der Bestimmung der In-Kamera und der Out-Kamera.
Zunächst wartet die CPU 71 in Schritt S101 auf die Bestimmungsoperation der In-Kamera. In diesem Beispiel wird diese Bestimmungsoperation als eine Operation der Bestimmung der Kameranummer durchgeführt, die in der Pulldown-Liste der In-Kameras in der Eingabe der Kameraführung beschrieben wird, die auf der Kameraführungslisten-Anzeigeeinheit 52 angezeigt wird, wie in 22 dargestellt.
In einem Fall, in dem die Bestimmungsoperation der In-Kamera durchgeführt wird, führt die CPU 71 verschiedene Arten der Anzeigeverarbeitung in Bezug auf die In-Kamera durch, wie mit Bezug auf 23 als die In-Kamera-Anzeigeverarbeitung in Schritt S102 beschrieben. So wird beispielsweise die Kamerapositionsmarke Mc hervorgehoben und die Sichtfeldinformation Fv für die als In-Kamera bezeichnete Kamera im Kameraführungsfenster 53 angezeigt.
In Schritt S103, der auf Schritt S102 folgt, wartet die CPU 71 auf die Bestimmungsoperation der Out-Kamera (siehe Beschreibung von 24) und fährt mit der Verarbeitung zu Schritt S104 fort, wenn die Bestimmungsoperation der Out-Kamera durchgeführt wird.
In Schritt S104 führt die CPU 71 eine Verarbeitung zur Erstellung einer Blickpunkt-Bewegungstrajektorie durch, die die In-Kamera und die Out-Kamera verbindet.
Dann, im nachfolgenden Schritt S105, führt die CPU 71 die Verarbeitung der Anzeige der Out-Kamera und der Blickpunkt-Bewegungstrajektorie aus. Das heißt, es werden verschiedene Anzeigeprozesse in Bezug auf die Out-Kamera und den Anzeigeprozess der Bewegungstrajektorieinformationen Mm des Blickpunkts, wie in 25 beschrieben, durchgeführt.
Die CPU 71 beendet die in 52 dargestellte Verarbeitungsreihe als Reaktion auf die Ausführung der Anzeigeverarbeitung in Schritt S105.
53 veranschaulicht die Verarbeitung im Zusammenhang mit der Erstellung und Anzeige einer Blickpunkt-Bewegungstrajektorie entsprechend der Bestimmung eines Via-Punkts.
In Schritt S110 wartet die CPU 71 auf die Bestimmungsoperation des Via-Punkts. In diesem Beispiel ist die Bestimmungsoperation eine Reihe von Operationen, einschließlich der Operation auf der Zeitachse, wie unter Bezugnahme auf die 26 bis 28 beschrieben.
Wenn der Via-Punkt bestimmt ist, erstellt die CPU 71 in Schritt S111 eine Blickpunkt-Bewegungstrajektorie durch den bestimmten Punkt. Das heißt, es wird eine Bewegungstrajektorie des Blickpunkts erstellt, die die In-Kamera, den festgelegten Punkt und die Out-Kamera verbindet.
Im anschließenden Schritt S112 verarbeitet die CPU 71 die Anzeige des Via-Punkts und der Blickpunkt-Bewegungstrajektorie. Das heißt, für den bezeichneten Via-Punkt wird eine Verarbeitung zur Hervorhebung der Kamerapositionsmarke im Kameraführungsfenster 53, zur Anzeige der Sichtfeldinformation Fv und zur Anzeige der Via-Punkt-Marke Mv in der Zeitachse wie in 29 beschrieben durchgeführt.
Die CPU 71 beendet die in 53 dargestellte Verarbeitungsreihe als Reaktion auf die Ausführung der Anzeigeverarbeitung in Schritt S112.
<8. GUI für die Erstellung eines Free-Viewpoint-Bildes>
Nachfolgend werden Einzelheiten des in 7 dargestellten Kameraführungs-Bestimmungsbildschirms Gs, ein Beispiel für ein Kameraführungs-Bestimmungsverfahren, das zur Erstellung eines Free-Viewpoint-Bildes verwendet wird, und verschiedene Funktionen im Zusammenhang mit der Kameraführungsbestimmung unter Bezugnahme auf die 54 bis 72 beschrieben.
54 ist ein Diagramm, das einen Anfangsbildschirm des Kameraführungs-Bestimmungsbildschirms Gs zeigt. Hier wird die Verarbeitung im Zusammenhang mit der Anzeige verschiedener Arten von Informationen auf dem Bildschirm des Kameraführungs-Bestimmungsbildschirms Gs, die weiter unten beschrieben wird, von der oben beschriebenen Anzeigeverarbeitungseinheit 32a (siehe 5) durchgeführt.
Wie oben beschrieben, ist der Kameraführungs-Bestimmungsbildschirm Gs mit dem Szenenfenster 41, der Szenenlisten-Anzeigeeinheit 42, dem Kameraführungsfenster 43, der Kameraführungslisten-Anzeigeeinheit 44, der Parameter-Anzeigeeinheit 45 und dem Übertragungsfenster 46 ausgestattet.
Darüber hinaus sind auf dem Kameraführungs-Bestimmungsbildschirm Gs eine Kamerabestimmungs-Bedienungseinheit 47, eine Standbild-Importtaste B31 und eine Bewegtbild-Importtaste B32 in Bezug auf das Szenenfenster 41 und eine Wiedergabetaste B33, eine Pausentaste B34 und eine Stopptaste B35 im unteren Teil des Bildschirms vorgesehen.
Darüber hinaus sind auf dem Kameraführungs-Bestimmungsbildschirm Gs eine X-Achsen-Blickpunkttaste B36, eine Y-Achsen-Blickpunkttaste B37, eine Z-Achsen-Blickpunkttaste B38, eine Ca-Blickpunkttaste B39, eine Pe-Blickpunkttaste B40, eine Anzeigepfad-Beschränkungstaste B41 und eine Beschränkungsfreigabetaste B42 für das Kameraführungsfenster 43 vorgesehen, und eine Filterbetriebseinheit 48 ist für die Kameraführungslisten-Anzeigeeinheit 44 vorgesehen. Die Filterbetriebseinheit 48 ist mit einer Pulldown-Taste B43 und einer Rücksetztaste B44 ausgestattet.
Bei der Erstellung des Free-Viewpoint-Bildes auf dem Kameraführungs-Bestimmungsbildschirm Gs führt der Benutzer zunächst eine Operation zum Importieren eines Bildes eines Erstellungszielabschnitts des Free-Viewpoint-Bildes durch, mit anderen Worten, eines Bildes einer Szene als Erstellungsziel des Free-Viewpoint-Bildes, als die oben beschriebenen Bilddaten V1 bis V16. Um diesen Import durchzuführen, betätigt der Benutzer entweder die Standbild-Importtaste B31 Bewegtbild-Importtaste B32 in der Zeichnung. Die Standbild-Importtaste B31 ist eine Taste, um eine Anweisung zu geben, die Bilddaten V1 bis V16 durch ein Standbild zu importieren, um den oben beschriebenen Standbild-FV-Clip als ein Free-Viewpoint-Bild zu erstellen, und die Bewegtbild-Importtaste B32 ist eine Taste, um eine Anweisung zu geben, die Bilddaten V1 bis V16 durch ein Bewegtbild zu importieren, um den oben beschriebenen Bewegtbild-FV-Clip als ein Free-Viewpoint-Bild zu erstellen.
Als Reaktion auf die Betätigung der Standbild-Importtaste B31 oder der Bewegtbild-Importtaste B32 wird ein Pop-up-Fenster W1, wie in 55 dargestellt, auf dem Kameraführungs-Bestimmungsbildschirm Gs angezeigt, und der Benutzer kann Informationen anzeigen, die die zu importierenden Bilddaten V1 bis V16 in dem Pop-up-Fenster W1, wie in 56 dargestellt, angeben, indem er die in dem Pop-up-Fenster W1 bereitgestellte Schaltfläche „GET IN/OUT TC“ betätigt. Beim Importieren der angezeigten Daten betätigt der Benutzer eine OK-Taste im Pop-up-Fenster W1.
Wenn die OK-Taste betätigt wird, werden Informationen über die importierte Szene in der Szenenlisten-Anzeigeeinheit 42 auf dem Kameraführungs-Bestimmungsbildschirm Gs hinzugefügt, wie in 57 dargestellt, und ein Bild der importierten Szene wird im Szenenfenster 41 angezeigt. Als Informationen über die Szene, die der Liste durch den Import hinzugefügt wurde, werden ein Miniaturbild der Szene, Zeitinformationen (in diesem Beispiel werden sowohl die Startzeit als auch die Endzeit der Szene angezeigt), die durch den Timecode angegeben werden, Informationen, die einen Zeitraum der Szene angeben, und dergleichen angezeigt. Es ist zu beachten, dass es sich bei dem dargestellten Beispiel um einen Fall handelt, in dem die Bilddaten V1 bis V16 als Standbilder importiert werden und der Wert, der den Zeitraum der Szene angibt, „0“ ist.
Die Kamerabestimmungs-Bedienungseinheit 47 ist mit einer Kameraauswahltaste versehen, mit der ausgewählt werden kann, welche Kamera ein Bild für jede Kamera für die importierte Szene, d. h. die Bilddaten V1 bis V16, anzeigt.
Auf dem Kameraführungs-Bestimmungsbildschirm Gs kann die Kameraführung im Kameraführungsfenster 43 in der Vorschau angezeigt werden.
Im Kameraführungsfenster 43 kann der Beobachtungsblickpunkt der Kamera im dreidimensionalen Raum durch die X-Achsen-Blickpunkttaste B36, die Y-Achsen-Blickpunkttaste B37, die Z-Achsen-Blickpunkttaste B38, die Ca-Blickpunkttaste B39 und die Pe-Blickpunkttaste B40 umgeschaltet werden.
Die X-Achsen-Blickpunkttaste B36, die Y-Achsen-Blickpunkttaste B37 und die Z-Achsen-Blickpunkttaste B38 sind Tasten zum Umschalten des Beobachtungsblickpunkts im dreidimensionalen Raum auf den Blickpunkt auf der X-Achse, den Blickpunkt auf der Y-Achse bzw. den Blickpunkt auf der Z-Achse. Hier sind die X-, Y- und Z-Achse drei Achsen, die einen dreidimensionalen Raum definieren. In diesem Beispiel ist die X-Achse eine Achse, die eine horizontale Richtung definiert, die Y-Achse ist eine Achse, die eine vertikale Richtung definiert, und die Z-Achse ist eine Achse, die eine Richtung orthogonal zur X- und Y-Achse definiert.
Die Pe-Blickpunkttaste B40 ist eine Taste zum Umschalten des Beobachtungsblickpunkts des dreidimensionalen Raums auf einen beliebigen, vom Benutzer festgelegten Blickpunkt.
Die Ca-Blickpunkttaste B39 ist eine Taste zum Umschalten des Beobachtungsblickpunkts im dreidimensionalen Raum auf den Blickpunkt (Punkt auf der Blickpunkt-Bewegungstrajektorie) in der Kameraführung.
Die 58, 59, 60, 61 und 62 zeigen Anzeigebilder im Kameraführungsfenster 43, wenn die X-Achsen-Blickpunkttaste B36, die Y-Achsen-Blickpunkttaste B37, die Z-Achsen-Blickpunkttaste B38, die Pe-Blickpunkttaste B40 bzw. die Ca-Blickpunkttaste B39 betätigt werden.
In diesem Fall zeigt das Kameraführungsfenster 43 Informationen über die auf der Kameraführungslisten-Anzeigeeinheit 44 angezeigte Kameraführung an. Die auf der Kameraführungslisten-Anzeigeeinheit 44 Kameraführung ist die Kameraführung, die über den oben beschriebenen Erstellungsoperationsbildschirm Gg erstellt wurde, und ist ein Kandidat für die Kameraführung, die zur Erstellung des Free-Viewpoint-Bildes verwendet wird. Mit anderen Worten, es handelt sich um eine Kameraführung, die als eine Kameraführung zur Erstellung eines Free-Viewpoint-Bildes bezeichnet werden kann.
Im Kameraführungsfenster 43 werden als Informationen zur Kameraführung die Bewegungstrajektorieinformationen Mm, die Kamerapositionsmarke Mc und die oben beschriebenen Sichtfeldinformationen Fv (auch in diesem Fall ist das Sichtfeld ein Informationsstück, das durch eine Figur dargestellt wird) angezeigt. Außerdem wird, wie in 61 besonders dargestellt, die Kamerapositionsmarke Mc, die die Positionen der In-Kamera und der Out-Kamera anzeigt, größer dargestellt als die anderen Kamerapositionsmarken Mc, und die Positionen der In-Kamera und der Out-Kamera werden angezeigt. Hier können die Kamerapositionsmarken Mc der In-Kamera und der Out-Kamera, d. h. die Informationen (Positionsinformationen der Startpunktanordnung, Positionsinformationen der Endpunktanordnung), die die Positionen der Kamera, die als Bewegungsstartpunkt dient, und der Kamera, die als Bewegungsendpunkt des Blickpunkts dient, angeben, auf eine Art und Weise angezeigt werden, die sich von den Kamerapositionsmarken Mc anderer Kameras als der In-Kamera und der Out-Kamera unterscheidet, und die Art und Weise ist nicht darauf beschränkt, dass die Anzeigegröße unterschiedlich ist.
Außerdem wird im Kameraführungsfenster 43 die Zielmarke Mt, die die Position des oben beschriebenen Ziels Tg angibt, als Information über die Kameraführung angezeigt.
Es ist zu beachten, dass im Fall von 62, d. h. in einem Fall, in dem die Ca-Blickpunkttaste B39 betätigt wird, da das Beobachtungsbild von der Blickpunkt-Bewegungstrajektorie stammt, die Bewegungstrajektorieinformationen Mm, die Kamerapositionsmarke Mc und die Sichtfeldinformationen Fv nicht angezeigt werden und die Zielmarke Mt angezeigt wird.
In der Zeichnung werden zwei Zielmarken Mt als Zielmarken Mt dargestellt (siehe insbesondere 60 und 61), aber das bedeutet, dass Kameraführungen, in denen unterschiedliche Ziele Tg gesetzt sind, als eine Vielzahl von Kameraführungen als Kandidaten gemischt werden, die auf der Kameraführunglisten-Anzeigeeinheit 44 angezeigt werden. Das heißt, die Kameraführung als Kandidat umfasst in diesem Fall beispielsweise eine Kameraführung, in der das Ziel Tg, dessen Position durch die Zielmarke Mt auf der linken Seite in 61 angegeben ist, eingestellt wird, und eine Kameraführung, in der das Ziel Tg, dessen Position durch die Zielmarke Mt auf der rechten Seite in 61 angegeben ist, eingestellt wird.
Im Kameraführungsfenster 43 kann eine dynamische Vorschauwiedergabe der Kameraführung durchgeführt werden. Eine solche dynamische Vorschauwiedergabe kann durch Betätigung der Wiedergabetaste B33 angewiesen werden.
Wenn die Wiedergabetaste B33 betätigt wird, wird in jedem Fall des Blickpunkts auf der X-Achse, des Blickpunkts auf der Y-Achse, des Blickpunkts auf der Z-Achse und jedes in den 58 bis 61 dargestellten Blickpunkts ein Bild angezeigt, in dem sich die Position und die Form der Sichtfeldinformation Fv von Moment zu Moment mit der Bewegung des Blickpunkts auf der Bewegungstrajektorie ändern. Darüber hinaus werden im Fall von 62 die Bilder, die durch Beobachtung des dreidimensionalen Raums des Motivs von jedem Punkt zwischen dem Blickpunktbewegungs-Startpunkt und dem Endpunkt der Blickpunkt-Bewegungstrajektorie erhalten werden, nacheinander umgeschaltet und angezeigt. Das heißt, es wird ein Beobachtungsbild eines dreidimensionalen Raums angezeigt, das sich von Moment zu Moment mit der Bewegung des Blickpunkts verändert.
Es ist zu beachten, dass die Pausentaste B12 und die Stopptaste B13 dazu dienen, die dynamische Vorschauwiedergabe wie oben beschrieben anzuhalten bzw. zu stoppen.
Im Falle einer Vorschauwiedergabe eines Beobachtungsbildes von einem Blickpunkt aus, wie in 62, kann ein Free-Viewpoint-Bild als FV-Clip, der unter Verwendung der ausgewählten Kameraführung erstellt wurde, als Anzeigebild angezeigt werden. Das heißt, das oben beschriebene reale dreidimensionale Modell wird auf der Grundlage der importierten Bilddaten V1 bis V16 erstellt, und ein zweidimensionales Bild, das durch Einfügen einer Textur oder dergleichen auf das reale dreidimensionale Modell gerendert wird, wird als Vorschaubild angezeigt.
Da jedoch die Erstellung des Free-Viewpoint-Bildes als FV-Clip eine entsprechende Verarbeitungslast und Verarbeitungszeit erfordert, wird die Zeit, die der Benutzer bis zum Beginn der Vorschauwiedergabe warten muss, lang, und es besteht die Möglichkeit, dass die schnelle Erstellung des Free-Viewpoint-Bildes behindert wird.
Daher wird in diesem Beispiel bei der Vorschauwiedergabe des Beobachtungsbildes vom Blickpunkt wie im Falle der 62 nicht das reale dreidimensionale Modell, das auf der Grundlage der Bilddaten V1 bis V16 erstellt wird (d. h. das aufgenommene Bild des realen Raums), sondern ein Bild, das durch Rendering des oben beschriebenen virtuellen dreidimensionalen Modells (virtuelles 3D-Modell des realen Raums) erhalten wird, als Anzeigebild angezeigt.
Dadurch kann die für die Anzeige der Vorschau des Beobachtungsbildes aus dem Blickwinkel erforderliche Verarbeitungszeit verkürzt und die Erstellung des Free-Viewpoint-Bildes schnell durchgeführt werden.
Hier ist es, wie oben beschrieben, möglich, im Kameraführungsfenster 43 die ausgewählte Kamera oder eine Vielzahl von auswählbaren Kameras anzuzeigen.
Obwohl in den 58 bis 62 der Fall dargestellt ist, in dem nur die Informationen über die ausgewählte Kameraführung angezeigt werden, kann das Kameraführungsfenster 43 auch die Kameraführungsinformationen aller der Vielzahl von Kameraführungen anzeigen, die in der Kameraführungslisten-Anzeigeeinheit 44 angezeigt werden.
Auf diese Weise kann das Umschalten der Anzahl der im Kameraführungsfenster 43 anzuzeigenden Kameraführungen durch die Anzeigepfad-Beschränkungstaste B41 und die Beschränkungsfreigabetaste B42 veranlasst werden. Die Anzeigepfad-Beschränkungstaste B41 ist eine Taste zum Anweisen der Anzeige nur der ausgewählten Kameraführung, und die Beschränkungsfreigabetaste B42 ist eine Taste zum Freigeben des Zustands der Beschränkung auf die Anzeige nur der ausgewählten Kameraführung und funktioniert als eine Anweisungstaste zum Anzeigen der Kameraführunginformationen aller der Vielzahl von Kameraführungen, die auf der Kameraführunglisten-Anzeigeeinheit 44 angezeigt werden.
Als Nächstes wird die Kameraführungslisten-Anzeigeeinheit 44 beschrieben.
Die Kameraführung als Kandidat, der zur Erstellung des Free-Viewpoint-Bildes verwendet werden kann, wird auf der Kameraführungslisten-Anzeigeeinheit 44 angezeigt (siehe z. B. 63). Beispiele für die auf der Kameraführungslisten-Anzeigeeinheit 44 angezeigten Kameraführungsinformationen sind die Kameraführungs-ID, die Identifikationsinformationen der In-Kamera und der Out-Kamera, Tag-Information und dergleichen.
Darüber hinaus wird in diesem Beispiel das Miniaturbild der Bewegungstrajektorieninformation Mm für jede Kameraführung in der Kameraführungslisten-Anzeigeeinheit 44 angezeigt. Durch die Anzeige solcher Miniaturbilder ist es möglich, den Benutzer dazu zu veranlassen, sich selbst in der Kameraführungsliste zu vergewissern, welche Blickpunkt-Bewegungstrajektorie jede Kameraführung hat.
In diesem Fall handelt es sich bei der Tag-Information um eine Information, die jeder erstellten Kameraführung hinzugefügt werden kann, wenn die Kameraführung über den oben beschriebenen Erstellungsoperationsbildschirm Gg erstellt wird, und die in diesem Beispiel eine Textinformation ist. Die Tag-Information für die Kameraführung kann z. B. durch Eingabe einer Information in ein Feld „Tag“ (siehe z. B. 19) eingestellt werden, das bei der Eingabe der Kameraführung auf der Kameraführungslisten-Anzeigeeinheit 52 auf dem Erstellungsoperationsbildschirm Gg vorgesehen ist.
Im Folgenden wird diese Tag-Information als „Tag-Information 11“ bezeichnet.
Die Kameraführungslisten-Anzeigeeinheit 44 ist mit der Filterbetriebseinheit 48 zum Filtern der in der Listenanzeige anzuzeigenden Kameraführung, d. h. der auf der Kameraführungslisten-Anzeigeeinheit 44 anzuzeigenden Kameraführung, ausgestattet.
Eine Funktion, die sich auf die Filterung der Kameraführung mit Hilfe der Filterbetriebseinheit 48 bezieht, wird unter Bezugnahme auf die 63 bis 65 beschrieben.
Zunächst, wenn die Filterung durchgeführt wird, betätigt der Benutzer eine Pulldown-Taste B43 an der Filterbetriebseinheit 48, wie in 63 dargestellt. Dann wird, wie in der Zeichnung dargestellt, eine Pulldown-Liste 48a angezeigt. Eine Liste von Tag-Informationsstücken I1 wird in der Pulldown-Liste 48a angezeigt. Die in der Pulldown-Liste 48a angezeigte Tag-Information I1 ist die Tag-Information 11, die für jede Kameraführung als Kandidat festgelegt wurde. Das heißt, wie in der Zeichnung dargestellt, wird in einem Fall, in dem es eine Kameraführung gibt, in der eine Tag-Information I1 wie „CW, Cam9“ und „CW, Right“ als Kandidat festgelegt ist, die Tag-Information I1 wie „CW, Cam9“ und „CW, Right“ in der Pulldown-Liste 48a angezeigt.
Der Benutzer kann die Anweisung geben, nur die Kameraführung anzuzeigen, in der die Tag-Information I1 auf der Kameraführungslisten-Anzeigeeinheit 44 eingestellt ist, indem er eine Operation (z. B. eine Klick-Operation oder dergleichen) durchführt, um die Tag-Information I1 zu bestimmen, die in der Pulldown-Liste 48a angezeigt wird.
Es ist zu beachten, dass der Anzeigeteil jeder Tag-Information I1 in der Pulldown-Liste 48a einer Filterbedingungsinformation entspricht, die eine Filterbedingung für das Filtern und Anzeigen der Kameraführungsinformationen angibt, wie an dieser Stelle verstanden werden kann.
64 zeigt einen Zustand des Kameraführungs-Bestimmungsbildschirms Gs in einem Fall, in dem „CW, Right“ als Tag-Information I1 angegeben ist. In diesem Fall wird nur die Kameraführung, bei der „CW, Right“ als Tag-Information I1 eingestellt ist, auf der Kameraführungslisten-Anzeigeeinheit 44 angezeigt.
Da es in diesem Fall nur eine Kameraführung gibt, für die „CW, Right“ eingestellt ist, wird die Information über die Kameraführung, für die „CW, Right“ eingestellt ist, im Kameraführungsfenster 43 angezeigt. Es ist zu beachten, dass die Kameraführung, bei der „CW, Right“ eingestellt ist, die Kameraführung ist, bei der das Ziel Tg, dessen Position durch die rechte Zielmarke Mt angegeben ist, unter den Zielen Tg, deren Positionen durch die beiden Zielmarken Mt angegeben sind, die in dem oben beschriebenen Kameraführungsfenster 43 von 61 dargestellt sind, eingestellt ist. Daher wird im Kameraführungsfenster 43 in diesem Fall nur eine Zielmarke Mt als Kameraführungsinformation angezeigt.
Es ist zu beachten, dass in einem Fall, in dem es eine Vielzahl von Kameraführungen gibt, auf die die bezeichnete Tag-Information I1 gesetzt ist, es zum Beispiel denkbar ist, die Information der Kameraführung, die an einer vorbestimmten Position wie einer Kopfposition auf der Liste angezeigt wird, im Kameraführungsfenster 43 anzuzeigen.
Durch die oben beschriebene Filterung der Kameraführung auf der Grundlage der Tag-Information I1 kann eine Filterung auf der Grundlage eines beliebigen Standards in Abhängigkeit vom Informationsinhalt, der als Tag-Information I1 festgelegt wurde, realisiert werden. Wenn beispielsweise eine Teaminformation (z. B. Team A, Team B oder dergleichen) als Tag-Information I1 festgelegt wird, kann die Filterung auf der Grundlage eines Kriteriums wie z. B., ob die Kameraführung für eine Aufnahmeszene von Team A oder eine Aufnahmeszene von Team B ist, realisiert werden. Alternativ kann durch das Festlegen von Informationen (z. B. Drehung im Uhrzeigersinn, Drehung gegen den Uhrzeigersinn usw.), die die Bewegungsrichtung des Blickpunkts als Tag-Information I1 angeben, eine Filterung auf der Grundlage der Bewegungsrichtung des Blickpunkts realisiert werden.
Indem man die Kamera, die dem Sichtfeld von Interesse am nächsten ist, wie z. B. das dem Zielmotiv am nächsten liegende Sichtfeld Tg, als Tag-Information I1 einstellt, ist es möglich, die Filterung der Kameraführung mit dem Sichtfeld von Interesse als Referenz zu realisieren.
In der Filterbetriebseinheit 48 ist die Rücksetztaste B44 eine Taste, mit der das Zurücksetzen der Filterung angewiesen wird. Wenn die Rücksetztaste B44 betätigt wird, wie im Bildschirmübergang von 64 zu 65 dargestellt, wird der Filter- und Anzeigezustand der Kameraführung in der Kameraführungslisten-Anzeigeeinheit 44 aufgehoben, und die Kameraführung wird als Kandidat für die Erstellung des Free-Viewpoint-Bildes in einer Liste angezeigt.
Obwohl die Filterung auf der Grundlage der Tag-Information I1 oben in Bezug auf die Filterung der Kameraführung dargestellt wurde, kann die Filterung der Kameraführung auf der Grundlage der Informationen der In-Kamera oder der Out-Kamera, die in den Informationen der Kameraführung enthalten sind, durchgeführt werden.
Obwohl das Beispiel, in dem die Informationen, die die Filterbedingung angeben, wie die Tag-Information I1, in der Pulldown-Liste 48a angezeigt werden, oben beschrieben wurde, können die Informationen, die die Filterbedingung angeben (Filterbedingungsinformationen), auch als Taste angezeigt werden, wie in 66 dargestellt.
Zu diesem Zeitpunkt können die Informationen, die als Taste angezeigt werden, auf der Grundlage der Historie-Informationen über die für die Erstellung des Free-Viewpoint-Bildes in der Vergangenheit verwendete Kameraführung bestimmt werden. Zum Beispiel kann die Tag-Information I1 von vorbestimmten hochrangigen Kameraführungen, die in der Vergangenheit häufig verwendet wurden, als Taste angezeigt werden.
In 66 ist die Tastenanordnung dargestellt, die einem Fall entspricht, in dem vorbestimmte hochrangige, häufig benutzte Kameraführungen, die Kameraführungen sind, an denen die Tag-Information I1 wie „goal mouth“, „Left“, „Right“ oder dergleichen angebracht ist.
Die Taste, die die Filterbedingungsinformationen anzeigt, kann vom Benutzer angepasst werden.
67 zeigt ein Beispiel für die Anzeige einer Taste in diesem Fall. In diesem Fall kann der Benutzer beliebige Informationen für die Anzeige der einzelnen Tasten festlegen. In einem Fall, in dem die Anzeigeinformationen der Taste vom Benutzer eingestellt werden, verwaltet die Bilderstellungs-Verarbeitungseinheit 32 die eingestellten Informationen als Informationen, die die Filterbedingung der Kameraführung anzeigen. Beispielsweise werden die in der Zeichnung dargestellten Informationen „Team A“, „Left“ und „Right“ als Informationen verwaltet, die eine Filterbedingung der Kameraführung anzeigen. In einem Fall, in dem die Taste betätigt wird, führt die Bilderstellungs-Verarbeitungseinheit 32 (insbesondere die Anzeigeverarbeitungseinheit 32a) den Prozess der Anzeige der Kameraführung, in der die Tag-Information 11, die mit der entsprechend der Taste verwalteten Information übereinstimmt, eingestellt ist, auf der Kameraführungslisten-Anzeigeeinheit 44 durch.
Darüber hinaus kann die Information, die die Filterbedingung angibt, vom Benutzer als eingegebene Schlüsselwortinformation empfangen werden.
In diesem Fall ist z. B. die in den 66 und 67 dargestellte Schlüsselwort-Eingabeeinheit 48b in der Filterbetriebseinheit 48 vorgesehen. In diesem Fall führt die Anzeigeverarbeitungseinheit 32a die Verarbeitung der Anzeige der Kameraführung durch, in dem die Tag-Information 11, die mit der eingegebenen Schlüsselwort-Information übereinstimmt, auf der Kameraführungslisten-Anzeigeeinheit 44 als Reaktion auf die Schlüsselwort-Eingabe in die Schlüsselwort-Eingabeeinheit 48b eingestellt ist.
Es ist zu beachten, dass in der obigen Beschreibung die Bestimmung der Kameraführung, die zur Erstellung des Free-Viewpoint-Bildes verwendet wird, als die Bestimmung der Kameraführung erfolgt, die auf der Kameraführungslisten-Anzeigeeinheit 44 angezeigt wird.
Die Bestimmung der Kameraführung kann jedoch auch als Bestimmung der auf dem Kameraführungsfenster 43 angezeigten Kameraführung erfolgen.
In der vorliegenden Ausführungsform werden die Informationen, die durch die Visualisierung der Bewegungsgeschwindigkeit des Blickpunkts gewonnen werden, für die im Kameraführungsfenster 43 angezeigten Kameraführungsinformationen angezeigt.
Die 68 und 69 stellen Beispiele für die Visualisierung der Bewegungsgeschwindigkeit des Blickpunkts dar. Es ist zu beachten, dass die 68 und 69 ein Beispiel darstellen, in dem das Beobachtungsbild der Kameraführungsinformationen an dem oben beschriebenen Blickpunkt auf der Y-Achse im Kameraführungsfenster 43 angezeigt wird.
In diesem Beispiel werden Informationen, die einen Zeitraum angeben, in dem die Bewegungsgeschwindigkeit des Blickpunkts abnimmt, als die Informationen angezeigt, die die Bewegungsgeschwindigkeit des Blickpunkts visualisieren. 68 zeigt ein Beispiel, in dem die Kamerapositionsmarke Mc, die die Kamera anzeigt, die in dem Abschnitt positioniert ist, in dem die Bewegungsgeschwindigkeit des Blickpunkts abnimmt, in einem Anzeigemodus angezeigt wird, der sich von den anderen Kamerapositionsmarken Mc unterscheidet. So ist es beispielsweise denkbar, die entsprechende Kamerapositionsmarke Mc in einer Farbe oder Größe anzuzeigen, die von derjenigen der anderen Kamerapositionsmarken Mc abweicht.
69 veranschaulicht ein Beispiel, in dem sich der Anzeigemodus des entsprechenden Abschnitts in den Bewegungstrajektorieinformationen Mm von dem der anderen Abschnitte für den Zeitraum unterscheidet, in dem die Bewegungsgeschwindigkeit des Blickpunkts abnimmt. So ist es beispielsweise denkbar, wie in der Zeichnung dargestellt, die Bewegungstrajektorie im entsprechenden Abschnitt als gepunktete Linie und die Bewegungstrajektorie im anderen Abschnitt als durchgezogene Linie darzustellen. Alternativ können die Farbe, die Dicke, die lineare Form (z. B. gerade Linie und Wellenlinie) und dergleichen der Bewegungstrajektorie zwischen dem entsprechenden Abschnitt und dem anderen Abschnitt unterschiedlich dargestellt werden.
Obwohl nicht abgebildet, kann die Bewegungsgeschwindigkeit des Blickpunkts auch durch die Dichte der Punkte ausgedrückt werden, wenn die Bewegungstrajektorie durch eine gepunktete Linie dargestellt wird. So ist beispielsweise eine Darstellung denkbar, bei der die Dichte der Punkte mit zunehmender Bewegungsgeschwindigkeit zunimmt.
Es ist zu beachten, dass in den 68 und 69 zwar das Beobachtungsbild vom Blickpunkt auf der Y-Achse dargestellt ist, eine ähnliche Darstellung aber auch für den Blickpunkt auf der X-Achse, den Blickpunkt auf der Z-Achse und den Blickpunkt Pe (beliebiger Blickpunkt) vorgenommen wird.
Darüber hinaus wird in der vorliegenden Ausführungsform in Bezug auf die im Kameraführungsfenster 43 angezeigten Informationen über die Kameraführung eine Verarbeitung zur Aktualisierung der Informationen über die Position des Ziels Tg in den Kameraführungsinformationen entsprechend der Operation der Änderung der Position der Zielmarke Mt durchgeführt.
Bei dieser Verarbeitung handelt es sich um eine Verarbeitung der in 5 gezeigten Kameraführungsbearbeitungs-Verarbeitungseinheit 32b.
Unter Bezugnahme auf die 70 und 71 wird die Bearbeitung der Zielposition durch eine derartige Kameraführungsbearbeitungs-Verarbeitungseinheit 32b beschrieben.
70 zeigt die im Kameraführungsfenster 43 angezeigten Kameraführungsinformationen.
Es wird davon ausgegangen, dass die Änderung der Position der Zielmarke Mt im Kameraführungsfenster 43, wie in der Zeichnung dargestellt, durchgeführt wird. Die Operation zur Änderung der Position der Zielmarke Mt kann z. B. durch Ziehen und Ablegen der Zielmarke Mt erfolgen.
Hier wird die Position des Ziels Tg nach der Änderung durch eine solche Änderungsoperation als „Position Pta“ bezeichnet, und die Position des Ziels Tg vor der Änderung wird als „Ptb“ bezeichnet.
Als Reaktion auf die oben beschriebene Änderung der Position der Zielmarke Mt führt die Kameraführungsbearbeitungs-Verarbeitungseinheit 32b eine Verarbeitung zur Aktualisierung der Informationen über die Position des Ziels Tg von der Position Ptb zur Position Pta in Bezug auf die im Kameraführungsfenster 43 angezeigten Kameraführungsinformationen durch.
Durch die derartige Aktualisierung der Positionsinformationen des Ziels Tg in den Kameraführungsinformationen wird bei der Erstellung des Free-Viewpoint-Bildes unter Verwendung der Kameraführungsinformationen das Free-Viewpoint-Bild so erstellt, dass die Sichtlinienrichtung Dg von jeder Position auf der Blickpunkt-Bewegungstrajektorie der Position des aktualisierten Ziels Tg gegenüberliegt. 71 zeigt ein Bild einer Änderung des Sichtfelds Rf in einem Fall, in dem die Sichtlinienrichtung Dg von jeder Position auf der Blickpunkt-Bewegungstrajektorie der Position Pta gegenübersteht, die die Position nach der Aktualisierung ist.
Da die Kameraführungsinformationen gemäß der oben beschriebenen Operation auf dem Kameraführungs-Bestimmungsbildschirm Gs bearbeitet werden können, ist es nicht notwendig, eine Software zur Erstellung der Kameraführungsinformationen zu starten, wenn die Kameraführungsinformationen in der Phase der Bestimmung der Kameraführung, die zur Erstellung des Free-Viewpoint-Bildes verwendet werden soll, bearbeitet werden sollen.
Daher ist es selbst dann, wenn eine Bearbeitung der Kameraführungsinformationen erforderlich ist, möglich, die Arbeit zur Erstellung eines Free-Viewpoint-Bildes schnell auszuführen.
Darüber hinaus wird in der vorliegenden Ausführungsform auf dem Kameraführungs-Bestimmungsbildschirm Gs die oben beschriebene Verarbeitung der Anzeige von Informationen durchgeführt, die die Kamera darüber informieren, dass eine Kalibrierung erforderlich ist.
Insbesondere bestimmt die Anzeigeverarbeitungseinheit 32a, ob es unter den Kameras, deren Kamerapositionsmarken Mc im Kameraführungsfenster 43 angezeigt werden, eine Kamera gibt, deren Variation erkannt wurde, und zwar auf der Grundlage des Ergebnisses der Variationserkennung (z. B. der automatischen Variationserkennung in Schritt S33) jeder Kamera durch den oben unter Bezugnahme auf 14 beschriebenen Utility-Server 8. In einem Fall, in dem es eine Kamera gibt, deren Variation erkannt wurde, führt die Anzeigeverarbeitungseinheit 32a eine Verarbeitung der Anzeige von Informationen durch, die die entsprechende Kamera (d. h. die Kamera, deren Variation erkannt wurde) in dem Kameraführungsfenster 43 benachrichtigen.
Es ist zu beachten, dass die Kamera, in der die Variation erkannt wird, umformuliert werden kann als eine Kamera, in der die Veränderung des Sichtfeldes erkannt wird.
72 zeigt ein Beispiel für die Anzeige der Benachrichtigungsinformationen der Kamera, bei der die Variation erkannt wurde.
Was die Anzeige der Benachrichtigungsinformationen betrifft, so wird, wie in der Zeichnung dargestellt, die Kamerapositionsmarke Mc der entsprechenden Kamera in einem Anzeigemodus angezeigt, der sich von dem der anderen Kamerapositionsmarken Mc unterscheidet (auch in diesem Fall ist es denkbar, Farbe, Größe, Form und dergleichen zu variieren). Darüber hinaus ist es auch denkbar, in der Nähe der entsprechenden Kamerapositionsmarke Mc eine Aufmerksamkeit erregende Information anzuzeigen, wie das in der Figur dargestellte Ausrufezeichen.
Bei der Erstellung eines Free-Viewpoint-Bildes ist es zur genauen Erstellung dreidimensionaler Informationen aus Bildern, die von einer Vielzahl von Kameras aufgenommen wurden, notwendig, dass jede Kamera im Voraus eine angenommene Position und Ausrichtung beibehält, und in einem Fall, in dem eine Änderung der Position und Ausrichtung bei einer beliebigen Kamera auftritt, ist es notwendig, die zur Erstellung dreidimensionaler Informationen verwendeten Parameter zu kalibrieren. Durch die Benachrichtigung der Kamera, bei der wie oben beschrieben eine Änderung des Sichtfelds erkannt wird, kann der Benutzer darüber informiert werden, welche Kamera kalibriert werden muss.
Daher ist es möglich, ein Free-Viewpoint-Bild zu erzeugen, das auf genauen dreidimensionalen Informationen basiert, und die Bildqualität des Free-Viewpoint-Bildes zu verbessern.
Die mit der Filterung der oben beschriebenen Kameraführung verbundene Verarbeitung wird anhand der Flussdiagramme in den 73 und 74 beschrieben. Es ist zu beachten, dass die in den 73 und 74 dargestellte Verarbeitung von der CPU 71 des Free-Viewpoint-Bildservers 2 als Verarbeitung der Anzeigeverarbeitungseinheit 32a ausgeführt wird.
73 veranschaulicht eine Verarbeitung, die einem Fall entspricht, in dem die Kameraführung auf der Grundlage der Tag-Information I1 gefiltert wird, die auf dem Kameraführungs-Bestimmungsbildschirm Gs angezeigt wird, wie in 63 dargestellt.
Zunächst führt die CPU 71 in Schritt S201 die Verarbeitung der Erfassung der Tag-Information I1 in jedem Stück von Kameraführungsinformationen als Kandidat durch. Das heißt, dass jedes Stück von Kameraführungsinformationen als Kandidat für die Erstellung des Free-Viewpoint-Bildes erfasst wird. Dabei werden die Kameraführungsinformationen als Kandidat in einer lesbaren Speichervorrichtung innerhalb oder außerhalb des Free-Viewpoint-Bildservers 2 gespeichert. In der Verarbeitung von Schritt S201 werden die auf diese Weise gespeicherten Kameraführungsinformationen als Kandidat erfasst.
In Schritt S202, der auf Schritt S201 folgt, führt die CPU 71 einen Prozess zur Anzeige der Tag-Information I1 durch. Das heißt, im Fall der Anzeige in der Pulldown-Liste 48a, wie in 63 dargestellt, wird die Tag-Information 11, die in den in Schritt S201 erfassten Kameraführungsinformationen enthalten ist, in Reaktion auf die Betätigung der Pulldown-Taste B43 angezeigt.
In Schritt S203 im Anschluss an Schritt S202 wartet die CPU 71 auf die Bestimmungsoperation der Tag-Information I1 und geht in einem Fall, in dem die Bestimmungsoperation der Tag-Information I1 durchgeführt wurde, zu Schritt S204 über und führt die Verarbeitung des Filterns und Anzeigens der Kameraführung durch, an die die bestimmte Tag-Information I1 angehängt ist. Das heißt, dass die Verarbeitung der Anzeige der Kameraführungsinformationen einschließlich der bestimmten Tag-Information I1 (in der die bestimmte Tag-Information I1 eingestellt ist) unter den Kameraführungsinformationen als Kandidaten auf der Kameraführungslisten-Anzeigeeinheit 44 durchgeführt wird. Wie in 64 dargestellt, handelt es sich bei den anzuzeigenden Kameraführungsinformationen in diesem Beispiel z. B. um Identifikationsinformationen der Kameraführung, Informationen über die In-Kamera und die Out-Kamera, Tag-Information I1 und dergleichen.
Die CPU 71 beendet die in 73 dargestellte Reihe von Prozessen als Reaktion auf die Ausführung des Prozesses von Schritt S204.
74 veranschaulicht die Verarbeitung im Zusammenhang mit der Filterung der Kameraführung entsprechend dem eingegebenen Schlüsselwort.
In 74 wartet die CPU 71 in Schritt S210 auf die Eingabe eines Schlüsselworts durch den Benutzer und wählt in Schritt S211 die Kameraführung aus, die das eingegebene Schlüsselwort enthält, wenn die Eingabe erfolgt ist. Das heißt, unter den in Frage kommenden Kameraführungsinformationen werden die Kameraführungsinformationen ausgewählt, die das eingegebene Schlüsselwort in der Tag-Information I1 enthalten.
Im anschließenden Schritt S212 führt die CPU 71 die Verarbeitung der Anzeige der ausgewählten Kameraführung durch. Das heißt, dass die Anzeige der ausgewählten Kameraführungsinformationen auf der Kameraführungslisten-Anzeigeeinheit 44 erfolgt.
Als Reaktion auf die Ausführung des Prozesses von Schritt S212 beendet die CPU 71 die in 74 dargestellte Reihe von Prozessen.
75 ist ein Flussdiagramm der Verarbeitung im Zusammenhang mit der in 72 dargestellten Benachrichtigung über eine Kamera, die kalibriert werden muss. Es ist zu beachten, dass die in 75 dargestellte Verarbeitung auch als Verarbeitung der Anzeigeverarbeitungseinheit 32a durch die CPU 71 des Free-Viewpoint-Bildserver 2 ausgeführt wird, ähnlich wie die Verarbeitung in den 73 und 74.
In Schritt S301 wartet die CPU 71 auf die Benachrichtigung über die Kameravariation. Das heißt, die CPU 71 wartet auf die Variationsbenachrichtigung, die übertragen wird, wenn der Utility-Server 8 eine Variation der Kamera durch die oben beschriebene automatische Variationserkennung (Schritt S33 in 14) erkennt. Die Variationsbenachrichtigung enthält Informationen zur Angabe der Kamera, in der die Variation erkannt wurde.
Wenn die Benachrichtigung über die Kameravariation vorliegt, bestimmt die CPU 71 in Schritt S302, ob es sich bei der Kamera um eine angezeigte Kamera handelt oder nicht. Das heißt, es wird bestimmt, ob die durch die Variationsbenachrichtigung gemeldete Kamera die Kamera ist, die die Kamerapositionsmarke Mc im Kameraführungsfenster 43 anzeigt oder nicht. Wenn die Kamera nicht die angezeigte Kamera ist, beendet die CPU 71 die in 75 dargestellte Verarbeitungsreihe.
Wird die Kamera hingegen gegenwärtig angezeigt, geht die CPU 71 zu Schritt S303 über und führt den Prozess der Variationsbenachrichtigung aus. Beispielsweise wird für die entsprechende Kamerapositionsmarke Mc, die im Kameraführungsfenster 43 angezeigt wird, eine Verarbeitung der Anzeige von Informationen durchgeführt, die die Variation des Anzeigemodus, wie in 72 dargestellt, anzeigen.
Als Reaktion auf die Ausführung des Prozesses von Schritt S303 beendet die CPU 71 die in 75 dargestellte Reihe von Prozessen.
<9. Modifikation>
Es ist zu beachten, dass die Ausführungsform nicht auf das oben beschriebene spezifische Beispiel beschränkt ist, und dass verschiedene Konfigurationen und Modifikationen möglich sind.
Beispielsweise wurde in der obigen Beschreibung ein Beispiel beschrieben, bei dem eine Vorrichtung, die die Verarbeitung der Anzeige des Erstellungsoperationsbildschirms Gg und die Annahme der Bedienungseingabe zur Erstellung der Kameraführung durchführt, und eine Vorrichtung, die die Verarbeitung der Anzeige des Kameraführungs-Bestimmungsbildschirms Gs und die Annahme der Bedienungseingabe zur Erstellung des Free-Viewpoint-Bildes durchführt, gemeinsame Vorrichtungen als der Free-Viewpoint-Bildserver 2 sind. Es ist jedoch auch möglich, einen Modus zu wählen, bei dem diese Vorrichtungen getrennt sind.
Darüber hinaus wurde in der obigen Beschreibung in Bezug auf die Filterung und die Anzeige der Kameraführung auf dem Kameraführungs-Bestimmungsbildschirm Gs ein Beispiel beschrieben, bei dem die Filterung entsprechend dem bedienten Teil, wie z. B. der Taste, die die Filterbedingung anzeigt, durchgeführt wird. Die Filterung und Anzeige der Kameraführung kann aber z. B. auch nach der Bestimmung des Ziels Tg erfolgen, wie z. B. die Bestimmung der im Kameraführungsfenster 43 angezeigten Zielmarke Mt. Konkret wird nur die Kameraführung herausgefiltert und angezeigt, bei der das gewünschte Ziel Tg unter den Kameraführungen als Kandidat festgelegt ist.
Darüber hinaus können auf dem Erstellungsoperationsbildschirm Gg und dem Kameraführungs-Bestimmungsbildschirm Gs in einem Fall, in dem es einen Bereich gibt (z. B. einen Bereich, in dem die Auflösung gleich oder kleiner als ein vorbestimmter Wert ist), in dem die Bildqualität nicht gesichert werden kann, weil z. B. die reale Kamera auf der Bewegungstrajektorie des Blickpunkts zu weit vom Motiv entfernt ist, auch Informationen zur Benachrichtigung über den Bereich angezeigt werden.
<10. Zusammenfassung der Ausführungsformen>
Wie oben beschrieben, enthält eine erste Informationsverarbeitungsvorrichtung gemäß der Ausführungsform die Anzeigeverarbeitungseinheit (34a), die die Verarbeitung der Anzeige eines Bildschirms als Kameraführungsinformationen-Erstellungsoperationsbildschirm (Gg) durchführt, bei dem es sich um Informationen handelt, die zumindest die Bewegungstrajektorie des Betrachtungspunkts in einem Free-Viewpoint-Bild anzeigen, einschließlich eines Bestimmungsoperations-Empfangsbereich (Kameraführungslisten-Anzeigeeinheit 44, Bedienfeldeinheit 54 und dergleichen), der eine Bedienungseingabe zum Bestimmen von zumindest teilweisen Informationen der Kameraführungsinformationen empfängt, und einen Kameraführungs-Anzeigebereich (Kameraführungsfenster 53), der die Bewegungstrajektorie des Blickpunkts basierend auf den Kameraführungsinformationen, die den Bestimmungsinhalt durch die Bedienungseingabe wiedergeben, visualisiert und anzeigt.
Als Ergebnis kann der Benutzer die Erstellungsoperation der Kameraführung durchführen, während er die visualisierte Bewegungstrajektorie des Blickpunkts auf dem Kameraführungs-Erstellungsoperationsbildschirm visuell erkennt.
Dadurch kann die Effizienz bei der Erstellung der Kameraführung verbessert werden.
Darüber hinaus kann in der ersten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der Bestimmungsoperations-Empfangsbereich Bestimmungsoperationen des Startpunkts und des Endpunkts der Bewegungstrajektorie empfangen (siehe 22 bis 25 und 52).
Dadurch ist es möglich, anstelle eines festen Punktes einen beliebigen Start- und Endpunkt der Bewegungstrajektorie des Blickpunktes zu setzen.
Daher kann der Freiheitsgrad bei der Erstellung eines Free-Viewpoint-Bildes verbessert werden.
Darüber hinaus kann in der ersten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der Bestimmungsoperations-Empfangsbereich die Bestimmungsoperation eines Via-Punktes eines Blickpunktes empfangen (siehe 27 bis 30 und 53).
So ist es möglich, als Bewegungstrajektorie des Blickpunkts eine Trajektorie festzulegen, die durch den bestimmten Punkt verläuft, anstatt einer linearen Trajektorie, die zwei Punkte, den Startpunkt und den Endpunkt, verbindet.
Daher kann der Freiheitsgrad bei der Erstellung eines Free-Viewpoint-Bildes verbessert werden.
Darüber hinaus kann in der ersten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der Bestimmungsoperations-Empfangsbereich Bestimmungsoperationen zu dem Zeitpunkt empfangen, zu dem der Blickpunkt den Via-Punkt passiert (siehe 27 bis 30) .
So ist es möglich, nicht nur den Via-Punkt des Blickpunkts festzulegen, sondern auch den Zeitpunkt, zu dem der Blickpunkt den Via-Punkt passiert.
Daher ist es möglich, den Freiheitsgrad bei der Festlegung der Position, durch die der Blickpunkt verläuft, und den Freiheitsgrad bei der Festlegung des Zeitpunkts, zu dem der Blickpunkt den Via-Punkt passiert, zu verbessern und den Freiheitsgrad bei der Erstellung des Free-Viewpoint-Bildes zu erhöhen.
Darüber hinaus kann in der ersten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der Bestimmungsoperations-Empfangsbereich Bestimmungsoperationen vom Typ der Form der Bewegungstrajektorie empfangen (siehe 32 und 33).
Dadurch kann die Form der Bewegungstrajektorie des Blickpunkts variabel gestaltet werden, anstatt fest zu sein.
Daher kann der Freiheitsgrad bei der Erstellung eines Free-Viewpoint-Bildes verbessert werden.
Handelt es sich bei der Bewegungstrajektorie beispielsweise um eine gekrümmte Form, kann verhindert werden, dass sich der Abstand zwischen dem Zielmotiv und dem Blickpunkt stark verändert, selbst wenn sich der Blickpunkt bewegt. Mit anderen Worten: Es kann verhindert werden, dass sich die Größe des Zielmotivs im Free-Viewpoint-Bild stark verändert.
Darüber hinaus kann in der ersten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der Bestimmungsoperations-Empfangsbereich Bestimmungsoperationen für die Bewegungsgeschwindigkeit des Blickpunkts empfangen (siehe 34 und 35).
Dadurch kann die Bewegungsgeschwindigkeit des Blickpunkts variabel statt fest eingestellt werden.
Daher kann der Freiheitsgrad bei der Erstellung eines Free-Viewpoint-Bildes verbessert werden.
Darüber hinaus kann in der ersten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der Bestimmungsoperations-Empfangsbereich die Bestimmungsoperationen eines Abschnitts zur Änderung der Bewegungsgeschwindigkeit in der Bewegungstrajektorie empfangen (siehe 34 und 35).
So ist es möglich, die Bewegungsgeschwindigkeit des Blickpunkts in der Bewegungstrajektorie dynamisch zu verändern.
Daher kann der Freiheitsgrad bei der Erstellung eines Free-Viewpoint-Bildes verbessert werden.
Darüber hinaus kann in der ersten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der vorgesehene Operationsempfangsbereich eine Operationseingabe für eine Zeitachse empfangen, die einen Zeitraum vom Startzeitpunkt der Bewegung bis zum Endzeitpunkt der Bewegung des Blickpunkts angibt (siehe die Zeitachsen-Bedienungseinheit 54a).
Durch die Annahme der Eingabeoperation auf der Zeitachse können beispielsweise die Bestimmung eines Via-Punkts und die Bestimmung eines Via-Punkt-Zeitpunkts gleichzeitig durch Ziehen und Ablegen eines Kamerasymbols auf der Zeitachse durchgeführt werden, oder die Bestimmung eines Abschnitts, in dem ein vorbestimmter Effekt wie ein Abschnitt, in dem eine Kurveninterpolation einer Bewegungstrajektorie durchgeführt werden soll, durch die Bestimmung eines Bereichs durch Ziehen auf der Zeitachse durchgeführt werden kann. Auf diese Weise ist es möglich, die Bestimmungsoperation verschiedener Arten von Informationen im Zusammenhang mit der Kameraführung zu erleichtern.
Dadurch kann die Effizienz bei der Erstellung der Kameraführung verbessert werden.
Darüber hinaus führt in der ersten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform die Anzeigeverarbeitungseinheit die Verarbeitung von Anzeigeinformationen (Sichtfeldinformationen Fv) durch, die durch Visualisierung des Sichtfelds vom Blickpunkt im Kameraführungs-Anzeigebereich erhalten werden (siehe 20 und dergleichen).
Da das Sichtfeld visuell angezeigt wird, ist es möglich, dem Benutzer das Erfassen der Kameraführung zu erleichtern.
Auf diese Weise kann der Benutzer leicht nachvollziehen, wie sich die Kameraführung durch die Bedienungseingabe verändert, und die Effizienz bei der Erstellung der Kameraführung verbessern.
Darüber hinaus führt in der ersten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Informationen durch, bei denen das Sichtfeld des Blickpunkts durch eine Figur im Kameraführungs-Anzeigebereich dargestellt wird.
Da das Sichtfeld grafisch dargestellt wird, kann der Benutzer die Kameraführung leicht nachvollziehen.
Auf diese Weise kann der Benutzer leicht nachvollziehen, wie sich die Kameraführung durch die Bedienungseingabe verändert, und die Effizienz bei der Erstellung der Kameraführung verbessern.
Darüber hinaus führt in der ersten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige eines Bildes durch, das durch Beobachtung eines dreidimensionalen Raums von einem Blickpunkt auf dem Erstellungsoperationsbildschirm erhalten wird (siehe das Vorschaufenster 55).
Infolgedessen kann dem Benutzer ein Bild, das dem Free-Viewpoint-Bild ähnelt, das auf der Grundlage der Kameraführungsinformationen erstellt wurde, als Vorschau angezeigt werden, und das Erfassen der Kameraführung kann erleichtert werden.
Dadurch kann die Effizienz bei der Erstellung der Kameraführung verbessert werden.
Darüber hinaus kann in der ersten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der Bestimmungsoperations-Empfangsbereich einen Bestimmungsvorgang einer Position eines Ziels empfangen, das eine Sichtlinienrichtung von einem Blickpunkt aus definiert (siehe 38, 39 und dergleichen).
So kann ein Bild, das dem Ziel folgt, als Free-Viewpoint-Bild erstellt werden. Das Bild, das dem Ziel folgt, ist ein Bild, in dem sich das Ziel weiterhin an einer vorbestimmten Position (z. B. in der Mitte) im Bildrahmen befindet.
Daher kann der Freiheitsgrad bei der Erstellung eines Free-Viewpoint-Bildes verbessert werden.
Darüber hinaus kann, in der ersten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform, der Bestimmungsoperations-Empfangsbereich die Bestimmungsoperation eines Zeitraums der Ausrichtung auf das Ziel empfangen (siehe 41 bis 52) .
Der Zeitraum der Ausrichtung auf das Ziel ist ein Zeitraum, in dem das Ziel kontinuierlich an einer vorbestimmten Position im Bildrahmen des Free-Viewpoint-Bildes positioniert ist. Da die Bestimmungsoperation des Zeitraums der Ausrichtung auf das Ziel wie oben beschrieben aktiviert ist, ist es möglich, ein Bild als Free-Viewpoint-Bild zu erzeugen, das der Zielposition in einem bestimmten Zeitraum folgt und der Zielposition in anderen Zeiträumen des Blickpunktbewegungszeitraums nicht folgt, und dergleichen, und die Einstellung für den Zeitraum der Verfolgung der Zielposition frei zu verbessern.
Daher kann der Freiheitsgrad bei der Erstellung eines Free-Viewpoint-Bildes verbessert werden.
Darüber hinaus kann in der ersten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der Bestimmungsoperations-Empfangsbereich eine Bestimmungsoperation einer Vielzahl von Zielpositionen als eine Bestimmungsoperation von Zielpositionen empfangen (siehe 51).
Dadurch ist es möglich, ein Free-Viewpoint-Bild zu erzeugen, das in einem bestimmten Zeitraum dem Ziel A und in einem anderen Zeitraum dem Ziel B folgt, und die Einstellung des zu verfolgenden Ziels zu verbessern.
Daher kann der Freiheitsgrad bei der Erstellung eines Free-Viewpoint-Bildes verbessert werden.
Darüber hinaus ist ein erstes Informationsverarbeitungsverfahren gemäß einer Ausführungsform ein Informationsverarbeitungsverfahren, bei dem eine Informationsverarbeitungsvorrichtung die Verarbeitung der Anzeige eines Bildschirms durchführt, als Bildschirm für die Erstellung von Kameraführungsinformationen, der Informationen enthält, die zumindest die Bewegungstrajektorie des Blickpunkts in einem Free-Viewpoint-Bild anzeigen, mit einem Bestimmungsoperations-Empfangsbereich, der eine Operationseingabe zum Bestimmen von zumindest teilweisen Informationen der Kameraführungsinformationen empfängt, und einem Kameraführungs-Anzeigebereich, der die Bewegungstrajektorie des Blickpunkts auf der Grundlage der Kameraführungsinformationen, die den Bestimmungsinhalt durch die Bedienungseingabe wiedergeben, visualisiert und anzeigt.
Mit einem solchen ersten Informationsverarbeitungsverfahren lassen sich die gleichen Operationen und Effekte erzielen wie mit der oben beschriebenen ersten Informationsverarbeitungsvorrichtung.
Außerdem beinhaltet eine zweite Informationsverarbeitungsvorrichtung gemäß der Ausführungsform eine Anzeigeverarbeitungseinheit (32a), die die Verarbeitung der Anzeige eines Bildschirms durchführt, der durch Filtern Kameraführungsinformationen gemäß Benutzereingabeinformationen aus einer Vielzahl von Kameraführungsinformationen als einen Kameraführungs-Bestimmungsbildschirm (Gs) anzeigt, der eine Bestimmungsoperation von Kameraführungsinformationen empfängt, bei denen es sich um Informationen handelt, die mindestens eine Bewegungstrajektorie eines Blickpunkts in einem Free-Viewpoint-Bild anzeigen.
Durch das Filtern und Anzeigen der Kameraführungsinformationen entsprechend den Eingabeinformationen des Benutzers ist es möglich, die vom Benutzer gewünschten Kameraführungsinformationen leicht zu finden und die für die Bestimmung der Kameraführungsinformationen erforderliche Zeit zu verkürzen.
Daher kann die Erstellung des Free-Viewpoint-Bildes schnell durchgeführt werden.
Darüber hinaus führt in der zweiten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform die Anzeigeverarbeitungseinheit eine Verarbeitung des Filterns und Anzeigens von Kameraführungsinformationen gemäß einem Schlüsselwort als die Eingabeinformation auf dem Kameraführungs-Bestimmungsbildschirm durch (siehe 66, 67, 74 und dergleichen).
Auf diese Weise ist es möglich, eine geeignete Filterung der Kameraführungsinformationen vorzunehmen, die die Absicht des Benutzers widerspiegelt.
Daher ist es möglich, dem Benutzer das Auffinden der gewünschten Kameraführungsinformationen zu erleichtern und die für die Bestimmung der Kameraführungsinformationen erforderliche Zeit weiter zu verkürzen.
Darüber hinaus ist in der zweiten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform der bediente Teil, der die Filterbedingung der Kameraführungsinformationen anzeigt, auf dem Kameraführungs-Bestimmungsbildschirm angeordnet, und die Anzeigeverarbeitungseinheit führt die Verarbeitung des Filterns und die Anzeige der Kameraführungsinformationen gemäß der Filterbedingung, die durch den bedienten Teil angezeigt wird, entsprechend der Bedienung des bedienten Teils durch (siehe 63, 64, 66, 67 und 73) .
Dadurch kann die Operation, die für die Filterung und Anzeige der Kameraführungsinformationen erforderlich ist, auf die Operation der Auswahl der Filterbedingungsinformationen reduziert werden.
Daher ist es möglich, den Bedienungsaufwand des Benutzers für die Filterung und Anzeige der Kameraführungsinformationen zu verringern.
Darüber hinaus führt in der zweiten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Informationen durch, die durch Visualisierung der Bewegungstrajektorie des Blickpunkts auf dem Kameraführungs-Bestimmungsbildschirm erhalten werden (siehe 61 und dergleichen).
Durch die Anzeige der Informationen, die die Bewegungstrajektorie des Blickpunkts visualisieren, kann sich der Benutzer leicht ein Bild von der Kameraführung machen.
Daher ist es möglich, dem Benutzer das Auffinden der gewünschten Kameraführungsinformationen zu erleichtern und die für die Bestimmung der Kameraführungsinformationen erforderliche Zeit zu verkürzen, indem die für die Erstellung des Free-Viewpoint-Bildes zu verwendenden Kameraführungsinformationen festgelegt werden.
Darüber hinaus führt in der zweiten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform die Anzeigeverarbeitungseinheit eine Verarbeitung der Anzeige von Kameraanordnungspositionsinformationen durch, die die Anordnungspositionen einer Vielzahl von Kameras angeben, die eine Bildgebung zur Erstellung eines Free-Viewpoint-Bildes auf dem Kameraführungs-Bestimmungsbildschirm durchführen (siehe 61 und dergleichen).
Durch die Anzeige der Informationen über die Anordnungsposition der einzelnen Kameras kann sich der Benutzer leicht vorstellen, welche Art von Bild als Free-Viewpoint-Bild erstellt werden soll.
Daher kann die Erstellung des Free-Viewpoint-Bildes schnell durchgeführt werden.
Darüber hinaus führt die Anzeigeverarbeitungseinheit in der zweiten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform die Verarbeitung der Anzeige von Positionsinformationen der Startpunktanordnung und der Endpunktanordnung auf dem Kameraführungs-Bestimmungsbildschirm durch, die die jeweiligen Positionen der Kamera, die als Bewegungsstartpunkt dient, und der Kamera, die als Bewegungsendpunkt des Blickpunkts dient, aus der Vielzahl der Kameras angeben (siehe 61 und dergleichen).
Dadurch ist es möglich, dem Benutzer zu ermöglichen, zu erkennen, von welcher Kameraposition aus die Bewegung des Blickpunkts beginnt und an welcher Kameraposition in der Kameraführung endet.
Daher ist es möglich, bei der Bestimmung der für die Erstellung des Free-Viewpoint-Bildes verwendeten Kameraführungsinformationen die vom Benutzer gewünschten Kameraführungsinformationen leichter zu finden. Insbesondere im Fall der Erstellung des Bildes, in dem der vordere Clip und der hintere Clip wie oben beschrieben mit dem Free-Viewpoint-Bild verbunden sind, ist es wünschenswert, dass die Kamera als Bewegungsstartpunkt des Blickpunktes mit der Bildgebungskamera des vorderen Clips und die Kamera als Bewegungsendpunkt des Blickpunktes mit der Bildgebungskamera des hinteren Clips übereinstimmt, so dass die Verbindung zwischen den Clips natürlich wird. Durch Anzeigen der jeweiligen Positionen der Kamera als Bewegungsstartpunkt und der Kamera als Bewegungsendpunkt, wie oben beschrieben, ist es jedoch möglich, auf einfache Weise eine geeignete Kameraführung zu bestimmen, die der Bildgebungskamera des vorderen Clips und der Bildgebungskamera des hinteren Clips entspricht.
Darüber hinaus führt die Anzeigeverarbeitungseinheit in der zweiten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform die Verarbeitung der Anzeige der Startpunktanordnungspositionsinformationen und der Endpunktanordnungspositionsinformationen sowie der Anordnungspositionsinformationen einer Kamera, die als der Bewegungsstartpunkt dient, und einer anderen Kamera als der Kamera, die als der Bewegungsendpunkt dient, unter der Vielzahl von Kameras in verschiedenen Modi durch.
Dadurch ist es möglich, dass der Benutzer intuitiv erfassen kann, von welcher Kameraposition aus die Bewegung des Blickpunkts beginnt und an welcher Kameraposition in der Kameraführung endet.
Daher ist es möglich, bei der Bestimmung der für die Erstellung des Free-Viewpoint-Bildes verwendeten Kameraführungsinformationen die vom Benutzer gewünschten Kameraführungsinformationen leichter zu finden.
Darüber hinaus führt in der zweiten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Informationen durch, die durch die Visualisierung der Bewegungsgeschwindigkeit des Blickpunkts auf dem Kameraführungs-Bestimmungsbildschirm erhalten werden (siehe 68 und 69).
Der Zeitraum, in dem die Bewegungsgeschwindigkeit des Blickpunkts in dem Zeitraum, in dem der Blickpunkt bewegt wird, geändert wird, ist ein wichtiger Faktor bei der Zeichnung des Free-Viewpoint-Bildes.
Daher können durch die Anzeige der Visualisierungsinformationen der Bewegungsgeschwindigkeit des Blickpunkts, wie oben beschrieben, die vom Benutzer gewünschten Kameraführungsinformationen leichter gefunden werden, und die für die Bestimmung der Kameraführungsinformationen erforderliche Zeit kann verkürzt werden.
Darüber hinaus führt in der zweiten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Informationen durch, die einen Zeitraum angeben, in dem die Bewegungsgeschwindigkeit abnimmt, und zwar als Informationen, die durch Visualisierung der Bewegungsgeschwindigkeit des Blickpunkts erhalten werden.
Der Zeitraum, in dem die Bewegungsgeschwindigkeit des Blickpunkts in dem Zeitraum, in dem der Blickpunkt bewegt wird, verringert wird, ist ein wichtiger Faktor bei der Zeichnung des Free-Viewpoint-Bildes.
Durch die Anzeige der Informationen, die den Zeitraum angeben, in dem die Bewegungsgeschwindigkeit des Blickpunkts wie oben beschrieben abnimmt, ist es daher möglich, die vom Benutzer gewünschten Kameraführungsinformationen leichter zu finden und die für die Bestimmung der Kameraführungsinformationen erforderliche Zeit zu verkürzen.
Darüber hinaus führt in der zweiten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Informationen durch, die durch Visualisierung des Sichtfeldes vom Blickpunkt auf dem Kameraführungs-Bestimmungsbildschirm erhalten werden (siehe 61 und dergleichen).
Da das Sichtfeld visuell angezeigt wird, ist es möglich, dem Benutzer das Erfassen der Kameraführung zu erleichtern.
Daher ist es möglich, dem Benutzer das Auffinden der gewünschten Kameraführungsinformationen zu erleichtern und die für die Bestimmung der Kameraführungsinformationen erforderliche Zeit zu verkürzen.
Darüber hinaus führt in der zweiten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige eines Ziels durch, das eine Sichtlinienrichtung von einem Blickpunkt auf dem Kameraführungs-Bestimmungsbildschirm definiert (siehe 61 und dergleichen).
Dadurch ist es möglich, dass der Benutzer leicht erkennen kann, auf welche Position des Motivs im dreidimensionalen Raum die Kameraführung abzielt.
Daher ist es möglich, dem Benutzer das Auffinden der gewünschten Kameraführungsinformationen zu erleichtern und die für die Bestimmung der Kameraführungsinformationen erforderliche Zeit zu verkürzen.
Darüber hinaus weist die zweite Informationsverarbeitungsvorrichtung gemäß der Ausführungsform eine Kameraführungsbearbeitungs-Verarbeitungseinheit (32b) auf, die Informationen über die Position des Ziels in den Kameraführungsinformationen entsprechend einer Änderung der Position des Ziels auf dem Kameraführungs-Bestimmungsbildschirm aktualisiert (siehe 70 und 71).
Daher ist es nicht notwendig, eine Software zur Erstellung der Kameraführungsinformationen zu starten, wenn diese in der Phase der Bestimmung der Kameraführungsinformationen, die für die Erstellung des Free-Viewpoint-Bildes verwendet werden sollen, bearbeitet werden sollen.
Daher ist es selbst dann, wenn eine Bearbeitung der Kameraführungsinformationen erforderlich ist, möglich, die Arbeit zur Erstellung eines Free-Viewpoint-Bildes schnell auszuführen.
Darüber hinaus führt in der zweiten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige eines Bildes durch, das durch Beobachtung eines dreidimensionalen Raums von einem Blickpunkt aus auf dem Kameraführungs-Bestimmungsbildschirm erhalten wird (siehe 62).
Infolgedessen kann dem Benutzer ein Bild, das dem Free-Viewpoint-Bild ähnelt, das auf der Grundlage der Kameraführungsinformationen erstellt wurde, als Vorschau angezeigt werden, und das Erfassen der Kameraführung kann erleichtert werden.
Daher ist es möglich, dem Benutzer das Auffinden der gewünschten Kameraführungsinformationen zu erleichtern und die für die Bestimmung der Kameraführungsinformationen erforderliche Zeit zu verkürzen.
Darüber hinaus führt in der zweiten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige eines Bildes durch, das durch das Rendern eines virtuellen dreidimensionalen Modells eines realen Raums als ein Bild erhalten wird, das durch die Beobachtung eines dreidimensionalen Raums von einem Blickpunkt aus erhalten wird (siehe 62).
Daher ist es bei der Vorschauanzeige des Beobachtungsbildes vom Blickpunkt aus nicht notwendig, die Rendering-Verarbeitung mit dem dreidimensionalen Modell durchzuführen, das aus dem aufgenommenen Bild des realen Zielraums erstellt wurde.
Daher kann die für die Anzeige der Vorschau des Beobachtungsbildes aus dem Blickwinkel erforderliche Verarbeitungszeit verkürzt werden, und die Erstellung des Free-Viewpoint-Bildes kann schnell durchgeführt werden.
Darüber hinaus führt in der zweiten Informationsverarbeitungsvorrichtung gemäß der Ausführungsform die Anzeigeverarbeitungseinheit eine Verarbeitung der Anzeige von Informationen durch, die eine Kamera benachrichtigen, in der eine Änderung des Sichtfeldes unter den mehreren Kameras erkannt wird (siehe 72).
Bei der Erstellung eines Free-Viewpoint-Bildes ist es zur genauen Erstellung dreidimensionaler Informationen aus Bildern, die von einer Vielzahl von Kameras aufgenommen wurden, notwendig, dass jede Kamera im Voraus eine angenommene Position und Ausrichtung beibehält, und in einem Fall, in dem eine Änderung der Position und Ausrichtung bei einer beliebigen Kamera auftritt, ist es notwendig, die zur Erstellung dreidimensionaler Informationen verwendeten Parameter zu kalibrieren. Durch die Benachrichtigung der Kamera, bei der wie oben beschrieben eine Änderung des Sichtfelds erkannt wird, kann der Benutzer darüber informiert werden, welche Kamera kalibriert werden muss.
Daher ist es möglich, ein Free-Viewpoint-Bild zu erzeugen, das auf genauen dreidimensionalen Informationen basiert, und die Bildqualität des Free-Viewpoint-Bildes zu verbessern.
Darüber hinaus ist ein zweites Informationsverarbeitungsverfahren gemäß der Ausführungsform ein Informationsverarbeitungsverfahren, bei dem eine Informationsverarbeitungsvorrichtung die Verarbeitung der Anzeige eines Bildschirms durchführt, der durch Filtern Kameraführungsinformationen gemäß Benutzereingabeinformationen aus einer Vielzahl von Kameraführungsinformationen als einen Kameraführungs-Bestimmungsbildschirm anzeigt, der eine Bestimmungsoperation von Kameraführungsinformationen empfängt, die Informationen sind, die mindestens eine Bewegungstrajektorie eines Blickpunkts in einem Free-Viewpoint-Bild anzeigen.
Mit einem solchen zweiten Informationsverarbeitungsverfahren lassen sich die gleichen Operationen und Effekte erzielen wie mit der oben beschriebenen zweiten Informationsverarbeitungsvorrichtung.
Als eine Ausführungsform kann hier ein Programm in Betracht gezogen werden, das eine CPU, einen Digitalsignalprozessor (DSP) oder dergleichen oder eine Vorrichtung, die die CPU, den DSP oder dergleichen enthält, veranlasst, die in 52, 53 oder dergleichen beschriebene Verarbeitung durch die Anzeigeverarbeitungseinheit 34a durchzuführen.
Das heißt, ein erstes Programm der Ausführungsform ist ein Programm, das von einer Computervorrichtung gelesen werden kann, und ist ein Programm, das die Computervorrichtung veranlasst, eine Funktion der Durchführung der Verarbeitung der Anzeige eines Bildschirms zu realisieren, wie der Kameraführungsinformations-Erstellungsoperationsbildschirm, der Informationen enthält, die zumindest die Bewegungstrajektorie des Blickpunkts in einem Free-Viewpoint-Bild anzeigen, mit einem Bestimmungsoperations-Empfangsbereich, der eine Bedienungseingabe zum Bestimmen von zumindest teilweisen Informationen der Kameraführungsinformationen empfängt, und einem Kameraführungs-Anzeigebereich, der die Bewegungstrajektorie des Blickpunkts basierend auf den Kameraführungsinformationen, die den Bestimmungsinhalt durch die Bedienungseingabe wiedergeben, visualisiert und anzeigt.
Mit einem solchen Programm kann die oben beschriebene Anzeigeverarbeitungseinheit 34a in einer Vorrichtung wie der Informationsverarbeitungsvorrichtung 70 realisiert werden.
Darüber hinaus kann als eine Ausführungsform ein Programm in Betracht gezogen werden, das eine CPU, einen DSP oder eine Vorrichtung, die die CPU, den DSP oder dergleichen enthält, veranlasst, die in 73, 74 oder dergleichen beschriebene Verarbeitung durch die Anzeigeverarbeitungseinheit 32a auszuführen. Das heißt, ein zweites Programm der Ausführungsform ist ein Programm, das von einer Computervorrichtung gelesen werden kann, und ist ein Programm, das die Computervorrichtung veranlasst, eine Funktion zur Durchführung der Verarbeitung der Anzeige eines Bildschirms auszuführen, der durch Filtern Kameraführungsinformationen gemäß Benutzereingabeinformationen aus einer Vielzahl von Kameraführungsinformationen als einen Kameraführungs-Bestimmungsbildschirm anzeigt, der eine Bestimmungsoperation von Kameraführungsinformationen empfängt, die Informationen sind, die mindestens eine Bewegungstrajektorie eines Blickpunkts in einem Free-Viewpoint-Bild anzeigen. Mit einem solchen Programm kann die oben beschriebene Anzeigeverarbeitungseinheit 32a in einer Vorrichtung wie der Informationsverarbeitungsvorrichtung 70 realisiert werden.
Diese Programme können im Voraus auf einer Festplatte (HDD) als Aufzeichnungsmedium aufgezeichnet werden, die in einer Vorrichtung wie einer Computervorrichtung, einem ROM in einem Mikrocomputer mit einer CPU oder dergleichen eingebaut ist.
Alternativ kann das Programm vorübergehend oder dauerhaft auf einem Wechseldatenträger gespeichert (aufgezeichnet) werden, z. B. auf einer flexiblen Platte, einer CD-ROM (Compact Disc Read Only Memory), einer magneto-optischen Platte (MO), einer Digital Versatile Disc (DVD), einer Blu-ray Disc (eingetragenes Markenzeichen), einer Magnetplatte, einem Halbleiterspeicher oder einer Speicherkarte. Ein solcher Wechseldatenträger kann als so genannte Paketsoftware bereitgestellt werden.
Darüber hinaus kann ein solches Programm von einem Wechseldatenträger auf einem Personal Computer oder dergleichen installiert oder von einer Download-Site über ein Netzwerk wie ein lokales Netzwerk (LAN) oder das Internet heruntergeladen werden.
Darüber hinaus ist ein solches Programm geeignet, um die Anzeigeeinheit 34a und die Anzeigeeinheit 32a der Ausführungsform in einem weiten Bereich bereitzustellen. Beispielsweise kann durch Herunterladen des Programms auf einen Personal Computer, eine tragbare Informationsverarbeitungsvorrichtung, ein Mobiltelefon, ein Spielgerät, ein Videogerät, einen persönlichen digitalen Assistenten (PDA) oder dergleichen der Personal Computer oder dergleichen dazu veranlasst werden, als eine Vorrichtung zu fungieren, die die Verarbeitung als die Anzeigeverarbeitungseinheit 34a oder die Anzeigeverarbeitungseinheit 32a der vorliegenden Offenbarung realisiert.
Es ist zu beachten, dass die in der vorliegenden Spezifikation beschriebenen Effekte lediglich Beispiele sind und nicht begrenzt sind, und dass auch andere Effekte bereitgestellt werden können.
<11. Vorliegende Technologie>
Es ist zu beachten, dass die vorliegende Technologie auch die folgenden Konfigurationen haben kann.

(1) Informationsverarbeitungsvorrichtung, die Folgendes umfasst:
- eine Anzeigeverarbeitungseinheit, die eine Verarbeitung der Anzeige eines Bildschirms durchführt, der durch Filtern Kameraführungsinformationen anzeigt, die Eingabeinformationen eines Benutzers aus einer Vielzahl von Stücken von Kameraführungsinformationen entsprechen, als ein Kameraführungs-Bestimmungsbildschirm, der eine Bestimmungsoperation von Kameraführungsinformationen empfängt, die Informationen sind, die zumindest eine Bewegungstrajektorie eines Blickpunkts in einem Free-Viewpoint-Bild anzeigen.
(2) Informationsverarbeitungsvorrichtung gemäß (1), wobei die Anzeigeverarbeitungseinheit die Verarbeitung des Filterns und Anzeigens von Kameraführungsinformationen gemäß einem Schlüsselwort als die Eingabeinformation auf dem Kameraführungs-Bestimmungsbildschirm durchführt.
(3) Informationsverarbeitungsvorrichtung gemäß (1) oder (2), wobei Filterbedingungsinformationen, die eine Filterbedingung von Kameraführungsinformationen anzeigen, auf dem Kameraführungs-Bestimmungsbildschirm angezeigt werden, und die Anzeigeverarbeitungseinheit die Verarbeitung des Filterns und Anzeigens der Kameraführungsinformationen gemäß der Filterbedingung durchführt, die durch die ausgewählten Filterbedingungsinformationen als die Eingabeinformationen angezeigt wird.
(4) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (1) bis (3), wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Informationen durchführt, die durch die Visualisierung einer Bewegungstrajektorie des Blickpunkts auf dem Kameraführungs-Bestimmungsbildschirm erhalten werden.
(5) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (1) bis (4), wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Kameraanordnungspositionsinformationen, die die Anordnungspositionen einer Vielzahl von Kameras angeben, auf dem Kameraführungs-Bestimmungsbildschirm durchführt, der die Bildgebung zur Erstellung eines Free-Viewpoint-Bildes durchführt.
(6) Informationsverarbeitungsvorrichtung gemäß (5), wobei die Anzeigeverarbeitungseinheit die Verarbeitung des Anzeigens, auf dem Kameraführungs-Bestimmungsbildschirm, von Informationen über die Position der Startpunktanordnung und die Position der Endpunktanordnung durchführt, die die jeweiligen Positionen einer Kamera, die als Bewegungsstartpunkt dient, und einer Kamera, die als Bewegungsendpunkt des Blickpunkts dient, aus der Vielzahl der Kameras angeben.
(7) Informationsverarbeitungsvorrichtung gemäß (6), wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige der StartpunktAnordnungspositionsinformationen und der EndpunktAnordnungspositionsinformationen und der Anordnungspositionsinformationen von anderen Kameras als der Kamera, die als der Bewegungsstartpunkt dient, und der Kamera, die als der Bewegungsendpunkt dient, unter der Vielzahl von Kameras in verschiedenen Modi durchführt.
(8) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (4) bis (7), wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Informationen durchführt, die durch die Visualisierung der Bewegungsgeschwindigkeit des Blickpunkts auf dem Kameraführungs-Bestimmungsbildschirm erhalten werden.
(9) Informationsverarbeitungsvorrichtung gemäß (8), wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Informationen durchführt, die einen Zeitraum angeben, in dem die Bewegungsgeschwindigkeit abnimmt, und zwar als Informationen, die durch die Visualisierung der Bewegungsgeschwindigkeit des Blickpunkts erhalten werden.
(10) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (4) bis (9), wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Informationen durchführt, die durch die Visualisierung eines Sichtfelds vom Blickpunkt auf dem Kameraführungs-Bestimmungsbildschirm erhalten werden.
(11) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (4) bis (10), wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige eines Ziels durchführt, das eine Sichtlinienrichtung vom Blickpunkt auf dem Kameraführungs-Bestimmungsbildschirm definiert.
(12) Informationsverarbeitungsvorrichtung gemäß (11), die ferner Folgendes aufweist:
- eine Kameraführungsbearbeitungs-Verarbeitungseinheit, die Informationen über die Position des Ziels in den Kameraführungsinformationen entsprechend einer Änderung der Position des Ziels auf dem Kameraführungs-Bestimmungsbildschirm aktualisiert.
(13) Informationsverarbeitungsvorrichtung gemäß einem der Punkte (1) bis (12), wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige eines Bildes durchführt, das durch die Beobachtung eines dreidimensionalen Raumes vom Blickpunkt auf dem Kameraführungs-Bestimmungsbildschirm erhalten wird.
(14) Informationsverarbeitungsvorrichtung gemäß (13), wobei die Anzeigeverarbeitungseinheit eine Verarbeitung der Anzeige nicht eines dreidimensionalen Modells durchführt, das aus einem aufgenommenen Bild eines realen Raums erzeugt wurde, sondern eines Bildes, das durch die Wiedergabe eines virtuellen dreidimensionalen Modells eines realen Raums als ein Bild erhalten wurde, das durch die Beobachtung eines dreidimensionalen Raums vom Blickpunkt aus erhalten wurde.
(15) Informationsverarbeitungsvorrichtung gemäß (5), wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Informationen durchführt, die eine Kamera benachrichtigen, bei der eine Änderung des Sichtfeldes unter der Vielzahl von Kameras erkannt wurde.
(16) Informationsverarbeitungsverfahren, wobei eine Informationsverarbeitungsvorrichtung eine Verarbeitung der Anzeige eines Bildschirms durchführt, der durch Filtern Kameraführungsinformationen anzeigt, die Eingabeinformationen eines Benutzers aus einer Vielzahl von spezifizierbaren Kameraführungsinformationen entsprechen, als ein Kameraführungs-Bestimmungsbildschirm, der eine Bestimmungsoperation von Kameraführungsinformationen empfängt, die Informationen sind, die zumindest eine Bewegungstrajektorie eines Blickpunkts in einem Free-Viewpoint-Bild anzeigen.
(17) Programm, das von einer Computervorrichtung gelesen werden kann, wobei das Programm die Computervorrichtung veranlasst, eine Funktion der Durchführung der Verarbeitung der Anzeige eines Bildschirms zu implementieren, der durch Filtern Kameraführungsinformationen anzeigt, die Eingabeinformationen eines Benutzers aus einer Vielzahl von spezifizierbaren Kameraführungsinformationen entsprechen, als ein Kameraführungs-Bestimmungsbildschirm, der eine Bestimmungsoperation von Kameraführungsinformationen empfängt, bei denen es sich um Informationen handelt, die zumindest eine Bewegungstrajektorie eines Blickpunkts in einem Free-Viewpoint-Bild anzeigen.

Bezugszeichenliste

2: Free-Viewpoint-Bildserver
8: Utility-Server
10: Abbildungsvorrichtung
21: Abschnittsidentifikations-Verarbeitungseinheit
22: Zielbildübertragungs-Steuereinheit
23: Ausgabebild-Erstellungseinheit
31: Zielbild-Erfassungseinheit
32: Bilderstellungs-Verarbeitungseinheit
32a: Anzeigeverarbeitungseinheit
32b: Kameraführungsbearbeitungs-Verarbeitungseinheit
33: Übertragungssteuereinheit
Gs: Kameraführungs-Bestimmungsbildschirm
41: Szenenfenster
42: Szenenlisten-Anzeigeeinheit
43: Kameraführungsfenster
44: Kameraführungslisten-Anzeigeeinheit
70: Informationsverarbeitungsvorrichtung
71: CPU
72: ROM
73: RAM
74: Bus
75: Ein-/Ausgabe-Schnittstelle
76: Eingabeeinheit
77: Anzeigeeinheit
78: Tonausgabeeinheit
79: Speichereinheit
80: Kommunikationseinheit
81: Wechseldatenträger
82: Laufwerk
Tg: Ziel
Mc: Kamerapositionsmarke
Fv: Sichtfeldinformation
Mt: Zielmarke
Mm: Bewegungstrajektorieinformationen
Mv: Via-Punkt-Marke
Mtn: Zielpositionsbestimmungsmarke
Mtt: Zusätzliche Zielmarke
Mem: Zielankunftszeitmarke
Mst: Zielanfangspositionsmarke
Rf: Sichtfeld
Dg: Sichtlinienrichtung
48: Filterbetriebseinheit
48a: Pulldown-Liste
48b: Schlüsselwort-Eingabeeinheit
B33: Wiedergabetaste
B34: Pausentaste
B35: Stopptaste
B36: X-Achsen-Blickpunkttaste
B37: Y-Achsen-Blickpunkttaste
B38: Z-Achsen-Blickpunkttaste
B39: Ca-Blickpunkttaste
B40: Pe-Blickpunkttaste
B43: Pulldown-Taste
B44: Rücksetztaste

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2018030206 A [0004]

Claims

Informationsverarbeitungsvorrichtung, die Folgendes umfasst: eine Anzeigeverarbeitungseinheit, die eine Verarbeitung der Anzeige eines Bildschirms durchführt, der durch Filtern Kameraführungsinformationen anzeigt, die Eingabeinformationen eines Benutzers aus einer Vielzahl von Stücken von Kameraführungsinformationen entsprechen, als ein Kameraführungs-Bestimmungsbildschirm, der eine Bestimmungsoperation von Kameraführungsinformationen empfängt, die Informationen sind, die zumindest eine Bewegungstrajektorie eines Blickpunkts in einem Free-Viewpoint-Bild anzeigen.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Anzeigeverarbeitungseinheit die Verarbeitung des Filterns und Anzeigens von Kameraführungsinformationen gemäß einem Schlüsselwort als die Eingabeinformation auf dem Kameraführungs-Bestimmungsbildschirm durchführt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei Filterbedingungsinformationen, die eine Filterbedingung von Kameraführungsinformationen anzeigen, auf dem Kameraführungs-Bestimmungsbildschirm angezeigt werden, und die Anzeigeverarbeitungseinheit die Verarbeitung des Filterns und Anzeigens der Kameraführungsinformationen gemäß der Filterbedingung durchführt, die durch die ausgewählten Filterbedingungsinformationen als die Eingabeinformationen angezeigt wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Informationen durchführt, die durch die Visualisierung einer Bewegungstrajektorie des Blickpunkts auf dem Kameraführungs-Bestimmungsbildschirm erhalten werden.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Kameraanordnungspositionsinformationen, die die Anordnungspositionen einer Vielzahl von Kameras angeben, auf dem Kameraführungs-Bestimmungsbildschirm durchführt, der die Bildgebung zur Erstellung eines Free-Viewpoint-Bildes durchführt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 5, wobei die Anzeigeverarbeitungseinheit die Verarbeitung des Anzeigens, auf dem Kameraführungs-Bestimmungsbildschirm, von Informationen über die Position der Startpunktanordnung und die Position der Endpunktanordnung durchführt, die die jeweiligen Positionen einer Kamera, die als Bewegungsstartpunkt dient, und einer Kamera, die als Bewegungsendpunkt des Blickpunkts dient, aus der Vielzahl der Kameras angeben.
Informationsverarbeitungsvorrichtung gemäß Anspruch 6, wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige der StartpunktAnordnungspositionsinformationen und der EndpunktAnordnungspositionsinformationen und der Anordnungspositionsinformationen von anderen Kameras als der Kamera, die als der Bewegungsstartpunkt dient, und der Kamera, die als der Bewegungsendpunkt dient, unter der Vielzahl von Kameras in verschiedenen Modi durchführt.
Informationsverarbeitungsvorrichtung gemäß Anspruch 4, wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Informationen durchführt, die durch die Visualisierung der Bewegungsgeschwindigkeit des Blickpunkts auf dem Kameraführungs-Bestimmungsbildschirm erhalten werden.
Informationsverarbeitungsvorrichtung gemäß Anspruch 8, wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Informationen durchführt, die einen Zeitraum angeben, in dem die Bewegungsgeschwindigkeit abnimmt, und zwar als Informationen, die durch die Visualisierung der Bewegungsgeschwindigkeit des Blickpunkts erhalten werden.
Informationsverarbeitungsvorrichtung gemäß Anspruch 4, wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Informationen durchführt, die durch die Visualisierung eines Sichtfelds vom Blickpunkt auf dem Kameraführungs-Bestimmungsbildschirm erhalten werden.
Informationsverarbeitungsvorrichtung gemäß Anspruch 4, wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige eines Ziels durchführt, das eine Sichtlinienrichtung vom Blickpunkt auf dem Kameraführungs-Bestimmungsbildschirm definiert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 11, die ferner Folgendes umfasst: eine Kameraführungsbearbeitungs-Verarbeitungseinheit, die Informationen über die Position des Ziels in den Kameraführungsinformationen entsprechend einer Änderung der Position des Ziels auf dem Kameraführungs-Bestimmungsbildschirm aktualisiert.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige eines Bildes durchführt, das durch die Beobachtung eines dreidimensionalen Raumes vom Blickpunkt auf dem Kameraführungs-Bestimmungsbildschirm erhalten wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 13, wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige eines Bildes durchführt, das durch das Rendern eines virtuellen dreidimensionalen Modells eines realen Raums als ein Bild erhalten wird, das durch die Beobachtung eines dreidimensionalen Raums vom Blickpunkt aus erhalten wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 5, wobei die Anzeigeverarbeitungseinheit die Verarbeitung der Anzeige von Informationen durchführt, die eine Kamera benachrichtigen, bei der eine Änderung des Sichtfeldes unter der Vielzahl von Kameras erkannt wurde.
Informationsverarbeitungsverfahren, wobei eine Informationsverarbeitungsvorrichtung eine Verarbeitung der Anzeige eines Bildschirms durchführt, der durch Filtern Kameraführungsinformationen anzeigt, die Eingabeinformationen eines Benutzers aus einer Vielzahl von Kameraführungsinformationen entsprechen, als ein Kameraführungs-Bestimmungsbildschirm, der eine Bestimmungsoperation von Kameraführungsinformationen empfängt, die Informationen sind, die zumindest eine Bewegungstrajektorie eines Blickpunkts in einem Free-Viewpoint-Bild anzeigen.
Programm, das von einer Computervorrichtung gelesen werden kann, wobei das Programm die Computervorrichtung veranlasst, eine Funktion der Durchführung der Verarbeitung der Anzeige eines Bildschirms zu implementieren, der durch Filtern Kameraführungsinformationen anzeigt, die Eingabeinformationen eines Benutzers aus einer Vielzahl von Kameraführungsinformationen entsprechen, als ein Kameraführungs-Bestimmungsbildschirm, der eine Bestimmungsoperation von Kameraführungsinformationen empfängt, bei denen es sich um Informationen handelt, die zumindest eine Bewegungstrajektorie eines Blickpunkts in einem Free-Viewpoint-Bild anzeigen.