DE112020005186T5

DE112020005186T5 - Datenverarbeitungsvorrichtung, vorschlagsvorrichtung, datenverarbeitungsverfahren und vorschlagsverfahren

Info

Publication number: DE112020005186T5
Application number: DE112020005186.2T
Authority: DE
Inventors: Masato Shimakawa
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2019-10-28
Filing date: 2020-10-12
Publication date: 2022-09-29
Also published as: JPWO2021085105A1; WO2021085105A1; US20220337803A1; CN114586068A; US11895288B2

Abstract

Eine Datenverarbeitungsvorrichtung (10) weist eine Entscheidungseinheit (23e) und eine Erzeugungseinheit (23f) auf. Die Entscheidungseinheit (23e) entscheidet über die Verbindungsreihenfolge von geteilten Szenen, die durch Teilen eines Videos mit freiem Betrachtungspunkt basierend auf einem Video mit mehreren Betrachtungspunkten erhalten werden, das durch Abbilden von Inhalt erhalten wird, basierend auf einer Merkmalsmenge eines gegebenen Tons und Ähnlichkeiten zwischen jeweiligen Verbindungseinzelbildern in dem geteilten Szenen. Die Erzeugungseinheit (23f) erzeugt Inhalt mit freiem Betrachtungspunkt, in dem die geteilten Szenen in der von der Entscheidungseinheit (23e) entschiedenen Verbindungsreihenfolge verbunden sind.

Description

Gebiet
Die vorliegende Offenbarung bezieht sich auf eine Datenverarbeitungsvorrichtung, eine Vorschlagsvorrichtung, ein Datenverarbeitungsverfahren und ein Vorschlagsverfahren.
Hintergrund
Beispielsweise gibt es eine Technik zum Modellieren einer Entsprechungsbeziehung zwischen einem Informationselement zu Tanzbewegungen, das im Voraus gesammelt wurde, und Musik und zum Erzeugen eines Tanzbildes, das zu einer gegebenen Musik passt. Gemäß einer solchen Technik kann ein zur Musik passendes CG-Bild automatisch erzeugt werden (siehe z. B. Nichtpatentdokument 1) .
Entgegenhaltungsliste
Nichtpatentdokument
Nichtpatentdokument 1: F.Ofli, E.Erzin, Y. Yemez und A. M. Tekalp: IEEE Transactions on Multimedia Bd. 14, Nr. 3 (2012)
Zusammenfassung
Technisches Problem
Jedoch wurde im Stand der Technik, da er auf der Erzeugung eines CG-Bildes basiert, nicht in Betracht gezogen, neuen Inhalt mit freiem Betrachtungspunkt durch Verbinden von Realaufnahmen-Videos mit freiem Betrachtungspunkt zu erzeugen. Beim Erzeugen neuen Inhalts mit freiem Betrachtungspunkt aus Realaufnahmen-Videos mit freiem Betrachtungspunkt ist das nahtlose Verbinden von Bewegungen eines Objekts in den Videos mit freiem Betrachtungspunkt eine große Herausforderung.
Die vorliegende Anmeldung wird im Hinblick auf das Vorstehende bereitgestellt und eine Aufgabe davon ist es, eine Datenverarbeitungsvorrichtung, eine Vorschlagsvorrichtung, ein Datenverarbeitungsverfahren und ein Vorschlagsverfahren zu schaffen, die Inhalt mit freiem Betrachtungspunkt zu erzeugen, in dem Bewegungen eines Objekts nahtlos verbunden sind.
Lösung für das Problem
Eine Datenverarbeitungsvorrichtung weist eine Entscheidungseinheit und eine Erzeugungseinheit auf. Die Entscheidungseinheit entscheidet über die Verbindungsreihenfolge von geteilten Szenen, die durch Teilen eines Videos mit freiem Betrachtungspunkt basierend auf einem Video mit mehreren Betrachtungspunkten erhalten werden, das durch Abbildungsinhalt erhalten wird, basierend auf einer Merkmalsmenge eines gegebenen Tons und Ähnlichkeiten zwischen jeweiligen Verbindungseinzelbildern in den geteilten Szenen. Die Erzeugungseinheit erzeugt Inhalt mit freiem Betrachtungspunkt, in dem die geteilten Szenen in der von der Entscheidungseinheit entschiedenen Verbindungsreihenfolge verbunden sind.
Gemäß einem Aspekt von Ausführungsformen kann Realaufnahmen-Inhalt mit freiem Betrachtungspunkt erzeugt werden, in dem Bewegungen eines Objekts nahtlos verbunden sind.
Figurenliste

1 ist eine Darstellung, die einen Überblick über ein Bereitstellungssystem gemäß einer Ausführungsform darstellt.
2 ist ein Blockdiagramm, das ein Konfigurationsbeispiel des Bereitstellungssystems gemäß der Ausführungsform darstellt.
3 ist eine Darstellung, die ein Beispiel des Erzeugens geteilter Szenen gemäß der Ausführungsform darstellt.
4 ist eine Darstellung, die ein Beispiel von Variationen einer geteilten Szene darstellt.
5 ist eine Darstellung, die ein Beispiel einer Szeneninformations-DB gemäß der Ausführungsform darstellt.
6 ist eine schematische Darstellung von Kandidatenpfaden gemäß der Ausführungsform.
7 ist eine Darstellung, die eine Entsprechungsbeziehung zwischen Verbindungspunktzahlen und Musikpunktzahlen darstellt.
8 ist eine schematische Darstellung, die eine Entsprechungsbeziehung zwischen Pausenabschnitten und Verbindungsszenen darstellt.
9 ist eine Darstellung, die ein Beispiel benachbarter Einzelbilder darstellt.
10 ist ein Ablaufdiagramm, das eine Verarbeitungsprozedur zeigt, die von einer Szeneninformations-Erzeugungsvorrichtung gemäß der Ausführungsform durchgeführt wird.
11 ist ein Ablaufdiagramm, das eine Verarbeitungsprozedur zeigt, die von einer Datenverarbeitungsvorrichtung gemäß der Ausführungsform durchgeführt wird.
12 ist ein Ablaufdiagramm (Nr. 1), das eine Verarbeitungsprozedur von Schritt S204 zeigt, der in 11 gezeigt ist.
13 ist ein Ablaufdiagramm (Nr. 2), das die Verarbeitungsprozedur von Schritt S204 zeigt, der in 11 gezeigt ist.
14 ist ein Ablaufdiagramm, das eine Verarbeitungsprozedur von Schritt S207 zeigt, der in 11 gezeigt ist.
15 ist eine Darstellung, die ein Konfigurationsbeispiel eines Bereitstellungssystems gemäß einer zweiten Ausführungsform zeigt.
16 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Vorschlagsvorrichtung gemäß der Ausführungsform zeigt.
17 ist ein Ablaufdiagramm, das eine Verarbeitungsprozedur darstellt, die von der Vorschlagsvorrichtung gemäß der Ausführungsform durchgeführt wird.
18 ist ein Hardware-Konfigurationsdiagramm, das ein Beispiel eines Computers darstellt, der Funktionen der Datenverarbeitungsvorrichtung implementiert.

Beschreibung von Ausführungsformen
Ausführungsformen der vorliegenden Offenbarung werden nachstehend basierend auf den Zeichnungen ausführlich beschrieben. Es ist zu beachten, dass in jeder der folgenden Ausführungsformen die gleichen Teile mit den gleichen Bezugszeichen bezeichnet sind, so dass eine doppelte Beschreibung weggelassen wird.
Erste Ausführungsform
Zuerst wird ein Überblick über ein Bereitstellungssystem gemäß einer Ausführungsform unter Bezugnahme auf 1 gegeben. 1 ist eine Darstellung, die ein Beispiel des Bereitstellungssystems gemäß der Ausführungsform zeigt. Es ist zu beachten, dass ein Fall, in dem ein Objekt ein Künstler und ein Ton Musik ist, im Folgenden als Beispiel beschrieben wird.
Das Bereitstellungssystem S gemäß der Ausführungsform ist beispielsweise ein System, das einen Inhalt eines Tanzbildes mit freiem Betrachtungspunkt durch einen Künstler bereitstellt. Insbesondere wird in dem Bereitstellungssystem S gemäß der vorliegenden Ausführungsform zum Beispiel Inhalt mit freiem Betrachtungspunkt eines Tanzbildes, das einer von einem Anwender spezifizierten Musik entspricht, aus einem Video mit freiem Betrachtungspunkt basierend auf einem Video mit mehreren Betrachtungspunkten erzeugt, das durch Abbilden eines Künstlers erhalten wird. Es ist zu beachten, dass der Künstler beispielsweise ein Tänzer, ein Idol, ein Unterhalter und dergleichen ist, aber auch eine gewöhnliche Person (einen Anwender) beinhalten kann.
Das Video mit freiem Betrachtungspunkt ist in dieser Beschreibung ein Video, das durch 3D-Modellierung eines Bildes eines Künstlers in der realen Welt erhalten wird, und ist ein Tanzbild, in dem der Künstler zu aufgezeichneter Musik tanzt. Das heißt, das Bereitstellungssystem S gemäß der Ausführungsform erzeugt aus einem Tanzbild, in dem ein Künstler zu aufgezeichneter Musik tanzt, ein volumetrisches Realaufnahmen-Video, das einer gegebenen Musik entspricht.
Insbesondere wird in dem Bereitstellungssystem S aus einem Video mit freiem Betrachtungspunkt gebildeter Inhalt mit freiem Betrachtungspunkt durch Teilen des oben beschriebenen Videos mit freiem Betrachtungspunkt und Umordnen der durch das Teilen erhaltenen geteilten Szenen entsprechend einer gegebenen Musik durch Ändern der Verbindungsreihenfolge erzeugt.
Im Ergebnis kann in dem Bereitstellungssystem S gemäß der Ausführungsform zum Beispiel Inhalt mit freiem Betrachtungspunkt erzeugt werden, der tatsächliche Bewegungen eines Künstlers getreu widerspiegelt, die nicht auf einer CG-Basis reproduziert werden können.
Wie es in 1 gezeigt ist, weist das Bereitstellungssystem S gemäß der Ausführungsform eine Szeneninformations-Erzeugungsvorrichtung 1, eine Datenverarbeitungsvorrichtung 10 und ein Anwenderendgerät 50 auf. Die Szeneninformations-Erzeugungsvorrichtung 1 ist beispielsweise in einem Studio und dergleichen installiert und erzeugt ein Video mit freiem Betrachtungspunkt basierend auf einem Video eines Künstlers mit mehreren Betrachtungspunkten. Außerdem teilt die Szeneninformations-Erzeugungsvorrichtung 1 das erzeugte Video mit freiem Betrachtungspunkt, um geteilte Szenen zu erzeugen.
In der vorliegenden Ausführungsform erzeugt die Szeneninformations-Erzeugungsvorrichtung 1 ein Video eines Tanzbildes mit freiem Betrachtungspunkt, in dem ein Künstler zu aufgezeichneter Musik tanzt, und geteilte Szenen, die auf dem Video mit freiem Betrachtungspunkt basieren. Die Szeneninformations-Erzeugungsvorrichtung 1 erzeugt dann Szeneninformationen über die geteilten Szenen und überträgt sie an die Datenverarbeitungsvorrichtung 10 (Schritt S1).
Die Datenverarbeitungsvorrichtung 10 weist eine Szeneninformations-DB auf, in der die von der Szeneninformations-Erzeugungsvorrichtung 1 gesendeten Szeneninformationen gespeichert werden, und erzeugt den oben beschriebenen Inhalt mit freiem Betrachtungspunkt. Insbesondere greift die Datenverarbeitungsvorrichtung 10 beispielsweise dann, wenn die Datenverarbeitungsvorrichtung 10 Musikauswahlinformationen aus dem Anwenderendgerät 50 erfasst (Schritt S2), auf die Szeneninformations-DB zurück und erzeugt Inhalt mit freiem Betrachtungspunkt, der der durch die Musikauswahlinformationen spezifizierten Musik entspricht (Schritt S3).
Die Datenverarbeitungsvorrichtung 10 liefert dann den erzeugten Inhalt mit freiem Betrachtungspunkt an das Anwenderendgerät 50 (Schritt S4). In dem in 1 gezeigten Beispiel ist das Anwenderendgerät 50 eine am Kopf befestigte Anzeige, die mit erweiterter Realität (AR) oder virtueller Realität (VR) kompatibel ist. Das Anwenderendgerät 50 gibt den von der Datenverarbeitungsvorrichtung 10 gelieferten Inhalt mit freiem Betrachtungspunkt gemäß Betrachtungspunktinformationen eines Anwenders wieder.
Das Bereitstellungssystem S gemäß der Ausführungsform wird im Folgenden genauer beschrieben.
Ein Konfigurationsbeispiel des Bereitstellungssystems S gemäß der Ausführungsform wird nun unter Bezugnahme auf 2 beschrieben. 2 ist ein Blockdiagramm, das ein Konfigurationsbeispiel des Bereitstellungssystems S gemäß der Ausführungsform zeigt. Zunächst wird die Szeneninformations-Erzeugungsvorrichtung 1 beschrieben.
Wie es in 2 gezeigt ist, weist die Szeneninformations-Erzeugungsvorrichtung 1 eine Kommunikationseinheit 11, eine Speichereinheit 12 und eine Steuereinheit 13 auf. Die Kommunikationseinheit 11 ist ein Kommunikationsmodul, das zur Kommunikation mit der Datenverarbeitungsvorrichtung 10 über ein vorbestimmtes Netz verwendet wird.
Die Speichereinheit 12 weist beispielsweise ein Halbleiterspeicherelement wie etwa einen RAM und einen Flash-Speicher oder eine Speichervorrichtung wie etwa eine Festplatte und eine optische Platte auf. Die Speichereinheit 12 speichert Informationen, die für verschiedene Arten von Verarbeitung in der Steuereinheit 13 erforderlich sind.
Die Steuereinheit 13 wird beispielsweise implementiert, wenn eine zentrale Verarbeitungseinheit (CPU), eine Mikroverarbeitungseinheit (MPU) und dergleichen auf einem Arbeitsbereich wie etwa einem Direktzugriffsspeicher (RAM) ein in der die Szeneninformations-Erzeugungsvorrichtung 1 gespeichertes Programm ausführen. Die Steuereinheit 13 ist ein Controller und kann zum Beispiel durch eine integrierte Schaltung wie etwa eine anwendungsspezifische integrierte Schaltung (ASIC) und eine feldprogrammierbare Gatteranordnung (FPGA) implementiert werden.
Wie es in 2 gezeigt ist, weist die Steuereinheit 13 eine 3D-Modell-Erzeugungseinheit 13a, eine Musikanalyseeinheit 13b und eine Szeneninformations-Erzeugungseinheit 13c auf und implementiert oder führt Funktionen und Aktionen von Datenverarbeitung aus, die nachstehend beschrieben werden. Es ist zu beachten, dass die interne Konfiguration der Steuereinheit 13 nicht auf die in 2 dargestellte Konfiguration beschränkt ist und eine andere Konfiguration sein kann, solange sie die unten beschriebene Datenverarbeitung ermöglicht. Es ist zu beachten, dass die Steuereinheit 13 drahtgebunden oder drahtlos unter Verwendung von beispielsweise einer Netzschnittstellenkarte (NIC) oder dergleichen mit einem vorbestimmten Netz verbunden sein kann und verschiedene Arten von Informationen von einem externen Server und dergleichen über das Netz empfangen kann.
Die 3D-Modell-Erzeugungseinheit 13a erzeugt ein dreidimensionales Modell eines Künstlers für jedes Einzelbild eines Videos mit mehreren Betrachtungspunkten auf der Grundlage von Kameravideos, die von mehreren Kameras (nicht dargestellt) eingegeben werden, d. h. des Videos mit mehreren Betrachtungspunkten des Künstlers. Das heißt, die 3D-Modell-Erzeugungseinheit 13a erzeugt ein Realaufnahmen-Video mit freiem Betrachtungspunkt basierend auf einem Video mit mehreren Betrachtungspunkten.
Beispielsweise kann die 3D-Modell-Erzeugungseinheit 13a dreidimensionale Modelle aus einem Tanzbild eines Künstlers erzeugen, indem sie ein Mehransichts-Verfahren zum gleichzeitigen Erzeugen dreidimensionaler Modelle aus allen Kameravideos, ein Stereoansichts-Verfahren des sequentiellen Integrierens dreidimensionaler Modelle aus Paaren zweier Kameras und dergleichen verwendet.
Die Musikanalyseeinheit 13b analysiert aufgezeichnete Musik in einem Tanzbild eines Künstlers. Die Musikanalyseeinheit 13b detektiert einen Pausenabschnitt der aufgezeichneten Musik, teilt die aufgezeichnete Musik basierend auf dem Pausenabschnitt in Teile und analysiert eine Merkmalsmenge jedes Teils.
Die Merkmalsmenge ist in dieser Beschreibung ein Konzept, das ein Tempo, eine Melodie und dergleichen aufweist. Beispiele für die Melodie weisen lustige Melodien, dunkle Melodien, energische Melodien, ruhige Melodien und dergleichen auf. Beispielsweise kann die Musikanalyseeinheit 13b eine Merkmalsmenge aufgezeichneter Musik durch Eingeben von Musikdaten der aufgezeichneten Musik in ein durch maschinelles Lernen erzeugtes Modell erfassen.
Die Szeneninformations-Erzeugungseinheit 13c erzeugt geteilte Daten, die durch Teilen von dreidimensionalen Modellen, die von der 3D-Modell-Erzeugungseinheit 13a erzeugt werden, d. h. einem Video mit freiem Betrachtungspunkt, basierend auf der aufgezeichneten Musik, die von der Musikanalyseeinheit 13b analysiert wird, erhalten werden.
Wie es oben beschrieben ist, ist der Inhalt mit freiem Betrachtungspunkt ein Inhalt, der durch Umordnen geteilter Szenen erhalten wird. Daher ist es bei Inhalt mit freiem Betrachtungspunkt vorzuziehen, die Bewegungen eines Künstlers zwischen geteilten Szenen nahtlos zu verbinden. Mit anderen Worten ist es vorzuziehen, eine Teilung zwischen geteilten Szenen für einen Anwender weniger erkennbar zu machen.
Daher teilt die Szeneninformations-Erzeugungseinheit 13c ein Video mit freiem Betrachtungspunkt in einem Abschnitt, in dem die Bewegung eines Künstlers in dem Video mit freiem Betrachtungspunkt anhält. Im Allgemeinen gibt es viele Szenen, in denen sich ein Künstler in einem Pausenabschnitt aufhört zu bewegen, während er tanzt, beispielsweise Posen eines Künstlers.
Daher teilt die Szeneninformations-Erzeugungseinheit 13c ein Video mit freiem Betrachtungspunkt mit Fokus auf einen Pausenabschnitt der aufgezeichneten Musik. Ein Beispiel für geteilte Szenen wird nun unter Bezugnahme auf 3 beschrieben. 3 ist eine Darstellung, die ein Beispiel zum Erzeugen geteilter Szenen gemäß der Ausführungsform zeigt. Wie es in 3 gezeigt ist, extrahiert die Szeneninformations-Erzeugungseinheit 13c zunächst Einzelbilder eines Videos mit freiem Betrachtungspunkt in einem Pausenabschnitt T der aufgezeichneten Musik.
In dem in 3 gezeigten Beispiel ist ein Fall dargestellt, in dem ein Video mit freiem Betrachtungspunkt Einzelbilder F1 bis F4 in dem Pausenabschnitt T enthält. Die Szeneninformations-Erzeugungseinheit 13c bestimmt dann Ähnlichkeiten zwischen jedem Einzelbild F1 bis F4 und den benachbarten Einzelbildern.
Das heißt, in Bezug auf das Einzelbild F2 werden eine Ähnlichkeit zwischen dem Einzelbild F2 und dem Einzelbild F1, das vor dem Einzelbild F2 kommt, und eine Ähnlichkeit zwischen dem Einzelbild F2 und dem Einzelbild F3, das nach dem Einzelbild F2 kommt, bestimmt. Es ist zu beachten, dass eine Ähnlichkeit durch Vergleichen von dreidimensionalen Modellen von Einzelbildern bestimmt wird.
Die Szeneninformations-Erzeugungseinheit 13c teilt ein Video mit freiem Betrachtungspunkt zwischen Einzelbildern mit der höchsten Ähnlichkeit, um geteilte Szenen zu erzeugen. Mit anderen Worten teilt die Szeneninformations-Erzeugungseinheit 13c ein Video mit freiem Betrachtungspunkt in einem Abschnitt, in dem ein Künstler stationär ist.
In dem in 3 gezeigten Beispiel ist ein Fall dargestellt, bei dem die Ähnlichkeit zwischen dem Einzelbild F2 und dem Einzelbild F3 am größten ist, und es ist ein Fall dargestellt, bei dem das Video mit freiem Betrachtungspunkt zwischen dem Einzelbild F2 und dem Einzelbild F3 geteilt ist. Wenn die geteilten Szenen erzeugt werden, erzeugt die Szeneninformations-Erzeugungseinheit 13c Szeneninformationen, in denen jeder geteilten Szene eine Merkmalsmenge und dergleichen von aufgezeichneter Musik bereitgestellt werden. Die von der Szeneninformations-Erzeugungseinheit 13c erzeugten Szeneninformationen werden über die in 2 dargestellte Kommunikationseinheit 11 an die Datenverarbeitungsvorrichtung 10 gesendet.
Währenddessen kann die Szeneninformations-Erzeugungseinheit 13c aus derselben geteilten Szene geteilte Szenen mit unterschiedlichen Zeitdauern erzeugen. Im Ergebnis können zeitliche Variationen einer geteilten Szene erweitert werden.
Die zeitlichen Variationen einer geteilten Szene werden nun unter Bezugnahme auf 4 beschrieben. 4 ist eine Darstellung, die ein Beispiel von Variationen einer geteilten Szene zeigt. Es ist zu beachten, dass in diesem Beispiel ein Fall beschrieben wird, in dem geteilte Szenen mit 60 Bildern pro Sekunde (bps) aus einer geteilten Szene mit 240 bps erzeugt werden.
Die Szeneninformations-Erzeugungseinheit 13c erzeugt mehrere geteilte Szenen mit unterschiedlichen Zeitdauern durch Ausdünnen der Einzelbilder in einer geteilten Szene von 240 bps. Insbesondere führt die Szeneninformations-Erzeugungseinheit 13c eine Ausdünnungsverarbeitung an der geteilten Szene durch, so dass die Zeitdauern 1/2-mal, 3/4-mal, 1-mal, 1,5-mal, ... in Bezug auf die ursprüngliche geteilte Szene sind.
Wenn die Szeneninformations-Erzeugungseinheit 13c eine geteilte Szene beispielsweise mit einer 1/2 mal so langen Zeitdauer erzeugt, erzeugt die Szeneninformations-Erzeugungseinheit 13c eine neue geteilte Szene durch Extrahieren eines Einzelbilds für je acht Einzelbilder der ursprünglichen geteilten Szene und Verbinden der extrahierten Einzelbilder. Wenn die Szeneninformations-Erzeugungseinheit 13c eine geteilte Szene mit einer 3/4-mal so langen Zeitdauer erzeugt, extrahiert die Szeneninformations-Erzeugungseinheit 13c in ähnlicher Weise ein Einzelbild für je sechs Einzelbilder der ursprünglichen geteilten Szene und verbindet die extrahierten Einzelbilder.
Auf diese Weise erzeugt die Szeneninformations-Erzeugungseinheit 13c geteilte Szenen mit unterschiedlichen Zeitdauern durch Ändern des Intervalls der zu extrahierenden Einzelbilder gemäß dem Multiplikationsfaktor der Zeitdauer. Dementsprechend können die zeitlichen Variationen für eine geteilte Szene erweitert werden. Daher können die Variationen von Inhalt mit freiem Betrachtungspunkt selbst dann erweitert werden, wenn die Anzahl von Videos mit freiem Betrachtungspunkt klein ist.
Ferner kann die Szeneninformations-Erzeugungseinheit 13c eine geteilte Szene zur Verbindung (im Folgenden als eine Verbindungsszene bezeichnet) erzeugen und die oben beschriebene Verarbeitung an der Verbindungsszene durchführen. Eine Verbindungsszene in dieser Beschreibung ist beispielsweise eine geteilte Szene, die vorzugsweise einem Pausenabschnitt einer gegebenen Musik zugeordnet ist. Das heißt, eine Verbindungsszene kann als eine geteilte Szene beschrieben werden, die verwendet wird, um die Bewegungen eines Künstlers zwischen geteilten Szenen in dem Inhalt mit freiem Betrachtungspunkt nahtlos zu verbinden.
Wie es oben beschrieben ist, teilt die Szeneninformations-Erzeugungseinheit 13c ein Video mit freiem Betrachtungspunkt in einem Pausenabschnitt T aufgezeichneter Musik, und die Datenverarbeitungsvorrichtung 10 verbindet, wie es nachstehend beschrieben ist, geteilte Szenen in einem Pausenabschnitt gegebener Musik.
Daher kann die Verbindung von geteilten Szenen erleichtert werden, indem die Variationen einer Startpose und einer Endpose eines Künstlers und die Variationen einer Zeitdauer in Verbindungsszenen erweitert werden.
Unter erneuter Bezugnahme auf 2 wird die Datenverarbeitungsvorrichtung 10 beschrieben. Wie es in 2 gezeigt ist, weist die Datenverarbeitungsvorrichtung 10 eine Kommunikationseinheit 21, eine Speichereinheit 22 und eine Steuereinheit 23 auf. Die Kommunikationseinheit 21 ist ein Kommunikationsmodul, das zur Kommunikation mit der Szeneninformations-Erzeugungsvorrichtung 1 oder dem Anwenderendgerät 50 verwendet wird.
Die Speichereinheit 22 weist beispielsweise ein Halbleiterspeicherelement wie etwa einen RAM und einen Flash-Speicher oder eine Speichervorrichtung wie etwa eine Festplatte oder eine optische Platte auf. In dem in 2 gezeigten Beispiel weist die Speichereinheit 22 eine Szeneninformations-DB 22a auf.
Die Szeneninformations-DB 22a wird nun unter Bezugnahme auf 5 beschrieben. 5 ist eine Darstellung, die ein Beispiel der Szeneninformations-DB 22a gemäß der Ausführungsform zeigt. Wie es in 5 gezeigt ist, ist die Szeneninformations-DB 22a eine Datenbank, in der „Künstler-IDs“, „Szenen-IDs“, „Musikmerkmalsmengen“, „Zeitdauern“, „dreidimensionale Modelle“ und dergleichen in Zuordnung zueinander gespeichert sind.
Die „Künstler-ID“ gibt eine Kennung an, die zum Identifizieren eines Künstlers in einem Video Realaufnahmen-Videos mit freiem Betrachtungspunkt verwendet wird. Die „Szenen-ID“ ist eine Kennung, die zum Identifizieren jeder der oben beschriebenen geteilten Szenen verwendet wird. Die „Musikmerkmalsmenge“ gibt eine Merkmalsmenge aufgezeichneter Musik in der entsprechenden geteilten Szene an.
Die „Zeitdauer“ ist die Zeitdauer der entsprechenden geteilten Szene und das „dreidimensionale Modell“ ist ein Videokörper der entsprechenden geteilten Szene mit freiem Betrachtungspunkt. Es ist zu beachten, dass ein dreidimensionales Modell zusätzlich zu einem Video mit freiem Betrachtungspunkt ein Knochenmodell, das die Gelenkpositionen eines Künstlers angibt, und Punktwolkendaten, die die Oberflächenform des Künstlers angeben, beinhaltet. Die in 5 gezeigte Szeneninformations-DB 22a ist ein Beispiel und andere Informationen können zusammen gespeichert werden. Insbesondere kann die Szeneninformations-DB 22a auch die Einfachheit der Verbindung mit jeder geteilten Szene (entsprechend den unten zu beschreibenden Verbindungskosten) und dergleichen speichern.
Unter erneuter Bezugnahme auf die Beschreibung von 2 wird die Steuereinheit 23 beschrieben. Die Steuereinheit 23 ordnet die oben beschriebenen unterteilten Szenen gemäß den Merkmalsmengen gegebener Musik um, um Inhalt mit freiem Betrachtungspunkt zu erzeugen.
Die Steuereinheit 23 wird beispielsweise implementiert, wenn eine zentrale Verarbeitungseinheit (CPU), eine Mikroverarbeitungseinheit (MPU) und dergleichen auf einem Arbeitsbereich wie etwa einem Direktzugriffsspeicher (RAM) ein Programm ausführen, das in der Szeneninformations-Erzeugungsvorrichtung 1 gespeichert ist. Die Steuereinheit 3 ist ein Controller und kann beispielsweise durch eine integrierte Schaltung wie etwa eine anwendungsspezifische integrierte Schaltung (ASIC) und eine feldprogrammierbare Gatteranordnung (FPGA) implementiert sein.
Wie es in 2 gezeigt ist, weist die Steuereinheit 23 eine Erfassungseinheit 23a, eine Musikanalyseeinheit 23b, eine Bestimmungseinheit 23c, eine Berechnungseinheit 23d, eine Entscheidungseinheit 23e und eine Erzeugungseinheit 23f auf und implementiert oder führt Funktionen und Aktionen der Datenverarbeitung durch, die nachstehend beschrieben werden sollen. Es ist zu beachten, dass die interne Konfiguration der Steuereinheit 23 nicht auf die in 2 dargestellte Konfiguration beschränkt ist und eine andere Konfiguration sein kann, solange sie die nachstehend beschriebene Datenverarbeitung ermöglicht. Es ist zu beachten, dass die Steuereinheit 23 unter Verwendung von beispielsweise einer Netzschnittstellenkarte (NIC) oder dergleichen drahtgebunden oder drahtlos mit einem vorbestimmten Netz verbunden sein kann und verschiedene Arten von Informationen von einem externen Server und dergleichen über das Netz empfangen kann.
Die Erfassungseinheit 23a erfasst Musikauswahlinformationen beispielsweise aus dem Anwenderendgerät 50. Die Musikauswahlinformationen beinhalten Informationen zu Interpreten-IDs und dergleichen zusätzlich zu Informationen zu Musik. Es ist zu beachten, dass die Musikauswahlinformationen Informationen zur Tanzstimmung beinhalten können.
Das heißt, ein Anwender kann einen bevorzugten Künstler als Tänzer und bevorzugte Musik spezifizieren und kann auch die Stimmung (Atmosphäre) des Tanzes spezifizieren. Die Musikauswahlinformationen können Musikdaten sein, in denen Musik aufgezeichnet ist, oder können Informationen sein, die Musik spezifizieren (Sänger, Musiktitel und dergleichen).
Wenn die Erfassungseinheit 23a die Informationen, die Musik spezifizieren, erfasst, kann die Erfassungseinheit 23a basierend auf den Informationen Musikdaten von einem externen Server erfassen. Die Musikauswahlinformationen können Informationen über eine Musikpunktzahl beinhalten. Darüber hinaus können die von der Erfassungseinheit 23a erfassten Musikauswahlinformationen Informationen beinhalten, die eine geteilte Szene spezifizieren, die dem Inhalt mit freiem Betrachtungspunkt hinzuzufügen ist. Ferner kann die Erfassungseinheit 23a als die Musikauswahlinformationen von einem Anwender erstellte Musikdaten erfassen.
Die Musikanalyseeinheit 23b analysiert gegebene Musik (z. B. Musik, die durch die Musikauswahlinformationen spezifiziert ist). Beispielsweise führt die Musikanalyseeinheit 23b an der Musik, die durch die Musikauswahlinformationen spezifiziert ist, die Verarbeitung durch, die von der Musikanalyseeinheit 13b an der aufgezeichneten Musik durchgeführt wurde.
Insbesondere erfasst die Musikanalyseeinheit 23b einen Pausenabschnitt aus der Musik, teilt die Musik basierend auf dem Pausenabschnitt in Teile und stellt für jeden Teil eine Melodie bereit.
Die Bestimmungseinheit 23c bestimmt Ähnlichkeiten zwischen den jeweiligen Verbindungseinzelbildern in geteilten Szenen, wenn die nachstehend zu beschreibende Entscheidungseinheit 23e eine Entscheidungsverarbeitung zum Bestimmen der Verbindungsreihenfolge der geteilten Szenen durchführt. Insbesondere berechnet die Bestimmungseinheit 23c eine Ähnlichkeit zwischen Verbindungseinzelbildern durch Vergleichen der dreidimensionalen Modelle eines Künstlers in den Verbindungseinzelbildern. Es ist zu beachten, dass die Verbindungseinzelbilder beispielsweise ein Starteinzelbild und ein Endeinzelbild jeder geteilten Szene sind.
Beispielsweise bestimmt die Bestimmungseinheit 23c eine Ähnlichkeit zwischen Verbindungseinzelbildern basierend auf Knochenmodellen, die die Gelenkpositionen eines Künstlers in den Verbindungseinzelbildern angeben, und Punktwolkendaten, die die Oberflächenform eines Künstlers in den Verbindungseinzelbildern angeben. Die Ähnlichkeit ist in dieser Beschreibung ein Index, der zum nahtlosen Verbinden der Bewegungen eines Künstlers verwendet wird.
Genauer kann die Bestimmungseinheit 23c eine Ähnlichkeit zwischen Verbindungseinzelbildern durch Berechnen des Abstands zwischen den entsprechenden Gelenken in Knochenmodellen und des Hausrudorff-Abstands zwischen Sätzen von Vertexkoordinaten der entsprechenden Punktwolkendaten in Punktwolkendaten bestimmen.
Die Bestimmungseinheit 23c entscheidet dann über eine Verbindungspunktzahl zwischen den Verbindungseinzelbildern gemäß der bestimmten Ähnlichkeit. Es ist zu beachten, dass im Folgenden die Obergrenze der Verbindungspunktzahl 10 Punkte und die Untergrenze 0 Punkte beträgt, und je höher die Ähnlichkeit zwischen den Verbindungseinzelbildern ist, also mit anderen Worten je ähnlicher die Posen eines Künstlers in den Verbindungseinzelbildern sind, desto höher ist die Verbindungspunktzahl.
Wenn die Verbindungsreihenfolge der geteilten Szenen durch die Entscheidungseinheit 23e bestimmt wird, bestimmt die Bestimmungseinheit 23c außerdem Ähnlichkeiten der benachbarten Einzelbilder des Verbindungseinzelbildes. Es ist zu beachten, dass dieser Punkt nachstehend unter Bezugnahme auf 9 beschrieben ist.
Die Berechnungseinheit 23d berechnet basierend auf der Merkmalsmenge der gegebenen Musik und der Merkmalsmenge der aufgezeichneten Musik in der geteilten Szene eine Musikpunktzahl, die die Übereinstimmung zwischen jeweiligen Teilen angibt, die durch Teilen der Musik und jeder geteilten Szene erhalten werden. Beispielsweise berechnet die Berechnungseinheit 23d eine Musikpunktzahl basierend auf einer Ähnlichkeit zwischen der Melodie jedes der Teile, die durch Teilen der Musik erhalten werden, und der Melodie jeder geteilten Szene.
Die Musikpunktzahl wird höher ermittelt, wenn beide Arten von Melodien einander ähnlich sind, und sie wird niedriger ermittelt, wenn beide Arten von Melodien voneinander abweichen. Beispielsweise berechnet die Berechnungseinheit 23d eine Musikpunktzahl gemäß der Melodie durch Eingeben beider Arten von Melodien in eine Funktion, die die Beziehung zwischen beiden Arten von Melodien und einer Musikpunktzahl angibt.
Wenn dabei Musikauswahlinformationen Informationen beinhalten, die die Stimmung (Atmosphäre) des Tanzes spezifizieren, kann die Berechnungseinheit 23d eine Musikpunktzahl basierend auf der Stimmung berechnen.
Das heißt zum Beispiel, wenn die Melodie in einem Teil ein hohes Tempo aufweist, aber die Stimmung eines spezifizierten Tanzes ein langsames Tempo ist, kann für den Teil eine Musikpunktzahl der geteilten Szene mit Melodie mit langsamen Tempo höher ermittelt werden als eine Musikpunktzahl der geteilten Szene mit Melodie mit hohem Tempo.
Ferner kann die Berechnungseinheit 23d eine Musikpunktzahl basierend auf der Zeitdauer jedes Teils der Musik und der Zeitdauer der geteilten Szene berechnen. In diesem Fall wird die Musikpunktzahl höher ermittelt, wenn die Zeitdauer des Teils und die Zeitdauer der geteilten Szene näher beieinander liegen.
Dabei kann die Berechnungseinheit 23d die endgültige Musikpunktzahl berechnen, indem sie die auf der Grundlage der Melodie berechnete Musikpunktzahl und die auf der Grundlage der Zeitdauer berechnete Musikpunktzahl gewichtet.
Die Entscheidungseinheit 23e entscheidet die Verbindungsreihenfolge der geteilten Szenen basierend auf der Merkmalsmenge der gegebenen Musik und Ähnlichkeiten zwischen den jeweiligen Verbindungseinzelbildern in den geteilten Szenen, die in der Speichereinheit 22 gespeichert sind.
Beispielsweise entscheidet die Entscheidungseinheit 23e die Verbindungsreihenfolge der geteilten Szenen entsprechend der gegebenen Musik basierend auf der oben beschriebenen Verbindungspunktzahl und der Musikpunktzahl unter Verwendung des sogenannten Viterbi-Algorithmus. Es ist zu beachten, dass die unter Verwendung des Viterbi-Algorithmus entschiedene Verbindungsreihenfolge als ein Viterbi-Pfad bezeichnet werden kann.
Insbesondere entscheidet die Entscheidungseinheit 23e die Verbindungsreihenfolge basierend auf der kumulativen Punktzahl der Verbindungspunktzahlen gemäß Ähnlichkeiten zwischen den geteilten Szenen, die von dem Beginn bis zu dem Ende der Musik verbunden sind.
Zuerst erzeugt die Entscheidungseinheit 23e Kandidatenpfade, in denen die geteilten Szenen vom Anfang bis zum Ende der Musik verbunden sind. 6 ist eine schematische Darstellung der Kandidatenpfade. Wie es in 6 gezeigt ist, wird jeder Kandidatenpfad von mehreren der geteilten Szenen gebildet.
Beispielsweise kann jedes Verbindungsmuster der geteilten Szenen, das bis zum Ende der Wiedergabezeit der Musik genommen werden kann, ein Kandidatenpfad sein. Zuerst weist die Entscheidungseinheit 23e beim Erzeugen von Kandidatenpfaden jedes geteilte Muster der Startzeit (Wiedergabezeit t = 0) der Musik eines entsprechenden Kandidatenpfads zu. Zu diesem Zeitpunkt entspricht die Anzahl der erzeugten Kandidatenpfade der Anzahl der geteilten Szenen.
Die Entscheidungseinheit 23e erzeugt dann jeden Kandidatenpfad durch Hinzufügen jedes geteilten Musters zu den erzeugten Kandidatenpfaden und Wiederholen der oben beschriebenen Verarbeitung, bis die Musik endet. Jeder auf diese Weise erzeugte Kandidatenpfad verzweigt sich wiederholt, während die Wiedergabezeit fortschreitet.
Die Entscheidungseinheit 23e teilt der Bestimmungseinheit 23c und der Berechnungseinheit 23d jedes Mal Informationen über die Kandidatenpfade mit, wenn ein geteiltes Muster zu den Kandidatenpfaden hinzugefügt wird. Im Ergebnis werden Verbindungspunktzahlen zwischen den Verbindungseinzelbildern in jedem Kandidatenpfad von der Bestimmungseinheit 23c geliefert und Musikpunktzahlen basierend auf der Musik und der aufgezeichneten Musik in jedem Kandidatenpfad werden von der Berechnungseinheit 23d geliefert.
7 ist eine Darstellung, die eine Entsprechungsbeziehung zwischen den Verbindungspunktzahlen und den Musikpunktzahlen zeigt. Es ist zu beachten, dass in dem in 7 gezeigten Beispiel die Verbindungspunktzahlen als „Scc“ und die Musikpunktzahlen als „Scm“ dargestellt sind. Die Verbindungspunktzahlen Scc sind Werte, die gemäß Ähnlichkeiten zwischen den geteilten Szenen jedes Mal berechnet werden, wenn die geteilten Szenen in dem Kandidatenpfad verbunden werden, und die Musikpunktzahlen Scm sind Werte, die in Bezug auf die geteilten Szenen selbst berechnet werden.
Die Entscheidungseinheit 23e berechnet für jeden Kandidatenpfad die kumulativen Kosten, die ein kumulativer Wert der Verbindungspunktzahlen Scc und der Musikpunktzahlen Scm sind, und wählt einen Kandidatenpfad aus, der die kumulative Punktzahl maximiert. Die Entscheidungseinheit 23e legt die geteilte Szene als Zielszene an dem Ende des ausgewählten Kandidatenpfads fest und fügt eine geteilte Szene hinzu, die aus den geteilten Szenen, die vor der Zielszene verbunden sind, die kumulative Punktzahl maximiert.
Beim Hinzufügen der geteilten Szene zu der Zielszene fügt die Entscheidungseinheit 23e die hinzugefügte geteilte Szene zu den Zielszenen hinzu und wiederholt die oben beschriebene Verarbeitung, um einen Zielpfad zu bestimmen. Das heißt, die Entscheidungseinheit 23e optimiert die Verbindungsreihenfolge ein weiteres Mal von dem Ende bis zu dem Beginn der Musik. Die Entscheidungseinheit 23e entscheidet als Verbindungsreihenfolge die Anordnungsreihenfolge, in der die geteilten Szenen aus dem Zielpfad in umgekehrter Reihenfolge (Reihenfolge von dem Beginn bis zu dem Ende der Musik) herausgenommen werden.
Die so erhaltene Verbindungsreihenfolge ist eine Verbindungsreihenfolge, die geteilte Szenen erzeugt, die die Bewegungen eines Künstlers über die Zeit stetig verbinden, und dafür sorgt, dass geteilte Szenen einer Melodie eines Teils der Musik zugeweisen sind, zu der die geteilten Szenen passen.
Ferner kann die Entscheidungseinheit 23e beispielsweise bevorzugt die oben beschriebenen Verbindungsszenen den Pausenabschnitten der gegebenen Musik zuweisen. 8 ist eine schematische Darstellung, die eine Entsprechungsbeziehung zwischen den Pausenabschnitten und den Verbindungsszenen zeigt.
Wie es in 8 gezeigt ist, ordnet die Entscheidungseinheit 23e die Verbindungsszenen Fc vorzugsweise den Pausenabschnitten zu. Im Ergebnis können die Bewegungen eines Künstlers in den geteilten Szenen in den Verbindungsszenen nahtlos verbunden werden.
Dabei kann die Entscheidungseinheit 23e die Zeitdauern der Verbindungsszenen Fc gemäß den Zeitdauern der Pausenabschnitte einstellen. Es ist zu beachten, dass das unter Bezugnahme auf 4 beschrieben Verfahren kann auf die Einstellung der Zeitdauern der Verbindungsszenen Fc angewendet werden kann.
Wenn dabei die Verbindungsszenen Fc den Pausenabschnitten zugewiesen werden, kann die Berechnungseinheit 23d Musikpunktzahlen für die Verbindungsszenen Fc im Vergleich zu einem Fall, in dem geteilte Szenen mit Ausnahme der Verbindungsszenen Fc sind den Pausenabschnitten zugewiesen sind, höher ermitteln.
Das heißt, für die Pausenabschnitte können die Gewichtungen der Musikpunktzahlen zwischen den Verbindungsszenen Fc und anderen geteilten Szenen als den Verbindungsszenen Fc geändert werden. Mit anderen Worten, kann die Berechnungseinheit 23d die Musikpunktzahlen so berechnen, dass die Verbindungsreihenfolge, in der die Verbindungsszenen Fc den Pausenabschnitten vorzugsweise zugeordnet werden, entschieden wird. Im Ergebnis kann die Diskrepanz zwischen gegebener Musik und einem Tanz eines Künstlers in Inhalt mit freiem Betrachtungspunkt verringert werden.
Danach teilt die Entscheidungseinheit 23e nach Entscheidung über die Verbindungsreihenfolge der Bestimmungseinheit 23c und der Erzeugungseinheit 23f Informationen über die Verbindungsreihenfolge mit. Im Ergebnis bestimmt die Bestimmungseinheit 23c zusätzlich zu einer Ähnlichkeit zwischen den oben beschriebenen Verbindungseinzelbildern Ähnlichkeiten zwischen den benachbarten Einzelbildern der Verbindungseinzelbilder.
Ein spezifisches Beispiel benachbarter Einzelbilder wird nun unter Bezugnahme auf 9 beschrieben. 9 ist eine Darstellung, die ein Beispiel der benachbarten Einzelbilder zeigt. Es ist zu beachten, dass in 9 ein Fall als Beispiel beschrieben wird, in dem eine geteilte Szene B mit einer geteilten Szene A verbunden wird.
Wie es in 9 gezeigt ist, bestimmt die Bestimmungseinheit 23c Ähnlichkeiten zwischen den benachbarten Einzelbildern des Verbindungseinzelbildes Ke in der geteilten Szene A und den benachbarten Einzelbildern des Verbindungseinzelbildes Ks in der geteilten Szene B durch Rundlaufverfahren.
Die Datenverarbeitungsvorrichtung 10 gemäß der Ausführungsform erzeugt dann Inhalt mit freiem Betrachtungspunkt, in dem die geteilte Szene A und die geteilte Szene B an Einzelbildern verbunden sind, die als Ergebnis der Rundlaufverfahrens-Bestimmung von Ähnlichkeiten als die höchste Ähnlichkeit aufweisend bestimmt werden.
Mit anderen Worten erzeugt die Datenverarbeitungsvorrichtung 10 gemäß der Ausführungsform Inhalt mit freiem Betrachtungspunkt, in dem die geteilte Szene A und die geteilte Szene B an Einzelbildern verbunden sind, in denen die Bewegungen eines Künstlers am nahtlosesten verbunden sind.
Das heißt, die Datenverarbeitungsvorrichtung 10 gemäß der Ausführungsform entscheidet die Verbindungsreihenfolge der geteilten Szenen basierend auf den Verbindungspunktzahlen Scc und den Musikpunktzahlen Scm und entscheidet dann die Einzelbilder, die verwendet werden, um die Bewegungen eines Künstlers am reibungslosesten zu verbinden, wenn die geteilten Szenen in der Verbindungsreihenfolge verbunden werden. Im Ergebnis kann die Diskrepanz der Bewegungen eines Künstlers zwischen den geteilten Einzelbildern reduziert werden. Mit anderen Worten können die Bewegungen eines Künstlers nahtlos verbunden werden.
Es ist zu beachten, dass in dem in 9 gezeigten Beispiel ein Fall dargestellt ist, in dem das Verbindungseinzelbild Ke das Endeinzelbild der geteilten Szene und das Verbindungseinzelbild Ks das Starteinzelbild der geteilten Szene ist, aber die vorliegende Erfindung nicht darauf beschränkt ist. Das heißt, das Verbindungseinzelbild Ke kann das Nachbareinzelbild des Endeinzelbilds sein und das Verbindungseinzelbild Ks kann das Nachbareinzelbild des Starteinzelbilds sein. Es ist zu beachten, dass die Anzahl benachbarter Einzelbilder beispielsweise basierend auf der Bildrate und dergleichen geeignet festgelegt werden kann. Außerdem können Einzelbilder, die als Verbindungseinzelbilder verwendet werden, entsprechend den zu verbindenden geteilten Szenen geeignet geändert werden.
Unter erneuter Bezugnahme auf die Beschreibung von 2 wird die Erzeugungseinheit 23f beschrieben. Die Erzeugungseinheit 23f erzeugt Inhalt mit freiem Betrachtungspunkt durch Verbinden geteilter Einzelbilder gemäß der von der Entscheidungseinheit 23e entschiedenen Verbindungsreihenfolge und sendet den Inhalt mit freiem Betrachtungspunkt an das Anwenderendgerät 50.
Dabei verbindet die Erzeugungseinheit 23f die geteilten Szenen durch Verbinden von Einzelbildern mit der höchsten Ähnlichkeit unter den benachbarten Einzelbildern basierend auf dem Bestimmungsergebnis der Bestimmungseinheit 23c. Dabei erzeugt die Erzeugungseinheit 23f Inhalt mit freiem Betrachtungspunkt, in dem geteilte Einzelbilder in Pausenabschnitten der Musik verbunden sind. Darüber hinaus kann die Erzeugungseinheit 23f einem Künstler des Inhalts mit freiem Betrachtungspunkt einen Schatten hinzufügen oder das Hintergrundbild ersetzen.
Eine Verarbeitungsprozedur, die von der Szeneninformations-Erzeugungsvorrichtung 1 gemäß der Ausführungsform durchgeführt wird, wird nun unter Bezugnahme auf 10 beschrieben. 10 ist ein Ablaufdiagramm, das die Verarbeitungsprozedur zeigt, die von der Szeneninformations-Erzeugungsvorrichtung 1 gemäß der Ausführungsform durchgeführt wird. Die nachstehend beschriebene Verarbeitungsprozedur wird von der Steuereinheit 13 der Szeneninformations-Erzeugungsvorrichtung 1 jedes Mal wiederholt durchgeführt, wenn ein Video mit mehreren Betrachtungspunkten erfasst wird, das durch Abbildung eines Künstlers erhalten wird.
Wie es in 10 gezeigt ist, erzeugt die Szeneninformations-Erzeugungsvorrichtung 1 zuerst ein Video mit freiem Betrachtungspunkt basierend auf einem Video mit mehreren Betrachtungspunkten (Schritt S101) und analysiert die aufgezeichnete Musik in dem Video mit mehreren Betrachtungspunkten (Schritt S102).
Anschließend entscheidet die Szeneninformations-Erzeugungsvorrichtung 1 basierend auf dem Analyseergebnis der aufgezeichneten Musik über Grenzkandidatenabschnitte in dem Video mit freiem Betrachtungspunkt (Schritt S103). Es ist zu beachten, dass die Grenzkandidatenabschnitte dem Pausenabschnitt T entsprechen, der in 3 dargestellt ist.
Anschließend bestimmt die Szeneninformations-Erzeugungsvorrichtung 1 Ähnlichkeiten zwischen den benachbarten Einzelbildern in dem Grenzkandidatenabschnitt (Schritt S104) und teilt das Video mit freiem Betrachtungspunkt basierend auf dem Ergebnis der Ähnlichkeitsbestimmung in Schritt S104 (Schritt S105).
Die Szeneninformations-Erzeugungsvorrichtung 1 versieht dann jede geteilte Szene mit einer Musikmerkmalsmenge (Schritt S106) und beendet die Verarbeitung.
Eine von der Datenverarbeitungsvorrichtung 10 gemäß der Ausführungsform durchgeführte Verarbeitungsprozedur wird nun unter Bezugnahme auf 11 beschrieben. 11 ist ein Ablaufdiagramm, das die Verarbeitungsprozedur zeigt, die von der Datenverarbeitungsvorrichtung 10 gemäß der Ausführungsform durchgeführt wird. Es ist zu beachten, dass die nachstehend beschriebene Verarbeitungsprozedur von der Steuereinheit 23 der Datenverarbeitungsvorrichtung 10 jedes Mal wiederholt durchgeführt wird, wenn Musikauswahlinformationen erfasst werden.
Wie es in 11 gezeigt ist, analysiert die Datenverarbeitungsvorrichtung 10 dann, wenn die Datenverarbeitungsvorrichtung 10 Musikauswahlinformationen erfasst (Schritt S201), die Musik, die durch die Musikauswahlinformationen angegeben wird (Schritt S202). Anschließend setzt die Datenverarbeitungsvorrichtung 10 die Musikwiedergabezeit t auf t = 0 (Schritt S203).
Anschließend wählt die Datenverarbeitungsvorrichtung 10 eine geteilte Szene für jeden Kandidatenpfad aus (Schritt S204) und addiert 1 zu der Wiedergabezeit t (Schritt S205). Anschließend bestimmt die Datenverarbeitungsvorrichtung 10, ob die Wiedergabezeit t+1 das Ende der Wiedergabezeit erreicht (Schritt S206), und wenn sie das Ende der Wiedergabezeit erreicht (Schritt S206, ja), fährt die Datenverarbeitungsvorrichtung 10 mit der Verarbeitung zum Entscheiden über die Verbindungsreihenfolge fort (Schritt S207).
Die Datenverarbeitungsvorrichtung 10 erzeugt dann Inhalt mit freiem Betrachtungspunkt, in dem die geteilten Szenen gemäß der in Schritt S207 entschiedenen Verbindungsreihenfolge verbunden sind (Schritt S208), und beendet die Verarbeitung. Wenn die Wiedergabezeit t+1 das Ende der Wiedergabezeit in der Bestimmungsverarbeitung von Schritt S206 nicht erreicht (Schritt S206, Nein), fährt die Datenverarbeitungsvorrichtung 10 mit der Verarbeitung von Schritt S204 fort.
Anschließend werden die Einzelheiten der Verarbeitungsprozedur von Schritt S204, der in 11 gezeigt ist, unter Bezugnahme auf 12 und 13 beschrieben. 12 und 13 sind Ablaufdiagramme, die die Verarbeitungsprozedur von Schritt S204 darstellen, der in 11 dargestellt ist.
Wie es in 12 gezeigt ist, berechnet die Datenverarbeitungsvorrichtung 10 dann, wenn die Datenverarbeitungsvorrichtung 10 zu der Wiedergabezeit t eine geteilte Szene hinzufügt (Schritt S211), eine Musikpunktzahl Scm basierend auf der Musikmerkmalsmenge der hinzugefügten geteilten Szene (Schritt S212). Die Datenverarbeitungsvorrichtung 10 berechnet dann eine Verbindungspunktzahl Scc basierend auf der hinzugefügten geteilten Szene (Schritt S213) und aktualisiert die kumulative Punktzahl des entsprechenden Kandidatenpfads (Schritt S214).
Wenn es irgendeine geteilte Szene gibt, die nicht zu dem Kandidatenpfad hinzugefügt wurde (Schritt S215, Ja), fährt die Datenverarbeitungsvorrichtung 10 dann mit Schritt S211 fort, und wenn alle geteilten Szenen zu jedem Kandidatenpfad hinzugefügt wurden (Schritt S215, Nein), beendet die Datenverarbeitungsvorrichtung 10 die Verarbeitung.
13 ist ein Ablaufdiagramm der Verarbeitung von Schritt S204 in dem Fall, in dem Pausenabschnitte berücksichtigt werden. Wie es in 13 gezeigt ist, bestimmt die Datenverarbeitungsvorrichtung 10, ob die Wiedergabezeit t in einem Pausenabschnitt ist (Schritt S221), und wenn die Datenverarbeitungsvorrichtung 10 bestimmt, dass die Wiedergabezeit t in einem Pausenabschnitt ist (Schritt S221, Ja), wählt die Datenverarbeitungsvorrichtung 10 für die Wiedergabezeit t eine Verbindungsszene Fc aus, die nicht ausgewählt worden ist (Schritt S222).
Anschließend passt die Datenverarbeitungsvorrichtung 10 die Zeitdauer der Verbindungsszene Fc, die basierend auf dem Pausenabschnitt in Schritt S222 ausgewählt wurde, an (Schritt S223) und fügt die Verbindungsszene Fc zu dem Kandidatenpfad hinzu (Schritt S224).
Danach bestimmt die Datenverarbeitungsvorrichtung 10, ob es irgendeine Verbindungsszene Fc gibt, die nicht ausgewählt wurde (Schritt S225), und wenn es irgendeine Verbindungsszene Fc gibt, die nicht ausgewählt wurde (Schritt S225, Ja), fährt die Datenverarbeitungsvorrichtung 10 mit der Verarbeitung von Schritt S222 fort.
Wenn die Auswahl aller Verbindungsszenen bei der Bestimmung in Schritt S225 abgeschlossen wurde (Schritt S225, Nein), beendet die Datenverarbeitungsvorrichtung 10 die Verarbeitung. Wenn die Wiedergabezeit t in der Bestimmung von Schritt S221 nicht in einem Pausenabschnitt ist (Schritt S221, Nein), fügt die Datenverarbeitungsvorrichtung 10 eine andere geteilte Szene als die Verbindungsszene Fc zu dem Kandidatenpfad hinzu (Schritt S226) und beendet das Verarbeiten. Es ist zu beachten, dass, obwohl es hier nicht dargestellt ist, angenommen wird, dass die Verarbeitung von Schritt S212 bis Schritt S214, die in 12 gezeigt ist, nach der Verarbeitung von Schritt S224 durchgeführt wird.
Die Verarbeitungsprozedur der Verarbeitung von Schritt S207, der in 11 dargestellt ist, wird nun unter Bezugnahme auf 14 beschrieben. 14 ist ein Ablaufdiagramm, das die Verarbeitungsprozedur von Schritt S207 veranschaulicht, der in 11 gezeigt ist.
Wie es in 14 gezeigt ist, bestimmt die Datenverarbeitungsvorrichtung 10 dann, wenn die Datenverarbeitungsvorrichtung 10 die geteilte Szene an dem Ende zu einer Zielszene hinzufügt (Schritt S231), ob es irgendeine geteilte Szene vor der Zielszene gibt (Schritt S232), und wenn es eine geteilte Szene vor der Zielszene gibt (Schritt S232, Ja), fügt die Datenverarbeitungsvorrichtung 10 eine geteilte Szene, die die kumulierten Kosten maximiert (Schritt S233), hinzu und fährt mit Schritt S231 fort.
Wenn es keine geteilte Szene vor der Zielszene in der Bestimmungsverarbeitung von Schritt S232 gibt (Schritte S232, Nein), wenn also mit anderen Worten die gesamte Verarbeitung von Schritt S233 abgeschlossen wurde, bestimmt die Datenverarbeitungsvorrichtung 10 zur Verbindungsreihenfolge die Anordnungsreihenfolge, in der die geteilten Szenen in umgekehrter Reihenfolge herausgenommen werden (Schritt S234), und beendet die Verarbeitung.
Zweite Ausführungsform Ein Bereitstellungssystem gemäß einer zweiten Ausführungsform wird nun unter Bezugnahme auf 15 beschrieben. 15 ist eine Darstellung, die ein Konfigurationsbeispiel des Bereitstellungssystems gemäß der zweiten Ausführungsform zeigt. In der oben beschriebenen Ausführungsform wurde ein Fall beschrieben, in dem die geteilten Szenen verbunden sind, um einen Inhalt mit freiem Betrachtungspunkt derart zu erzeugen, dass die Bewegungen eines Künstlers nahtlos verbunden sind.
Wenn es jedoch zum Beispiel nicht genügend geteilte Szenen gibt, gibt es wenige Variationen von Inhalt mit freiem Betrachtungspunkt, und somit besteht die Möglichkeit, dass attraktiver Inhalt nicht bereitgestellt werden kann. Andererseits kann auch dann, wenn die Anzahl der geteilten Szenen erhöht wird, die geteilte Szene in einem Fall, in dem sie nicht mit anderen geteilten Szenen verbunden werden kann, nicht für Inhalt mit freiem Betrachtungspunkt verwendet werden.
Daher weist das Bereitstellungssystem S1 gemäß der zweiten Ausführungsform, wie es in 15 gezeigt ist, ferner eine Vorschlagsvorrichtung 100 auf, die dem Künstler Posen eines Künstlers vorschlägt, wenn ein Video mit mehreren Betrachtungspunkten abgebildet wird.
Insbesondere ist die Vorschlagsvorrichtung 100 eine Vorrichtung, die einem Künstler eine Startpose und eine Endpose vorschlägt. Wenn ein Künstler tanzt, indem er die Startpose und die Endpose einnimmt, die von der Vorschlagsvorrichtung 100 zu dem Zeitpunkt der zusätzlichen Abbildung vorgeschlagen werden, kann die Vielseitigkeit jeder geteilten Szene verbessert werden.
Das heißt, die Vorschlagsvorrichtung 100 schlägt das Erfassen einer neuen geteilten Szene vor, die zum Ergänzen einer bestehenden (bereits erfassten) geteilten Szene verwendet wird. Dementsprechend kann ein Inhalt mit freiem Betrachtungspunkt erzeugt werden, in dem geteilte Szenen verbunden sind.
Ein Konfigurationsbeispiel der Vorschlagsvorrichtung 100 wird nun unter Bezugnahme auf 16 beschrieben. 16 ist eine Darstellung, die das Konfigurationsbeispiel der Vorschlagsvorrichtung 100 gemäß der Ausführungsform zeigt. Wie es in 16 gezeigt ist, weist die Vorschlagsvorrichtung 100 eine Kommunikationseinheit 31, eine Speichereinheit 32 und eine Steuereinheit 33 auf.
Die Kommunikationseinheit 31 ist ein Kommunikationsmodul, das zur Kommunikation mit der Szeneninformations-Erzeugungsvorrichtung 1 und der Datenverarbeitungsvorrichtung 10 über ein vorbestimmtes Netz verwendet wird.
Die Speichereinheit 32 weist beispielsweise ein Halbleiterspeicherelement wie etwa einen RAM und einen Flash-Speicher oder eine Speichervorrichtung wie etwa eine Festplatte oder eine optische Platte auf. Die Speichereinheit 32 speichert Informationen, die die Steuereinheit 33 für verschiedene Verarbeitungen benötigt. Ähnlich wie die Datenverarbeitungsvorrichtung 10 weist die Speichereinheit 32 die Szeneninformations-DB auf.
Die Steuereinheit 33 wird beispielsweise implementiert, wenn eine zentrale Verarbeitungseinheit (CPU), eine Mikroverarbeitungseinheit (MPU) und dergleichen auf einem Arbeitsbereich wie etwa einem Direktzugriffsspeicher (RAM) ein Programm ausführt, das in der Vorschlagsvorrichtung 100 gespeichert ist. Die Steuereinheit 33 ist ein Controller und kann beispielsweise durch eine integrierte Schaltung wie etwa eine anwendungsspezifische integrierte Schaltung (ASIC) und eine feldprogrammierbare Gatteranordnung (FPGA) implementiert sein.
Wie es in 16 gezeigt ist, weist die Steuereinheit 33 eine Auswahleinheit 33a und eine Vorschlagsdaten-Erzeugungseinheit 33b auf und implementiert oder führt Funktionen und Aktionen der Datenverarbeitung aus, die nachstehend beschrieben werden. Es ist zu beachten, dass die interne Konfiguration der Steuereinheit 33 nicht auf die in 16 dargestellte Konfiguration beschränkt ist und eine andere Konfiguration sein kann, solange es eine Konfiguration ist, die zum Durchführen der nachstehend zu beschreibenden Datenverarbeitung ausgebildet ist. Es ist auch zu beachten, dass die Steuereinheit 33 drahtgebunden oder drahtlos unter Verwendung beispielsweise einer Netzschnittstellenkarte (NIC) oder dergleichen mit einem vorbestimmten Netz verbunden sein kann und verschiedene Arten von Informationen von einem externen Server und dergleichen über das Netz empfangen kann.
Die Auswahleinheit 33a wählt eine Startpose und eine Endpose einer geteilten Szene, die neu aufzunehmen ist, unter Bezugnahme auf die Szeneninformations-DB aus. Beispielsweise wählt die Auswahleinheit 33a irgendeine geteilte Szene aus der Szeneninformations-DB aus und bestimmt, ob es eine vorbestimmte Anzahl oder mehr von geteilten Szenen gibt, die nach der ausgewählten geteilten Szene verbunden werden können.
Wenn es eine vorbestimmte Anzahl oder mehr von geteilten Szenen gibt, die nach der ausgewählten geteilten Szene verbunden werden können, wählt die Auswahleinheit 33a eine andere geteilte Szene aus. Hier bezieht sich eine geteilte Szene, die verbunden werden kann, auf eine geteilte Szene, bei der die oben beschriebenen Verbindungspunktzahl Scc in Bezug auf die ausgewählte geteilte Szene größer oder gleich einem Schwellenwert ist.
Wenn die Anzahl von geteilten Szenen, die verbunden werden können, kleiner als die vorbestimmte Anzahl ist, wählt die Auswahleinheit 33a ferner die Pose eines Künstlers in dem Endeinzelbild der ausgewählten geteilten Szene als die Startpose aus.
Anschließend wählt die Auswahleinheit 33a eine geteilte Szene mit einer Verbindungspunktzahl Scc in Bezug auf die ausgewählte geteilte Szene, die kleiner oder gleich dem Schwellenwert ist, aus. Dabei kann die Auswahleinheit 33a alle geteilten Szenen mit Verbindungspunktzahlen Scc auswählen, die kleiner oder gleich dem Schwellenwert sind, oder einige der geteilten Szenen unter den geteilten Szenen mit Verbindungspunktzahlen Scc, die kleiner oder gleich dem Schwellenwert sind, auswählen.
In diesem Fall kann die Auswahleinheit 33a beispielsweise geteilte Szenen, die mit vielen geteilten Szenen verbunden werden können, bevorzugt gegenüber anderen geteilten Szenen auswählen. Das heißt, die Vorschlagsvorrichtung 100 kann die Variationen von frei Inhalt mit freiem Betrachtungspunkt erweitern und gleichzeitig die Belastung durch zusätzliches Aufnehmen reduzieren, indem sie das Aufnehmen einer geteilten Szene vorschlägt, die sehr vielseitig ist und mit geteilten Szenen verbunden werden kann.
Auf diese Weise wählt die Auswahleinheit 33a eine Startpose und eine Endpose aus, um eine geteilte Szene zu ergänzen, die kein Kandidat für eine Verbindung mit einer geteilten Szene war, mit der wenige geteilte Szenen nach der geteilten Szene verbunden werden können. Dementsprechend kann jedes Element geteilter Daten verwendet werden, wenn Inhalt mit freiem Betrachtungspunkt erzeugt wird.
Es ist zu beachten, dass die Auswahleinheit 33a beispielsweise zwei geteilte Szenen, in denen dreidimensionale Modelle eines Künstlers in den Verbindungseinzelbildern eine Ähnlichkeit aufweisen, die größer als ein vorbestimmter Wert ist, unter Bezugnahme auf die Szeneninformations-DB auswählen kann und eine Startpose und eine Endpose bestimmen kann. Außerdem kann die Auswahleinheit 33a eine Startpose und eine Endpose basierend auf einer von einem Anwender ausgewählten geteilten Szene auswählen.
Die Vorschlagsdaten-Erzeugungseinheit 33b erzeugt Vorschlagsdaten in Bezug auf Posen zu dem Zeitpunkt des zusätzlichen Aufnehmens eines Videos mit mehreren Betrachtungspunkten. Die Vorschlagsdaten-Erzeugungseinheit 33b erzeugt Informationen zu dreidimensionalen Modellen einer Startpose und einer Endpose als Vorschlagsdaten.
Dabei kann die Vorschlagsdaten-Erzeugungseinheit 33b aufgezeichnete Musik zu dem Zeitpunkt des zusätzlichen Abbildens und die Zeitdauer von der Startpose bis zu der Endpose spezifizieren. Außerdem kann die Vorschlagsdaten-Erzeugungseinheit 33b eine Reihe von Choreografiestücken von der Startpose bis zu der Endpose vorschlagen.
Wenn mehrere Startposen und mehrere Endposen von der Auswahleinheit 33a ausgewählt werden, kann die Vorschlagsdaten-Erzeugungseinheit 33b eine Liste der mehreren Startposen und der mehreren Endposen anzeigen.
Die von der Vorschlagsdaten-Erzeugungseinheit 33b erzeugten Vorschlagsdaten werden beispielsweise auf einem Monitor in dem Studio angezeigt. Dementsprechend kann ein Künstler die Startpose und die Endpose beobachten.
Eine von der Vorschlagsvorrichtung 100 gemäß der Ausführungsform durchgeführte Verarbeitungsprozedur wird nun unter Bezugnahme auf 17 beschrieben. 17 ist ein Ablaufdiagramm, das die Verarbeitungsprozedur darstellt, die von der Vorschlagsvorrichtung 100 gemäß der Ausführungsform durchgeführt wird.
Wie es in 17 gezeigt ist, wählt die Vorschlagsvorrichtung 100 gemäß der Ausführungsform zuerst eine geteilte Szene aus der Szeneninformations-DB aus (Schritt S301) und bestimmt, ob die Anzahl von Szenen, die mit der ausgewählten geteilten Szene verbunden werden können, größer als der Schwellenwert ist (Schritt S302).
Wenn die Anzahl von Szenen, die verbunden werden können, größer als der Schwellenwert ist (Schritt S302, Ja), fährt die Vorschlagsvorrichtung 100 mit der Verarbeitung von Schritt S301 fort und wählt eine weitere geteilte Szene aus. Wenn die Anzahl von Szenen, die verbunden werden können, in dem Bestimmungsprozess von Schritt S302 kleiner als der Schwellenwert ist (Schritt S302, Nein), bestimmt die Vorschlagsvorrichtung 100 die Pose des letzten Einzelbilds in der geteilten Szene, die in Schritt S301 ausgewählt wurde, als Startpose (Schritt S303) .
Anschließend wählt die Vorschlagsvorrichtung 100 eine weitere geteilte Szene mit einer Verbindungspunktzahl Scc in Bezug auf die in Schritt S301 ausgewählte geteilte Szene, die kleiner oder gleich dem Schwellenwert ist (Schritt S304), aus und bestimmt die Pose des in Schritt S304 ausgewählten Starteinzelbilds als Endpose (Schritt S305) .
Die Vorschlagsvorrichtung 100 erzeugt dann Vorschlagsdaten basierend auf der in Schritt S303 entschiedenen Startpose und der in Schritt S305 entschiedenen Endpose (Schritt S306) und beendet die Verarbeitung.
Abwandlung
In den oben beschriebenen Ausführungsformen wurde ein Fall beschrieben, in dem die Datenverarbeitungsvorrichtung 10 Musikauswahlinformationen aus dem Anwenderendgerät 50 erfasst und auf der Grundlage der Musikauswahlinformationen Inhalt mit freiem Betrachtungspunkt erzeugt. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt. Das heißt, die Datenverarbeitungsvorrichtung 10 kann Musikauswahlinformationen aus einem Musik-Server, der Musik verwaltet, zu einem vorbestimmten Zeitraum erfassen und Inhalt mit freiem Betrachtungspunkt erzeugen. Das heißt, wenn beispielsweise neue Musik veröffentlicht wird, kann für die neue Musik automatisch Inhalt mit freiem Betrachtungspunkt erzeugt werden.
Darüber hinaus kann das Anwenderendgerät 50 beispielsweise Musik bestimmen, die auf einem Smartphone oder einem Lautsprecher abgespielt wird, und Musikauswahlinformationen zu der Musik an die Datenverarbeitungsvorrichtung 10 senden. In diesem Fall kann beispielsweise Inhalt mit freiem Betrachtungspunkt in Echtzeit für die gerade laufende Musik wiedergegeben werden.
Darüber hinaus kann beispielsweise dann, wenn Inhalt mit freiem Betrachtungspunkt auf einem SNS gepostet wird, der Inhalt mit freiem Betrachtungspunkt teilweise gepostet werden und der Rest des Inhalts mit freiem Betrachtungspunkt (vollständiger Inhalt) kann bereitgestellt werden, wenn jedes Anwenderendgerät 50 auf die Datenverarbeitungsvorrichtung 10 zugreift.
Weiterhin kann die Datenverarbeitungsvorrichtung 10 Musik, die von einem Anwender in Karaoke ausgewählt wird, als Musikauswahlinformationen erfassen und Inhalt mit freiem Betrachtungspunkt erzeugen. In diesem Fall kann ein Anwender beispielsweise den Inhalt mit freiem Betrachtungspunkt, der seinem Gesang entspricht, ansehen. Das heißt, eine Anwendung, in der ein Künstler zu seinem Gesang tanzt, kann bereitgestellt werden.
Ferner wurde in den oben beschriebenen Ausführungsformen ein Fall, in dem der Inhalt eines Tanzbildes mit freiem Betrachtungspunkt, das der Musik entspricht, beschrieben, aber die vorliegende Erfindung ist nicht darauf beschränkt. Das heißt, der Inhalt eines Tanzbildes mit freiem Betrachtungspunkt kann basierend auf einem Belichtungseffekt erzeugt werden, der durch eine Projektionsabbildung dargestellt wird.
Darüber hinaus ist ein Video mit freiem Betrachtungspunkt nicht auf ein Tanzbild beschränkt und ein anderes Video mit freiem Betrachtungspunkt kann in geeigneter Weise in den Inhalt mit freiem Betrachtungspunkt integriert werden, solange es ein dreidimensionales Bild ist. In den oben beschriebenen Ausführungsformen wurden die Szeneninformations-Erzeugungsvorrichtung 1, die Datenverarbeitungsvorrichtung 10 und die Vorschlagsvorrichtung 100 als unterschiedliche Vorrichtungen beschrieben. Die vorliegende Erfindung ist jedoch nicht darauf beschränkt und die Funktionen können geeignet integriert oder verteilt werden.
In den oben beschriebenen Ausführungsformen wurde ein Fall beschrieben, in dem ein Objekt ein Künstler und ein Ton Musik ist, aber die vorliegende Erfindung ist nicht darauf beschränkt. Insbesondere können beispielsweise Tiere, Roboter, Maschinen und dergleichen in Inhalt verwendet werden und verschiedene andere Töne als Musik kann als Ton verwendet werden.
Das heißt, der Inhalt mit freiem Betrachtungspunkt ist nicht auf ein Tanzbild eines Künstlers beschränkt und kann eine Kombination aus verschiedenen Objekten und Tönen sein.
Die Datenvorrichtung wie etwa die Datenverarbeitungsvorrichtung gemäß jeweiliger der oben beschriebenen Ausführungsformen wird beispielsweise durch einen Computer 1000 implementiert, der eine in 18 dargestellte Konfiguration aufweist. Die Datenverarbeitungsvorrichtung 10 gemäß der Ausführungsform wird nachstehend als Beispiel beschrieben. 18 ist ein Hardware-Konfigurationsdiagramm, das ein Beispiel des Computers 1000 zeigt, der die Funktionen der Datenverarbeitungsvorrichtung 10 implementiert. Der Computer 1000 weist eine CPU 1100, einen RAM 1200, einen Nur-Lese-Speicher (ROM) 1300, ein Festplattenlaufwerk (HDD) 1400, eine Kommunikationsschnittstelle 1500 und eine Eingabe-/Ausgabeschnittstelle 1600 auf. Die Teile des Computers 1000 sind durch einen Bus 1050 verbunden.
Die CPU 1100 arbeitet basierend auf einem Programm, das in dem ROM 1300 oder dem HDD 1400 gespeichert ist, um jeden Teil zu steuern. Beispielsweise lädt die CPU 1100 das in dem ROM 1300 oder dem HDD 1400 gespeicherte Programm in den RAM 1200 und führt eine Verarbeitung aus, die verschiedenen Programmen entspricht.
Der ROM 1300 speichert ein Boot-Programm wie etwa ein grundlegendes Eingabe/Ausgabe-System (BIOS), das von der CPU 1100 ausgeführt wird, wenn der Computer 1000 hochgefahren wird, ein Programm, das von der Hardware des Computers 1000 abhängt, und dergleichen.
Das HDD 1400 ist ein computerlesbares Aufzeichnungsmedium, das ein von der CPU 1100 ausgeführtes Programm, von dem Programm verwendete Daten und dergleichen nicht vorübergehend aufzeichnet. Insbesondere ist das HDD 1400 ein Aufzeichnungsmedium, das ein Programm gemäß der vorliegenden Offenbarung, das ein Beispiel für Programmdaten 1450 ist, aufzeichnet.
Die Kommunikationsschnittstelle 1500 ist eine Schnittstelle, die zum Verbinden des Computers 1000 mit einem externen Netz 1550 (beispielsweise dem Internet) verwendet wird. Beispielsweise empfängt die CPU 1100 Daten von einer anderen Vorrichtung und sendet Daten, die von der CPU 1100 erzeugt werden, über die Kommunikationsschnittstelle 1500 an eine andere Vorrichtung.
Die Eingabe/Ausgabe-Schnittstelle 1600 ist eine Schnittstelle, die zum Verbinden der Eingabe/AusgabeVorrichtung 1650 mit dem Computer 1000 verwendet wird. Beispielsweise empfängt die CPU 1100 Daten von einer Eingabevorrichtung wie etwa einer Tastatur oder einer Maus über die Eingabe/Ausgabe-Schnittstelle 1600. Ferner sendet die CPU 1100 Daten über die Eingabe/Ausgabe-Schnittstelle 1600 an eine Ausgabevorrichtung wie etwa eine Anzeige, einen Lautsprecher und einen Drucker. Weiterhin kann die Eingabe/Ausgabe-Schnittstelle 1600 als eine zum Lesen eines Programms und dergleichen, das auf einem vorbestimmten Aufzeichnungsmedium (Medium) aufgezeichnet ist, verwendete Medienschnittstelle fungieren. Das Medium ist beispielsweise ein optisches Aufzeichnungsmedium wie etwa eine DVD und eine wiederbeschreibbare Platte mit Phasenänderung (PD), ein magnetooptisches Aufzeichnungsmedium wie etwa eine magnetooptische Platte (MO), ein Bandmedium, ein magnetisches Aufzeichnungsmedium, ein Halbleiterspeicher und dergleichen.
Wenn der Computer 1000 beispielsweise als die Datenverarbeitungsvorrichtung 10 gemäß der Ausführungsform fungiert, implementiert die CPU 1100 des Computers 1000 die Funktionen der Erfassungseinheit 23a und dergleichen durch Ausführen eines in den RAM 1200 geladenen Programms. Das HDD 1400 speichert ein Programm gemäß der vorliegenden Offenbarung und Daten in der Speichereinheit 22. Es ist zu beachten, dass die CPU 1100 die Programmdaten 1450 aus dem HDD 1400 liest und ausführt, aber als weiteres Beispiel können diese Programme auch aus anderen Vorrichtungen über das externe Netz 1550 erfasst werden.
Es ist zu beachten, dass die vorliegende Technologie auch die folgenden Konfigurationen aufweisen kann.
(1) Datenverarbeitungsvorrichtung, die aufweist:

eine Entscheidungseinheit, die dazu ausgebildet ist, eine Verbindungsreihenfolge von geteilten Szenen, die durch Teilen eines Videos mit freiem Betrachtungspunkt basierend auf einem Video mit mehreren Betrachtungspunkten erhalten werden, das durch Abbilden eines Objekts erhalten wird, basierend auf einer Merkmalsmenge eines gegebenen Tons und Ähnlichkeiten zwischen jeweiligen Verbindungseinzelbildern in den geteilten Szenen zu entscheiden; und
eine Erzeugungseinheit, die dazu ausgebildet ist, Inhalt mit freiem Betrachtungspunkt zu erzeugen, in dem die geteilten Szenen in der von der Entscheidungseinheit entschiedenen Verbindungsreihenfolge verbunden sind.

(2) Datenverarbeitungsvorrichtung nach dem oben beschriebenen Punkt (1),
wobei das Video mit freiem Betrachtungspunkt
ein Tanzbild ist, in dem das Objekt ein Künstler ist und der Künstler zu aufgezeichneter Musik tanzt.
(3) Datenverarbeitungsvorrichtung nach einem der oben beschriebenen Punkte (1) bis (2),
wobei der Ton
Musik ist.
(4) Datenverarbeitungsvorrichtung nach einem der oben beschriebenen Punkte (1) bis (3), die ferner aufweist:

eine Bestimmungseinheit, die dazu ausgebildet ist, die Ähnlichkeiten zwischen den Verbindungseinzelbildern basierend auf dreidimensionalen Modellen des Objekts in den jeweiligen Verbindungseinzelbildern zu bestimmen.

(5) Datenverarbeitungsvorrichtung nach Punkt (4),
wobei die Bestimmungseinheit
die Ähnlichkeiten basierend auf Knochenmodellen, die jeweils eine Gelenkposition des Künstlers angeben, bestimmt.
(6) Datenverarbeitungsvorrichtung nach einem der oben beschriebenen Punkte (4) bis (5), wobei die Bestimmungseinheit die Ähnlichkeiten basierend auf Punktwolkendaten, die Oberflächenformen des Künstlers entsprechen, bestimmt.
(7) Datenverarbeitungsvorrichtung nach einem der oben beschriebenen Punkte (1) bis (6),
wobei die Entscheidungseinheit
die Verbindungsreihenfolge basierend auf einem kumulativen Wert von Verbindungspunktzahlen gemäß den Ähnlichkeiten zwischen den geteilten Szenen entscheidet, wobei der kumulative Wert für jeden der Verbindungspfade gilt, die durch Verbinden der geteilten Szenen von einem Start bis zu einem Ende der Musik gebildet werden.
(8) Datenverarbeitungsvorrichtung nach einem der oben beschriebenen Punkte (1) bis (7),
wobei die Bestimmungseinheit
die Ähnlichkeiten zwischen den benachbarten Einzelbildern der Verbindungseinzelbilder zusätzlich zu den Verbindungseinzelbildern bestimmt, wenn die Verbindungsreihenfolge durch die Entscheidungseinheit entschieden wird, und
die Erzeugungseinheit
die geteilten Szenen durch Verbinden von Einzelbildern mit der höchsten Ähnlichkeit unter den benachbarten Einzelbildern verbindet.
(9) Datenverarbeitungsvorrichtung nach einem der oben beschriebenen Punkte (1) bis (8),
wobei die Erzeugungseinheit
die geteilten Szenen in einem Pausenabschnitt des Tons verbindet.
(10) Datenverarbeitungsvorrichtung nach einem der oben beschriebenen Punkte (1) bis (9), die ferner aufweist:

eine Berechnungseinheit, die dazu ausgebildet ist, eine Musikpunktzahl, die eine Übereinstimmung zwischen der Musik und der aufgezeichneten Musik angibt, basierend auf einer Merkmalsmenge der Musik und Merkmalsmengen der aufgezeichneten Musik in den geteilten Szenen zu berechnen,
wobei die Entscheidungseinheit
die Verbindungsreihenfolge basierend auf der Musikpunktzahl entscheidet.

(11) Datenverarbeitungsvorrichtung nach Punkt (10),
wobei die Berechnungseinheit
die Musikpunktzahl basierend auf der Melodie jedes Teils, der durch Teilen der Musik erhalten wird, und der Melodie jeder der geteilten Szenen berechnet.
(12) Datenverarbeitungsvorrichtung nach einem der oben beschriebenen Punkte (10) bis (11),
wobei die Berechnungseinheit
die Musikpunktzahl basierend auf einer Zeitdauer jedes Teils, der durch Teilen der Musik erhalten wird, und einer Zeitdauer jeder der geteilten Szenen berechnet.
(13) Datenverarbeitungsvorrichtung nach einem der oben beschriebenen Punkte (1) bis (12),
wobei die Entscheidungseinheit
zumindest eine der geteilten Szenen, die eine gemäß einer Zeitdauer eines Pausenabschnitts angepasste Zeitdauer aufweist, dem Pausenabschnitt der Musik zuweist.
(14) Datenverarbeitungsvorrichtung nach (13),
wobei die Entscheidungseinheit
die zeitliche Länge der geteilten Szene anpasst, indem ein Einzelbild in der geteilten Szene ausgedünnt wird.
(15) Vorschlagsvorrichtung, die aufweist:

eine Vorschlagsdaten-Erzeugungseinheit, die dazu ausgebildet ist, Vorschlagsdaten bezüglich einer Pose zu einem Zeitpunkt eines zusätzlichen Abbildens eines Videos mit freiem Betrachtungspunkt basierend auf Ähnlichkeiten zwischen jeweiligen Verbindungseinzelbildern in geteilten Szenen zu erzeugen, die durch Teilen des Videos mit freiem Betrachtungspunkt basierend auf einem Video mit mehreren Betrachtungspunkten erhalten werden, das durch Abbilden eines Objekts erhalten wird.

(16) Vorschlagsvorrichtung nach Punkt (15),
wobei die Vorschlagsdaten-Erzeugungseinheit
die Vorschlagsdaten erzeugt, in denen eine Endpose eines Künstlers, der das Objekt in den kumulierten geteilten Szenen ist, eine Startpose ist und eine Startpose des Künstlers in einer anderen der geteilten Szenen eine Endpose ist.
(17) Datenverarbeitungsverfahren, das von einem Computer ausgeführt wird und aufweist:

Entscheiden über die Verbindungsreihenfolge von geteilten Szenen, die durch Teilen eines Videos mit freiem Betrachtungspunkt basierend auf einem Video mit mehreren Betrachtungspunkten, das durch Abbilden eines Objekts erhalten wird, erhalten werden, basierend auf einer Merkmalsmenge eines gegebenen Tons und Ähnlichkeiten zwischen jeweiligen Verbindungseinzelbildern in den geteilten Szenen; und
Erzeugen von Inhalt mit freiem Betrachtungspunkt, in dem die geteilten Szenen in der festgelegten Verbindungsreihenfolge verbunden sind.

(18) Vorschlagsverfahren, das von einem Computer durchgeführt wird und aufweist:

Erzeugen von Vorschlagsdaten, die sich auf eine Pose beziehen, zu einem Zeitpunkt eines zusätzlichen Abbildens eines Videos mit freiem Betrachtungspunkt basierend auf Ähnlichkeiten zwischen jeweiligen Verbindungseinzelbildern in geteilten Szenen, die durch Teilen des Videos mit freiem Betrachtungspunkt erhalten werden, das durch Abbilden eines Objekts erhalten wird.

(19) Vorschlagsverfahren, das von einem Computer durchgeführt wird und aufweist:

Erzeugen von Vorschlagsdaten in Bezug auf eine Pose zu einem Zeitpunkt eines zusätzlichen Abbildens eines Videos mit mehreren Betrachtungspunkten, das durch Abbildung eines Objekts erhalten wird, basierend auf einer Merkmalsmenge eines gegebenen Tons und Ähnlichkeiten zwischen jeweiligen Verbindungseinzelbildern in geteilten Szenen, die durch Teilen eines Realaufnahmen-Videos mit freiem Betrachtungspunkt basierend auf dem Video mit mehreren Betrachtungspunkten erhalten werden.

Bezugszeichenliste

1: SZENENINFORMATIONS-ERZEUGUNGSVORRICHTUNG
10: DATENVERARBEITUNGSVORRICHTUNG
13a: 3D-MODELL-ERZEUGUNGSEINHEIT
13b: MUSIKANALYSEEINHEIT
13c: SZENENINFORMATIONS-ERZEUGUNGSEINHEIT
23a: ERFASSUNGSEINHEIT
23b: MUSIKANALYSEEINHEIT
23c: BESTIMMUNGSEINHEIT
23d: BEREICHNUNGSEINHEIT
23e: ENTSCHEIDUNGSEINHEIT
23f: ERZEUGUNGSEINHEIT
33a: AUSWAHLEINHEIT
33b: VORSCHLAGSDATEN-ERZEUGUNGSEINHEIT
50: ANWENDERENDGERÄT
100: VORSCHLAGSVORRICHTUNG
S, S1: BEREITSTELLUNGSSYSTEM

Claims

Datenverarbeitungsvorrichtung, die aufweist: eine Entscheidungseinheit, die dazu ausgebildet ist, eine Verbindungsreihenfolge von geteilten Szenen, die durch Teilen eines Videos mit freiem Betrachtungspunkt basierend auf einem Video mit mehreren Betrachtungspunkten erhalten werden, das durch Abbilden eines Objekts erhalten wird, basierend auf einer Merkmalsmenge eines gegebenen Tons und Ähnlichkeiten zwischen jeweiligen Verbindungseinzelbildern in den geteilten Szenen zu entscheiden; und eine Erzeugungseinheit, die dazu ausgebildet ist, Inhalt mit freiem Betrachtungspunkt zu erzeugen, in dem die geteilten Szenen in der von der Entscheidungseinheit entschiedenen Verbindungsreihenfolge verbunden sind.
Datenverarbeitungsvorrichtung nach Anspruch 1, wobei das Video mit freiem Betrachtungspunkt ein Tanzbild ist, in dem das Objekt ein Künstler ist und der Künstler zu aufgezeichneter Musik tanzt.
Datenverarbeitungsvorrichtung nach Anspruch 2, wobei der Ton Musik ist.
Datenverarbeitungsvorrichtung nach Anspruch 2, die ferner aufweist: eine Bestimmungseinheit, die dazu ausgebildet ist, die Ähnlichkeiten zwischen den Verbindungseinzelbildern basierend auf dreidimensionalen Modellen des Objekts in den jeweiligen Verbindungseinzelbildern zu bestimmen.
Datenverarbeitungsvorrichtung nach Anspruch 4, wobei die Bestimmungseinheit die Ähnlichkeiten basierend auf Knochenmodellen, die jeweils eine Gelenkposition des Künstlers angeben, bestimmt.
Datenverarbeitungsvorrichtung nach Anspruch 4, wobei die Bestimmungseinheit die Ähnlichkeiten basierend auf Punktwolkendaten, die Oberflächenformen des Künstlers entsprechen, bestimmt.
Datenverarbeitungsvorrichtung nach Anspruch 4, wobei die Entscheidungseinheit mehrere Verbindungspfade, die durch Verbinden der geteilten Szenen von einem Start zu einem Ende des Tons gebildet werden, festlegt und die Verbindungsreihenfolge basierend auf einem kumulativen Wert von Verbindungspunktzahlen gemäß den Ähnlichkeiten zwischen den geteilten Szenen entscheidet, wobei der kumulative Wert für jeden der Verbindungspfade berechnet wird.
Datenverarbeitungsvorrichtung nach Anspruch 4, wobei die Bestimmungseinheit für Verbindungen zwischen den geteilten Szenen die Ähnlichkeiten zwischen den benachbarten Einzelbildern der Verbindungseinzelbilder zusätzlich zu den Ähnlichkeiten zwischen den Verbindungseinzelbildern bestimmt, wenn die Verbindungsreihenfolge durch die Entscheidungseinheit entschieden wird, und die Erzeugungseinheit die geteilten Szenen durch Verbinden von Einzelbildern mit der höchsten Ähnlichkeit unter den benachbarten Einzelbildern verbindet.
Datenverarbeitungsvorrichtung nach Anspruch 1, wobei die Erzeugungseinheit die geteilten Szenen in einem Pausenabschnitt des Tons verbindet.
Datenverarbeitungsvorrichtung nach Anspruch 3, die ferner aufweist: eine Berechnungseinheit, die dazu ausgebildet ist, eine Musikpunktzahl, die eine Übereinstimmung zwischen der Musik und der aufgezeichneten Musik angibt, basierend auf einer Merkmalsmenge der Musik und Merkmalsmengen der aufgezeichneten Musik in den geteilten Szenen zu berechnen, wobei die Entscheidungseinheit die Verbindungsreihenfolge basierend auf der Musikpunktzahl entscheidet.
Datenverarbeitungsvorrichtung nach Anspruch 10, wobei die Berechnungseinheit die Musikpunktzahl basierend auf der Melodie jedes Teils, der durch Teilen der Musik erhalten wird, und der Melodie jeder der geteilten Szenen berechnet.
Datenverarbeitungsvorrichtung nach Anspruch 10, wobei die Berechnungseinheit die Musikpunktzahl basierend auf einer Zeitdauer jedes Teils, der durch Teilen der Musik erhalten wird, und einer Zeitdauer jeder der geteilten Szenen berechnet.
Datenverarbeitungsvorrichtung nach Anspruch 12, wobei die Entscheidungseinheit zumindest eine der geteilten Szenen, die eine gemäß einer Zeitdauer eines Pausenabschnitts angepasste Zeitdauer aufweist, dem Pausenabschnitt der Musik zuweist.
Datenverarbeitungsvorrichtung nach Anspruch 13, wobei die Entscheidungseinheit die zeitliche Länge der geteilten Szene anpasst, indem ein Einzelbild in der geteilten Szene ausgedünnt wird.
Vorschlagsvorrichtung, die aufweist: eine Vorschlagsdaten-Erzeugungseinheit, die dazu ausgebildet ist, Vorschlagsdaten bezüglich einer Pose zu einem Zeitpunkt eines zusätzlichen Abbildens eines Videos mit freiem Betrachtungspunkt basierend auf Ähnlichkeiten zwischen jeweiligen Verbindungseinzelbildern in geteilten Szenen zu erzeugen, die durch Teilen des Videos mit freiem Betrachtungspunkt basierend auf einem Video mit mehreren Betrachtungspunkten erhalten werden, das durch Abbilden eines Objekts erhalten wird.
Vorschlagsvorrichtung nach Anspruch 15, wobei die Vorschlagsdaten-Erzeugungseinheit die Vorschlagsdaten erzeugt, in denen eine Endpose eines Künstlers, der das Objekt in den gesammelten geteilten Szenen ist, eine Startpose ist und eine Startpose des Künstlers in einer anderen der geteilten Szenen eine Endpose ist.
Datenverarbeitungsverfahren, das von einem Computer ausgeführt wird und aufweist: Entscheiden über die Verbindungsreihenfolge von geteilten Szenen, die durch Teilen eines Videos mit freiem Betrachtungspunkt basierend auf einem Video mit mehreren Betrachtungspunkten, das durch Abbilden eines Objekts erhalten wird, erhalten werden, basierend auf einer Merkmalsmenge eines gegebenen Tons und Ähnlichkeiten zwischen jeweiligen Verbindungseinzelbildern in den geteilten Szenen; und Erzeugen von Inhalt mit freiem Betrachtungspunkt, in dem die geteilten Szenen in der entschiedenen Verbindungsreihenfolge verbunden sind.
Vorschlagsverfahren, das von einem Computer durchgeführt wird und aufweist: Erzeugen von Vorschlagsdaten, die sich auf eine Pose beziehen, zu einem Zeitpunkt eines zusätzlichen Abbildens eines Videos mit freiem Betrachtungspunkt basierend auf Ähnlichkeiten zwischen jeweiligen Verbindungseinzelbildern in geteilten Szenen, die durch Teilen des Videos mit freiem Betrachtungspunkt erhalten werden, das durch Abbilden eines Objekts erhalten wird.