DE112019005201T5

DE112019005201T5 - Datenverarbeitungsvorrichtung, datenverarabeitungsverfahren unddatenverarbeitungsprogramm

Info

Publication number: DE112019005201T5
Application number: DE112019005201.2T
Authority: DE
Inventors: Taketo Akama
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-10-19
Filing date: 2019-10-10
Publication date: 2021-07-22
Also published as: JPWO2020080268A1; JP7439755B2; EP3716262A1; CN111492424A; EP3716262A4; WO2020080268A1; US11880748B2; US20210232965A1

Abstract

Diese Datenverarbeitungsvorrichtung (100) umfasst Folgendes: eine Erfassungseinheit (132), die einen trainierten Codierer verwendet und einen Merkmalswert für jedes Stück von Teildaten, die einen ersten Inhalt bilden, erhält; eine Berechnungseinheit (133), die eine Folge relativer Merkmalswerte, die die Merkmale der Konfiguration des ersten Inhalts angibt, berechnet, wobei dieselbe durch Berechnen relativer Merkmalswerte, die Merkmalswerte sind, die sich zwischen Teildaten befinden, aus den Merkmalswerten für jedes Stück erhaltener Teildaten berechnet wird; und eine Erzeugungseinheit (134), die einen zweiten Inhalt auf der Grundlage der Folge relativer Merkmalswerte für den ersten Inhalt und eines Merkmalswerts für beliebige Daten erzeugt.

Description

Gebiet
Die vorliegende Offenbarung bezieht sich auf eine Datenverarbeitungsvorrichtung, ein Datenverarbeitungsverfahren und ein Datenverarbeitungsprogramm. Speziell bezieht sie sich auf einen Erzeugungsprozess eines trainierten Modells, das durch maschinelles Lernen erzeugt wird.
Hintergrund
Die Datenverarbeitung unter Verwendung von maschinellem Lernen wurde in verschiedenen technischen Gebieten verwendet. Zum Beispiel wird das Merkmal des Inhalts (Bild, Musik oder dergleichen) unter Verwendung eines neuronalen Netzes, das den Mechanismus eines kranialen Nervensystems repräsentiert, derart gelernt, dass z. B. neuer Inhalt automatisch erzeugt wird.
Zum Beispiel existiert eine Offenbarung der Technik, in der es das Lernen des Merkmals des existierenden Lieds ermöglicht, ein passendes Lied, das für den Liedtext geeignet ist, ohne Parameter mit Ausnahme des Liedtextes, die durch den Anwender eingegeben werden, automatisch zu komponieren.
Entgegenhaltungsliste
Patentliteratur
Patentliteratur 1: Japanische Patentoffenlegungsschrift Nr. 2011-175006
Zusammenfassung
Technisches Problem
Gemäß einer herkömmlichen Technik werden die linguistischen Merkmalswerte, die aus den Liedtextdaten, die den Liedtext jedes Lieds angeben, und den Attributdaten, die das Attribut des Lieds angeben, berechnet werden, gelernt und deshalb kann dann, wenn neue Liedtextdaten bereitgestellt werden, das Lied, das für die neuen Liedtextdaten geeignet ist, automatisch erzeugt werden.
Gemäß der herkömmlichen Technik werden allerdings eine Melodie oder ein Code einfach gemäß dem Liedtext erzeugt und hinsichtlich der Struktur (Struktur) des gesamten Lieds wird nicht immer ein natürliches Lied, wie das, das durch einen Menschen komponiert wird, erzeugt.
Das heißt, gemäß der herkömmlichen Technik ist es schwierig, das Merkmal der Gesamtstruktur des Inhalts zu lernen oder neuen Inhalt zu erzeugen, während die Gesamtstruktur erhalten wird.
Deshalb schafft die vorliegende Offenbarung eine Datenverarbeitungsvorrichtung, ein Datenverarbeitungsverfahren und ein Datenverarbeitungsprogramm, mit denen es möglich ist, das Merkmal der Gesamtstruktur von Inhalt zu lernen.
Lösung des Problems
Um das oben beschriebene Problem zu lösen, enthält eine Datenverarbeitungsvorrichtung Folgendes: eine Erfassungseinheit, die einen trainierten Codierer verwendet, um einen Merkmalswert jedes Teildatensatzes, der ersten Inhalt bildet, zu erfassen; eine Berechnungseinheit, die einen relativen Merkmalswert berechnet, der ein relativer Merkmalswert zwischen Teildatensätzen erfasster Merkmalswerte der Teildatensätze ist, um eine Folge relativer Merkmalswerte, die ein Merkmal einer Struktur des ersten Inhalts angibt, zu berechnen; und eine Erzeugungseinheit, die einen zweiten Inhalt auf der Grundlage der Folge relativer Merkmalswerte des ersten Inhalts und eines Merkmalswerts optionaler Daten erzeugt.
Figurenliste

1 ist ein Diagramm, das ein Beispiel einer Datenverarbeitung gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt.
2 ist ein Diagramm, das ein Beispiel der Konfiguration einer Datenverarbeitungsvorrichtung gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt.
3 ist ein Diagramm, das ein Beispiel einer Lieddatenspeichereinheit gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt.
4 ist ein Ablaufplan (1), der die Schritte einer Datenverarbeitung gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt.
5 ist ein Ablaufplan (2), der die Schritte einer Datenverarbeitung gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt.
6 ist ein Hardware-Konfigurationsdiagramm, das ein Beispiel eines Computers darstellt, der eine Funktion der Datenverarbeitungsvorrichtung durchführt.

Beschreibung der Ausführungsform
Ausführungsformen der vorliegenden Offenbarung werden unten unter Bezugnahme auf die Zeichnungen genau beschrieben. Darüber hinaus werden in jeder der folgenden Ausführungsformen dieselben Komponenten durch dasselbe Bezugszeichen bezeichnet und doppelte Beschreibungen werden unterlassen.
Die vorliegende Offenbarung wird in Übereinstimmung mit der Reihenfolge von Abschnitten, die unten beschrieben wird, beschrieben.

1. Ausführungsform
- 1-1. Überblick der Datenverarbeitung gemäß einer Ausführungsform der vorliegenden Offenbarung
- 1-2. Konfiguration einer Datenverarbeitungsvorrichtung gemäß einer Ausführungsform
- 1-3. Schritte der Datenverarbeitung gemäß einer Ausführungsform
2. Weitere Ausführungsformen
3. Hardware-Konfiguration

(1. Ausführungsform)
[1-1. Überblick der Datenverarbeitung gemäß einer Ausführungsform der vorliegenden Offenbarung]
1 ist ein Diagramm, das ein Beispiel einer Datenverarbeitung gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt. Die Datenverarbeitung gemäß der Ausführungsform der vorliegenden Offenbarung wird durch eine Datenverarbeitungsvorrichtung 100, die in 1 dargestellt ist, durchgeführt.
Die Datenverarbeitungsvorrichtung 100 ist eine Vorrichtung, die die Datenverarbeitung gemäß der vorliegenden Offenbarung durchführt und ist z. B. ein Datenverarbeitungsendgerät oder eine Servervorrichtung.
Gemäß der Ausführungsform enthält die Datenverarbeitungsvorrichtung 100 ein trainiertes Modell zum Extrahieren des Merkmals des Inhalts. Gemäß der Ausführungsform enthält der Inhalte digitale Daten in einem vorgegebenen Format, z. B. Musik (ein Lied), ein Bild oder ein Bewegtbild. Im Beispiel, das in 1 dargestellt ist, verwendet die Datenverarbeitungsvorrichtung 100 ein Lied als ein Beispiel des Inhalts zur Verarbeitung.
Das trainierte Modell gemäß der Ausführungsform enthält: einen Codierer (Codierer), der einen Merkmalswert aus den Daten, die den Inhalt bilden, extrahiert; und einen Decodierer (Decodierer), der den Inhalt aus dem extrahierten Merkmalswert rekonstruiert. Zum Beispiel trainiert die Datenverarbeitungsvorrichtung 100 den Codierer durch nicht überwachtes Lernen wie z. B. VAE (automatischer variantenreicher Codierer) oder GAN (generative kontradiktorische Netze). Speziell gibt die Datenverarbeitungsvorrichtung 100 Inhalt in den Codierer ein, rekonstruiert den Inhalt aus dem extrahierten Merkmalswert, vergleicht den ursprünglichen Inhalt mit dem rekonstruierten Inhalt und passt die Parameter des Codierers und des Decodierers an. Die Datenverarbeitungsvorrichtung 100 wiederholt diesen Prozess zum Optimieren der Parameter des Codierers und des Decodierers, um das trainierte Modell zu erzeugen. Dies ermöglicht der Datenverarbeitungsvorrichtung 100, das trainierte Modell zu erzeugen, das einen geeigneten Merkmalswert aus den Daten, die den Inhalt bilden, erhalten kann. Darüber hinaus wird der Merkmalswert z. B. unter Verwendung eines Vektors, der eine niedrigere Dimensionsanzahl im Vergleich mit den Daten im Eingangsinhalt besitzt, repräsentiert.
Darüber hinaus ist das trainierte Modell nicht auf das oben beschriebene Beispiel beschränkt und kann ein Modell eines beliebigen Typs sein, solange ein Merkmalswert extrahiert werden kann und der Inhalt aus dem extrahierten Merkmalswert rekonstruiert werden kann.
Im Beispiel von 1 gibt die Datenverarbeitungsvorrichtung 100 ein Lied (mit anderen Worten die digitalen Daten, die den Schall repräsentieren, der das Lied bildet) in den Codierer ein, um als den Merkmalswert des Lieds das Element, das das Merkmal des Lieds repräsentiert, wie z. B. die Melodielinie, den bildenden Schall, den Rhythmus (die zeitliche Struktur der Musik, z. B. die enthaltene Anzahl von Noten und Pausen oder die Reihenfolge von wiederzugebenden Schallen), das Tempo oder den Takt zu extrahieren. Außerdem werden gemäß der Ausführungsform die Daten im Lied unter Verwendung der Daten (z. B. Vektorformat) repräsentiert, die die Tonhöhe (die Daten, die den Pegel des zu erzeugenden Schalles angeben), die Schalllänge (die Daten, die angeben, wie lang die erzeugte Note gehalten werden soll), und den Zeitpunkt einer Pause angeben.
Hier kann für die automatische Erzeugung eines neuen Lieds unter Verwendung des Merkmalswerts des existierenden Lieds, wie oben beschrieben wird, eine der Herausforderungen sein, ein Lied zu erzeugen, das eine natürliche Struktur wie ein menschengemachtes existierendes Lied besitzt. Allerdings führt ein Extrahieren des Merkmalswerts eines optionalen Lieds ohne Änderung zu der Schwierigkeit des Erzeugens eines Lieds, das als Ganzes eine natürliche Struktur besitzt, obwohl es möglich ist, das Merkmal des Lieds nachzubilden. Speziell ist es schwierig, obwohl die ähnliche kennzeichnende Melodielinie oder Schallstruktur (die auch als ein Motiv bezeichnet wird), die ein Teil des Lieds ist, in einem automatisch erzeugten Lied nachgebildet wird, die Struktur des Lieds selbst, z. B. wie sich das Merkmal des Motivs im gesamten Lied ändert, nachzubilden. Das heißt, es ist herkömmlicherweise schwierig, ein Lied automatisch zu erzeugen, das eine natürliche Struktur wie ein menschengemachtes existierendes Lied besitzt und das eine bestimmte Länge wie ein existierendes Lied besitzt.
Somit ermöglicht die Datenverarbeitungsvorrichtung 100 gemäß der vorliegenden Offenbarung durch die unten beschriebene Datenverarbeitung, den Merkmalswert zu berechnen, der die Struktur des gesamten Lieds angibt, und ein natürliches Lied unter Verwendung des Merkmalswerts automatisch zu erzeugen. Speziell verwendet die Datenverarbeitungsvorrichtung 100 den trainierten Codierer, der oben beschrieben wird, um den Merkmalswert jedes Teildatensatzes (z. B. jeder Takt), der das Lied bildet, zu erfassen. Ferner berechnet die Datenverarbeitungsvorrichtung 100 einen relativen Merkmalswert, der ein relativer Merkmalswert zwischen den Teildatensätzen ist, aus dem Merkmalswert jedes Teildatensatzes, um die Folge relativer Merkmalswerte zu berechnen, die das Merkmal der Struktur des Lieds angibt.
Wie oben beschrieben wird, betrachtet die Datenverarbeitungsvorrichtung 100 das Lied, das eine bestimmte Länge besitzt, als die angeordnete Folge von Teildaten, berechnet ihren relativen Merkmalswert, um den Merkmalswert zu erhalten, der in das gesamte Lied übergeht, und drückt dann die Struktur des gesamten Lieds aus. Mit anderen Worten modelliert die Datenverarbeitungsvorrichtung 100 die Struktur des gesamten Lieds unter Verwendung der Folge relativer Merkmalswerte. Dann verwendet die Datenverarbeitungsvorrichtung 100 die Folge relativer Merkmalswerte, die das Merkmal der Struktur des gesamten Lieds angibt, um ein neues Lied zu erzeugen. Somit kann die Datenverarbeitungsvorrichtung 100 ein neues Lied automatisch erzeugen, das das Merkmal der Struktur des existierenden Lieds behält und eine natürliche Struktur besitzt. Darüber hinaus ist die Folge der Merkmalswerte die Folge sequenziell angeordneter Merkmalswerte der entsprechenden Teildatensätze, die das Lied bilden.
Unter Bezugnahme auf 1 wird die Gliederung der Datenverarbeitung gemäß der vorliegenden Offenbarung unten sequenziell beschrieben. Darüber hinaus wird in der folgenden Beschreibung der Zielinhalt, aus dem ein Merkmalswert berechnet wird, als ein „erster Inhalt“ bezeichnet und der neue Inhalt, der auf der Grundlage der Folge relativer Merkmalswerte des ersten Inhalts berechnet wird, wird manchmal als ein „zweiter Inhalt“ bezeichnet. Ferner wird der trainierte Codierer, der in 1 dargestellt ist, und dergleichen einfach als ein „Codierer“ bezeichnet. Außerdem wird der trainierte Decodierer einfach als ein „Decodierer“ bezeichnet.
Wie in 1 dargestellt ist, erfasst die Datenverarbeitungsvorrichtung 100 zuerst ein Lied 30 als den ersten Inhalt und teilt das Lied 30 in Teildaten (Schritt S1). Zum Beispiel teilt die Datenverarbeitungsvorrichtung 100 das Lied 30 auf einer taktweisen Grundlage. Obwohl das Beispiel in 1 das Lied 30 darstellt, das sechs Takte besitzt, kann das Lied 30 mehr Takte besitzen.
Das Lied 30 enthält die Symbolkette (digitale Daten), die z. B. ein Tonhöhe, ein Schalllänge oder eine Pause angeben. Zum Beispiel repräsentiert die Tonhöhe die Frequenz, die den Pegel eines Schalls unter Verwendung vorgegebener Pegel (z. B. 128 Pegel) angibt. Ferner repräsentiert die Schalllänge die Länge, über die der wiedergegebene Schall erhalten wird. Darüber hinaus repräsentiert die Pause den Zeitpunkt, zu dem die Schallwiedergabe gestoppt wird. Außerdem können die Daten, die das Lied 30 repräsentieren, Information wie z. B. das Symbol, das den Takt oder das Tempo des Lieds 30 oder die Pause eines Takts angibt, einen Code zu einem bestimmten Zeitpunkt oder einen bildenden Schall, der einen Code bildet, enthalten.
Zum Beispiel wandelt die Datenverarbeitungsvorrichtung 100 die oben beschriebene Symbolkette um, um in einem Modell manipuliert zu werden. Zum Beispiel verwendet die Datenverarbeitungsvorrichtung 100 die Vektordarstellung (z. B. einen Einbettungsvektor (Einbettung), der eine Tonhöhe, eine Schalllänge oder dergleichen besitzt, die jeder Dimension zugewiesen ist und Schallinformationen repräsentiert) der oben beschriebenen Symbolkette zur Verarbeitung. Der Einbettungsvektor ist z. B. ein d-dimensionaler Vektor (wobei d eine beliebige ganze Zahl ist), wobei „1“ in die Dimension eingegeben wird, die dem entsprechenden Schall entspricht (z. B. Daten wie z. B. „C4“, die den Pegel des Schalls angeben), und „0“ in die weiteren Dimensionen eingegeben wird. Darüber hinaus können die Daten, die den Schall repräsentieren, im MIDI-Format (digitales Musikinstrumentenschnittstellenformat) (eingetragenes Warenzeichen) ausgedrückt werden, können digitale Daten sein, die ein bekanntes Format besitzen und durch eine allgemein verwendbare Anweisungsablaufsteuerung wiedergegeben werden können, oder können als Wellenformdaten wie z. B. das WAV-Format repräsentiert werden.
Die Datenverarbeitungsvorrichtung 100 kann verschiedene bekannte Techniken verwenden, um das Lied 30 in Teildaten zu teilen. Zum Beispiel detektiert die Datenverarbeitungsvorrichtung 100 die voreingestellte Pause eines Takts, um das Lied 30 in Teildaten (Takte) zu teilen. Alternativ kann die Datenverarbeitungsvorrichtung 100 das Lied 30 auf der Grundlage der Beziehung zwischen einem Takt und einer Note in Teildaten teilen. Zum Beispiel im Falle des Lieds 30 mit 4/4-Taktart detektiert die Datenverarbeitungsvorrichtung 100 die Zeit, zu der die vier Schalle, die die Länge besitzen, die einer Viertelnote entspricht, wiedergegeben werden, als eine Pause, um das Lied 30 in Takte zu teilen.
Darüber hinaus kann die Datenverarbeitungsvorrichtung 100 eine Pause außer eines Takts für Teildaten verwenden. Zum Beispiel kann die Datenverarbeitungsvorrichtung 100 die Pause (z. B. die Position, bei der die Pause, die eine Länge besitzt, die größer als ein vorgegebener Schwellenwert ist, erscheint) einer Melodielinie des Lieds 30 detektieren, um es in Teildaten zu teilen. In diesem Fall müssen die Teildaten nicht notwendigerweise mit einem Takt übereinstimmen.
Die Datenverarbeitungsvorrichtung 100 teilt das Lied 30 im Schritt S1 in Takte und extrahiert jeden Teildatensatz (Schritt S2). Im Beispiel von 1 ist jeder Teildatensatz als „x_n (wobei n eine beliebige natürliche Zahl ist)“ dargestellt. Zum Beispiel gibt „x₁“ die Daten an, die in einem ersten Takt des Lieds 30 enthalten sind.
Anschließend gibt die Datenverarbeitungsvorrichtung 100 den Satz extrahierter Teildaten sequenziell in einen Codierer 50 ein (Schritt S3). Entsprechend erfasst die Datenverarbeitungsvorrichtung 100 den Merkmalswert jedes Teildatensatzes (Schritt S4).
Im Beispiel von 1 wird der Merkmalswert jedes Teildatensatzes als „z_n“ bezeichnet. Zum Beispiel gibt „z₁“ den Merkmalswert des ersten Takts des Lieds 30 an.
Hier berechnet die Datenverarbeitungsvorrichtung 100 einen relativen Merkmalswert, der ein relativer Merkmalswert zwischen den Teildatensätzen ist, aus dem erfassten Merkmalswert jedes Teildatensatzes (Schritt S5). Zum Beispiel subtrahiert die Datenverarbeitungsvorrichtung 100 als den relativen Merkmalswerts zwischen den Teildatensätzen den Merkmalswert bestimmter gemeinsamer Teildaten vom Merkmalswert jedes Teildatensatzes, um einen relativen Merkmalswert zu berechnen.
Im Beispiel von 1 subtrahiert die Datenverarbeitungsvorrichtung 100 „z₁“, der der Merkmalswert des ersten Takts ist, vom Merkmalswert jedes Teildatensatzes, um den relativen Merkmalswert zu berechnen. Darüber hinaus ist diese Berechnung ein Beispiel und die Datenverarbeitungsvorrichtung 100 kann eine Addition, eine Multiplikation oder eine Division an einem Merkmalswert durchführen, um einen relativen Merkmalswert zu berechnen. Darüber hinaus kann die Datenverarbeitungsvorrichtung 100 die Teildaten eines verschiedenen Takts statt „z₁‟von jedem Teildatensatz subtrahieren.
Die Datenverarbeitungsvorrichtung 100 berechnet eine Folge relativer Merkmalswerte, die die Folge von Merkmalswerten ist, die die Struktur des Lieds 30 angeben, auf der Grundlage der berechneten relativen Merkmalswerte (Schritt S6). Die Folge relativer Merkmalswerte ist z. B. die Folge derart sequenziell angeordneter relativer Merkmalswerte, dass sie der Struktur des Lieds 30 entsprechen. Darüber hinaus wird im Beispiel von 1 der relative Merkmalswert, der „z_n+i-z₁“ entspricht, durch „r_n“ angegeben. Das heißt, im Beispiel von 1 wird die Folge relativer Merkmalswerte, die dem Lied 30 entspricht, als „(r1, r2, r3, r4, r5)“ repräsentiert.
Wie oben berechnet während des Prozesses bis zu Schritt S6 die Datenverarbeitungsvorrichtung 100 die Folge relativer Merkmalswerte, die die Struktur des Lieds 30 angibt. Dann erfasst die Datenverarbeitungsvorrichtung 100 wahlweise Informationen, die das Motiv des neuen Lieds (des zweiten Inhalts), das erzeugt werden soll, sind.
Zum Beispiel erfasst die Datenverarbeitungsvorrichtung 100 die Daten, die in einem ersten Takt eines vorgegebenen Lieds 35 enthalten sind, als die Informationen, die das Motiv des neuen Lieds, das erzeugt werden soll, sind (Schritt S7). Darüber hinaus muss die Datenverarbeitungsvorrichtung 100 als die Informationen, die das Motiv des neuen Lieds, das erzeugt werden soll, sind, nicht immer die Daten erfassen, die in einem Takt enthalten sind, sondern kann z. B. die Daten im gesamten optionalen Lied erfassen.
Im Beispiel von 1 werden die erfassten optionalen Daten (d. h. die Daten, die im ersten Takt des Lieds 35 enthalten sind) als „x_a“ bezeichnet.
Anschließend gibt die Datenverarbeitungsvorrichtung 100 „x_a“ in den Codierer 50 ein (Schritt S8). Somit erfasst die Datenverarbeitungsvorrichtung 100 den Merkmalswert, der „x_a“ entspricht. Im Beispiel von 1 wird der Merkmalswert, der „x_a“ entspricht, als „z_a“ bezeichnet.
Dann erzeugt die Datenverarbeitungsvorrichtung 100 die Merkmalswertfolge, die dem neu erzeugten zweiten Inhalt entspricht, auf der Grundlage des erfassten Merkmalswerts „z_a“ und des relativen Merkmalswerts, der die Struktur des Lieds 30 angibt (Schritt S9). Zum Beispiel erzeugt die Datenverarbeitungsvorrichtung 100 die Merkmalswertfolge, in der „z_a“ am Anfang ist und „z_a“ an jeden der relativen Merkmalswerte des Lieds 30 angefügt ist. Speziell erzeugt die Datenverarbeitungsvorrichtung 100 die Merkmalswertfolge, die die Daten wie z. B. „(z_a, z_a+r1, z_a+r2, z_a+r3, z_a+r4, z_a+r5)“ besitzt. Das heißt, die Datenverarbeitungsvorrichtung 100 erzeugt die Merkmalswertfolge, in der „z_a“ ferner an das Merkmal der Struktur des Lieds 30 angefügt ist.
Die Datenverarbeitungsvorrichtung 100 gibt die Merkmalswertfolge, die in Schritt S9 erzeugt wurde, in den Decodierer 60 ein (Schritt S10). Der Decodierer 60 ist ein Decodierer, der trainiert ist, Inhalt auf der Grundlage des Merkmalswerts, der durch den Codierer 50 extrahiert wurde, zu rekonstruieren. Im Beispiel von 1, rekonstruiert der Decodierer 60 ein Lied (präzise die digitalen Daten zum Wiedergeben eines Schalls) auf der Grundlage des Merkmalswerts, der durch den Codierer 50 extrahiert wurde.
Die Datenverarbeitungsvorrichtung 100 erfasst die Schalldaten in jedem Takt, der der Merkmalswertfolge entspricht, aus der Ausgabe des Decodierers 60. Die Datenverarbeitungsvorrichtung 100 ordnet die erfassten Daten in der Reihenfolge der Folge an, um ein Lied 40 zu erzeugen (Schritt S11). Das Lied 40 ist ein Lied, das den ersten Takt des Lieds 35 als ein Motiv verwendet, und erhält auch das Merkmal der Struktur des Lieds 30.
Somit verwendet die Datenverarbeitungsvorrichtung 100 gemäß der vorliegenden Offenbarung den Codierer 50, um den Merkmalswert jedes Teildatensatzes, der den ersten Inhalt (das Lied 30 im Beispiel von 1) bildet, zu erfassen. Dann berechnet die Datenverarbeitungsvorrichtung 100 den relativen Merkmalswert, der der relative Merkmalswert zwischen den Teildatensätzen ist, aus dem erfassten Merkmalswert jedes Teildatensatzes, um die Folge relativer Merkmalswerte, die das Merkmal der Struktur des ersten Inhalts angibt, zu berechnen. Das heißt, die Datenverarbeitungsvorrichtung 100 erfasst die Folge, in der die Merkmalswerte der Teildaten, die den ersten Inhalt bilden, der Reihe nach angeordnet sind, anstatt den Merkmalswert des ersten Inhalts selbst zu berechnen. Somit kann die Datenverarbeitungsvorrichtung 100 die Struktur des ersten Inhalts (den Fluss, den Höhepunkt oder dergleichen des gesamten Lieds, das der Zeitrichtung entspricht, wenn der erste Inhalt ein Lied ist) als ein Merkmal extrahieren.
Darüber hinaus erzeugt die Datenverarbeitungsvorrichtung 100 gemäß der vorliegenden Offenbarung den zweiten Inhalt (das Lied 40 im Beispiel von 1) auf der Grundlage der Folge relativer Merkmalswerte des ersten Inhalts und des Merkmalswerts („z_a‟, der der Merkmalswert des ersten Takts des Lieds 35 im Beispiel von 1 ist) optionaler Daten. Das heißt, die Datenverarbeitungsvorrichtung 100 erzeugt eine neue Merkmalswertfolge auf der Grundlage der Merkmalswertfolge, die die Struktur des ersten Inhalts angibt, und des Merkmalswerts der neuen Daten und rekonstruiert den Inhalt auf der Grundlage der neuen Merkmalswertfolge. Somit kann die Datenverarbeitungsvorrichtung 100 als den zweiten Inhalt ein neues Lied erzeugen, das die Struktur des ersten Inhalts erhält und ein neues Motiv oder einen neuen bildenden Schall annimmt. Darüber hinaus subtrahiert im Beispiel, das in 1 dargestellt ist, die Datenverarbeitungsvorrichtung 100 den Merkmalswert ,,z₁" vom Merkmalswert jedes Teildatensatzes, um einen relativen Merkmalswert zu berechnen. Allerdings ist dieses Beispiel keine Beschränkung und die Datenverarbeitungsvorrichtung 100 kann einen relativen Merkmalswert unter Verwendung eines Merkmalswertextraktors berechnen, der einen Merkmalswert wie Addition, Subtraktion, Multiplikation, Division oder Korrelation extrahiert. Darüber hinaus kann die Datenverarbeitungsvorrichtung 100 eine Graphenstruktur auf der Grundlage der Ähnlichkeit oder der Kausalität des Merkmalswerts jedes Teildatensatzes extrahieren und eine Folge relativer Merkmalswerte unter Verwendung einer maschinellen Lerntechnik oder dergleichen für Diagrammdaten berechnen.
[1-2. Konfiguration einer Datenverarbeitungsvorrichtung gemäß einer Ausführungsform]
Dann wird die Konfiguration der Datenverarbeitungsvorrichtung 100, die ein Beispiel der Datenverarbeitungsvorrichtung, die eine Datenverarbeitung gemäß einer Ausführungsform durchführt, beschrieben.
2 ist ein Diagramm, das ein Beispiel der Konfiguration einer Datenverarbeitungsvorrichtung 100 gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt.
Wie in 2 dargestellt ist, enthält die Datenverarbeitungsvorrichtung 100 eine Kommunikationseinheit 110, eine Speichereinheit 120 und eine Steuereinheit 130. Darüber hinaus kann die Datenverarbeitungsvorrichtung 100 eine Eingabeeinheit (z. B. eine Tastatur oder eine Maus), die verschiedene Operationen von einem Administrator oder dergleichen, der die Datenverarbeitungsvorrichtung 100 managt, empfängt und eine Anzeigeeinheit (z. B. eine Flüssigkristallanzeigevorrichtung), die verschiedene Arten von Informationen anzeigt, enthalten.
Die Kommunikationseinheit 110 wird z. B. unter Verwendung einer NIC (Netzschnittstellenkarte) implementiert. Die Kommunikationseinheit 110 ist mit einem Netz N (wie z. B. dem Internet) mittels drahtgebundener oder drahtloser Kommunikationen verbunden, um Daten zu/von weiteren Vorrichtungen oder dergleichen mittels des Netzes N zu senden/zu empfangen.
Die Speichereinheit 120 wird z. B. unter Verwendung einer Halbleiterspeichereinrichtung wie z. B. ein RAM (Schreib-/Lese-Speicher) oder ein Flash-Speicher (Flash-Speicher) oder einer Speichereinrichtung wie z. B. eine Festplatte oder ein optischer Datenträger implementiert. Die Speichereinheit 120 enthält eine Modellspeichereinheit 121 und eine Lieddatenspeichereinheit 122.
Die Modellspeichereinheit 121 speichert ein trainiertes Modell, das im Voraus trainiert worden ist. Speziell enthält die Modellspeichereinheit 121 den Codierer 50, der einen Merkmalswert des Inhalts extrahiert, und den Decodierer 60, der den Inhalt rekonstruiert. Darüber hinaus kann die Modellspeichereinheit 121 Trainingsdaten wie z. B. den Inhalt, der zum Training verwendet wird, speichern.
Die Lieddatenspeichereinheit 122 speichert Daten über den Inhalt (Lied), der in das Modell eingegeben wird. 3 stellt ein Beispiel der Lieddatenspeichereinheit 122 gemäß einer Ausführungsform der vorliegenden Offenbarung dar. 3 ist ein Diagramm, das ein Beispiel einer Lieddatenspeichereinheit 122 gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt. Im Beispiel, das in 3 dargestellt ist, besitzt die Lieddatenspeichereinheit 122 Elemente wie z. B. „Liedkennung“, „Teildatenkennung“, „Tonhöheninformationen“, „Schalllängen-/Pausen-Informationen“, „Codeinformationen“, und „Rhythmusinformationen“.
Die „Liedkennung“ sind die Identifizierungsinformationen zum Identifizieren eines Lieds. Die „Teildatenkennung“ sind die Identifizierungsinformationen zum Identifizieren von Teildaten. Die Teildaten entsprechen z. B. einem oder mehreren Takten, die ein Lied bilden.
Die „Tonhöheninformationen“ geben die Information über die Tonhöhe (Tonleiter) des Schalls, der in Teildaten enthalten ist, an. Die „Schalllängen-/Pausen-Informationen“ geben die Länge (den Wiedergabezeitraum oder die Anzahl von Schlägen, die wiedergegeben werden sollen) eines Schalls, der in Teildaten enthalten ist, und die Länge und den Zeitpunkt einer Pause an. Die „Codeinformationen“ geben den Typ von Code, der in den Teildaten enthalten ist, den bildenden Schall eines Codes, das Schalten eines Codes in einem Takt und dergleichen an. Die „Rhythmusinformationen“ geben einen Schlag oder ein Tempo in einem Takt, die Positionen eines starken Schlags und eines schwachen Schlags und dergleichen an.
Obwohl 3 die konzeptionelle Beschreibung aufweist, in der das Element wie z. B. die Tonhöheninformationen „C01“ ist, sind in jedem Element tatsächlich die bestimmten Daten gespeichert, die den Schall angeben, wie oben beschrieben wird. Obwohl 3 das Beispiel darstellt, in dem „Tonhöheninformationen“, „Schalllängen-/Pausen-Informationen“ und dergleichen zum Zwecke der Beschreibung als verschiedene Elemente gespeichert sind, können diese Informationssätze zusammen in einem Element oder dergleichen als die Informationen, die eine Note angeben, die im Takt enthalten ist, gespeichert werden. Das heißt, das Datenformat, das das Lied repräsentiert, ist nicht auf das beschränkt, das in 3 dargestellt ist, und kann ein beliebiges Format sein, das im Modell manipuliert werden kann.
Zum Beispiel gibt das Beispiel, das in 3 dargestellt ist, an, dass das Lied, das mit der Liedkennung „A01“ identifiziert ist, die Teildaten enthält, die mit den Teildatenkennungen „B01“ und „B02“ identifiziert sind. Darüber hinaus wird angegeben, dass die Teildaten mit der Teildatenkennung „B01“ die Schalldaten enthalten, die mit den Tonhöheninformationen „C01“, den Schalllängen-/Pausen-Informationen „D01“, den Codeinformationen „E01“ und den Rhythmusinformationen „F01“ repräsentiert werden.
Die Beschreibung wird unter erneuter Bezugnahme auf 2 fortgesetzt. Die Steuereinheit 130 wird implementiert, wenn z. B. eine CPU (Zentraleinheit) oder eine MPU (Mikroverarbeitungseinheit) einen RAM (Schreib-/Lese-Speicher) oder dergleichen als einen Arbeitsbereich verwendet und ein Programm (z. B. ein Datenverarbeitungsprogramm gemäß der vorliegenden Offenbarung), das in der Datenverarbeitungsvorrichtung 100 gespeichert ist, ausführt. Außerdem ist die Steuereinheit 130 ein Controller (Controller) und kann unter Verwendung einer integrierten Schaltung wie z. B. eine ASIC (anwendungsspezifische integrierte Schaltung) oder eine FPGA (feldprogrammierbare Gate-Anordnung) implementiert werden.
Wie in 2 dargestellt ist, enthält die Steuereinheit 130 eine Trainingseinheit 131, eine Erfassungseinheit 132, eine Berechnungseinheit 133 und eine Erzeugungseinheit 134, um die Funktionen und den Betrieb für die Datenverarbeitung, die unten beschrieben wird, zu implementieren oder durchzuführen. Darüber hinaus ist die interne Konfiguration der Steuereinheit 130 nicht auf die Konfiguration, die in 2 dargestellt ist, beschränkt und kann eine verschiedene Konfiguration sein, solange die Konfiguration die Datenverarbeitung, die später beschrieben wird, ermöglicht.
Die Trainingseinheit 131 verwendet Inhalt als Trainingsdaten zum Durchführen eines vorgegebenen Trainingsprozesses, um a trainiertes Modell zu erzeugen.
Um z. B. die Schalldaten in einem Lied oder dergleichen zu lernen, gibt die Trainingseinheit 131 die Schalldaten in den Codierer 50 ein, um den Merkmalswert der Schalldaten zu extrahieren. Anschließend gibt die Trainingseinheit 131 den Merkmalswert der Schalldaten in den Decodierer 60 ein, um die Schalldaten, die in den Codierer 50 eingegeben wurden, zu rekonstruieren. Dann passt die Trainingseinheit 131 die Parameter des Codierers 50 und des Decodierers 60 an, um die Differenz zwischen den aufeinanderfolgenden Sätzen von Schalldaten zu verringern. Die Trainingseinheit 131 wiederholt diesen Prozess, um ein trainiertes Modell mit dem Codierer 50 und dem Decodierer 60, die optimiert worden sind, zu erzeugen. Wie oben beschrieben wird, kann die Trainingseinheit 131 ein Modell unter Verwendung verschiedener bekannter Techniken wie z. B. VAE oder GAN erzeugen.
Die Erfassungseinheit 132 erfasst verschiedene Typen von Informationen. Zum Beispiel erfasst die Erfassungseinheit 132 den ersten Inhalt, der in das Modell, das durch die Trainingseinheit 131 trainiert wird, eingegeben werden soll.
Ferner teilt die Erfassungseinheit 132 den erfassten ersten Inhalt, um die Teildaten, die den ersten Inhalt bilden, zu erfassen. Zum Beispiel dann, wenn der erste Inhalt ein Lied ist, detektiert die Erfassungseinheit 132 die Pause eines Takts des Lieds unter Verwendung der oben beschriebenen Technik und setzt den detektierten Takt als Teildaten.
Alternativ kann die Erfassungseinheit 132 eine Pause, die größer als die Länge eines vorgegebenen Schwellenwerts ist, im ersten Inhalt detektieren und das Lied auf der Grundlage der detektierten Pause in Teildaten teilen. In diesem Fall kann die Länge des vorgegebenen Schwellenwerts eine Zeitdauer, der Prozentsatz der Pause, der im Takt belegt ist, oder dergleichen sein.
Darüber hinaus verwendet die Erfassungseinheit 132 den Codierer 50, der durch die Trainingseinheit 131 trainiert wurde, um den Merkmalswert jedes Teildatensatzes, der den ersten Inhalt bildet, zu erfassen.
Speziell gibt die Erfassungseinheit 132 die Symbolkette, die die Tonhöhe, die Schalllänge und die Pause angibt, in den Codierer 50 als die Daten ein, die den Schall angeben, der in den Teildaten enthalten ist, um den Merkmalswert zu erfassen, der den Teildaten entspricht. Der Merkmalswert wird z. B. als ein Vektor repräsentiert, der eine niedrigere Dimensionsanzahl im Vergleich zu dem Vektor, der die ursprünglichen Teildaten repräsentiert, besitzt.
Die Berechnungseinheit 133 berechnet einen relativen Merkmalswert, der ein relativer Merkmalswert zwischen den Teildatensätzen ist, aus dem Merkmalswert jedes Teildatensatzes, der durch die Erfassungseinheit 132 erfasst wird, um eine Folge relativer Merkmalswerte zu berechnen, die das Merkmal der Struktur des ersten Inhalts angibt.
Zum Beispiel führt die Berechnungseinheit 133 eine Addition, eine Subtraktion, eine Multiplikation oder eine Division am Merkmalswert bestimmter Teildaten des ersten Inhalts und am Merkmalswert jedes Teildatensatzes außer den bestimmten Teildaten zum Berechnen eines relativen Merkmalswerts aus, um eine Folge relativer Merkmalswerte zu berechnen. Die bestimmten Teildaten des ersten Inhalts geben bestimmte Teildaten in den Teildaten, die dem ersten Inhalt bilden, an und entsprechen im Beispiel von 1 dem Merkmalswert ,,z₁" des ersten Takts des Lieds 30. Somit führt die Berechnungseinheit 133 eine Operation wie z. B. eine Addition, eine Subtraktion, eine Multiplikation oder eine Division an mehreren Teildatensätzen mit bestimmten Teildaten durch, um einen relativen Merkmalswert, der eine Beziehung besitzt, zu berechnen.
Darüber hinaus stellt 1 das Beispiel dar, in dem der Merkmalswert „z₁“ des ersten Takts des Lieds 30 vom Merkmalswert jedes Teildatensatzes des Lieds 30 abgezogen wird; allerdings ist der Betrieb nicht auf dieses Beispiel beschränkt. Zum Beispiel kann die Berechnungseinheit 133 einen relativen Merkmalswert zwischen dem Merkmalswert bestimmter Teildaten im ersten Inhalt und dem Merkmalswert jedes Teildatensatzes, d. h. außer den bestimmten Teildaten, berechnen und weist einen Kausalzusammenhang mit den bestimmten Teildaten auf, um eine Folge relativer Merkmalswerte zu berechnen.
Hier beziehen sich die Teildaten, die einen Kausalzusammenhang mit bestimmten Teildaten aufweisen, auf die Teildaten, die irgendeine Art von Übereinstimmungsverhältnis mit den bestimmten Teildaten aufweisen. Zum Beispiel kann dann, wenn der Inhalt ein Lied ist, ein Takt vorliegen, der einem bestimmten Takt (was z. B. als ein Anruf-/Antwort-Verhältnis bezeichnet wird) im Lied entspricht. In diesem Fall kann, wie oben beschrieben wird, die Berechnungseinheit 133 bevorzugt die Additionsoperation (oder die Subtraktionsoperation) an den Merkmalswerten der Takte, die irgendeine Art Kausalzusammenhang aufweisen, durchführen, um die Struktur des Lieds hervorzuheben oder zurückzunehmen. Darüber hinaus kann der Kausalzusammenhang zwischen den Teildatensätzen des Inhalts unter Verwendung einer Technik erhalten werden, in der ein Lied unter Verwendung einer bekannten Technik maschinellen Lernens wie z. B. kausale Schlussfolgerung analysiert wird, und die Beziehung zwischen einem bestimmten Takt und einem Faktortakt wird quantifiziert.
Darüber hinaus kann die Berechnungseinheit 133 einen relativen Merkmalswert unter Verwendung verschiedener bekannter Techniken wie z. B. Erzeugen als ein Graph der Teildaten im Inhalt auf der Grundlage einer vorgegebenen Beziehung und Addieren oder Subtrahieren der Teildatensätze, die eine enge Beziehung im Graph besitzen, berechnen.
Wie oben beschrieben wird, berechnet die Berechnungseinheit 133 den relativen Merkmalswert, der der relative Merkmalswert zwischen den Teildatensätzen ist, unter Verwendung verschiedener Techniken und ordnet die berechneten relativen Merkmalswerte sequenziell an, um die Folge relativer Merkmalswerte, die das Merkmal der Struktur des ersten Inhalts angibt, zu berechnen. Die Berechnungseinheit 133 sendet den berechneten relativen Merkmalswert zur Erzeugungseinheit 134.
Die Erzeugungseinheit 134 erzeugt den zweiten Inhalt auf der Grundlage der Folge relativer Merkmalswerte des ersten Inhalts und des Merkmalswerts optionaler Daten.
Zum Beispiel berechnet die Erzeugungseinheit 134 eine neue Merkmalswertfolge auf der Grundlage der Folge relativer Merkmalswerte des ersten Inhalts, die durch die Berechnungseinheit 133 berechnet wurde, und des Merkmalswerts optionaler Daten. Dann gibt die Erzeugungseinheit 134 jeden Merkmalswert, der in der neuen Merkmalswertfolge enthalten ist, in den Decodierer 60 ein und rekonstruiert die Teildaten, die jedem Merkmalswert entsprechen. Ferner kombiniert die Erzeugungseinheit 134 die rekonstruierten Teildaten in der Reihenfolge der Folge, um den zweiten Inhalt, der neuer Inhalt ist, zu erzeugen.
Wenn die Folge relativer Merkmalswerte des ersten Inhalts, der ein Lied ist, erfasst worden ist, kann die Erzeugungseinheit 134 ein optionales neues Lied als den zweiten Inhalt erzeugen. In diesem Fall gibt die Erfassungseinheit 132 die Symbolkette, die die Tonhöhe, die Schalllänge und die Pause angibt, als die Daten, die den Schall angeben, der in den Teildaten enthalten ist, und die optionalen Daten in den Codierer 50 ein, um den Merkmalswert, der den Teildaten und den optionalen Daten entspricht, zu erfassen. Dann berechnet die Berechnungseinheit 133 auf der Grundlage des Merkmalswerts, der durch die Erfassungseinheit 132 erfasst wird, die Folge relativer Merkmalswerte, die jedem Teildatensatz entspricht. Die Erzeugungseinheit 134 erzeugt eine neue Merkmalswertfolge auf der Grundlage der Folge relativer Merkmalswerte, die durch die Berechnungseinheit 133 berechnet wurde, und des Merkmalswerts, der den optionalen Daten entspricht (z. B. die Schalldaten, die das Motiv eines neuen Inhalts sind), und erzeugt den zweiten Inhalt, der ein Lied ist, aus der erzeugten neuen Merkmalswertfolge.
[1-3. Schritte der Datenverarbeitung gemäß einer Ausführungsform]
Dann werden die Schritte der Datenverarbeitung gemäß einer Ausführungsform unter Bezugnahme auf 4 und 5 beschrieben. Zunächst wird der Fluss eines Trainingsprozesses gemäß einer Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 4 beschrieben. 4 ist ein Ablaufplan (1), der die Schritte der Datenverarbeitung gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt.
Wie in 4 dargestellt ist, bestimmt die Datenverarbeitungsvorrichtung 100, ob die Trainingsdaten (Inhalt) erfasst worden sind (Schritt S101). Wenn keine Trainingsdaten erfasst worden sind (Schritt S101: Nein), geht die Datenverarbeitungsvorrichtung 100 in den Bereitschaftszustand, bis Trainingsdaten erfasst werden.
Umgekehrt erzeugt die Datenverarbeitungsvorrichtung 100 dann, wenn die Trainingsdaten erfasst worden sind (Schritt S101; Ja), ein Modell unter Verwendung der Trainingsdaten (Schritt S102). Dann speichert die Datenverarbeitungsvorrichtung 100 das trainierte Modell (den Codierer und den Decodierer) in der Speichereinheit 120 (Schritt S103).
Dann wird der Fluss eines Erzeugungsprozesses gemäß einer Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 5 beschrieben. 5 ist ein Ablaufplan (2), der die Schritte der Datenverarbeitung gemäß einer Ausführungsform der vorliegenden Offenbarung darstellt.
Wie in 5 dargestellt ist, bestimmt die Datenverarbeitungsvorrichtung 100, ob der erste Inhalt erfasst worden ist (Schritt S201). Wenn der erste Inhalt nicht erfasst worden ist (Schritt S201; Nein), geht die Datenverarbeitungsvorrichtung 100 in den Bereitschaftszustand, bis der erste Inhalt erfasst wird.
Umgekehrt teilt die die Datenverarbeitungsvorrichtung 100 dann, wenn der erste Inhalt erfasst worden ist (Schritt S201; Ja), den ersten Inhalt in Teildaten (Schritt S202). Zum Beispiel teilt die Datenverarbeitungsvorrichtung 100 dann, wenn der erste Inhalt ein Lied ist, das Lied in Teildaten in jedem Takt.
Anschließend gibt die Datenverarbeitungsvorrichtung 100 jeden Teildatensatz in den Codierer 50 ein, um den Merkmalswert jedes Teildatensatzes zu berechnen (Schritt S203). Ferner, führt die Datenverarbeitungsvorrichtung 100 eine vorgegebene Operation an den Merkmalswerten der Teildatensätze durch, um einen relativen Merkmalswert zu berechnen (Schritt S204) .
Auf der Grundlage des relativen Merkmalswerts berechnet die Datenverarbeitungsvorrichtung 100 die Folge relativer Merkmalswerte, die das Merkmal der Struktur des ersten Inhalts angibt (Schritt S205).
Dann bestimmt die Datenverarbeitungsvorrichtung 100, ob optionale Daten (z. B. ein Takt eines bestimmten Lieds), die das Motiv sind, oder dergleichen des zweiten zu erzeugenden Inhalts erfasst worden sind (Schritt S206). Wenn keine optionalen Daten erfasst worden sind (Schritt S206; Nein), geht die Datenverarbeitungsvorrichtung 100 in den Bereitschaftszustand, bis optionale Daten erfasst worden sind.
Umgekehrt gibt die Datenverarbeitungsvorrichtung 100 dann, wenn optionale Daten erfasst worden sind (Schritt S206; Ja), die optionalen Daten in den Codierer 50 ein, um den Merkmalswert der optionalen Daten zu berechnen (Schritt S207) .
Anschließend berechnet die Datenverarbeitungsvorrichtung 100 eine neue Merkmalswertfolge, die die Quelle des zweiten Inhalts ist, auf der Grundlage der Folge relativer Merkmalswerte des ersten Inhalts und des Merkmalswerts der optionalen Daten (Schritt S208).
Dann gibt die Datenverarbeitungsvorrichtung 100 die neue Merkmalswertfolge in den Decodierer 60 ein, um den zweiten Inhalt aus der neuen Merkmalswertfolge zu erzeugen (Schritt S209).
(2. Weitere Ausführungsformen)
Die Prozesse gemäß jeder der oben beschriebenen Ausführungsformen können in mehreren verschiedenen Ausführungsformen außer den oben beschriebenen Ausführungsformen implementiert werden.
Gemäß der oben beschriebenen Ausführungsform enthalten die Beispiele des Inhalts ein Lied (Musik). Allerdings kann die Datenverarbeitungsvorrichtung 100 die Datenverarbeitung gemäß der vorliegenden Offenbarung unter Verwendung von Textdaten, eines Bewegtbilds oder dergleichen als den Inhalt durchführen.
Zum Beispiel, erfasst die Datenverarbeitungsvorrichtung 100 den Merkmalswert jedes Teildatensatzes, der den ersten Inhalt bildet, der aus Textdaten besteht. Dann erzeugt die Datenverarbeitungsvorrichtung 100 den zweiten Inhalt, der aus Textdaten besteht, auf der Grundlage der Folge relativer Merkmalswerte des ersten Inhalts, die auf der Grundlage des erfassten Merkmalswerts jedes Teildatensatzes erhalten wurde, und des Merkmalswerts optionaler Daten, die aus Textdaten bestehen. In diesem Fall wird angenommen, dass die Datenverarbeitungsvorrichtung 100 das trainierte Modell zum Ausgeben des Merkmalswerts von Textdaten erzeugt.
In diesem Fall enthalten Beispiele der Textdaten ein Gedicht oder ein Gedicht aus einunddreißig Silben. Zum Beispiel erfasst die Datenverarbeitungsvorrichtung 100 das Gedicht, das mehrere Sätze enthält (z. B. ein Text, der durch ein Zeilenvorschubsymbol unterteilt ist). Dann detektiert die Datenverarbeitungsvorrichtung 100 ein Zeilenvorschubsymbol, das im Gedicht enthalten ist, um das Gedicht in Teildaten zu teilen (ein Satz jeder Zeile). Anschließend berechnet die Datenverarbeitungsvorrichtung 100 den relativen Merkmalswert der Teildaten, um die Folge relativer Merkmalswerte, die dem Gedicht entspricht, zu erhalten.
Wenn neue optionale Daten (z. B. die gewünschte Wortverbindung, der gewünschte Satz oder dergleichen, die in das Gedicht durch den Anwender aufgenommen werden sollen) erfasst werden, berechnet die Datenverarbeitungsvorrichtung 100 den Merkmalswert der optionalen Daten und berechnet eine neue Merkmalswertfolge auf der Grundlage des berechneten Merkmalswerts und der Folge relativer Merkmalswerte, die dem Gedicht entspricht. Dann erzeugt die Datenverarbeitungsvorrichtung 100 ein neues Gedicht als den zweiten Inhalt aus der neuen Merkmalswertfolge.
Dies ermöglicht der Datenverarbeitungsvorrichtung 100, ein neues Gedicht zu erzeugen, das eine Struktur besitzt (z. B. die Anzahl von Zeichen bei der Pause (Rhythmus), ein Phonem oder der Ausdruck einer Wortverbindung, die im nächsten Satz erscheint), die der des existierenden Gedichts ähnlich ist.
Darüber hinaus kann die Datenverarbeitungsvorrichtung 100 neuen Bewegtbildinhalt auf der Grundlage von Bewegtbildinhalt statt von Textdaten zu erzeugen. In diesem Fall wird angenommen, dass die Datenverarbeitungsvorrichtung 100 das trainierte Modell erzeugt, das den Merkmalswert des Bilds, das den Bewegtbildinhalt bildet, ausgibt.
Zum Beispiel, erfasst die Datenverarbeitungsvorrichtung 100 den Merkmalswert jedes Teildatensatzes, der den ersten Inhalt, der Bewegtbildinhalt ist, bildet. In diesem Fall sind die Teildaten z. B. das Bild, das jedem Rahmen, der den Bewegtbildinhalt bildet, entspricht. Darüber hinaus können die Teildaten z. B. die Bilddaten, die durch Sammeln und Mitteln einiger Rahmen erhalten wurden, sowie ein einzelnes Standbild sein. Dann erzeugt die Datenverarbeitungsvorrichtung 100 den zweiten Inhalt, der Bewegtbildinhalt ist, auf der Grundlage der Folge relativer Merkmalswerte des ersten Inhalts, die auf der Grundlage des erfassten Merkmalswerts jedes Teildatensatzes erhalten wurde, und des Merkmalswerts optionaler Daten, die das Bewegtbild oder der Bildinhalt sind.
Dies ermöglicht der Datenverarbeitungsvorrichtung 100, neuen Bewegtbildinhalt zu erzeugen, der eine Struktur besitzt, die der von existierendem Bewegtbildinhalt ähnlich ist. Zum Beispiel erzeugt die Datenverarbeitungsvorrichtung 100 auf der Grundlage des Bewegtbildinhalts, der eine Reihe von Bewegungen einer blühenden Blume erfasst, des Bewegtbildinhalts, der das Bewegtbild einer gehenden Person erfasst oder dergleichen neuen Bewegtbildinhalt eines verschiedenen Objekts, das eine ähnliche Aktion durchführt. Somit kann die Datenverarbeitungsvorrichtung 100 durch die Datenverarbeitung gemäß der vorliegenden Offenbarung automatisch verschiedene Typen neuen Inhalts, die eine ähnliche Inhaltsstruktur als Ganzes aufweisen, sowie Lieder erzeugen.
Ferner kann die Datenverarbeitungsvorrichtung 100 die Datenverarbeitung gemäß der vorliegenden Offenbarung anwenden, um den Prozess zum Detektieren z. B. einer Substanz, die einen ähnlichen Geschmack bewirkt, auf der Grundlage der Geschmacksinformationen eines Menschen durchzuführen. Zum Beispiel wird hinsichtlich des menschlichen Geschmacks angenommen, dass ein Mensch dann, wenn er Elemente der Reihe nach als ein erstes Element, ein zweites Element und dann ein drittes Element wahrnimmt, eine Tendenz aufweist, einen bestimmten Geschmack zu empfinden (z. B. süßer Geschmack). In diesem Fall kann die Datenverarbeitungsvorrichtung 100 einen relativen Merkmalswert der Substanz, die die Struktur besitzt, die bewirkt, dass ein Mensch Elemente der Reihe nach als ein erstes Element, ein zweites Element und dann ein drittes Element wahrnimmt, berechnen, um eine neue Substanz zu erzeugen, die eine ähnliche Struktur besitzt.
Ferner wird im Beispiel, das gemäß der oben beschriebenen Ausführungsform beschrieben wird, das Lied 30 in Takte teilt, um eine Merkmalswertfolge zu berechnen; allerdings kann die Datenverarbeitungsvorrichtung 100 z. B. mehrere Lieder als den ersten Inhalt betrachten und jedes der Lieder als einen Teildatensatz betrachten, um die Merkmalswertfolge, die die Lieder angibt, zu berechnen. In diesem Fall kann die Datenverarbeitungsvorrichtung 100 das Merkmal wie z. B. die Struktur der Folge der Lieder ausdrücken. Speziell drückt die Datenverarbeitungsvorrichtung 100 als die Reihenfolge der Folge der Lieder das Merkmal der Struktur derart aus, dass ein positives Lied (z. B. ein temporeiches Lied) zuerst kommt und ein relativ negatives Lied danach kommt. Wie in der oben beschriebenen Ausführungsform beschrieben wird, kann die Datenverarbeitungsvorrichtung 100 das Merkmal der Struktur zu verschiedenem Inhalt verschieben. Somit kann die Datenverarbeitungsvorrichtung 100 z. B. dann, wenn weitere Lieder neu angeordnet werden, eine Liste erzeugen, die eine Struktur besitzt, die der des ersten Inhalts ähnlich ist (d. h. eine Wiedergabeliste, in der die Reihenfolge von Liedern automatisch neu angeordnet wird).
Darüber hinaus können unter den Prozessen, die in jeder der oben beschriebenen Ausführungsformen beschrieben werden, alle oder einige der Prozesse, die automatisch durchgeführt werden, wie oben beschrieben wird, manuell durchgeführt werden oder alle oder einige der Prozesse, die manuell durchgeführt werden, wie oben beschrieben wird, können unter Verwendung eines bekannten Verfahrens automatisch durchgeführt werden. Darüber hinaus können die Prozessschritte, die bestimmten Namen und die Informationen, die verschiedene Typen von Daten und Parametern enthalten, wie sie in der Beschreibung oben und den Zeichnungen beschrieben werden, wahlweise geändert werden, sofern es nicht anders angegeben ist. Zum Beispiel sind verschiedene Typen von Informationen, die in jeder Figur dargestellt sind, nicht auf die dargestellten Informationen beschränkt.
Darüber hinaus sind die Komponenten jeder dargestellten Vorrichtung funktionstechnisch konzeptionell und müssen nicht notwendigerweise physisch konfiguriert werden, wie in den Zeichnungen dargestellt ist. Speziell sind bestimmte Formen der Trennung und der Kombination von Vorrichtungen nicht auf die, die in den Zeichnungen dargestellt sind, beschränkt und eine Konfiguration kann derart sein, dass alle oder einige davon in einer beliebigen Einheit abhängig von verschiedenen Typen von Last oder Verwendung funktionstechnisch oder physisch getrennt oder kombiniert sind.
Darüber hinaus können die oben beschriebenen Ausführungsformen und Änderungen kombiniert werden, wie jeweils anwendbar ist, solange die Konsistenz in den Verarbeitungsdetails sichergestellt ist.
Außerdem besteht, da der Vorteil, der in dieser Beschreibung beschrieben wird, lediglich ein Beispiel ist, keine Beschränkung und weitere Vorteile können erzeugt werden.
(3. Hardware-Konfiguration)
Eine Datenvorrichtung wie z. B. die Datenverarbeitungsvorrichtung 100 gemäß der oben beschriebenen Ausführungsformen wird unter Verwendung eines Computers 1000, der die Konfiguration besitzt, die z. B. in 6 dargestellt ist, implementiert. Die Datenverarbeitungsvorrichtung 100 gemäß der Ausführungsform wird unten als ein Beispiel beschrieben. 6 ist ein Hardware-Konfigurationsdiagramm, das ein Beispiel eines Computers 1000 darstellt, der eine Funktion der Datenverarbeitungsvorrichtung 100 durchführt. Der Computer 1000 enthält eine CPU 1100, einen RAM 1200, einen ROM (schreibgeschützter Speicher) 1300, ein HDD (Festplattenlaufwerk) 1400, eine Kommunikationsschnittstelle 1500 und eine Eingabe-/Ausgabe-Schnittstelle 1600. Die Einheiten des Computers 1000 sind mittels eines Busses 1050 verbunden.
Die CPU 1100 arbeitet auf der Grundlage eines Programms, das im ROM 1300 oder im HDD 1400 gespeichert ist, um jede Einheit zu steuern. Zum Beispiel lädt die CPU 1100 ein Programm, das im ROM 1300 oder im HDD 1400 gespeichert ist, in den RAM 1200, um die Prozesse, die verschiedenen Programmen entsprechen, auszuführen.
Der ROM 1300 speichert z. B. ein Startprogramm wie z. B. ein BIOS (grundlegendes Eingabe-/Ausgabe-System), das durch die CPU 1100 zur Zeit der Inbetriebnahme des Computers 1000 ausgeführt wird, und ein Programm, das von der Hardware des Computers 1000 abhängt.
Das HDD 1400 ist ein computerlesbares Aufzeichnungsmedium, das ein Programm, das durch die CPU 1100 ausgeführt werden soll, Daten, die durch das Programm verwendet werden sollen, und dergleichen in einer nichttransitorischen Weise aufzeichnet. Speziell ist das HDD 1400 ein Aufzeichnungsmedium, das ein Datenverarbeitungsprogramm gemäß der vorliegenden Offenbarung, das ein Beispiel von Programmdaten 1450 ist, aufzeichnet.
Die Kommunikationsschnittstelle 1500 ist eine Schnittstelle, mit der der Computer 1000 mit einem externen Netz 1550 (z. B. das Internet) verbunden ist. Zum Beispiel empfängt die CPU 1100 Daten von einer verschiedenen Vorrichtung oder sendet die Daten, die durch die CPU 1100 erzeugt werden, mittels der Kommunikationsschnittstelle 1500 zu einer verschiedenen Vorrichtung.
Die Eingabe-/Ausgabe-Schnittstelle 1600 ist eine Schnittstelle zum Verbinden der Eingabe-/AusgabeVorrichtung 1650 und des Computers 1000. Zum Beispiel empfängt die CPU 1100 Daten mittels der Eingabe-/Ausgabe-Schnittstelle 1600 von einer Eingabevorrichtung wie z. B. einer Tastatur oder einer Maus. Darüber hinaus sendet die CPU 1100 Daten mittels der Eingabe-/Ausgabe-Schnittstelle 1600 zu einer Ausgabevorrichtung wie z. B. einer Anzeigevorrichtung, einem Lautsprecher oder einem Drucker. Ferner kann die Eingabe-/Ausgabe-Schnittstelle 1600 als eine Mediumschnittstelle zum Lesen eines Programms oder dergleichen, das in einem vorgegebenen Aufzeichnungsmedium (Medien) aufgezeichnet ist, arbeiten. Beispiele des Mediums enthalten ein optisches Aufzeichnungsmedium wie z. B. einen DVD (vielseitiger digitaler Datenträger) und eine PD (wiederbeschreibbare Phasenänderungsplatte), ein magnetooptisches Aufzeichnungsmedium wie z. B. eine MO (magnetooptische Platte), ein Bandmedium, ein magnetisches Aufzeichnungsmedium oder einen Halbleiterspeicher.
Zum Beispiel führt dann, wenn der Computer 1000 als die Datenverarbeitungsvorrichtung 100 gemäß der Ausführungsform arbeitet, die CPU 1100 des Computers 1000 das Datenverarbeitungsprogramm, das in den RAM 1200 geladen ist, aus, um die Funktionen der Steuereinheit 130 und dergleichen durchzuführen. Darüber hinaus speichert der HDD 1400 das Datenverarbeitungsprogramm gemäß der vorliegenden Offenbarung und Daten in der Speichereinheit 120. Außerdem kann die CPU 1100, obwohl sie die Programmdaten 1450 vom HDD 1400 liest und ausführt, gemäß einem weiteren Beispiel die Programme mittels des externen Netzes 1550 von einer verschiedenen Vorrichtung erfassen.
Ferner kann diese Technologie außerdem die unten beschriebene Konfiguration enthalten.

(1) Eine Datenverarbeitungsvorrichtung, die Folgendes umfasst:
- eine Erfassungseinheit, die einen trainierten Codierer verwendet, um einen Merkmalswert jedes Teildatensatzes, der ersten Inhalt bildet, zu erfassen;
- eine Berechnungseinheit, die einen relativen Merkmalswert, der ein relativer Merkmalswert zwischen Teildatensätzen ist, aus erfassten Merkmalswerten der Teildatensätze berechnet, um eine Folge relativer Merkmalswerte, die ein Merkmal einer Struktur des ersten Inhalts angibt, zu berechnen; und
- eine Erzeugungseinheit, die einen zweiten Inhalt auf der Grundlage der Folge relativer Merkmalswerte des ersten Inhalts und eines Merkmalswerts optionaler Daten erzeugt.
(2) Die Datenverarbeitungsvorrichtung gemäß (1), wobei die Berechnungseinheit eine Addition, eine Subtraktion, eine Multiplikation oder eine Division an einem Merkmalswert bestimmter Teildaten des ersten Inhalts und einem Merkmalswert jedes Teildatensatzes außer den bestimmten Teildaten zum Berechnen des relativen Merkmalswerts ausführt, um die Folge relativer Merkmalswerte zu berechnen.
(3) Die Datenverarbeitungsvorrichtung gemäß (1) oder (2), wobei die Berechnungseinheit einen relativen Merkmalswert zwischen einem Merkmalswert bestimmter Teildaten des ersten Inhalts und einem Merkmalswert jedes Teildatensatzes außer den bestimmten Teildaten, der einen Kausalzusammenhang mit den bestimmten Teildaten besitzt, berechnet, um die Folge relativer Merkmalswerte zu berechnen.
(4) Die Datenverarbeitungsvorrichtung gemäß einem von (1) bis (3), wobei die Erzeugungseinheit eine Merkmalswertfolge, die aus einer Folge relativer Merkmalswerte des ersten Inhalts und einem Merkmalswert optionaler Daten berechnet wurde, in einen trainierten Decodierer eingibt, um den zweiten Inhalt zu erzeugen.
(5) Die Datenverarbeitungsvorrichtung gemäß einem von (1) bis (4), wobei die Erzeugungseinheit ein optionales Lied als den zweiten Inhalt auf der Grundlage einer Folge relativer Merkmalswerte des ersten Inhalts, der ein Lied ist, erzeugt.
(6) Die Datenverarbeitungsvorrichtung gemäß (5), wobei die Erfassungseinheit als Daten, die einen Schall angeben und die in den Teildaten und in den optionalen Daten enthalten sind, eine Symbolkette, die eine Tonhöhe, eine Schalllänge und eine Pause angibt, in den trainierten Codierer eingibt, um Merkmalswerte, die den Teildaten und den optionalen Daten entsprechen, zu erfassen, und die Erzeugungseinheit die Folge relativer Merkmalswerte, die auf der Grundlage erfasster Merkmalswerte der optionalen Daten und der Teildaten erhalten wurde, in den trainierten Decodierer eingibt, um den zweiten Inhalt zu erzeugen.
(7) Die Datenverarbeitungsvorrichtung gemäß einem von (1) bis (4), wobei die Erfassungseinheit einen Merkmalswert jedes Teildatensatzes, der den ersten Inhalt bildet, der aus Textdaten besteht, erfasst, und die Erzeugungseinheit den zweiten Inhalt, der aus Textdaten besteht, auf der Grundlage einer Folge relativer Merkmalswerte des ersten Inhalts erzeugt, die auf der Grundlage des erfassten Merkmalswerts jedes Teildatensatzes und des Merkmalswerts der optionalen Daten, die aus Textdaten bestehen, erhalten wurde.
(8) Die Datenverarbeitungsvorrichtung gemäß einem von (1) bis (4), wobei die Erfassungseinheit einen Merkmalswert jedes Teildatensatzes, der den ersten Inhalt bildet, der Bewegtbildinhalt ist, erfasst und die Erzeugungseinheit den zweiten Inhalt, der Bewegtbildinhalt ist, auf der Grundlage einer Folge relativer Merkmalswerte des ersten Inhalts erzeugt, die auf der Grundlage des erfassten Merkmalswerts jedes Teildatensatzes und des Merkmalswerts der optionalen Daten, die Bewegtbild- oder Bildinhalt sind, erhalten wurde.
(9) Die Datenverarbeitungsvorrichtung gemäß einem von (1) bis (6), wobei die Erfassungseinheit eine Unterbrechung eines Takts des ersten Inhalts, der ein Lied ist, detektiert und einen Merkmalswert jedes detektierten Takts erfasst.
(10) Die Datenverarbeitungsvorrichtung gemäß einem von (1) bis (6), wobei die Erfassungseinheit eine Pause, die länger als ein vorgegebener Schwellenwert ist, im ersten Inhalt, der ein Lied ist, detektiert, das Lied auf der Grundlage der detektierten Pause in Teildaten teilt und einen Merkmalswert jedes Satzes unterteilter Teildaten erfasst.
(11) Ein Datenverarbeitungsverfahren, das einen Computer zu Folgendem veranlasst:
- Verwenden eines trainierten Codierers, um einen Merkmalswert jedes Teildatensatzes, der ersten Inhalt bildet, zu erfassen;
- Berechnen eines relativen Merkmalswerts, der ein relativer Merkmalswert zwischen Teildatensätzen ist, aus erfassten Merkmalswerten der Teildatensätze, um eine Folge relativer Merkmalswerte, die ein Merkmal einer Struktur des ersten Inhalts angibt, zu berechnen; und
- Erzeugen eines zweiten Inhalts auf der Grundlage der Folge relativer Merkmalswerte des ersten Inhalts und eines Merkmalswerts optionaler Daten.
(12) Ein Datenverarbeitungsprogramm, das einen Computer veranlasst, als Folgendes zu wirken:
- eine Erfassungseinheit, die einen trainierten Codierer verwendet, um einen Merkmalswert jedes Teildatensatzes, der ersten Inhalt bildet, zu erfassen;
- eine Berechnungseinheit, die einen relativen Merkmalswert, der ein relativer Merkmalswert zwischen Teildatensätzen ist, aus erfassten Merkmalswerten der Teildatensätze berechnet, um eine Folge relativer Merkmalswerte, die ein Merkmal einer Struktur des ersten Inhalts angibt, zu berechnen; und
- eine Erzeugungseinheit, die einen zweiten Inhalt auf der Grundlage der Folge relativer Merkmalswerte des ersten Inhalts und eines Merkmalswerts optionaler Daten erzeugt.

Bezugszeichenliste

100: DATENVERARBEITUNGSVORRICHTUNG
110: KOMMUNIKATIONSEINHEIT
120: SPEICHEREINHEIT
121: MODELLSPEICHEREINHEIT
122: LIEDDATENSPEICHEREINHEIT
130: STEUEREINHEIT
131: TRAININGSEINHEIT
132: ERFASSUNGSEINHEIT
133: BERECHNUNGSEINHEIT
134: ERZEUGUNGSEINHEIT

Claims

Datenverarbeitungsvorrichtung, die Folgendes umfasst: eine Erfassungseinheit, die einen trainierten Codierer verwendet, um einen Merkmalswert jedes Teildatensatzes, der ersten Inhalt bildet, zu erfassen; eine Berechnungseinheit, die einen relativen Merkmalswert, der ein relativer Merkmalswert zwischen Teildatensätzen ist, aus erfassten Merkmalswerten der Teildatensätze berechnet, um eine Folge relativer Merkmalswerte, die ein Merkmal einer Struktur des ersten Inhalts angibt, zu berechnen; und eine Erzeugungseinheit, die einen zweiten Inhalt auf der Grundlage der Folge relativer Merkmalswerte des ersten Inhalts und eines Merkmalswerts optionaler Daten erzeugt.
Datenverarbeitungsvorrichtung nach Anspruch 1, wobei die Berechnungseinheit eine Addition, eine Subtraktion, eine Multiplikation oder eine Division an einem Merkmalswert bestimmter Teildaten des ersten Inhalts und einem Merkmalswert jedes Teildatensatzes außer den bestimmten Teildaten zum Berechnen des relativen Merkmalswerts ausführt, um die Folge relativer Merkmalswerte zu berechnen.
Datenverarbeitungsvorrichtung nach Anspruch 1, wobei die Berechnungseinheit einen relativen Merkmalswert zwischen einem Merkmalswert bestimmter Teildaten des ersten Inhalts und einem Merkmalswert jedes Teildatensatzes außer den bestimmten Teildaten, der einen Kausalzusammenhang mit den bestimmten Teildaten besitzt, berechnet, um die Folge relativer Merkmalswerte zu berechnen.
Datenverarbeitungsvorrichtung nach Anspruch 1, wobei die Erzeugungseinheit eine Merkmalswertfolge, die aus einer Folge relativer Merkmalswerte des ersten Inhalts und einem Merkmalswert optionaler Daten berechnet wurde, in einen trainierten Decodierer eingibt, um den zweiten Inhalt zu erzeugen.
Datenverarbeitungsvorrichtung nach Anspruch 1, wobei die Erzeugungseinheit ein optionales Lied als den zweiten Inhalt auf der Grundlage einer Folge relativer Merkmalswerte des ersten Inhalts, der ein Lied ist, erzeugt.
Datenverarbeitungsvorrichtung nach Anspruch 5, wobei die Erfassungseinheit als Daten, die einen Schall angeben und die in den Teildaten und in den optionalen Daten enthalten sind, eine Symbolkette, die eine Tonhöhe, eine Schalllänge und einen Rest angibt, in den trainierten Codierer eingibt, um Merkmalswerte, die den Teildaten und den optionalen Daten entsprechen, zu erfassen, und die Erzeugungseinheit die Folge relativer Merkmalswerte, die auf der Grundlage erfasster Merkmalswerte der optionalen Daten und der Teildaten erhalten wurde, in den trainierten Decodierer eingibt, um den zweiten Inhalt zu erzeugen.
Datenverarbeitungsvorrichtung nach Anspruch 1, wobei die Erfassungseinheit einen Merkmalswert jedes Teildatensatzes, der den ersten Inhalt bildet, der aus Textdaten besteht, erfasst, und die Erzeugungseinheit den zweiten Inhalt, der aus Textdaten besteht, auf der Grundlage einer Folge relativer Merkmalswerte des ersten Inhalts erzeugt, die auf der Grundlage des erfassten Merkmalswerts jedes Teildatensatzes und des Merkmalswerts der optionalen Daten, die aus Textdaten bestehen, erhalten wurde.
Datenverarbeitungsvorrichtung nach Anspruch 1, wobei die Erfassungseinheit einen Merkmalswert jedes Teildatensatzes, der den ersten Inhalt, der Bewegtbildinhalt ist, bildet, erfasst und die Erzeugungseinheit den zweiten Inhalt, der Bewegtbildinhalt ist, auf der Grundlage einer Folge relativer Merkmalswerte des ersten Inhalts erzeugt, die auf der Grundlage des erfassten Merkmalswerts jedes Teildatensatzes und des Merkmalswerts der optionalen Daten, die Bewegtbild- oder Bildinhalt sind, erhalten wurde.
Datenverarbeitungsvorrichtung nach Anspruch 1, wobei die Erfassungseinheit eine Unterbrechung eines Takts des ersten Inhalts, der ein Lied ist, detektiert und einen Merkmalswert jedes detektierten Takts erfasst.
Datenverarbeitungsvorrichtung nach Anspruch 1, wobei die Erfassungseinheit eine Pause, die länger als ein vorgegebener Schwellenwert ist, im ersten Inhalt, der ein Lied ist, detektiert, das Lied auf der Grundlage der detektierten Pause in Teildaten teilt und einen Merkmalswert jedes Satzes unterteilter Teildaten erfasst.
Datenverarbeitungsverfahren, das einen Computer zu Folgendem veranlasst: Verwenden eines trainierten Codierers, um einen Merkmalswert jedes Teildatensatzes, der ersten Inhalt bildet, zu erfassen; Berechnen eines relativen Merkmalswerts, der ein relativer Merkmalswert zwischen Teildatensätzen ist, aus erfassten Merkmalswerten der Teildatensätze, um eine Folge relativer Merkmalswerte, die ein Merkmal einer Struktur des ersten Inhalts angibt, zu berechnen; und Erzeugen eines zweiten Inhalts auf der Grundlage der Folge relativer Merkmalswerte des ersten Inhalts und eines Merkmalswerts optionaler Daten.
Datenverarbeitungsprogramm, das einen Computer veranlasst, als Folgendes zu wirken: eine Erfassungseinheit, die einen trainierten Codierer verwendet, um einen Merkmalswert jedes Teildatensatzes, der ersten Inhalt bildet, zu erfassen; eine Berechnungseinheit, die einen relativen Merkmalswert, der ein relativer Merkmalswert zwischen Teildatensätzen ist, aus erfassten Merkmalswerten der Teildatensätze berechnet, um eine Folge relativer Merkmalswerte, die ein Merkmal einer Struktur des ersten Inhalts angibt, zu berechnen; und eine Erzeugungseinheit, die einen zweiten Inhalt auf der Grundlage der Folge relativer Merkmalswerte des ersten Inhalts und eines Merkmalswerts optionaler Daten erzeugt.