DE112020002997T5

DE112020002997T5 - Anpassen von Storylines in Filmen

Info

Publication number: DE112020002997T5
Application number: DE112020002997.2T
Authority: DE
Inventors: Beat Buesser; Adi Botea; Bei Chen; Akhiro Kishimoto
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2019-08-22
Filing date: 2020-08-14
Publication date: 2022-03-31
Also published as: US20210056407A1; US11429839B2; WO2021033104A1; JP2022546190A; GB202203703D0; CN114303159A; GB2602904B; GB2602904A

Abstract

Ein neuronales Netzwerk weist eine Eingabeschicht, eine oder mehrere verborgene Schichten und eine Ausgabeschicht auf. Die Eingabeschicht ist in eine Situationskontext-Eingabe-Unterebene, eine Hintergrundkontext-Eingabe-Unterebene (bei einigen Ausführungsformen) und eine Umgebungs-Eingabe-Unterebene eingeteilt. Die Ausgabeschicht weist eine Auswahl-/Sequenzierungs-Ausgabe-Unterebene und eine Umgebungs-Ausgabe-Unterebene auf. Jede der Schichten (darunter die Unterebenen) weist eine Mehrzahl Neuronen auf, und jedes der Neuronen weist eine Aktivierung auf. In das neuronale Netzwerk können Situationskontexte, Umgebungsinformationen und Hintergrundkontexte eingegeben werden, die ein Ausgabeergebnis erzeugen, das zum dynamischen Auswählen und Aneinanderreihen ausgewählter Storylines verwendet wird, die zum Verändern einer Story auf der Grundlage der Stimmung, der Umgebung und/oder des Hintergrunds des Publikums verwendet werden.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft künstliche Intelligenz und künstliche Realität. Genauer gesagt, die Erfindung betrifft dynamisches Verändern und/oder Anpassen eines oder mehrerer Media-Streams (z.B. Video und/oder Audio) auf der Grundlage eines Benutzer-/Publikumskontextes und/oder einer Benutzer-/Publikumsumgebung, um ein verbessertes Publikumserlebnis zu bewirken und/oder die Zielstellungen des Medienanbieters erfolgreicher/kostengünstiger zu erreichen.
HINTERGRUND DER ERFINDUNG
Die Gebiete der künstlichen Intelligenz und der Heimelektronik verschmelzen mit der Film- und Unterhaltungsindustrie, um Benutzern Video- und Audioinhalte an verschiedenen Orten und über vielfältige Wege bereitzustellen. Filme, Konzerte und Ereignisse werden nicht nur an bestimmten Orten (wie in Theatern, Konzerthallen und Stadien) und im Fernsehen, sondern auch als Medien auf Computern und iPhones wahrgenommen, wo der Inhalt auf Anforderung kontinuierlich oder unregelmäßig und bei einer Vielzahl von Zeitpunkten, Orten und Benutzersituationen wahrgenommen werden kann.
Üblicherweise ist dieses Medium jedoch nur als unveränderlicher Inhalt und mit einer festen Abfolge von Ereignissen, Bildern, Audiodarbietungen und/oder Sprachaufnahmen verfügbar. Demgemäß ist das Medium eher statisch und unveränderbar und reagiert nicht auf Änderungen in der Umgebung, in der das Medium dargeboten wird, und/oder des Kontextes des Benutzers/des Publikums, die das Medium wahrnehmen. In vielen Fällen besteht, sobald der Inhalt fertiggestellt ist, keine Möglichkeit, den Inhalt auf der Grundlage der Stimmung, des Kontextes oder der Umgebung des Benutzers/des Publikums, z.B. der (demografischen) Struktur, der Anzahl, der Gefühle und Emotionen des Benutzers/des Publikums; des Hintergrundes des Benutzers/des Publikums; und/oder der Parameter der Umgebung zu verändern, in der das Medium dargeboten wird.
Es besteht ein Bedarf, Änderungen von Medieninhalten und Sequenzierungen zu ermöglichen, die an die Stimmung, den Kontext und die Umgebung eines Benutzers/eines Publikums anpassbar sind. Deshalb besteht in der Technik ein Bedarf, das oben angeführte Problem zu lösen.
KURZDARSTELLUNG
Gemäß einem ersten Aspekt stellt die vorliegende Erfindung ein Steuersystem zum Anpassen von Media-Streams bereit, wobei das System aufweist: eine neuronales Netzwerk mit einer Eingabeschicht, einer oder mehreren verborgenen Schichten und einer Ausgabeschicht, wobei die Eingabeschicht eine Situationskontext-Eingabe-Unterebene und eine Umgebungs-Eingabe-Unterebene und die Ausgabeschicht eine Auswahl-/Sequenzierungs-Ausgabe-Unterebene und eine Umgebungs-Ausgabe-Unterebene aufweist, wobei jede der Schichten eine Mehrzahl Neuronen aufweist, wobei jedem der Neuronen eine Aktivierung zugehörig ist; ein oder mehrere Situationskontext-Module, die jeweils einen oder mehrere Kontext-Eingänge von einem oder mehreren Sensoren zum Überwachen eines Publikums und einen oder mehrere Stimmungs-Ausgänge aufweisen, die mit der Situationskontext-Eingabe-Unterebene verbunden sind; ein oder mehrere Umgebungsinformations-Module mit einem oder mehreren Umgebungssensor-Eingängen und einem Umgebungs-Ausgang, der mit der Umgebungs-Eingabe-Unterebene verbunden ist; ein oder mehrere Auswahl-Module, die mit der Auswahl-/Sequenzierungs-Ausgabe-Unterebene verbunden sind; und ein oder mehrere Sequenzierungs-Module, die mit der Auswahl-/Sequenzierungs-Ausgabe-Unterebene verbunden sind, wobei das Auswahl-Modul zum Auswählen einer oder mehrerer ausgewählter Storylines (Handlungsstränge) und das Sequenzierungs-Modul zum Einfügen der ausgewählten Storylines der Reihe nach in eine laufende Story dient.
Gemäß einem weiteren Aspekt stellt die vorliegende Erfindung ein Verfahren zum Trainieren eines neuronalen Netzwerks bereit, das die Schritte aufweist: Eingeben einer Stimmungsaktivierung in ein Stimmungs-Neuron in einer Situationskontext-Eingabe-Unterebene für eine Mehrzahl Stimmungsaktivierungs- beziehungsweise Stimmungs-Neuronen, wobei die Situationskontext-Eingabe-Unterebene Bestandteil einer Eingabeschicht des neuronalen Netzwerks ist und die Stimmungsaktivierungen ein Stimmungs-Eingabemuster bilden; Eingeben einer Umgebungsaktivierung in ein Umgebungs-Neuron in einer Umgebungs-Eingabe-Unterebene für eine Mehrzahl Umgebungsaktivierungs- beziehungsweise Umgebungs-Neuronen, wobei die Umgebungs-Eingabe-Unterebene Bestandteil einer Eingabeschicht des neuronalen Netzwerks ist und die Umgebungsaktivierungen ein Umgebungs-Eingabemuster bilden; Weiterleiten des Stimmungs-Eingabemusters und des Umgebungs-Eingabemusters durch das neuronale Netzwerk; Ermitteln, wie ein oder mehrere Gewichte und eine oder mehrere Tendenzen durch Minimieren einer auf eine Ausgangsschicht des neuronalen Netzwerks angewendete Kostenfunktion geändert werden, wobei die Ausgangsschicht eine Auswahl-/Sequenzierungs-Ausgabe-Unterebene und eine Umgebungs-Ausgabe-Unterebene jeweils mit Ausgabeaktivierungen aufweist; Fehlerrückführung zum Ändern der Gewichte und Abweichungen; und Wiederholen der beiden letzten Schritte, bis die Ausgabeaktivierungen ein gewünschtes Ergebnis erreichen, das zur Beendigung des Trainings führt.
Gemäß einem weiteren Aspekt stellt die vorliegende Erfindung ein Steuerverfahren zum Steuern eines Systems nach einem der Ansprüche 1 bis 14 bereit, wobei das Verfahren ein Überwachen eines Publikums und einer oder mehrerer Stimmungs-Ausgänge aufweist, die mit der Situationskontext-Eingabe-Unterebene verbunden sind; Auswählen einer oder mehrerer ausgewählter Storylines; Einfügen der ausgewählten Storylines der Reihe nach in eine laufende Story.
Gemäß einem weiteren Aspekt stellt die vorliegende Erfindung ein Computerprogrammprodukt zum Verwalten eines Systems bereit, wobei das Computerprogrammprodukt ein durch einen Computer lesbares Speichermedium aufweist, das durch eine Verarbeitungsschaltung lesbar ist und in dem Anweisungen zum Ausführen durch die Verarbeitungsschaltung gespeichert sind, um ein Verfahren zum Ausführen der Schritte der Erfindung durchzuführen.
Gemäß einem weiteren Aspekt stellt die vorliegende Erfindung ein Computerprogramm bereit, das auf einem durch einen Computer lesbaren Medium gespeichert und in den Arbeitsspeicher eines digitalen Computers ladbar ist und Abschnitte von Softwarecode aufweist, wenn das Programm zum Ausführen der Schritte der Erfindung auf einem Computer ausgeführt wird.
Gemäß einem weiteren Aspekt stellt die vorliegende Erfindung ein System zum Steuern von Storylines bereit, das aufweist: ein neuronales Netzwerk mit einer Eingabeschicht, einer oder mehreren verborgenen Schichten und einer Ausgabeschicht, wobei die Eingabeschicht eine Situationskontext-Eingabe-Unterebene, eine Hintergrundkontext-Eingabe-Unterebene und eine Umgebungs-Eingabe-Unterebene und die Ausgabeschicht eine Auswahl-/Sequenzierungs-Ausgabe-Unterebene und eine Umgebungs-Ausgabe-Unterebene aufweist, wobei jede der Schichten eine Mehrzahl Neuronen aufweist und jedes der Neuronen eine Aktivierung aufweist; ein oder mehrere Situationskontext-Module, die jeweils einen oder mehrere Kontext-Eingänge von einem oder mehreren Sensoren aufweisen, die ein Publikum und einen oder mehrere Stimmungs-Ausgänge überwachen, die mit der Situationskontext-Eingabe-Unterebene verbunden sind; ein oder mehrere Umgebungsinformations-Module, die einen oder mehrere Umgebungssensor-Eingänge und einen Umgebungs-Ausgang aufweisen, die mit der Umgebungs-Eingabe-Unterebene verbunden sind; ein oder mehrere Auswahl-Module, die mit der Auswahl-/Sequenzierungs-Ausgabe-Unterebene verbunden sind; und ein oder mehrere Sequenzierungs-Module, die mit der Auswahl-/Sequenzierungs-Ausgabe-Unterebene verbunden sind, wobei das Auswahl-Modul eine oder mehrere ausgewählte Storylines auswählt und das Sequenzierungs-Modul die ausgewählten Storylines der Reihe nach in eine laufende Story einfügt.
Die vorliegende Erfindung ist ein System zum Steuern von Storylines, das Verfahren zum Trainieren und Verfahren zum Betreiben des Systems aufweist.
In dem System wird ein neuronales Netzwerk verwendet. Gemäß einigen Ausführungsformen handelt es sich bei dem neuronalen Netzwerk um ein faltendes neuronales Netzwerk (convolutional neural network, CNN). Das neuronale Netzwerk hat eine Eingabeschicht, eine oder mehrere verborgene Schichten und eine Ausgabeschicht. Die Eingabeschicht ist in eine Situationskontext-Eingabe-Unterebene, eine Hintergrundkontext-Eingabe-Unterebene (bei einigen Ausführungsformen) und eine Umgebungs-Eingabe-Unterebene aufgeteilt. Die Ausgabeschicht hat eine Auswahl-/Sequenzierungs-Ausgabe-Unterebene und eine Umgebungs-Eingabe-Unterebene. Die Ausgabeschicht hat eine Auswahl-/Sequenzierungs-Ausgabe-Unterebene und eine Umgebungs-Ausgabe-Unterebene. Jede der Schichten (darunter die Unterebenen) hat eine Mehrzahl Neuronen und jedes der Neuronen weist eine Aktivierung.
Ein oder mehrere Situationskontext-Module weisen jeweils einen oder mehrere Kontexteingänge von einem oder mehreren Sensoren auf, die ein Publikum und einen oder mehrere Stimmungs-Ausgänge überwachen, die mit der Situationskontext-Eingabe-Unterebene verbunden sind.
Ein oder mehrere Umgebungsinformations-Module weisen einen oder mehrere Umgebungssensor-Eingänge zum Überwachen einer Publikumsumgebung und einen Umgebungs-Ausgang auf, der mit der Umgebungs-Eingabe-Unterebene verbunden ist.
Gemäß einigen Ausführungsformen weisen ein oder mehrere Hintergrundkontext-Module einen oder mehrere Hintergrund-Eingänge mit Eigenschaften des Publikums und einen Hintergrund-Ausgang auf, die mit der Umgebungs-Eingabe-Unterebene verbunden sind.
Ein oder mehrere Auswahl-Module sind mit der Auswahl-/Sequenzierungs-Ausgabe-Unterebene verbunden und steuern die Auswahl einer oder mehrerer ausgewählter Storylines.
Ein oder mehrere Sequenzierungs-Module sind mit der Auswahl-/Sequenzierungs-Ausgabe-Unterebene verbunden und fügen die ausgewählten Storylines der Reihe nach so ein, dass eine Story vor ihrer Darbietung verändert wird, z.B. durch das System zum Steuern von Storylines.
Figurenliste
Die vorliegende Erfindung wird nunmehr lediglich beispielhaft unter Bezugnahme auf bevorzugte Ausführungsformen beschrieben, die in den folgenden Figuren veranschaulicht sind:

1 ist ein Blockschaubild einer Architektur der vorliegenden Erfindung.
2 ist ein Schaubild eines oder mehrerer Benutzer in einer Umgebung.
3 ist eine Story mit einer oder mehreren Haupt-Storylines und einer oder mehreren alternativen Storylines mit einem Beginn, einem alternativen Beginn, Verzweigungspunkten, einem Ende und einem alternativen Ende.
4 ist eine Zeichnung der Systemarchitektur einer Ausführungsform des neuronalen Netzwerks der vorliegenden Erfindung.
5 ist ein Ablaufplan eines Trainingsprozesses, der zum Trainieren einer Ausführungsform der vorliegenden Erfindung verwendet wird.
6 ist ein Ablaufplan eines Arbeitsprozesses, der die Schritte einer Ausführungsform beim Betrieb der vorliegenden Erfindung zeigt.

DETAILLIERTE BESCHREIBUNG
Hierin sind unter dem Begriff „Publikum“ ein oder mehrere „Benutzer“ zu verstehen. Die Begriffe „Benutzer“ und „Publikum“ werden austauschbar verwendet, ohne an Allgemeingültigkeit zu verlieren. Als nicht als Einschränkung zu verstehende Beispiele gehören zum Publikumskontext die Stimmung, die Zusammensetzung (z.B. die Demografie der Benutzer - Alter, Bildungsniveau, Status, soziale und politische Ansichten), Profile (z.B. Vorlieben und Abneigungen), Gefühle, Emotionen, Ort, Anzahl, Uhrzeit, Reaktionen auf die Umgebung, Reaktionen auf die Medien und/oder Gefühlszustand der Benutzer. Gemäß einigen Ausführungsformen werden zwei Arten von Benutzer-/Publikumskontext verwendet: Hintergrundkontext und Situationskontext.
Unter Medien sind alle sensorisch wahrnehmbaren Ausgaben des Systems zu verstehen, die einem oder mehreren der Benutzer ein Gefühlserlebnis vermitteln. Als nicht als Einschränkung zu verstehende Beispiele von Medien kommen Video- und Audiodarbietungen, Sprachaufnahmen, Änderungen der Zimmer-/Raumumgebung (z.B. Luftstrom, Temperatur, Feuchtigkeit usw.), Gerüche, Beleuchtung, Spezialeffekte usw. infrage.
Die Umgebung oder die Benutzer-/Publikumsumgebung ist die Gesamtheit einiger oder aller der sensorisch wahrnehmbaren Ausgaben, die zu jedem Zeitpunkt durch das System dargeboten werden.
Die Wahrnehmung oder Publikums-/Benutzerwahrnehmung ist die sensorische Wahrnehmung, die zu jedem Zeitpunkt durch die Umgebung bei den Benutzern/dem Publikum ausgelöst wird, darunter die abgespielten Medien/Storys.
Ein oder mehrere der Medien weisen Storys auf, wobei jede Story eine oder mehrere „Storylines“ hat, z.B. Unterkomponenten oder Segmente. Die Storylines haben einen Beginn und ein Ende. Üblicherweise werden Storylines auf einer oder mehreren Ausgabeeinheiten in einer Reihenfolge abgespielt, z.B. ausgegeben, um eine oder mehrere Storys und eine zugehörige Umgebung zu erzeugen, die Bestandteil der Story ist. Eine oder mehrere zweite Storylines derselben und/oder anderer Medien können auf der Grundlage des Beginns/Endes und/oder einer Warteschlange in einer ersten Storyline beginnen oder enden.
Zum Beispiel wird in einer ersten Video-Storyline eine Folge von Bildern von „Rotkäppchen“ (Rot) gezeigt, die auf die Eingangstür des Hauses von „Großmutter“ zugeht. Wenn „Rot“ die Tür öffnet (eine Folge in der ersten Video-Storyline) beginnt eine erste Audio-Storyline damit, den Klang einer sich öffnenden Tür zu erzeugen und abzuspielen. Nach dem Öffnen der Tür enden die erste Video-Storyline und die erste Audio-Storyline, z.B. an einem Endpunkt. An dem Endpunkt der ersten Video-Storyline und der ersten Audio-Storyline beginnt eine zweite Video-Storyline (an deren Startpunkt) in einer Folge von Bildern zu zeigen, wie „Rot“ das Haus betritt. In der Mitte der zweiten Video-Storyline erblickt „Rot“ den „großen bösen Wolf“. Dieser Einsatzpunkt der zweiten Video-Storyline löst den Beginn eines zweiten Audiosegments (an dessen Startpunkt) mit unheilvoller Musik und einer erste Storyline des Steuersystems aus, bei der die Beleuchtung abgeschwächt und die Lautstärke erhöht wird.
Der Inhalt, die Auswahl und die Sequenzierung dieser Storylines lösen eine oder mehrere Systemausgaben aus, um eine dynamische Benutzer-/Publikumsumgebung zu erzeugen, während die Story gezeigt wird. Wenn sich der Inhalt, die Auswahl und die Umgebung zeitlich verändern, ändert sich im Laufe der Zeit auch die Benutzer-/Publikumswahrnehmung.
Eine „Story“ ist eine Auswahl eine oder mehrerer Storylines, die in einer Abfolge von Storylines dargeboten werden. Jede Storyline hat einen oder mehrere Handlungsinhalte. Jede Storyline wird in einem oder mehreren Medientypen abgespielt/ausgegeben, z.B. Video, Audio, Umgebungsveränderungen (Temperatur, Luftstrom), Gerüche, Beleuchtung usw. Die Auswahl von Storylines, die Handlungsinhalte und die Aneinanderreihung der Storylines beeinflussen zusammen die Benutzer-/Publikumsumgebung und -wahrnehmung. Demgemäß werden durch alle Änderungen der Auswahl der Storylines, der Inhalte und/oder der Aufeinanderfolge die Benutzer-/Publikumsumgebung und -wahrnehmung während des Ablaufs der Story verändert. Durch die Änderung von Umgebung und Wahrnehmung wird eine Änderung des Benutzerkontextes bewirkt, der in das System eingegeben wird und wiederum die Auswahl der Storylines, den Inhalt und/oder die Aufeinanderfolge verändern kann.
Die vorliegende Erfindung stellt ein System und ein Verfahren dar, das Veränderungen einer Story durch Auswählen von Storylines und Aneinanderreihen in der Story in Echtzeit ermöglicht, während die Story dem Benutzer/dem Publikum bereitgestellt und/oder abgespielt wird. Die Veränderungen der Story können auf der Grundlage des Situationskontextes (z.B. der Benutzer-/Publikumswahrnehmung), der Umgebung und/oder des Hintergrundkontextes vorgenommen werden.
Gemäß einigen Ausführungsformen überwacht das System den Benutzer-/Publikumskontext, gibt diesen ein und ermittelt, wie die Auswahl und/oder das Aneinanderreihen einer oder mehrerer der Storylines geändert werden muss, um die Story und/oder die Umgebung und somit die Publikumswahrnehmung zu verändern. Gemäß einigen Ausführungsformen können die Änderungen auf der Grundlage bestimmter Kriterien erfolgen, z.B. der Zielstellung des Mediendienstleisters zum Schaffen von Erlebnissen, Übermitteln von Nachrichten und/oder zur Messung von Publikums-/Benutzerreaktionen.
Gemäß einigen Ausführungsformen werden zwei Arten von Benutzer-/Publikumskontext verwendet: Hintergrundkontext und Situationskontext. Beim Hintergrundkontext des Benutzers/Publikums handelt es sich um einen Kontext, der bereits vor dem Abspielen der Story existiert. Zu nicht als Einschränkung zu verstehenden Beispielen zählen die Zusammensetzung der Benutzer (z.B. die demografischen Daten der Benutzer-Alter, Bildungsniveau, sozioökonomischer Status, Einkommenshöhe, soziale und politische Ansichten), Benutzerprofile (z.B. Vorlieben und Abneigungen), Uhrzeit, Anzahl der Benutzer im Publikum, Wetter und Ort des Publikums. Zu nicht als Einschränkung zu verstehenden Beispielen des Situationskontextes zählen die Stimmung eines oder mehrerer Benutzer im Publikum wie Gefühle, Emotionen, Reaktionen auf die Umgebung (z.B. verbale Äußerungen über die Umgebung/die Story, mimische Reaktionen usw.).
Das System kann Hintergrundkontextinformationen über einen oder mehrere Benutzer im Publikum sammeln. Diese Informationen können aus sozialen Medien, Benutzereingaben, der Überwachung der Nutzung des Systems durch den Benutzer, Bildanalyse usw. gewonnen werden. Gemäß einigen Ausführungsformen werden fiktive Hintergrundkontextinformationen, die vom Benutzer unabhängig sind, vorausgesetzt. Hintergrundkontextinformationen können aus Kalendern, Systemuhren, Netzwerksuchen usw. gewonnen werden. Auch Informationen aus Benutzerumfragen können verwendet werden.
Zusätzlich überwacht das System den Situationskontext und gibt diesen ein. Gemäß einigen Ausführungsformen wird der Situationskontext von Gesichtserkennungssystemen gewonnen, die zum Erkennen von Gesichtsausdrücken und/oder Benutzergefühlen verwendet werden. Gemäß einigen Ausführungsformen analysiert das System Audiodaten in Bezug auf Wortwahl, Bedeutung, Ausdruck, Lautstärke usw., um den Gefühlszustand zu ermitteln. Gemäß einigen Ausführungsformen kann das System Publikumsreaktionen auf Änderungen von Umgebungsdaten, Medienart und/oder Inhalt der Story und der Storyline der Medien messen, aufzeichnen, ableiten und/oder vorhersagen (z.B. durch Gesichtserkennung und -analyse sowie Audioanalyse), wenn sich die Auswahl und Aneinanderreihung der Storylines ändern.
Während die Abfolge der Storylines in der Story dargeboten wird, überwacht das System Umgebungsdaten wie Töne, Schallpegel, Lichtstärken, Lichtfrequenz, Gerüche, Feuchtigkeit, Luftstrom usw.
Gemäß bevorzugten Ausführungsformen wird ein neuronales Netzwerk verwendet. Während der Trainingsphase werden in das neuronale Netzwerk Trainingsdaten eingegeben, zu denen Situationskontextinformationen, Hintergrundkontextinformationen und/oder Umgebungsinformationen gehören. Das neuronale Netzwerk wird unter Verwendung bekannter Fehlerrückführungstechniken trainiert, die im Folgenden beschrieben werden.
Während des Trainings werden Daten in die Eingabeschicht eingegeben und die von der Ausgabeschicht ausgegebenen Daten mit dem gewünschten Ergebnis verglichen. Die Unterschiede werden z.B. zum Minimieren der Kostenfunktion verwendet, um zu ermitteln, wie Elemente des neuronalen Netzwerks verändert werden müssen. Die Daten werden erneut eingegeben und die neuen Ausgabedaten mit dem gewünschten Ergebnis verglichen. Der Prozess wird so lange wiederholt, bis das System trainiert ist.
Während einer Betriebsphase werden durch Ausgabedaten des neuronalen Netzwerks die Auswahl und Aneinanderreihung von Storylines und Umgebungsausgaben gesteuert, um eine oder mehrere Storys zu erzeugen, die von den Medien abgespielt werden. Die resultierende Story wird für ein Publikum (oder ein Modell eines Publikums) abgespielt, um eine Umgebung zu erzeugen.
Während des Betriebs werden die Stimmung des Publikums überwacht und die Auswahl und/oder Aneinanderreihung der Storylines (darunter die Ausgaben der Umgebungs-Storylines) wie vom trainierten neuronalen Netzwerk vorgegeben geändert. Zum Verändern einer Story ändern eine Auswahlsteuerung die Auswahl der Storylines und eine Sequenzierungssteuerung die Aufeinanderfolge der Storylines, um eine veränderte Story zu erzeugen. Die veränderte Story kann Storylines haben, die im Vergleich mit Storylines der vorherigen Story hinzugefügt, gelöscht und/oder verändert sind.
Ein trainiertes System ist besser in der Lage, während einer Betriebsphase eine oder mehrere Publikumswahrnehmungen zu erzeugen, die besser vorhersagbar sind. Ein Betriebssystem kann eine Story erzeugen, die Publikumswahrnehmung überwachen und Auswahl und Aneinanderreihung einer oder mehrerer Storylines (darunter die UmgebungsAusgaben) auf der Grundlage der momentanen Publikumswahrnehmung dynamisch verändern, um für unterschiedliches Publikum mit vorhersagbarer Publikumsreaktion/- antwort verschiedene Umgebungen und Abläufe der Story zu erzeugen. Diese Änderungen können an zukünftigen Storys vorgenommen werden oder spontan während des Abspielens der Story erfolgen.
Gemäß einigen Ausführungsformen wird noch einmal darauf hingewiesen, dass das Betriebssystem so trainiert wird, dass es Ausgaben unter Einbeziehung der Publikumswahrnehmung in den dynamischen Hintergrundkontext, Situationskontext und/oder die Umgebung bereitstellt.
Die vorliegende Erfindung kann die Einbeziehung eines Publikums in das Medium (z.B. einen Kinofilm) intensivieren, indem sie die Storyline unter Verwendung künstlicher Intelligenz an die Zielstellung anpasst, das Erlebnis für das Publikum aufregender, spannender, wirksamer usw. zu machen.
Die vorliegende Erfindung kann die Anzahl der Betrachtungsweisen einer Mediendarstellung (z.B. eines Kinofilms) vergrößern, da die Zuschauerwahrnehmung intensiver wird, da sich die Mediendarstellung durch das Anpassen der Storylines in Abhängigkeit vom Hintergrundkontext und vom Situationskontext ändert, um eine Verbesserung der Publikumswahrnehmung zu erreichen, die z.B. in Form erreichter Zielstellungen des Mediendienstleisters gemessen wird. Diese Zielstellungen bestehen im Verkauf von mehr Eintrittskarten, einer größeren Anzahl von Netzwerkaufrufen und/oder im Erreichen eines breiteren Publikums.
Die vorliegende Erfindung kann die Publikumswahrnehmung von einer oder mehreren Storylines oder Storys überwachen und speichern, z.B. durch Messen des Situationskontextes, des Hintergrundkontextes und/oder der Umgebung und durch Speichern dieser Informationen, z.B. auf einem externen Speicher, zur späteren Analyse und Verwendung.
Gemäß einigen Ausführungsformen wird zum Ändern der Auswahl und/oder der Aneinanderreihung von Storylines und/oder der Umgebungssteuerung ein faltendes neuronales Netzwerk (convolutional neural network, CNN) verwendet.
1 ist ein Blockschaubild einer Architektur 100 der vorliegenden Erfindung.
Gemäß einer Ausführungsform ist ein Steuersystem 160 über eine Verbindung 110C mit einem oder mehreren Netzwerken, Cloud-Umgebungen, fernen Speichern und/oder Anwendungs-Servern 110 verbunden. Die Netzwerkverbindung 110C kann mit jedem Standard-Netzwerk 110 über jede bekannte Verbindung mit Standard-Schnittstellen 110C verbunden sein, darunter das Internet, ein Intranet, Weitverkehrsnetz (wide area network, WAN), ein lokales Netzwerk (local areal network, LAN), die Cloud und/oder Hochfrequenz-Verbindungen, z.B. WLAN usw.
Die Netzwerk-Verbindung 110C ist durch eine Datenübertragungs-Schnittstelle 104 durch einen oder mehrere beliebige Systembusse 101 mit Komponenten des Steuersystems 160 verbunden. Unter anderem können Mediendaten durch die Datenübertragungs-Schnittstelle 104 zum und vom System 160 übertragen werden.
Mit dem Systembus 101 sind ein oder mehrere Computer-Prozessoren verbunden, z.B. zentrale Verarbeitungseinheiten (CPUs) 103, Coprozessoren 103 und/oder grafische Verarbeitungseinheiten (GPUs).
Mit dem Systembus 101 sind eine oder mehrere Eingabe-/Ausgabe- (E/A-) Steuerungen 105 verbunden. Die E-/A-Steuerungen 105 sind mit einer oder mehreren E-/A-Verbindungen 115 verbunden. Die eine oder mehreren E-/A-Verbindungen/Busse 115 sind entweder durch Leitungen oder drahtlos mit E-/A-Einheiten verbunden, z.B. über Hochfrequenz, optische Verbindungen usw. Als Beispiele für E-/A-Einheiten kommen externe Speicher 111 (z.B. tragbare Speicher wie CD-/DVD-Einheiten, externe Festplattenlaufwerke, Cloud-Speicher usw.); ein oder mehrere Eingabesensoren 112; ein oder mehrere Bildschirme 113, z.B. eine grafische Benutzeroberfläche (GUI); und ein oder mehrere andere Controller 114 infrage, z.B. Umgebungs-Steuerungen. Informationen über Medieninhalte und/oder Storylines können über die Netzwerk-Verbindung 110C und/oder E-/A-Verbindungen 115 mit dem externen Speicher 111, dem Bildschirm/der GUI 113 und anderen Ausgabeeinheiten 114 (z.B. Umgebungs-Ausgabeeinheiten) ausgetauscht werden.
Desgleichen sind ein oder mehrere Speicher 102 mit dem Systembus 101 verbunden. In dem Speicher 102 sind System-Software 106, z.B. ein oder mehrere Betriebssysteme; Arbeitsspeicher 107, z.B. ein Cache; und ein oder mehrere Anwendungs-Softwaremodule 108 zugreifbar gespeichert.
In dem Speicher 102 können sich andere auf dem System 160 auszuführende Anwendungen befinden. Außerhalb des Systems können auch eine oder mehrere der Funktionen dieser Anwendungen ausgeführt werden, deren Ergebnisse zum Ausführen dem System 160 bereitgestellt werden. Das Situationskontext-Modul 120 analysiert Eingabewerte, die den Situationskontext beeinflussen, während eine Storyline oder eine Story läuft. Das Hintergrundkontext-Modul 130 analysiert HintergrundkontextInformationen. Das Umgebungs-Modul 140 analysiert Auswirkungen der Umgebung, während die Storyline oder die Story läuft. Das Umgebungs-Modul 140 analysiert Auswirkungen der Umgebung, während die Storyline oder die Story läuft. Das Auswahl-Modul 150 wählt abzuspielende Storylines aus. Das Sequenzierungs-Modul 165 wählt eine Aufeinanderfolge der abzuspielenden ausgewählten Storylines aus. Ausgabewerte des Auswahl-Moduls 150 und des Sequenzierungs-Moduls 165 können auf der Grundlage der Analyse des Situationskontextes 120, des Hintergrundkontextes 130, der Umgebungsinformationen 140 und/oder der Systemkonfiguration vor dem Abspielen der Story oder dynamisch während des Abspielens der Story verarbeitet werden. Das Umgebungs-Modul 170 koordiniert Umgebungs-Ausgabewerte mit den ausgewählten und aneinandergereihten Storylines und Programmen und steuert durch die E-/A-Steuerung 105 Umgebungs-Ausgabewerte.
2 ist ein Schaubild eines Benutzers/eines Publikums 250 in einer Benutzerumgebung 200. Die Umgebung 200 weist eine Räumlichkeit mit einer oder mehreren Eingabeeinheiten und einer oder mehreren Ausgabeeinheiten auf. Zu Eingabeeinheiten zählen Sensoren 112 wie Bilderfassungseinheiten (z.B. Kameras) 205, Audioerfassungseinheiten 210 (z.B. Mikrofone 210) und grafische Benutzeroberflächen (GUI) 113. Zu Eingabeeinheiten zählen auch Umgebungs-Eingabeeinheiten wie Temperaturdetektoren 230, (nicht gezeigte) Feuchtigkeitsdetektoren 112 und Lagedetektoren 280. Zu Ausgabeeinheiten zählen GUIs 113, Fernsehapparate, Bildschirme, Unterhaltungssysteme 255 und Audioausgabeeinheiten (z.B. Lautsprecher) 215. Manche Umgebungs-Ausgabeeinheiten (z.B. 255) werden durch Umgebungs-Steuerungen 105, z.B. durch Busse 115, gesteuert, um Umgebungsparameter wie Beleuchtung, Feuchtigkeit und Luftbewegung zu steuern.
Zusätzliche Einheiten wie Mobiltelefone 275, Datenassistenten, Überwachungseinheiten (z.B. „Fitbits“ und Herzfrequenzmesser), Blutdruckmesser, Bewegungsdetektoren und Computer können Eingabeeinheiten und/oder Ausgabeeinheiten für typische Benutzer 250 bereitstellen. Eingabeeinheiten wie Mikrofone 210, Temperatursensoren 230, Mobiltelefone 275 und Kameras 205 sowie Ausgabeeinheiten wie Lautsprecher 215, Mobiltelefone 275 und Beleuchtungskörper 225 können irgendwo in der Umgebung 200 platziert sein, desgleichen ein Spielzeug 245 usw. Die Eingabeeinheiten und Ausgabeeinheiten können mit festen Leitungen, z.B. mit Bussen 115, oder drahtlos angeschlossen sein.
Das (typische) Publikum 250 weist einen oder mehrere Benutzer 250 auf. Die Benutzer 250 haben verschiedene Merkmale. Zum Beispiel kann es sich bei einem Benutzer 250 um ein Elternteil 250P und bei einem anderen Benutzer 250 um eine jüngere Person 250C handeln. Das Publikum 250 kann vielgestaltig sein. Zu nicht als Einschränkung zu verstehenden Beispielen eines Publikums 250 gehören eine oder mehrere der folgenden Kategorien: Familienmitglieder schauen Fernsehen, eine Gruppe schaut einen Kinofilm, eine Gruppe spielt ein Videospiel; eine Menschenmasse bei einer Großveranstaltung; eine berufliche Zuhörerschaft, ein Klassenraum mit Schülern; eine Gruppe in einem Themenpark; ein Kinopublikum; und Menschen, die eine politische oder Sportveranstaltung besuchen.
Das Steuersystem 160 kann überall dort eingesetzt werden, wo eine Verbindung zu den E-/A-Einheiten (112, 113, 114 usw.) besteht. Zum Beispiel kann das Steuersystem 160 innerhalb des Unterhaltungssystems 255 angeordnet sein. Gemäß einigen Ausführungsformen ist das Steuersystem 160 (entweder leitungsgebunden oder drahtlos) über eine Leitung 110C durch die Datenübertragungs-Schnittstelle 104 mit einem oder mehreren Netzwerken/Clouds 110 verbunden.
Sensoren 112 erfassen Signale (z.B. Bilder und Audiodaten) insbesondere von den Benutzern 250, die über die Busverbindungen 115 entsprechenden E-/A-Steuerungen 105 bereitgestellt werden. Die Signale werden verarbeitet und der Inhalt der empfangenen Signale wird durch das Situationskontext-Modul 120 und/oder das Hintergrundkontext-Modul 130 und/oder das Umgebungs-Modul 140 analysiert. Gemäß einigen Ausführungsformen werden Informationen auch von einem oder mehrere Netzwerken/Clouds 110, als Benutzereingaben durch Schnittstellen 113, von Sensoren und/oder als Eingaben von Zusatzeinheiten wie dem Mobiltelefon 275 und dem Speicher 111 empfangen.
Unter Verwendung dieser Eingaben ermitteln das Situationskontext-Modul 120, das Hintergrundkontext-Modul 130 und das Umgebungs-Modul 140 den Situationskontext 260, den Hintergrundkontext und Umgebungsparameter (z.B. Temperatur, Lautstärke, Beleuchtungsstärke, Feuchtigkeit usw.) in der Umgebung 200.
Es werden Beispiele dargelegt, die nicht als Einschränkung zu verstehen sind.
Stereokameras 205 liefern Signale an das Situationskontext-Modul 120, das Körperhaltungen für das Situationskontext-Modul 120 erkennt, um eine oder mehrere Reaktionen 260 der Benutzer 250 wie Verwunderung, Gelächter, Betroffenheit, Begeisterung usw. festzustellen.
Die Kameras 205 liefern Signale an das Situationskontext-Modul 120, um eine Gesichtserkennung durchzuführen und so Reaktionen 260 der Benutzer 250 auf der Grundlage von Gesichtsausdrücken festzustellen.
Infrarotkameras 205 liefern Signale an das Situationskontext-Modul 120, das die Körper- und Gesichtstemperatur ermittelt, die Reaktionen 260 der Benutzer 250 widerspiegelt.
Ein Sensor 112 des Thermometers 230 liefert Signale an das Umgebungs-Modul 140, um die Raumtemperatur, einen Umgebungsparameter der Umgebung 200 zu messen.
Ein Mikrofon 210 liefert Signale an das Umgebungs-Modul 140, um die Raum-Lautstärke in der Umgebung 200 zu ermitteln.
Ein Mikrofon 210 liefert Signale an das Situationskontext-Modul 120, das eine Sprach- und Schallerkennung (z.B. Weinen, Lachen usw.) durchzuführen. Eine oder mehrere Reaktionen 260 der Benutzer können mittels Verarbeitung natürlicher Sprache (natural language processing, NLP) ermittelt werden. Gemäß einigen Ausführungsformen detektiert das Situationskontext-Modul 121 mittels NLP Schlüsselbegriffe in Zusammenhang mit der abgespielten Story. Mittels NLP können von Benutzern ausgesprochene Begriffe detektiert werden, die Erwartungen und/oder Stimmungen der Benutzer 250 in Bezug auf den Fortlauf und/oder das Ende der Story anzeigen.
Unter Verwendung von den Sensoren 112 empfangener Bilddaten kann das Situationskontext-Modul 120 eine Altersbestimmung vornehmen, was einen Hinweis auf die Reaktionen 260 der Benutzer 250 geben kann.
Das Situationskontext-Modul 120 kann Bewegungsdaten (z.B. rasche Bewegungen, Bewegungslosigkeit, Gehverhalten usw.) von den Bewegungssensoren 112 zum Ermitteln der Benutzerreaktionen 260 verwenden.
Das Hintergrundkontext-Modul 130 verwendet vom Netzwerk 110, aus BenutzerEingaben 113 (z.B. Benutzerumfragen) und/oder vom Speicher 111 empfangene Informationen, um ein Benutzerprofil eines oder mehrerer der Benutzer 250 zu erstellen. Informationen können aus Äußerungen und Aktivitäten in Konten sozialer Medien, Informationen über Benutzergruppen und Freunde in sozialen Medien, dem Suchverhalten von Benutzern, besuchten Websites, angeforderten Produktinformationen, gekauften Gütern usw. gewonnen werden. Ähnliche Informationen können aus Aktivitäten auf Zusatzeinheiten wie Mobiltelefonen 275 gewonnen werden. Zum Zugreifen auf diese Informationen müssen natürlich ordnungsgemäße Genehmigungen und Zugriffserlaubnisse eingeholt werden.
Bei den Ausgaben des Situationskontext-Moduls 120 handelt es sich um einen Satz Stimmungen und/oder Benutzerreaktionen, die jeweils mit einem Reaktionswert/Punktwert versehen sind, der eine Intensität der Stimmung/Reaktion 260 für einen oder mehrere der Benutzer ausdrückt. Dadurch wird ein Stimmungsstatus oder ein Stimmungsmuster jeden der Benutzer 250 widergespiegelt. Gemäß einigen Ausführungsformen wird dieses Stimmungsmuster/dieser Stimmungsstatus in eine Situationskontext-Unterebene 452 in einem in 4 beschriebenen neuronalen Netzwerk 400 eingegeben. Gemäß einigen Ausführungsformen werden die Benutzer 250 zuerst anhand ihres Stimmungsstatus klassifiziert. Gemäß einigen Ausführungsformen werden die Stimmungen/Reaktionen 260 einer Mehrzahl Benutzer 250 durch einen Aggregator zusammengefasst, um einen Gesamtsatz von Stimmungen/Reaktionen 260 und entsprechende Werte zum Darstellen des Stimmungsstatus einer oder mehrerer Gruppen (250P, 250C) im Publikum 250 und/oder des gesamten Publikums 250 zu ermitteln. Der Stimmungsstatus kann sich während des Abspielens der Story ändern.
Die Ausgabe des Hintergrundkontext-Moduls 130 ist ein Benutzerprofil eines oder mehrerer der Benutzer 250. Jedes Benutzerprofil hat eine Mehrzahl Benutzermerkmale mit einem zugehörigen charakteristischen Wert/Punktwert, der ein Niveau jedes der Benutzermerkmale für einen bestimmten Benutzer 250 widerspiegelt. Gemäß einigen Ausführungsformen sind die Benutzerprofile nach ihrem Ähnlichkeitsgrad in Gruppen zusammengefasst. Gemäß einigen Ausführungsformen fasst ein Profil-Aggregator die Profile einer Mehrzahl Benutzer 250 zusammen, um ein Gesamtprofil mit entsprechenden Profilwerten/Punktwerten zu ermitteln, die das Profil einer oder mehrerer Gruppen (250P, 250C) im Publikum 250 und/oder des gesamten Publikums 250 widerzuspiegeln. Die Profile können sich beim Abspielen der Story ändern, jedoch wird gemäß einigen Ausführungsformen davon ausgegangen, dass die Profiländerungen weniger dynamisch sind. Gemäß einigen Ausführungsformen wird das Profil der Merkmale als Aktivierungsmuster 410 in eine in 4 beschriebene Hintergrundkontext-Unterebene 545 eingegeben.
Bei der Ausgabe des Umgebungs-Moduls 140 handelt es sich um ein Umgebungsprofil der Umgebung 200. Das Umgebungsprofil hat eine Mehrzahl Umgebungsparameter mit jeweils einem zugehörigen Parameterwert/Punktwert, der ein Niveau widerspiegelt, das jeder Parameter zu einem bestimmten Zeitpunkt in der Umgebung 200 aufweist. Das Umgebungsprofil ändert sich während des Abspielens der Story. Das Steuersystem 160 kann auch die Umgebung 200 und damit das Umgebungsprofil verändern, indem die Auswahl und Aneinanderreihung der Storylines geändert werden. Gemäß einigen Ausführungsformen wird das Umgebungsprofil von Umgebungsparametern als Aktivierungsmuster 410 in eine in 4 beschriebene Umgebungs-Unterebene 456 eingegeben.
3 ist eine Story 300 mit einer oder mehreren Haupt-Storylines (304, 394) und einer oder alternativen Storylines 383, darunter ein Beginn 301, ein alternativer Beginn 302, Verzweigungspunkte 380, ein Ende 309 und ein alternatives Ende 310.
3 ist ein Schaubild einer Story 300 mit einer oder mehreren Storylines (303, 323, 333, 343, 363, 393, normalerweise 383) einer Haupt-Storyline oder einer Story vom Beginn 301 direkt bis zum Ende 309. Es gibt Storylines 383, die die erste Story definieren, und alternative Storylines 383. Alternative Storys entwickeln sich ausgehend von der ersten oder Originalstory, indem Storylines 383 zur ersten/Originalstory hinzugefügt, in diese eingefügt und/oder aus dieser entfernt werden.
Die Story 300 hat einen Beginn, z.B. 301, und ein Ende 309. Es kann alternative Beginne 302 und alternative Enden 310 geben.
Außerdem gibt es Verzweigungspunkte. Verzweigungspunkte sind Punkte in der Story 300, an denen die Story 300 durch Einfügen, Entfernen oder Hinzufügen einer Storyline 383 verändert werden kann. Gemäß einigen Ausführungsformen beginnen und enden alternative Storylines 383 an Verzweigungspunkten, z.B. 340 und 345, und verändern den Inhalt der Originalstory, ohne einen kontinuierlichen Fortgang der Story zu ändern.
Verzweigungspunkte fallen für gewöhnlich mit einem Beginn von Storylines, z.B. 320, 330, 340, 360 und 370, allgemein 380, oder einem Ende 315, 325, 335, 365, allgemein 380, von Storylines zusammen. Durch Anpassen des Beginns 380 einer Storyline an einen Verzweigungspunkt und Anpassen des Endes 385 der Storyline an einen Verzweigungspunkt kann die Story anders verlaufen, indem die eingefügte Storyline (wobei ein Beginn und ein Ende mit einem Verzweigungspunkt zusammenfallen) anstelle der vorhergehenden Storyline in der Abfolge abgespielt wird.
Zum Beispiel verläuft die Story 300 ursprünglich so, dass sie bei 301 beginnt und die Storyline 304 zwischen Punkt 301 und dem Verzweigungspunkt 315 läuft. Das System kann die Story 300 dahingehend verändern, dass sie am Startpunkt 302 beginnt, anstelle der Storyline 304 eine Storyline 303 abgespielt wird, der am Verzweigungspunkt 315 endet, der mit den Enden der beiden Storylines 303 und 304 zusammenfällt. Durch Ersetzen der Storyline 304 durch die Storyline 303 hat das Steuersystem 160 die Auswahl (Auswahl von 304 anstelle 303) und die Reihenfolge (zuerst 304 anstelle 303 abzuspielen) der Storylines 383 in der Story 300 verändert.
Gemäß einem weiteren Beispiel wird angenommen, dass die Originalstory 300 bei 301 beginnt und durch Abspielen einer einzigen Storyline vom Beginn 301 direkt bis zum Ende 309 fortgesetzt wird. Diese Originalstory kann auf vielfältige Weise verändert werden, indem verschiedene Storylines in einer anderen Reihenfolge ausgewählt werden. Die Story kann bei 301 beginnen und bis zu dem Verzweigungspunkt 320 fortgesetzt werden, wo eine Storyline 323 ausgewählt und bis zum Verzweigungspunkt 325 abgespielt wird. Alternativ kann die Originalstory bei 302 beginnen und bis zum Verzweigungspunkt 330 fortgesetzt werden, wo das System 160 eine Storyline 333 auswählt und am Verzweigungspunkt 335 wieder zur ursprünglichen Storyline zurückkehrt. Wiederum kann das System bei 301 beginnen, und das System 160 wählt eine Storyline 343 aus, die am Verzweigungspunkt 340 beginnt und am Verzweigungspunkt 345 wieder zur ursprünglichen Storyline zurückkehrt. Die Storylines 393 und 394 bieten alternative Schlüsse (entweder 309 oder 310) in der Story 300, je nachdem, welchen Schluss der Story das System 160 auswählt und am Verzweigungspunkt 370 einspielt. Es wird darauf hingewiesen, dass es Verzweigungspunkte 367 innerhalb einer alternativen Storyline (z.B. 363) geben kann, z.B. an einem Verlaufspunkt, an dem eine andere Storyline 305 beginnen oder enden kann.
Durch „Abspielen“ einer Storyline 383 werden ein oder mehrere Ausgaben ermöglicht, um wie oben beschrieben Medien für ein Publikum bereitzustellen, die der ausgewählten Storyline 383 entsprechen, die nacheinander abgespielt wird.
4 ist eine Zeichnung der Systemarchitektur einer Ausführungsform eines neuronalen Netzwerks 400 der vorliegenden Erfindung.
Das neuronale Netzwerk 400 weist eine Mehrzahl allgemein mit 405 bezeichneter Neuronen auf. Jedes der Neuronen 405 kann einen als Aktivierung 410 bezeichneten Wert speichern. Zum Beispiel ist in dem Neuron 405 eine Aktivierung 410 mit dem Wert „3“ gespeichert. Der Klarheit halber haben die meisten Neuronen und Aktivierungen in 4 keine Bezugsnummer.
Das neuronale Netzwerk 400 weist eine Mehrzahl Schichten auf, z.B. 420, 422, 424, 425 und 426, allgemein 425. Es gibt eine erste oder Eingabeschicht 420 und eine letzte oder Ausgabeschicht 426. Zwischen der Eingabeschicht 420 und der Ausgabeschicht 426 liegen eine oder mehrere verborgene Schichten, z.B. 422, 424. Jede der Schichten 425 weist eine Mehrzahl Neuronen 405 auf. Gemäß einigen Ausführungsformen werden die Anzahl der Schichten 425 und die Anzahl der Neuronen 405 in jeder der Schichten 425 durch Versuche empirisch ermittelt.
Gemäß einigen Ausführungsformen sind alle Neuronen in einer vorhergehenden Schicht jeweils durch eine Kante 415 mit jedem der Neuronen einer nächsten Schicht verbunden. Zum Beispiel ist ein typisches Neuron 406 in einer nächsten (verborgenen) Schicht 422 durch eine Kante 415 einzeln mit jedem der Neuronen 405 in der Eingabeschicht 420 verbunden. Gemäß einigen Ausführungsformen haben eine oder mehrere der Kanten 415 ein zugehöriges Gewicht W 418. In derselben Weise 430 ist jedes Neuron 406 in einer nächsten Schicht, z.B. 422, einzeln durch eine Kante 415 mit jedem Neuron 405 in einer vorhergehenden Schicht, z.B. 420, verbunden. Dergleichen Verbindungen werden zwischen jedem Neuron in der zweiten verborgenen Schicht 424 mit jedem Neuron der ersten verborgenen Schicht 422 und ebenso zwischen jedem Neuron 495 der Ausgabeschicht 426 und allen Neuronen der zweiten verborgenen Schicht 424 hergestellt. Der Klarheit halber sind diese Verbindungen 430 in 4 nicht gezeigt.
Gemäß einigen Ausführungsformen wird die Aktivierung 410 in jedem Neuron durch eine gewichtete Summe der Aktivierungen 410 jedes verbundenen Neurons 405 in der vorhergehenden Schicht bestimmt. Jede Aktivierung 410 wird durch das Gewicht (w, 418) der Kante 415 gewichtet, die jeweils das Neuron 406 mit jedem der entsprechenden Neuronen 405 in der vorhergehenden Schicht, z.B. 420, verbindet.
Demgemäß bestimmt ein Muster der Aktivierungen 410 in einer vorhergehenden Schicht, z.B. 420, zusammen mit den Gewichten (w, 418) auf jeder Kante 415 jeweils das Muster der Aktivierungen 406 in der nächsten Schicht, z.B. 422. Desgleichen bestimmt die gewichtete Summe des Satzes von Aktivierungen 406 in der vorhergehenden Schicht, z.B. 422, die Aktivierungen jedes Neurons, allgemein 405, und deshalb das Aktivierungsmuster der Neuronen in der nächsten Schicht, z.B. 424. Dieser Prozess setzt sich fort, bis ein Muster der Aktivierungen vorliegt, das durch die Aktivierung, allgemein 490, in jedem der Neuronen 495 in der Ausgabeschicht 426 repräsentiert wird. Ausgehend von einem bestimmten Muster der Aktivierungen 405 in der Eingabeschicht 420 wird deshalb durch die Struktur des neuronalen Netzwerks 400, die Gewichte (w, 418) und die (unten beschriebenen) Tendenzen b ein Aktivierungsmuster der Ausgabeschicht bestimmt, das der Aktivierung jedes der Neuronen 495 in der Ausgabeschicht 426 entspricht. Der Satz der Aktivierungen in der Eingabeschicht 420 ist Änderungen unterworfen, sodass sich gleichermaßen auch der Satz der Aktivierungen in der Ausgabeschicht 426 ändert. Die sich ändernden Sätze der Aktivierungen in den verborgenen Schichten 422, 424) entsprechen Abstraktionsebenen, die physikalisch möglicherweise bedeutungslos sind.
Gemäß einigen Ausführungsformen ist die Eingabeschicht 420 in zwei oder mehr Unterebenen eingeteilt, z.B. 452, 454 und 456, allgemein 450.
Die Eingabe-Unterebene 452 ist eine Situationskontext-Unterebene 452 und empfängt eine Aktivierung 410 vom Ausgang des Situationskontext-Moduls 120. Das Muster der Aktivierungen 410 in der Eingabeschicht 452 repräsentiert einen Status der Stimmung/Reaktion 260 des Publikums 250. Zum Beispiel repräsentieren die Neuronen 405 der Situationskontext-Unterebene 452 Reaktionen wie Zufriedenheit, Begeisterung, Besorgnis des Publikums usw.
Die Eingabeunterebene 454 ist eine Hintergrundkontext-Unterebene 454 und empfängt Aktivierungen 410 vom Ausgang des Hintergrundkontext-Moduls 130. Aktivierungen 410 von Neuronen 405 in der Hintergrundkontext-Unterebene 454 repräsentieren Werte/Punktwerte von Eigenschaften in einem Benutzer-/Publikumsprofil 250. Gemäß einigen Ausführungsformen repräsentiert das Aktivierungsmuster 410 in der Hintergrundkontext-Unterebene 454 den Hintergrundkontextstatus zu einem Zeitpunkt im Benutzer-/Publikumsprofil 250 der Eigenschaften.
Die Eingabeunterebene 456 ist eine Umgebungsunterebene 456 und empfängt Aktivierungen 410 vom Ausgang des Umgebungs-Moduls 140. Aktivierungen 410 der Neuronen 405 in der Umgebungsunterebene 456 sind Werte/Punktwerte, die Umgebungsparameter in einem Umgebungsprofil repräsentieren. Gemäß einigen Ausführungsformen repräsentiert das Aktivierungsmuster 410 in der Umgebungsunterebene 456 den Status des Umgebungsprofils, der während des Abspielens der Story im Laufe der Zeit ändert.
Gemäß einigen Ausführungsformen ist die Ausgabeschicht 426 in zwei oder mehr Unterebenen, z.B. 482 und 484, allgemein 480, eingeteilt.
Die Ausgabeunterebene 482 hat Neuronen 495, die festlegen, welche Storylines ausgewählt werden und wann jede der ausgewählten Storylines beginnt und endet, z.B. an einem Verzweigungspunkt (380, 385).
Die Ausgabeunterebene 484 hat Neuronen 495, die festlegen, wie das Steuersystem 160 die E-/A-Einheiten, insbesondere die Umgebungs-Ausgänge 114, steuert, um die Umgebung 200 zu verändern.
Eine mathematische Darstellung des Übergangs von einer Schicht in dem neuronalen Netzwerk 400 zur nächsten lautet wie folgt: $[\begin{matrix} a_{0}^{1} \\ a_{1}^{1} \\ ⋮ \\ a_{n}^{1} \end{matrix}] = σ ([\begin{matrix} w_{0,0} & w_{0,1} & \dots & w_{0, k} \\ w_{1,0} & w_{1,1} & \dots & w_{1, k} \\ ⋮ & ⋮ & ⋮ \\ w_{n,0} & w_{n,1} & \dots & w_{n, k} \end{matrix}] \times [\begin{matrix} a_{0}^{0} \\ a_{1}^{0} \\ ⋮ \\ a_{k}^{0} \end{matrix}] + [\begin{matrix} b_{0} \\ b_{1} \\ ⋮ \\ b_{n} \end{matrix}])$
oder $a^{1} = σ (W a^{0} + b)$
Wobei a_n ¹ gleich der Aktivierung 410 des n-ten Neurons 406 in der nächsten Ebene, hier Ebene 1; w_n,k gleich dem Gewicht (w, 418) der Kante 415 zwischen dem k-ten Neuron 405 der aktuellen Ebene, hier Ebene 0, und dem n-ten Neuron 406 in der nächsten Ebene, hier Ebene 1; und b_n gleich dem Tendenzwert der gewichteten Summe des n-ten Neurons 406 der nächsten Ebene ist. Gemäß einigen Ausführungsformen kann der Tendenzwert als Schwellenwert zum Schalten des Neurons aufgefasst werden.
Der Term σ ist ein Skalierungsfaktor. Bei dem Skalierungsfaktor kann es sich zum Beispiel um die Sigmoidfunktion oder die rektifizierte lineare Einheit, z.B. ReLU (a) = max (0, a handeln).
Das neuronale Netzwerk wird trainiert, indem Werte für alle Gewichte (w, 418) und Tendenzen b ermittelt werden. Gemäß einigen Ausführungsformen werden zum Ermitteln der Gewichts- und Tendenzwerte bekannte Rückführungsverfahren verwendet.
Zu Beginn des Trainings werden gemäß einigen Ausführungsformen die Gewichte und Tendenzwerte entweder auf Zufallswerte oder einen Satz von Anfangswerten gesetzt. Das Ergebnis, d.h. das Aktivierungsmuster der Ausgabeschicht 426, wird mit einem gewünschten Ergebnis verglichen. Durch einen Vergleich des aktuellen Ergebnisses mit dem gewünschten Ergebnis mittels einer Kostenfunktion (z.B. der Quadratwurzel der Summe der Differenzquadrate) wird gemessen, wie weit das Ergebnis einem gewünschten Ergebnis für einen vorgegebenen Eingabewert nahekommt. Für die Kostenfunktion wird z.B. mittels eines Gradientenabstiegsverfahrens durch einen iterativen Prozess ein geringstmöglicher Wert ermittelt, um zu ermitteln, wie die Größe und Richtung von Gewichten und Tendenzen geändert werden müssen, um eine Annäherung an das gewünschte Ergebnis zu erreichen. Die Gewichte und Tendenzen werden geändert, z.B. durch Rückführung, und eine weitere Iteration wird durchgeführt. Es werden mehrere Iterationen durchgeführt, bis die Ausgabeschicht ein Aktivierungsmuster liefert, das dem gewünschten Ergebnis für ein vorgegebenes Aktivierungsmuster nahekommt, das für die Eingabeschicht vorgegeben wurde.
Gemäß alternativen Ausführungsformen handelt es sich bei dem neuronalen Netzwerk um ein faltendes neuronales Netzwerk (CNN). Bei dem CNN bilden eine oder mehrere verborgene Schichten eine faltende Ebene, bei der eine Faltung unter Verwendung eines oder mehrerer Filter erfolgt, um Muster in der Schicht zu detektieren, hervorzuheben oder zurückzusetzen. Es gibt verschiedene Filtertypen, z.B. um Teilmuster in Bildern und/oder Klang-Teilmuster zu detektieren. Gemäß bevorzugten Ausführungsformen handelt es sich bei dem Filter 470 um eine Matrix von Werten, die über die Eingabewerte der Schicht gefaltet werden, um ein neues Muster von Eingabewerten für die Schicht zu erzeugen.
5 ist ein Ablaufplan eines Trainingsprozesses 500, der zum Trainieren einer Ausführungsform der vorliegenden Erfindung verwendet wird.
Der Trainingsprozess 500 beginnt mit einem untrainierten neuronalen Netzwerk. In Schritt 505 wird ein Muster anfänglicher Aktivierungen aus dem Situationskontext-Modul 120, dem Hintergrundkontext-Modul 130 und dem Umgebungs-Modul 140 in die Eingabeschicht 420 eingegeben. Alternativ können die Eingabewerte simuliert werden.
Zum Beispiel wird in Schritt 505 der Ausgabewert des Situationskontext-Moduls 120 in die Situationskontext-Unterebene 452 eingegeben, da das Aktivierungsmuster 410 den Status der Stimmung/Reaktion 260 des Publikums 250 repräsentiert. Der Ausgabewert des Hintergrundkontext-Moduls 130 wird in die Hintergrundkontext-Unterebene 454 eingegeben, da das Aktivierungsmuster 410 den Hintergrundkontext-Status zu einem bestimmten Zeitpunkt repräsentiert, d.h. den Status des Benutzer-/Publikumsprofils 250 der Eigenschaften. In Schritt 505 wird der Ausgabewert des Umgebungs-Moduls 140 in die Umgebungs-Unterebene 456 eingegeben, da das Aktivierungsmuster 410 einen Status der Umgebungsparameter in einem Umgebungsprofil repräsentiert.
In Schritt 510 werden die Gewichte 418 und die Tendenz b anfänglich festgelegt.
In Schritt 520 werden die Aktivierungen 410 zur Ausgabeschicht 426 weitergeleitet.
In Schritt 530 wird der Ausgabewert der Unterebene 482 mit einer gewünschten Auswahl und Aneinanderreihung von Storylines verglichen. Ferner wird der Ausgabewert der Unterebene 484 mit einer gewünschten Konfiguration von Umgebungs-Ausgabewerten verglichen. Eine Kostenfunktion wird so weit wie möglich verringert, um das für einen Satz neuer Gewichte 418 und Tendenzen b erforderliche Ausmaß und die Richtung zu ermitteln.
In Schritt 540 werden die neuen Gewichte 418 und Tendenzen b mittels bekannter Verfahren rückgeführt und ein neuer Satz Ausgangswerte (482, 484) empfangen.
Nach erneutem Eingeben der Anfangsaktivierungen wird in Schritt 550 eine Prüfung durchgeführt. Wenn die Ausgabewerte der Unterebenen 482 und 484 innerhalb eines Toleranzbereichs einer gewünschten Auswahl und Aneinanderreihung von Storylines und Umgebungs-Ausgabewerten liegen, ist der Prozess 500 beendet. Ist dies jedoch nicht der Fall, kehrt die Steuerung zurück zu Schritt 530, um die Kostenfunktion so weit wie möglich zu verringern, und der Prozess wird erneut durchlaufen.
6 ist ein Ablaufplan eines Arbeitsprozesses 600, der die Schritte einer Ausführungsform der vorliegenden Erfindung in Funktion zeigt.
In Schritt 605 wird der Ausgabewert des Situationskontext-Moduls 120 in die Situationskontext-Unterebene 452 eingegeben, da das Aktivierungsmuster 410 den Status der Stimmung/Reaktion 260 des Publikums 250 repräsentiert. Der Ausgabewert des Hintergrundkontext-Moduls 130 wird in Schritt 605 in die Hintergrundkontext-Unterebene 454 eingegeben, da das Aktivierungsmuster 410 den Hintergrundkontextstatus, d.h., den Status des Benutzer-/Publikumsprofils von Eigenschaften, zu einem bestimmten Zeitpunkt repräsentiert. Der Ausgabewert des Umgebungs-Moduls 410 wird in Schritt 605 in die Umgebungs-Unterebene 456 eingegeben, da ein Aktivierungsmuster 410 einen Status der Umgebungsparameter in einem Umgebungsprofil repräsentiert.
In Schritt 610 wird der Ausgabewert der Unterebene 484 der Umgebungssteuerung 170 zugeführt. Der Ausgabewert der Umgebungssteuerung 170 steuert die Umgebungs-Ausgabewerte 114 über den E-/A-Controller und die Busse 115, um die Umgebung 620 zu verändern.
In Schritt 610 wird der Ausgabewert der Unterebene 482 dem Auswahl-Modul 150 und dem Sequenzierungs-Modul 165 zugeführt. Das Auswahl-Modul 150 entnimmt dem Aktivierungsmuster in der Unterebene 482, welche abzuspielenden Storylines gerade ausgewählt werden. Das Sequenzierungs-Modul 165 entnimmt die Reihenfolge, in der die ausgewählten Storylines abzuspielen sind.
In Schritt 630 einer Ausführungsform arbeitet das Auswahl-Modul 150 eine Liste verfügbarer Storylines ab. Wenn eine Storyline nicht ausgewählt wurde, wird die Liste weiter abgearbeitet, bis alle Storylines gefunden und ausgewählt wurden, die anhand des Aktivierungsmusters der Unterebene 482 infrage kommen. Gemäß alternativen Ausführungsformen ergibt sich unmittelbar aus dem Aktivierungsmuster der Unterebene 482, welche Storylines ausgewählt werden.
Ausgehend von dem Aktivierungsmuster der Unterebene 482 legt das Sequenzierungs-Modul 165 die Reihenfolge fest, in der die ausgewählten Storylines abgespielt werden. Aus dem Aktivierungsmuster der Unterebene 482 gehen auch die Verzweigungspunkte hervor, an denen die ausgewählten Storylines beginnen und enden. In Schritt 640 werden das Abspielen der Story oder die Reihenfolge überwacht, in der die Story abgespielt wird. In Schritt 640 ermittelt das Sequenzierungs-Modul 165, ob ein Verzweigungspunkt erreicht worden ist und ob das Sequenzierungs-Modul 165 an diesem Verzweigungspunkt eine der ausgewählten Storylines ändern (z.B. hinzufügen, entfernen, einfügen) soll. Ist dies nicht der Fall, wartet das Sequenzierungs-Modul, bis der nächste Verzweigungspunkt erreicht ist, und ermittelt erneut.
Wenn an einem Verzweigungspunkt eine der ausgewählten Storylines abgespielt werden soll, wechselt die Storyline in Schritt 650. Die neue Storyline wird abgespielt und endet an einem vorgesehenen Verzweigungspunkt (z.B. an dem durch das Aktivierungsmuster der Unterebene 482 angezeigten Verzweigungspunk), und ab diesem Punkt in der Abfolge wird nicht die ursprüngliche Storyline abgespielt.
Die Beschreibungen der verschiedenen Ausführungsformen der vorliegenden Erfindung sind zur Veranschaulichung vorgelegt worden, erheben jedoch nicht den Anspruch auf Vollständigkeit oder Einschränkung auf die offenbarten Ausführungsformen. Dem Fachmann sind viele Modifikationen und Varianten offensichtlich, ohne vom Schutzumfang der beschriebenen Ausführungsformen abzuweichen. Die hierin verwendeten Begriffen wurden so gewählt, dass sie die Grundgedanken der Ausführungsformen, deren praktische Anwendung oder technische Verbesserung gegenüber handelsüblichen Technologien bestmöglich erläutern oder Fachleuten das Verständnis der hierin offenbarten Ausführungsformen zu ermöglichen.

Claims

Steuersystem zum Anpassen von Media-Streams, wobei das System aufweist: ein neuronales Netzwerk mit einer Eingabeschicht, einer oder mehreren verborgenen Schichten und einer Ausgabeschicht, wobei die Eingabeschicht eine Situationskontext-Eingabe-Unterebene und eine Umgebungs-Eingabe-Unterebene besitzt und die Ausgabeschicht eine Auswahl-/Sequenzierungs-Ausgabe-Unterebene und eine Umgebungs-Ausgabe-Unterebene besitzt, wobei jede der Schichten eine Mehrzahl Neuronen hat und jedes der Neuronen eine Aktivierung hat; ein oder mehrere Situationskontext-Module, die jeweils einen oder mehrere Kontexteingänge von einem oder mehreren Sensoren zum Überwachen eines Publikums und einen oder mehrere Stimmungs-Ausgänge besitzen, die mit der Situationskontext-Eingabe-Unterebene verbunden sind; ein oder mehrere Umgebungsinformations-Module, die einen oder mehrere Umgebungssensoreingänge und einen Umgebungsausgang besitzen, der mit der Umgebungs-Eingabe-Unterebene verbunden sind; ein oder mehrere Auswahl-Module, die mit der Auswahl-/Sequenzierungs-Ausgabe-Unterebene verbunden sind; und ein oder mehrere Sequenzierungs-Module, die mit der Auswahl-/Sequenzierungs-Ausgabe-Unterebene verbunden sind, wobei das Auswahl-Modul zum Auswählen einer oder mehrerer Storylines und das Sequenzierungs-Modul zum Aneinanderreihen der ausgewählten Storylines zu einer Story dient, das abgespielt wird.
System nach Anspruch 1, wobei die Kontext-Eingaben einen oder mehrere der folgenden Sachverhalte umfassen: ein Gesichtsbild, ein Infrarotbild, eine Audioeingabe, einen Audiolautstärkedetektor, einen Text, ein gesprochenes Wort, eine Mobiltelefoneingabe, eine Herzfrequenz, einen Blutdruck und eine Atemfrequenz.
System nach einem der vorhergehenden Ansprüche, wobei das Situationskontext-Modul dazu dient, eine oder mehrere der folgenden Funktionen auszuführen: Gesichtserkennung, Positionserkennung, Verarbeitung natürlicher Sprache (NLP), Erkennung von Schlüsselbegriffen und Spracherkennung.
System nach einem der vorhergehenden Ansprüche, wobei die Stimmungsausgaben eine oder mehrere der folgenden Stimmungen des Publikums repräsentieren: Gefühle, Emotionen, Gelächter, Traurigkeit, Angst, Begeisterung, Reaktionen auf die Umgebung, Reaktion auf eine oder mehrere Storylines.
System nach einem der vorhergehenden Ansprüche, wobei zu Umgebungssensor-Eingaben ein oder mehrere des Folgenden gehören: eine Audio-Aufnahmeeinheit, ein Mikrofon, eine Video-Aufnahmeeinheit, eine Kamera, eine Infrarotkamera, eine Netzwerkverbindung, eine Wettereingabe, ein Ortssensor, ein Mobiltelefon, ein Thermometer, eine Feuchtigkeitssensor, ein Luftstromsensor, ein Helligkeitssensor, ein Lichtdetektor und ein Bewegungssensor.
System nach einem der vorhergehenden Ansprüche, wobei die Umgebungsausgaben einen oder mehrere des Folgenden umfassen: eine Lautstärkesteuerung, eine Beleuchtungssteuerung, eine Temperatursteuerung, eine Feuchtigkeitssteuerung, eine Heizsystemsteuerung, eine Kühlsystemsteuerung und eine Luftstromsteuerung.
System nach einem der vorhergehenden Ansprüche, wobei das Auswahl-Modul zum Auswählen eines oder mehrerer der ausgewählten Handlungsstränge auf der Grundlage eines dynamischen Musters von Stimmungsausgaben und eines dynamischen Musters von Umgebungsausgaben dient, die durch das neuronale Netzwerk verarbeitet werden.
System nach einem der vorhergehenden Ansprüche, wobei das Sequenzierungs-Modul zum Aneinanderreihen einer oder mehrerer der ausgewählten Storylines auf der Grundlage eines dynamischen Musters von Stimmungsausgaben und eines dynamischen Musters von Umgebungsausgaben dient, die durch das neuronale Netzwerk verarbeitet werden.
System nach einem der vorhergehenden Ansprüche, wobei es sich bei dem neuronalen Netzwerk um ein faltendes neuronales Netzwerk (CNN) handelt.
System nach einem der vorhergehenden Ansprüche, wobei eine oder mehrere der ausgewählten Storylines an einem Verzweigungspunkt beginnen und an einem Verzweigungspunkt enden.
System nach einem der vorhergehenden Ansprüche, wobei das neuronale Netzwerk ferner eine Hintergrundkontext-Eingabe-Unterebene aufweist.
System nach Anspruch 11, wobei die Aktivierung eines oder mehrerer Neuronen in der Hintergrundkontext-Eingabe-Unterebene eine Darstellung eines oder mehrerer des Folgenden umfasst: Demografie, Alter, Bildungsniveau, sozioökonomischer Status, Einkommenshöhe, soziale und politische Einstellungen, Benutzerprofile, Vorlieben, Abneigungen, Uhrzeit, Anzahl der Benutzer im Publikum, Wetter und Ort des Publikums.
System nach einem der Ansprüche 11 oder 12, wobei die Hintergrundkontextinformationen eines oder mehrerer Benutzer von einer oder mehreren der folgenden Quellen abgeleitet werden: Mitteilungen auf sozialen Medien, Nutzung sozialer Medien, Nutzung des Mobiltelefons, Umfragen im Publikum, frühere Suchergebnisse, Kalender, Systemuhren, Bildanalyse und Positionsinformationen.
System nach einem der Ansprüche 11 bis 13, wobei das Auswahl-Modul zum Auswählen einer oder mehrerer der ausgewählten Storylines dient und das Sequenzierungs-Modul die ausgewählten Storylines auf der Grundlage eines dynamischen Musters von Stimmungsausgaben, Hintergrundkontext und Umgebungsausgaben aneinanderreiht, die durch das neuronale Netzwerk verarbeitet werden.
Verfahren zum Trainieren eines neuronales Netzwerks, wobei das Verfahren die Schritte aufweist: Eingeben einer Stimmungsaktivierung in ein Stimmungs-Neuron in einer Situationskontext-Eingabe-Unterebene für eine Mehrzahl von Stimmungsaktivierungs- beziehungsweise Stimmungs-Neuronen, wobei die Situationskontext-Eingabe-Unterebene Bestandteil einer Eingabeschicht des neuronalen Netzwerks ist und die Stimmungsaktivierungen ein Stimmungs-Eingabemuster bilden; Eingeben einer Umgebungsaktivierung in ein Umgebungs-Neuron in eine Umgebungs-Eingabe-Unterebene für eine Mehrzahl von Umgebungsaktivierungsbeziehungsweise Umgebungs-Neuronen, wobei die Umgebungs-Eingabe-Unterebene Bestandteil einer Eingabeschicht des neuronalen Netzwerks ist und die Umgebungsaktivierungen ein Umgebungs-Eingabemuster bilden. Weiterleiten des Stimmungs-Eingabemusters und des Umgebungs-Eingabemusters durch das neuronale Netzwerk; Ermitteln, wie ein oder mehrere Gewichte und eine oder mehrere Tendenzen durch Minimieren einer Kostenfunktion geändert werden sollen, der eine Ausgabeschicht des neuronalen Netzwerks unterliegt, wobei die Ausgabeschicht eine Auswahl-/Sequenzierungs-Ausgabe-Unterebene und eine Umgebungs-Ausgabe-Unterebene jeweils mit Ausgabeaktivierungen aufweist; Rückführen zum Ändern der Gewichte und Tendenzen; und Wiederholen der beiden letzten Schritte, bis die Ausgabeaktivierungen ein gewünschtes Ergebnis erreicht haben, aufgrund dessen das Training beendet wird.
Verfahren nach Anspruch 15, das ferner nach Beenden des Trainings die Schritte aufweist: Auswählen einer oder mehrerer ausgewählter Storylines; Einfügen der ausgewählten Storylines in eine Originalstory, wobei ein Startpunkt der ausgewählten Storyline auf einem Anfangs-Startpunkt der Originalstory liegt und ein Endpunkt der ausgewählten Storyline auf einem End-Verzweigungspunkt der Originalstory liegt.
Verfahren nach Anspruch 16, wobei die Umgebungs-Ausgabeschicht ein dynamisches Muster von Ausgabeaktivierungen aufweist, die eine oder mehrere Umgebungsausgaben in Zusammenhang mit der ausgewählten Storyline steuern.
Verfahren nach einem der Ansprüche 16 oder 17, wobei das Auswählen der ausgewählten Storylines und ein Aneinanderreihen der ausgewählten Storylines durch ein dynamisches Stimmungs-Eingabemuster bestimmt werden.
Steuerverfahren zum Steuern eines Systems nach einem der Ansprüche 1 bis 14, wobei das Verfahren ein Überwachen eines Publikums und einer oder mehrerer Stimmungsausgaben in Zusammenhang mit der Situationskontext-Eingabe-Unterebene; Auswählen einer oder mehrerer ausgewählter Storylines; Aneinanderreihen der ausgewählten Storylines zu einer abzuspielenden Story aufweist.
Computerprogrammprodukt zum Verwalten eines Systems, wobei das Computerprogrammprodukt aufweist: ein durch einen Computer lesbares Medium, das durch eine Verarbeitungsschaltung lesbar ist, und in dem Anweisungen zum Ausführen durch die Verarbeitungsschaltung gespeichert sind, um ein Verfahren nach einem der Ansprüche 15 bis 19 durchzuführen.
Computerprogramm, das auf einem durch einen Computer lesbaren Medium gespeichert und in den Arbeitsspeicher eines digitalen Computers ladbar ist und Abschnitte eines Softwarecodes aufweist, wenn Programm auf einem Computer ausgeführt wird, um das Verfahren nach einem der Ansprüche 15 bis 19 durchzuführen.