DE102016010422A1

DE102016010422A1 - Verwendung der Wirkung von digitalem Audio, um digitale Medienpräsentationen zu erzeugen

Info

Publication number: DE102016010422A1
Application number: DE102016010422.8A
Authority: DE
Inventors: Peter Merrill
Original assignee: Adobe Systems Inc
Current assignee: Adobe Inc
Priority date: 2015-08-31
Filing date: 2016-08-29
Publication date: 2017-04-06
Also published as: US20170372755A1; GB2541780A; AU2016204526A1; US20170062011A1; CN106484765B; GB2541780B; GB201611042D0; US10460764B2; CN106484765A; AU2016204526B2; US9786327B2

Abstract

Es werden Systeme und Verfahren offenbart, die eine oder mehrere digitale Medienpräsentationen basierend auf Wirkungswerten erstellen. Insbesondere erzeugen in einer oder in mehreren Ausführungsformen die Systeme und Verfahren Wirkungswerte basierend auf einer Änderung in einem Energiemaß, die mit dem digitalen Audioinhalt assoziiert ist, über die Zeit. Beispielsweise erzeugen Systeme und Verfahren Wirkungswerte durch Berechnen einer Differenz in einem Energiemaß über die Zeit in Bezug auf die Energiemenge bei einer bestimmten Zeitperiode. Basierend auf den erzeugten Wirkungswerten identifizieren die Systeme und Verfahren Transitionspunkte in dem digitalen Audioinhalt. Genauer verwenden die Systeme und Verfahren einen abklingenden Maskierungsschwellenwert, um Transitionspunkte aus erzeugen Wirkungswerten zu identifizieren. Weiter verwenden die Systeme und Verfahren die identifizierten Transitionspunkte, um den digitalen visuellen Inhalt zu modifizieren, der zusammen mit dem digitalen Audioinhalt angezeigt wird.

Description

Hintergrund
1. Technisches Gebiet
Die vorliegende Offenbarung bezieht sich allgemein auf digitale Medienpräsentationen. Genauer beziehen sich eine oder mehrere Ausführungsformen der vorliegenden Offenbarung auf Systeme und Verfahren, die digitale Medienpräsentationen erzeugen, durch Synchronisieren von digitalem visuellem Inhalt mit digitalem A Audioinhalt.
2. Hintergrund und verwandte Technik
In den vergangenen Jahren hat der Zugang auf Rechnervorrichtungen und digitale Medien rapide zugenommen. Tatsächlich haben Personen nun gewöhnlich Zugriff auf Computern, Tablets, Telefonen, Kameras, Fernsehern und anderen Rechnervorrichtungen, die es den Personen erlauben, auf digitale Medien von einer Vielfalt von Quellen zuzugreifen. Die zunehmende Prävalenz derartiger Vorrichtungen hat nicht nur den persönlichen Zugriff auf digitale Medien verbessert, sondern hat auch die Möglichkeit von Personen erweitert, digitale Medien aufzunehmen und zu erstellen. Zum Beispiel ist es für Personen nun allgemein üblich, Bilder, Video und andere digitale Inhalte aufzunehmen und solche Medien mit anderen über das Internet zu teilen.
Angesichts dieser Fortschritte im Zugriff auf und in der Erstellung und dem Teilen von digitalen Medien suchen Personen zunehmend nach neuen unterhaltsamen Möglichkeiten, digitale Medien anderen zu präsentieren. Um diese Nachfrage zu befriedigen wurden einige gebräuchliche Medienpräsentationssysteme entwickelt, die digitalen visuellen Inhalt zusammen mit digitalem Audioinhalt anzeigen (z. B. eine Diashow einer Reihe von Fotos, die zu Musik gesetzt sind). Einige gebräuchliche Medienpräsentationssysteme zeigen zum Beispiel eine Reihe von Fotos für eine vorbestimmte Zeitdauer an, während sie einen Musiktrack im Hintergrund abspielen. Andere ähnliche gebräuchliche Medienpräsentationssysteme erlauben es einem Benutzer, eine Reihe von Fotos manuell anzuordnen im Vergleich zu einem Musiktrack – die Systeme zeigen dann die Reihe von Fotos gemäß der manuellen Anordnung an, während sie den Musiktrack abspielen.
Obwohl solche gebräuchlichen Medienpräsentationssysteme ein Mittel zum Anzeigen visueller Medien bereitstellen, haben solche Systeme ihre eigenen Probleme und Beschränkungen. Zum Beispiel beschweren sich Benutzer gebräuchlicher Medienpräsentationssysteme, die einen digitalen visuellen Inhalt für eine vorbestimmte Zeitdauer anzeigen, häufig darüber, dass solche Medienpräsentationssysteme langweilig, und vorhersehbar sind und es diesen an Kreativität, Emotion und Seele fehlt. Weiter zeigen gebräuchliche Medienpräsentationssysteme, die einen digitalen visuellen Inhalt für eine vorbestimmte Zeitdauer anzeigen, einen digitalen visuellen Inhalt oftmals auf eine Weise, die mit dem digitalen Audioinhalt in Konflikt steht.
Darüber hinaus bringen gebräuchliche Medienpräsentationssysteme, die es Benutzern erlauben, digitale visuelle Medien manuell in Bezug auf Audiomedien zu platzieren, ihre eigenen Probleme. Obwohl derartige Systeme es einem Benutzer erlauben mögen, digitale visuelle Medien in einer künstlerischeren und kreativeren Weise mit digitalen Audiomedien zu kombinieren, erfordern solche Systeme im Allgemeinen einen signifikanten Zeitaufwand, Aufmerksamkeit und/oder Expertise, um diese zu verwenden. Dementsprechend werden die Benutzer regelmäßig frustriert damit, wie viel Zeit und Anstrengung erforderlich ist, um derartige Systeme zu bedienen. Zudem sind solche Systeme oftmals nicht in der Lage, unterhaltsame digitale Medienpräsentationen zu bieten mit darauf, dass einzelne Benutzer nicht genügen d Zeit, Kreativität, Geschick oder Erfahrung besitzen.
Diese und andere Probleme bestehen mit Bezug auf das Erstellen digitaler Medienpräsentationen unter Verwendung konventioneller Systeme und Verfahren.
Kurze Zusammenfassung
Ausführungsformen der vorliegenden Offenbarung stellen Vorteile bereit und/oder Lösen eines oder mehrere der vorstehenden oder anderen Probleme der Technik mit Systemen und Verfahren, die einen Audioinhalt und einen visuellen Inhalt synchronisieren, um digitale Medienpräsentationen zu erstellen. Insbesondere berechnen in einer oder in mehreren Ausführungsformen offenbarte Systeme und Verfahren Wirkungswerte, welche die Wirkung eines digitalen Audioinhalts auf einen Hörer approximieren. Basierend auf den Wirkungswerten identifizieren die Systeme und Verfahren Transitionspunkte (z. B. wirkungsvolle Zeitperioden in der Musik). Die Systeme und Verfahren erstellen dann eine digitale Medienpräsentation durch Synchronisieren des digitalen visuellen Inhalts zum digitalen Audioinhalt basierend auf den identifizierten Transitionspunkten.
Zum Beispiel beinhalten eine oder mehrere Ausführungsformen Systeme und Verfahren, welche Wirkungswerte für Zeitperioden berechnen, die mit einem digitalen Audioinhalt assoziiert sind, durch Berechnen einer Änderung in einem Energiemaß, die mit den Zeitperioden assoziiert ist. Die offenbarten Systeme und Verfahren wählen Transitionspunkte basierend auf den Wirkungswerte in dem digitalen Audioinhalt aus unter Verwendung eines abklingenden Maskierungsschwellenwerts. Genauer klingt in einer oder in mehreren Ausführungsformen der abklingende Maskierungsschwellenwert ab, bis ein erster Wirkungswert gekreuzt wird, nimm zu in Antwort auf das Kreuzen des ersten Wirkungswerts, und klingt wieder ab, bis ein zweiter Wirkungswert gekreuzt wird. Die offenbarten Systeme und Verfahren verwenden die gekreuzten Wirkungswerte, um Transitionspunkte auszuwählen. Weiter erzeugen die Systeme und Verfahren eine Präsentation eines digitalen visuellen Inhalts durch Synchronisieren des digitalen visuellen Inhalts mit dem digitalen Audioinhalt basierend auf den ausgewählten Transitionspunkten.
Indem Wirkungswerte verwendet werden, um Transitionspunkte zu identifizieren, können die offenbarten Systeme und Verfahren einen digitalen visuellen Inhalt auf eine Weise präsentieren, die der Energie und Emotion des digitalen Audioinhalts entspricht. Die offenbarten Systeme und Verfahren können daher zum Beispiel den digitalen visuellen Inhalt so modifizieren, dass er Variationen in dem Audioinhalt entspricht, wodurch eine digitale Medienpräsentation erzeugt wird, die emotionaler, erfinderischer und unterhaltsamer ist.
Zusätzlich können die Systeme und Verfahren, indem sie einen abklingenden Maskierungsschwellenwert verwenden, um Transitionspunkte zu identifizieren, sich wiederholende, vorhersagbare oder gehäuft auftretende Transitionen in digitalen Medienpräsentationen vermeiden. Insbesondere können die Systeme und Verfahren, indem sie einen abklingenden Maskierungsschwellenwert verwenden, Transitionspunkte identifizieren, die besonders signifikanten Punkten in dem digitalen Audioinhalt entsprechen. Ähnlich können die Systeme und Verfahren, indem sie einen abklingenden Maskierungsschwellenwert verwenden, vorhersehbare, sich wiederholende Transitionen vermeiden, während sie häufig auftretende Transitionen reduzieren, die die visuellen oder auditiven Fähigkeiten oder Präferenzen eines Benutzers stören könnten.
Zudem können die offenbarten Systeme und Verfahren, indem sie digitale Wirkungswerte verwenden, um Transitionspunkte zu identifizieren, die Zeit und den Aufwand, die bzw. der nötig ist, um digitale Medienpräsentationen zu erstellen, drastisch reduzieren. Tatsächlich kann ein Benutzer in einer oder in mehreren Ausführungsformen einfach einen digitalen visuellen Inhalt und einen digitalen Audioinhalt auswählen, und innerhalb von Sekunden eine digitale Medienpräsentation erstellen, die in der Lage ist, den digitalen visuellen Inhalt zusammen mit dem digitalen Audioinhalt auf unterhaltsame, innovative Weise anzuzeigen.
Zusätzliche Merkmale und Vorteile von beispielhaften Ausführungsformen der vorliegenden Offenbarung werden in der folgenden Beschreibung dargelegt und werden Teils offensichtlich sein aus der Beschreibung, oder können in Erfahrung gebracht werden bei der Verwirklichung solcher beispielhafter Ausführungsformen. Die Merkmale und Vorteile derartiger Ausführungsformen können verwirklicht und erhalten werden mittels der Instrumente und Kombinationen, die besonders dargelegt sind in den beigefügten Ansprüchen. Diese und andere Merkmale werden ersichtlicher aus der folgenden Beschreibung und den beigefügten Ansprüchen, oder können in Erfahrung gebracht werden beim Verwirklichen solcher beispielhafter Ausführungsformen, wie sie hiernach dargelegt sind. Die vorstehende Zusammenfassung ist keine extensive Übersicht, und sie ist nicht dazu gedacht, Schlüsselelemente zu identifizieren oder einen Bereich anzugeben. Vielmehr identifiziert die vorstehende Zusammenfassung Aspekte von Ausführungsformen als ein Präludium zu der nachfolgend präsentierten detaillierten Beschreibung.
Kurze Beschreibung der Zeichnungen
Um die Weise zu beschreiben, in welcher die oben genannten und andere Vorteile und Merkmale der Erfindung erhalten werden können, wird eine detailliertere Beschreibung der oben kurz beschriebenen Erfindung gegeben mit Bezug auf spezifische Ausführungsformen derselben, die in den beigefügten Zeichnungen dargestellt sind. Es sei bemerkt, dass die Figuren nicht maßstabgerecht sind und dass aus illustrativen Zwecken über die Figuren hinweg Elemente ähnlicher Struktur oder Funktion im Allgemeinen mit gleichen Bezugszeichen versehen sind. Mit dem Verständnis, dass diese Zeichnungen lediglich typische Ausführungsformen der Erfindung zeigen und daher nicht als deren Bereich beschränkend zu verstehen sind, wird die Erfindung in größerer Spezifizität und in größerem Detail unter Verwendung der beigefügten Zeichnungen beschrieben:
1 zeigt ein Spektrogramm, das einen digitalen Audioinhalt widerspiegelt, in Übereinstimmung mit einer oder mit mehreren Ausführungsformen;
2 zeigt ein modifiziertes Spektrogramm in Übereinstimmung mit einer oder mit mehreren Ausführungsformen;
3 zeigt ein geändertes Spektrogramm in Übereinstimmung mit einer oder mit mehreren Ausführungsformen;
4A zeigt eine Repräsentation des Erzeugens von Wirkungswerten bei einer bestimmten Zeitperiode in Übereinstimmung mit einer oder mit mehreren Ausführungsformen;
4B zeigt einen Liniengraphen von Wirkungswerte über die Zeit in Übereinstimmung mit einer oder mit mehreren Ausführungsformen;
5 zeigt Liniengraphen, die Modifikationen von Wirkungswerten repräsentieren, in Übereinstimmung mit einer oder mit mehreren Ausführungsformen;
6 zeigt die Anwendung eines abklingenden Maskierungsschwellenwerts in Übereinstimmung mit einer oder mit mehreren Ausführungsformen;
7 zeigt eine Repräsentation des Synchronisierens eines digitalen visuellen Inhalts mit einem digitalen Audioinhalt in Übereinstimmung mit einer oder mit mehreren Ausführungsformen;
8 zeigt ein schematisches Diagramm eines Publikationssystems in Übereinstimmung mit einer oder mit mehreren Ausführungsformen;
9 zeigt ein schematisches Diagramm einer beispielhaften Umgebung, in der das Publikationssystem arbeiten kann, in Übereinstimmung mit einer oder mit mehreren Ausführungsformen;
10 zeigt ein Flussdiagramm einer Reihe von Aktionen in einem Verfahren zum Erzeugen von digitalen Medienpräsentationen in Übereinstimmung mit einer oder mit mehreren Ausführungsformen; und
11 zeigt ein Blockdiagramm einer beispielhaften Rechnervorrichtung in Übereinstimmung mit einer oder mit mehreren Ausführungsformen.
Detaillierte Beschreibung
Eine oder mehrere Ausführungsformen der vorliegenden Offenbarung beinhalten ein digitales Medienpräsentationssystem. Insbesondere beinhalten eine oder mehrere Ausführungsformen ein digitales Medienpräsentationssystem, das einen Audioinhalt und einen Videoinhalt synchronisiert, um eine digitale Medienpräsentation zu erstellen. Genauer berechnet in einer oder in mehreren Ausführungsformen das digitale Medienpräsentationssystem Wirkungswerte, die mit dem digitalen Audioinhalt in Beziehung stehen, und verwendet die Wirkungswerte, um Transitionspunkte zu identifizieren. Weiter synchronisiert das digitale Medienpräsentationssystem den digitalen visuellen Inhalt mit dem digitalen Audioinhalt basierend auf den identifizierten Transitionspunkten.
Zum Beispiel berechnet das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen Wirkungswerte für eine Vielzahl von Zeitperioden, die mit dem digitalen Audioinhalt assoziiert sind, durch Berechnen einer Änderung in einem Energiemaß, das mit den Zeitperioden assoziiert ist. Das digitale Medienpräsentationssystem wählt dann Transitionspunkte basierend auf den Wirkungswerte in dem digitalen Audioinhalt aus unter Verwendung eines abklingenden Maskierungsschwellenwerts. Genauer klingt der abklingende Maskierungsschwellenwert ab, bis er einen ersten Wirkungswert kreuzt, nimmt in Antwort auf das Kreuzen des ersten Wirkungswerts zu, und kling wieder ab, bis er einen zweiten Wirkungswert kreuzt. In einer oder in mehreren Ausführungsformen verwendet das digitale Medienpräsentationssystem die gekreuzten Wirkungswerte, um Transitionspunkte auszuwählen. Weiter erstellt das digitale Medienpräsentationssystem eine Präsentation eines digitalen visuellen Inhalts durch Synchronisieren des digitalen visuellen Inhalts mit dem digitalen Audioinhalt basierend auf den ausgewählten Transitionspunkten.
In einer oder in mehreren Ausführungsformen berechnet das digitale Medienpräsentationssystem Wirkungswerte, um die Wirkung zu approximieren, die von einer Person erfahren wird, die den digitalen Audioinhalt hört. Anders gesagt können die Wirkungswerte signifikante Zeitperioden im digitalen Audioinhalt anzeigen. Das digitale Medienpräsentationssystem berechnet die Wirkungswerte durch Transformieren des digitalen Audioinhalts in Daten, welche ein Energiemaß widerspiegeln, das mit dem digitalen Audioinhalt assoziiert ist, und Analysieren von Änderungen in dem Energiemaß. Insbesondere berechnet das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen die Wirkungswerte basierend auf der Änderung in einem Energiemaß, das mit dem digitalen Audioinhalt assoziiert ist, über die Zeit. Zum Beispiel berechnet in wenigstens einer Ausführungsform das digitale Medienpräsentationssystem eine Differenz in einem Energiemaß bei zwei Zeitperioden in Bezug auf die Energiemenge, die bei der zweiten Zeitperiode vorliegt.
Das digitale Medienpräsentationssystem kann die Wirkungswerte mit Bezug auf Energiemaße berechnen, die mit bestimmten Aspekten des digitalen Audioinhalts assoziiert sind. Zum Beispiel wendet das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen einen oder mehrere Filter an, um bestimmte Energiemaße zu isolieren, wie etwa perkussive Energie, harmonische Energie oder lyrische Energie. Weiter kann das digitale Medienpräsentationssystem Wirkungswerte und Transitionspunkte berechnen, die für diese bestimmten Energiemaße spezifisch sind. Auf diese Weise kann das digitale Medienpräsentationssystem Transitionen betonen, die emotionaler sin (z. B. basierend auf harmonischer Energie im digitalen Audioinhalt) oder aufregender und rhythmisch sind (z. B. basierend auf perkussive Energie im digitalen Audioinhalt).
Durch Berechnen der Wirkungswerte kann das digitale Medienpräsentationssystem Energievariationen in dem digitalen Audioinhalt approximieren, die ein Benutzer beim Hören des digitalen Audioinhalts erfährt. Dementsprechend stellen Wirkungswerte ein nützliches Maß beim Auswählen von Transitionspunkten bereit. Dies gesagt, mögen die rohen Wirkungswerte selbst nicht geeignet sein, wünschenswerte Transitionspunkte zu identifizieren, auf Grund von menschlichen Hör- oder Sehfähigkeiten oder -präferenzen. Tatsächlich kann, selbst wenn ein bestimmter Moment im digitalen Audioinhalt mit einem hohen Wirkungswert assoziiert ist, eine Vielfalt von Faktoren einen Transitionspunkt als einen Transitionspunkt ungeeignet machen.
Wenn zum Beispiel eine Transition bei jedem signifikanten Ereignis im digitalen Audioinhalt bereitgestellt wird, resultiert dies oftmals in erwarteten, routinemäßigen Transitionspunkten. Obwohl eine bestimmte Zeitperiode einen hohen Wirkungswert haben mag, mag daher das Verwenden jedes hohen Wirkungswerts als einem Transitionspunkt in einer digitalen Medienpräsentation resultieren, die ein Benutzer als langweilig, monoton und dumpf empfindet.
Ähnlich tendiert ein signifikantes Ereignis im digitalen Audioinhalt dazu, die relative Wirkung zukünftiger Ereignisse (für eine Zeit) zu verringern. Zum Beispiel tendiert ein Crescendo dazu, nachfolgende rhythmische Percussion für eine Zeitdauer für einen Hörer insignifikant erscheinen zu lassen. Obwohl einige Zeitperioden hohe Wirkungswerte haben mögen, mag daher die relative Wirkung, die ein Hörer erfährt, wegen einem vorhergehenden signifikanten Ereignis in dem digitalen Audioinhalt viel geringer sein.
Dementsprechend wendet das digitale Medienrepräsentationssystem in einer oder in mehreren Ausführungsformen einen abklingenden Maskierungsschwellenwert an. Der abklingende Maskierungsschwellenwert hilft dabei, sich wiederholende, erwartete Transitionspunkte zu reduzieren, während er auch der relativen Reduktion in Wirkung, die von den Hörern erfahren wird, nach einem signifikanten Wirkungsereignis in dem digitalen Audioinhalt Rechnung trägt.
Genauer ist der abklingende Maskierungsschwellenwert ein Schwellenwert, der sich mit der Zeit verändert. Wie oben erwähnt kling der abklingende Maskierungsschwellenwert in einer oder in mehreren Ausführungsformen ab, bis der abklingende Maskierungsschwellenwert einen oder mehrere Wirkungswerte kreuzt. In Antwort auf dieses Kreuzen expandiert (z. B. erhöht sich) der abklingende Schwellenwert vorübergehend. Nach der Zunahme klingt der abklingende Maskierungsschwellenwert dann ab, bis der abklingende Maskierungsschwellenwert einen oder mehrere zusätzliche Wirkungswerte kreuzt. In einer oder in mehreren Ausführungsformen identifiziert das digitale Medienpräsentationssystem Audiointeressenwerte (z. B. potentielle Transitionspunkte), basierend auf den gekreuzten Wirkungswerten, während sich wiederholende, erwartete Transitionspunkte vermieden werden und die relative Reduktion in der Wirkung berücksichtigt wird, die von einem Hörer nach signifikant wirkenden Ereignissen erfahren wird.
Zusätzlich kann das digitale Medienpräsentationssystem auch Transitionspunkte auswählen, während es visuelle Beschränkungen, Fähigkeiten und Präferenzen berücksichtigt. Zum Beispiel haben viele Betrachter von digitalen Medienpräsentationen Schwierigkeiten, einen digitalen visuellen Inhalt bei (oder über) einer bestimmten Änderungsrate zu verarbeiten. Ähnlich tendieren Benutzer dazu, nach einer Änderung im digitalen visuellen Inhalt ein gesteigertes Interesse zu haben, das mit der Zeit abnimmt. In einer oder in mehreren Ausführungsformen berücksichtigt das digitale Medienpräsentationssystem visuelle Fähigkeiten und Präferenzen, indem es einen anderen abklingenden Maskierungsschwellenwert anwendet.
Insbesondere wendet das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen einen zweiten abklingenden Maskierungsschwellenwert an (z. B. wendet den zweiten abklingenden Maskierungsschwellenwert auf Wirkungswerte an, die modifiziert wurden unter Verwendung des abklingenden Maskierungsschwellenwerts, der oben diskutiert wurde). Zum Beispiel wendet das digitale Medienpräsentationssystem einen zweiten abklingenden Maskierungsschwellenwert mit anderen Eigenschaften als der anfängliche abklingende Maskierungsschwellenwert an. Das digitale Medienpräsentationssystem wendet einen zweiten abklingenden Maskierungsschwellenwert mit Parametern an, die individuelle Sehfähigkeiten oder -präferenzen approximieren.
Insbesondere unterscheiden sich visuelle Fähigkeiten oder Präferenzen oftmals abhängig von Merkmalen des bestimmten digitalen visuellen Inhalts, der angezeigt wird. Zum Beispiel wird die Änderungsrate, mit der Personen komfortabel Änderungen im digitalen visuellen Inhalt aufnehmen können, oftmals von den Merkmalen des digitalen visuellen Inhalts abhängen. Beispielsweise können Personen allgemein schneller mehrere Bilder verarbeiten, die Repräsentationen derselben Person enthalten, als mehrere Bilder, die Repräsentationen mehrerer unterschiedlicher Personen enthalten Dementsprechend kann das digitale Medienpräsentationssystem Merkmale eines digitalen visuellen Inhalts erkennen und dessen Betrieb basierend auf den Merkmalen des digitalen visuellen Inhalts anpassen. Zum Beispiel passt die digitale Medienpräsentation die Abklingrate eines abklingenden Maskierungsschwellenwerts abhängig von den Merkmalen des digitalen visuellen Inhalts an (z. B. eine Bestimmung, dass zwei Bilder Repräsentationen derselben Person enthalten). Neben dem Anpassen von Parametern, die sich auf einen abklingenden Maskierungsschwellenwert beziehen, basierend auf den Merkmalen eines digitalen visuellen Inhalts, kann das digitale Medienpräsentationssystem verschiedene Parameter in Antwort auf eine Vielfalt von anderen Faktoren anpassen.
Nach Anwenden von einem oder mehreren abklingenden Maskierungsschwellenwerten stellt das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen eine oder mehrere digitale Medienpräsentationen bereit bzw. erzeugt diese. Insbesondere synchronisiert das digitale Medienpräsentationssystem den digitalen Audioinhalt und den digitalen visuellen Inhalt unter Verwendung der Transitionspunkte. Zum Beispiel zeigt das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen ein erstes visuelles digitales Inhaltselement an, während es den digitalen Audioinhalt abspielt, und nach Erreichen eines Transitionspunkts in dem digitalen Audioinhalt zeigt die digitale Medienpräsentation ein zweites visuelles digitales Inhaltselement an.
In einer oder in mehreren Ausführungsformen kann die digitale Medienpräsentation auch verschiedene Transitionseffekte auswählen, um den digitalen visuellen Inhalt mit dem digitalen Audioinhalt zu synchronisieren. Beispielsweise kann ein Transitionseffekt einen unmittelbaren Wechsel von einem Bild zu einem anderen umfassen, ein Überblenden von einem Bild zu einem anderen, ein transitionelles Videosegment zwischen Bildern oder andere Transitionstypen. Eine oder mehrere Ausführungsformen der digitalen Medienpräsentation können einen Transitionseffekt auswählen basierend auf dem digitalen Audioinhalt. Beispielsweise verbleicht die digitale Medienpräsentation in einer oder in mehreren Ausführungsformen die Dauer eines Transitionseffekts mit der Dauer eines Audioereignisses, das den Transitionspunkt triggert, um einen Transitionstyp für die digitale Medienpräsentation auszuwählen.
Wie hierin verwendet, bezieht sich der Begriff ”digitaler visueller Inhalt” auf alle digitalen visuellen Medien. Insbesondere beinhaltet digitaler visueller Inhalt Digitalbilder, Digitalfotos, Digitalvideo, GIFs oder jedes andere digitale Medium das in der Lage ist, zur Anzeige präsentiert zu werden. Digitaler visueller Inhalt beinhaltet digitale visuelle Medien jedes Formats oder Typs, einschließlich, ohne hierauf beschränkt zu sein, JPEG, TIFF, PDF, BMP, PNG, RIF, MOV, WMV, MP4, MPG, M4V, RM, AVI oder FLV. Digitaler visueller Inhalt kann auch eine Sammlung digitaler visueller Medien beinhalten. Zum Beispiel kann digitaler visueller Inhalt eine Galerie von Bildern und Videos beinhalten, die auf einer Mobilvorrichtung gespeichert sind, eine Gruppe von Bildern, die auf einem entfernten Server (z. B. eine Cloud) gespeichert sind, oder eine andere Sammlung. Weiter kann digitaler visueller Inhalt eine Teilmenge einer größeren Sammlung beinhalten, wie eine Vielzahl von Bildern, die von einem Benutzer aus einer Fotogalerie auf einer Mobilvorrichtung ausgewählt wurden.
Wie hierin verwendet, bezieht sich der Begriff ”digitaler Audioinhalt” auf alle digitalen Audiomedien. Insbesondere beinhaltet digitaler Audioinhalt digitale Musik, digitale Audioaufzeichnungen, digitale Audiotracks oder andere digitalen Audiomedien. Digitaler Audioinhalt beinhaltet digitale Audiomedien jedes Formats oder Typs, einschließlich, ohne hierauf beschränkt zu sein, WAV, WV, M4A, MPEG, WMA oder MP3. Digitaler Audioinhalt kann auch den Audioteil eines anderen Medientyps beinhalten. Zum Beispiel eine Audiospur zu einem Film. Daher beinhaltet digitaler Audioinhalt den Audioteil einer Vielfalt von digitalen Videoformaten, einschließlich, ohne hierauf beschränkt zu sein, MOV, WMV, MP4, MPG, M4V, RM, AVI oder FLV. Digitaler Audioinhalt kann auch eine Sammlung von Soundtracks beinhalten, wie eine Play List, eine Sammlung von Musik, die auf eine Compact Disc gebrannt ist, eine Musikbibliothek oder eine andere geeignete Sammlung. Ähnlich kann digitaler Audioinhalt eine Teilmenge einer größeren Sammlung beinhalten, wie eine Vielzahl von Liedern, die von einem Benutzer aus einer größeren Musikbibliothek auf einer Mobilvorrichtung ausgewählt wurde.
Wie hierin verwendet, bezieht sich der Begriff ”Energiemaß” auf einen Wert, der die Energie, Intensität, Leistung, Amplitude, Lautstärke oder Lautheit repräsentiert, die mit dem digitalen Audioinhalt assoziiert ist. Zum Beispiel beinhaltet der Begriff Energiemaß die Amplitude, die einem bestimmten Frequenzbereich zu einem bestimmten Zeitpunkt zuzuordnen ist mit Bezug auf den digitalen Audioinhalt. Der Begriff Energiemaß beinhaltet Messungen in einer Vielfalt von Einheiten, einschließlich, aber nicht beschränkt auf, N/m2, Watt, W/m2, Dezibel, Phon, Sone oder andere Einheiten. Der Begriff Energiemaß beinhaltet auch Messungen ohne Einheiten, wie ein Energiemaß, das normalisiert wurde. Zum Beispiel würde der Begriff Energiemaß einen normalisierten Amplitudenwert beinhalten, der als ein Verhältnis eines anderen Amplitudenwerts ausgedrückt wird (z. B. normalisiert mit Bezug auf einen Schwerpunktswert).
Wie hierin verwendet, bezieht sich der Begriff ”Wirkungswert” auf einen Wert, der die Änderung in einem Energiemaß repräsentiert, das mit dem digitalen Audioinhalt assoziiert ist, über die Zeit. Beispielsweise beinhaltet der Begriff Wirkungswert ein Maß der Änderung in Energie über die Zeit in Bezug auf ein Energiemaß, das mit einer Zeitperiode assoziiert ist. Der Wirkungswert kann unter Verwendung einer Vielfalt von Methoden berechnet werden, wie hierin beschrieben.
Wie hierin verwendet, bezieht sich der Begriff ”Transitionspunkt” auf einen Zeitpunkt (oder eine Zeitperiode) zum Modifizieren der Präsentation eines digitalen visuellen Inhalts in Bezug auf den digitalen Audioinhalt. Der Begriff Transitionspunkt beinhaltet das Wechseln vom Anzeigen eines ersten Bildes zum Anzeigen eines zweiten Bildes über eine Zeitperiode in Bezug auf den digitalen Audioinhalt. Der Begriff Transitionspunkt beinhaltet auch einen Zeitpunkt zum Wechseln vom Anzeigen eines ersten Teils einer Videosequenz zum Anzeigen eines zweiten Teils einer Videosequenz; Wechseln vom Anzeigen eines Bildes zum Anzeigen a Videosequenz; Wechseln vom Anzeigen eines Bildes zum Anzeigen des Bildes mit einem oder mehreren angewandten Effekten (z. B. Änderung in der Farbe; Änderung im Zoom; Änderung in der Position mit Bezug auf eine Anzeige); Anzeigen eines Transitionseffekts (z. B. ein Einblenden oder Ausblenden; Anzeigen einer Transitionssvideosequenz; oder Anzeigen eines Transitionstexts); oder andere Modifikationen eines digitalen visuellen Inhalts in Bezug auf den digitalen Audioinhalt.
Mit Bezug nun auf 1 werden weitere Details bezüglich des Betriebs des digitalen Medienpräsentationssystems angegeben. Wie oben erwähnt konvertiert in einer oder in mehreren Ausführungsformen, das digitale Medienpräsentationssystem einen digitalen Audioinhalt in Daten, die ein Energiemaß widerspiegeln, das dem digitalen Audioinhalt über die Zeit zuzuordnen ist. 1 zeigt ein Spektrogramm 100 mit Bezug auf einen Teil des digitalen Audioinhalts, der in einer digitalen Medienpräsentation verwendet werden soll. Insbesondere präsentiert das Spektrogramm 100 Variationen in der Amplitude bestimmter Frequenzen mit Bezug auf den digitalen Audioinhalt über die Zeit. Das Spektrogramm 100 repräsentiert die Zeit, die mit dem digitalen Audioinhalt assoziiert ist, entlang der X Achse, Frequenzen, die mit dem digitalen Audioinhalt assoziiert sind, entlang der Y Achse, und Amplituden der verschiedenen Frequenzen zu bestimmten Zeitperioden unter Verwendung von Schattierungen gemäß einer Schattierungstabelle 102. Dementsprechend repräsentiert jede Schattierung in dem Spektrogramm 100 eine Amplitude des Liedes bei einer bestimmten Frequenz zu einer bestimmten Zeitperiode.
Obwohl die Y Achse des Spektrogramms 100 die Frequenz in Hz zeigt, wird verstanden werden, dass das Spektrogramm 100 eine andere Maßeinheit verwenden kann, einschließlich einer anderen Einheit der Frequenz. Ähnlich wird verstanden werden, dass obwohl das Spektrogramm 100 Variationen in der Amplitude zeigt, das Spektrogramm 100 ein beliebiges Energiemaß beinhalten kann. Beispielsweise kann das Spektrogramm 100 (z. B. die Schattierungsskala 102) einen beliebigen Betrag der Energie, Intensität, Leistung, Amplitude, Lautstärke, oder Lautheit, die mit dem digitalen Audioinhalt assoziiert ist, verwenden.
In einer oder in mehreren Ausführungsformen erzeugt das digitale Medienpräsentationssystem das Spektrogramm 100 durch Anwenden einer Frequenzgewichtung auf den digitalen Audioinhalt, um die vom menschlichen Ohr wahrgenommene relative Lautheit zu berücksichtigen. Zum Beispiel wendet das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen eine A-Gewichtung auf das Lied an, um das Spektrogramm 100 zu erzeugen. In alternativen Ausführungsformen mag das digitale Medienpräsentationssystem eine B-Gewichtung, eine C-Gewichtung, eine D-Gewichtung, eine Z-Gewichtungskurve, oder eine alternative Frequenzgewichtung anwenden. Das Spektrogramm 100 spiegelt das Lied nach Anwenden einer A-Gewichtungskurve wider.
Des Weiteren erzeugen eine oder mehrere Ausführungsformen das Spektrogramm 100 durch Abbilden von Werten in Bereiche. Insbesondere unterteilt das digitale Medienpräsentationssystem den digitalen Audioinhalt in eine Anzahl oder Vielfalt von Frequenzbereichen. Beispielsweise verwenden eine oder mehrere Ausführungsformen 2048 Frequenzbereiche unterschiedlicher Größen. Insbesondere verwenden eine oder mehrere Ausführungsformen kleinere Bereiche bei niedrigeren Frequenzen und größere Bereiche bei höheren Frequenzen. Zum Beispiel unterteilen eine oder mehrere Ausführungsformen das Spektrogramm in 2048 Frequenzklassen (das heißt, Bereiche) über eine Frequenzantwort von 22050 Hz. Ähnlich betonen eine oder mehrere Ausführungsformen niedrigere Frequenzen (das heißt, enthalten zusätzliche Klassen bei niedrigeren Frequenzbereichen), um Bassnoten aufzulösen. Das digitale Medienpräsentationssystem kann das Spektrogramm in eine Vielfalt von Bereichen abbilden.
Eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems modifizieren die gewichteten Werte von dem Spektrogramm 100 weiter, um einem oder mehrere Wirkungswerte zu berechnen. Beispielsweise zeigt 2 ein modifiziertes Spektrogramm 200, das auf dem Spektrogramm 100 beruht. Insbesondere hat das digitale Medienpräsentationssystem das Spektrogramm 100 dadurch modifiziert, dass die Y Achse in Bereiche oder Klassen unterteilt wird. Genauer hat das digitale Medienpräsentationssystem das Spektrogramm 100 in 320 Bereiche entlang der Y Achse abgebildet, wobei jeder Bereich (oder Klasse) eine gewisse Frequenzspanne repräsentiert. Es wird verstanden werden, dass obwohl 2 eine bestimmte Anzahl von Bereichen zeigt, andere Ausführungsformen des digitalen Medienpräsentationssystems eine andere Anzahl von Bereichen und andere Messeinheiten verwenden mögen.
Wie durch das modifizierte Spektrogramm 20 gezeigt, hat das digitale Medienpräsentationssystem auch die Amplitudenwerte des Spektrogramms 100 geändert. Insbesondere hat das digitale Medienpräsentationssystem die Amplitudenwerte normalisiert. In einer oder in mehreren Ausführungsformen normalisiert das digitale Medienpräsentationssystem die Amplitudenwerte basierend auf einem Schwerpunkt. Ein Schwerpunkt ist das multivariate Äquivalent eines Mittelwerts, der die Summe der Abstandsquadrate zu einem Punkt in einem bestimmten Raum minimiert. Wie hier diskutiert repräsentiert der Schwerpunkt den Punkt der die Summe der Quadrate mit Bezug das Energiemaß über alle Bereiche des Spektrogramms minimiert. Anders gesagt repräsentiert der Schwerpunkt den Mittelpunkt eines Energiemaßes, das mit dem digitalen Audioinhalt assoziiert ist. Das digitale Medienpräsentationssystem kann den Schwerpunkt gemäß einer Vielfalt von Methoden oder Ansätzen berechnen. In einer Ausführungsform berechnet das digitale Medienpräsentationssystem den Schwerpunkt jedoch wie folgt:
wobei C den Wert des Schwerpunkts repräsentiert, E das Energiemaß eines jeden Bereichs repräsentiert, R die Größe des Bereichs repräsentiert (z. B. die Anzahl an Frequenzen, die durch den Bereich repräsentiert werden), und n die Gesamtzahl von Bereichen über das gesamte Spektrum repräsentiert. In einer oder in mehreren Ausführungsformen berechnet das digitale Medienpräsentationssystem daher einen Schwerpunkt über die gesamte Menge von Spektrogrammwerten (das heißt, der Schwerpunkt der Amplitude, der Lautheit oder eines anderen Energiemaßes, das von einem Spektrogramm verwendet wird).
Weiter, wie gerade diskutiert, normalisiert das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen das Spektrogramm basierend auf dem Schwerpunkt. Beispielsweise berechnen eine oder mehrere Ausführungsformen den Schwerpunkt und normalisieren dann die Amplitudenwerte so, dass der Schwerpunkt auf 0,5 gesetzt wird. Beispielsweise verwenden eine oder mehrere Ausführungsformen die folgende Gleichung, um das Spektrogramm zu normalisieren: N = E / 2C wobei N das normalisierte Energiemaß ist, E das ursprüngliche Energiemaß ist, und C der Wert des Schwerpunkts des Energiemaßes über die gesamte Menge von Spektrogrammwerten ist. Es wird verstanden werden, dass Ausführungsformen des digitalen Medienpräsentationssystems andere Ansätze verwenden können, um das Spektrogramm 100 zu normalisieren, einschließlich dem Normalisieren des Spektrogramms 100 unter Verwendung alternativer Ansätze oder Normalisieren des Spektrogramms 100, so dass der Schwerpunkt auf einen alternativen Wert normalisiert wird.
Weiter normalisieren alternative Ausführungsformen des digitalen Medienpräsentationssystems Werte, die mit dem Spektrogramm 100 assoziiert sind, unter Verwendung anderer Werte oder Maße. Beispielsweise kann das digitale Medienpräsentationssystem das Spektrogramm 100 normalisieren, indem es ein einfaches Mittel, einen Median oder einen anderen Modus der Amplitude (oder eines anderen Energiemaßes) berechnet. Ähnlich können alternative Ausführungsformen das Spektrogramm 100 basierend auf einem vordefinierten Normalisierungswert normalisieren.
Wie in 2 gezeigt, erzeugt in einer oder in mehreren Ausführungsformen das Normalisieren der Amplitudenbereiche ein Spektrogramm, wo der größte Teil des Signals von dem digitalen Audioinhalt zwischen 0 und 1 fällt, wobei nur ein kleiner Anteil der Werte 1 überschreitet. Das digitale Medienpräsentationssystem verwendet normalisierte Energiemaße, um bestimmte Bereiche anzuheben und/oder signifikante Energiemaße hervorzuheben. Beispielsweise normalisiert das digitale Medienpräsentationssystem Werte, die mit dem Spektrogramm 100 assoziiert sind, und hebt spezifische Frequenzbereiche an, indem eine Kurve angewandt wird.
Genauer wenden eine oder mehrere Ausführungsformen auf das Spektrogramm 200 eine Kurve der folgenden Form an: N_γ = N^γ wobei N_γ ein modifiziertes normalisiertes Energiemaß nach Anwenden des Gammawerts ist, N ein normalisiertes Energiemaß ist, und γ einen ausgewählten Gammawert repräsentiert. Beispielsweise verwendet das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen einen Gammawert von 1,5 mit Bezug auf das normalisierte Energiemaß in dem Spektrogramm 200, um bestimmte Frequenzbereiche anzuheben (z. B. Frequenzbereiche anzuheben, wo das normalisierte Energiemaß 1 überschreitet).
Insbesondere zeigt 3 das modifizierte Spektrogramm 200 nach Anwenden einer Kurve mit einem Gammawert von 1,5. 3 zeigt ein geändertes Spektrogramm 300, das Frequenzbereiche (oder Klassen) entlang der Y Achse, Zeit entlang der X Achse zeigt, mit einer Graustufenskala, welche normalisierte Energiemaße nach Anwenden einer Kurve für jeden Bereich zu jeder Zeit repräsentiert. Wie aus dem modifizierten Spektrogramm 200 (wo ein signifikanter Teil des modifizierten Spektrogramms 200 in denselben Teil der Grauskala fällt) und dem geänderten Spektrogramm 300 (wo das Energiemaß für verschiedene Bereiche signifikanter über die Grauskala variiert) gesehen werden kann, kann das Anwenden einer Kurve dabei helfen, Differenzen zwischen Energiemaßen bei bestimmten Bereichen und Zeiten zu verstärken.
Das digitale Medienpräsentationssystem kann einen Gammawert basierend auf einer Vielfalt von Faktoren auswählen. Beispielsweise wählt das digitale Medienpräsentationssystem einen Gammawert basierend auf der Verteilung eines Energiemaßes aus, die mit dem digitalen Audioinhalt assoziiert ist (z. B. kann eine große Differenz zwischen einem maximalen und einem minimalen Energiemaß einen kleineren Gammawert indizieren), basierend auf einem Typ des digitalen Audioinhalts (z. B. können Genres, die dazu tendieren, kleine Variationen in Energie zu haben, einen größeren Gammawert indizieren), basierend auf einer Benutzereingabe oder einem anderen Faktor.
Es wird verstanden werden, dass alternative Ausführungsformen des digitalen Medienpräsentationssystems alternative Gammawerte und/oder alternative Kurvenformen verwenden können. Das Anwenden einer Kurve auf die normalisierten Werte hilft jedoch dabei, Transitionspunkte aus berechneten Wirkungswerten einfacher zu identifizieren.
Wie zuvor diskutiert, berechnet das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen einen oder mehrere Wirkungswerte (das heißt, Werte, welche eine Änderung in einem Energiemaß repräsentieren, das mit dem digitalen Audioinhalt assoziiert ist, über die Zeit). Insbesondere berechnet das digitale Medienpräsentationssystem in wenigstens einer Ausführungsform Wirkungswerte unter Verwendung normalisierter Energiemaße (nach Anwenden einer Kurve unter Verwendung eines Gammawerts), beschrieben mit Bezug auf 3.
Insbesondere zeigen 4A–4B das Berechnen von Wirkungswerten mit Bezug auf einen digitalen Audioinhalt gemäß einer oder mehrerer Ausführungsformen. 4A zeigt das Berechnen von Wirkungswerten zu einer bestimmten Zeit t, gemäß einer oder mehrerer Ausführungsformen. Genauer zeigt 4A eine Repräsentation einer Spektrogrammspalte zu einer ersten Zeit 402 und eine Spektrogrammspalte zu einer zweiten Zeit 404. In einer oder in mehreren Ausführungsformen repräsentieren die Spalten 402 und 404 benachbarte vertikale Spalten in dem geänderten Spektrogramm 300.
Insbesondere repräsentiert die Spektrogrammspalte zu der ersten Zeit 402 ein Energiemaß für jeden Bereich zur Zeit t – 1. Ähnlich beinhaltet das Spektrogrammspalte zu der zweiten Zeit 404 ein Energiemaß für jeden Bereich zu einer bestimmten Zeit t. In einer oder in mehreren Ausführungsformen berechnet das digitale Medienpräsentationssystem Wirkungswerte durch Vergleichen des Energiemaßes zu Zeiten t und t – 1.
Genauer enthält die Spalte 402 ein normalisiertes Energiemaß nach Anwenden eines Gammawerts für jeden Frequenzbereich im Spektrogramm 300 zur Zeit t – 1. Ähnlich enthält die Spalte 402 ein normalisiertes Energiemaß nach Anwenden eines Gammawerts für jeden Frequenzbereich im Spektrogramm 300 zur Zeit t. In einer oder in mehreren Ausführungsformen berechnet das digitale Medienpräsentationssystem Wirkungswerte für jeden Frequenzbereich (das heißt bereichsspezifische Wirkungswerte) durch Berechnen der Änderung in einem Energiemaß über die Zeit in Bezug auf das Energiemaß bei einer bestimmten Zeitperiode. Mit Bezug auf die in 4A gezeigte Ausführungsform nimmt das digitale Medienpräsentationssystem die Differenz in einem Energiemaß zwischen der Zeit t, und der Zeit t – 1, und multipliziert die Differenz mit dem Energiemaß zur Zeit t. Anders gesagt berechnet mit Bezug auf die Ausführungsform von 4A das digitale Medienpräsentationssystem bereichsspezifische Wirkungswerte gemäß der Gleichung: I(t)_i = (N_γ(t)_i – N_γ(t – 1)_i)N_γ(t)_i wobei I(t)_i ein Wirkungswert für den Bereich zur Zeit t ist; N_γ(t)_i ein Energiemaß (z. B. ein normalisiertes Energiemaß nach Anwenden eines Gammawerts) zur Zeit t und Bereich i ist; N_γ(t – 1)_i ein Energiemaß (z. B. ein normalisiertes Energiemaß nach Anwenden eines Gammawerts) zur Zeit t – 1 und Bereich ist; und n die Anzahl an Bereichen in einem Spektrogramm ist (z. B. 320 mit Bezug auf die spezifische Ausführungsform von 3). Die bereichsspezifischen Wirkungswerte werden in 4A in einer Spalte 406 bereichsspezifische Wirkungswerte repräsentiert. Diese bereichsspezifischen Wirkungswerte stellen ein Maß der Wirkung für jeden Bereich bei jeder Zeitperiode in dem geänderten Spektrogramm 300 bereit.
Weiter berechnet das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen den Wirkungswert für die Zeitperiode t durch Summieren der bereichsspezifischen Wirkungswerte zur Zeit t. Wie in 4A gezeigt, kann daher das digitale Medienpräsentationssystem einen Wirkungswert 408 zur Zeit t berechnen durch Addieren jedes Werts in der bereichsspezifischen Wirkungswertspalte 406. Anders gesagt wird das Berechnen eines Wirkungswerts zur Zeit t in einer oder in mehreren Ausführungsformen gemäß der folgenden Gleichung repäsentiert:
wo I(t) ein Wirkungswert zur Zeit t; N_γ(t)_i is a Energiemaß (z. B. ein normalisiertes Energiemaß nach Anwenden eines Gammawerts) zur Zeit t und Bereich i ist; und N (t – 1) ein Energiemaß (z. B. ein normalisiertes Energiemaß nach Anwenden eines Gammawerts) zur Zeit t – 1 und Bereich i ist; und n ist die Anzahl an Frequenzbereichen in einem Spektrogramm zur Zeit t.
Es wird verstanden werden, dass das digitale Medienpräsentationssystem Wirkungswerte berechnen kann unter Verwendung jedes beliebigen Energiemaßes über eine bestimmte Zeitperiode. Tatsächlich kann das digitale Medienpräsentationssystem, obwohl 4A das Berechnen von Wirkungswerten unter Verwendung eines normalisierten Energiemaßes (nach Anwenden eines Gammawerts) zeigt, Wirkungswerte berechnen basierend auf normalisierten Werten ohne Anwendung eines Gammawerts, basierend auf nicht normalisierten Werten, oder basierend auf jedem beliebigen hierin diskutierten Energiemaß.
Des Weiteren kann, auch wenn die 4A das Berechnen von Wirkungswerten durch Multiplizieren einer Differenz in einem Energiemaß zwischen zwei Zeitpunkten mit der Energiemenge zum zweiten Zeitpunkt zeigt, das digitale Medienpräsentationssystem den Wirkungswert unter Verwendung einer Vielfalt von alternativen Ansätzen berechnen. Anstatt zum Beispiel eine Änderung in einem Energiemaß zu berechnen, indem in der Zeit zurückgeblickt wird (das heißt zwischen der Zeitperiode t und der Zeitperiode t – 1), berechnet eine oder berechnen mehrere Ausführungsformen Wirkungswerte durch Ermitteln der Differenz zwischen einem Energiemaß zu einer ersten Zeit t und einer zweiten Zeitperiode, t + 1, und Multiplizieren der Differenz mit dem Energiemaß zu der ersten Zeit t.
Des Weiteren berechnen eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems Wirkungswerte durch Bestimmen einer Differenz zwischen einem Energiemaß über mehr als zwei Zeitperioden. Beispielsweise berechnet das digitale Medienpräsentationssystem eine Differenz zwischen einem Energiemaß zwischen drei oder mehr Zeitperioden, um Wirkungswerte zu berechnen.
Ähnlich kann das digitale Medienpräsentationssystem Wirkungswerte berechnen (das heißt, eine Änderung in einem Energiemaß über die Zeit) unter Verwendung eines anderen mathematischen Konstrukts. Anstatt eine Änderung in Energie mit einem Energiemaß zu multiplizieren, berechnen eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems Wirkungswerte beispielsweise durch Dividieren einer Änderung in Energie durch ein Energiemaß. Ähnlich berechnen andere Ausführungsformen Wirkungswerte als ein Verhältnis zwischen einem ersten Energiemaß zu einer ersten Zeitperiode und einem zweiten Energiemaß zu einer zweiten Zeitperiode.
Zusätzlich wird verstanden werden, dass obwohl 4A das Berechnen der bereichsspezifischen Wirkungswerte zeigt, alternative Ausführungsformen des digitalen Medienpräsentationssystems keine solchen spezifischen Berechnungen erfordern. Beispielsweise berechnet das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen ein Gesamtenergiemaß für jede Zeitperiode und verwendet das Gesamtenergiemaß für jede Zeitperiode, um einen Wirkungswert für jede Zeitperiode zu berechnen. Auf diese Weise mag das digitale Medienpräsentationssystem keinen bereichsspezifischen Wirkungswert berechnen beim Berechnen eines Gesamtwirkungswerts für eine Zeitperiode.
Ungeachtet dem spezifischen Berechnungsverfahren berechnet das digitale Medienpräsentationssystem jedoch Wirkungswerte über die Zeit mit Bezug auf den digitalen Audioinhalt. Zum Beispiel zeigt 4B die Wirkungswerte über die Zeit für den digitalen Audioinhalt, der zuvor im Spektrogramm 100, im modifizierten Spektrogramm 200 und dem geänderten Spektrogramm 300 widergespiegelt wurde. Insbesondere zeigt 4B einen Liniengraphen 410, der die Wirkungswerte des digitalen Audioinhalts über die Zeit zeigt. Genauer zeigt der Liniengraph 410 Wirkungswerte, die berechnet wurden durch Summieren der bereichsspezifischen Wirkungswerte für jede Zeitperiode, die in dem geänderten Spektrogramm 300 repräsentiert ist.
4B repräsentiert ein ungefiltertes Maß von Wirkungswerten; das heißt, das digitale Medienpräsentationssystem verwendet ungefilterte Energiemaße, um die Wirkungswerte zu berechnen. Eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems wenden jedoch einen oder mehrere Filter an, um die Wirkungswerte mit Bezug auf bestimmte Aspekte des digitalen Audioinhalts zu berechnen. Zum Beispiel kann das digitale Medienpräsentationssystem Filter anwenden, um perkussive Energiemaße, harmonische Energiemaße oder lyrische Energiemaße zu isolieren. Indem nach perkussiver Energie, harmonischer Energie oder lyrischer Energie gefiltert wird, berechnet das digitale Medienpräsentationssystem Wirkungswerte spezifisch für die perkussive Wirkung, harmonische Wirkung oder lyrische Wirkung.
Mit Bezug auf 3 tendieren beispielsweise vertikale Muster (z. B. vertikale Linien), die durch das modifizierte Spektrograph 300 verlaufen, dazu, eine perkussive Energie anzuzeigen (z. B. eine Energie, die aus musikalischer Percussion, wie Schlagzeug, resultiert). Ähnlich tendieren horizontale Muster über das Spektrograph 300 dazu, harmonische Energie anzuzeigen (z. B. Energie, die von harmonischen Noten kommt, wie ein Gitarrenakkord). Das Fokussieren auf einen bestimmten Typ an Energie erlaubt es dem digitalen Medienpräsentationssystem, einen bestimmten Typ von Wirkungswert zu berechnen, fokussiert auf eine bestimmte Art von Wirkung auf einen Hörer. Beispielsweise tendieren Transitionspunkte, die ausgewählt werden basierend auf harmonischer oder lyrischer Wirkung dazu, einer digitalen Medienpräsentation ein emotionaleres „Gefühl” zu geben. Ähnlich tendieren Transitionspunkte, die ausgewählt werden basierend auf perkussiver Wirkung dazu, in einer knackigeren, rhythmischeren digitalen Medienpräsentation zu resultieren.
Das digitale Medienpräsentationssystem kann unterschiedliche Filter anwenden, basierend auf dem Typ des digitalen Audioinhalts, dem Typ eines digitalen visuellen Inhalts, Merkmalen des digitalen Audioinhalts, Merkmalen des digitalen visuellen Inhalts, Benutzereingabe oder anderen Faktoren. Beispielsweise bestimmt das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen ein Genre, das mit dem digitalen Audioinhalt assoziiert ist (z. B. ein Liebeslied), und basierend auf dieser Bestimmung wendet es einen Filter an, der harmonische und lyrische Energie isoliert, beim Berechnen der Wirkungswerte.
Weiter, in einer oder in mehreren Ausführungsformen, anstelle einen einzelnen Filter anzuwenden, um einen einzigen Typ an Energie zu isolieren, wendet das digitale Medienpräsentationssystem mehrere Filter an und/oder berechnet mehrere gefilterte Wirkungswerte. Beispielsweise berechnet das digitale Medienpräsentationssystem sowohl perkussive Wirkungswerte basierend auf einem Maß an perkussiver Energie als auch harmonische Wirkungswerte basierend auf einem Maß an harmonischer Energie. Das digitale Medienpräsentationssystem wählt dann Transitionspunkte basierend auf sowohl perkussiven Wirkungswerten als auch harmonischen Wirkungswerten aus. Ähnlich kann das digitale Medienpräsentationssystem perkussive Wirkungswerte mit Bezug auf bestimmte Teile des digitalen Audioinhalts oder des digitalen Medieninhalts verwenden, und harmonische Wirkungswerte mit Bezug auf andere Teile des digitalen Audioinhalts oder des digitalen Medieninhalts verwenden.
Obwohl 1–4B und die entsprechenden Beschreibungen Spektrogramme verwendet haben, um den Betrieb des digitalen Medienpräsentationssystems zu beschreiben, wird es verstanden werden, dass das digitale Medienpräsentationssystem digitale Audioinhalte unter Verwendung einer Vielfalt von alternativen Mitteln konvertieren und analysieren kann. Beispielsweise kann das digitale Medienpräsentationssystem Tabellen, Felder, Matrizen und eine Vielfalt von anderen digitalen Elementen verwenden, um die oben beschriebenen Funktionen auszuführen. Es wird verstanden werden, dass die Darstellungen und Diskussionen mit Bezug auf Spektrogramme beispielhaft und nicht beschränkend sind im Hinblick auf die Operation des digitalen Medienpräsentationssystems.
Wie oben diskutiert stellen die Wirkungswerte ein nützliches Mittel zum bereit, um zu identifizieren, wie ein Hörer einen digitalen Audioinhalt erfahren oder wahrnehmen wird. Dies gesagt, verwenden eine oder mehrere Ausführungsformen eine oder mehrere abklingende Maskierungsfilter, um Transitionspunkte zu identifizieren, die die menschlichen visuellen und auditiven Fähigkeiten und Präferenzen genauer reflektieren. Insbesondere zeigt 5 die Anwendung eines abklingenden Maskierungsschwellenwerts in Übereinstimmung mit einer oder mit mehreren Ausführungsformen des digitalen Medienpräsentationssystems. Genauer zeigt 5, wie das digitale Medienpräsentationssystem einen abklingenden Maskierungsschwellenwert anwendet, um Audioereignisse auszufiltern und Audiointeressenwerte zu erzeugen (das heißt, potentielle Transitionspunkte, die menschlichen auditiven Fähigkeiten und Präferenzen Rechnung tragen).
Genauer zeigt 5 einen Graphen 500, der Wirkungswerte 502 enthält (entsprechend den in 4B gezeigten Wirkungswerten), zusammen mit einem abklingenden Maskierungsschwellenwert 504, einer Differenzlinie 506 und schließlich Audiointeressenwerten 508. In einer oder in mehreren Ausführungsformen erzeugt das digitale Medienpräsentationssystem den abklingenden Maskierungsschwellenwert 504; vergleicht den abklingenden Maskierungsschwellenwert 504 mit den Wirkungswerten 502, um die Differenzlinie 506 zu erzeugen; und verwendet positive Teile der Differenzlinie 506, um Audiointeressenwerte zu berechnen. Audiointeressenwerte 508 identifizieren potentielle Transitionspunkte zum Synchronisieren des digitalen visuellen Inhalts mit dem digitalen Audioinhalt.
Wie oben erwähnt, hilft ein abklingender Maskierungsschwellenwert beim Identifizieren von Transitionspunkten aus Wirkungswerten. Genauer ist in einer oder in mehreren Ausführungsformen der abklingende Maskierungsschwellenwert 504 ein Wert oder eine Funktion, der bzw. die über die Zeit abklingt (z. B. abfällt), bis er bzw. sie sich mit einem anderen Wert oder einer anderen Funktion kreuzt. Zum Beispiel mit Bezug auf 5 klingt der abklingende Maskierungsschwellenwert 504 ab, bis er die Wirkungswerte 502 beim Punkt 510 kreuzt. Nachdem er die Wirkungswerte 502 beim Punkt 510 kreuzt, erhöht sich der abklingende Maskierungsschwellenwert 504 bis zum Punkt 512. Nach dem Punkt 512 klingt der abklingende Maskierungsschwellenwert 504 erneut ab, bis er die Wirkungswerte 502 kreuzt. Durch das Erhöhen und Abklingen über die Zeit filtert der abklingende Maskierungsschwellenwert sich wiederholende und/oder gehäufte Audioereignisse.
Der abklingende Maskierungsschwellenwert kann gemäß einer Vielfalt von Modellen abklingen. Beispielsweise beginnt in einer oder in mehreren Ausführungsformen der abklingende Maskierungsschwellenwert bei einem anfänglichen Schwellenwert und sinkt gemäß einem exponentiellen Abklingmodell. In anderen Ausführungsformen sinkt der abklingende Maskierungsschwellenwert gemäß einem linearen, logarithmischen oder einem andren Typ von Abklingmodell. Im Allgemeinen klingt, ungeachtet des spezifischen Modells, der abklingende Maskierungsschwellenwert gemäß einer zugeordneten Abklingrate ab. Des Weiteren hat, in einer oder in mehreren Ausführungsformen, der abklingende Maskierungsschwellenwert auch einen minimalen Schwellenwert (z. B. einen Minimalwert, unter den der Schwellenwert nicht fällt).
Obwohl der abklingende Maskierungsschwellenwert 504 sinkt, bis er den anderen Wert oder die andere Funktion kreuzt, bezieht sich der Begriff ”kreuzt” oder ”Kreuzung” auf einen Wert oder eine Funktion, die in die Nähe eines anderen Werts oder einer anderen Funktion kommt. Wie zum Beispiel in 5 gezeigt, sinkt der abklingende Maskierungsschwellenwert 504, bis er die Wirkungswerte 502 beim Punkt 510 kreuzt. Kreuzen bedeutet mit Bezug auf die Ausführungsform von 5 daher, dass der abklingende Maskierungsschwellenwert bis auf einen Abstand von Null an die Wirkungswerte 502 kommt. In anderen Ausführungsformen sinkt der abklingende Maskierungsschwellenwert 504, bis er bis innerhalb eines anderen Abstands (z. B. 0,1) von den Wirkungswerten 502 kommt.
Wie erwähnt, nachdem er einen anderen Wert oder eine andere Funktion kreuzt, erhöht sich der abklingende Maskierungsschwellenwert in einer oder in mehreren Ausführungsformen. Der abklingende Maskierungsschwellenwert kann sich gemäß einer Anzahl von Modellen oder Mustern erhöhen. Beispielsweise kann sich der abklingende Maskierungsschwellenwert linear, exponentiell, logarithmisch oder parabolisch erhöhen. Dementsprechend kann sich der abklingende Maskierungsschwellenwert mit einer bestimmten Rate oder um einen bestimmten Betrag erhöhen. Alternativ oder zusätzlich kann sich der abklingende Maskierungsschwellenwert proportional zu den Wirkungswerten 502 erhöhen. Zum Beispiel kann sich der abklingende Maskierungsschwellenwert 504 um ein Vielfaches der Zunahme in den Wirkungswerten 502 erhöhen (z. B. sich erhöhen um einen Betrag, der das Doppelte der Zunahme in den Wirkungswerten 502 vom Punkt der Kreuzung ist). Zusätzlich mag sich der abklingende Maskierungsschwellenwert 504 um einen vordefinierten Betrag über ein lokales Maximum in den Wirkungswerten 502 erhöhen.
Mit Bezug auf die Ausführungsform von 5, nach Kreuzen der Wirkungswerte 502 erhöht sich der abklingende Maskierungsschwellenwert 504 um denselben Betrag wie die Wirkungswerte 502. Der abklingende Maskierungsschwellenwert 504 setzt fort, sich um denselben Betrag zu erhöhen wie die Wirkungswerte 502, bis die Wirkungswerte 502 mit einer Rate fallen, die größer ist als die Abklingrate, die mit dem abklingenden Maskierungsschwellenwert 504 assoziiert ist. Genauer fährt der abklingende Maskierungsschwellenwert 504 fort, sich um denselben Betrag zu erhöhen wie die Wirkungswerte 502 bis zum Punkt 512.
Obwohl 5 den abklingende Maskierungsschwellenwert als nach dem Punkt 512 abklingend zeigt, mag in einer oder in mehreren Ausführungsformen der abklingende Maskierungsschwellenwert 504 fortfahren, sich vorübergehend zu erhöhen, nachdem die Wirkungswerte 502 abnehmen. Zum Beispiel mag der abklingende Maskierungsschwellenwert 504 weiterhin um einen vorbestimmten Betrag expandieren. Zusätzlich oder alternativ mag der abklingende Maskierungsschwellenwert 504 fortfahren, zu expandieren basierend auf einem Betrag, um den die Wirkungswerte 502 zugenommen haben. Ähnlich mag der abklingende Maskierungsschwellenwert 504 fortfahren, zu expandieren basierend auf einer Rate, mit der die Wirkungswerte 502 zugenommen haben (oder basierend auf einem anderen Faktor). Der abklingende Maskierungsschwellenwert 504 kann fortfahren, sich linear, exponentiell oder um einen bestimmten Betrag zu erhöhen.
In Ausführungsformen, wo der abklingende Maskierungsschwellenwert 504 fortfährt, sich zu erhöhen, nachdem die Wirkungswerte 502 mit einer Rate sinken, die schneller als die Abklingrate ist, wird der abklingende Maskierungsschwellenwert 504 schlussendlich beginnen, wiederum abzuklingen. Das digitale Medienpräsentationssystem kann das Abklingen erneut einleiten basierend auf dem Verstreichen einer bestimmten Zeitdauer, wenn ein vordefiniert Betrag an Zunahme aufgetreten ist.
Mit Bezug nun auf 5, in Antwort darauf, dass die Wirkungswerte 502 mit einer Rate abnehmen, die schneller ist als die Abklingrate, die mit dem abklingenden Maskierungsschwellenwert 504 assoziiert ist, beginnt der abklingende Maskierungsschwellenwert 504 erneut abzuklingen. Nach dem Punkt 512 beginnt daher der abklingende Maskierungsschwellenwert 504 wieder mit der Abklingrate abzuklingen. Der abklingende Maskierungsschwellenwert 504 fährt fort, abzuklingen, bis er die Wirkungswerte 502 bei Punkt 514 erneut kreuzt. Beim Punkt 514 beginnt der abklingende Maskierungsschwellenwert zuzunehmen (wie oben beschrieben).
Dementsprechend, wie in 5, steigt und fällt der abklingende Maskierungsschwellenwert 504 über die Zeit, während er die Wirkungswerte 502 durchwandert und kreuzt. Eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems identifizieren Transitionspunkte basierend auf den Kreuzungen des abklingenden Maskierungsschwellenwerts 504 mit den Wirkungswerten 502. Insbesondere vergleichen eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems den abklingenden Maskierungsschwellenwert 504 mit den Wirkungswerte 502, um zu bestimmen, wann die Wirkungswerte 502 den abklingenden Maskierungsschwellenwert 504 erfüllen (z. B. wann der abklingende Maskierungsschwellenwert 504 die Wirkungswerte 502 kreuzt und/oder überlappt). Das digitale Medienpräsentationssystem verwendet Bereiche, wo die Wirkungswerte 502 den abklingenden Maskierungsschwellenwert 504 erfüllen, um Transitionspunkte zu identifizieren.
Insbesondere wählt das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen Transitionspunkte durch Berechnen einer oder mehrerer Audiointeressenwerte basierend auf einer oder mehrerer Kreuzungen aus. Insbesondere vergleicht das digitale Medienpräsentationssystem die Wirkungswerte 502 mit dem abklingenden Maskierungsschwellenwert 504, um Audiointeressenwerte zu berechnen. Zum Beispiel berechnen, wie in 5 gezeigt, eine oder mehrere Ausführungsformen eine Differenzlinie 506. Die Differenzlinie 506 zeigt die Differenz zwischen dem abklingenden Maskierungsschwellenwert 504 und den Wirkungswerten 502. Wo sich der abklingende Maskierungsschwellenwert 504 und die Wirkungswerte 502 nicht kreuzen, ist die Differenzlinie 506 daher negativ.
Mit Bezug auf Bereiche, wo der abklingende Maskierungsschwellenwert 504 und die Wirkungswerte 502 sich kreuzen (das heißt, Punkte, wo die Wirkungswerte den abklingenden Maskierungsschwellenwert 504 erfüllen), in einer oder in mehreren Ausführungsformen, zeigt die Differenzlinie 506 das Ausmaß an, mit dem die Wirkungswerte den abklingenden Maskierungsschwellenwert 504 erhöhen. Anders gesagt gibt die Differenzlinie 506 das Ausmaß an, zu dem die Wirkungswerte 502 den abklingenden Maskierungsschwellenwert 504 ändern. Wo die Wirkungswerte 502 den Maskierungsschwellenwert 504 kreuzen und diesen „drücken”, so dass er zunimmt, nimmt daher die Differenzlinie 506 zu, und wo die Wirkungswerte 502 beginnen, abzuflachen (und das Ausmaß des „Drückens” abnimmt), nimmt die Differenzlinie 506 ab.
Die partikulären Werte der Differenzlinie 506 mögen sich von Ausführungsform zu Ausführungsform unterscheiden. Zum Beispiel mag in einigen Ausführungsformen die Differenzlinie 506 die Stärke einer Zunahme in dem Maskierungsschwellenwert 504 widerspiegeln. In anderen Ausführungsformen spiegelt die Differenzlinie 506 nur die gekreuzten Teile der Wirkungswerte 502 und des Maskierungsschwellenwerts 504 wider. Schlussendlich repräsentiert die Differenzlinie 506 einen Vergleich zwischen dem abklingenden Maskierungsschwellenwert und den Wirkungswerten 502.
Eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems berechnen die Audiointeressenwerte 508 basierend auf den positiven Teilen der Differenzlinie 506 (z. B. die Wirkungswerte 502, die den abklingenden Maskierungsschwellenwert 504 erfüllen). Beispielsweise, mit Bezug auf die in 5 gezeigte Ausführungsform verwendet das digitale Medienpräsentationssystem die Stärke des Teils 520, um die Stärke des Audiointeressenwerts 522 zu berechnen. Genauer (und wie in größerem Detail unten beschrieben) berechnet das digitale Medienpräsentationssystem die Audiointeressenwerte 508 durch Berechnen eines Schwerpunkts der positiven Werte der Differenzlinie 506, Normalisieren der positiven Werte der Differenzlinie 506, Modifizieren der normalisierten Werte durch Anwenden einer Kurve (z. B. ein Gammawert) auf die normalisierten Werte, und Akkumulieren der modifizierten, normalisierten Werte in eine einzelne Zeitperiode.
Daher berechnen, wie erwähnt, eine oder mehrere Ausführungsformen einen Schwerpunkt der positiven Abschnitte der Differenzlinie 506. Insbesondere (und wie zuvor mit Bezug auf Schwerpunkte diskutiert) berechnet das digitale Medienpräsentationssystem den Punkt der die Summe der Quadrate minimiert mit Bezug auf die positiven Teile der Differenzlinie 506 über die Zeit. Anders gesagt stellt der Schwerpunkt ein Maß des Mittenpunktwerts mit Bezug auf die Stärke der positiven Teile der Differenzlinie 506 bereit.
Des Weiteren normalisiert, wie diskutiert, eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems die positiven Teile der Differenzlinie 506, um die Audiointeressenwerte 508 zu erzeugen. Genauer kann das digitale Medienpräsentationssystem die positiven Teile der Differenzlinie 506 basierend auf dem Schwerpunkt normalisieren. Zum Beispiel normalisiert in einer oder in mehreren Ausführungsformen das digitale Medienpräsentationssystem die positiven Teile der Differenzlinie 506 so, dass der Schwerpunktwert gleich 0,5 (oder ein anderer Wert) ist. Wie zuvor diskutiert, mögen alternative Ausführungsformen ein anderes Maß verwenden, um die positiven Teile der Differenzlinie 506 zu normalisieren, wie einen vorbestimmten Wert oder ein Mittel, einen Median oder einen Moduswert. Durch Normalisieren der positiven Teile der Differenzlinie 506 kann das digitale Medienpräsentationssystem Spitzen in den Audiointeressenwerten betonen und einfacher identifizieren.
Weiter, wie zuvor diskutiert, kann das digitale Medienpräsentationssystem auch einen Gammawert anwenden. Zum Beispiel wendet die digitale Medienpräsentation eine Kurve mit einem Gammawert auf die normalisierten Werte an. Auf diese Weise kann das digitale Medienpräsentationssystem Distinktionen in den normalisierten Werten weiter betonen.
Weiterhin akkumulieren eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems die normalisierten Werte. Genauer akkumuliert das digitale Medienpräsentationssystem normalisierte Werte, die über eine Zeitdauer verteilt sind, um Audiointeressenwerte und/oder Transitionspunkte klarer zu definieren. Tatsächlich mögen, wie dargestellt, die positiven Teile der Differenzlinie 506 über eine Anzahl unterschiedlicher Zeitperioden akkumuliert werden. Das Akkumulieren sukzessiver normalisierter Werte in eine einzelne Zeitperiode hilft dabei, sicherzustellen, dass die wirkenden Ereignisse, die über eine größere Zeitskala auftreten, immer noch eine Transition auslösen werden, wo angebracht.
Somit zeigt 5 die Audiointeressenwerte 508. Die Audiointeressenwerte 508 spiegeln die positiven Teile der Differenzlinie 506 wider nach Berechnen eines Schwerpunkts, Normalisieren basieren auf dem Schwerpunkt, Anwenden eines Gammawerts und Akkumulieren der normalisierten Werte in eine einzelne Zeitperiode. Wie in 5 gezeigt, verwendet das digitale Medienpräsentationssystem diesen Ansatz, um eine Reihe von Spitzen in den Audiointeressenwerten 508 zu produzieren, die klar potentielle Transitionspunkte abzugrenzen.
Weiter zeigt 5 auch, dass durch Anwenden des abklingenden Maskierungsschwellenwerts 504 das digitale Medienpräsentationssystem einige relative Maximalwerte aus den Wirkungswerten 502 gefiltert hat. Zum Beispiel ist der Punkt 530 in den Wirkungswerten 502 ein relatives Maximum (oder eine ”Spitze”) in den Wirkungswerten, ohne eine entsprechende Spitze in den Audiointeressenwerten 508. der abklingende Maskierungsschwellenwert hat den Punkt 530 gefiltert, so dass dieser nicht in den Audiointeressenwerten 508 repräsentiert ist (z. B. nicht als ein potentieller Transitionspunkt identifiziert wird).
Wie oben diskutiert, hilft dieser Filtereffekt, duplikative, erwartete Transitionspunkte zu begrenzen. Weiter approximiert dieser Filtereffekt die relative Reduzierung in der Wirkung, die ein Hörer nach einem wirksamen Ereignis in dem digitalen Audioinhalt erfährt. Zum Beispiel kommt der Punkt 530 in den Wirkungswerten 502 kurz nach einer großen Spitze in den Wirkungswerten 502. Der abklingende Maskierungsschwellenwert 504 hat den relativen Maximumpunkt 530 aus den Audiointeressenwerten 508 entfernt; es wird somit eine repetitive, erwartete Transition vermieden, während auch die verringerte relative Wirkung, die von einem Benutzer mit Bezug auf den Punkt 530 auf Grund des signifikant wirksamen Ereignisses, das dem Punkt 530 vorausgeht, erfahren wird, approximiert.
Wie zuvor erwähnt, kann das digitale Medienpräsentationssystem mehrere abklingende Maskierungsschwellenwerte anwenden, um Transitionspunkte zu identifizieren. Insbesondere kann das digitale Medienpräsentationssystem zusätzlich zu dem gerade diskutierten abklingenden Maskierungsschwellenwert einen abklingenden Maskierungsschwellenwert anwenden, um visuelle Beschränkungen oder Präferenzen zu berücksichtigen. Beispielsweise zeigt 6 einen Graphen 600, der die Anwendung eines abklingenden Maskierungsschwellenwerts 602 auf Werte 604 zeigt. In einer oder in mehreren Ausführungsformen sind die Werte 604 äquivalent zu (oder abgeleitet von) den Audiointeressenwerten 508, die mit Bezug auf 5 diskutiert wurden.
In einer oder in mehreren Ausführungsformen vermindert das Anwenden des abklingenden Maskierungsschwellenwerts 602 die Möglichkeit, Transitionspunkte auszuwählen, die visuellen digitalen Inhalt zu schnell anzeigen. Zum Beispiel wendet das digitale Medienpräsentationssystem den abklingenden Maskierungsschwellenwert 602 an, um zu vermeiden, dass Transitionspunkte ausgewählt werden, welche den digitalen visuellen Inhalt schneller anzeigen, als ein Benutzer den digitalen visuellen Inhalt verstehen oder würdigen kann. Weiterhin wendet das digitale Medienpräsentationssystem den abklingenden Maskierungsschwellenwert 602 an, um die Möglichkeit, dass Benutzer ihr Interesse an dem digitalen visuellen Inhalt verlieren, zu verringern. Tatsächlich, wie der abklingende Maskierungsschwellenwert 504 (der eine Wahrnehmung eines Benutzers der Wirkung nach signifikanten Audioereignissen approximiert), approximiert der abklingende Maskierungsschwellenwert 602 das abklingende Interesse eines Benutzers am digitalen visuellen Inhalt nach einer Transition in den digitalen visuellen Inhalt. Unmittelbar nach einer Änderung im digitalen visuellen Inhalt kann ein Benutzer ein verringertes Interesse haben, das sich mit der Zeit erhöht. Das digitale Medienpräsentationssystem approximiert die Interessen eines Benutzers durch Verwenden des abklingenden Maskierungsschwellenwerts.
Insbesondere zeigt 6 den abklingenden Maskierungsschwellenwert 602 mit einem anfänglichen Schwellenwert 608. Der abklingende Maskierungsschwellenwert 602 klingt von dem anfänglichen Schwellenwert 608 ab, bis er die Werte 604 bei Punkt 610 kreuzt. Nach Kreuzen der Werte 604 beim Punkt 610 erweitert sich der abklingende Maskierungsschwellenwert 602 zum erhöhten Punkt 612. Danach beginnt der abklingende Maskierungsschwellenwert 602 zu sinken. Nach dem Kreuzen der Werte 604 erhöht sich der abklingende Maskierungsschwellenwert 602 erneut. Dementsprechend, wie dargestellt, kreuzt der abklingende Maskierungsschwellenwert 602 einige Spitzen in den Werten 604, kreuzt aber andere Spitzen nicht. Auf diese Weise identifiziert der abklingende Maskierungsschwellenwert 602 eine Teilmenge von Transitionspunkten, die signifikanten Audioereignissen entsprechen, und filtert andere signifikante Audioereignisse aus, in Übereinstimmung mit bestimmten visuellen Fähigkeiten und Präferenzen.
Wie oben diskutiert klingt der abklingende Maskierungsschwellenwert 602 ab oder erhöht sich gemäß einem Modell, einschließlich, ohne hierauf beschränkt zu sein, einem exponentiellen, linearen oder logarithmischen. Beispielsweise klingt der abklingende Maskierungsschwellenwert 602 exponentiell ab. Des Weiteren, nach Kreuzen der Werte 604, erhöht sich der abklingende Maskierungsschwellenwert mit den Werten 604.
Des Weiteren, wie gezeigt, expandiert in einer oder in mehreren Ausführungsformen der abklingende Maskierungsschwellenwert 602 über die Werte 604 hinaus. Wie mit Bezug auf den abklingenden Maskierungsschwellenwert 504 diskutiert, expandiert der abklingende Maskierungsschwellenwert 602 gemäß einem Muster oder Modell. Zum Beispiel expandiert in einigen Ausführungsformen der abklingende Maskierungsschwellenwert 602 über die Werte 604 hinaus um einen vorbestimmten Betrag. In anderen Ausführungsformen expandiert der abklingende Maskierungsschwellenwert 602 für eine bestimmte Zeitdauer.
Der Betrag (oder die Zeitig, um den der abklingende Maskierungsschwellenwert 602 sich erhöht, kann abhängig von einer Vielfalt von Faktoren variieren. Zum Beispiel expandiert in einer oder in mehreren Ausführungsformen der abklingende Maskierungsschwellenwert 602 basierend auf der Höhe der Werte 604. Insbesondere expandiert der abklingende Maskierungsschwellenwert 602 basierend auf der Höhe der Werte 604 relativ zur Höhe des abklingenden Maskierungsschwellenwerts 602 (z. B. der Höhe einer Spitze der Werte 604 verglichen mit der Höhe des abklingenden Maskierungsschwellenwerts 602 an einem Punkt der Kreuzung). Wo zum Beispiel der abklingende Maskierungsschwellenwert eine besonders hohe Spitze in den Werten 604 kreuzt, mag sich der abklingende Maskierungsschwellenwert 602 um einen größeren Betrag erhöhen. Weiter bestimmt in anderen Ausführungsformen das digitale Medienpräsentationssystem den Betrag, um den der abklingende Maskierungsschwellenwert 602 sich erhöht, basierend auf der Zeit seit der letzten Kreuzung, der Zeit bis zur nächsten Kreuzung, oder einen anderen Faktor.
Wie zuvor diskutiert, identifiziert das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen Transitionspunkte basierend auf Kreuzungen mit dem abklingenden Maskierungsschwellenwert 602. Insbesondere, wie in 6 gezeigt, identifiziert das digitale Medienpräsentationssystem Transitionspunkte 606 basierend auf Kreuzungen zwischen dem abklingende Maskierungsschwellenwert 602 und den Werten 604.
In einer oder in mehreren Ausführungsformen identifiziert das digitale Medienpräsentationssystem die Transitionspunkte 606 durch Vergleichen des abklingenden Maskierungsschwellenwerts 602 mit den Werten 604. Insbesondere berechnet das digitale Medienpräsentationssystem eine Differenz zwischen dem abklingenden Maskierungsschwellenwert 602 und den Werten 604, um Zeitperioden zu identifizieren, wo die Werte 604 den abklingende Maskierungsschwellenwert kreuzen (z. B. den abklingenden Maskierungsschwellenwert 602 erfüllen). Das digitale Medienpräsentationssystem identifiziert Transitionspunkte basierend auf den Kreuzungen.
Zum Beispiel platziert das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen die Transitionspunkte 606 an die Zeit einer Spitze in dem Wert 604 nachdem der abklingende Maskierungsschwellenwert die Werte 604 kreuzt. In anderen Ausführungsformen platziert das digitale Medienpräsentationssystem die Transitionspunkte an der Zeit, zu der der abklingende Maskierungsschwellenwert 602 die Werte 604 kreuzt. Andere Ausführungsformen des digitalen Medienpräsentationssystems platzieren die Transitionspunkte 606 basierend auf einer Zeitperiode, die mit einer Kreuzung zwischen dem abklingenden Maskierungsschwellenwert 602 und den Werten 604 assoziiert ist.
Eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems wenden einen zusätzlichen Filter an, zusätzlich zu dem abklingenden Maskierungsschwellenwert, beim Identifizieren der Transitionspunkte. Insbesondere vergleichen eine oder mehrere Ausführungsformen identifizierte Transitionspunkte und filtern weniger wirkungsvolle Transitionspunkte heraus, die gerade vor einen wirkungsvollen Transitionspunkt fallen. Auf diese Weise verhindert oder verringert das digitale Medienpräsentationssystem störende Transitionen. Genauer vergleicht eine oder vergleichen mehrere Ausführungsformen den Betrag der Werte 604 (oder der Wirkungswerte oder einiger anderer Werte), die mit zwei Transitionspunkten assoziiert sind, sowie die Zeit zwischen den zwei Transitionspunkten. Wo die zwei Transitionspunkte innerhalb eines vordefinierten Zeitschwellenwerts fallen und wo die Differenz im Betrag einen Stärkenschwellenwert überschreitet, filtert in einer oder in mehreren Ausführungsformen das digitale Medienpräsentationssystem einen der Transitionspunkte (z. B. einen Transitionspunkt kleineren Betrags, der zeitlich zuerst kommt).
Zusätzlich zum Identifizieren von Transitionspunkten identifiziert in einer oder mehrere Ausführungsformen das digitale Medienpräsentationssystem auch unterschiedliche Typen von Transitionspunkten. Zum Beispiel identifizieren eine oder mehrere Ausführungsformen des digitalen Präsentationssystems Transitionspunkte, die Transitionen von einem digitalen visuellen Inhaltselement zu einem anderen digitalen visuellen Inhaltselement entsprechen (das heißt, Assettransitionspunkte). Ähnlich identifizieren eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems Transitionspunkte, die Effekten oder anderen Modifikationen entsprechen, die auf digitale visuelle Inhaltselemente angewandt wurden (das heißt, Mikrotransitionspunkte).
Mikrotransitionspunkte können zum Beispiel beinhalten Verwenden desselben digitalen visuellen Inhaltselements, aber Anzeigen eines spezifischen Teils des digitalen visuellen Inhaltselements (z. B. Hineinzoomen in einen Teil eines Bildes, oder Vorspringen zu einem Teil eines Videos). Ähnlich kann ein Mikrotransitionspunkt eine visuelle Modifikation eines digitalen visuellen Inhaltselements beinhalten (z. B. wechseln der Farbe, Größe oder des Ortes).
In einer oder in mehreren Ausführungsformen korreliert die digitale Medienpräsentation unterschiedliche Transitionspunkte zu unterschiedlichen Audioereignissen. Beispielsweise verwendet die digitale Medienpräsentation Mikrotransitionspunkte zusammen mit sequentiellen Audioereignissen (z. B. zusammen mit einem Trommelwirbel schneidet das digitale Medienpräsentationssystem schnell zu unterschiedlichen Teilen eines Videos). Alternativ verwendet die digitale Medienpräsentation Assettransitionspunkte mit Bezug auf Audioereignisse, die um zusätzliche Zeit getrennt sind.
Das digitale Medienpräsentationssystem identifiziert Typen von Transitionspunkten basierend auf einer Vielfalt von Faktoren. Zum Beispiel kann das digitale Medienpräsentationssystem einen Typ eines Transitionspunkts identifizieren basierend auf der Zeit zwischen Transitionspunkten, basierend auf dem Betrag der Werte 604, die einem Transitionspunkt entsprechen, basierend auf den Wirkungswerten, die einem Transitionspunkt entsprechen, oder einem anderen Faktor. Des Weiteren, wie in größerem Detail nachstehend diskutiert, modifizieren eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems Parameter basierend auf unterschiedlichen Typen von Transitionspunkten.
Wie zuvor erwähnt, kann das digitale Medienpräsentationssystem unterschiedlich abklingende Maskierungsschwellenwerte anwenden, um unterschiedliche Fähigkeiten oder Präferenzen zu filtern (z. B. visuelle oder auditive Fähigkeiten oder Präferenzen). Dementsprechend wenden eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems den abklingenden Maskierungsschwellenwert 602 mit Parametern an, die sich von denen des abklingenden Maskierungsschwellenwerts 504 unterschieden. Tatsächlich, in Ausführungsformen, welche den abklingenden Maskierungsschwellenwert 602 verwenden, um visuelle Fähigkeiten und Interessen zu approximieren, wendet das digitale Medienpräsentationssystem andere Parameter an als bei einem abklingenden Maskierungsschwellenwert, der verwendet wird, um auditive Fähigkeiten und Interessen zu approximieren. Daher kann zum Beispiel der anfängliche Schwellenwert 608 anders sein als ein anfänglicher Schwellenwert, der mit dem abklingenden Maskierungsschwellenwert 504 assoziiert ist. Ähnlich mögen sich andere Parameter zwischen abklingenden Maskierungsschwellenwerten unterscheiden, einschließlich, ohne hierauf beschränkt zu sein, der Abklingrate, minimaler Schwellenwert, Expansionsrate (das heißt, in Ausführungsformen wo der Schwellenwert mit einer bestimmten Rate expandiert), Expansionsbetrag (das heißt, in Ausführungsformen wo der Schwellenwert um einen bestimmten Betrag expandiert), Expansionszeit (das heißt, in Ausführungsformen wo der Schwellenwert für eine bestimmte Zeitperiode expandiert), Kreuzungswerte (das heißt, in Ausführungsformen, welche eine Kreuzung bei einem Wert anders als Null definieren), oder einem anderen Parameter.
Zusätzlich zum Anpassen von Parametern auf unterschiedliche abklingende Maskierungsschwellenwerte kann das digitale Medienpräsentationssystem auch Parameter basierend auf einer Vielfalt von anderen Faktoren anpassen. Beispielsweise kann das digitale Medienpräsentationssystem Parameter anpassen, die auf einen abklingenden Maskierungsschwellenwert anwendbar sind, basierend auf einem oder mehreren Merkmalen eines digitalen visuellen Inhalts. Beispielsweise modifiziert das digitale Medienpräsentationssystem Parameter, die auf einen abklingenden Maskierungsschwellenwert anwendbar sind, basierend auf einem Typ eines digitalen visuellen Inhalts. Genauer kann das digitale Medienpräsentationssystem unterschiedliche Parameter auf Bilder, Videos, GIFs oder andere Typen oder Formate eines digitalen visuellen Inhalts anwenden. Zum Beispiel kann das digitale Medienpräsentationssystem eine andere Abklingrate anwenden (oder einen anderen Parameter modifizieren) mit Bezug auf Bilder, als die Abklingrate, die für Videos anwendbar ist.
Ähnlich kann das digitale Medienpräsentationssystem Parameter modifizieren, die auf einen abklingenden Maskierungsschwellenwert anwendbar sind, basierend auf den Inhalten eines digitalen visuellen Inhalts. Beispielsweise können eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems Gesichtserkennungstechnologie anwenden, um eine oder mehrere Personen zu erkennen, die in dem digitalen visuellen Inhalt gezeigt sind. Das digitale Medienpräsentationssystem kann Parameter modifizieren basierend auf den in dem digitalen visuellen Inhalt gezeigten Personen. Beispielsweise kann das digitale Medienpräsentationssystem bestimmen, dass ein Benutzer ein gesteigertes Interesse an einem digitalen visuellen Element erfahren mag, wo der Benutzer (oder ein Freund des Benutzers, eine Familie des Benutzers oder ein Arbeitskollege des Benutzers) in dem digitalen visuellen Element erscheint. Dementsprechend kann das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen den Betrag der Expansion erhöhen, die mit dem abklingenden Maskierungsschwellenwert assoziiert ist (oder einen anderen Parameter modifizieren), um das gesteigerte Interesse, das mit dem digitalen visuellen Element assoziiert ist, zu approximieren.
Ähnlich können eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems Objekterkennungstechnologie verwenden, um Objekte zu identifizieren, die in dem digitalen visuellen Inhalt gezeigt sind. Das digitale Medienpräsentationssystem kann Parameter basierend auf den in dem digitalen visuellen Inhalt erkannten Objekten modifizieren. Zum Beispiel erkennt das digitale Medienpräsentationssystem einen Ort, ein Monument, oder ein anderes Objekt in einem Foto und modifiziert in Antwort darauf die Abklingrate, die mit dem abklingenden Maskierungsschwellenwert assoziiert ist (oder einen anderen Parameter).
Zudem kann das digitale Medienpräsentationssystem Parameter modifizieren basierend auf einem Vergleich zwischen mehreren digitalen visuellen Inhaltselementen. Beispielsweise modifiziert das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen Parameter durch Vergleichen benachbarter digitaler visueller Inhaltselemente in einer Reihe von digitalen visuellen Inhaltselementen (z. B. Elemente, die nacheinander anzuzeigen sind in einer digitalen Medienpräsentation). Zum Beispiel erkennt das digitale Präsentationssystem, dass in einer digitalen Medienpräsentation einem Bild ein Video folgt, und modifiziert den Parameter des abklingenden Maskierungsschwellenwerts basierend auf der Differenz zwischen den zwei Typen von digitalen visuellen Inhaltselementen.
Beispielsweise vergleicht das digitale Medienpräsentationssystem eine Vielzahl von digitalen visuellen Inhaltselementen (z. B. eine Vielzahl von digitalen visuellen Inhaltselementen, die nacheinander in einer digitalen Medienpräsentation anzuzeigen sind) und bestimmt, dass die Vielzahl von digitalen visuellen Inhalten eine einzelne Person portraitieren. In solchen Fällen ist es wahrscheinlich, dass Betrachter weniger Zeit brauchen, um Änderungen unter der Vielzahl von digitalen visuellen Inhaltselementen zu verstehen. Weiter ist es wahrscheinlicher, dass Betrachter mit der Zeit ihr Interesse verlieren mit Bezug auf digitale visuelle Inhaltselemente, welche dieselbe Person zeigen. Dementsprechend kann das digitale Medienpräsentationssystem den Betrag der Expansion des abklingenden Maskierungsschwellenwerts verringern (oder einen anderen Parameter modifizieren). Auf diese Weise kann das digitale Medienpräsentationssystem Betrachterpräferenzen und -fähigkeiten mit Bezug auf die erkannten Merkmale der Vielzahl von digitalen visuellen Inhaltselementen (z. B. Assettransitionen) approximieren durch Modifizieren von Parametern, die mit dem abklingenden Maskierungsschwellenwert in Verbindung stehen.
In anderen Ausführungsformen bestimmt das digitale Medienpräsentationssystem, dass eine Vielzahl von digitalen visuellen Inhaltselementen keinen in Beziehung stehenden Inhalt enthalten und eine zusätzliche Zeit erfordern mag, damit ein Betrachter diese versteht. In solchen Umständen modifiziert das digitale Medienpräsentationssystem Parameter (z. B. vermindert eine Abklingrate, erhöht einen Expansionsbetrag oder eine Expansionsrate), um geeignetere Transitionspunkte herauszuziehen.
In Beziehung damit modifizieren eine oder mehrere Ausführungsformen Parameter mit Bezug auf einen abklingenden Maskierungsschwellenwert basierend auf einem Typ von Transitionspunkt. Beispielsweise kann das digitale Medienpräsentationssystem Parameter modifizieren (z. B. eine Abklingrate erhöht, einen Betrag der Zunahme verringert) mit Bezug auf Mikrotransitionen. Ähnlich kann das digitale Medienpräsentationssystem Parameter modifizieren (z. B. eine Abklingrate verringern) mit Bezug auf Assettransitionen. Anders gesagt kann das digitale Medienpräsentationssystem Parameter modifizieren in einem Versuch, bestimmte Typen von Transitionspunkten herauszuziehen.
Zudem kann das digitale Medienpräsentationssystem auch Parameter modifizieren basierend auf einem Typ von Transitionseffekt, der mit dem digitalen visuellen Inhalt assoziiert ist. Beispielsweise kann das digitale Medienpräsentationssystem vom Anzeigen eines digitalen visuellen Inhaltselements zum Anzeigen eines anderen digitalen visuellen Inhaltselements wechseln unter Verwendung eines Transitionseffekts (z. B. ein visueller Überblendeffekt von einem digitalen visuellen Inhaltselement zu einem anderen). Ähnlich kann die digitale Medienpräsentation eine Vielfalt von unterschiedlichen Mikrotransitionseffekten anwenden (z. B. die Farbe des digitalen visuellen Inhaltselements ändern; in einen Teil des digitalen visuellen Inhaltselements hineinzoomen; springen zu einer leicht anderen Position eines Videos und so weiter). Das digitale Medienpräsentationssystem kann Parameter basierend auf einem bestimmten Typ von Transitionseffekt anpassen.
Das digitale Medienpräsentationssystem kann Parameter modifizieren basierend auf einer Vielfalt von anderen Merkmale mit Bezug auf den digitalen visuellen Inhalt. Zum Beispiel kann das digitale Medienpräsentationssystem Parameter modifizieren basierend auf der Größe und/oder Qualität eines digitalen visuellen Inhalts; basierend auf der Länge eines digitalen visuellen Inhalts (z. B. Länge eines Videos); basierend auf visuellen Eigenschaften eines digitalen visuellen Inhalts (z. B. Helligkeit, Klarheit, Farben, Farbton oder andere visuelle Eigenschaften); oder andere Faktoren.
In einer oder in mehreren Ausführungsformen modifiziert das digitale Medienpräsentationssystem auch Parameter basierend auf einer Benutzereingabe. Beispielsweise kann ein Benutzer eine bestimmte Geschwindigkeit bzw. Pace oder Tempo, die bzw. das mit dem digitalen Medienpräsentationssystem assoziiert ist, eingeben (und modifizieren). Das digitale Medienpräsentationssystem kann Parameter anpassen, die mit dem abklingenden Maskierungsschwellenwert assoziiert sind, basierend der angegebenen Geschwindigkeit oder dem angegebenen Tempo, das von einem Benutzer verlangt wird.
Neben dem Modifizieren von Parametern, das in Zusammenhang mit einem abklingenden Maskierungsschwellenwert diskutiert wurde, kann das digitale Medienpräsentationssystem auch andere Parameter modifizieren. Beispielsweise kann das digitale Medienpräsentationssystem auch Gammawerte, Filter oder andere hierin diskutierte Parameter modifizieren, basierend auf Merkmalen eines digitalen visuellen Inhalts, einer Benutzereingabe oder anderen Faktoren.
Es wird verstanden werden, dass obwohl die in 6 gezeigten Werte 604 den mit Bezug auf 5 berechneten Audiointeressenwerten 508 entsprechen, das digitale Medienpräsentationssystem den abklingenden Maskierungsschwellenwert 602 auf andere Werte anwenden kann. Zum Beispiel kann das digitale Medienpräsentationssystem den abklingenden Maskierungsschwellenwert 602 auf Wirkungswerte oder andere Werte anwenden.
Ähnlich können, obwohl in 5 und 6 das Anwenden einer bestimmten Anzahl von abklingenden Maskierungsschwellenwerten gezeigt ist, andere Ausführungsformen des digitalen Medienpräsentationssystems nur einen einzelnen abklingenden Maskierungsschwellenwert anwenden (während andere Ausführungsformen eine andere Anzahl von abklingenden Maskierungsschwellenwerten anwenden). Beispielsweise wenden eine oder mehrere Ausführungsformen den abklingenden Maskierungsschwellenwert 602 auf die Wirkungswerte 502 an und identifizieren Transitionspunkte basierend auf der Kreuzung des abklingenden Maskierungsschwellenwerts 602 mit den Wirkungswerten 502 (das heißt, ohne den abklingenden Maskierungsschwellenwert 504 anzuwenden). Andere Ausführungsformen wenden einen anderen abklingenden Maskierungsschwellenwert an. Beispielsweise wenden eine oder mehrere Ausführungsformen einen abklingenden Maskierungsschwellenwert mit Bezug auf perkussive Wirkungswerte an (z. B. Wirkungswerte basierend auf einem perkussiven Energiemaß) und einen weiteren abklingenden Maskierungsschwellenwert basierend auf harmonischen Wirkungswerten (z. B. Wirkungswerte basierend auf einem harmonischen Energiemaß). Ähnlich wenden eine oder mehrere Ausführungsformen unterschiedliche abklingende Maskierungsschwellenwerte an mit Bezug auf einen ersten Teil eines digitalen Audioinhalts, der zusammen mit einem ersten Typ eines digitalen visuellen Inhalts abgespielt werden soll, und wenden einen zweiten digitalen Maskierungsschwellenwert mit Bezug auf einen zweiten Teil des digitalen Audioinhalts an, der zusammen mit einem zweiten Typ eines digitalen visuellen Inhalts abgespielt werden soll.
Mit Bezug nun auf 7 werden weitere Details gegeben hinsichtlich dem Anzeigen von digitalem visuellem Inhalt zusammen mit dem digitalen Audioinhalt in Übereinstimmung mit einer oder mit mehreren Ausführungsformen. Insbesondere zeigen eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems den digitalen visuellen Inhalt zusammen mit dem digitalen Audioinhalt basierend auf identifizierten Transitionspunkten an. Beispielsweise zeigt 7 eine Repräsentation 700 von Transitionspunkten – genauer Assettransitionspunkte 702 und Mikrotransitionspunkte 704 – zusammen mit digitalen visuellen Inhaltselementen 706, die über die Zeit mit dem digitalen Audioinhalt angezeigt werden sollen (das heißt, synchron dazu). In einer oder in mehreren Ausführungsformen entsprechen die Assettransitionspunkte 702 und die Mikrotransitionspunkte 704 den Transitionspunkten 606 mit Bezug auf 6
Wie diskutiert identifiziert das digitale Medienpräsentationssystem Transitionspunkte, einschließlich Assettransitionspunkte (das heißt, Transitionspunkte, die von einem digitalen visuellen Inhaltselement zu einem anderen digitalen visuellen Inhaltselement wechseln) und Mikrotransitionspunkte (das heißt, Transitionspunkte, welche ein digitales visuelles Inhaltselement ändern). Mit Bezug auf 7 hat das digitale Medienpräsentationssystem daher den Assettransitionspunkt 702a identifiziert. Dementsprechend zeigt das digitale Medienpräsentationssystem das digitale visuelle Inhaltselement 706a bis zum Transitionspunkt 702a an. Beim Transitionspunkt 702a zeigt das digitale Medienpräsentation das neue digitale visuelle Inhaltselement 706b an. Ähnlich zeigt, nach dem nächsten Assettransitionspunkt 702b, das digitale Medienpräsentationssystem ein drittes digitales visuelles Inhaltselement 706c an.
Eine oder mehrere Ausführungsformen des digitalen Medienpräsentationssystems zeigen auch einen Transitionseffekt bei einem oder mehreren Assettransitionspunkten an. Beispielsweise zeigt das digitale Medienpräsentationssystem beim Assettransitionspunkt 702a einen Wischeffekt an, der das digitale visuelle Inhaltselement 706a entfernt und das digitale visuelle Inhaltselement 706b freigibt. Das digitale Medienpräsentationssystem kann eine Vielfalt von Transitionseffekten anwenden.
Das digitale Medienpräsentationssystem wählt Transitionseffekte basierend auf einer Vielfalt von Faktoren aus. In einer oder in mehreren Ausführungsformen wählt das digitale Medienpräsentationssystem Transitionseffekte basierend auf Pop-Werten aus. Wie hierin verwendet, bezieht sich der Begriff ”Pop-Werte” auf Werte, die einem Transitionseffekt zugewiesen sind, welche einen Typ von Transitionseffekt angeben. Beispielsweise beinhaltet ein Pop-Wert einen Wert, der einem Transitionseffekt zugewiesen ist basierend auf der Länge des Transitionseffekts. Zum Beispiel weist das digitale Medienpräsentationssystem in einer oder in mehreren Ausführungsformen Transitionseffekten, die sich schnell von einem digitalen Inhaltselement zu einem anderen ändern, einen hohen Pop-Wert zu (z. B. einen Pop-Wert von 1). Ähnlich weist die digitale Medienpräsentation in einer oder in mehreren Ausführungsformen Transitionseffekten, die sich langsam von einem digitalen Inhaltselement zu einem anderen wechseln, einen niedrigen Pop-Wert zu (z. B. einen Pop-Wert von 0). Andere Ausführungsformen des digitalen Medienpräsentationssystems wenden auch Pop-Werte auf bestimmte Transitionseffekte basierend auf visueller Intensität oder anderen Faktoren an.
Die digitale Medienpräsentation kann die Pop-Wert mit einer Vielfalt von Faktoren vergleichen, die mit dem digitalen visuellen Inhalt und dem digitale Audioinhalt assoziiert sind, um einen Transitionseffekt für einen bestimmten Transitionspunkt auszuwählen. Zum Beispiel kann die digitale Medienpräsentation den Pop-Wert mit einem Wirkungswert vergleichen, der mit einem Transitionspunkt assoziiert ist, mit einer Zeit, die mit einem Transitionspunkt assoziiert ist (z. B. eine Zeit, in der Wirkungswerte erhöht sind mit Bezug auf einen Transitionspunkt), mit einem Betrag von Audiowirkungswerten, mit einer Zeit, die mit Audiowirkungswerten assoziiert ist (z. B. eine Zeit, in der die Differenzlinie 506 positiv ist), mit einer Zeit zwischen Transitionspunkten, oder mit einem anderen Faktor. Basierend auf dem Vergleich kann das digitale Medienpräsentationssystem einen Transitionseffekt auswählen.
Genauer bestimmt, mit Bezug auf die Ausführungsform von 7, das digitale Medienpräsentationssystem, dass der Assettransitionspunkt 702a einem wirksamen Ereignis kurzer Dauer entspricht (z. B. sind die Wirkungswerte, die mit dem Transitionspunkt assoziiert sind, für eine kurze Zeitperiode erhöht). Basierend auf der Bestimmung wählt das digitale Medienpräsentationssystem einen Transitionseffekt mit einem hohen Pop-Wert aus (z. B. einen Transitionseffekt kurzer Dauer).
Wie in 7 gezeigt, kann das digitale Medienpräsentationssystem den digitalen visuellen Inhalt auch mit Bezug auf einen oder mehrere Mikrotransitionspunkte anzeigen. Beispielsweise kann das digitale Medienpräsentationssystem das digitale visuelle Inhaltselement 706c bis zum Mikrotransitionspunkt 704a anzeigen. Nach den Mikrotransitionspunkt 704a kann das digitale Medienpräsentationssystem die Anzeige des digitalen visuellen Inhaltselements 706c ändern. Beispielsweise kann das digitale Medienpräsentationssystem die Farbe des digitalen visuellen Inhaltselements 706c ändern, in einen Teil des digitalen visuellen Inhaltselements 706c hineinzoomen, den Ort des digitalen visuellen Inhaltselements 706c mit Bezug auf eine Anzeigevorrichtung, welche das digitale visuelle Inhaltselement 706c anzeigt, ändern, oder anderweitig das digitale visuelle Inhaltselement 706c modifizieren. Wie dargestellt, tendieren Mikrotransitionen dazu, weniger Zeit zu erfordern, bis ein Benutzer sie versteht; Mikrotransitionen können daher zeitlich näher beabstandet sein.
Wie in 7 gezeigt, zeigt das digitale Medienpräsentationssystem den digitalen visuellen Inhalt zusammen mit dem digitalen Audioinhalt über eine Zeitperiode an. Insbesondere synchronisiert das digitale Medienpräsentationssystem den digitalen Audioinhalt und den digitalen Videoinhalt unter Verwendung der Transitionspunkte. Genauer erstellt das digitale Medienpräsentationssystem eine digitale Medienpräsentation, in welcher der digitale visuelle Inhalt zu dem digitalen Audioinhalt synchronisiert ist, wobei die Änderungen in dem digitalen visuellen Inhalt zu identifizierten Transitionspunkten in dem digitalen Audioinhalt synchronisiert sind. Auf diese Weise erstellt das digitale Medienpräsentationssystem digitale Medienpräsentationen, die unterhaltsamer, innovativer, emotionaler und gefühlvoller sind.
Mit Bezug nun auf 8 werden weitere Details hinsichtlich der Komponenten und Fähigkeiten des digitalen Medienpräsentationssystems angegeben. Insbesondere zeigt 8 eine Ausführungsform eines beispielhaften digitalen Medienpräsentationssystems 800 (z. B. das digitale Medienpräsentationssystem, das oben diskutiert wurde). Wie gezeigt kann das digitale Medienpräsentationssystem 800, ohne hierauf beschränkt zu sein, einen Inhalteverwalter 802, einen Wirkungsgenerator 804, ein Transitionswerk 806, einen digitalen Präsentationsgenerator 808 und einen Speicherverwalter 810 beinhalten. Weiter kann der Speicherverwalter 810 den digitalen Audioinhalt 812, den digitalen visuellen Inhalt 814 und ein Benutzerprofil 816 enthalten.
Jede der Komponenten 802–810 des digitalen Medienpräsentationssystems 800 und deren entsprechende Elemente (wie in 8 gezeigt) können miteinander kommunizieren unter Verwendung jeder geeigneten Kommunikationstechnologie. Es wird erkannt werden, dass obwohl die Komponenten 802–810 des digitalen Medienpräsentationssystems 800 und deren entsprechende Elemente in 8 als getrennt dargestellt sind, beliebige der Komponenten 802–810 und deren entsprechenden Elemente in weniger Komponenten kombiniert werden können, wie etwa in eine einzige Fazilität oder ein einziges Modul, in mehrere Komponenten unterteilt werden können, oder in andere Komponenten konfiguriert werden können, wie es einer bestimmten Ausführungsform dienlich sein mag.
Die Komponenten 802–810 des digitalen Medienpräsentationssystems 800 und deren entsprechende Elemente können Software, Hardware oder beides umfassen. Zum Beispiel können die Komponenten 802–810 und deren entsprechende Elemente eine oder mehrere Anweisungen umfassen, die auf einem computerlesbaren Speichermedium gespeichert sind und von Prozessoren von einer oder mehreren Rechnervorrichtungen ausgeführt werden können. Wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, können die computerausführbaren Anweisungen des digitalen Medienpräsentationssystems 800 eine Clientvorrichtung und/oder eine Servervorrichtung dazu veranlassen, die hierin beschriebenen Verfahren auszuführen. Alternativ können die Komponenten 802–810 und deren entsprechende Elemente Hardware umfassen, wie eine Spezialverarbeitungsvorrichtung, um eine bestimmte Funktion oder Gruppe von Funktionen auszuführen. Zusätzlich oder alternativ können die Komponenten 802–810 und deren entsprechende Elemente eine Kombination von computerausführbaren Anweisungen und Hardware umfassen.
Weiter können die Komponenten 802–810 zum Beispiel als eine oder mehrere alleinstehende Anwendungen, als ein oder als mehrere Module einer Anwendung, als ein oder mehrere Plug-Ins, als eine oder mehrere Bibliotheksfunktionen oder Funktionen, die von anderen Anwendungen aufgerufen werden, und/oder als ein Cloud Computing Modell implementiert sein. Die Komponenten 802–810 können daher als eine alleinstehende Anwendung, wie eine Desktop- oder Mobilanwendung, implementiert sein. Weiter können die Komponenten 802–810 als eine oder mehrere webbasierte Anwendungen implementiert sein, die auf einem entfernten Server gehostet werden. Alternativ oder zusätzlich können die Komponenten 802–810 in einer Suite von Mobilvorrichtungsanwendungen oder ”Apps” implementiert sein. Um dies zu veranschaulichen mögen die Komponenten 802–810 in einer Publishinganwendung implementiert sein, einschließlich, ohne hierauf beschränkt zu sein, ADOBE VIBE, ADOBE PHOTOSHOP, ADOBE ELEMENTS. ”ADOBE”, ”VIBE”, ”PHOTOSHOP”, und ”ELEMENTS” sind eingetragene Warenzeichen oder Warenzeichen der Adobe Systems Incorporated in den Vereinigten Staaten und/oder anderen Ländern.
Wie oben erwähnt und wie in 8 gezeigt, beinhaltet das digitale Medienpräsentationssystem 800 den Inhalteverwalter 802. In einer oder in mehreren Ausführungsformen greift der Inhalteverwalter 802 auf Inhalte zu, sammelt diese, identifiziert diese, ordnet diese, analysiert diese und stellt diese bereit. Beispielsweise stellt der Inhalteverwalter 802 digitale Medieninhalte (z. B. einen digitalen Audioinhalt und einen digitalen Medieninhalt) für das digitale Medienpräsentationssystem 800 bereit.
Der Inhalteverwalter 802 greift auf digitalen Medieninhalt von jeder verfügbaren Quelle zu. Beispielsweise greift der Inhalteverwalter 802 auf digitalen Medieninhalt von einer Clientvorrichtung zu (z. B. von dem Speicherverwalter 810, digitaler Audioinhalt 812 und digitaler visueller Inhalt 814), von einem lokalen Server (z. B. ein Heimnetzwerk, das mit einem lokalen Server verbunden ist, der digitale Medieninhalte bereitstellt), von einem entfernten Server (z. B. ein entfernter Server mit einer Softwareanwendung zum Bereitstellen von digitalen Medieninhalten), von einem Clouddienst oder einer anderen Quelle. Der Inhalteverwalter 802 kann daher auf einen digitalen Audioinhalt zugreifen von einem Smartphone mit einer Musikabspielliste; von einem von einem Dritten unterhaltenen Musikdiensteprovider, auf den über ein Netzwerk zugegriffen werden kann; von einem digitalen Musikspeichermedium (z. B. einer Audio-Compact Disc), oder einer anderen Quelle. Ähnlich kann der Inhalteverwalter 802 auf digitale visuelle Inhalte zugreifen von einer Foto- oder Videogalerie auf einem Smartphone, von einem Cloud-basierten Dienst oder von einer anderen Quelle.
Der Inhalteverwalter 802 wählt auch einen Inhalt aus. Insbesondere wählt der Inhalteverwalter 802 den Inhalt aus, der einer digitalen Medienpräsentation zu verwenden ist. Beispielsweise wählt der Inhalteverwalter 802 den digitalen Audioinhalt und den digitalen Medieninhalt aus, der in einer digitalen Medienpräsentation zu verwenden ist. Der Inhalteverwalter 802 kann den Inhalt basierend auf einer Vielfalt von Faktoren auswählen. Beispielsweise kann der Inhalteverwalter 802 den digitalen Audioinhalt auswählen basierend auf Merkmalen des digitalen Audioinhalts (z. B. Genre, Typ, Audiocharakteristiken, Benutzerpräferenz, Verwendung (z. B. Häufigkeit, mit der ein Benutzer den digitalen Audioinhalt hört), Merkmale eines digitalen visuellen Inhalts, Benutzereingabe oder andere Faktoren. Ähnlich kann der Inhalteverwalter 802 den digitalen visuellen Inhalt auswählen basierend auf Benutzerpräferenz, Merkmale des digitalen Audioinhalts, die Merkmale oder Inhalte des digitalen visuellen Inhalts (z. B. Individuen oder Objekte, die in dem digitalen visuellen Inhalt portraitiert sind), Datum oder Zeit, das bzw. die mit dem digitalen visuellen Inhalt assoziiert ist, ein Ort, der mit dem digitalen visuellen Inhalt assoziiert ist, Benutzereingabe oder andere Faktoren.
In einer oder in mehreren Ausführungsformen ordnet der Inhalteverwalter 802 auch Inhalte an. Insbesondere ordnet der Inhalteverwalter 802 digitale Audioinhalte in einer Reihenfolge an. Beispielsweise ordnet der Inhalteverwalter 802 digitalen Audioinhalt in einer Reihenfolge an, um zusammen digitalem Audioinhalt angezeigt zu werden. Ähnlich ordnet der Inhalteverwalter 802 eine Vielzahl von digitalen Audioinhaltselementen in einer Reihenfolge an, um diese abzuspielen, während digitaler visueller Inhalt angezeigt wird. Der Inhalteverwalter 802 kann Inhalte basierend auf einer Vielfalt von Faktoren anordnen. Beispielsweise ordnet der Inhalteverwalter 802 digitalen Audioinhalt und digitalen visuellen Inhalt basierend auf Merkmalen des digitalen Audioinhalts, Benutzerpräferenz, Verwendung, Merkmalen eines digitalen visuellen Inhalts, Benutzereingabe, Datum oder Zeit, Ort, Benutzereingabe, oder anderen Faktoren an.
In einer oder in mehreren Ausführungsformen analysiert der Inhalteverwalter 802 auch Inhalt. Beispielsweise analysiert der Inhalteverwalter 802 digitalen Audioinhalt oder digitalen visuellen Inhalt. Insbesondere kann der Inhalteverwalter 802 digitalen Audioinhalt oder digitalen visuellen Inhalt analysieren und Merkmale des digitalen Audioinhalts oder digitalen visuellen Inhalts erkennen.
Beispielsweise analysiert der Inhalteverwalter 802 in einer oder in mehreren Ausführungsformen digitalen visuellen Inhalt und identifiziert Personen oder Objekte, die in dem digitalen visuellen Inhalt dargestellt sind. Insbesondere beinhaltet der Inhalteverwalter 802 in einer oder in mehreren Ausführungsformen Gesichtserkennungs- und/oder Objekterkennungstechnologie. Somit kann der Inhalteverwalter 802 Personen, wie einen Benutzer, Freunde, Familie, Verwandte oder andere Personen erkennen, die in digitalem visuellem Inhalt dargestellt sind. Ähnlich kann der Inhalteverwalter 802 Objekte erkennen, wie Monumente, Orte, Vegetation, Strukturen, Häuser, Berge oder andere Objekte, die im digitalen visuellen Inhalt dargestellt sind. Ähnlich analysiert der Inhalteverwalter 802 in einer oder in mehreren Ausführungsformen digitalen visuellen Inhalt und identifiziert andere Merkmale. Zum Beispiel kann der Inhalteverwalter 802 Farben, Helligkeit, Lichtfarbe, Qualität, Größe, Länge oder andere Merkmale eines digitalen visuellen Inhalts erkennen. Zudem analysiert der Inhalteverwalter 802 optional den digitalen Audioinhalt und identifiziert Merkmale des digitalen Audioinhalts. Zum Beispiel kann der Inhalteverwalter 802 digitalen Audioinhalt analysieren und Genre, Typ, Länge, Künstler, Qualität oder Merkmale des digitalen Audioinhalts identifizieren.
Wie in 8 gezeigt, beinhaltet das digitale Medienpräsentationssystem 800 weiter auch den Wirkungsgenerator 804. Der Wirkungsgenerator 804 kann die Wirkung des digitalen Audioinhalts berechnen, erzeugen, erkennen und bestimmen. Insbesondere kann der Wirkungsgenerator 804 einen oder mehrere Wirkungswerte mit Bezug auf den digitalen Audioinhalt berechnen.
Zum Beispiel, wie oben in größerem Detail beschrieben, empfängt der Wirkungsgenerator 804 den digitalen Audioinhalt (z. B. vom Inhalteverwalter 802) und erkennt ein oder mehrere Energiemaße, die mit dem digitalen Audioinhalt assoziiert sind. Beispielsweise bestimmt der Wirkungsgenerator 804 Amplituden, die Frequenzen bei bestimmten Zeitperioden entsprechen, die mit dem digitalen Audioinhalt assoziiert sind.
Weiter berechnet der Wirkungsgenerator 804 Wirkungswerte basierend auf einem oder mehreren Energiemaßen. Insbesondere berechnet der Wirkungsgenerator 804 eine Änderung in einem oder in mehreren Energiemaßen über die Zeit. Zum Beispiel berechnet der Wirkungsgenerator 804 eine Differenz in einem Energiemaß über die Zeit in Bezug auf ein Energiemaß bei einem bestimmten Zeitpunkt. Genauer berechnet der Wirkungsgenerator 804 Bereichwirkungswerte, die einem spezifischen Bereich entsprechen (z. B. einem Frequenzbereich). Der Wirkungsgenerator 804 kann auch Wirkungswerte bei bestimmten Zeitperioden berechnen (z. B. indem Bereichwirkungswerte bei einer bestimmten Zeitperiode aufsummiert werden).
Um Wirkungswerte zu berechnen, kann der Wirkungsgenerator 804 auch ein oder mehrere Energiemaße modifizieren. Beispielsweise wendet der Wirkungsgenerator 804 eine oder mehrere Gewichtungskurven an, berechnet einen Schwerpunkt mit Bezug auf ein Energiemaß, das mit dem digitalen Audioinhalt assoziiert ist, normalisiert Energiemaße mit Bezug auf den digitalen Audioinhalt (z. B. normalisiert basierend auf einem Schwerpunkt), wendet eine oder mehrere Kurven an (z. B. Gammawerte) auf ein Energiemaß, und modifiziert Energiemaße anderweitig, um Wirkungswerte zu berechnen.
Der Wirkungsgenerator 804 kann auch spezifische Typen der Wirkung berechnen. Beispielsweise berechnet der Wirkungsgenerator 804 die Wirkung mit Bezug auf spezifische Energiemaße, wie perkussive Wirkung, harmonische Wirkung oder lyrische Wirkung. Zum Beispiel wendet der Wirkungsgenerator 804 einen oder mehrere Filter an, um bestimmte Energiemaße zu isolieren (z. B. perkussive Energie, harmonische Energie oder lyrische Energie), und Wirkungswerte basierend auf den gefilterten Energiemaßen zu berechnen.
Wie in 8 gezeigt, beinhaltet das digitale Medienpräsentationssystem 800 auch das Transitionswerk 806. Das Transitionswerk 806 kann einen oder mehrere Transitionspunkte identifizieren, bestimmen, berechnen, zuweisen oder erzeugen. Insbesondere kann das Transitionswerk 806 Wirkungswerte verwenden (z. B.
Wirkungswerte von dem Wirkungsgenerator 804), um einen oder mehrere Transitionspunkte zu identifizieren. Genauer identifiziert das Transitionswerk 806 Transitionspunkte in dem digitalen Audioinhalt zur Verwendung beim Synchronisieren des digitalen visuellen Inhalts mit dem digitalen Audioinhalt als Teil einer digitalen Medienpräsentation.
Wie oben beschrieben verwendet das Transitionswerk 806 in einer oder in mehreren Ausführungsformen einen oder mehrere abklingende Maskierungsschwellenwerte, um Transitionspunkte zu identifizieren. Beispielsweise kann das Transitionswerk 806 einen anfänglich abklingenden Maskierungsschwellenwert anwenden, der auf bestimmte auditive Fähigkeiten oder Präferenzen gerichtet ist. Genauer kann das Transitionswerk 806 einen abklingenden Maskierungsschwellenwert anwenden, der sich wiederholende Audioereignisse ausfiltert und/oder der relativen Reduktion in Wirkung Rechnung trägt, welche Hörer nach einem signifikanten Audioereignis erfahren.
Weiter kann das Transitionswerk 806 einen zweiten abklingenden Maskierungsschwellenwert anwenden, der auf bestimmte visuelle Fähigkeiten oder Präferenzen gerichtet ist. Beispielsweise kann das Transitionswerk 806 einen zweiten abklingenden Maskierungsschwellenwert anwenden, der wirksame Ereignisse filtert, die zeitlich zu nahe beieinander sind, als dass Benutzer sie visuell verstehen können (z. B. zu nahe beieinander sind, als dass Benutzer komfortabel den digitalen visuellen Inhalt verarbeiten können). Ähnlich kann das Transitionswerk 806 einen zweiten abklingenden Maskierungsschwellenwert anwenden, der dem verringerten Interesse an dem digitalen visuellen Inhalt Rechnung trägt, den Benutzer über die Zeit erfahren.
Dementsprechend wendet das Transitionswerk 806 abklingende Maskierungsschwellenwerte an, die mit einem anfänglichen Schwellenwert beginnen, mit einer Abklingrate abklingen, bis sie eine oder mehrere Funktionen oder Werte kreuzen (z. B. Wirkungswerte kreuzen), basierend auf der Kreuzung expandieren (z. B. mit einer bestimmten Rate oder um einen bestimmten Betrag expandieren) und dann fortfahren, abzuklingen. Weiterhin modifiziert das Transitionswerk 806 den anfänglichen Schwellenwert, die Abklingrate, die Expansionsrate (und/oder den Betrag) und andere Parameter zwischen und unter den abklingenden Maskierungsschwellenwerten.
Das Transitionswerk 806 kann Transitionspunkte identifizieren durch Vergleichen des abklingenden Maskierungsschwellenwerts mit einem oder mit mehreren Werten. Beispielsweise identifiziert das Transitionswerk 806 Transitionspunkte durch Vergleichen des abklingenden Maskierungsschwellenwerts mit Wirkungswerten, Werten, die von den Wirkungswerten abgeleitet sind (z. B. Audiointeressenwerte) oder anderen Werte. Genauer identifiziert das Transitionswerk 806 in einer oder in mehreren Ausführungsformen Transitionspunkte basierend auf Kreuzungen zwischen dem abklingenden Maskierungsschwellenwert und anderen Werte (z. B. Wirkungswerte, Audiointeressenwerte oder andere Werte).
Das Transitionswerk 806 kann auch mehrere Typen von Transitionspunkten erzeugen. Beispielsweise kann das Transitionswerk Transitionspunkte identifizieren, die einem Wechsel zwischen zwei oder mehr digitalen visuellen Inhaltselementen entsprechen (z. B. Assettransitionen), Transitionspunkte, die einem Wechsel zwischen zwei oder mehr Typen eines digitalen visuellen Inhaltselements entsprechen, Transitionspunkte, die einem Wechsel zwischen Modifikationen an einem digitalen visuellen Inhaltselement entsprechen (z. B. Mikrotransitionen), oder andere Transitionspunkte.
Das Transitionswerk 806 kann auch Transitionseffekte identifizieren. Insbesondere kann das Transitionswerk 806 verschiedene Transitionseffekte auf den digitalen visuellen Inhalt an den Transitionspunkten anwenden. Beispielsweise kann das Transitionswerk 806 die Anzeige eines digitalen Inhaltselements ändern, nach einem ersten digitalen visuellen Inhaltselement und vor einem zweiten digitalen visuellen Inhaltselement eine Graphik anzeigen, oder einen anderen Transitionseffekt bereitstellen.
Wie diskutiert, identifiziert das Transitionswerk 806 einen oder mehrere Transitionspunkte. Das Transitionswerk 806 kann auch einen oder mehrere Parameter beim Identifizieren von Transitionspunkten modifizieren. Beispielsweise kann das Transitionswerk 806 basierend auf einer Vielfalt von Faktoren Parameter modifizieren mit Bezug auf einen abklingenden Maskierungsschwellenwert. Beispielsweise kann das Transitionswerk 806 Parameter mit Bezug auf den abklingenden Maskierungsschwellenwert modifizieren basierend auf einem oder mehreren Merkmalen eines digitalen visuellen Inhalts (z. B. Merkmale, die von dem Inhalteverwalter 802 identifiziert wurden), basierend auf einem Vergleich zwischen digitalen visuellen Inhaltselementen, basierend auf einem Typ von Transitionspunkt, basierend auf einem Typ von Transitionseffekt, basierend auf der Größe und/oder Qualität eines digitalen visuellen Inhalts, oder anderen Faktoren.
Zum Beispiel kann das Transitionswerk 806 den abklingenden Maskierungsschwellenwertparameter (z. B. anfänglicher Schwellenwert, Abklingrate, Expansionsrate oder -betrag, minimaler Schwellenwert und so weiter) basierend auf den Inhalten digitaler visueller Elemente modifizieren. Genauer kann das Transitionswerk 806 Parameter basierend auf Personen oder Objekten modifizieren, die in dem digitalen visuellen Inhalt dargestellt sind.
Weiter beinhaltet das digitale Medienpräsentationssystem 800, wie in 8 gezeigt, auch den digitalen Präsentationsgenerator 808. Der digitale Präsentationsgenerator 808 eine oder mehrere digitale Medienpräsentationen erzeugen, anzeigen, erstellen oder bereitstellen. Beispielsweise kann der digitale Präsentationsgenerator 808 den digitalen Audioinhalt und den digitalen visuellen Inhalt (das heißt, Inhalt, der von dem Inhalteverwalter 802 bereitgestellt wurde) in eine digitale Medienpräsentation kombinieren.
Insbesondere kann der digitale Präsentationsgenerator 808 eine digitale Medienpräsentation basierend auf Transitionspunkten (z. B. Transitionspunkte, die von dem Transitionswerk 806 identifiziert werden) erzeugen und anzeigen. Beispielsweise kann der digitale Medienpräsentationsgenerator 808 den Audioinhalt und den digitalen visuellen Inhalt basierend auf identifizierten Transitionspunkten synchronisieren. Daher kann der digitale Präsentationsgenerator 808 zum Beispiel ein Bild zur Anzeige einer Anzeigevorrichtung bereitstellen, ein Lied zur Präsentation über eine Audioabspielvorrichtung bereitstellen, und während das Lied gespielt wird, das Bild bei einem identifizierten Transitionspunkt in dem Lied modifizieren.
Zudem beinhaltet, wie in 8 gezeigt, das digitale Medienpräsentationssystem 800 auch den Speicherverwalter 810. Der Speicherverwalter 810 hält Daten für das digitale Medienpräsentationssystem 800. Der Speicherverwalter 810 kann Daten jedes Typs, jeder Größe oder Art halten, wie erforderlich, um die Funktionen des digitalen Medienpräsentationssystems 800 auszuführen.
Wie gezeigt, beinhaltet der Speicherverwalter 810 den digitalen Audioinhalt 812. Der digitale Audioinhalt 812 kann jeden hierin beschriebenen digitalen Audioinhalt beinhalten. Zum Beispiel kann der digitale Audioinhalt 812 digitalen Audioinhalt beinhalten, der von dem Inhalteverwalter 802 gesammelt wurde, digitalen Audioinhalt, der zuvor von dem digitalen Medienpräsentationssystem 800 verwendet wurde, digitalen Audioinhalt, auf den ein Benutzer auf einer Clientvorrichtung zugegriffen oder diesen gehalten hat, oder jeder andere digitale Audioinhalt 812.
Weiterhin beinhaltet, wie in 8 gezeigt, der Speicherverwalter 810 auch den digitalen visuellen Inhalt 814. Der digitale visuelle Inhalt 814 kann jeden hierin beschriebenen digitalen visuellen Inhalt beinhalten. Beispielsweise kann der digitale visuelle Inhalt 814 digitalen visuellen Inhalt beinhalten, der von dem Inhalteverwalter 802 gesammelt wurde, digitalen visuellen Inhalt, der zuvor von dem digitalen Medienpräsentationssystem 800 verwendet wurde, digitalen visuellen Inhalt, auf den ein Benutzer auf einer Clientvorrichtung zugegriffen oder gehalten hat, oder jeder andere digitale visuelle Inhalt.
Weiterhin beinhaltet, wie in 8 gezeigt, der Speicherverwalter 810 auch ein Benutzerprofil 816. Das Benutzerprofil 816 kann Daten speichern, die sich auf einen oder mehrere Benutzer des digitalen Medienpräsentationssystems 800 beziehen. Zum Beispiel kann das Benutzerprofil 816 Information bezüglich der Verwendung des digitalen Medienpräsentationssystems 800, Information bezüglich der Verwendung einer oder mehrerer Vorrichtungen, demographische Information, von einem oder von mehreren Benutzern früher gemachte Benutzereingaben, Benutzerpräferenzen bezüglich dem digitalen Audioinhalt und/oder digitalen visuellen Inhalt, oder andere Information bezüglich einem oder mehreren Benutzern enthalten.
Verschiedene Komponenten des digitalen Medienpräsentationssystems 800 verwenden das Benutzerprofil 816, um ihre Funktionen auszuführen. Zum Beispiel kann der Inhalteanalysator 802 das Benutzerprofil 816 verwenden, um digitalen Audioinhalt und/oder digitalen visuellen Inhalt auszuwählen und anzuordnen; der Wirkungsgenerator 804 kann das Benutzerprofil 816 verwenden, um einen oder mehrere Parameter beim Berechnen der Wirkungswerte auszuwählen; und das Transitionswerk 806 kann das Benutzerprofil 816 verwenden, um einen oder mehrere Transitionspunkte auszuwählen.
9 zeigt ein schematisches Diagramm einer Ausführungsform einer beispielhaften Umgebung 900, in der das digitale Medienpräsentationssystem 800 arbeiten kann. In einer oder in mehreren Ausführungsformen beinhaltet die beispielhafte Umgebung 900 eine oder mehrere Clientvorrichtungen 902a, 902b, ... 902n, ein Netzwerk 904 und Server 906, die eine Softwarekomponente enthalten 908. Das Netzwerk 904 kann jedes geeignete Netzwerk sein, über das die Rechnervorrichtungen kommunizieren können. Beispielhafte Netzwerke sind in größerem Detail nachfolgend mit Bezug auf 11 diskutiert.
Wie in 9 gezeigt, kann die Umgebung 900 Clientvorrichtungen 902a–902n beinhalten. Die Clientvorrichtungen 902a–902n können eine Rechnervorrichtung umfassen. Zum Beispiel können die Clientvorrichtungen 902a–902n einen oder mehrere PCs, Laptopcomputer, Mobilvorrichtungen, Mobiltelefone, Tablets, Spezialanwendungscomputer, TVs oder andere Rechnervorrichtungen umfassen, einschließlich Rechnervorrichtungen, die nachfolgend mit Bezug auf 11 beschrieben sind.
Des Weiteren kann die Umgebung 900 auch den bzw. die Server 906 beinhalten. Der bzw. die Server 906 kann jeden Typ von Daten, einschließlich digitalen Audioinhalt 812 und/oder digitalen visuellen Inhalt 814, erzeugen, speichern, empfangen und übertragen. Zum Beispiel kann der oder können die Server 906 Daten an eine Clientvorrichtung, wie die Clientvorrichtung 902a, übertragen. Der oder die Server 906 können auch elektronische Nachrichten zwischen einem oder mehreren Benutzern der Umgebung 900 übertragen. In einer beispielhaften Ausführungsform umfasst der bzw. umfassen die Server 906 einen Inhalteserver. Der oder die Server 906 können auch einen Kommunikationsserver oder einen Web-Hosting-Server umfassen. Zusätzliche Details bezüglich dem oder die Server 906 werden nachstehen mit Bezug auf 11 diskutiert.
Wie erwähnt kann der oder können die Server 906 in einer oder in mehreren Ausführungsformen die Softwarekomponente 908 enthalten. Insbesondere kann die Softwarekomponente 908 eine Anwendung umfassen, die auf dem bzw. den Server(n) 906 ausgeführt wird, oder einen Teil einer Softwareanwendung, die von dem Server 906 heruntergeladen werden kann. Zum Beispiel kann die Softwarekomponente 908 eine Web-Hosting-Anwendung umfassen, die es den Clientvorrichtungen 902a–902n erlaubt, mit Inhalt zu interagieren, der auf dem Server 906 gehostet wird. Um dies zu veranschaulichen kann in einer oder in mehreren Ausführungsformen der beispielhaften Umgebung 900 eine oder können mehrere Clientvorrichtungen 902a–902n auf eine Webseite zugreifen, die von dem Server 906 unterstützt wird. Insbesondere kann die Clientvorrichtung 902a eine Webanwendung (z. B. einen Webbrowser) ausführen, um es einem Benutzer zu ermöglichen, auf eine Webseite, die auf dem Server 906 gehostet wird, zuzugreifen, diese zu betrachten und/oder mit dieser zu interagieren.
Obwohl 9 eine bestimmte Anordnung der Clientvorrichtungen 902a–902n, des Netzwerks 904, des bzw. der Server 906 und der Softwarekomponente 908 zeigt, sind verschiedene zusätzliche Anordnungen möglich. Während 9 mehrere separate Clientvorrichtungen 902a–902n zeigt, die über das Netzwerk 904 mit dem oder den Server(n) 906 kommunizieren, kann zum Beispiel in einer oder in mehreren Ausführungsformen eine einzelne Clientvorrichtung direkt mit dem Server 906 kommunizieren, wobei das Netzwerk 904 umgangen wird.
Ähnlich kann, obwohl die Umgebung 900 von 9 verschiedene Komponenten aufweisend dargestellt ist, die Umgebung 900 zusätzliche oder alternative Komponenten aufweisen. Zum Beispiel kann das digitale Medienpräsentationssystem 800 auf einer einzelnen Rechnervorrichtung implementiert sein. Insbesondere kann das digitale Medienpräsentationssystem 800 als Ganzes durch die Clientvorrichtung 902a oder den oder die Server 906 implementiert sein.
Als ein Beispiel kann in einer oder in mehreren Ausführungsformen die Clientvorrichtung 902a mit dem oder den Server(n) 906 und/oder der Softwarekomponente 908 zusammenarbeiten, um Inhalt herunterzuladen, zu streamen oder anderweitig auf Inhalt, der von dem bzw. den Server(n) 906 gehostet wird, zuzugreifen, diesen anzuzeigen und/oder mit diesem zu interagieren. Die Clientvorrichtung 902a kann digitalen Audioinhalt und digitalen visuellen Inhalt zur Verwendung in einer digitalen Medienpräsentation identifizieren. Weiter kann, wie im Detail oben beschrieben, die Clientvorrichtung 902a Transitionspunkte berechnen, digitalen Audioinhalt und digitalen visuellen Inhalt synchronisieren und eine oder mehrere digitale Medienpräsentationen erstellen.
Zusätzlich oder alternativ kann der oder können die Server 906 und die Softwarekomponente 908 in einer oder in mehreren Ausführungsformen es einem Benutzer ermöglichen, einen gewünschten Inhalt auszuwählen (z. B. digitalem Audioinhalt und digitalen visuellen Inhalt), der auf dem bzw. den Server(n) 906 gehostet wird. Weiter kann der bzw. können die Server 906 einen oder mehrere Transitionspunkte berechnen, digitalen Audioinhalt und digitalen visuellen Inhalt synchronisieren und eine oder mehrere digitalen Medienpräsentationen erstellen. Der bzw. die Server 906 können dann die eine oder die mehreren digitalen Medienpräsentationen über das Netzwerk 904 an die Clientvorrichtung 902a bereitstellen, senden oder herunterladen. Weiter kann die Clientvorrichtung 902a dann mit dem bzw. den Server(n) 906 kommunizieren, diese(n) anweisen oder diese(n) anzeigen, die eine oder die mehreren digitalen Medienpräsentationen an Clientvorrichtungen 902b–902n (und/oder Benutzer, die mit den Clientvorrichtungen 902b–902n assoziiert sind) zu senden. In Antwort darauf kann der bzw. können die Server 906 die eine oder die mehreren digitalen Medienpräsentationen an die Clientvorrichtungen 902b–902n übertragen, senden oder anderweitig bereitstellen.
1–9, der entsprechende Text und die Beispiele stellen eine Anzahl unterschiedlicher Systeme und Vorrichtungen bereit, die es einem Benutzer erlauben, die Erstellung einer oder mehrerer digitaler Medienpräsentationen zu bewerkstelligen. Zusätzlich zum Vorhergehenden können Ausführungsformen auch im Begriff von Flussdiagrammen beschrieben werden, welche Aktionen und Schritte in einem Verfahren zum Bewerkstelligen eines bestimmten Ergebnisses enthalten. Zum Beispiel zeigen 10 und 11 Flussdiagramme von beispielhaften Verfahren in Übereinstimmung mit einer oder mit mehreren Ausführungsformen. Die mit Bezug auf 10 und 11 beschriebenen Verfahren können mit weniger oder mit mehr Schritten/Aktionen ausgeführt werden, oder die Schritte/Aktionen können in anderen Reihenfolgen ausgeführt werden. Zusätzlich können die Schritte/Aktionen, die hierin beschrieben werden, wiederholt werden oder parallel mit anderen oder parallel mit anderen Instanzen derselben Schritte/Aktionen ausgeführt werden.
10 zeigt ein Flussdiagramm einer Reihe von Aktionen in einem Verfahren 1000 zum Erstellen von einer oder von mehreren digitalen Medienpräsentationen in Übereinstimmung mit einer oder mit mehreren Ausführungsformen. In einer oder in mehreren Ausführungsformen wird das Verfahren 1000 in einer digitalen Medienumgebung ausgeführt, welche das digitale Medienpräsentationssystem 800 beinhaltet. Das Verfahren 1000 ist als ein oder mehrere Verfahren in Übereinstimmung mit der vorliegenden Offenbarung veranschaulichend gedacht, und ist nicht dazu gedacht, potentielle Ausführungsformen zu beschränken. Alternative Ausführungsformen können zusätzliche, weniger oder andere Schritte als die in 10 formulierten enthalten.
Das Verfahren 1000 beinhaltet eine Aktion 1002 des Berechnens von Wirkungswerten basierend auf einer Änderung in einem Energiemaß. Insbesondere kann die Aktion 1002 das Berechnen von Wirkungswerten für eine Vielzahl von Zeitperioden beinhalten, die mit dem digitalen Audioinhalt assoziiert sind, durch Berechnen einer Änderung in einem Energiemaß, das mit den Zeitperioden assoziiert ist. Zusätzlich kann die Aktion 1002 auch das Berechnen einer Änderung in dem Energiemaß zwischen einer ersten Zeitperiode in der Vielzahl von Zeitperioden und einer zweiten Zeitperiode in der Vielzahl von Zeitperioden beinhalten, in Bezug auf einen Betrag des Energiemaßes, das mit dem digitalen Audioinhalt zu der zweiten Zeitperiode assoziiert ist.
Ähnlich kann die Aktion 1002 auch das Unterteilen der Vielzahl von Zeitperioden, die mit dem digitalen Audioinhalt assoziiert sind, in eine Vielzahl von Bereichen beinhalten, wobei jeder Bereich der Vielzahl von Bereichen in einer ersten Zeitperiode einem Bereich der Vielzahl von Bereichen in einer zweiten Zeitperiode entspricht, und für jeden Bereich in der zweiten Zeitperiode, Berechnen der Differenz zwischen einem Energiemaß, das mit dem Bereich von dem digitalen Audioinhalt in der zweiten Zeitperiode assoziiert ist, und einem Energiemaß, das mit dem entsprechenden Bereich von dem digitalen Audioinhalt in der ersten Zeitperiode assoziiert ist. Weiter kann die Aktion 1002 für jeden Bereich in der zweiten Zeitperiode beinhalten Berechnen eines Bereichwirkungswerts durch Multiplizieren der berechneten Differenz zwischen dem Energiemaß, das mit dem Bereich von dem digitalen Audioinhalt in der zweiten Zeitperiode assoziiert ist, und dem Energiemaß, das mit dem entsprechenden Bereich von dem digitalen Audioinhalt in der ersten Zeitperiode assoziiert ist, mit dem berechneten Energiemaß, das mit dem Bereich von dem digitalen Audioinhalt in der zweiten Zeitperiode assoziiert ist, und Berechnen eines Wirkungswerts, der mit der zweiten Zeitperiode assoziiert ist, durch Kombinieren der Bereichwirkungswerte.
Zudem kann die Aktion 1002 auch beinhalten das Berechnen eines Schwerpunkt des Energiemaßes mit Bezug auf den digitalen Audioinhalt; Normalisieren des Energiemaßes basierend auf dem Schwerpunkt; und Anwenden einer Kurve auf das normalisierte Energiemaß. Des Weiteren kann mit Bezug auf die Aktion 1002 das Energiemaß eines oder mehrere der folgenden umfassen: Amplitude, Leistung, Intensität, Lautstärke oder Lautheit.
Wie in 10 gezeigt, beinhaltet das Verfahren 1000 beinhaltet auch eine Aktion 1004 des Auswählens von Transitionspunkten unter Verwendung eines abklingenden Maskierungsschwellenwerts. Die Aktion 1004 kann auch das Auswählen von Transitionspunkten basierend auf den Wirkungswerten in dem digitalen Audioinhalt unter Verwendung eines abklingenden Maskierungsschwellenwerts beinhalten, der abklingt, bis er einen ersten Wirkungswert kreuzt, der sich erhöht in Antwort auf die Kreuzung des ersten Wirkungswerts, und wieder abklingt, bis er einen zweiten Wirkungswerte kreuzt, wobei die gekreuzten Wirkungswerte verwendet werden, um die Transitionspunkte auszuwählen.
Ähnlich kann die Aktion 1004 auch beinhalten Erzeugen von Audiointeressenwerten durch Anwenden eines ersten abklingenden Maskierungsschwellenwerts auf die berechneten Wirkungswerte, wobei der erste abklingende Maskierungsschwellenwert mit einer ersten Rate abklingt. Weiter kann die Aktion 1004 auch beinhalten Auswählen der Transitionspunkte durch Anwenden eines zweiten abklingenden Maskierungsschwellenwerts auf die Audiowirkungswerte, wobei der zweiten abklingende Maskierungsschwellenwert mit einer zweiten Rate abklingt, die sich von der ersten Rate unterscheidet.
Weiterhin kann die Aktion 1004 auch beinhalten Berechnen der Audiointeressenwerte durch Vergleichen des abklingenden Maskierungsschwellenwerts und der Wirkungswerte und Anwenden eines zweiten abklingenden Maskierungsschwellenwerts, der abklingt, bis er einen ersten Audiointeressenwert kreuzt, sich erweitert in Antwort auf die Kreuzung des ersten Audiointeressenwerts, und erneut abklingt, bis ein zweiter Audiointeressenwert gekreuzt wird, wobei die gekreuzten Audiointeressenwerte verwendet werden, um Transitionspunkte auszuwählen. Des Weiteren klingt in einer oder in mehreren Ausführungsformen der Aktion 1004 der abklingende Maskierungsschwellenwert mit einer ersten Rate ab und der zweite abklingende Maskierungsschwellenwert klingt mit einer zweiten Rate ab, die sich von der ersten Rate unterscheidet. Ähnlich erweitert sich in einer oder in mehreren Ausführungsformen der Aktion 1004 der abklingende Maskierungsschwellenwert um einen Betrag der proportional einem Betrag des ersten Wirkungswerts ist.
Zudem kann die Aktion 1004 auch beinhalten Erkennen von einer oder mehreren Eigenschaften des digitalen visuellen Inhalts, und Modifizieren zumindest eines der folgenden basierend auf der erkannten einen oder mehreren Eigenschaften des visuellen Inhalts: ein Betrag, um den sich der abklingende Maskierungsschwellenwert erweitert; eine Rate, mit der sich der abklingende Maskierungsschwellenwert erweitert; ein Betrag, um den der abklingende Maskierungsschwellenwert abklingt; oder eine Rate, mit der der abklingende Maskierungsschwellenwert abklingt. Ähnlich umfassen in einer oder in mehreren Ausführungsformen der Aktion 1004 die eine oder die mehreren Eigenschaften des digitalen visuellen Inhalts zumindest eines der folgenden: eine Benutzerinteraktion mit dem digitalen visuellen Inhalt, ein Objekt, das in dem digitalen visuellen Inhalt dargestellt ist; ein Individuum, das in dem digitalen visuellen Inhalt dargestellt ist, und ein Typ des digitalen visuellen Inhalts.
Weiter beinhaltet das Verfahren 1000, wie in 10 dargestellt, auch eine Aktion 1006 des Erstellens einer Präsentation basierend auf den ausgewählten Transitionspunkten. Insbesondere kann die Aktion 1006 das Erstellen einer Präsentation eines digitalen visuellen Inhalts beinhalten durch Synchronisieren des digitalen visuellen Inhalts mit dem digitalen Audioinhalt basierend auf den ausgewählten Transitionspunkten. Zudem kann die Aktion 1006 auch das Erstellen, basierend auf den ausgewählten Transitionspunkten, einer Präsentation eines digitalen visuellen Inhalts in Verbindung mit dem digitalen Audioinhalt beinhalten.
Ausführungsformen der vorliegenden Offenbarung können einen Spezialcomputer oder einen Allzweckcomputer umfassen oder verwenden, der Hardware umfasst, wie etwa einen oder mehrere Prozessoren und Systemspeicher, wie in größerem Detail unten beschrieben. Ausführungsformen im Bereich der vorliegenden Offenbarung beinhalten auch physische und andere computerlesbare Medien zum Tragen oder Speichern von von einem Rechner ausführbaren Anweisungen und/oder Datenstrukturen. Insbesondere kann ein oder können mehrere der hierin beschriebenen Prozesse zumindest zum Teil als Anweisungen implementiert werden, die in einem nichttransitorischen computerlesbaren Medium verkörpert sind, und die von einer oder von mehreren Rechnervorrichtungen ausgeführt werden können (zum Beispiel jede der hierin beschriebenen Medieninhaltszugriffsvorrichtungen) Im Allgemeinen empfängt ein Prozessor (zum Beispiel ein Mikroprozessor) Anweisungen von einem nichttransitorischen computerlesbaren Medium, (zum Beispiel ein Speicher und so weiter) und führt diese Anweisungen aus, wodurch ein oder mehrere Prozesse ausgeführt werden, einschließlich einem oder mehreren der hierin beschriebenen Prozesse.
Computerlesbare Medien können alle verfügbare Medien sein, auf die ein Allzweckrechnersystem oder ein Spezialrechnersystem zugreifen kann. Computerlesbare Medien, welche von einem Rechner ausführbare Anweisungen speichern, sind nichttransitorische computerlesbare Speichermedien (Vorrichtungen). Computerlesbare Medien, welche von einem Rechner ausführbare Anweisungen tragen, sind Übertragungsmedien. Daher können, allein beispielhaft und nicht beschränkend, Ausführungsformen der Offenbarung zumindest zwei unterschiedliche Arten von computerlesbaren Medien umfassen: nichttransitorische computerlesbare Speichermedien (Vorrichtungen) und Übertragungsmedien.
Nichttransitorische computerlesbare Speichermedien (Vorrichtungen) umfassen RAM, ROM, EEPROM, CD-ROM, Halbleiterspeicherlaufwerke (”SSDs”) (zum Beispiel auf RAM basierend), Flash Speicher, Phasenübergangsspeicher (”PCM”), andere Speichertypen, andere optische Plattenspeicher, magnetische Plattenspeicher oder andere magnetische Speichervorrichtungen, oder jedes andere Medium, das verwendet werden kann, um gewünschte Programmcodemittel in der Form von von einem Rechner ausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf die ein Allzweckrechner oder ein Spezialrechner zugreifen kann.
Ein ”Netzwerk” ist definiert als eine oder als mehrere Datenverbindungen, die den Transport von elektronischen Daten zwischen Rechnersystemen und/oder -modulen und/oder anderen elektronischen Vorrichtungen ermöglichen. Wenn Information über ein Netzwerk oder eine andere Kommunikationsverbindung (sei es fest verdrahtet, drahtlos, oder eine Kombination von fest verdrahtet und drahtlos) zu einem Rechner transferiert oder bereitgestellt wird, betrachtet der Rechner richtiger Weise die Verbindung als ein Übertragungsmedium. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen umfassen, die verwendet werden können, um gewünschte Programmcodemittel in der Form von von einem Rechner ausführbaren Anweisungen oder Datenstrukturen zu tragen, und auf die ein Allzweckrechner oder ein Spezialrechner zugreifen kann. Kombinationen der vorstehenden sollen auch im Bereich von computerlesbaren Medien umfasst sein
Weiter können, nachdem sie verschiedene Rechnersystemkomponenten erreichen, Programmcodemittel in der Form von von einem Rechner ausführbaren Anweisungen oder Datenstrukturen automatisch von Übertragungsmedien zu nichttransitorischen computerlesbaren Speichermedien (Vorrichtungen) übertragen (oder umgekehrt). Zum Beispiel können von einem Rechner ausführbare Anweisungen oder Datenstrukturen, die über ein Netzwerk oder eine Datenverbindung empfangen wurden, in einem RAM innerhalb einem Netzwerkschnittstellenmodul (zum Beispiel einem ”NIC”) gepuffert werden, und dann irgendwann in ein Rechnersystem-RAM und/oder in weniger flüchtige Computerspeichermedien (Vorrichtungen) in einem Rechnersystem übermittelt werden. Es sollte daher verstanden werden, dass nichttransitorische computerlesbare Speichermedien (Vorrichtungen) in Rechnersystemkomponenten enthalten sein können, die auch (oder sogar hauptsächlich) Übertragungsmedien nutzen.
Von einem Rechner ausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die, wenn sie in einem Prozessor ausgeführt werden, einen Allzweckrechner, einen Spezialrechner oder eine Spezialzweckverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen auszuführen. In einigen Ausführungsformen werden die von einem Rechner ausführbaren Anweisungen auf einem Allzweckrechner ausgeführt, um den Allzweckrechner in einen Spezialrechner umzuwandeln, der Elemente der Offenbarung implementiert. Die von einem Computer ausführbaren Anweisungen können zum Beispiel Binärdateien, Intermediärformatanweisungen wie Maschinensprache oder sogar Quellcode sein. Obwohl der Gegenstand in einer Sprache beschrieben wurde, die für strukturelle Merkmale und/oder Verfahrensaktionen spezifisch ist, wird verstanden werden, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendiger Weise auf die beschriebenen Merkmale oder die oben beschriebenen Aktionen beschränkt ist. Vielmehr sind die Merkmale und Aktionen als beispielhafte Formen der Implementierung der Ansprüche zu verstehen.
Die Fachleute werden verstehen, dass die Offenbarung in vernetzten Rechnerumgebungen mit vielen Arten von Rechnersystemkonfigurationen verwirklicht werden kann, einschließlich PCs, Schreibtischcomputer, Laptopcomputer, Nachrichtenprozessoren, handgehaltene Vorrichtungen, Mehrprozessorsysteme, Mikroprozessor-basierte oder programmierbare Unterhaltungsgeräte, Netzwerk-PCs, Minicomputer, Mainframecomputer, Mobiltelefone, PDAs, Tablets, Pager, Router, Switches und ähnliche. Die Offenbarung kann auch in verteilten Systemumgebungen verwirklicht werden, wo lokale und entfernte Rechnersysteme, die über ein Netzwerk verbunden sind (sei es durch festverdrahtete Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination von festverdrahteten und drahtlosen Datenverbindungen) verknüpft sind, Tasks ausführen. In einer verteilten Systemumgebung können sich Programmmodule sowohl in lokalen als auch in entfernten Speichervorrichtungen befinden.
Ausführungsformen der vorliegenden Offenbarung können auch in Cloud Computing Umgebungen. In dieser Beschreibung ist ”Cloud Computing” definiert als ein Modell zum Ermöglichen von Netzwerkzugriff On-Demand auf einen geteilten Pool konfigurierbarer Rechnerressourcen. Zum Beispiel kann Cloud Computing im Markt eingesetzt werden, um einen allgegenwärtigen und bequemen Zugriff On-Demand auf den geteilten Pool konfigurierbarer Rechnerressourcen anzubieten. Der geteilte Pool konfigurierbarer Rechnerressourcen kann mittels Virtualisierung schnell bereitgestellt und kann freigegeben werden mit geringem Verwaltungsaufwand oder Diensteproviderinteraktion, und dann entsprechend skaliert werden.
Ein Cloud Computing Modell kann aus verschiedenen Charakteristiken gebildet sein, wie zum Beispiel On-Demand Selbstbedienung, breitem Netzwerkzugriff, Ressourcenpooling, schnelle Elastizität, gemessenem Service und so weiter. Ein Cloud Computing Modell kann auch verschiedene Dienstemodelle exponieren, wie zum Beispiel Software-as-a-Service (”SaaS”), Platform-as-a-Service (”PaaS”) und Infrastructure-as-a-Service (”IaaS”). Ein Cloud Computing Modell kann auch eingesetzt werden unter Verwendung verschiedener Modelle, wie private Cloud, Gemeinschafts-Cloud, öffentliche Cloud, hybride Cloud und so weiter. In dieser Beschreibung und in den Ansprüchen ist eine ”Cloud Computing Umgebung” eine Umgebung, in der Cloud Computing eingesetzt wird.
11 zeigt, in Form eines Blockdiagramms, eine beispielhaften Rechnervorrichtung 1100, die konfiguriert sein kann, um einen oder mehrere der oben beschriebenen Prozesse auszuführen. Es wird verstanden werden, dass das digitale Medienpräsentationssystem 800 Implementierungen der Rechnervorrichtung 1100 umfassen kann. Wie von der 11 gezeigt, kann die Rechnervorrichtung 1100 einen Prozessor 1102, einen Speicher 1104, eine Speichervorrichtung 1106, eine Eingabe-/Ausgabeschnittstelle 1108 und eine Kommunikationsschnittstelle 1110. Während eine beispielhafte Rechnervorrichtung 1100 in 11 gezeigt ist, sind die in 11 gezeigten Komponenten nicht als beschränkend gedacht. Zusätzliche oder alternative Komponenten können in anderen Ausführungsformen verwendet werden. Weiter kann in bestimmten Ausführungsformen eine Rechnervorrichtung 1100 weniger Komponenten als die in 11 gezeigten umfassen. Die in 11 gezeigten Komponenten der Rechnervorrichtung 1100 werden nun in größerem Detail beschrieben.
In bestimmten Ausführungsformen beinhaltet der Prozessor bzw. beinhalten die Prozessoren 1102 Hardware zum Ausführen von Anweisungen, wie diejenigen, die ein Computerprogramm bilden. Als ein nichtbeschränkendes Beispiel kann der Prozessor bzw. können die Prozessoren 1102, um Anweisungen auszuführen, die Anweisungen von einem internen Register, einem internen Cache, einem Speicher 1104 oder einer Speichervorrichtung 1106 abrufen (oder holen) und diese dekodieren und ausführen. In bestimmten Ausführungsformen Beispiel kann der Prozessor bzw. können die Prozessoren 1102 eine oder mehrere interne Caches für Daten, Anweisungen oder Adressen umfassen. Als ein nichtbeschränkendes Beispiel kann der Prozessor 1102 einen oder mehrere Befehlscaches, einen oder mehrere Datencaches und einen oder mehrere Translation Lookaside Buffers (TLBs) umfassen. Anweisungen in den Befehlscaches können Kopien der Anweisungen in dem Speicher 1104 oder dem Speicher 1106 sein.
Die Rechnervorrichtung 1100 beinhaltet einen Speicher 1104, der mit dem oder den Prozessor(en) 1102 gekoppelt ist. Der Speicher 1104 kann verwendet werden, um Daten, Metadaten und Programme zur Ausführung durch den bzw. die Prozessor(en) speichern. Der Speicher 1104 kann einen oder mehrere flüchtige und nichtflüchtige Speicher umfassen, wie Speicher mit wahlfreiem Zugriff (RAM), Nur-Lese-Speicher (ROM), ein Halbleiterspeicherlaufwerk (SSD), Flash, Phasenübergangsspeicher (PCM) oder andere Arten von Datenspeichern. Der Speicher 1104 kann ein interner oder ein verteilter Speicher sein.
Die Rechnervorrichtung 1100 beinhaltet eine Speichervorrichtung 1106, welche einen Speicher zum Speichern von Daten oder Anweisungen enthält. Als ein nichtbeschränkendes Beispiel kann die Speichervorrichtung 1106 ein oben beschriebenes nichttransitorisches Speichermedium aufweisen. Die Speichervorrichtung 1106 kann ein Festplattenlaufwerk (HDD), ein Diskettenlaufwerk, Flash Speicher, eine optische Platte, eine magneto-optische Platte, ein Magnetband oder ein USB Laufwerk oder eine Kombination von zwei oder mehr der genannten aufweisen. Die Speichervorrichtung 1106 kann entfernbare oder nicht entfernbare (oder feste) Medien aufweisen, wo geeignet. Die Speichervorrichtung 1106 kann intern oder extern der Rechnervorrichtung 1100 sein. In bestimmten Ausführungsformen ist die Speichervorrichtung 1106 ein nichtflüchtiger Halbleiterspeicher. In anderen Ausführungsformen enthält die Speichervorrichtung 1106 einen Nur-Lese-Speicher (ROM). Wo geeignet mag dieses ROM ein maskenprogrammiertes ROM, ein programmierbares ROM (PROM), ein löschbares PROM (EPROM), ein elektrisch löschbares PROM (EEPROM), ein elektrisch überschreibbares ROM (EAROM) oder ein Flash Speicher oder eine Kombination von zwei oder mehr der genannten sein.
Die Rechnervorrichtung 1100 beinhaltet auch eine oder mehrere Eingabe-/Ausgabe-(”I/O”)Vorrichtungen/Schnittstellen, die bereitgestellt sind, um es einem Benutzer zu ermöglichen, Eingaben (wie Benutzerstrichgesten) an die Rechnervorrichtung 1100 bereitzustellen an, Ausgaben von dieser zu empfangen von, und auf andere Weisen Daten zu dieser zu senden und von dieser zu empfangen. Die Eingabe-/Ausgabe-Vorrichtungen/Schnittstellen 1108 können eine Maus, ein Tastenfeld oder eine Tastatur, einen Berührungsbildschirm, eine Kamera, einen optischen Scanner, eine Netzwerkschnittstelle, ein Modem, andere bekannte Eingabe-/Ausgabevorrichtungen oder eine Kombination solcher Eingabe-/Ausgabe-Vorrichtungen/Schnittstellen 1108 umfassen. Der Berührungsbildschirm kann mit einem Griffel oder einem Finger aktiviert werden.
Die Eingabe-/Ausgabe-Vorrichtungen/Schnittstellen 1108 können eine oder mehrere Vorrichtungen zum Präsentieren von Ausgaben für einen Benutzer umfassen, einschließlich, ohne hierauf beschränkt zu sein, ein Grafikwerk, eine Anzeige (zum Beispiel ein Anzeigebildschirm), eine oder mehrere Ausgabevorrichtungen (zum Beispiel Anzeigetreiber), eine oder mehrere Audiolautsprecher und eine oder mehrere Audiotreiber. In bestimmten Ausführungsformen sind die Vorrichtungen/Schnittstellen 1108 konfiguriert, um graphische Daten zu einer Anzeige zum Präsentation für einen Benutzer bereitzustellen. Die graphischen Daten können für eine oder für mehrere graphische Benutzerschnittstellen und/oder jeden anderen graphischen Inhalt repräsentativ sein, der einer bestimmten Implementierung dienlich sein kann.
Die Rechnervorrichtung 1100 kann weiter eine Kommunikationsschnittstelle 1110 umfassen. Die Kommunikationsschnittstelle 1110 kann Hardware, Software oder beides beinhalten. Die Kommunikationsschnittstelle 1110 kann eine oder mehrere Schnittstellen zur Kommunikation (wie zum Beispiel paketbasierte Kommunikation) zwischen der Rechnervorrichtung und einer oder mehreren anderen Rechnervorrichtungen 1100 oder einem oder mehreren Netzwerken bereitstellen. Als ein nichtbeschränkendes Beispiel kann die Kommunikationsschnittstelle 1110 einen Netzwerkschnittstellencontroller (NIC) oder einen Netzwerkadapter beinhalten, um mit einem Ethernet oder einem anderen drahtbasierten Netzwerk zu kommunizieren, oder einen drahtlosen NIC (WNIC) oder drahtlosen Adapter, um mit einem drahtlosen Netzwerk, wie WLan, zu kommunizieren, enthalten.
Die vorliegende Offenbarung zieht jedes geeignete Netzwerk und jede geeignete Kommunikationsschnittstelle 1110 in Betracht. Allein beispielhaft und nicht beschränkend mag die Rechnervorrichtung 1100 mit einem ad hoc Netzwerk, einem persönlichen Netzwerk (PAN), einem lokalen Netzwerk (LAN), einem Weitbereichsnetzwerk (WAN), einem Stadtbereichsnetzwerk (MAN), oder einem oder mehreren Teilen des Internets oder eine Kombination von zwei oder mehr von diesen kommunizieren. Ein oder mehrere Teile von einem oder von mehreren dieser Netzwerke können drahtgebunden oder drahtlos sein. Als ein Beispiel kann die Rechnervorrichtung 1100 mit einem drahtlosen PAN (WPAN) wie zum Beispiel ein Bluetooth WPAN), einem WLan Netzwerk, einem WI-MAX Netzwerk, einem Mobilfunknetzwerk (wie zum Beispiel ein GSM Netzwerk), oder einem anderen geeigneten drahtlosen Netzwerk oder einer Kombination kommunizieren. Die Rechnervorrichtung 1100 kann, wo angebracht, eine geeignete Kommunikationsschnittstelle 1110 für jedes dieser Netzwerke enthalten.
Die Rechnervorrichtung 1100 kann weiter einen Bus 1112 beinhalten. Der Bus 1112 kann Hardware, Software oder beides beinhalten, welche Komponenten der Rechnervorrichtung 1100 miteinander koppelt. Als ein nichtbeschränkendes Beispiel kann der Bus 1112 einen Accelerated Graphics Port (AGP) oder einen anderen Grafikbus, einen Enhanced Industry Standard Architecture (EISA) Bus, einen Front-Side Bus (FSB), einen Hypertransport (HT) Interconnect, einen Industry Standard Architecture (ISA) Bus, einen Infiniband Interconnet, einen Low-Pin-Count (LPC) Bus, einen Speicherbus, einen Micro Channel Architecture (MCA) Bus, einen Peripheral Component Interconnect (PCI) Bus, einen PCI-Express (PCIe) Bus, einen Serial Advanced Technology Attachment (SATA) Bus, einen Video Electronics Standards Association Local (VLB) Bus oder einen anderen geeigneten Bus oder eine Kombination davon umfassen.
In der vorstehenden Beschreibung wurde die Erfindung mit Bezug auf spezifische beispielhafte Ausführungsformen davon beschrieben. Verschiedene Ausführungsformen und Aspekte der vorliegenden Erfindung(en) sind mit Bezug auf hierin diskutierten Details beschreiben und die beigefügten Zeichnungen zeigen die verschiedenen Ausführungsformen. Die obige Beschreibung und die Zeichnungen sind für die Erfindung illustrativ und sollen nicht als die Erfindung beschränkend verstanden werden. Zahlreiche spezifische Details sind beschrieben, um ein tiefgreifendes Verständnis von verschiedenen Ausführungsformen der vorliegenden Erfindung zu verschaffen
Die vorliegende Erfindung kann in anderen spezifischen Formen verkörpert werden, ohne von deren Geist oder wesentlichen Eigenschaften abzuweichen. Die beschriebenen Ausführungsformen sind in allen Aspekten allein beispielhaft und nicht beschränkend zu verstehen. Zum Beispiel können die hierin beschriebenen Verfahren mit weniger oder mehr Schritten/Aktionen ausgeführt werden, oder die Schritte/Aktionen können in unterschiedlichen Reihenfolgen ausgeführt werden. Darüber hinaus können die hierin beschriebenen Schritte/Aktionen wiederholt oder gleichzeitig miteinander oder mit unterschiedlichen Instanzen derselben oder ähnlichen Schritten/Aktionen ausgeführt werden. Der Bereich der Erfindung ist daher durch die beigefügten Ansprüche angegeben, nicht durch die vorstehende Beschreibung. Alle Änderungen, die in den Wortlaut und den Bereich der Äquivalenz der Ansprüche fallen, sind in deren Bereich aufzunehmen.

Claims

In einer digitalen Medienumgebung zum Erstellen von digitalen Medienpräsentationen, ein Verfahren zum Synchronisieren von visuellen Medien zu Audiomedien durch Setzen von Transitionen basierend auf Audiowirkung, umfassend: Berechnen von Wirkungswerten für eine Vielzahl von Zeitperioden, die mit dem digitalen Audioinhalt assoziiert sind, durch Berechnen einer Änderung in einem Energiemaß, das mit den Zeitperioden assoziiert ist; Auswählen von Transitionspunkten basierend auf den Wirkungswerten in dem digitalen Audioinhalt unter Verwendung eines abklingenden Maskierungsschwellenwerts, der abklingt, bis ein erster Wirkungswert gekreuzt wird, sich erhöht in Antwort auf das Kreuzen des ersten Wirkungswerts, und wiederum abklingt, bis ein zweiter Wirkungswert gekreuzt wird, wobei die gekreuzten Wirkungswerte verwendet werden, um Transitionspunkte auszuwählen; und Erstellen einer Präsentation eines digitalen visuellen Inhalts durch Synchronisieren des digitalen visuellen Inhalts mit dem digitalen Audioinhalt basierend auf den ausgewählten Transitionspunkten.
Verfahren nach Anspruch 1, wobei das Berechnen von Wirkungswerten weiter umfasst: Berechnen einer Änderung in dem Energiemaß zwischen einer ersten Zeitperiode in der Vielzahl von Zeitperioden und einer zweiten Zeitperiode in der Vielzahl von Zeitperioden in Bezug auf einen Betrag des Energiemaßes, das mit dem digitalen Audioinhalt bei der zweiten Zeitperiode assoziiert ist.
Verfahren nach Anspruch 1, wobei das Berechnen von Wirkungswerten weiter umfasst: Unterteilen der Vielzahl von Zeitperioden, die mit dem digitalen Audioinhalt assoziiert sind, in eine Vielzahl von Bereichen, wobei jeder Bereich der Vielzahl von Bereichen in einer ersten Zeitperiode einem Bereich der Vielzahl von Bereichen in einer zweiten Zeitperiode entspricht; und für jeden Bereich in der zweiten Zeitperiode, Berechnen der Differenz zwischen einem Energiemaß, das mit dem Bereich von dem digitalen Audioinhalt in der zweiten Zeitperiode assoziiert ist, und einem Energiemaß, das mit dem entsprechenden Bereich von dem digitalen Audioinhalt in der ersten Zeitperiode assoziiert ist.
Verfahren nach Anspruch 3, wobei das Berechnen von Wirkungswerten weiter umfasst: für jeden Bereich in der zweiten Zeitperiode, Berechnen eines Bereichwirkungswerts durch Multiplizieren der berechneten Differenz zwischen dem Energiemaß, das mit dem Bereich von dem digitalen Audioinhalt in der zweiten Zeitperiode assoziiert ist, und dem Energiemaß, das mit dem entsprechenden Bereich von dem digitalen Audioinhalt in der ersten Zeitperiode assoziiert ist, mit dem berechneten Energiemaß, das mit dem Bereich von dem digitalen Audioinhalt in der zweiten Zeitperiode assoziiert ist; und Berechnen eines Wirkungswerts, der mit der zweiten Zeitperiode assoziiert ist, durch Kombinieren der Bereichwirkungswerte.
Verfahren nach Anspruch 4, wobei das Berechnen von Wirkungswerten weiter umfasst: Berechnen eines Schwerpunkts des Energiemaßes mit Bezug auf den digitalen Audioinhalt; Normalisieren des Energiemaßes basierend auf dem Schwerpunkt; und Anwenden einer Kurve auf das normalisierte Energiemaß.
Verfahren nach Anspruch 4, wobei das Energiemaß eines oder mehreres umfasst von: Amplitude, Leistung, Intensität, Lautstärke oder Lautheit.
Verfahren nach Anspruch 1, wobei das Auswählen von Transitionspunkten weiter umfasst: Berechnen von Audiointeressenwerten durch Vergleichen des abklingenden Maskierungsschwellenwerts und der Wirkungswerte; und Anwenden eines zweiten abklingenden Maskierungsschwellenwerts, der abklingt, bis ein erster Audiointeressenwert gekreuzt wird, expandiert in Antwort auf das Kreuzen des ersten Audiointeressenwerts, und wieder abklingt, bis ein zweiter Audiointeressenwert gekreuzt wird, wobei die gekreuzten Audiointeressenwerte verwendet werden, um Transitionspunkte auszuwählen.
Verfahren nach Anspruch 7, wobei: der abklingende Maskierungsschwellenwert mit einer ersten Rate abklingt; und der zweite abklingende Maskierungsschwellenwert mit einer zweiten Rate abklingt, die sich von der ersten Rate unterscheidet.
Verfahren nach Anspruch 1, wobei der abklingende Maskierungsschwellenwert um einen Betrag expandiert, der proportional zu einem Betrag des ersten Wirkungswerts ist.
Verfahren nach Anspruch 1, weiter umfassend: Erkennen einer oder mehrerer Eigenschaften des digitalen visuellen Inhalts; und Modifizieren, basierend auf der einen oder den mehreren erkannten Eigenschaften des visuellen Inhalts, von zumindest einem der folgenden: einen Betrag, um den der abklingende Maskierungsschwellenwert expandiert; eine Rate, mit der der abklingende Maskierungsschwellenwert expandiert; einen Betrag, um den der abklingende Maskierungsschwellenwert abklingt; oder eine Rate, mit der der abklingende Maskierungsschwellenwert abklingt.
System, umfassend: zumindest einen Prozessor; zumindest ein nichttransitorisches computerlesbares Speichermedium, das Anweisungen darauf speichert, welche, wenn sie von dem zumindest einen Prozessor ausgeführt werden, das System dazu veranlassen: Berechnen von Wirkungswerten für eine Vielzahl von Zeitperioden, die mit dem digitalen Audioinhalt assoziiert sind, durch Berechnen einer Änderung in einem Energiemaß, das mit den Zeitperioden assoziiert ist; Auswählen von Transitionspunkten basierend auf den Wirkungswerten in dem digitalen Audioinhalt unter Verwendung eines abklingenden Maskierungsschwellenwerts, der abklingt, bis ein erster Wirkungswert gekreuzt wird, zunimmt in Antwort auf das Kreuzen des ersten Wirkungswerts, und dann wiederum abklingt, bis ein zweiter Wirkungswert gekreuzt wird, wobei die gekreuzten Wirkungswerte verwendet werden, um Transitionspunkte auszuwählen; und Erstellen einer Präsentation eines digitalen visuellen Inhalts durch Synchronisieren des digitalen visuellen Inhalts mit dem digitalen Audioinhalt basierend auf den ausgewählten Transitionspunkten.
System nach Anspruch 11, wobei die Anweisungen, wenn sie von dem zumindest einen Prozessor ausgeführt werden, das System veranlassen, Wirkungswerte zu berechnen durch Berechnen einer Änderung in dem Energiemaß zwischen einer ersten Zeitperiode in der Vielzahl von Zeitperioden und einer zweiten Zeitperiode in der Vielzahl von Zeitperioden in Bezug auf einen Betrag des Energiemaßes, das mit dem digitalen Audioinhalt bei der zweiten Zeitperiode assoziiert ist.
System nach Anspruch 11, wobei die Anweisungen, wenn sie von dem zumindest einen Prozessor ausgeführt werden, das System veranlassen, Wirkungswerte zu berechnen durch: Unterteilen der Vielzahl von Zeitperioden, die mit dem digitalen Audioinhalt assoziiert sind, in eine Vielzahl von Bereichen, wobei jeder Bereich in einer ersten Zeitperiode einem Bereich in einer zweiten Zeitperiode entspricht; für jeden Bereich in der zweiten Zeitperiode, Berechnen einer Differenz zwischen einem Energiemaß, das mit dem Bereich von dem digitalen Audioinhalt in der zweiten Zeitperiode assoziiert ist, und einem Energiemaß, das mit dem entsprechenden Bereich von dem digitalen Audioinhalt in der ersten Zeitperiode assoziiert ist; und Berechnen eines Wirkungswerts, der mit der zweiten Zeitperiode assoziiert ist, durch Kombinieren der berechneten Differenz für jeden Bereich.
System nach Anspruch 11, wobei der abklingende Maskierungsschwellenwert um einen Betrag expandiert, der proportional zu einem Betrag des ersten Wirkungswerts ist.
System nach Anspruch 11, weiter umfassend Anweisungen, welche, wenn sie von dem zumindest einen Prozessor ausgeführt werden, das System dazu veranlassen: Erkennen von einer oder mehreren Eigenschaften des visuellen Inhalts; und Modifizieren, basierend auf der einen oder den mehreren erkannten Eigenschaften des visuellen Inhalts, von zumindest einem der folgenden: ein Betrag, um den der abklingende Maskierungsschwellenwert expandiert; eine Rate, mit der der abklingende Maskierungsschwellenwert expandiert; ein Betrag, um den der abklingende Maskierungsschwellenwert abklingt; oder eine Rate, mit der der abklingende Maskierungsschwellenwert abklingt.
In einer digitalen Medienumgebung zum Erstellen digitaler Medienpräsentationen, ein Verfahren zum Kombinieren und Präsentieren von visuellen und Audiomedien über die Zeit, umfassend: Berechnen von Wirkungswerten für eine Vielzahl von Zeitperioden, die mit dem digitalen Audioinhalt assoziiert sind, durch Berechnen eine Änderung in einem Energiemaß, das mit den Zeitperioden assoziiert ist; Erzeugen von Audiointeressenwerten durch Anwenden eines ersten abklingenden Maskierungsschwellenwerts auf die berechneten Wirkungswerte, wobei der erste abklingende Maskierungsschwellenwert mit einer ersten Rate abklingt; Auswählen von Transitionspunkten durch Anwenden eines zweiten abklingenden Maskierungsschwellenwerts auf die Audiowirkungswerte, wobei der zweite abklingende Maskierungsschwellenwert mit einer zweiten Rate abklingt, die sich von der ersten Rate unterscheidet; und basierend auf den ausgewählten Transitionspunkten, Erstellen einer Präsentation eines digitalen visuellen Inhalts in Verbindung mit dem digitalen Audioinhalt.
Verfahren nach Anspruch 16, wobei: der erste abklingende Maskierungsschwellenwert abklingt, bis ein erster Wirkungswert gekreuzt wird, expandiert in Antwort auf das Kreuzen des ersten Wirkungswerts, und wiederum abklingt, bis ein zweiter Wirkungswert gekreuzt wird; das Verfahren weiter umfasst Erzeugen von Audiointeressenwerten basierend auf einer Differenz zwischen den Wirkungswerten und dem ersten abklingenden Maskierungsschwellenwert; und der zweite abklingende Maskierungsschwellenwert abklingt, bis ein erster Audiointeressenwert gekreuzt wird, expandiert in Antwort auf das Kreuzen des ersten Audiointeressenwerts, und wiederum abklingt, bis ein zweiter Audiointeressenwert gekreuzt wird; und das Verfahren weiter umfasst Auswählen von Transitionspunkten basierend auf den gekreuzten Audiointeressenwerten.
Verfahren nach Anspruch 16, wobei das Berechnen von Wirkungswerten weiter umfasst Berechnen einer Änderung in dem Energiemaß zwischen einer ersten Zeitperiode in der Vielzahl von Zeitperioden und einer zweiten Zeitperiode in der Vielzahl von Zeitperioden in Bezug auf einen Betrag des Energiemaßes, das mit dem digitalen Audioinhalt bei der zweiten Zeitperiode assoziiert ist.
Verfahren nach Anspruch 16, weiter umfassend: Erkennen einer oder mehrerer Eigenschaften des digitalen visuellen Inhalts; und Modifizieren, basierend auf der einen oder den mehreren erkannten Eigenschaften des visuellen Inhalts, von zumindest einem der folgenden: ein Betrag, um den der zweite abklingende Maskierungsschwellenwert expandiert; eine Rate, mit der der zweite abklingende Maskierungsschwellenwert expandiert; ein Betrag, um den der zweite abklingende Maskierungsschwellenwert abklingt; oder eine Rate, mit der der zweite abklingende Maskierungsschwellenwert abklingt.
Verfahren nach Anspruch 19, wobei die eine oder die mehreren Eigenschaften des digitalen visuellen Inhalts zumindest eines der folgenden umfassen: eine Benutzerinteraktion mit dem digitalen visuellen Inhalt, ein Objekt, das in dem digitalen visuellen Inhalt dargestellt ist; eine Person, die in dem digitalen visuellen Inhalt dargestellt ist, und ein Typ des digitalen visuellen Inhalts.