DE10214431A1 - Verfahren und Vorrichtung zur Visualisierung von Audiodaten - Google Patents

Abstract

Im Zusammenhang mit immer aufwendigeren Präsentationen und Showproduktionen ist ein zunehmender Bedarf der Visualisierung von Audiodaten festzustellen. DOLLAR A Im Rahmen der Erfindung wird ein Verfahren und eine Vorrichtung geschaffen, mit der vorgefertigte Bilddaten (12) in Verbindung mit der Wiedergabe von Audiodaten (16) selbsttätig halbautomatisch oder manuell wiedergegeben werden können. Dabei sind die Bild- und Audiodaten (12 und 16) zunächst vollständig entkoppelt, so daß bei einer Live-Produktion die Wiedergabe der Bilddaten (12) an die Wiedergabe der Audiodaten (16) angepaßt werden kann. DOLLAR A Präsentationstechniken.

Description

• Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Visualisierung von Audiodaten, insbesondere Musikdaten.
• Die rasante Entwicklung schnellerer und immer günstigerer Speichermedien sowie eine ständige Ausweitung der Rechnerleistungen, haben es ermöglicht, auch umfangreiche Datenmengen, wie sie etwa Bild- oder Audiodaten darstellen, komfortabel verwalten und ggf. abrufen zu können. Hierdurch ist insbesondere im Bereich des Event-Marketings wie auch im Showbereich, etwa bei Musikdarbietungen, Modeschauen und Messepräsentationen, aber auch im Oper- und Theaterbereich ein Trend dahingehend festzustellen, daß derartige Präsentationen immer aufwendiger werden. Es besteht ein eindeutiger Trend, derartige Darbietungen multimedial auszugestalten, wobei vorzugsweise Bild- und Tondaten gleichzeitig und synchron dargeboten werden sollen.
• Infolge dieses Bedarfs wurden diverse Softwaretechniken entwickelt, die es erlauben aus der Frequenzkurve einer Musikquelle aufgrund von Zufallsalgorithmen oder sonstigen Algorithmen Bilder auszuwählen, zu erzeugen und darzustellen. Neben dieser Tendenz zu einer weitgehend automatisierten Visualisierung von Musik, wird dieser Bereich zunehmend auch als kreativer oder künstlerischer Bereich aufgefaßt und alternativ bewußt bei derartigen Visualisierungen der Mensch als Schnittstelle eingebaut, um in Abhängigkeit von Musik mittels Bilddaten bestimmte Stimmungen erzeugen zu können. Dabei müssen sowohl die Techniken als auch der Bedienkomfort, der in diesem Bereich eingesetzt wird, noch als im Anfangsstadium begriffen werden. Bis dato existiert kein einheitliches und überzeugendes System, daß es dem herkömmlichen Benutzer erlaubt, in einfacher Weise Audiodaten insbesondere Musik zu visualisieren oder sonstig mit Bildinhalten zu verbinden.
• Zunächst ist bei den erwähnten Softwaresystemen festzustellen, daß sie zwar Bildimpulse synchron zu einer jeweils laufenden Musik erzeugen, wobei allerdings die Interpretation der Frequenzkurve in beiden Fällen der Musik, etwa einem bestimmten Instrument oder einer bestimmten Stimmungslage nicht gerecht wird. Die erreichten Darstellungsformen werden somit in aller Regel als unbefriedigend empfunden.
• Insbesondere im Bereich der Animation von Bildsequenzen hat sich in den letzten Jahren zunehmend das sogenannte Flash- Format von Macromedia durchgesetzt. "Flash" gilt in Fachkreisen als Standard-Format für vektorbasierte Grafiken im Internet. Der sogenannte "Flash-Player" hat sich als "plug-in" auf alle herkömmlichen Browser durchgesetzt. Nach Angaben von Marcomedia sind über 80% aller im Internet genutzten Web-Browser mit einem Flash-Player ausgestattet. Dabei ist das Flash-Format auch für den Audiobereich geeignet, da der zumindest im Internet weit verbreitete MP3-Standard unterstützt wird, so daß Musiksequenzen und Töne bei der Wiedergabe und Übertragung von Bildsequenzen abgespielt werden können. Dabei übernimmt beim Flash-Format die Tonspur eine Masterfunktion, während die Bildspuren als Slave arbeiten. Es besteht also eine vollkommen starre Ankopplung zwischen Bild- und Tondaten. Das Flash-Format ist somit nicht in der Lage, in Echtzeit also beispielsweise während eines Musikkonzertes synchronisiert zu werden. Dadurch, daß MP3-Dateien zum Zeitpunkt der Aufnahme in ihrer Geschwindigkeit festgelegt werden, ist somit auch die Bildwiedergabe eindeutig festgelegt. Insbesondere diese fehlende Eingriffsmöglichkeit gestattet es nicht, die Visualisierung von Audiodaten beispielsweise an vorgegebene Rechnerleistungen anzupassen. Der Privatnutzer erlebt dann derart animierte Flash-Formate in Form von stotternden Bildsequenzen, wenn die vorhandene Rechnerleistung nicht in der Lage ist, die ggf. mächtigen Formate zu bearbeiten.
• Insbesondere ist eine Synchronisation des Flash-Formats mit herkömmlichen externen Musikwiedergabegeräten nicht bekannt. Hierzu fehlt es sowohl an den entsprechenden Schnittstellen wie auch an den erforderlichen Protokollformaten.
• Musikdarbietungen müssen also beispielsweise über die Quick-Time-Technologie von Apple in ein vorgefertigtes audiovisuelles Format konvertiert werden. Das Ergebnis ist dann auch hinsichtlich der Geschwindigkeit und des Ablaufs festgelegt.
• Ausgehend von diesem Stand der Technik liegt der Erfindung die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur Visualisierung von Audiodaten zu schaffen, bei dem die Synchronisation der Audiodaten in Echtzeit und somit beeinflußbar erfolgt.
• Diese Aufgabe wird durch ein Verfahren gemäß Anspruch 1 sowie eine Vorrichtung nach Anspruch 17 gelöst. Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen 2 bis 16 sowie 18 bis 19.
• Die Lösung der erfindungsgemäßen Aufgabe gelingt im Wesentlichen dadurch, daß zwar vorgefertigte Bilddaten erzeugt und auf einem Speichermedium bereitgehalten werden, daß aber diese Bilddaten automatisch halbautomatisch oder manuell abgerufen werden können. Die Audio- und Bilddaten liegen also zunächst in entkoppelter Form vor und werden erst während der Wiedergabe der Audiodaten in Echtzeit miteinander synchronisiert.
• Dabei werden als vorgefertigte Bilddaten mit Vorteil Dateien im Flash-Format eingesetzt. Die im Flash-Format erzeugten Dateien können in einfacher Weise mit Audio- Impulsen in Echtzeit animiert, generiert und verändert werden.
• Idealerweise werden die vorgefertigten Bilddaten mit einem Player, der vorzugsweise mit einer Tastatur versehen ist, in Echtzeit zur Wiedergabe der Musik abgerufen. Dabei kann im Rahmen dieser Ausgestaltung der Player zur Visualisierung der Musik wie ein Synthesizer eingesetzt werden und mit den Bildsequenzen, die ansonsten mit Tonsequenzen gespielt werden.
• Der Player stellt somit ein Visualisierungsinstrument zu einer vorgegebenen oder live gespielten Musik dar, wie beispielsweise in Stummfilmzeiten ein Klavier zur Begleitung des Stummfilms eingesetzt wurde.
• Dabei wird bei der Wiedergabe der Audiodaten nicht nur auf die herkömmlich in zwei Tonspuren (links, rechts) abgelegten Audiodaten, sondern vielmehr auch auf die Audiodaten zugegriffen, die schon bei der Aufzeichnung eines Musikstücks im Tonstudio entstehen. Dabei wird idealer Weise für jedes Musikinstrument eine eigene Tonspur angelegt, die üblicherweise erst in der Endphase der Tonproduktion auf zwei Kanäle reduziert werden. Jede derartige Tonspur weist somit eine bestimmte Audiocharakteristik auf, die einem bestimmten Instrument entspricht. Bei Verwendung dieser aufgeschlüsselten Audioinformation kann einer jeden Audiocharakteristik - also beispielsweise jedem Instrument - eine Bildcharakteristik zugeordnet werden. Dies ermöglicht wiederum, daß eine einem bestimmten Instrument zugeordnete Grafik immer dann zur Visualisierung der Audiodaten eingesetzt wird, wenn dieses Instrument in Echtzeit spielt. Außerdem sind diese Grafiken üblicherweise in mehren Ebenen angelegt, so daß weitere Audiocharakteristika, wie etwa Anschlagdynamik oder Tonhöhe in Form einer Wiedergabe in verschiedenen Ebenen also beispielsweise durch Wiedergabe in unterschiedlicher Farbe oder Größe berücksichtigt wird.
• Ähnlich wie bei der Abmischung der Audiodaten kann somit eine Abmischung der Bilddaten erfolgen, wobei die Bilddaten mittels einer entsprechenden Software zusammengefügt werden können.
• Ganze Tonsequenzen oder Instrumentpassagen können somit als sogenannte Playlists angelegt werden, die dann mittels einer Tastatur oder aufgrund eines Events abrufbar sind.
• Anstelle des Players, der es bewußt gestattet, die Bilddaten manuell abzurufen, kann alternativ auch das mit einer Audiodatei mitgelieferte MIDI-Protokoll ausgewertet und zum Abruf der Bilddaten oder Playlists eingesetzt werden. Das MIDI-Protokoll kann auch in Echtzeit also bei einem Live-Konzert von sogenannten MIDI-fähigen Instrumenten erzeugt werden.
• Zur erleichterten Bedienung können bestimmte MIDI-Befehle als "Events" aufgefaßt und beispielsweise bestimmten Tasten der Tastatur des erwähnten Players zugeordnet werden. Wie in dem vorerwähnten Beispiel eines Synthesizers können somit entweder selbsttätig durch bestimmte MIDI-Ereignisse die Bildsequenzen aufgerufen werden oder durch entsprechende Tastaturbetätigung. Ähnlich wie bei einem Synthesizer können dabei durch Veränderungen beispielsweise der Farbgebung und Größe der Bilder bestimmte Stimmungen begleitend erzeugt werden.
• In vorteilhafter Ausgestaltung wird zu jedem Audiocharakteristikum ein individuelles MIDI-Protokoll erzeugt. Konkret kann dies bedeuten, daß zu jeder Tonspur eines jeden Instruments auch ein MIDI-Protokoll vorliegt und synchron mit der Audiowiedergabe wiedergegeben wird. Sollte diese Information zu einem bestimmten Stück nicht vorliegen, so kann diese Information zumeist unproblematisch aus einem sogenannten "MIDI-Archiv" beschafft werden.
• Mit diesen individuellen MIDI-Protokollen werden dann die erwähnten Software-Playlists zusammengestellt oder in Echtzeit abgerufen.
• Die vorgefertigten Bilddaten werden mit Vorteil in einer Speichereinrichtung aufgezeichnet und können als reizvolle Option alternativ zur synchronen Wiedergabe auch mittels eines Zufallsgenerators ausgewählt und dann synchron animiert werden. Die feste Ankopplung bestimmter Grafiken und Sequenzen an ein Instrument kann dann beispielsweise bewußt aufgegeben werden, um eine Abwandlung der Wiedergabe zu erzeugen. Die in Echtzeit erzeugten Visualisierungen von Audiodaten können mit der Speichereinrichtung aufgezeichnet und zu einem späteren Zeitpunkt wiederholt werden.
• Um eine vollständig selbsttätige Visualisierung von Audiodaten zu ermöglichen, kann die bei einer jeden Audioproduktion zwangsläufig mitangelegte Synchronisationsspur und das mit dieser Spur aufgezeichnete Zeitsignal ausgewertet werden. Dieses Zeitsignal, das bei der Audioproduktion dazu dient, die verschiedenen Tonerzeuger - wie etwa Instrumente oder Studio Equipment - miteinander zu synchronisieren kann mit Vorteil auch zur Synchronisation der Bild- und Tonwiedergabe eingesetzt werden.
• In alternativer Ausgestaltung kann das ansonsten der Sychronisationsspur zu entnehmende Zeitsignal auch in einem Synchronisationssample angelegt sein. Statt in einer zusätzlichen Spur wird diese Information bei dieser Lösung in der jeweiligen Tonspur mitgeführt, und beim Abtasten dieser Spur zur Audiowiedergabe, dem Sampling, zu der beschriebenen Synchronisation der Bildwiedergabe genutzt.
• Dabei wird ein SMPTE (Society of motion picture and television engineering)-Zeitsignal eingesetzt. Bei der vorliegenden Ausführung handelt es sich dabei um eine MTC- Signal, also einen sogenannten MIDI-Timecode. Dabei wird ein Audiokanal als MTC-Master eingesetzt und alle anderen Audiokanäle sowie die Bildwiedergabegeräte als MCT-Slaves gesteuert.
• Um auch in Echtzeit mehrere Audiokanäle verarbeiten und mit Bilddaten synchronisieren zu können, wird mit Vorteil ein MIDI-Sequenzer in den erwähnten Player integriert.
• Eine erfindungsgemäße Vorrichtung zur Visualisierung der Audiodaten umfaßt somit im Wesentlichen ein Audiogerät zur Wiedergabe der live gespielten oder gespeicherten Audiodaten sowie ein Bildgerät zur Wiedergabe der vorgefertigten Bilddaten sowie ein Speichermedium in dem die zur Anzeige gelangenden Bilddaten abgelegt sind. Zusätzlich muß die Vorrichtung mit einem Player versehen sein, der in Abhängigkeit von vorbestimmten Ereignissen, das etwa infolge der Auswertung einer MIDI-Datei oder aufgrund einer Tastenbetätigung eintritt, auf die Speichereinrichtung zugreift.
• Die Erfindung wird nachstehend anhand mehrere in der Zeichnung nur schematisch dargestellte Ausführungsbeispiele näher erläutert.
• Es zeigen:
• Fig. 1 eine Vorrichtung zur Visualisierung zur synchronen Wiedergabe von Audio- und Bilddaten in einer Prinzipdarstellung,
• Fig. 2 eine Vorrichtung zur selbsttätigen Visualisierung von Audiodaten in einer Prinzipdarstellung,
• Fig. 3 eine Vorrichtung zur halbautomatischen oder manuellen Visualisierung von Audiodaten und
• Fig. 4 eine Prinzipskizze zur Erzeugung und Wiedergabe von individuellen Bildcharakteristika zu individuellen Audiocharakteristika von Audiodaten in einer Prinzipskizze.
• Gemäß der Darstellung in Fig. 1 ist eine Audioquelle 1 mit einem Audiogerät 2 zur Wiedergabe von Audiodaten und einem Bildgerät 3 zur Wiedergabe von Bilddaten zumindest mittelbar verbunden. Bei der Audioquelle 1 kann es sich um einen herkömmlichen CD-Player, ein Musikinstrument, die menschliche Stimme oder jedes sonstige beliebige Vorrichtung zum Abspielen oder Erzeugen von Audiodaten handeln. Das Gerät zur Wiedergabe von Audiodaten kann eine herkömmliche Lautsprecheranlage sein. Das Bildgerät 3 kann beispielsweise ein Beamer sein.
• Die Audioquelle 1 ist mit den Geräten zur Wiedergabe von Bild und Ton 2 und 3 über einen Player 4 verbunden. Der Player 4 steht in Datenverbindung mit einer Speichereinrichtung 5, in der vorgefertigte Bilddaten abgelegt sind.
• Die vorgefertigten Bilddaten sind im vorliegenden Beispiel Flash-Dateien, die aufgrund von Audio-Impulsen oder MIDI- Daten animiert bzw. werden können. Es handelt sich dabei um Grafiken oder Bildsequenzen, die gemäß der an sich bekannten Flash-Technologie animierbar sind. Zusätzlich ist der Player mit einer Tastatur 6 versehen, um über den Player 4 auf die in der Speichereinrichtung 5 vorgefertigten Bilddaten zuzugreifen. In konkreter Ausgestaltung kann die Tastatur 6 im Wesentlichen als einer Keyboard-Tastatur entsprechend angesehen werden.
• Fig. 2 zeigt in detaillierterer Darstellung eine Vorrichtung zur weitgehend selbsttätigen Visualisierung von Audiodaten, die mit einer Audioquelle 1 wiedergegeben werden. Gemäß der Darstellung in Fig. 2 kann es sich hierbei um ein gewöhnliches Wiedergabegerät von CD's, DVD's, oder Tapes handeln.
• Im vorliegenden Beispiel wird zusätzlich zu den beiden von er Audioquelle 1 wiedergegebenen Tonspuren, also der linken und rechten Stereospur, eine Synchronisationsspur 10 ausgewertet. Die Synchronisationsspur 10 ist auf heutigen Audiodatenträgern üblicherweise nicht vorhanden. Sie müßte also zur Nutzung der erfindungsgemäßen Vorrichtung zusätzlich auf den Audiodatenträger aufgespielt oder sonstig beschafft werden. Sie muß allerdings nicht extra erzeugt werden, denn sie entsteht üblicherweise bei einer jeden Audioaufnahme. Bei der Aufnahme von Musik wird in der Regel nicht nur ein einziges Gerät verwendet, sondern neben einer Bandmaschine sind auch Effektgeräte und Sequenzer im Einsatz. Die Synchronisationsspur 10 ist vorhanden, um sämtliche Geräte im Gleichschritt laufen zu lassen.
• Ferner muß beachtet werden, daß die herkömmlichen Wiedergabegeräte, also etwa CD-Player oder Soundkarten nur für die Wiedergabe der erwähnten Audiokanäle ausgelegt sind. Eine Schnittstelle zur Ausgabe des erwähnten Synchronisationssignals aus der Synchronisationsspur 10 ist üblicherweise nicht vorhanden und muß daher im Rahmen der Erfindung zusätzlich vorgesehen werden. Dann kann die Wiedergabe eines um die Synchronisationsdaten erweiterten Formates gemäß Fig. 2 erfolgen. Dabei wird beispielsweise statt einer MP3 eine MPX-Datei 7 wiedergegeben werden. Diese MPX-Datei enthält die über das Audiogerät 2 wiedergegeben Stereo-Ton Spuren und die Synchronisationsspur 10.
• Bei richtigem Verständnis kann die Synchronisationsspur 10 also zur Synchronisation der Bild- und Tonwiedergabe gemäß der nachstehenden Darstellung genutzt werden. Dabei wird im Rahmen des Ausführungsbeispiels ein SMPTE (Society of motion picture and television engineering)-Zeitsignal verwendet. Konkret wird ein MTC-Signal benutzt.
• Unter einem MTC (MIDI-Timecode)-Signal versteht man ein Signal, daß die jeweils aktuelle zeitliche Position eines Audio-, Video- oder Filmprojektes in Stunden, Minuten, Sekunden und Frames beschreibt. Der MIDI-Timecode kann bei der Aufzeichnung und/oder der Wiedergabe von Audiodaten durch einen der beteiligten Mikroprozessoren in eine MIDI- Schnittstelle eingegeben werden. Der MIDI-Timecode dient also der zeitlichen Synchronisation aller angeschlossenen "MIDI-Geräte". Als "MIDI-Geräte" bezeichnet man MIDI-fähige Musikinstrumente, Effektgeräte und Mischpulte. MIDI-fähige Musikinstrumente sind etwa Keyboards, Drum-Computer und ähnliches. Die Synchronisation verläuft nach dem an sich bekannten Master-Slave-Verfahren. Dabei arbeitet ein Gerät als MTC-Master. Der MTC-Master, im übertragenen Sinne, also der Taktgeber, sagt den MTC-Slaves an welcher Stelle eines Bandes oder einer Tonspur er sich gerade befindet, so daß die Slaves ihre Wiedergabe ebenfalls an der entsprechenden Stelle beginnen und somit dem Master nachfolgen. Dabei können die hier erwähnten MIDI-Daten beispielsweise auch zu Zwecken der Visualisierung aus einem MIDI-Archiv im Vorfeld einer Präsentation beschafft werden. Es können also keinesfalls nur MIDI-Instrumente oder -geräte entsprechend viualisiert werden
• Die MIDI-Schnittstelle ist eine Schnittstelle zwischen elektronischen Musikinstrumenten. Diese Schnittstelle ist genormt und erfreut sich einer weiten Verbreitung. Eine derartige MIDI-Schnittstelle kann auch an der Soundkarte eines Rechners vorhanden sein. Dabei werden über die MIDI- Schnittstelle mehr Daten übertragen, als lediglich ein Zeitraster der verschiedenen Geräteabspielungen. MIDI- Dateien enthalten darüber hinaus Informationen über Tempo, Taktart und Rhythmik einer bestimmten Musik. Sie können entweder in Verbindung mit Audiodatenträgern ausgeliefert oder separat beschafft werden. MIDI-Daten entstehen, wie die vorstehend beschriebene Synchronisationsspur bei der Audio- bzw. Musikproduktion und werden ansonsten nach der Endabmischung nicht weiter verwendet.
• Diese in Form von MIDI-Dateien 11 gespeicherten Informationen werden nun für das erfindungsgemäße Visualisierungsverfahren benutzt. Das MIDI-Protokoll wird zum Zeitpunkt der Audiowiedergabe der Audioquelle 1 an den Player 4 übermittelt. Der Player 4 liest aus der MIDI-Datei 11 Informationen, wie Tonhöhe, Anschlagdynamik, Programmwechsel und weitere Systeminformationen. Dabei ist in den Player 4 ein MIDI-Sequenzer integriert, über den elektrische oder elektronische Musikinstrumente ferngesteuert werden können.
• Im Weiteren kann dann aufgrund der über die MIDI-Datei 11 gelieferten Informationen und den Player 4 auf die gespeicherten Bilddaten selbsttätig zugegriffen werden. Dabei erfolgt die Animation der Bilddaten in Abhängigkeit von den über die MIDI-Datei 11 übermittelten Informationen. Die Synchronisation von Bild und Ton über das Bildgerät 3 und das Audiogerät 2 erfolgt dabei über die Synchronisationsspur 10.
• Fig. 2 zeigt somit eine Vorrichtung zur selbsttätigen Visualisierung von Audiodaten unter Berücksichtigung der mit den Audiodaten übermittelten MIDI-Daten, wobei die Synchronisation der Bild- und Tonwiedergabe über die Synchronisationsspur 10 erfolgt.
• In alternativer Ausgestaltung kann gemäß Fig. 3 bewußt auch manuell oder halbautomatisch auf die in der Speichereinrichtung 5 abgelegten Bilddaten 12 zugegriffen werden. Wie aus Fig. 3 ersichtlich, ist zunächst eine Audioquelle 1 zur Wiedergabe von Audiodaten über ein Audiogerät 2 vorgesehen. Hiervon teilweise oder vollständig entkoppelt kann während der Wiedergabe der Musik mittels des Players 4 auf vorgefertigte Bilddaten 12 zugegriffen werden. Dabei ist der Player 4 an eine Rechnereinheit 13 angeschlossen, die mit einem Bildgerät 3, im vorliegenden Beispiel einem Beamer zur Bildwiedergabe verbunden ist. So kann in einfachster Ausgestaltung mit dem Player 4 über eine Tastatur 6 gespielt werden und dabei vorgefertigte Bilddaten 12 etwa in Form von sogenannten Playsets aktiviert werden.
• Hierbei ist jeder Taste der Tastatur 6 ein bestimmter Playset zugewiesen. Dabei müssen die Playsets als in verschiedenen Ebenen ansprechbare und animierbare Dateien verstanden werden, so daß wie bei einem Keyboard in Echtzeit bestimmte Grundrythmen aktivierbar und modifizierbar angelegt sind, auch die Bildsequenzen veränderlich ansprechbar und in Echtzeit veränderlich sind.
• In weiterer Ausgestaltung kann gemäß Fig. 3 die Aktivierung der vorgefertigten Bilddaten 12 nicht nur über die Tastatur 6, sondern auch über ein MIDI-fähiges Instrument 14 erfolgen. Dabei werden von einem MIDI-Interface 15 die MIDI-Impulse des MIDI-Instrumentes 14 derart interpretiert, daß sie als Betätigung einer Taste der Tastatur 6 aufgefaßt werden. Genauso wie über die Betätigung einer Taste der Tastatur 6 auf die vorgefertigten Bilddaten zugegriffen wird, kann somit auch mittels der von dem MIDI-Instrument 14 gelieferten MIDI-Impulsen auf die vorgefertigten Bilddaten 12 zugegriffen werden. Im Ergebnis erfolgt auch auf diesem Weg eine Ausgabe von vorgefertigten Bilddaten über das Bildgerät 3.
• Die Übersichtsdarstellung in Fig. 4 zeigt eine Zuordnung von vorgefertigten Bilddaten 12 zu Audiodaten 16. Bei den Audiodaten 16 handelt es sich zunächst um die verschiedenen Musikinstrumenten zugeordneten Notationen.
• Die Darstellung der Audiodaten 16 in Fig. 4 kann dabei als Darstellung der bei einer Musikaufnahme entstehenden Audiodaten aufgefaßt werden.
• Dabei wird üblicherweise die Gesamtkomposition in getrennten Tonspuren aufgenommen, wobei durchaus eine weitere Aufteilung der Audiodaten 16 in Instrumentensignale 17 erfolgen kann. Jede Zeile der in tabellarischer Darstellung der Audiodaten 16 dargestellten Notation in Fig. 4 kann weiter nach einzelnen Musikinstrument aufgeschlüsselt werden. Die dem Schlagzeug 18 zugewiesen Notation unterteilt sich in Instrumentensignale 17 der zum Schlagzeug gehörenden einzelnen Instumente oder Studiogeräte, wie etwa Claps oder die Bassdrumm 19.
• Die Spalteneinteilung der Zeilen ergibt sich im Wesentlichen aus dem Takt der Musik. Die einzelnen Instrumentensignale 17 werden erst bei der endgültigen Abmischung der Tonaufnahme auf zwei Kanäle, nämlich einen rechten und einen linken Stereokanal reduziert. Die Daten der Audioaufnahme werden normalerweise im Anschluß höchstens für erneute Aufnahmen, beispielsweise im Wege des Remasterings verwendet.
• Im Rahmen der Erfindung wird nun, beispielsweise jedem Instrumentensignal 17, also etwa der Bassdrumm 19 eine bestimmte grafische Gestaltung bzw. Bilddatei 12 mit mehreren Ebenen, wie etwa eine veränderliche Raute 20 der Bassdrumm 19, zugeordnet. Die Bilddateien 12 sind als Flash-Format und somit als animierbare Vektorgrafik angelegt. Im vorliegenden Beispiel ist der Bassdrumm 19 eine veränderbare Raute 20 zugewiesen. Dies bedeutet, daß immer wenn die Bassdrumm 19 schlägt oder wiedergegeben wird, die Raute 20 als Visualisierung erscheint, wobei in Abhängigkeit von der Lautstärke und der Anschlagsdynamik die Raute 20 vergrößert, verkleinert oder in ihrer farblichen Gestaltung verändert wird.
• Die Informationen zur Synchronisation der einzelnen Instrumente oder Instrumentensignale 17 werden der Synchronisationsspur 10 entnommen, wobei die Informationen zur Animierung der abgespeicherten Grafiken aus dem MIDI- Protokoll 11 ausgelesen werden können.
• In alternativer Ausgestaltung kann auch über die Tastatur 6 oder die MIDI-Schnittstelle 15, die jeweils mit dem Player 4 verbunden sind, auf die vorgefertigten Bilddaten 12 zugegriffen werden. Die ebenfalls in Fig. 4 angedeutete Computertastatur 21 zeigt, daß mittels einer Software vorgefertigten Bilddaten 12 verändert, zusammengefügt oder verschiedene Klangfarben abgerufen werden können.
• Fig. 4 macht noch einmal deutlich, daß dem Player 4 begleitend zu den Audiodaten 16 auch vorgefertigte Bilddaten 12 in Abhängigkeit von jedem einzelnen Instrument angelegt sind, zugegriffen werden kann. Zusätzlich kann auf vorgefertigte ganze Playlists zugegriffen werden, die beispielsweise ebenfalls in Abhängigkeit von MIDI-Dateien 11 beeinflußbar sind.
• Vorstehend ist somit ein Verfahren und eine Vorrichtung zur Visualisierung von Musik beschrieben, das entweder selbsttätig oder manuell quasi als Ergänzung zu einer Musik- oder Audioquelle gespielt werden kann. BEZUGSZEICHENLISTE 1 Audioquelle
  2 Audiogerät
  3 Bildgerät
  4 Player
  5 Speichereinrichtung
  6 Tastatur
  7 MPX-Datei
  10 Synchronisationsspur
  11 MIDI-Datei
  12 vorgefertigte Bilddaten
  13 Rechnereinheit
  14 MIDI-Instrument
  15 MIDI-Schnittstelle
  16 Audiodaten
  17 Instrumentensignale
  18 Schlagzeug
  19 Bassdrumm
  20 Raute
  21 Computertastatur
  

Claims (19)

1. Verfahren zur Visualisierung von Audiodaten, insbesondere Musik, dadurch gekennzeichnet,
daß Audiodaten (16) mit einem Audiogerät (2) erzeugt und/oder wiedergegebenen werden und hierzu in Echtzeit Bilddaten (12) mit einem Bildgerät (3) erzeugt und/oder wiedergegebenen werden,
wobei die Bilddaten (12) vorgefertigt sind und automatisch, halbautomatisch oder manuell abgerufen werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die vorgefertigten Bilddaten (12) animierbare Grafiken und/oder Sequenzen, insbesondere Flash-Dateien, sind, die mittels Audio-Impulsen in Echtzeit in ihrer Darstellung verändert und/oder generiert werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die vorgefertigten Bilddaten (12) mit einem Player (4), der vorzugsweise mit einer Tastatur (6) versehen ist, in Echtzeit gleichzeitig während der Wiedergabe der Audiodaten (16) abgerufen oder generiert werden.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß die Audiodaten (16) in mehreren unterscheidbaren Spuren, vorzugsweise Tonspuren oder Kanälen wiedergegeben werden, wobei einer jeden Tonspur eine bestimmte Audiocharakteristik, vorzugsweise ein Instrument zugeordnet ist, zu jeder Audiocharakteristik, wenigstens eine Bildcharakteristik angelegt ist, die jeweils zur Visualisierung dieser Audiocharakteristik abgerufen wird.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß synchron zur Wiedergabe von Audiodaten, die mehrere Audiocharakteristika umfassen, mehrere Bildcharakteristika gleichzeitig erzeugt und/oder abgerufen und dann wiedergegeben werden.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daß die vorgefertigten Bilddaten (12) mittels einer Software zu Playlists zusammengestellt werden und einzelne oder mehrere Playlists vorbestimmten Events, insbesondere einer Tastaturbetätigung, veränderlich zugewiesen werden.

7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die vorgefertigten Bilddaten (12) und/oder Playlists in Abhängigkeit von einem in Verbindung mit den Audiodaten (16) erzeugten und/oder wiedergegebenen MIDI-Protokoll (11) abgerufen werden.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß die MIDI-Befehle eines MIDI-Protokolls (11) derart konvertiert werden, daß sie als vorbestimmte Ereignisse, insbesondere eine Tastaturbetätigung, aufgefaßt und weiterverarbeitet werden.

9. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, daß zu mehreren, vorzugsweise zu jedem Audiocharakteristikum, ein individuelles MIDI-Protokoll (11) erzeugt und ggf. aufgezeichnet wird und jedem dieser MIDI-Protokolle (11) Bilddaten (12) und/oder Playlists mittels der Software zu Playlists zusammengestellt werden.

10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die vorgefertigten Bilddaten (12) von einem Zufallsgenerator ausgewählt und wiedergegebenen werden.

11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Wiedergabe der Bilddaten mittels einer Speichereinrichtung (5) aufgezeichnet wird.

12. Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß in Verbindung mit der Wiedergabe oder Erzeugung von Audiodaten (16) mittels wenigstens einer Audiospur oder eines Audiokanals ein in die Audiospur oder Audiowiedergabe integrierter Sychnronisationssample ausgelesen, als Zeitsignal ausgewertet und zur Synchronisation der Bildwiedergabe mit der Audiowiedergabe genutzt wird.

13. Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß in Verbindung mit der Wiedergabe oder Erzeugung von Audiodaten (16) mittels wenigstens einer Audiospur oder eines Audiokanals, einer Synchronisationsspur (10) oder ein Synchronisationskanal mit einem Zeitsignal abgespielt oder wiedergegeben wird.

14. Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, daß es sich bei dem Zeitsignal um ein SMPTE- Zeitsignal, vorzugsweise ein MTC-Signal handelt, wobei eine Audioquelle (1) als MTC-Master ggf. andere Audioquellen (1') und Bildgeräte (2) als MTC-Slave steuert.

15. Verfahren nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, daß in Verbindung mit den Audiodaten (16) jeweils MIDI-Daten (16) erzeugt und/oder wiedergegeben werden und die MIDI-Daten (16) als vorbestimmte Events zum selbsttätigen Abruf von vorgefertigten Bilddaten (12) und/oder Playlists aufgefaßt werden, wobei die Wiedergabe dieser Bilddaten (12) oder Playlists mit dem Bildgerät (3) und die Wiedergabe der Audiodaten (16) mit dem Audiogerät (2) jeweils mittels des MTC-Signals, vorzugsweise eines MIDI-Timecodes, selbsttätig synchronisiert wird.

16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, daß die Wiedergabe der Ton- und Bilddaten mittels eines MIDI-Sequenzers synchronisiert wird.

17. Vorrichtung zur Visualisierung von Audiodaten (16), vorzugsweise von Musikdaten,
mit einem Audiogerät (2) zur Wiedergabe der gespeicherten und/oder live erzeugten Audiodaten,
mit einem Bildgerät (3) zur Wiedergabe von vorgefertigten Bilddaten (12), die jeweils automatisch, halbautomatisch oder manuell abrufbar sind, sowie
mit einer Speichereinrichtung (5) zur Aufzeichnung und Verwaltung der vorgefertigten Bilddaten (12) und
mit einem Player (4), der in Abhängigkeit von einer Bedienung oder einem vorbestimmten Ereignis, das vorzugsweise in Abhängigkeit von der Auswertung eines MIDI-Protokolls (11) eintritt, auf die Speichereinrichtung (5) zum Bezug der vorgefertigten Bilddaten (12) zugreift.

18. Vorrichtung nach Anspruch 17, dadurch gekennzeichnet, daß die Wiedergabe der Bild- und Tondaten mittels eines SMPTE-Timecodes synchronisiert wird.

19. Vorrichtung nach Anspruch 17 oder 18, dadurch gekennzeichnet, daß zum Bezug der Bilddaten (12) ein vorzugsweise mit einer Tastatur (6) versehener Player (4) vorgesehen ist, wobei durch die Betätigung der Tastatur (6) oder in Abhängigkeit von der vorzugsweise selbsttätigen Auswertung von MIDI-Dateien (11) auf die in der Speichereinrichtung (5) abgelegten Bilddaten (12), vorzugsweise Flash-Dateien, zugegriffen werden kann.