-
Die
Erfindung betrifft ein Verfahren und eine Vorrichtung zur Visualisierung
von Audiodaten, insbesondere Musikdaten.
-
Die
rasante Entwicklung schnellerer und immer günstigerer Speichermedien sowie
eine ständige Ausweitung
der Rechnerleistungen, haben es ermöglicht, auch umfangreiche Datenmengen,
wie sie etwa Bild- oder Audiodaten darstellen, komfortabel verwalten
und ggf. abrufen zu können.
Hierdurch ist insbesondere im Bereich des Event-Marketings wie auch
im Showbereich, etwa bei Musikdarbietungen, Modeschauen und Messepräsentationen,
aber auch im Oper- und Theaterbereich ein Trend dahingehend festzustellen,
daß derartige
Präsentationen
immer aufwendiger werden. Es besteht ein eindeutiger Trend, derartige
Darbietungen multimedial auszugestalten, wobei vorzugsweise Bild-
und Tondaten gleichzeitig und synchron dargeboten werden sollen.
-
Infolge
dieses Bedarfs wurden diverse Softwaretechniken entwickelt, die
es erlauben aus der Frequenzkurve einer Musikquelle aufgrund von
Zufallsalgorithmen oder sonstigen Algorithmen Bilder auszuwählen, zu
erzeugen und darzustellen. Neben dieser Tendenz zu einer weitgehend
automatisierten Visualisierung von Musik, wird dieser Bereich zunehmend
auch als kreativer oder künstlerischer
Bereich aufgefaßt
und alternativ bewußt
bei derartigen Visualisierungen der Mensch als Schnittstelle eingebaut, um
in Abhängigkeit
von Musik mittels Bilddaten bestimmte Stimmungen erzeugen zu können. Dabei müssen sowohl
die Techniken als auch der Bedienkomfort, der in diesem Bereich
eingesetzt wird, noch als im Anfangsstadium begriffen werden. Bis
dato existiert kein einheitliches und überzeugendes System, daß es dem
herkömmlichen
Benutzer erlaubt, in einfacher Weise Audiodaten insbesondere Musik
zu visualisieren oder sonstig mit Bildinhalten zu verbinden.
-
Zunächst ist
bei den erwähnten
Softwaresystemen festzustellen, daß sie zwar Bildimpulse synchron
zu einer jeweils laufenden Musik erzeugen, wobei allerdings die
Interpretation der Frequenzkurve in beiden Fällen der Musik, etwa einem
bestimmten Instrument oder einer bestimmten Stimmungslage nicht
gerecht wird. Die erreichten Darstellungsformen werden somit in
aller Regel als unbefriedigend empfunden.
-
Insbesondere
im Bereich der Animation von Bildsequenzen hat sich in den letzten
Jahren zunehmend das sogenannte Flash-Format von Macromedia durchgesetzt. „Flash" gilt in Fachkreisen
als Standard-Format für
vektorbasierte Grafiken im Internet. Der sogenannte „Flash-Player" hat sich als „plug-in" auf alle herkömmlichen
Browser durchgesetzt. Nach Angaben von Marcomedia sind über 80 %
aller im Internet genutzten Web-Browser mit einem Flash-Player ausgestattet.
Dabei ist das Flash-Format auch für den Audiobereich geeignet,
da der zumindest im Internet weit verbreitete MP3-Standard unterstützt wird,
so daß Musiksequenzen
und Töne
bei der Wiedergabe und Übertragung
von Bildsequenzen abgespielt werden können. Dabei übernimmt
beim Flash-Format die Tonspur eine Masterfunktion, während die
Bildspuren als Slave arbeiten. Es besteht also eine vollkommen starre
Ankopplung zwischen Bild- und Tondaten. Das Flash-Format ist somit
nicht in der Lage, in Echtzeit also beispielsweise während eines
Musikkonzertes synchronisiert zu werden. Dadurch, daß MP3-Dateien
zum Zeitpunkt der Aufnahme in ihrer Geschwindigkeit festgelegt werden,
ist somit auch die Bildwiedergabe eindeutig festgelegt. Insbesondere
diese fehlende Eingriffsmöglichkeit
gestattet es nicht, die Visualisierung von Audiodaten beispielsweise
an vorgegebene Rechnerleistungen anzupassen. Der Privatnutzer erlebt
dann derart animierte Flash-Formate in Form von stotternden Bildsequenzen,
wenn die vorhandene Rechnerleistung nicht in der Lage ist, die ggf.
mächtigen
Formate zu bearbeiten.
-
Insbesondere
ist eine Synchronisation des Flash-Formats mit herkömmlichen
externen Musikwiedergabegeräten
nicht bekannt. Hierzu fehlt es sowohl an den entsprechenden Schnittstellen
wie auch an den erforderlichen Protokollformaten.
-
Musikdarbietungen
müssen
also beispielsweise über
die Quick-Time-Technologie von Apple in ein vorgefertigtes audiovisuelles
Format konvertiert werden. Das Ergebnis ist dann auch hinsichtlich
der Geschwindigkeit und des Ablaufs festgelegt.
-
Aus
der WO 97/36288 A1 ist ein Verfahren zur Visualisierung von Audiodaten
bekannt, welches dadurch gekennzeichnet ist, dass Audiodaten mit
einem Audiogerät
erzeugt und/oder wiedergegeben werden und hierzu in Echtzeit Bilddaten
mit einem Bildgerät
erzeugt und/oder wiedergegeben werden, wobei die vorgefertigten
Bilddaten animierbare Grafiken und/oder Sequenzen sind, mittels
Audio-Impulsen in Echtzeit in ihrer Darstellung verändert und/oder
generiert werden und automatisch abgerufen werden.
-
Des
Weiteren ist mit der US 2001/0010663 A1 eine Vorrichtung offenbart,
welche während
dem Abspielen akustischer Daten diesen zugeordnete grafische Daten
erstellt, mithilfe derer die akustischen Daten speicherbar sind.
Diese grafischen Daten werden in einem Halbleiterspeicher vorgehalten und
können
zur Illustration und Animation an einer Anzeige der Vorrichtung
zur Anzeige gebracht werden.
-
Ausgehend
von diesem Stand der Technik liegt der Erfindung die Aufgabe zugrunde,
ein Verfahren und eine Vorrichtung zur Visualisierung von Audiodaten
zu schaffen, bei dem die Synchronisation der Audiodaten in Echtzeit
und somit beeinflußbar
so erfolgt, dass bezüglich
der in diesen Audiodaten enthaltenen, unterschiedlichen Audiocharakteristiken
unterschieden wird.
-
Diese
Aufgabe wird durch ein Verfahren gemäß Anspruch 1 sowie eine Vorrichtung
nach Anspruch 15 gelöst.
Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen 2 bis
14 sowie 16 bis 17.
-
Die
Lösung
der erfindungsgemäßen Aufgabe
gelingt im Wesentlichen dadurch, daß zwar vorgefertigte Bilddaten
erzeugt und auf einem Speichermedium bereitgehalten werden, daß aber diese
Bilddaten automatisch halbautomatisch oder manuell abgerufen werden
können.
Die Audio- und Bilddaten liegen also zunächst in entkoppelter Form vor
und werden erst während
der Wiedergabe der Audiodaten in Echtzeit miteinander synchronisiert.
Dabei werden als vorgefertigte Bilddaten mit Vorteil Dateien im Flash-Format
eingesetzt. Die im Flash-Format erzeugten Dateien können in
einfacher Weise mit Audio-Impulsen in Echtzeit animiert, generiert
und verändert
werden.
-
Idealerweise
werden die vorgefertigten Bilddaten mit einem Player, der vorzugsweise
mit einer Tastatur versehen ist, in Echtzeit zur Wiedergabe der Musik
abgerufen. Dabei kann im Rahmen dieser Ausgestaltung der Player
zur Visualisierung der Musik wie ein Synthesizer eingesetzt werden
und mit den Bildsequenzen, die ansonsten mit Tonsequenzen gespielt
werden.
-
Der
Player stellt somit ein Visualisierungsinstrument zu einer vorgegebenen
oder live gespielten Musik dar, wie beispielsweise in Stummfilmzeiten
ein Klavier zur Begleitung des Stummfilms eingesetzt wurde.
-
Dabei
wird bei der Wiedergabe der Audiodaten nicht nur auf die herkömmlich in
zwei Tonspuren (links, rechts) abgelegten Audiodaten, sondern vielmehr
auch auf die Audiodaten zugegriffen, die schon bei der Aufzeichnung
eines Musikstücks
im Tonstudio entstehen. Dabei wird idealer Weise für jedes
Musikinstrument eine eigene Tonspur angelegt, die üblicherweise
erst in der Endphase der Tonproduktion auf zwei Kanäle reduziert
werden. Jede derartige Tonspur weist somit eine bestimmte Audiocharakteristik
auf, die einem bestimmten Instrument entspricht. Bei Verwendung
dieser aufgeschlüsselten Audioinformation
kann einer jeden Audiocharakteristik – also beispielsweise jedem
Instrument – eine Bildcharakteristik
zugeordnet werden. Dies ermöglicht
wiederum, daß eine
einem bestimmten Instrument zugeordnete Grafik immer dann zur Visualisierung
der Audiodaten eingesetzt wird, wenn dieses Instrument in Echtzeit
spielt. Außerdem
sind diese Grafiken üblicherweise
in mehren Ebenen angelegt, so daß weitere Audiocharakteristika,
wie etwa Anschlagdynamik oder Tonhöhe in Form einer Wiedergabe
in verschiedenen Ebenen also beispielsweise durch Wiedergabe in
unterschiedlicher Farbe oder Größe berücksichtigt
wird.
-
Ähnlich wie
bei der Abmischung der Audiodaten kann somit eine Abmischung der
Bilddaten erfolgen, wobei die Bilddaten mittels einer entsprechenden
Software zusammengefügt
werden können.
-
Ganze
Tonsequenzen oder Instrumentpassagen können somit als sogenannte Playlists
angelegt werden, die dann mittels einer Tastatur oder aufgrund eines
Events abrufbar sind.
-
Anstelle
des Players, der es bewußt
gestattet, die Bilddaten manuell abzurufen, kann alternativ auch
das mit einer Audiodatei mitgelieferte MIDI-Protokoll ausgewertet
und zum Abruf der Bilddaten oder Playlists eingesetzt werden. Das
MIDI-Protokoll kann auch in Echtzeit also bei einem Live-Konzert
von sogenannten MIDI-fähigen
Instrumenten erzeugt werden.
-
Zur
erleichterten Bedienung können
bestimmte MIDI-Befehle als "Events" aufgefaßt und beispielsweise
bestimmten Tasten der Tastatur des erwähnten Players zugeordnet werden.
Wie in dem vorerwähnten
Beispiel eines Synthesizers können somit
entweder selbsttätig
durch bestimmte MIDI-Ereignisse die Bildsequenzen aufgerufen werden
oder durch entsprechende Tastaturbetätigung, Ähnlich wie bei einem Synthesizer
können
dabei durch Veränderungen
beispielsweise der Farbgebung und Größe der Bilder bestimmte Stimmungen
begleitend erzeugt werden.
-
In
vorteilhafter Ausgestaltung wird zu jedem Audiocharakteristikum
ein individuelles MIDI-Protokoll erzeugt. Konkret kann dies bedeuten,
daß zu
jeder Tonspur eines jeden Instruments auch ein MIDI-Protokoll vorliegt
und synchron mit der Audiowiedergabe wiedergegeben wird. Sollte
diese Information zu einem bestimmten Stück nicht vorliegen, so kann
diese Information zumeist unproblematisch aus einem sogenannten "MIDI-Archiv" beschafft werden.
-
Mit
diesen individuellen MIDI-Protokollen werden dann die erwähnten Software-Playlists
zusammengestellt oder in Echtzeit abgerufen.
-
Die
vorgefertigten Bilddaten werden mit Vorteil in einer Speichereinrichtung
aufgezeichnet und können
als reizvolle Option alternativ zur synchronen Wiedergabe auch mittels
eines Zufallsgenerators ausgewählt
und dann synchron animiert werden. Die feste Ankopplung bestimmter
Grafiken und Sequenzen an ein Instrument kann dann beispielsweise
bewußt
aufgegeben werden, um eine Abwandlung der Wiedergabe zu erzeugen.
Die in Echtzeit erzeugten Visualisierungen von Audiodaten können mitder Speichereinrichtung
aufgezeichnet und zu einem späteren
Zeitpunkt wiederholt werden.
-
Um
eine vollständig
selbsttätige
Visualisierung von Audiodaten zu ermöglichen, kann die bei einer
jeden Audioproduktion zwangsläufig
mitangelegte Synchronisationsspur und das mit dieser Spur aufgezeichnete
Zeitsignal ausgewertet werden. Dieses Zeitsignal, das bei der Audioproduktion
dazu dient, die verschiedenen Tonerzeuger – wie etwa Instrumente oder
Studio Equipment – miteinander
zu synchronisieren kann mit Vorteil auch zur Synchronisation der
Bild- und Tonwiedergabe eingesetzt werden.
-
In
alternativer Ausgestaltung kann das ansonsten der Sychronisationsspur
zu entnehmende Zeitsignal auch in einem Synchronisationssample angelegt
sein. Statt in einer zusätzlichen
Spur wird diese Information bei dieser Lösung in der jeweiligen Tonspur
mitgeführt,
und beim Abtasten dieser Spur zur Audiowiedergabe, dem Sampling,
zu der beschriebenen Synchronisation der Bildwiedergabe genutzt.
-
Dabei
wird ein SMPTE (Society of motion picture and television engineering)-Zeitsignal
eingesetzt. Bei der vorliegenden Ausführung handelt es sich dabei
um eine MTC-Signal,
also einen sogenannten MIDI-Timecode. Dabei wird ein Audiokanal als
MTC-Master eingesetzt und alle anderen Audiokanäle sowie die Bildwiedergabegeräte als MCT-Slaves
gesteuert.
-
Um
auch in Echtzeit mehrere Audiokanäle verarbeiten und mit Bilddaten
synchronisieren zu können,
wird mit Vorteil ein MIDI-Sequenzer in den erwähnten Player integriert.
-
Eine
erfindungsgemäße Vorrichtung
zur Visualisierung der Audiodaten umfaßt somit im Wesentlichen ein
Audiogerät
zur Wiedergabe der live gespielten oder gespeicherten Audiodaten
sowie ein Bildgerät
zur Wiedergabe der vorgefertigten Bilddaten sowie ein Speichermedium
in dem die zur Anzeige gelangenden Bilddaten abgelegt sind. Zusätzlich muß die Vorrichtung
mit einem Player versehen sein, der in Abhängigkeit von vorbestimmten
Ereignissen, das etwa infolge der Auswertung einer MIDI-Datei oder
aufgrund einer Tastenbetätigung
eintritt, auf die Speichereinrichtung zugreift.
-
Die
Erfindung wird nachstehend anhand mehrere in der Zeichnung nur schematisch
dargestellte Ausführungsbeispiele
näher erläutert.
-
Es
zeigen:
-
1 eine
Vorrichtung zur Visualisierung zur synchronen Wiedergabe von Audio-
und Bilddaten in einer Prinzipdarstellung,
-
2 eine
Vorrichtung zur selbsttätigen
Visualisierung von Audiodaten in einer Prinzipdarstellung,
-
3 eine
Vorrichtung zur halbautomatischen oder manuellen Visualisierung
von Audiodaten und
-
4 eine
Prinzipskizze zur Erzeugung und Wiedergabe von individuellen Bildcharakteristika
zu individuellen Audiocharakteristika von Audiodaten in einer Prinzipskizze.
-
Gemäß der Darstellung
in 1 ist eine Audioquelle 1 mit einem Audiogerät 2 zur
Wiedergabe von Audiodaten und einem Bildgerät 3 zur Wiedergabe
von Bilddaten zumindest mittelbar verbunden. Bei der Audioquelle 1 kann
es sich um einen herkömmlichen
CD-Player, ein Musikinstrument, die menschliche Stimme oder jedes
sonstige beliebige Vorrichtung zum Abspielen oder Erzeugen von Audiodaten handeln.
Das Gerät
zur Wiedergabe von Audiodaten kann eine herkömmliche Lautsprecheranlage
sein. Das Bildgerät 3 kann
beispielsweise ein Beamer sein.
-
Die
Audioquelle 1 ist mit den Geräten zur Wiedergabe von Bild
und Ton 2 und 3 über einen Player 4 verbunden.
Der Player 4 steht in Datenverbindung mit einer Speichereinrichtung 5,
in der vorgefertigte Bilddaten abgelegt sind.
-
Die
vorgefertigten Bilddaten sind im vorliegenden Beispiel Flash-Dateien,
die aufgrund von Audio-Impulsen oder MIDI-Daten animiert bzw. werden können. Es
handelt sich dabei um Grafiken oder Bildsequenzen, die gemäß der an
sich bekannten Flash-Technologie animierbar sind. Zusätzlich ist
der Player mit einer Tastatur 6 versehen, um über den Player 4 auf
die in der Speichereinrichtung 5 vorgefertigten Bilddaten
zuzugreifen. In konkreter Ausgestaltung kann die Tastatur 6 im
Wesentlichen als einer Keyboard-Tastatur entsprechend angesehen werden.
-
2 zeigt
in detaillierterer Darstellung eine Vorrichtung zur weitgehend selbsttätigen Visualisierung
von Audiodaten, die mit einer Audioquelle 1 wiedergegeben
werden. Gemäß der Darstellung
in 2 kann es sich hierbei um ein gewöhnliches
Wiedergabegerät
von CD's, DVD's, oder Tapes handeln.
-
Im
vorliegenden Beispiel wird zusätzlich
zu den beiden von der Audioquelle 1 wiedergegebenen Tonspuren,
also der linken und rechten Stereospur, eine Synchronisationsspur 10 ausgewertet.
Die Synchronisationsspur 10 ist auf heutigen Audiodatenträgern üblicherweise
nicht vorhanden. Sie müßte also zur
Nutzung der erfindungsgemäßen Vorrichtung
zusätzlich
auf den Audiodatenträger
aufgespielt oder sonstig beschafft werden. Sie muß allerdings
nicht extra erzeugt werden, denn sie entsteht üblicherweise bei einer jeden
Audioaufnahme. Bei der Aufnahme von Musik wird in der Regel nicht
nur ein einziges Gerät
verwendet, sondern neben einer Bandmaschine sind auch Effektgeräte und Sequenzer
im Einsatz. Die Synchronisationsspur 10 ist vorhanden,
um sämtliche
Geräte
im Gleichschritt laufen zu lassen.
-
Ferner
muß beachtet
werden, daß die
herkömmlichen
Wiedergabegeräte,
also etwa CD-Player oder Soundkarten nur für die Wiedergabe der erwähnten Audiokanäle ausgelegt
sind. Eine Schnittstelle zur Ausgabe des erwähnten Synchronisationssignals
aus der Synchronisationsspur 10 ist üblicherweise nicht vorhanden
und muß daher
im Rahmen der Erfindung zusätzlich
vorgesehen werden. Dann kann die Wiedergabe eines um die Synchronisationsdaten
erweiterten Formates gemäß 2 erfolgen. Dabei
wird beispielsweise statt einer MP3 eine MPX-Datei 7 wiedergegeben
werden. Diese MPX-Datei enthält
die über
das Audiogerät 2 wiedergegeben
Stereo-Ton Spuren und die Synchronisationsspur 10.
-
Bei
richtigem Verständnis
kann die Synchronisationsspur 10 also zur Synchronisation
der Bild- und Tonwiedergabe gemäß der nachstehenden
Darstellung genutzt werden. Dabei wird im Rahmen des Ausführungsbeispiels
ein SMPTE (Society of motion picture and television „engineering)-Zeitsignal
verwendet. Konkret wird ein MTC-Signal benutzt.
-
Unter
einem MTC (MIDI-Timecode)-Signal versteht man ein Signal, daß die jeweils
aktuelle zeitliche Position eines Audio-, Video- oder Filmprojektes in
Stunden, Minuten, Sekunden und Frames beschreibt. Der MIDI-Timecode
kann bei der Aufzeichnung und/oder der Wiedergabe von Audiodaten durch
einen der beteiligten Mikroprozessoren in eine MIDI-Schnittstelle eingegeben
werden. Der MIDI-Timecode dient also der zeitlichen Synchronisation
aller angeschlossenen „MIDI-Geräte". Als „MIDI-Geräte" bezeichnet man MIDI-fähige Musikinstrumente, Effektgeräte und Mischpulte.
MIDI-fähige
Musikinstrumente sind etwa Keyboards, Drum-Computer und ähnliches.
Die Synchronisation verläuft
nach dem an sich bekannten Master-Slave-Verfahren. Dabei arbeitet
ein Gerät
als MTC-Master. Der MTC-Master, im übertragenen Sinne, also der
Taktgeber, sagt den MTC-Slaves an welcher Stelle eines Bandes oder
einer Tonspur er sich gerade befindet, so daß die Slaves ihre Wiedergabe
ebenfalls an der entsprechenden Stelle beginnen und somit dem Master
nachfolgen. Dabei können
die hier erwähnten
MIDI-Daten beispielsweise auch zu Zwecken der Visualisierung aus
einem MIDI-Archiv im Vorfeld einer Präsentation beschafft werden.
Es können
also keinesfalls nur MIDI-Instrumente oder -geräte entsprechend viualisiert werden
-
Die
MIDI-Schnittstelle ist eine Schnittstelle zwischen elektronischen
Musikinstrumenten. Diese Schnittstelle ist genormt und erfreut sich
einer weiten Verbreitung. Eine derartige MIDI-Schnittstelle kann auch
an der Soundkarte eines Rechners vorhanden sein. Dabei werden über die
MIDI-Schnittstelle
mehr Daten übertragen,
als lediglich ein Zeitraster der verschiedenen Geräteabspielungen.
MIDI-Dateien enthalten
darüber
hinaus Informationen über
Tempo, Taktart und Rhythmik einer bestimmten Musik. Sie können entweder
in Verbindung mit Audiodatenträgern
ausgeliefert oder separat beschafft werden. MIDI-Daten entstehen,
wie die vorstehend beschriebene Synchronisationsspur bei der Audio-
bzw. Musikproduktion und werden ansonsten nach der Endabmischung
nicht weiter verwendet.
-
Diese
in Form von MIDI-Dateien 11 gespeicherten Informationen
werden nun für
das erfindungsgemäße Visualisierungsverfahren
benutzt. Das MIDI-Protokoll wird zum Zeitpunkt der Audiowiedergabe
der Audioquelle 1 an den Player 4 übermittelt.
Der Player 4 liest aus der MIDI-Datei 11 Informationen,
wie Tonhöhe,
Anschlagdynamik, Programmwech sel und weitere Systeminformationen.
Dabei ist in den Player 4 ein MIDI-Sequenzer integriert, über den
elektrische oder elektronische Musikinstrumente ferngesteuert werden
können.
-
Im
Weiteren kann dann aufgrund der über die
MIDI-Datei 11 gelieferten Informationen und den Player 4 auf
die gespeicherten Bilddaten selbsttätig zugegriffen werden. Dabei
erfolgt die Animation der Bilddaten in Abhängigkeit von den über die
MIDI-Datei 11 übermittelten
Informationen. Die Synchronisation von Bild und Ton über das
Bildgerät 3 und
das Audiogerät 2 erfolgt
dabei über
die Synchronisationsspur 10.
-
2 zeigt
somit eine Vorrichtung zur selbsttätigen Visualisierung von Audiodaten
unter Berücksichtigung
der mit den Audiodaten übermittelten
MIDI-Daten, wobei die Synchronisation der Bild- und Tonwiedergabe über die
Synchronisationsspur 10 erfolgt.
-
In
alternativer Ausgestaltung kann gemäß 3 bewußt auch
manuell oder halbautomatisch auf die in der Speichereinrichtung 5 abgelegten
Bilddaten 12 zugegriffen werden. Wie aus 3 ersichtlich,
ist zunächst
eine Audioquelle 1 zur Wiedergabe von Audiodaten über ein
Audiogerät 2 vorgesehen. Hiervon
teilweise oder vollständig
entkoppelt kann während
der Wiedergabe der Musik mittels des Players 4 auf vorgefertigte
Bilddaten 12 zugegriffen werden. Dabei ist der Player 4 an
eine Rechnereinheit 13 angeschlossen, die mit einem Bildgerät 3,
im vorliegenden Beispiel einem Beamer zur Bildwiedergabe verbunden
ist. So kann in einfachster Ausgestaltung mit dem Player 4 über eine
Tastatur 6 gespielt werden und dabei vorgefertigte Bilddaten 12 etwa
in Form von sogenannten Playsets aktiviert werden.
-
Hierbei
ist jeder Taste der Tastatur 6 ein bestimmter Playset zugewiesen.
Dabei müssen
die Playsets als in verschiedenen Ebenen ansprechbare und animierbare
Dateien verstanden werden, so daß wie bei einem Keyboard in
Echtzeit bestimmte Grundrythmen aktivierbar und modifizierbar angelegt sind,
auch die Bildsequenzen veränderlich
ansprechbar und in Echtzeit veränderlich
sind.
-
In
weiterer Ausgestaltung kann gemäß 3 die
Aktivierung der vorgefertigten Bilddaten 12 nicht nur über die
Tastatur 6, sondern auch über ein MIDI-fähiges Instrument 14 erfolgen.
Dabei werden von einem MIDI-Interface 15 die MIDI-Impulse
des MIDI-Instrumentes 14 derart interpretiert, daß sie als Betätigung einer
Taste der Tastatur 6 aufgefaßt werden. Genauso wie über die
Betätigung
einer Taste der Tastatur 6 auf die vorgefertigten Bilddaten
zugegriffen wird, kann somit auch mittels der von dem MIDI-Instrument 14 gelieferten
MIDI-Impulsen auf die vorgefertigten Bilddaten 12 zugegriffen
werden. Im Ergebnis erfolgt auch auf diesem Weg eine Ausgabe von
vorgefertigten Bilddaten über
das Bildgerät 3.
-
Die Übersichtsdarstellung
in 4 zeigt eine Zuordnung von vorgefertigten Bilddaten 12 zu
Audiodaten 16. Bei den Audiodaten 16 handelt es
sich zunächst
um die verschiedenen Musikinstrumenten zugeordneten Notationen.
-
Die
Darstellung der Audiodaten 16 in 4 kann dabei
als Darstellung der bei einer Musikaufnahme entstehenden Audiodaten
aufgefaßt
werden.
-
Dabei
wird üblicherweise
die Gesamtkomposition in getrennten Tonspuren aufgenommen, wobei durchaus
eine weitere Aufteilung der Audiodaten 16 in Instrumentensignale 17 erfolgen
kann. Jede Zeile der in tabellarischer Darstellung der Audiodaten 16 dargestellten
Notation in 4 kann weiter nach einzelnen
Musikinstrument aufgeschlüsselt
werden. Die dem Schlagzeug 18 zugewiesen Notation unterteilt sich
in Instrumentensignale 17 der zum Schlagzeug gehörenden einzelnen
Instumente oder Studiogeräte,
wie etwa Claps oder die Bassdrumm 19.
-
Die
Spalteneinteilung der Zeilen ergibt sich im Wesentlichen aus dem
Takt der Musik. Die einzelnen Instrumentensignale 17 werden
erst bei der endgültigen
Abmischung der Tonaufnahme auf zwei Kanäle, nämlich einen rechten und einen
linken Stereokanal reduziert. Die Daten der Audioaufnahme werden
normalerweise im Anschluß höchstens
für erneute
Aufnahmen, beispielsweise im Wege des Remasterings verwendet.
-
Im
Rahmen der Erfindung wird nun, beispielsweise jedem Instrumentensignal 17,
also etwa der Bassdrumm 19 eine bestimmte grafische Gestaltung
bzw. Bilddatei 12 mit mehreren Ebenen, wie etwa eine veränderliche
Raute 20 der Bassdrumm 19, zugeordnet. Die Bilddateien 12 sind
als Flash-Format und somit als animierbare Vektorgrafik angelegt.
Im vorliegenden Beispiel ist der Bassdrumm 19 eine veränderbare
Raute 20 zugewiesen. Dies bedeutet, daß immer wenn die Bassdrumm 19 schlägt oder
wiedergegeben wird, die Raute 20 als Visualisierung erscheint,
wobei in Abhängigkeit
von der Lautstärke
und der Anschlagsdynamik die Raute 20 vergrößert, verkleinert
oder in ihrer farblichen Gestaltung verändert wird.
-
Die
Informationen zur Synchronisation der einzelnen Instrumente oder
Instrumentensignale 17 werden der Synchronisationsspur 10 entnommen, wobei
die Informationen zur Animierung der abgespeicherten Grafiken aus
dem MIDI-Protokoll 11 ausgelesen
werden können.
-
In
alternativer Ausgestaltung kann auch über die Tastatur 6 oder
die MIDI-Schnittstelle 15, die jeweils mit dem Player 4 verbunden
sind, auf die vorgefertigten Bilddaten 12 zugegriffen werden.
Die ebenfalls in 4 angedeutete Computertastatur 21 zeigt, daß mittels
einer Software vorgefertigten Bilddaten 12 verändert, zusammengefügt oder
verschiedene Klangfarben abgerufen werden können.
-
4 macht
noch einmal deutlich, daß dem Player 4 begleitend
zu den Audiodaten 16 auch vorgefertigte Bilddaten 12 in
Abhängigkeit
von jedem einzelnen Instrument angelegt sind, zugegriffen werden
kann. Zusätzlich
kann auf vorgefertigte ganze Playlists zugegriffen werden, die beispielsweise ebenfalls
in Abhängigkeit
von MIDI-Dateien 11 beeinflußbar sind.
-
Vorstehend
ist somit ein Verfahren und eine Vorrichtung zur Visualisierung
von Musik beschrieben, das entweder selbsttätig oder manuell quasi als Ergänzung zu
einer Musik- oder Audioquelle gespielt werden kann.