DE10145360B4

DE10145360B4 - Verfahren zur Umsetzung oder Aufzeichnung von Musik, Anwendung des Verfahrens und Anlagen hierfür

Info

Publication number: DE10145360B4
Application number: DE2001145360
Authority: DE
Inventors: Jan Henrik Hansen
Original assignee: Individual
Current assignee: HANSEN, JAN HENRIK, ZUERICH, CH
Priority date: 2001-09-14
Filing date: 2001-09-14
Publication date: 2007-02-22
Anticipated expiration: 2021-09-15
Also published as: DE10145360A1

Abstract

Verfahren zur Umsetzung oder Aufzeichnung von Musik, wobei man
(a) eine Noten- oder Tonabfolge bereitstellt oder erzeugt,
(b) in der Noten- oder Tonabfolge der musikalischen Events mindestens eine der folgenden Eigenschaften mindestens eines musikalischen Events messend erfasst:
– Instrument
– Noten- oder Toneinsatz
– Noten- oder Tondauer
– Noten- oder Tonhöhe
– Tonhöhenverlauf
– Klangfarbe
– Modulation
– Anschlagstärke
– Lautstärke
– Lautstärkenverlauf
– Tempo
– Tempowechsel
– Effektsteuerung
dadurch gekennzeichnet, dass man
(c) die musikalischen Events zumindest teilweise in ein oder mehrere 3-dimensional-räumliche Objekte oder deren Verhalten in der Zeit umsetzt,
(d) derart, dass das 3D-Objekt oder die 3D-Objekte in mindestens einer ihrer folgenden räumlichen und körperlichen Eigenschaften oder den Eigenschaften ihrer Bestandteile, nämlich
– Position
– Ausdehnung
– Orientierung
– Farbe
– Oberflächentextur...

Description

Die Erfindung betrifft ein Verfahren zur Umsetzung oder Aufzeichnung von Musik, wobei man

(a) eine Noten- oder Tonabfolge bereitstellt oder erzeugt,
(b) in der Noten- oder Tonabfolge der musikalischen Events mindestens eine der folgenden Eigenschaften mindestens eines musikalischen Events messend erfasst: – Instrument – Noten- oder Toneinsatz – Noten- oder Tondauer – Noten- oder Tonhöhe – Tonhöhenverlauf – Klangfarbe – Modulation – Anschlagstärke – Lautstärke – Lautstärkenverlauf – Tempo – Tempowechsel – Effektsteuerung

Zur Umsetzung von Musik bzw. deren Bestandteilen in darstellbare Form sind verschiedene, jeweils auf ihre Anwendungszwecke ausgerichtete Methoden bekannt

– klassische Notenschrift (graphisch codierte Symbole)
– Matrix-Notation (graphisch anschauliche Symbole)
– Event-Notation (abstrakte, numerische Symbole)
– Mehrspurmatrizen zum Arrangieren von Instrumenten bzw. Stimmen (graphisch anschauliche Symbole)
– Visualisierungswerkzeuge, die zur Untermalung von Musikstücken dienen.

Die oben genannten Umsetzungen vermögen aber noch nicht vollständig zu befriedigen. Sie basieren auf 2-dimensional-flach-gedacht und entworfenen Repräsentationen von Musik, die sich in ihrer Reduktion auf das Wesentliche zwar seit einigen Jahrhunderten bewährt haben. Jedoch sind diese bekannten Umsetzungs- bzw. Aufzeichnungsmethoden auf ihre Struktur begrenzt, d.h. die Übersetzungsregeln erlauben nur enge Spielräume für die Variation der graphischen Aufzeichnung bzw. flachen 2D-Darstellung von musikalischen Noten und deren Eigenschaften, innerhalb derer sich alle Benutzer zurechtfinden und artikulieren müssen.
Auch die vorstehend erwähnten Visualisierungswerkzeuge sind insofern in ihrer Anwendung auf eine effektvolle Untermalung von Musik beschränkt, so dass man hier nicht von einer Aufzeichnung bzw. Darstellung von Musik im Sinne von präzisen Noten sprechen kann. Es handelt sich lediglich um Bilder bzw. Animationen, die das endgültige Audiosignal, also die Amplitudenverteilung über alle hörbaren Tonfrequenzen zu einem Zeitpunkt eines Musikstücks, d.h. aller Instrumente und Stimmen gemeinsam auf die Beeinflussung geometrischer Abläufe in einem 2-dimensional-flachen Bild anwenden. Dieses erzeugt die Illusion eines dreidimensionalen Gebildes nur durch perspektivische Effekte, also nicht mit wirklich 3-dimensionaler Modellbildung im 3-dimensionalen Raum. Die bekannten Visualisierungen sind flüchtig und dienen hauptsächlich der Echtzeit-Begleitung von Musik-erlauben jedoch keinen exakten bzw. kontrollierbaren Zugriff auf einzelne Noten, Notengruppen, oder deren Eigenschaften. Es kann also weder von einer Aufzeichnung, noch von einer Umsetzung bzw. Darstellung präziser Noten und deren Eigenschaften gesprochen werden, weshalb sich diese Visualisierungen auch nicht in Musik zurückführen lassen, bzw. kein Modell eines Musikstücks darstellen.

Aus US 5 005 459 ist ein vorgegebenes Bild bekannt, das in Abhängigkeit von der Musik, die teilweise messend erfasst ist, variiert wird. Die Lehre dieser Druckschrift erlaubt jedoch nicht die Schaffung räumlicher Objekte, deren Konzeption vom Benutzer frei geschaffen werden kann. Auch aus EP 0 945 849 A1 ist die Animation eines vorerzeugten Bildes bekannt, das in Abhängigkeit von einem oder mehreren Instrumenten in Bewegung versetzt wird.

Der Erfindung liegt die Aufgabe zugrunde ein Verfahren der eingangs genannten Art zu schaffen, mit dessen Hilfe es möglich ist, dimensional-räumliche, präzise einzelnen musikalischen Events bzw. Instrumenten und Stimmen innerhalb eines Musikstücks, deren Noten oder den Eigenschaften der Noten zuzuordnende, und spezifisch oder persönlich gestaltete Umsetzungen bzw. Aufzeichnungen von Musik oder deren Bestandteilen im 3-dimensionalen Raum zu unternehmen. Nach einer bevorzugten Ausführungsform dieser Aufgabe soll das Verfahren die Schaffung von 3-dimensional-räumlichen Gebilden bzw. darin enthaltenen 3D-Objekten gestatten, die den musikalischen Events eines Musikstücks nach einer Übersetzungsregel entsprechen. Nach einem weiteren Aspekt der Aufgabe werden Anlagen zur Durchführung des erfindungsgemässen Verfahrens zur Verfügung gestellt.

Die Aufgabe der Erfindung wird durch die Schaffung eines Verfahrens der eingangs genannten Art gemäss Kennzeichen des Anspruchs 1 gelöst.

Im Rahmen der Erfindung wird unter einem musikalischen Event eine gespielte Note oder eine Anweisung zum Abspielen oder Manipulieren einer Note oder eines Tones verstanden. Ublicherweise stellt eine Noten- oder Tonabfolge, die bereits vorliegen kann oder erzeugt wird, ein Musikstück oder einen Bestandteil eines solchen dar. Dies können z.B. ein Instrumentalstück bzw. ein Lied sein, aber auch Rhythmen und musikalische Phrasen aller Art, sowie Kompositionen aus instrumentalen und Liedelementen. Als Noten oder Bestandteile von Musik gelten im Rahmen der Erfindung neben Tönen aller Art auch Geräusche aller Art, beispielsweise Naturgeräusche.

Unter den vorgenannten 3D-Objekten bzw. 3D-Szenarien werden im Rahmen der Erfindung alle 3-dimensional-räumlich erfahrbaren, polyperspektivischen Gegenstände verstanden, also reale wie abgebildete bzw. virtuelle 3D-Körper oder 3D-Geometrien bzw. 3D-Modelle von solchen. Eine 3-dimensional-räumlich-körperliches Modell von Musik ist in der Lage, eine wesentlich höhere Zahl an mess- und darstellbaren Parametern als herkömmliche 2-dimensional-flache Oberflächen aufzunehmen, neben Breite und Höhe kommt die dritte Dimension hinzu, die räumliche Tiefe.

Damit wird es möglich, die Eigenschaften einer Note auf die Eigenschaften eines räumlichen Körpers anstelle auf die eines 2-dimensionalen Symbols zu übertragen, um den Benutzern einen umfangreicheren funktionalen wie auch gestalterischen Spielraum für eine sichtbar bzw. körperliche Umsetzung eines Musikstücks zu gewähren.

Dadurch entsteht eine Fülle von Möglichkeiten, spezifische Eigenschaften eines Musikstücks in der Darstellung hervorzuheben bzw. in den Hintergrund treten zu lassen, um neuartige Modellvorstellungen bzw. sichtbare oder greifbare Darstellungen von Musik zu erzeugen, die beispielweise der Kommunikation von musikalischem Wissen und Konzepten zuträglich sein können.

Erfindungsgemäss kann ein 3D-Objekt z.B. geometrische Regelkörper wie eine Kugel, eine Ellipse, einen Zylinder, einen Würfel, einen Quader, einen Kegel, einen Hohlkörper derselben oder eine andere 3D-Geometrie mit vererbbaren Eigenschaften, aber auch gestaltete räumliche Körper aller Art darstellen.

Die 3D-Objekte können strukturiert, gefärbt oder mit einer Oberflächentextur versehen werden. Sie können auch durch Längen- und Breitengrade oder in Rasterform strukturiert sein, wobei die unterschiedlichen Elemente eines Objektes und deren Eigenschaften ebenso musikalischen Events und deren Eigenschaften zugeordnet werden können. Hierbei handelt es sich um die Art der geometrischen Modellbildung und der für die Zusammenstellung eines 3-dimensionalen Objekts benötigten Bestandteile oder deren Eigenschaften, wobei sich alle gängigen räumlichen oder parametrischen Modellierungsmethoden für das erfindungsgemässe Verfahren heranziehen lassen.

Die visuelle Darstellung der Umsetzung in 3D-Objekte kann auf einem Bildschirm, einer anderen Projektionsfläche oder als Holographie geschehen. Dabei kann die visuelle Darstellung kontinuierlich in Echtzeit, ebenso räumlich nah wie räumlich getrennt, wie auch zeitverschoben oder zeitunabhängig von der Tonabfolge erfolgen. Das erfindungsgemässe Verfahren erlaubt, dass die musikalischen Parameter über MIDI-Schnittstellen und Programme erfasst werden, wobei MIDI einen Standard der Musik(instrumente)-Industrie benennt (MIDI = engl. Abk. für Musical Instruments Digital Interface), mit dem es möglich ist, mit der Schnittstelle ausgestattete Musikinstrumente mittels Kabelverbindung miteinander zu koppeln, bzw. sich gegenseitig steuern zu lassen. Das erfindungsgemässe Verfahren sieht ausserdem die Möglichkeit vor, dass die musikalischen Events in 3D-Körper oder deren Verhalten in der Zeit im 3D-Raum mittels 3D-CAD-Programmen umgesetzt werden, wobei die CAD-Programme in der Regel durch interaktive Navigation erlauben, in virtuellen 3D-Räumen 3D-Objekte zu modellieren und animieren.

Das erfindungsgemässe Verfahren kann mit besonderem Vorteil durch die Verknüpfung von MIDI-Sequencing-Programmen mit CAD-Programmen vorgenommen werden. MIDI-Sequencing-Programme sind üblicherweise dazu in der Lage, MIDI-Datenströme (=musikalische Events) aufzuzeichnen oder abzuspielen, und erlauben auf 2-dimensional-graphischen Benutzeroberflächen Kompositionen bzw. Veränderungen an solchen vorzunehmen.

Zudem ist es bei dem erfindungsgemässen Verfahren möglich, dass ein CAD-Programm mit Hilfe einer Erweiterung MIDI-Datenströme entgegennehmen und in räumlich-körperliche 3D-Objekte oder deren Verhalten in der Zeit umsetzen kann.

Das Verhalten von 3D-Objekten in der Zeit bezeichnet deren Bewegungen oder Veränderungen oder auch Transformationen während der Zeitspanne, in der sie durch die Eigenschaften einer Noten- oder Tonabfolge im Raum bewegt oder in ihren Eigenschaften verändert werden.

Musikalische Events können erfindungsgemäss auf zwei grundlegende Arten in den 3-dimensionalen Raum abgebildet bzw. umgesetzt werden

(1) Durch Erzeugung von 3-dimensionalen Objekten oder Objektgruppen, die musikalischen Events oder Eventgruppen exakt, annähernd oder auch frei zugeordnet werden können.
(2) Durch Bewegung, Veränderung bzw. Transformation von 3-dimensionalen Objekten oder Objektgruppen, wobei die musikalischen Events oder Eventgruppen exakt, annähernd oder auch frei einer Bewegung, einer Veränderung oder dem Verhalten in der Zeit eines oder mehrerer der 3-dimensionalen Objekten zugeordnet werden können.

Ein wichtiger Aspekt des erfindungsgemässen Verfahrens ist, dass die Noten- bzw. Tonfolge nach ihrer Übersetzung als räumliche Notation zu dienen vermag, und alle für eine Reproduktion des Musikstücks benötigten Daten in Form von 3D-Objekten, deren Eigenschaften und Verhalten in der Zeit enthält bzw. visuell und musikalisch wiedergeben kann. Das erfindungsgemässe Verfahren erlaubt es dem Benutzer, musikalische Noten- oder Tonabfolgen nach einer von ihm persönlich konfigurierten Übersetzungsregel in 3D-Objekte im Raum oder deren Verhalten in der Zeit zu übertragen. Vorzugsweise kann diese Übersetzungsregel vom Benutzer intuitiv bzw. im Trial and Error-Verfahren, z.B. auf einer graphischen Benutzeroberfläche eingestellt und feinjustiert werden, indem ein visuelles oder anderes Feedback der Auswirkungen der Übersetzungsregeländerungen auf die räumlichen Eigenschaften der 3D-Objekte im Raum in Echtzeit oder zeitverzögert mitverfolgt wird.

Die Konfiguration einer spezifischen oder persönlichen Übersetzungsregel kann verändert werden, bis die gewünschten Eigenschaften einer komplexen Übersetzungsregel auf relativ einfache Weise erreicht sind. Von entscheidender Bedeutung sind hier die vielfältigen Möglichkeiten zur räumlichen Interpretation des behandelten musikalischen Materials bezüglich einer Hervorhebung, Überhöhung und Zurückstellung bzw. Filterung einzelner bzw. mehrerer musikalischer Parameter in einer räumlichen Darstellung bzw. Verwirklichung derselben. Zudem ist es beim erfindungsgemässen Verfahren möglich, dass ein Benutzer die musikalische Noten- oder Tonabfolgen sowie die Übersetzungsregel zur Umsetzung in 3D-Objekte über das Internet oder ein anderes Netzwerk einspeist oder dass die Datenübertragung mit Hilfe einer Datenbank erfolgt.

Das der Erfindung zugrunde liegende Verfahren kann grundsätzlich für folgende Anwendungen herangezogen werden:

(1) Zur Erzeugung von sichtbaren Darstellungen bzw. Aufzeichnungen von Musik, durch die Festlegung einer Übersetzungsregel, die durch Echtzeitübersetzung auf allen Hierarchieebenen intuitiv bzw. persönlichen Interessen entsprechend festgelegt werden kann.
(2) Zur Erzeugung von statischen oder dynamischen, räumlichen Szenarien aus Musikstücken, wobei die Musikstücke bzw. deren Bestandteile zur Erzeugung wie auch Transformation in der Zeit der räumlichen Szenarien vollständig oder nur teilweise herangezogen werden können.
(3) Zur Erzeugung von Anschauungs- und Begleitmaterial bzw. Filmen und Videos für Musikstücke, die unmittelbar durch eine spezifisch bzw. persönlich festzulegende Übersetzungsregel in sowohl vielfältiger wie auch präziser Weise mit dem betreffenden Musikmaterial zusammenhängen.

Das Verfahrens kann zur räumlich-körperlichen Komposition bzw. Interpretation von Musikstücken oder deren Bestandteilen angewandt werden, wobei sich die gesamte Vielfalt räumlicher Qualitäten auf die Repräsentation von musikalischen Eigenschaften und deren räumlicher Gestaltung bzw. Komposition heranziehen lässt. Im Rahmen der körperlich-räumlichen Komposition von Musikstücken bzw. deren Bestandteilen, lassen sich mit dem erfindungsgemässen Verfahren musikalische Events bzw. deren Eigenschaften anhand einer räumlichen Umsetzung auch korrigieren bzw. verändern, indem man ihre räumliche Umsetzung bzw. deren Eigenschaften mit räumlichen Mitteln korrigiert. Ausserdem kann dieser Vorgang unter Anwendung des Verfahrens zur Komposition und Korrektur auch erfolgen, während das betreffende Musikstück wiedergegeben wird, man also auf schon gespielte, noch zu spielende, oder im Moment gespielt werdende Noten oder musikalische Events mit räumlichen Mitteln Einfluss nimmt. Weiterhin erlaubt das erfindungsgemässe Verfahren die Anwendung zur Schaffung dreidimensionaler Strukturen, die einer Noten- oder Tonabfolge rhythmisch entsprechen bzw. mit dieser synästhetisch sind.

Das erfindungsgemässe Verfahren kann zur visuellen Begleitung von Noten- oder Tonabfolgen eingesetzt werden. Hier kann, wie oben bereits erwähnt, sowohl die Erzeugung von 3D-Objekten als auch deren Bewegung, Veränderung bzw. Transformation gemeint sein. Zudem kann die visuelle Begleitung von Noten- und Tonabfolgen gleichzeitig oder zeitverschoben erfolgen und räumlich nah oder getrennt voneinander vorgenommen werden. In einer weiteren Anwendung dient das erfindungsgemässe Verfahren zum Entwurf oder der Verwirklichung der Form von Architekturkörpern bzw. von gestalteten Objekten aller Art, die die Eigenschaften von Noten- oder Tonabfolgen oder Musikkompositionen bzw. deren Bestandteilen aufnehmen oder umsetzen.

Einen weiteren Aspekt des erfindungsgemässen Verfahrens stellt seine Anwendung im Unterrichtswesen dar, um musikalisches Wissen bzw. Konzepte und Strategien im Rahmen einer Ausbildung augenfällig bzw. dem Kenntnisstand der Schüler angemessen zu kommunizieren zu können.

Weiterhin erlaubt es die Anwendung des Verfahrens einem Kunden, eingespeiste Noten- oder Tonabfolgen zur Erstellung von kundenspezifisch musikverwandtem Bild- bzw. Filmmaterial, z.B. zur visuellen Begleitung der betreffenden Noten- oder Tonabfolgen bzw. ihrem Verhalten in der Zeit zu verwenden, oder dieses als Unikat zu erwerben. Zudem ermöglicht die Anwendung, die eventuell selbst definierten 3D-Äquivalente seiner Noten- oder Tonabfolgen in Form einer räumlichen Skulptur, z.B. als Produkt einer Werkzeugmaschine oder Handwerksarbeit, als kundenspezifisches Produkt anzufordern oder diese als Unikat zu erwerben.

Die Durchführung des der Erfindung zugrundeliegenden Verfahrens bzw. seiner Anwendungen wird ermöglicht durch Anlagen zur Umsetzung bzw. Aufzeichnung von Noten- oder Tonabfolgen, gekennzeichnet durch ein Element zur Aufzeichnung von mindestens einem Parameter eines musikalischen Events innerhalb einer Noten- oder Tonabfolge, oder musikalischen Komposition, ein Element zur Ubermittlung der aufgezeichneten Parameter an ein Element zur Umsetzung der musikalischen Parameter in visualisierbare 3D-Objekte und einen Speicher zur Erfassung der 3D-Objekte im Raum. Zudem kann eine solche Anlage derart beschaffen sein, dass sie einen Bildschirm/Projektor zur visuellen Präsentation der 3D-Elemente enthält. Weiterhin kann diese Anlage um eine, z.B. rechnergesteuerte (Werkzeug)-Maschine erweitert werden, die zur Erzeugung von 3D-Körpern bzw. -Werkstücken dient, die den visualisierten Objekten entsprechen.

Eine solche Anlage im erfindungsgemässen Sinne kann ein Musikinstrument darstellen, das eine Klangerzeugungsapparatur, Elemente zur Entgegennahme bzw. Aufzeichnung der musikalischen Parameter, und einen Rechner enthält der diese in 3D-Objekte gemäss dem Verfahren nach Anspruch 1 umzusetzen vermag. Vorzugsweise ist zusätzlich ein Bildschirm bzw. Projektor zur visuellen Darstellung vorgesehen. Hieran kann unter Umständen eine (Werkzeug-)Maschine zur Ausgabe der 3D-Objekte als Werkstück angeschlossen werden.

Das erwähnte Musikinstrument kann ein Tasten, Saiten-, Blasinstrument oder Schlagzeug darstellen. Es kann ein Instrument mit einer virtuellen oder MIDI- Schnittstelle, oder ein stilles Instrument sein. Ein solches Musikinstrument kann den Bildschirm als integralen Teil der Instrumentenhülle bzw. hieran anschließbar enthalten.

Als Resultat einer Anwendung des erfindungsgemässen Verfahrens bzw. der vorgenannter Anlagen gelten 3D-Gebilde, 3D-Strukturen bzw. 3D-Skulpturen, ob abgebildet, oder materiell verwirklicht.

Vorteilhafte Ausführungsformen und Prinzipien, bzw. Anwendung und Resultate der Erfindung sind in folgenden Figuren veranschaulicht. Die Erfindung wird hierdurch jedoch nicht beschränkt.
1 zeigt den Übergang eines Musikstücks in ein Raumszenario schematisch, wobei jeweils alle Hierachieebenen innerhalb eines Musikstücks bzw. die betreffenden Eigenschaften(=Attribute) frei wählbar allen Hierachieebenen des Raumszenarios bzw. den räumlichen Eigenschaften der 3D-Objekte zugeordnet werden können.
2 zeigt schematisch den erfolgten Übergang von Noten eines Musikstücks in 3D-Objekte, wobei sowohl eine statische als auch eine dynamische Übersetzung möglich ist. Bei der hier als statisch bezeichneten Übersetzungsmethode geht es um die Erzeugung eines 3-dimensionalräumlichen Gebildes (z.B. für jede gespielte Note ein zugeordnetes 3D-Objekt). Bei der hier als dynamisch bezeichneten Übersetzungsmethode geht es um Bewegung bzw. Veränderung eines bereits vorliegenden 3-dimensional-räumlichen Gebildes und seines Verhaltens in der Zeit (z.B. jede gespielte Note verursacht eine Bewegung bzw. Transformation der 3D-Objekte).
3 weist in Form eines diagrammatischen Überblicks auf die gleichzeitig hinterlegte Patentanmeldung des Anmelders P 101 45 380.9 hin, in der es um die Umsetzung 3D-räumlicher Szenarien in Musik geht.
Gemeinsam stellen die beiden erfindungsgemässen Verfahren ein neuartiges synästhetisches und bidirektionales Werkzeug zur integrierten Synchronisation, Animation bzw. Komposition von Raum/Bild+Ton-Produkten dar.
4 zeigt die herkömmlichen Methoden zur sichtbaren, jedoch räumlich 2-dimensionalen Aufzeichnung

– klassische Notenschrift (graphisch codierte Symbole)
– Matrix-Notation (graphisch anschauliche Symbole)
– Event-Notation (abstrakte, numerische Symbole)
– Arrangieren von Instrumenten bzw. Stimmen auf Mehrspurmatrizen (graphisch anschauliche Symbole)

5 zeigt diagrammatisch die wesentlichen Unterschiede bzw. Schritte zwischen 2-dimensionalen Räumen (Flächen) und 3-dimensionalen Räumen (Räume) und ihre Konsequenzen für enthaltene Objekte auf. Die flache 2D-Darstellung bzw. 2D-Wirklichkeit bietet jeweils nur eine Ansicht bzw. Repräsentation einer Fläche auf einer Fläche(2D/2D) bzw. eines Raumkörpers(3D/2D) auf einer Fläche, z.B. auf Papier oder einem Bildschirm. Dies birgt die Vorteile einer einfachen, auf das Notwendige reduzierten Darstellung.
Dagegen liefert eine räumliche 3D-Darstellung bzw. 3D-Wirklichkeit unendlich viele Ansichten bzw. Betrachtungswinkel auf Flächen im Raum (2D/3D) bzw. Raumkörper im Raum (3D/3D), die sich durch Navigation der dargestellten Objekte oder des Betrachters im Raum ergeben. Komplexe räumliche Verhältnisse bzw. Situationen sind darstell- und realisierbar in realen wie navigierbaren virtuellen Räumen.
6 zeigt einen einfachen Schlagzeugtakt, in Notenschrift und einer möglichen 3D-räumlichen Umsetzung, wobei jeweils alle Eigenschaften der musikalischen Events erhalten bleiben, d.h. eine Umsetzung ist vermöge der numerisch-präzisen Übersetzungsregel exakt in Musik rückführbar. (Beispiel für die hier als statisch bezeichnete Umsetzungsvariante)
7 zeigt eine Animation eines räumlichen 3D-Skeletts, wobei die musikalischen Events einer Schlagzeugspur die Bewegung des Skeletts bzw. ihre Transformation im 3D-Raum verursachen. (Beispiel für die hier als dynamisch bezeichnete Umsetzungsvariante)
8 zeigt eine allgemeine Darstellung des erfindungsgemässen Verfahrens Übergabe und Übersetzung musikalischer Daten in 3D-räumliche Szenarien bzw. deren Bestandteile.
9 zeigt eine spezifische Lösung der Übergabe und Übersetzung musikalischer Daten, hier unter Einsatz gängiger 3D-CAD- und AUDIO/MIDI-Sequencing-Software (MIDI = Musical Instruments Digital Interface), sowie ein der erfindungsgemässen Kopplung der zwei vorgenannten Software-Pakete dienendes und für diesen Zweck entwickeltes PlugIn(=Erweiterungsprogramm), dass es dem 3D-CAD-Programm erlaubt mittels MIDI musikalische Events und deren Eigenschaften in 3D-Szenen einzulesen.
10 zeigt die graphischen Benutzeroberflächen der Programme, die bei der Verwirklichung der spezifischen Lösung herangezogen wurden.
Der Audio/MIDI-Sequencer (Logic Audio Platinum/Emagic.com) liefert im vorliegenden Fall die zu übersetzenden 2 Takte ein Schlagzeugrhythmus bzw. die entsprechenden MIDI Events, hier in Form der wichtigsten zur Verfügung stehenden graphischen Benutzeroberflächen

– Noten-Editor
– Matrix-Editor
– Event-Editor
– Hyper-Editor

Das mittlere Fenster zeigt ein mögliches Aussehen einer vom Erfinder gestalteten graphischen Benutzeroberfläche für die intuitive Zuordnung zwischen musikalischen Events und räumlichen 3D-Objekten, bzw. der Einstellung von Faktoren mittels Knöpfen und Schiebereglern, so dass komplexe Umsetzungsregeln auf einfachem Wege zusammengestellt werden können.
Ganz oben im Fenster kann der Kontakt mit dem Server hergestellt bzw. unterbrochen werden. In der zweiten Reihe lassen sich 8 wichtige MIDI-Events aktiv bzw. inaktiv schalten (Filterfunktion).
Darunter kann für jedes einzelne Instrument ein eigenes Unterfenster zur übersichtlichen Bearbeitung geöffnet werden. (Channels 1-16)
Für jeden der 16 MIDI-Kanäle, die einem Instrument entsprechen, lässt sich eine eigene Übersetzungsregel einstellen, bzw. wenn wünschenswert sogar für jede Note eines Instruments (z.B. sinnvoll bei Schlagzeugspuren). Vorzugsweise wird die Übersetzungsregel während eines stattfindenden Übersetzungsvorgangs mit Echtzeit-Feedback der räumlichen Konsequenzen festgelegt bzw. verändert oder verfeinert bis die gewünschten Qualitäten erreicht sind.
Das 3D-Computer Aided Design-Program (Maya Unlimited/AliasWavefront.com) liefert im vorliegenden Fall nach einer erfolgten Übersetzung die dem 2 Takte langen Schlagzeugrhythmus und seinen MIDI-Events entsprechenden 3D-Objekte bzw. deren Anordnung im virtuellen 3D-Raum, hier in Form einiger der zur Verfügung stehenden graphischen Benutzeroberflächen

– side view (rechtwinklige Ansicht von vorne)
– front view (rechtwinklige Ansicht von einer Seite)
– top view (rechtwinklige Ansicht von oben)
– perspective view (navigierbare perspektivische Ansicht)

Claims

Verfahren zur Umsetzung oder Aufzeichnung von Musik, wobei man (a) eine Noten- oder Tonabfolge bereitstellt oder erzeugt, (b) in der Noten- oder Tonabfolge der musikalischen Events mindestens eine der folgenden Eigenschaften mindestens eines musikalischen Events messend erfasst: – Instrument – Noten- oder Toneinsatz – Noten- oder Tondauer – Noten- oder Tonhöhe – Tonhöhenverlauf – Klangfarbe – Modulation – Anschlagstärke – Lautstärke – Lautstärkenverlauf – Tempo – Tempowechsel – Effektsteuerung dadurch gekennzeichnet, dass man (c) die musikalischen Events zumindest teilweise in ein oder mehrere 3-dimensional-räumliche Objekte oder deren Verhalten in der Zeit umsetzt, (d) derart, dass das 3D-Objekt oder die 3D-Objekte in mindestens einer ihrer folgenden räumlichen und körperlichen Eigenschaften oder den Eigenschaften ihrer Bestandteile, nämlich – Position – Ausdehnung – Orientierung – Farbe – Oberflächentextur – Verhalten in der Zeit mit mindestens einer Eigenschaft des musikalischen Events zusammenhängen, (e) die Abfolge der 3D-Objekte oder deren Verhalten in der Zeit entsprechend der Noten- oder Tonabfolge, oder in neu definierter Reihenfolge (f) mit einer frei konfigurierbaren, in Echtzeit während des Übersetzungsvorgangs wandelbaren Übersetzungsregel aufzeichnet.
Verfahren gemäss Anspruch 1, dadurch gekennzeichnet, dass die Noten- oder Tonabfolge ein Musikstück, ein instrumentales Stück, ein Lied oder eine Komposition aus instrumentalen und Liedelementen oder Geräuschen darstellt.
Verfahren gemäss einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das 3D-Objekt eine Kugel, eine Ellipse, einen Zylinder, einen Würfel, einen Quader, einen Kegel oder einen Hohlkörper darstellt.
Verfahren gemäss einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das 3D-Objekt/die 3D-Objekte strukturiert, gefärbt oder mit einer Oberflächentextur versehen sind.
Verfahren gemäss Anspruch 4, dadurch gekennzeichnet, dass die Strukturierung durch Längen- und Breitengrade oder in Rasterform erfolgt.
Verfahren gemäss einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die visuelle Darstellung auf einem Bildschirm, einer anderen Projektionsfläche oder als Holographie erfolgt.
Verfahren gemäss Anspruch 6, dadurch gekennzeichnet, dass die visuelle Darstellung kontinuierlich in Echtzeit, räumlich nah oder räumlich getrennt erfolgt.
Verfahren gemäss Anspruch 6, dadurch gekennzeichnet, dass die visuelle Darstellung zeitverschoben oder unabhängig von der Tonabfolge erfolgt.
Verfahren gemäss einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die musikalischen Parameter über MIDI-Schnittstellen und Software erfasst werden.
Verfahren gemäss einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die musikalischen Events in 3D-Körper oder deren Verhalten in der Zeit im 3D-Raum mittels CAD-Software umgesetzt werden.
Verfahren gemäss einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren durch Verknüpfung von MIDI-Sequencing-Software mit CAD-Software vorgenommen wird.
Verfahren gemäss einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein CAD-Programm mit Hilfe einer Erweiterung MIDI-Datenströme entgegennimmt und gemäss einer Umsetzungsregel in räumlich-körperliche 3D-Objekte oder deren Verhalten in der Zeit umsetzt.
Verfahren gemäss einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bereits vorhandene 3D-Objekte durch die Parameter einer Noten- oder Tonabfolge im Raum bewegt bzw. in ihren Eigenschaften verändert werden.
Verfahren gemäss einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Noten- oder Tonabfolge nach ihrer Übersetzung als "räumliche Notation" dient, die alle für eine Reproduktion des Musikstücks benötigten Daten in Form von 3D-Objekten, deren Eigenschaften und Verhalten in der Zeit enthält und wiedergibt.
Verfahren gemäss einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass musikalische Noten- oder Tonabfolgen nach einer persönlich konfigurierten Übersetzungsregel in 3D-Objekte im Raum oder deren Verhalten in der Zeit übertragen wird.
Verfahren gemäss Anspruch 15, dadurch gekennzeichnet, dass die Übersetzungsregel intuitiv oder im Trial and Error-Verfahren eingestellt und feinjustiert wird, indem ein visuelles oder anderes Feedback der Auswirkungen der Übersetzungsregeländerungen auf die räumlichen Eigenschaften der 3D-Objekte im Raum in Echtzeit oder verzögert mitverfolgt wird.
Verfahren gemäss der Ansprüche 15 und 16, dadurch gekennzeichnet, dass die musikalischen Noten- oder Tonabfolgen oder die Übersetzungsregel zur Umsetzung in 3D-Objekte über das Internet oder ein anderes Netzwerk eingespeist wird.
Verfahren gemäss Anspruch 15 bis 17, dadurch gekennzeichnet, dass die Datenübertragung mit Hilfe einer Datenbank erfolgt.
Anwendung des Verfahrens gemäss einem oder mehreren der vorgenannten Ansprüche zur räumlich-körperlichen Komposition, zur Interpretation von Musikstücken oder deren Bestandteilen oder zur Schaffung von benutzerfreundlichen, benutzerdefinierten räumlichen Kompositionsumgebungen.
Anwendung des Verfahrens gemäss einem oder mehreren der vorgenannten Ansprüche zur körperlich-räumlichen Korrektur von Musikstücken oder deren Bestandteilen.
Anwendung des Verfahrens gemäss einem oder mehreren der vorgenannten Ansprüche zur Komposition und Korrektur während das betreffende Musikstück wiedergegeben wird.
Anwendung des Verfahrens gemäss einem oder mehreren der vorgenannten Ansprüche zur Schaffung dreidimensionaler Strukturen, die einer Noten- oder Tonabfolge rhythmisch entsprechen.
Anwendung des Verfahrens gemäss einem oder mehreren der vorgenannten Ansprüche zur visuellen Begleitung von Noten- oder Tonabfolgen.
Anwendung des Verfahrens gemäss einem oder mehreren der vorgenannten Ansprüche zur visuellen Begleitung von Tonabfolgen, wobei die Tonabfolge und die visuelle Präsentation gleichzeitig oder zeitverschoben erfolgen.
Anwendung des Verfahrens gemäss einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, dass die Tonabfolge und die visuelle Präsentation räumlich nah oder getrennt voneinander vorgenommen werden.
Anwendung des Verfahrens gemäss einem oder mehreren der vorgenannten Ansprüche zum Entwurf oder der Verwirklichung der Form von Architekturkörpern oder von gestalteten Objekten, die die Eigenschaften von Noten- oder Tonabfolgen oder Musikkompositionen aufnehmen oder umsetzen.
Anwendung des Verfahrens gemäss einem oder mehreren der vorgenannten Ansprüche, um musikalisches Wissen, Konzepte oder Strategien im Rahmen eines Musikunterrichts zu kommunizieren.
Anwendung des Verfahrens gemäss einem oder mehreren der vorgenannten Ansprüche, um durch eingespeiste Noten- oder Tonabfolgen kundenspezifisch musikverwandtes Bild- bzw. Filmmaterial zur visuellen Begeleitung der betreffenden Noten- oder Tonabfolgen zu erzeugen.
Anwendung des Verfahrens gemäss einem oder mehreren der vorgenannten Ansprüche, um 3D-Äquivalente von Noten- oder Tonabfolgen in Form einer räumlichen Skulptur zu schaffen.
Anlage zur Umsetzung oder Aufzeichnung von Tonabfolgen gemäss einem oder mehreren der Ansprüche 1 bis 29, umfassend (a) ein Element um ein Sound-Event innerhalb von Ton-bezogenen Daten aufgrund einer ersten Gruppe von Regeln zu identifizieren, (b) ein Element zur Bestimmung einer ersten Gruppe von Werten aufgrund einer zweiten Gruppe von Regeln, wobei die erste Gruppe von Werten einem oder mehreren charakteristischen Parametern des erwähnten Sound-Events zugeordnet wird, (c) ein Element zur Übersetzung der erwähnten ersten Gruppe von Werten in eine zweite Gruppe von Werten aufgrund einer dritten Gruppe von Regeln, wobei die zweite Gruppe von Werten einem oder mehreren charakteristischen Parametern eines dreidimensionalen Objekts zugeordnet wird.
Anlage gemäss Anspruch 30, die ausserdem eine Benutzeroberfläche zur sicht- oder fühlbaren Repräsentation des erwähnten 3D-Objekts für einen Benutzer enthält.
Anlage nach Anspruch 30, gekennzeichnet durch (a) ein Element zur Aufzeichnung von mindestens einem Parameter eines musikalischen Events innerhalb einer Noten- oder Tonabfolge, oder musikalischen Komposition, (b) ein Element zur Ubermittlung der aufgezeichneten Parameter an (c) ein Element zur Umsetzung der musikalischen Parameter in visualisierbare 3D-Objekte und (d) einen Speicher zur Erfassung der 3D-Körper im Raum.
Anlage gemäss einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, dass sie eine Benutzeroberfläche zur optischen Präsentation der 3D-Elemente enthält.
Anlage gemäss einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, dass sie eine rechnergesteuerte Werkzeugmaschine zur Erzeugung von 3D-Körpern oder Werkstücken beinhaltet, die den visualisierten Objekten entsprechen.
Anlage gemäss einem oder mehreren der vorgenannten Ansprüche, dadurch gekennzeichnet, dass sie ein Musikinstrument darstellt, das eine Klangerzeugungsapparatur, Elemente zur Entgegennahme oder Aufzeichnung der musikalischen Parameter, einen Rechner sowie eine Benutzeroberfläche zur visuellen Darstellung umfasst.
Musikinstrument gemäss Anspruch 35, dadurch gekennzeichnet, dass dieses ein Tasten-, Saiten-, Blasinstrument oder Schlagzeug darstellt.
Musikinstrument gemäss Anspruch 35 oder 36, dadurch gekennzeichnet, dass es ein stilles Instrument ist.
Musikinstrument gemäss Anspruch 35, 36 oder 37, dadurch gekennzeichnet, dass das Tasteninstrument den Bildschirm als integralen Teil der Instrumentenhülle oder hieran anschliessbar enthält.
Skulptur, erhältlich nach Anspruch 34, dadurch gekennzeichnet, dass sie einer Noten- oder Tonabfolge entspricht.
Skulpturanordnung, erhältlich nach Anspruch 34, dadurch gekennzeichnet, dass deren Einzelskulpturen den jeweiligen Noten- oder Tonabfolgen der Einzelinstrumente des gleichen Musikstücks entsprechen.