DE102005017758B3 - Anordnung zur digitalen Erfassung der Tastenanschläge einer Klaviertastatur in Echtzeit anhand reflektiver optischer Näherungssensoren und eines neuronalen Netzwerkes - Google Patents

Abstract

Die digitale Erfassung aller zum Klavierspiel gehörenden Parameter ist in vielerlei Hinsicht wünschenswert, bisherige Systeme liefern aufgrund ihres Messprinzips nur unzufriedenstellende Daten. Das vorgestellte Verfahren verwendet ein neuartiges Messverfahren. DOLLAR A Die Erfassung der Tastaturanschläge erfolgt mithilfe reflektiver optischer Näherungssensoren, jeweils einer über jeder Klaviertaste. Eine Elektronik misst damit zyklisch die Position jeder einzelnen Taste, woraus ein neuronales Netzwerk Zeitpunkt und Stärke des Anschlages ermittelt. Vorteil dieses Verfahrens gegenüber bestehenden Systemen, welche den Abstand in wenigen diskreten Stufen erfassen, ist die bessere Dynamikauflösung und eine erhöhte zeitliche Präzision. DOLLAR A Das vorgestellte Verfahren eignet sich zum Einbau in Klaviere und Flügel, um hiermit digitale Tonerzeuger zu steuern. In Verbindung mit einer mechanischen Stummschaltung erlaubt dies ferner, über Kopfhörer zu üben, welches die Lärmbelästigung reduziert und ein Üben zur Nachtzeit ermöglicht.

Description

• Die Erfindung betrifft eine Anordnung reflektiver optischer Näherungssensoren an den Tasten einer Klaviertastatur. Es gibt bereits mehrere Anordnungen auf dem Markt, mit deren Hilfe die Tastaturanschläge eines Klaviers oder eines Flügels zur Verwendung in elektronischen Tonerzeugern gemessen werden, diese haben jedoch alle den Nachteil, die Anschlagstärke über die zeitliche Differenz zweier oder mehrerer diskreter Schwellwerte, welche die Taste durchlaufen müssen, zu messen. Dies führt in vielen Fällen zu unbrauchbaren Ergebnissen, versierte Pianisten beklagen, daß hierdurch Anschläge, bei denen der Hammer nur über einen sehr kurzen, starken Tastenanschlag beschleunigt wird, überhaupt nicht erfasst werden. Die Auslenkung der Taste ist in diesen Fällen so gering, daß nicht alle zur Erfassung erforderlichen diskreten Schwellwerte durchlaufen werden. Weitere Probleme sind schnelle Repetitionen, bei denen ein erneuter Anschlag erfolgt, ohne daß die Taste zwischendurch ihre Ausgangsposition eingenommen hat, sowie pianissimo Spiel, bei dem der versierte Pianist die Taste aus einer bereits halb gedrückten Position heraus anschlägt, auch hier versagen alle erhältlichen Systeme aufgrund der Auswertung mittels diskreter Schwellwerte. Aus der US 4468999 ist eine Anordnung reflektiver optischer Näherungssensoren an Klaviertasten bekannt, die die Tasten kontinuierlich messen.
• Die Aufgabe der Erfindung besteht darin, eine verbesserte Tastenmessung auszugeben.
• Diese Aufgabe wird durch die Merkmale des Patentanspruchs 1. gelöst.
• Vorteilhafte Weiterbildungen sind in den Unteransprüchen angegeben.
• In 1 ist die elektrische und physikalische Anordnung eines reflektiven optischen Sensors s über der Taste t an der Unterkante der Tastaturzierleiste z dargestellt. Die Messung erfolgt in zwei Schritten, erst wird der Kondensator c über die Messleitung m aufgeladen, anschliessend wird die LED l eingeschaltet und zeitgleich die Messleitung m als Eingang geschaltet. Ein Zeitgeber ermittelt, wie lange es dauert, bis der Kondensator c über den Fototransistor f bis zu einer definierten Schwellspannung entladen ist. Die gemessene Zeit ist dabei umgekehrt proportional zu dem Abstand des Sensors s zur Taste t. Dieses Messverfahren misst die Position der Tasten wertkontinuierlich und kennt somit keine Schwellwerte.
• 2 zeigt eine alternative Anordnung der Sensoren unterhalb der Tasten, die elektrische Ausführung ist identisch mit der Ausgestaltung unter der Tastaturzierleiste.
• Die Messdaten gelangen anschliessend an die Eingabeschicht eines neuronales Netzwerkes, welches vorher anhand gemessener Anschlagsdaten und zugehörigem Zeitpunkt und Lautheit des Klavierklanges mittels Backpropagation trainiert wurde. Die Ausgabeschicht des neuronalen Netzwerkes liefert das Ergebnis, wann und wie laut der der Taste zugehörige Ton erklingt.
• 3 zeigt das Schema des vortrainierten neuronalen Netzwerkes, der neue Messwert i gelangt direkt und über Verzögerungsglieder v und Abtastsraten halbierende Glieder D an die Neuronen der spatiotemporalen Eingabeschicht a mit den Neuronen n0 bis n14, über eine versteckte Schicht b werden die Daten anhand der erlernten Gewichtungen g zur Ausgabeschicht c verarbeitet. Zum Zeitpunkt eines erkannten Anschlages feuert das Ausgabeneuron K, anhand der Zustände der Ausgabeneuronen PV1, PV2 und PV3 wird aus einem der Messwertdifferenzen V1, V2 oder V3, die Dynamik des Anschlages ermittelt. Dies zusammen mit der Information über die der Taste zugehörigen Tonhöhe wird entsprechend der MIDI Spezifikation als Note On Befehl gesendet bzw. einer internen Tonerzeugung mitgeteilt. Zeitpunkt und Dynamik der Dämpfung jedes Tones wird konventionell über diskrete Schwellwerte ermittelt.
• Die entsprechende Anordnung aus Sensor und neuronalem Netzwerk besteht für jede einzelne Taste des Klaviers bzw. des Flügels.
• Die erreichten Vorteile dieses Systems ist die viel präzisere dynamische und zeitliche Erfassung des Klavierspiels ohne die Fehler der bisher erhältlichen Systeme. Zusätzlich ist es durch die kontinuierlich messenden Sensoren möglich, Informationen über den auf gehaltene Tasten ausgeübten Druck zu ermitteln und entsprechend der MIDI Spezifikation, wie in Patentanspruch 2. und 3. ausgeführt, als polyfonen oder monofonen Aftertouch elektronischen Klangerzeugern nutzbar zu machen.
• Ein weiterer Vorteil ist die unkomplizierte technische Ausführung, welche einen nachträglichen Einbau in ein bestehende Klavier bzw. Flügel vor Ort ermöglichen, was mit handelsüblichen Systemen bisher nicht möglich ist.
• 4 zeigt eine elektrische Ausgestaltung der Erfindung. Der Mikroprozessor U verfügt über acht Zeitgeber (Timer) an acht Messleitungen m0 bis m7, welche jeweils an elf Kollektorleitungen c der Fototransistoren f der reflektiven optischen Näherungssensoren s angschlossen sind. Die Infrarotleuchtdioden der Sensoren sind mit dem jeweiligen Emitter der Sensoren s so in elf Zeilen angeschlossen, daß jeder der acht Messleitungen m0 – m7 eine Spalte zugeordnet ist. Die Anschlüsse der elf Zeilen z0 – z10 sind an Ausgänge des Mikroprozessor U angeschlossen. Hiermit ergibt sich eine Anordnung in einer Matrix, zur Messung lädt der Mikroprozessor die Kondensatoren c0 – c7 über die Messleitungen m0 – m7 auf, wählt eine Zeile nach der anderen durch anlegen einer negativen Spannung an, und schaltet dann seine Messleitungen m als Eingang und startet seine acht Timer. Diese werden durch eine Spannung von 0.8 V angehalten, alle acht gemessenen Zeiten können nach ca. 60 Mikrosekunden vom Mikroprozessor U ausgelesen und an das neuronale Netzwerk weitergeleitet werden, welches der Mikrokontroller berechnet. Anschliessend folgt die Messung der nächsten Zeile, nach Messung der letzen Spalte wird wieder bei der ersten Spalte begonnen. Dieser Zyklus wiederholt sich fortwährend. Das bereits trainierte neuronale Netzwerk ermittelt anhand der eingehenden Messdaten laufend, welche Taste mit welcher Anschlagstärke gedrückt bzw. wieder losgelassen wurde und schickt diese Information gemäss der MIDI Spezifikation über eine MIDI Buchse 6 als Note On/Note off Meldungen. Dieselben Meldungen werden parallel dazu über USB u gemäss der USB Audio Spezifikation als MIDI gesendet. Gleichzeitig wird auch eine interne Tonerzeugung T anhand dieser Informationen angesteuert.
• Die Anschlüsse p1, p2 und p3 für herkömmliche resisitve Sensoren zur Erfassung führen zu mit den Pedalen gekoppelten Potentiometern, der Mikrokontroller erfasst hiermit kontinuierlich die Pedalbewegungen maximal dreier Pedale über einen Analog/Digital Wandler und sendet auch diese Daten an MIDI, USB und die interne Tonerzeugung. Das Audiosignal der internen Tonerzeugung T steht an dem Audioausgang a zur Verfügung.

Claims (3)

1. Anordnung reflektiver optischer Näherungssensoren, bestehend aus einer Infrarotleuchtdiode und einem Fototransistor, über oder unterhalb jeder Taste einer Klaviertastatur, wobei die Positionen der einzelnen Tasten anhand der Zeit gemessen werden, welche ein geladener Kondensator benötigt, um sich über den jeweiligen Fototransistor zu entladen, in Kombination mit einem neuronalen Netzwerk zur Auswertung der Messdaten zur Erzeugung von digitalen Steuerdaten für elektronische Tonerzeuger oder zur digitalen Aufzeichnung.
2. Anordnung nach Patentanspruch 1, wobei die Sensoren zusätzlich die Positionen der gehaltenen Tasten kontinuierlich messen und hieraus polyfonen Aftertouch gemäss der MIDI Spezifikation ermitteln.
3. Anordnung nach Patentanspruch 2, wobei der Wert als monofoner Aftertouch gemäss der MIDI Spezifikation gesendet wird, welcher dem maximalen Wert des gemessenen polyfonen Aftertouch entspricht.