-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erfassung der Tastenbewegung eines Tasteninstruments und/oder der Fingerbewegung eines auf dem Tasteninstrument Musizierenden mit mindestens einem optischen Sensor mit den Merkmalen der Oberbegriffe der unabhängigen Patentansprüche.
-
Ein Tasteninstrument ist ein Musikinstrument, wobei ein Ton durch Niederdrücken einer oder mehrerer Tasten auf einer Klaviatur indirekt erzeugt wird. Durch Bewegung der Tasten wird ein Mechanismus in Gang gesetzt, die sogenannte Mechanik, welche dann die eigentliche Klangerzeugung bewirkt. Zu den Tasteninstrumenten gehören Klaviere, Flügel, Cembalo, Akkordeon, Keyboard und weitere. Bei den Tasteninstrumenten sind durch die Tastatur die spielbaren Töne in ihrer Tonhöhe festgelegt.
-
Wenn eine mittels eines optischen Sensors erfasste Taste gedrückt wird, so kann damit die Tonhöhe und aus der ebenfalls aufgezeichneten Zeit die relative zeitliche Position im Musikstück ermittelt werden. Ferner kann über die Dauer des Niederdrückens der Taste eine Aussage über die Tonlänge des gespielten Tons getroffen werden. Hierdurch ist es möglich, unterschiedliche Toninformationen allein durch eine computergestützte Bilderkennung zu gewinnen und diese in Form eines Computer lesbaren Dateiformats, beispielsweise als eine MIDI-Datei(MIDI - Musical Instrument Digital Interface), abzuspeichern. Mittels eines solchen Verfahrens ist eine visuelle automatisierte Transkription der von dem Musizierenden gespielten Musik möglich.
-
Im Stand der Technik sind bereits unterschiedliche Verfahren und Vorrichtungen beschrieben worden:
- Aus der CA 2885712 A1 ist ein Verfahren zur automatisierten visuellen Transkription eines Musikstücks bekannt. Eine Kamera liefert ein Bild des Musikinstruments, nämlich insbesondere der Tasten. Die eingesetzte Kamera kann beispielsweise eine Digitalkamera mit einer Auflösung von 320 x 240 Bildpunkten oder 640 x 360 Bildpunkten und einer Bildwiederholrate von 24 oder 30 Bildern pro Sekunde haben. Die Kamera ist oberhalb des Tasteninstruments an einer Halterung angeordnet. Um das Betätigen einer Taste erkennen zu können, wird ein Hintergrundbild aufgenommen, von dem das aktuelle Bild subtrahiert wird, um eine Änderung der Tastenstellung festzustellen.
-
Aus der
CN 000104157726 A ist ein Verfahren und eine Vorrichtung mit einer Infrarotkamera bekannt, die die Bewegung von Klaviertasten erkennt. Mittels einer Auswerteeinheit werden MIDI-Daten erzeugt und diese drahtlos übertragen.
-
Aus der
US 2011/006991 A1 ist ein Bildverarbeitungssystem bekannt, wobei mit dem Bildverarbeitungssystem mittels eines optischen Sensors, nämlich einer Kamera eine Handbewegung bzw. Fingerbewegung eines Bedieners einer Computertastatur aufgenommen wird. Ferner ist offenbart, mittels orthogonal zueinander stehender optischer Sensoren die Hand- bzw. Fingerbewegung aufzunehmen.
-
Aus der
US 07223913 B2 ist eine Vorrichtung zum Aufzeichnen der Bewegung eines Gitarristen bekannt. Dabei werden mehrere Referenzmarker an der Hand und in den Fingern des Gitarristen angebracht, wobei von einem Videosystem die zeitabhängige Position der Referenzmarker erfasst wird. Aufgrund der Bewegung der Referenzmarker wird eine Notenschrift, insbesondere eine Tabulatur erzeugt.
-
Ferner ist es aus dem gattungsbildenden Stand der Technik http://www.inf.fu-berlin.de/inst/ag-ki/rojas_home/documents/Betreute_Arbeiten/Bachelorarbeit-Feiten.pdf - „Erfassung von MIDI-Daten eines Klaviers mittels Kinect“, Bacherlorarbeit von Frederik Feiten Berlin, den 24. September 2012 - bekannt, mittels einer Tiefensensorkamera die Position der Finger eines Klavierspielers aufzuzeichnen und die auf einem Klavier gespielten Töne zu erfassen und als Midi-Signal wieder auszugeben. Eine Tiefensensorkamera ist oberhalb des Klaviers angebracht und auf die Tasten gerichtet. Anhand der Tiefendaten der Kamera kann der Höhenunterschied der Klaviertasten gemessen werden, um darüber ein Tastendruck zu erkennen. Der Bereich, der dafür beobachtet wird, befindet sich am oberen Ende der Klaviertasten. Es werden ungefähr 2 cm am oberen Ende jeder Tasten zur Erkennung freigegeben, wobei die Finger in der Regel diesen Tastenbereich beim Klavierspielen nicht nutzen und daher nicht verdecken. Die Tiefensensorkamera „Kinect“ ist u.a. von Microsoft entwickelt worden und weist eine Kombination aus einem Infrarot-Projektor und einer Infrarot-Kamera auf, mit deren Hilfe die räumliche Erfassung der Umgebung möglich ist. Hierfür wird mit dem Infrarot-Projektor ein festes Muster in den Raum geworfen und mit der Infrarot-Kamera gefilmt. Darüber, dass sich das Muster an Stellen verzerrt, in dem sich ein Objekt im Raum befindet, kann letztendlich über den Vergleich mit dem ursprünglichen Muster für jeden Pixel eine Entfernung berechnet werden. Die maximale Auflösung der Infrarotkamera entspricht einer Auflösung von 640 x 480 Pixeln. In dieser Arbeit wurde nun versucht, die Klaviertasten in den Daten der Kinect-Kamera zu finden, um dann den Zustand der Tasten erfassbar zu machen. Ob eine Taste gedrückt oder nicht gedrückt wurde, wird daran erkannt, dass in der Konfigurationsphase beide Zustände analysiert werden. Aktuelle Daten werden danach ständig mit Referenzwerten verglichen. Gleichen die Werte zu einem gewissen Grad denen der vorher analysierten gedrückten Tasten, wird ein MIDI-Signal für die jeweilige Taste erzeugt.
-
Der Erfindung liegt nun die Aufgabe zugrunde, das erfindungsgemäße Verfahren und die Vorrichtung zu verbessern.
-
Diese der Erfindung zugrunde liegende Aufgabe wird nun durch ein Verfahren und durch eine Vorrichtung mit den Merkmalen der unabhängigen Patentansprüche gelöst.
-
Die Vorrichtung dient zur Erfassung der Tastenbewegung des Tasteninstruments und/oder der Fingerbewegung eines auf dem Tasteninstrument Musizierenden und weist mindestens einen optischen Sensor auf. Vorzugsweise sind mehrere optische Sensoren vorhanden. Zumindest einer der optischen Sensoren ist als Lasersensor ausgebildet. Vorzugsweise weist die Vorrichtung mindestens einen, vorzugsweise mehrere Laser-Lichtschnittsensoren auf.
-
Der Lichtschnitt ist ein Verfahren der optischen 3-D-Messtechnik, das die Vermessung eines Höhenprofils entlang einer projizierten Lichtlinie ermöglicht. Es basiert auf dem Prinzip der Triangulation. Ein Lichtschnittsensor besteht aus einem Linienprojektor hier mit einem Laser als Lichtquelle - der eine möglichst schmale und helle Linie auf die Klaviatur projiziert sowie einer elektronischen Kamera, die die Projektion der Linie auf der Klaviatur beobachtet. Die Verschiebung der Linie im Kamerabild wird vorzugsweise mit den Methoden der Photogrammetrie in 3-D-Koordinaten umgerechnet. Die Verwendung eines Lasersensors hat den Vorteil, dass die Messgenauigkeit erhöht ist. Dies ermöglicht es, genauere Toninformationen zu gewinnen. Insbesondere lässt sich mit der Vorrichtung auch die Anspielgeschwindigkeit der Tasten bestimmen.
-
Die Vorrichtung weist mindestens einen Laser-Lichtschnittsensor, insbesondere zwei Laser-Lichtschnittsensoren auf. Durch die Verwendung des Laser-Lichtschnittsensors lässt sich die Genauigkeit der Erkennung der Tastenbewegung verbessern. Die beiden Laserlichtschnittsensoren erfassen die Klaviatur jeweils zur Hälfte und überprüfen den jeweiligen Zustand der einzelnen Klaviertasten entlang einer Linie. Die Abstastgeschwindigkeit kann dabei beispielsweise 200 Hz, ca. 200 Abtastungen pro Sekunde betragen. Pro Tastenbreite stehen ca. 20 Messpunkte zur Verfügung, welche über Mittelwertberechnungen zu ca. 10 Messungen zusammengefasst werden, um die Z-Achsengenauigkeit, d.h. die Position der gedrückten Taste zu erhöhen. Durch den Einsatz von zwei Lasersensoreinheiten und der Kombination von mehreren Messwerten werden Messgenauigkeiten von bis zu 0,05 mm erreicht. In der Kombination mit der hohen Abtastrate ergeben sich hieraus hochpräzise Abbildungen der unterschiedlichen Tastenzustände beim Klavierspielen, aus welchen dann die MIDI-Daten generiert werden können.
-
Das mit einer solchen Vorrichtung durchgeführte Verfahren zeichnet sich dadurch aus, dass mindestens ein Lasersensor verwendet wird, um zumindest einen Teil einer Klaviatur des Tasteninstruments zu erfassen, wobei die Anspielgeschwindigkeit der Tasten hochpräzise bestimmt wird.
-
Die Vorrichtung und das Verfahren haben mehrere Vorteile. Es werden in Echtzeit MIDI-Daten anhand der optischen Erkennung erfasst, ohne dass die Notwendigkeit einer Gerätemodifikation des Tasteninstruments besteht. Die optischen Sensoren können an Halterungen obehalb der Klaviatur angeordnet werden. Die Halterung kann einen Fuß und einen Ständer aufweisen, der auf dem Tasteninstrument oder neben dem Tasteninstrument steht.
-
Die Sensoren erfassen die Spielweise des Musikers in Echtzeit ganzheitlich. Zur ganzheitlichen Erfassung zählt die hochpräzise Abnahme von Tonhöhe und Notenlänge sowie die Anspielgeschwindigkeit der einzelnen Tasten. Die Anspielgeschwindigkeit besteht aus der allgemeinen Schnelligkeit, mit der die Tasten gedrückt werden als auch aus der Beschleunigung und dem Abbremsen der Tasten.
-
Ferner weist die Vorrichtung einen 3D-Scanner auf, der auch als Tiefensensor bezeichnet werden kann. Der 3D-Scanner ist vorzugsweise als „Structured-Light-Sensor“ ausgebildet. Dieser besteht aus mindestens einem Musterprojektor sowie aus einer Kamera. Der Musterprojektor beleuchtet das Messobjekt, hier die Tasten bzw. die Klaviatur und/oder die Hände des Musizierenden sequentiell mit Mustern beispielsweise in Form von Streifenmustern oder Punktmustern. Der Musterprojektor kann dabei im Infrarotbereich arbeiten und beispielsweise einen Laser der Klasse 1 aufweisen. Die Kamera registriert das projizierte Muster unter einem bekannten Blickwinkel zur Projektion. Für jedes Projektionsmuster wird mit der Kamera ein Bild aufgenommen. Für jeden Bildpunkt entsteht so eine zeitliche Folge von unterschiedlichen Helligkeitswerten. Zu einem gegebenen Objekt sind die Bildkoordinaten im Kamerabild bekannt. Der Structured-Light-Sensor besteht aus einem Infrarotpunktewolken-Generator oder -Projektor, welche auf die abzutastende Fläche ein für das Auge unsichtbares Punktmuster generiert. Dieses wird über die eingebauten Sensoren aufgenommen und anhand des Musters und der Verzerrung der Punktewolke können die Tiefeninformation aus der Szene extrahiert werden. Der 3D-Scanner liefert ein 3D-Modell der Klaviatur und der Hände des Musizierenden. Der 3D-Scanner liefert zusätzliche Informationen zu der Finger- und Tastenbewegung. Selbst, wenn die Hände des Musikers den durch den Laserlichtschnittsensor genutzten Bereich verdecken sollten, kann aus der Bewegung der Finger des Musikers weiterhin auf die gespielten Töne und die zugehörigen Tonlängen und Anspielgeschwindigkeit geschlossen werden. Die Software zur Auswertung der Sensordaten erfasst vorzugsweise Lichtschnitt-Bereiche der Klaviatur, die von den Händen des Musikers abgeschattet werden, und so nicht für die Bestimmung mittels des Lichtschnittverfahrens ausgewertet werden können. Hier können durch eine Analyse der Daten des 3D-Sensors die in den verdeckten Bereichen gespielten Töne ermittelt werden. Hierbei kann die Software insbesondere die Fingerbewegung analysieren und so fehlende Toninformationen gewinnen. Auch bei ungewöhnlichen Handstellungen können daher die Toninformationen gewonnen werden. Durch die Kombination des 3D-Scanners mit den Laserlichtschnitt-Sensoren ist die Vorrichtung daher vorteilhaft verbessert.
-
Eine zusätzliche RGB-Kamera liefert zudem ein konventionelles Videobild mit den weiteren Informationen. Mit diesen Daten können die Hände des Pianisten und der Klaviertasten in Echtzeit verfolgt und die 3D-Position aufgezeichnet werden. Ferner ermöglicht es die Bewegung der Hände und Tasten auf ein 3D-Modell zu übertragen. Durch das 3D-Modell können Abtastfehlers des Lasersensors, welche durch Abschattung durch die Hände des Pianisten entstehen können, interpoliert werden. Zudem liefern die Abbildung der Handhaltung und das zusätzlich verfügbare Videobild der RGB-Kamera ebenfalls Informationen über die Spielweise des Pianisten.
-
Vorzugsweise wird ferner ein Time-off-Flight-(TOF-)Distanz-Sensor für die Messung von Fußpedalen verwendet. Eine Sensorleiste unterhalb der Fußpedaltaste tastet die Zustände der Fußpedale ab. Die Abtastung erfolgt hierbei ebenso berührungslos über drei Time-off-Flight-Distanzsensoren im Fall eines Klaviers mit drei Pedalen.
-
Die Kombination dieser Datenquellen erlaubt zusammen mit der Nachverfolgung der Anspielgeschwindigkeit eine höchstpräzise Aufzeichnung der Darbietung des Musizierenden sowie seines Spielstils. Um die Klaviatur aufzuzeichnen, werden zwei Laserlichtschnittsensoren und der 3D-Scanner verwendet. Die beiden präzisen Lasersensoren messen kontinuierlich die Zustände der einzelnen Klaviertasten. Der 3D-Scanner erfasst die Hände des Pianisten und kann die Fingerposition sowie eine 3D-Visualisierung für mögliche Virtuell-Reality-Implementierung registrieren.
-
Eine RGB-Kamera liefert ein Video der Darbietung des Musizierenden. Zuletzt messen drei Time-off-Flight-(TOF-)Distanzsensoren die Position der Fußpedale, welche in MIDI-Daten abgebildet werden können. Die Kombination all dieser Daten ermöglichen präzise Erzeugung von MIDI-Daten für Tasteninstrumente und eine fehlerfreie Funktion auch bei sehr hohen Spielgeschwindigkeiten.
-
Diese Vorrichtung und das Verfahren können im Bereich der Musikpädagogik und Forschung als auch für die Nutzung durch professionelle Musiker sowie in Konzerthallen eingesetzt werden. Zudem erfasst die Vorrichtung die Hände des Pianisten mittels einer 3D-Punktwolke und ein RGB-Kameramodul liefert Videobilder. Auf diese Weise wird nicht nur das Klavierstück an sich erfasst, sondern auch die individuelle Spielweise und Interpretation sowie die Handhaltung des Pianisten. Dies liefert wertvolle Informationen insbesondere für den Einsatz in einem musikpädagogischen Szenario.
-
Die Vorrichtung und das Verfahren können grundsätzlich für Standardklaviere mit 88 Tasten verwendet werden, jedoch durch eine einfache Anpassung des Abstandes der Sensoren kann es jedoch auch an andere Klavierinstrumente oder Tasteninstrumente angepasst werden, bspw. an Orgeln, Keyboards oder Flügel. Sämtliche Aufnahmen des Tasteninstruments und der Handhaltung des Pianisten werden berührungslos über optische Sensoren durchgeführt, wodurch keine Anpassung des Tasteninstruments notwendig ist.
-
Die aufgenommenen Daten können per Bluetooth oder kabelgebunden an eine Datenverarbeitungsanlage übertragen werden. Die Daten aller Sensoren werden in einer Steuereinheit zusammengeführt und synchronisiert. Als Ausgabe kann das System MIDI-Daten inklusive hochgenauer Tastengeschwindigkeiten, ein 3D-Modell der Hände des Pianisten und ein Videobild ausgeben. Es ist denkbar, dass statt MIDI-Informationen ein anderes Dateiformat mit Toninformationen zur Tonhöhe, Tonlänge, der zeitlichen Tonposition und der Anspielgeschwindigkeit verwendet wird.
-
Es gibt nun unterschiedliche Möglichkeiten, die Vorrichtung und das Verfahren auszugestalten und weiterzubilden. Hierfür darf zunächst auf die den unabhängigen Patentansprüchen nachgeordneten Patentansprüchen verwiesen werden. Im Folgenden wird eine bevorzugte Ausgestaltung der Erfindung anhand der Zeichnung und der dazugehörigen Beschreibung näher erläutert. In der Zeichnung zeigt:
- 1: in einer schematischen Frontansicht ein Tasteninstrument mit einer Vorrichtung zur Erfassung der Tastenbewegung und/oder der Fingerbewegung,
- 2: in einer Seitenansicht das Tasteninstrument und die Vorrichtung
- 3: in einer Draufsicht das Tasteninstrument und die Vorrichtung, und
- 4: in einer perspektivischen Ansicht das Tasteninstrument und die Vorrichtung.
-
In 1 ist ein Tasteninstrument 1 nämlich ein Klavier 2 mit einer Klaviatur 3 gut zu erkennen. Die Klaviatur 3 weist mehrere Tasten 4 auf. Beispielsweise kann die Klaviatur 88 Tasten aufweisen. Es ist jedoch ohne weiteres möglich, mit der Vorrichtung 6 mehr oder weniger Tasten 4 zu erfassen. Ferner weist das Klavier 2 mehrere Fußpedale 5 auf. Es sind hier beispielsweise drei Fußpedale 5 vorhanden.
-
Es ist nun eine Vorrichtung 6 zur optischen Aufnahme des Tasteninstrumentes 1 vorhanden. Die Vorrichtung 6 weist mehrere optische Sensoren A, B auf. Es ist zum einen ein 3D-Scanner A vorhanden, der nun als Tiefensensor bezeichnet wird. Der Tiefensensor A ist als Structured-Light-Sensor ausgebildet. Der Structured-Light-Sensor kann beispielsweise durch ein Modul gebildet sein, das von der Fa. Microsoft, das unter dem Namen Kinekt V1 vertrieben wird. Alternativ kann beispielsweise ein 3D-Scanner der Firma Orbecc verwendet werden, der unter der Bezeichnung „Astra S“ vertrieben wird. Es ist denkbar, andere 3D-Scanner zu verwenden. Dieser Tiefensensor A weist einen Infrarotpunkt-Generator auf, welcher auf die abzutastende Fläche ein für das Auge unsichtbares Punktemuster generiert. Dieses Punktemuster wird über Sensoren aufgenommen und anhand des Musters und der Verzerrung der Punktewolke können die Tiefeninformationen extrahiert werden. Das Modul mit dem Tiefensensor A kann ferner eine RGB-Kamera aufweisen. Diese RGB-Kamera liefert ein konventionelles Videobild und Farbinformationen. Mit diesen Daten können die Hände des Pianisten und die Klaviertasten 4 in Echtzeit verfolgt und die 3D-Positionen der Tasten 4 und Finger aufgezeichnet werden. Dies ermöglicht es, die Bewegung der Hände und der Tasten 4 auf ein 3D-Modell zu übertragen.
-
Ferner sind zwei Lasersensoren B vorhanden. Diese Lasersensoren B sind als Laser-Lichtschnittsensoren ausgebildet. Mit C ist der Aufnahmewinkel bezeichnet, die die Lasersensoren B überwachen. Die beiden Lasersensoren B tasten die Klaviatur 3 jeweils zur Hälfte ab und überprüfen die jeweilige Stellung der einzelnen Klaviertasten 4 und entlang einer Linie. Das Klavier 2 hat hier 88 Tasten, wobei jeweils eine Hälfte von dem einen Sensor B und die andere Hälfte vom anderen Sensor B erfasst werden. Die Abtastgeschwindigkeit beträgt dabei 200 MHz. Pro Tastenbreite werden hierbei insbesondere mehrere Messpunkte aufgenommen, beispielsweise ca. n>15 Messpunkte. Diese Messpunkte können über Mittelwertberechnung zu m<15 Messpunkten zusammengefasst werden. Beispielsweise können 20 Messpunkte über Mittelwertbildung zu 10 Messpunkten zusammengefasst werden, um die z-Achsengenauigkeit und die Stellungserfassung der Tasten 4 zu erhöhen. Durch den Einsatz von zwei Lasersensoren B und der Kombination von mehreren Messwerten, werden Messgenauigkeiten von bis zu 0,05 mm erreicht. In Kombination mit der hohen Abtastrate ergeben sich hieraus hochpräzise Abbildungen der unterschiedlichen Tastenzustände beim Klavierspielen, aus welchem dann MIDI-Daten generiert werden können. Diese MIDI-Daten werden mittels einer Auswerteeinheit mit einem Speicher, mit einem Prozessor und mit einer Software automatisch generiert.
-
Ferner ist eine Sensorleiste D unterhalb der Fußpedale 5 angeordnet. Die Sensorleiste weist mehrere Time-off-Flight-(TOF-)Distanzsensoren auf und misst so berührungslos die Stellung der Fußpedale 5.
-
Die Daten aller Sensoren werden mit der Steuereinheit zusammengeführt und synchronisiert. Das System kann MIDI-Daten, inclusive der hochgenauen Anspielgeschwindigkeit, ein 3D-Modell der Hände des Pianisten und ein Videobild ausgeben.
-
Bezugszeichenliste
-
- 1
- Tasteninstrument
- 2
- Klavier
- 3
- Klaviatur
- 4
- Tasten
- 5
- Fußpedale
- 6
- Vorrichtung
- A
- 3D-Scanner/Tiefensensor
- B
- Lasersensor
- C
- Aufnahmewinkel
- D
- Sensorleiste
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- CA 2885712 A1 [0004]
- CN 000104157726 A [0005]
- US 2011006991 A1 [0006]
- US 07223913 B2 [0007]
