DE68911858T2 - Verfahren und Vorrichtung zum automatischen Transkribieren. - Google Patents
Verfahren und Vorrichtung zum automatischen Transkribieren.Info
- Publication number
- DE68911858T2 DE68911858T2 DE68911858T DE68911858T DE68911858T2 DE 68911858 T2 DE68911858 T2 DE 68911858T2 DE 68911858 T DE68911858 T DE 68911858T DE 68911858 T DE68911858 T DE 68911858T DE 68911858 T2 DE68911858 T2 DE 68911858T2
- Authority
- DE
- Germany
- Prior art keywords
- acoustic signals
- information
- pitch
- cpu
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 111
- 238000013518 transcription Methods 0.000 title claims description 33
- 230000035897 transcription Effects 0.000 title claims description 33
- 230000008569 process Effects 0.000 claims description 63
- 230000011218 segmentation Effects 0.000 claims description 58
- 230000033764 rhythmic process Effects 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 16
- 230000005236 sound signal Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 101100365087 Arabidopsis thaliana SCRA gene Proteins 0.000 claims 3
- 101100333868 Homo sapiens EVA1A gene Proteins 0.000 claims 3
- 102100031798 Protein eva-1 homolog A Human genes 0.000 claims 3
- 101100310674 Tenebrio molitor SP23 gene Proteins 0.000 claims 3
- 230000006978 adaptation Effects 0.000 claims 1
- 239000011295 pitch Substances 0.000 description 71
- 230000000630 rising effect Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 239000000284 extract Substances 0.000 description 7
- 239000003550 marker Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000016776 visual perception Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000032989 Ipomoea lacunosa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 125000004122 cyclic group Chemical class 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G1/00—Means for the representation of music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/40—Rhythm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/071—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/081—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/086—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for transcription of raw audio or music data to a displayed or printed staff representation or to displayable MIDI-like note-oriented data, e.g. in pianoroll format
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Auxiliary Devices For Music (AREA)
Description
- Die vorliegende Erfindung betrifft im allgemeinen ein Verfahren und ein System zur automatischen Musiktranskribierung. Die Erfindung fällt in das Gebiet der automatischen Musiktranskribierung und bezieht sich auf eine Anordnung (Verfahren und Vorrichtung) zum Erstellen von Notendaten für die Partitur aus akustischen Signalen. Diese akustischen Signale können Stimmtöne, Summstimmen und die Klänge von Musikinstrumenten umfassen.
- Ein System zur automatischen Musiktranskribierung transformiert akustische Signale wie jene in Stimmen, gesummten Stimmen und Klängen von Musikinstrumenten in Notendaten. Für ein System dieser Art ist es erforderlich, daß es aus den akustischen Signalen grundlegende Informationselemente, wie beispielsweise Tonlängen, Musikintervalle, Tonarten, Taktarten und Tempi erfassen kann.
- Akustische Signale umfassen Wiederholungen elementarer Wellenformen in ununterbrochener Folge. Es ist nicht möglich, die grundlegenden Informationselemente, welche für die Erstellung der Notendaten erforderlich sind, direkt aus den akustischen Signalen zu erhalten. Mehrere unterschiedliche Ansätze für den Empfang und das Anzeigen musikalischer Information wurden bereits vorgeschlagen. Die europäische Patentanmeldung mit der Nummer 0 113 257 offenbart eine Musiknoten-Sichtanzeigevorrichtung, in der musikalische Signale A/D-konvertiert (Analog-Digital- konvertiert) und als schnelle Fourier-Transformierte verarbeitet werden, um die Information über das Tonhöhen- und Tonstärkenspektrum zu bestimmen. Diese Information wird daraufhin für die Anzeige mit einer Notenlinie in Übereinstimmung gebracht.
- Die Europäische Patentanmeldung mit der Nummer 0 142 935 offenbart ein Notationssystem, das Tonabstände in Stimmen erkennt, wobei die musikalische Tonhöhe aus einem akustischen Signal extrahiert und als Dateninformation in einem Speicher gespeichert wird. Tondaten, welche somit gespeichert sind, können für den Betrieb eines Tonerzeugers verwendet werden, um einen Ton von entsprechender Tonhöhe zu erzeugen.
- Gemäß eines herkömmlichen Verfahrens zur automatischen Musiktranskribierung werden die individuellen Informationselemente durch die folgende Abfolge von Schritten erhalten:
- a) Es wird die Information bezüglich der Wiederholungen elementarer Wellenformen erhalten, welche die Tonhöhenebenen der akustischen Signale (nachstehend als "die Tonhöheninformation" bezeichnet) darstellen, sowie die Information über die Tonstärke dieser Signale für jeden der analysierten Zyklen,
- b) danach werden die akustischen Signale in jene Abschnitte (d.h. Segmente) unterteilt, bei denen davon ausgegangen werden kann, daß sie auf der Basis der so extrahierten Tonhöheninformation und/oder Tonstärkeninformation in bezug auf das Musikintervall ein und dieselbe Ebene bilden (wobei dieser Prozeß "Segmentierung" genannt wird), und
- c) anschließend wird das Musikintervall jedes Segments in bezug auf die Achse des absoluten Musikintervalls auf der Basis der Tonhöheninformation über das jeweilige Segment bestimmt, wobei die Tonart des akustischen Signals auf der Basis der derart bestimmten Information über das Musikintervall bestimmt wird, und
- d) daraufhin werden Taktart und Tempo des akustischen Signals auf der Basis des Segments bestimmt.
- Da mit der Anordnung des bekannten Verfahrens zur automatischen Musiktranskribierung auch Taktart und Tempo bestimmt werden, wird dem Bediener ermöglicht, ein Lied seiner Wahl zu singen oder zu spielen, während er Taktart und Tempo selbst hält. Für einen Bediener, der es nicht gewohnt ist, auf einem Instrument zu spielen oder zu singen, ist dies jedoch eine schwierige Aufgabe. Darüber hinaus gibt es Bediener, die es vorziehen, auf einem Instrument zu spielen oder ein Lied zu singen und dabei das Tempo mit einem Taktmesser oder dergleichen zu messen.
- Ferner sind in den akustischen Signalen, welche von einem Bediener aus einer musikalischen Darbietung oder einem gesungenen Lied unter eigener Messung des Tempos oder eigenem Taktschlag eingegeben werden, jedoch insbesondere in jenen akustischen Signalen, die in Liedern vorkommen, Schwankungen hinsichtlich der Tonhöhe und Tonstärke enthalten, weshalb es sich als schwierig herausgestellt hat, eine Segmentierung durchzuführen, auch wenn die Tonstärkeninformation und die Tonhöheninformation verwendet wurden. Für die Programmübersetzung von Notendaten stellt die Segmentierung ein wichtiges Element dar, wobei ein niedrigerer Genauigkeitsgrad hinsichtlich der Segmentierung einen sehr niedrigen Genauigkeitsgrad bei den letztendlich zu erhaltenden Notendaten zur Folge hat. Es ist demnach wünschenswert, daß die Genauigkeit der Segmentierung verbessert wird. Diese Aufgabe wird durch das im unabhängigen Anspruch l angeführte Verfahren und das im unabhängigen Anspruch 7 angeführte System gelöst. Zusätzliche vorteilhafte Merkmale der vorliegenden Erfindung gehen aus den abhängigen Ansprüchen hervor.
- Die vorliegende Erfindung stellt eine Anordnung (Vorrichtung und Verfahren) zur automatischen Musiktranskribierung bereit, welche einfacher in der Bedienung ist als bereits bekanntgemachte Systeme. Ferner stellt das System gemäß der vorliegenden Erfindung eine genauere Segmentierung bereit, als dies mit bereits bekanntgemachten Systemen der Fall ist.
- In Übereinstimmung mit einem ersten Aspekt der Erfindung ist eine Anordnung vorgesehen, mit der akustische Signale eingefangen und im Speicher gespeichert werden, wobei die Information über die Eingabe von Hilfsrhythmen, die mindestens eine Information über das Tempo umfaßt, durch ein Audio-Wahrnehmungsverfahren oder ein visuelles Wahrnehmungsverfahren, berichtet wird, wobei das System in ein System zur automatischen Musiktranskribierung eingeschlossen ist, welches diese akustischen Signale mittels einer Reihe von Verfahren in Notendaten konvertiert, wobei diese Verfahren umfassen: Zumindest das Verfahren zum Einfangen dieser akustischen Signale und ihrer Speicherung in einem Speicher mittels einer Eingabevorrichtung für akustische Signale, und die daran anschließende Extrahierung der Tonhöheninformation, welche die sich wiederholenden Zyklen ihrer Wellenformen und ihrer Tonhöhe wiedergibt, sowie der Tonstärkeninformation dieser akustischen Signale aus den im Speicher gespeicherten akustischen Signalen, ferner das Verfahren zur Segmentierung, welches das Teilen der akustischen Signale in Abschnitte umfaßt, von denen jeder als ein eine einzelne musikalische Intervallsebene darstellender Abschnitt betrachtet werden kann, wobei diese Segmentierung auf der Basis der Tonhöhen- und/oder Tonstärkeninformation erfolgt, sowie das Verfahren zur Identifizierung des Musikintervalles, welches jedes der durch diese Teilung erhaltenen Segmente mit einer Ebene auf der Achse des absoluten Musikintervalles auf der Basis der Tonhöheninformation identifiziert.
- Das System wurde entworfen, um dem Bediener die eingegebene Hilfsinformation durch ein akustisches Wahrnehmungsverfahren und/oder ein visuelles Wahrnehmungsverfahren verfügbar zu machen, so daß er akustische Signale auf einfache Weise generieren kann, wenn er akustische Signale einfängt und diese Signale in das System einbringt, um sie zur Durchführung des Musiktranskribierungsprozesses im Speicher zu speichern.
- In Übereinstimmung mit einem zweiten Aspekt der vorliegenden Erfindung ist ein System zur automatischen Musiktranskribierung vorgesehen, welches dem obengenannten ersten Aspekt etwas ähnlich ist, wobei jedoch das System auch die eingegebene Hilfsrhythmusinformation im Speicher auf der gleichen Zeitachse zu dem Zeitpunkt speichert, an dem es die akustischen Signale empfängt und im Speicher speichert, und wobei das Verfahren zur Segmentierung unterteilt ist in ein erstes Verfahren zur Teilung der akustischen Signale auf der Basis der im Speicher gespeicherten Hilfsrhythmusinformation in jene Abschnitte, von denen jeder als ein dieselbe Musikintervallsebene bildender Abschnitt betrachtet werden kann, ferner in ein zweites Verfahren zur Teilung der akustischen Signale auf der Basis der Tonhöheninformation und/oder der Tonstärkeninformation in jene Segmente, von denen jedes als ein dieselbe Musikintervallsebene bildendes Segment betrachtet werden kann, und in ein drittes Verfahren zur Durchführung von Anpassungen an jene Abschnitte, die durch das erste Verfahren und das zweite Verfahren unterteilt wurden.
- Das System ist so angeordnet, daß es die eingegebene Hilfsrhythmusinformation benutzt, so daß die Genauigkeit des Segmentierungsverfahrens verbessert werden kann. Mit anderen Worten, das System speichert in seinem Speicher gleichzeitig mit dem Empfang und der Speicherung im Speicher der akustischen Signale auch die eingegebene Hilfsrhythmusinformation. Daraufhin führt das System auf der Basis dieser eingegebenen Hilfsrhythmusinformation das Segmentierungsverfahren durch, wobei die Segmentierung auch auf der Basis der Tonhöheninformation und der Tonstärkeninformation erfolgt, und nimmt daran anschließend Anpassungen an die Ergebnisse dieser Segmentierungsverfahren vor.
- In Übereinstimmung mit einem dritten Aspekt der vorliegenden Erfindung ist ein System vorgesehen, welches ein Mittel enthält, das den eingegebenen Hilfsrhythmus angibt, wobei die eingegebene Hilfsrhythmusinformation, welche zumindest die Tempoinformation umfaßt, durch ein Audio-Wahrnehmungsverfahren und/oder ein visuelles Wahrnehmungsverfahren zu dem Zeitpunkt angegeben wird, an dem die akustischen Signale eingefangen und im Speicher gespeichert werden, wobei das System in ein automatisches Musiktranskribierungssystem eingeschlossen ist, das akustische Signale in Notendaten konvertiert, wobei das System zumindest versehen ist mit dem Mittel zum Einfangen und zum Einbringen der akustischen Signale in das System, mit dem Mittel zum Speichern der so eingebrachten akustischen Signale im Speicher, dem Mittel zur Extraktion der Tonhöhe und Tonstärke, welches die Tonhöheninformation, die den sich wiederholenden Zyklus der Wellenformen der im Speicher gespeicherten akustischen Signale und die Ebene der Tonhöhe darstellt, und die Tonstärke aus den akustischen Signalen extrahiert, dem Segmentierungsmittel zur Teilung der akustischen Signale in jene Abschnitte, von denen jeder als ein dieselbe Musikintervallsebene darstellender Abschnitt betrachtet werden kann, wie sie auf der Basis der Tonhöheninformation und der Tonstärkeninformation bestimmt wird, und dem Musikintervall-Identifizierungsmittel, welches den Musikintervall der akustischen Signale in bezug auf die Achse des absoluten Musikintervalles mit Bezugnahme auf die so unterteilten Segmente bestimmt.
- Das System ist so entworfen, daß der Bericht über den eingegebenen Hilfsrhythmus durch das Mittel für den Bericht der eingegebenen Hilfsrhythmusinformation über ein Audio- Wahrnehmungsverfahren und/oder ein visuelles Wahrnehmungsverfahren zu dem Zeitpunkt erfolgt, an dem die akustischen Signale aufgenommen und im Speicher gespeichert werden. Infolge dieses Merkmales wird dem Bediener ermöglicht, die Eingabevorgänge auf der Basis der eingegebenen Hilfsrhythmusinformation durchzuführen und folglich in den Genuß einer vereinfachten Eingabe von Signalen zu gelangen.
- In Übereinstimmung mit einem vierten Aspekt der vorliegenden Erfindung ist ein System vorgesehen, welches ein Speichermittel umfaßt, das auch die eingegebene Hilfsinformation über die im Speicher eingegebene Hilfsrhythmusinformation auf der gleichen Zeitachse zu dem Zeitpunkt speichert, an dem das akustische Signal eingefangen und für die Speicherung im Speicher verarbeitet wird, und ist ferner ein Segmentierungsmittel vorgesehen, umfassend einen ersten Segmentierungsabschnitt für die Segmentierung der akustischen Signale in jene Abschnitte, von denen jeder als ein ein und dieselbe Musikintervallsebene bildender Abschnitt betrachtet werden kann, wie auf der Basis der im Speicher gespeicherten eingegebenen Hilfsrhythmusinformation bestimmt wird, einen zweiten Segmentierungsabschnitt für die Segmentierung der akustischen Signale in jene Abschnitte, von denen jeder als ein ein und dieselbe Musikintervallsebene bildender Abschnitt betrachtet werden kann, wie auf der Basis der Tonhöheninformation und der Tonstärkeninformation bestimmt wird, sowie einen dritten Segmentierungsabschnitt zur Durchführung von Anpassungen an die durch den ersten Segmentierungsabschnitt und den zweiten Segmentierungsabschnitt unterteilten Abschnitte.
- Das Speichermittel, welches die akustischen Signale in seinem Speicher speichert, hält auch die eingegebene Hilfsrhythmusinformation auf der gleichen Zeitachse gespeichert, wie sie von der eingegebenen Hilfsrhythmusinformation zu dem Zeitpunkt angegeben wird, da die akustischen Signale im Speicher gespeichert werden, wobei das System so entworfen ist, daß der erste Segmentierungsabschnitt seinen Segmentierungsprozeß auf der Basis dieser eingegebenen, berichtenden Rhythmusinformation leistet und der dritte Segmentierungsabschnitt Anpassungen an die Ergebnisse dieses Segmentierungsprozesses auf der Basis der Tonhöheninformation und der Tonstärkeninformation durchführt. Infolge dieses Merkmals kann die Genauigkeit der Segmentierung verbessert werden.
- Das(die) bevorzugte(n) Ausführungsbeispiel(e) der Erfindung wird (werden) mit Bezugnahme auf die beiliegenden Zeichnungen, wobei gleiche Bezugszeichen durchwegs gleiche oder entsprechende Teile bezeichnen, genauer beschrieben, wobei
- Figur 1 ein Ablaufplan des Eingabeverfahrens für die durch ein Ausführungsbeispiel der vorliegenden Erfindung zu verarbeitenden akustischen Signale ist;
- Figur 2 ein Blockdiagramm eines Systems zur automatischen Musiktranskribierung, welches die vorliegende Erfindung in sich schließt, ist;
- Figur 3 ein Ablaufplan des automatischen Musiktranskribierungsverfahrens ist;
- Figur 4 ein Ablaufplan des Segmentierungsverfahrens auf der Basis der Taktinformation und der Tonstärkeninformation, welche durch das System erzeugt werden, ist;
- Figur 5 ein Ablaufplan ist, welcher das Segmentierungsverfahren auf der Basis der Taktinformation und der Tonstärkeinformation im Detail darstellt;
- Figur 6 ein charakteristisches Kurvendiagramm ist, welches ein Beispiel der Segmentierung darstellt; und
- Figur 7 ein Blockdiagramm anderer Ausführungsbeispiele des Systems zur automatischen Musiktranskribierung ist.
- Das (die) bevorzugte(n) Ausführungsbeispiel(e) der Erfindung wird (werden) mit Bezugnahme auf die Zeichnungen genau beschrieben, wobei gleiche Bezugszeichen durchwegs gleiche oder entsprechende Teile bezeichnen.
- Figur 2 ist ein Blockdiagramm eines automatischen Musiktranskribierungssystems, welches die vorliegende Erfindung in sich schließt. Eine Zentraleinheit (nachstehend CPU) 1 leistet die Gesamtsteuerung des gesamten Systems. Die CPU 1 führt ein Eingabeprogramm für akustische Signale, welches im Ablaufplan von Figur 1 dargestellt ist, sowie ein Musiktranskribierungs-Verarbeitungsprogramm aus, das im Ablaufplan von Figur 3 dargestellt ist. Die Programme für die Eingabe der akustischen Signale und für die Verarbeitung der Musiktranskribierung sind in einem Hauptspeicher 3 gespeichert, der über einen Bus 2 mit der CPU 1 verbunden ist. Ebenfalls an den Bus 2 angeschlossen sind eine Tastatur 4, die als Eingabevorrichtung dient, eine Anzeigeeinheit (nachstehend Display) 5, die als Ausgabevorrichtung dient, ein Hilfsspeicher 6, welcher als Arbeitsspeicher zum Einsatz gelangt, und ein Analog- Digital-Umsetzer (nachstehend A/D-Umsetzer) 7. Eine Eingabevorrichtung für akustische Signale 8, welche ein Mikrophon usw. umfassen kann, sieht eine Eingabe zum A/D- Umsetzer 7 vor. Die Eingabevorrichtung für akustische Signale 8 fängt die akustischen Signale in gesungenen Liedern oder Summstimmen oder Tonsignalen, welche durch Musikinstrumente erzeugt werden, ein und transformiert die Signale daraufhin in elektrische Signale, woraufhin sie die elektrischen Signale an den A/D-Umsetzer 7 ausgibt.
- An den Bus 2 ist ferner eine Lautsprecher-Ansteuerungsvorrichtung 9 angeschlossen, um einen Lautsprecher 10 anzusteuern. Der Lautsprecher 10 erzeugt, falls erforderlich, eingegebene Hilfsrhythmus-Streutöne, welche Takt und Tempo darstellen, die festgelegt sind und von der CPU 1 gesteuert werden.
- Die CPU 1 funktioniert in Übereinstimmung mit dem Eingabeprogramm für akustische Signale, welches in Figur 1 in Form eines Ablaufplanes dargestellt ist und mit dem akustische Signale in das System eingegeben werden. Diese Signale werden im Hauptspeicher 3 gespeichert. Wenn ein Befehl zur Eingabe der akustischen Signale gemeinsam mit einem Befehl zum Betrieb mit dem genau festgelegten Takt und Tempo erfolgt, was auf der Tastatur 4 eingegeben wird, werden die eingegebenen akustischen Signale in einer geordneten Abfolge im Hilfsspeicher 6 gespeichert. Das System speichert auch eingegebene Hilfsrhythmusinformation vorübergehend im Hilfsspeicher 6.
- Nach Beendigung der Eingabe der akustischen Signale in das System führt die CPU 1 das Musiktranskribierungs- Verarbeitungsprogramm (als Ablaufplan in Figur 3 dargestellt) aus, welches im Hauptspeicher 3 gespeichert ist, wobei die eingegebenen akustischen Signale in Notendaten konvertiert werden und diese Daten, wie erforderlich, an das Display 5 ausgegeben werden.
- Figur 1 ist ein Ablaufplan des Verfahrens zur Eingabe der akustischen Signale. Wenn die CPU 1 über die Tastatur 4 einen Befehl erhält, in ihrem Eingabemodus im Betrieb zu sein, beginnt die CPU 1 das Programm auszuführen, welches in Figur 1 als Ablaufplan dargestellt ist. Zuerst zeigt sie auf dem Display 5 einen Bedienerhinweis für die Eingabe der Taktinformation an. Sie empfängt daraufhin vom Bediener über die Tastatur 4 die Taktinformation als Antwort auf den Bedienerhinweis. Das Display 5 zeigt daraufhin einen Bedienerhinweis an, die Tempoinformation einzugeben. Die Tempoinformation wird vom Bediener als Antwort auf diesen Bedienerhinweis eingegeben (Schritte SP 1 und SP 2). Daran anschließend führt die CPU 1 Rechenvorgänge durch, um auf der Basis der Taktinformation und der Tempoinformation Zyklus und Intensität der eingegebenen Hilfsrhythmusinformation zu bestimmen. Die CPU 1 ist daraufhin in Bereitstellung für die Eingabe eines Startbefehls von der Tastatur 4 (Schritte SP 3 und SP 4).
- Sobald vom Bediener ein Startbefehl gegeben wird, bewirkt die CPU 1, daß vom Lautsprecher 10 ein eingegebener Hilfsrhythmuston erzeugt wird. Daran anschließend bestimmt sie, ob der eingegebene Hilfsrhythmuston, welcher derart erzeugt wurde, den Beginn eines Taktes anzeigt oder nicht.
- Wenn der Ton den Beginn eines Taktes anzeigt, speichert die CPU 1 den Ton im Hilfsspeicher 6 und empfängt daraufhin die aus digitalen Daten zusammengesetzten akustischen Signale, wie sie durch die Eingabevorrichtung für akustische Signale 8 und den A/D-Umsetzer 7 verarbeitet wurden, in das System. Wenn der Ton jedoch keinen Beginn eines Taktes anzeigt, erfolgt unmittelbar die Eingabe der akustischen Signale über die CPU 1 (Schritte SP 5 bis einschließlich SP 8). Daran anschließend speichert die CPU 1 die auf diese Weise in das System eingegebenen akustischen Signale im Hilfsspeicher 6 (Schritt SP 9).
- Wenn somit dieser eine Datensatz über das akustischen Signal im Hilfsspeicher 6 gespeichert ist, bestimmt die CPU 1, ob ein Befehl zum Abschluß der Eingabeoperation über die Tastatur 4 erteilt wurde oder nicht. Wenn ein Befehl zum Abschluß erteilt wurde, schließt die CPU 1 ihre Arbeitsreihe ab. Wenn jedoch kein Befehl zum Abschluß erteilt wurde, bestimmt die CPU 1 weiter, ob das System in einem Zeitmaß zur Erzeugung eines eingegebenen Hilfsrhythmustones ist oder nicht (Schritte SP 10 und SP 11). Wenn es sich in keinem Zeitmaß zur Erzeugung eines solchen Tones befindet, kehrt die CPU 1 zu Schritt SP 8 zurück und geht zu dem Schritt über, bei dem sie akustische Signale in das System übernimmt. Wenn sich herausstellt, daß sich der Betrieb des Systems im richtigen Zeitmaß für die Erzeugung des eingegebenen Hilfsrhythmustones befindet, kehrt die CPU 1 zu Schritt SP 5 zurück und geht dann zu dem Schritt über, mit dem der nächste eingegebene Hilfsrhythmuston erzeugt wird.
- Somit nimmt das System akustische Signale auf, welche von einem Bediener erzeugt wurden, während es den eingegebenen Hilfsrhythmuston erzeugt, und speichert gemeinsam mit den Markierungen, die den Beginn eines Taktes anzeigen, ein Signal nach dem anderen in einer geordneten Abfolge im Hilfsspeicher 6.
- Das Merkmal des Systems, das mit der Erzeugung des eingegebenen Hilfsrhythmustones in Zusammenhang steht, macht es für den Bediener leicht, die akustischen Signale einzugeben.
- Figur 3 ist ein Ablaufplan des Verfahrens der automatischen Musiktranskribierung. Dieses Verfahren findet erst im Anschluß an die Eingabe der akustischen Signale statt.
- Zuerst extrahiert die CPU 1 für jeden analytischen Zyklus die Tonhöheninformation für die akustischen Signale, indem sie eine Autokorrelationsanalyse der akustischen Signale durchführt. Ferner extrahiert sie für jeden analytischen Zyklus die Tonstärkeninformation, indem sie die akustischen Signale verarbeitet, um die Quadratsumme herauszufinden. Daraufhin leistet die CPU 1 unterschiedliche Vorbehandlungsprozesse, wie beispielsweise Vorbehandlungen zur Geräuschbeseitigung und -glättung (Schritte SP 21 und SP 22).
- Daran anschließend segmentiert die CPU 1 die eingegebenen akustischen Signale auf der Basis der Markierungen, welche zu Beginn jedes Taktes plaziert und im Hilfsspeicher 6 gespeichert sind, in vorgegebene Abschnitte. Daraufhin überprüft sie die Abschnitte auf der Basis der Tonstärkenveränderungen, wobei sie die Abschnitte voneinander trennt, um die Segmente zu erstellen, von denen jedes als ein denselben Ton darstellendes Segment betrachtet werden kann (Schritte SP 23 und SP 24).
- Als nächstes leistet die CPU 1 ein Abstimmungsverfahren (Schritt SP 25). Die CPU 1 errechnet auf der Basis des Ausbreitungsstandes der Tonhöheninformation den Abweichungsbetrag der Musikintervallsachse, die das akustische Signal in bezug auf die Achse des absoluten Musikintervalles aufweist, und verschiebt die erhaltene Tonhöheninformation in Übereinstimmung mit dem Abweichungsbetrag der Achse. Mit anderen Worten, die CPU 1 modifiziert die Tonhöheninformation dahingehend, daß zwischen der Achse des Musikintervalles für den Sänger oder das Musikinstrument, von denen das akustische Signal erzeugt wird, und der Achse der absoluten musikalischen Achse eine geringere Differenz bestehen bleibt.
- Somit identifiziert die CPU 1 das Musikintervall des jeweiligen Segments mit jenem auf der Achse des absoluten Musikintervalles, von dem angenommen wird, daß ihm, gesehen auf der Basis der Tonhöheninformation des Segments, das durch das obengenannte Segmentierungsverfahren erhalten wurde, die relevante Tonhöheninformation am nächsten angeordnet ist, und führt weiters das Segmentierungsverfahren noch einmal auf der Basis aus, ob das Musikintervall der identifizierten Segmente in ununterbrochener Reihenfolge identisch ist oder nicht (Schritte SP 26 und SP 27).
- Danach sucht die CPU 1 die Produktsumme der Auftretenshäufigkeit des Musikintervalles, wie er durch die Ausarbeitung der geordneten Gesamtsumme der Tonhöheninformation im Anschluß an die Abstimmung derselben erhalten wird, und den bestimmten vorgeschriebenen Gewichtungskoeffizient, wie er in Entsprechung zur Tonart bestimmt wird, und bestimmt auf der Basis der Höchstwertinformation dieser Produktsumme die Tonart für das in den eingegebenen akustischen Signalen enthaltene Musikstück, wie beispielsweise die C-Durtonart oder die A- Molltonart, woraufhin sie das Musikintervall prüft und korrigiert, indem sie dasselbe Musikintervall in bezug auf die Tonhöheninformation und auf das Musikintervall, das auf der Tonleiter für die bestimmte Tonart vorgeschrieben ist, genauer überprüft (Schritte SP 28 und SP 29).
- Daran anschließend führt die CPU 1 eine letzte Segmentierung durch, indem sie die Segmentierungsergebnisse auf der Basis überprüft, ob das endgültig bestimmte Musikintervall identische Segmente in ununterbrochener Reihenfolge umfaßt oder nicht, oder, ob unter den Segmenten in ununterbrochener Reihenfolge eine Tonstärkenveränderung gegeben ist oder nicht (Schritt SP 30).
- Nachdem das Musikintervall und die Segmente (d.h. die Tonlänge) auf diese Weise bestimmt wurden, produziert die CPU 1 die fertigen Notendaten, indem sie die Information anpaßt, welche die Takt- und die Tempoinformation umfaßt, die zu dem Zeitpunkt eingegeben wurden, als die Eingabe der akustischen Signale begonnen wurde (Schritt SP 31).
- Figur 4 ist ein Ablaufplan des Segmentierungsverfahrens auf der Basis der vom System erzeugten Taktinformation und Tonstärkeninformation, während Figur 5 ein Ablaufplan ist, der das Segmentierungsverfahren auf der Basis der Taktinformation und der Tonstärkeninformation genauer darstellt. Im folgenden werden die Ablaufpläne in Figur 4 und Figur 5, welche das Segmentierungsverfahren (Schritte SP 23 und SP 24 in Figur 3) auf der Basis der Taktinformation und der Tonstärkeninformation über die akustischen Signale darstellen, genau erklärt. Figur 4 ist demnach ein Ablaufplan, der ein solches Verfahren auf funktioneller Ebene darstellt, während Figur 5 ein Ablaufplan ist, welcher im Detail darstellt, was in Figur 4 gezeigt wird.
- Die akustischen Signale werden in bezug auf die individuellen Auswahlpunkte innerhalb des analytischen Zyklus zum Quadrat gebracht, wobei die Gesamtsumme dieser Quadratwerte für die Tonstärkeninformation über die akustischen Signale im analytischen Zyklus verwendet wird.
- Zunächst wird mit Bezugnahme auf Figur 4 ein Umriß eines solchen Segmentierungsverfahrens beschrieben. Nur für den Zweck der Darstellung wird angenommen, daß für die Taktart der Signale der Viervierteltakt ausgewählt wurde. Die Erfindung ist selbstverständlich nicht auf diese Annahme beschränkt. Die Annahme wird lediglich angewandt, um die Erklärung der Erfindung zu erleichtern.
- Die CPU 1 entnimmt die Markierung für den Beginn eines Taktes, der im Hilfsspeicher 6 gespeichert ist, teilt jeden Takt in vier gleiche Abschnitte und setzt eine Markierung, die den Beginn eines Taktschlages am Beginn eines jeden der gleichermaßen unterteilten Abschnitte anzeigt (Schritt SP 40). Für den Fall, daß anstatt des Viervierteltaktes ein Dreivierteltakt ausgewählt wurde, ist der Takt in drei gleiche Abschnitte zu unterteilen. Als nächstes führt die CPU 1 eine weitere Teilung jedes der erhaltenen Taktschläge in vier gleiche Abschnitte aus und setzt am Beginn eines jeden der gleichermaßen unterteilten Abschnitte eine Markierung für den Beginn einer Sechzehntelnote (Schritt SP 41). Auf diese Weise werden die akustischen Signale auf der Basis der Taktinformation in 16 Abschnitte jedes Taktes unterteilt. In solchen Fällen, wo kein Viervierteltakt, sondern ein Dreivierteltakt ausgewählt wurde, wird ein Takt in zwölf gleiche Abschnitte unterteilt. Daraufhin werden diese unterteilten Abschnitte von der CPU 1 auf der Basis der Tonstärkeninformation überprüft.
- Das System wurde so angeordnet, daß es die Tonstärkeninformation über das Segmentierungsverfahren wiedergibt, da Bediener, wenn sie die Tonhöhe in den Tönen verändern, d.h. wenn sie einen Übergang zum nächsten Ton vornehmen, Veränderungen produzieren können, die eine gewisse Intensivierung der Tonstärke mit sich bringen.
- Daran anschließend extrahiert die CPU 1 den Punkt eines Anstiegs in der Tonstärkeninformation, indem sie eine Markierung setzt, welche einen ansteigenden Punkt an der richtigen Stelle anzeigt, woraufhin sie die Markierung nimmt, welche den Beginn einer Sechzehntelnote anzeigt und an dem Punkt angeordnet ist, der jedem der ansteigenden Punkte am nächsten angeordnet ist, und eine Markierung setzt, die den Beginn einer Sechzehntelnote am ansteigenden Punkt anzeigt (Schritte SP 42 und SP 43). Der Grund, warum diese Schritte ausgeführt werden, besteht darin, daß es für den Bediener praktisch schwierig ist, an einem Ton eine Veränderung vorzunehmen, die in vollkommener Übereinstimmung mit dem Zeitmaß der eingegebenen akustischen Signale ist, auch wenn diese Signale gemeinsam mit der Erzeugung des eingegebenen Hilfsrhythmustones eingegeben werden, so daß dafür vorgesehen ist, daß mithilfe der Unterteilung eines Tones, welcher an einem Veränderungspunkt im akustischen Signal angesetzt ist, mit Sicherheit beurteilt werden kann, ob der folgende Abschnitt ein Ruheabschnitt ist oder nicht.
- Daran anschließend zählt die CPU 1 die Anzahl der Bruchstücke der Tonhöheninformation in jedem Sechzehntelnotenabschnitt und setzt eine Markierung, die den Beginn einer Ruhe am Ausgangspunkt jedes Abschnittes anzeigt, wo die Zahl der Bruchstücke dieser Information kleiner als der Schwellenwert ist (Schritt SP 44). Schließlich plaziert die CPU 1 eine Markierung, welche den Beginn eines Segments an jenen Punkten anzeigt, die mit einer Markierung für den Beginn eines Taktes, einen ansteigenden Punkt oder den Beginn einer Ruhe versehen sind (Schritt SP 45). Eine Markierung, die den Beginn eines Segments an dem Punkt anzeigt, wo ein Takt beginnt, wird ebenfalls angebracht, da sich ein Ton über zwei Takte erstrecken kann, in welchem Fall es üblich ist, die Noten in den Taktarten anzuzeigen, auf die in der Partitur hingewiesen wird.
- Auf diese Weise erhält das System eine Mehrzahl an Segmenten, welche durch die auf der Basis der Taktinformation und der Tonstärkeninformation erfolgten Teilung erhalten werden. Auch wenn sich manche der durch dieses Segmentierungsverfahren erhaltenen Segmente als unzulänglich herausstellen sollten, werden solche Segmente durch die Wirkung der Segmentierung, welche im Zuge der daran anschließenden Schritte ausgeführt wird (Schritte SP 27 und SP 30 in Figur 3), wie oben erwähnt wurde, richtiggestellt, um korrekte Segment zu erhalten.
- Im folgenden wird dieses Verfahren mit Bezugnahme auf den Ablaufplan in Figur 5 genauer erklärt. Die CPU 1 stellt zuerst den Parameter i, der jeden analytischen Zyklus anzeigt (ein analytischer Zyklus wie dieser wird in Hinblick auf die Tatsache, daß er einen sehr kurzen analytischen Zyklus beschreibt, nachstehend analytischer Punkt genannt), auf Null, und, indem sie feststellt, daß die zu verarbeitenden analytischen Daten eines Punktes (welche die Tonhöheninformation und die Tonstärkeninformation beinhalten) noch nicht abgeschlossen sind, beurteilt die CPU, ob eine Markierung, welche den Beginn eines Taktes anzeigt, auf diesen analytischen Punkt plaziert ist oder nicht (Schritte SP 50 bis einschließlich SP 52). Falls keine solche Markierung plaziert ist, erhöht die CPU den Parameter i für den analytischen Punkt und kehrt zum obengenannten Schritt SP 51 zurück; falls jedoch eine solche Markierung plaziert ist, geht die CPU 1 dazu über, die durch den Schritt SP 54 und die anschließenden Schritte gekennzeichneten Verfahren zu leisten (Schritt SP 54). Auf diese Weise findet die CPU 1 die Markierung, die den Beginn des ersten Taktes anzeigt.
- Nachdem sie eine Markierung, die den Beginn eines Taktes anzeigt, erfaßt hat, stellt die CPU 1 den Parameter j auf i + 1 und, indem sie feststellt, daß die zu verarbeitenden analytischen Punktdaten noch nicht abgeschlossen sind, beurteilt die CPU 1, ob eine Markierung, die den Beginn eines Taktes anzeigt, auf den jeweiligen analytischen Punkt plaziert ist oder nicht (Schritte SP 54 bis einschließlich SP 56). Falls keine solche Markierung plaziert ist, erhöht die CPU 1 den Parameter j und kehrt zum obengenannten Schritt SP 55 zurück; falls jedoch eine solche Markierung gesetzt ist, geht die CPU 1 zu den Verarbeitungsverfahren von Schritt SP 58 und den daran anschließenden Schritten über (Schritt SP 57).
- An dieser Taktstelle, die bei Schritt SP 56 ein positives Ergebnis erzeugt hat, zeigt der Parameter i den analytischen Punkt an, der an der ersten der beiden konsekutiven Markierungen, die den Beginn eines Taktes anzeigen, positioniert ist, während der Parameter j den analytischen Punkt anzeigt, welcher an letzterer der beiden konsekutiven, den Beginn eines Taktes anzeigenden Markierungen positioniert ist. Somit unterteilt die CPU 1 den Abschnitt vom analytischen Punkt i bis zum analytischen Punkt j-1 in vier gleiche Abschnitte (oder in drei gleiche Abschnitte, falls es sich um einen Abschnitt mit einem Dreivierteltaktschlag handelt) und setzt an jedem dieser Abschnitte eine Markierung für den Beginn eines Taktschlages, woraufhin sie den Parameter i auf j stellt, welcher den analytischen Punkt anzeigt, dessen Position durch die erste der den Beginn eines Taktes anzeigenden Markierung gekennzeichnet ist, und dann zum obengenannten Schritt SP 54 zurückkehrt, um zur Suche nach dem analytischen Punkt überzugehen, welcher die den Beginn eines Taktes anzeigende Markierung trägt und im letzteren der analytischen Punkte positioniert ist (Schritte SP 58 und SP 59).
- Durch die wiederholte Ausführung dieses zyklischen Arbeitsverfahrens, das die Schritte SP 54 bis einschließlich SP 59 beinhaltet, werden die Markierungen, die den Beginn jedes Taktschlages anzeigen, eine nach der anderen in geordneter Abfolge in die individuellen Taktabschnitte plaziert, bis die Daten über den letzten analytischen Punkt entnommen werden, um bei Schritt SP 55 ein positives Ergebnis zu erzeugen. Wenn das der Fall ist, plaziert die CPU 1 eine den Beginn eines Taktschlages anzeigende Markierung auf den analytischen Punkt für den Parameter i, wodurch sie eine Reihe von Verfahren abschließt, mittels derer die Markierung, die den Beginn eines Taktschlages anzeigt, gesetzt wird und daraufhin zu Schritt SP 61 und die daran anschließenden Schritte übergeht, um die Markierung zu plazieren, die den Beginn jeder Sechzehntelnote anzeigt (Schritt SP 60).
- Wenn die CPU, während sie zu den endgültigen Daten gelangt, bei Schritt SP 51 ein positives Ergebnis erhält, ohne eine den Beginn eines Ausgangstaktes anzeigende Markierung zu finden, geht die CPU, ohne eine Markierung an solchen Abschnitten zu plazieren, zu den Verfahren über, mit denen die Markierungen gesetzt werden, die den Beginn der Sechzehntelnoten anzeigen. Der Verfahrensabschnitt, der die Schritte SP 50 bis einschließlich SP 60 beinhaltet, entspricht Schritt SP 40 in Figur 4.
- Die Verfahrenseinzelheiten, die Schritt 41 in Figur 4 entsprechen und durchzuführen sind, um die den Beginn der Sechzehntelnoten anzeigenden Markierungen zu plazieren, indem die beiden einander vorangestellten Markierungen gefunden werden, die den Beginn des Taktschlages anzeigen, und um ferner die mit solchen Markierungen versehenen Abschnitte in vier gleiche Abschnitte zu unterteilen, sind mit den Verfahren der Schritte SP 50 bis einschließlich SP 60 fast identisch. Es werden Markierungen gesetzt, die den Beginn der Taktschläge anzeigen, indem die Markierungen gefunden werden, die den Beginn der jeweils vorhergehenden und nachfolgenden Abschnitte anzeigen, und indem diese Abschnitte in vier gleiche Teile unterteilt werden. Daher wird eine ins Detail gehende Ausführung dieses Verfahrens unterlassen (Schritte SP 61 bis einschließlich SP 71).
- Sobald die Verfahren zur Plazierung der den Beginn der Sechzehntelnoten anzeigenden Markierungen abgeschlossen sind, stellt die CPU 1 den Parameter i für den analytischen Punkt auf Null und leistet daraufhin Rechenvorgänge, um die Funktion d(i) zur Extraktion des Anstieges in der Tonstärkeninformation in bezug auf diesen analytischen Punkt zu bestimmen, wobei sie feststellt, daß die zu verarbeitenden analytischen Punktdaten noch nicht zu einem Abschluß gebracht wurden (Schritte SP 72 bis einschließlich SP 74).
- Die Anstiegsextraktionsfunktion d (i) für die Tonstärkeninformation in bezug auf den analytischen Punkt i, Tonstärke (i), wird anhand der folgenden Gleichung bestimmt und, wie folgt, errechnet:
- d(t) = {Tonstärke(i+t) - Tonstärke(i)}/
- {Tonstärke(i+t) + Tonstärke(i)} ... (1),
- wobei t eine natürliche Zahl darstellt, die einen Zeitwert anzeigt, welcher für das Einfangen der Schwankungen im Anstieg der Tonstärkeninformation geeignet ist.
- Daraufhin beurteilt die CPU 1, ob der Wert der Anstiegsextraktionsfunktion d(i), der somit erhalten wurde, kleiner ist als der Schwellenwert d oder nicht, wobei die CPU 1, sollte er kleiner sein, den Parameter i für den analytischen Punkt erhöht und zu Schritt SP 73 zurückkehrt (Schritte SP 75 und SP 76). Falls sich andererseits herausstellt, daß die Anstiegsextraktionsfunktion d(t) über den Schwellenwert d hinausgeht, plaziert die CPU 1 auf diesen Punkt die Markierung, welche den Beginn eines Anstiegspunktes anzeigt (Schritt SP 77).
- Daraufhin stellt die CPU 1 fest, daß der Verarbeitungsprozeß für die alle analytischen Punkte betreffenden Daten noch nicht abgeschlossen ist, und, indem sie zur Bestimmung der Anstiegsextraktionsfunktion d(i) Rechenvorgänge durchführt, beurteilt sie, ob die Anstiegsextraktionsfunktion d(i) kleiner ist als der Schwellenwert d (Schritte SP 78 bis einschließlich SP 80). Falls die Anstiegsextraktionsfunktion d(i) kleiner ist als der Schwellenwert, erhöht die CPU 1 den Parameter i und kehrt zum obengenannten Schritt SP 78 zurück (Schritt SP 81).
- Das Verfahren beginnend mit Schritt SP 78 bis einschließlich SP 81 beschreibt einen Prozeß, mit dem der analytische Punkt aufgefunden wird, bei dem die Anstiegsextraktionsfunktion d(i) kleiner als der Schwellenwert d wird, nachdem die Anstiegsextraktionsfunktion einmal über den Schwellenwert hinausgegangen ist. Nun, da es einen analytischen Punkt gibt, wo die Anstiegsextraktionsfunktion nach somit erhaltenem analytischen Punkt wieder steigt, kehrt die CPU 1 zum obengenannten Schritt SP 73 zurück und nimmt das Verfahren zur Extraktion des Anstiegspunktes wieder auf, sobald sie einen analytischen Punkt gefunden hat, wo die Anstiegsextraktionsfunktion kleiner als der Schwellenwert wird, d.h., wenn sie beim obengenannten Schritt SP 80 ein positives Ergebnis erhält.
- Durch Wiederholung des obengenannten Verarbeitungsverfahrens erkennt die CPU 1l bald, daß die Verarbeitung aller analytischen Punkte bei Schritt SP 73 oder Schritt SP 78 abgeschlossen ist, und geht dazu über, auf der Basis der Länge zwischen den benachbarten Anstiegspunkten bei Schritt SP 82 und den daran anschließenden Schritten die Anstiegspunkte zu überprüfen.
- In einem Verfahren dieser Art stellt die CPU 1 den Parameter i für den analytischen Punkt auf Null und daraufhin, indem sie feststellt, daß die Daten über den analytischen Punkt noch nicht abgeschlossen wurden, beurteilt die CPU 1, ob eine Markierung, die einen Anstiegspunkt anzeigt, auf dem analytischen Punkt plaziert ist oder nicht (Schritte SP 82 bis einschließlich SP 84).
- Wenn der Punkt kein Anstiegspunkt ist, erhöht die CPU 1 den Parameter i für den analytischen Punkt und kehrt dann zu Schritt SP 83 zurück (Schritt SP 85). Sobald ein Anstiegspunkt durch die wiederholte Durchführung dieses Verfahrens erfaßt ist, setzt die CPU 1 den Längenparameter L auf den Ausgangswert "1", um die Länge von einem Anstiegspunkt bis zum nächsten Anstiegspunkt zu messen (Schritt SP 86).
- Daraufhin erhöht die CPU 1 den analytischen Punktparameter i, und dann, indem sie feststellt, daß die analytischen Punktdaten noch nicht abgeschlossen sind, beurteilt sie weiter, ob eine Markierung, die den Beginn eines Anstiegspunktes anzeigt, auf dem jeweiligen analytischen Punkt plaziert ist oder nicht (Schritte SP 87 bis einschließlich SP 89). Wenn die CPU 1 zu dem Resultat gelangt, daß der analytische Punkt kein Anstiegspunkt ist, erhöht die CPU 1 sowohl den Längenparameter L als auch den analytischen Punktparameter i, woraufhin sie zum obengenannten Schritt SP 88 zurückkehrt (Schritte SP 90 und SP 91).
- Durch Wiederholung der durch die Schritte SP 88 bis einschließlich SP 91 gekennzeichneten Verfahren gelangt die CPU 1 bald zu einem analytischen Punkt, wo die nächste Markierung, die den Beginn eines Segments anzeigt, plaziert ist, wobei sie bei Schritt SP 89 ein positives Ergebnis erhält. Der zu diesem Zeitpunkt gefundene Längenparameter L entspricht der Entfernung zwischen dem markierten analytischen Punkt, welcher für die Verarbeitung aufgenommen wird, und dem unmittelbar vorhergehenden, markierten analytischen Punkt, d.h. er entspricht der Länge zwischen den jeweils vorhergehenden und nachfolgenden Anstiegspunkten. Wenn bei Schritt SP 89 ein positives Ergebnis erhalten wird, beurteilt die CPU 1, ob dieser Parameter L kürzer als der Schwellenwert L ist oder nicht, und wenn sich herausstellt, daß er über dem Schwellenwert L liegt, kehrt die CPU 1 zum obengenannten Schritt SP 83 zurück, ohne die einen Anstiegspunkt anzeigende Markierung zu löschen; ist er jedoch kleiner als der Schwellenwert L, entfernt die CPU 1 letztere Markierung, die den Anstiegspunkt anzeigt, und kehrt daraufhin zum obengenannten Schritt SP 83 zurück (Schritte SP 92 und SP 93).
- Für den Fall, daß die CPU 1 von Schritt SP 92 oder SP 93 zu Schritt SP 83 zurückgekehrt ist, wird die CPU 1 darüber hinaus unmittelbar bei Schritt SP 84 ein positives Ergebnis erhalten, außer die analytischen Punktdaten wurden abgeschlossen, wobei die CPU 1 dazu übergehen wird, die Verarbeitung bei den daran anschließenden Schritten, beginnend mit Schritt SP 86, aufzunehmen und als nächsten Schritt die Suche nach einer anderen, der eben gefundenen Markierung am nächsten liegenden Markierung durchzuführen.
- Durch Wiederholung dieser Schrittfolge schließt die CPU 1 die Überprüfung der Längen zwischen den Anstiegspunkten mit Bezugnahme auf alle Anstiegspunkte ab und, sobald sie bei Schritt SP 83 oder Schritt SP 88 ein positives Ergebnis erhält, beendet die CPU 1 die Verfahrensreihe zur Extraktion der Anstiegspunkte in der Tonstärkeninformation. Das Verfahren umfassend die Schritte SP 72 bis einschließlich SP 93 entspricht dem Verfahren von Schritt SP 42, welches in Figur 4 dargestellt ist.
- Der Grund, warum das System im Anschluß an die mit Hilfe der Anstiegsextraktionsfunktion d(i) erfolgten Extraktion der Anstiegspunkte eine Überprüfung der Anstiegspunkte in bezug auf die Entfernung zwischen jeweils vorhergehenden und nachfolgenden Anstiegspunkten vorsieht, besteht in der Notwendigkeit, das Auftreten einer Mehrzahl von Anstiegspunkten in einem Abschnitt zu verhindern, der infolge der Tatsache, daß die Tonstärke in akustischen Signalen, auch wenn sie als Einzelton gedacht sind, immer noch Schwankungen unterlaufen kann, sowie der Tatsache, daß akustische Signale von außen eingedrungene Geräusche enthalten können, kürzer als die Länge eines Einzeltones ist.
- Sobald die CPU 1 das Verfahren zur Extraktion der Anstiegspunkte in der Tonstärkeninformation durch Wiederholung dieses Verarbeitungsverfahrens abschließt, stellt die CPU 1 zunächst den Parameter i für den analytischen Punkt auf Null und, indem sie feststellt, daß die zu verarbeitenden Daten noch nicht abgeschlossen sind, beurteilt sie daraufhin, ob mit Bezugnahme auf diesen analytischen Punkt eine Markierung, die einen Anstiegspunkt in der Tonstärkeninformation anzeigt, plaziert ist oder nicht (Schritte SP 94 bis einschließlich SP 96). Falls keine solche Markierung plaziert ist, erhöht die CPU 1 den Parameter i und kehrt daraufhin zum obengenannten Schritt SP 95 zurück (Schritt SP 97). Wenn die CPU 1 auf diese Weise einen Anstiegspunkt findet, beurteilt sie, ob eine Markierung, die eine Sechzehntelnote anzeigt, auf den analytischen Punkt i desselben plaziert ist oder nicht (Schritt SP 98).
- Falls sich herausstellt, daß eine eine Sechzehntelnote anzeigende Markierung auf den Punkt plaziert ist, erhöht die CPU 1 den Parameter i und kehrt daraufhin zum obengenannten Schritt SP 95 zurück, woraufhin sie dazu übergeht, den nächsten Anstiegspunkt zu suchen, da es nicht notwendig ist, für die Abgleichung dieses Anstiegspunktes und des Ausgangspunktes der Sechzehntelnote eine Verarbeitung durchzuführen (Schritt SP 99).
- Falls andererseits der so gefundene Anstiegspunkt keine den Beginn einer Sechzehntelnote anzeigende Markierung aufweist, kehrt die CPU 1 zum obengenannten Schritt SP 95 zurück und geht von da auf ein Suchverf ahren über, um den Anstiegspunkt, der diesem Anstiegspunkt am nächsten angeordnet ist, zu finden.
- Zuerst setzt die CPU 1 an dem Anstiegspunkt eine Markierung, welche den Beginn einer Sechzehntelnote anzeigt, woraufhin sie den Parameter j auf seinen Ausgangswert "1" stellt, um den analytischen Punkt zu finden, der dem Anstiegspunkt vorhergeht und eine Markierung trägt, welche den Beginn einer Sechzehntelnote anzeigt (Schritte SP 100 und SP 101).
- Daraufhin, indem sie feststellt, daß der Abschnitt i-j nicht weniger als 0 ist (was bedeutet, daß der analytische Punkt i-j ein mit Daten geladener analytischer Punkt ist), beurteilt die CPU 1, ob eine den Beginn einer Sechzehntelnote anzeigende Markierung auf den analytischen Punkt i-j plaziert ist oder nicht. Falls dort keine solche Markierung plaziert ist, erhöht die CPU 1 den Parameter j, woraufhin sie zu Schritt SP 102 zurückkehrt (Schritte SP 102 bis einschließlich SP 104). Durch Wiederholung des die Schritte SP 102 bis einschließlich SP 104 umfassenden Prozesses findet die CPU 1 den analytischen Punkt i-j, welcher in einer Position angeordnet ist, die auf der den Anstiegspunkt vorhergehenden Seite, wo eine eine Sechzehntelnote anzeigende Markierung plaziert ist, am nächsten ist, woraufhin sie bei Schritt SP 103 ein positives Ergebnis erhält.
- In diesem Fall stellt die CPU 1 den Parameter k, welcher ein Parameter für das Auffinden des analytischen Punktes ist, der eine Markierung trägt, die eine Sechzehntelnote auf der dem Anstiegspunkt folgenden Seite anzeigt, auf den Ausgangswert "1" (Schritt SP 105). Daraufhin stellt die CPU 1 fest, daß der analytische Punkt i+k keinen Wert aufweist, der größer ist als jener des endgültigen analytischen Punktes, was bedeutet, daß der analytische Punkt i+k einen Punkt darstellt, in dem Daten vorhanden sind, und sie beurteilt dann, ob auf den analytischen Punkt i+k eine den Beginn einer Sechzehntelnote anzeigende Markierung plaziert ist oder nicht. Falls dort keine solche Markierung plaziert ist, erhöht die CPU 1 den Parameter, woraufhin sie zu Schritt SP 106 zurückkehrt (Schritte SP 106 bis einschließlich SP 108). Durch Wiederholung des die Schritte SP 106 bis einschließlich SP 108 umfassenden Prozesses findet die CPU 1 den analytischen Punkt i+k, welcher dem Anstiegspunkt, der die den Beginn einer Sechzehntelnote anzeigende Markierung trägt, am nächsten und auf ihm nachfolgend angeordnet ist, woraufhin sie bei Schritt SP 107 ein positives Ergebnis erhält.
- Nachdem die CPU 1 somit die analytischen Punkte gefunden hat, die dem Anstiegspunkt am nächsten und jeweils vor und nach dem Punkt angeordnet sind, an dem eine den Beginn einer Sechzehntelnote anzeigende Markierung plaziert ist, vergleicht sie die beiden Parameter j und k bezüglich ihrer Größe und beurteilt, welcher der beiden analytischen Punkte näher zum Anstiegspunkt ist, wobei für den Fall, daß der auf der vorhergehenden Seite positionierte analytische Punkt i-j dem Anstiegspunkt näher ist (einschließlich jener Fälle, bei denen der analytische Punkt dem Anstiegspunkt gleichermaßen nahe ist), die CPU 1 die Markierung, die den Beginn einer Sechzehntelnote anzeigt, vom analytischen Punkt i-j, auf den sie plaziert wurde, entfernt und daraufhin den Parameter i erhöht und zur Suche nach dem nächsten Anstiegspunkt übergeht. Wenn andererseits der analytische Punkt i+k, welcher auf der folgenden Seite positioniert ist, dem Anstiegspunkt näher ist, entfernt die CPU 1 die den Beginn einer Sechzehntelnote anzeigende Markierung von dem analytischen Punkt i+k, auf dem sie angeordnet wurde, woraufhin sie den Parameter i erhöht und zur Suche nach dem nächsten Anstiegspunkt übergeht (Schritte SP 109 bis einschließlich SP 113).
- Durch Wiederholung dieses Verfahrens plaziert die CPU 1 auf jeden Anstiegspunkt eine Markierung, die den Beginn einer Sechzehntelnote anzeigt, während sie die Markierung, die den Beginn einer Sechzehntelnote anzeigt, von dem Punkt entfernt, der diesem Anstiegspunkt am nächsten ist. Sobald dieses Verfahren mit Bezugnahme auf alle analytischen Punkte abgeschlossen ist, schließt die CPU 1 das Verfahren zur Abgleichung der Anstiegspunktreihe sowie der Punkte, die den Beginn der Sechzehntelnotenpunkte markieren, bei Schritt SP 95 ab. Darüber hinaus entspricht der die Schritte SP 94 bis einschließlich SP 113 umfassende Prozeß Schritt SP 43 in Figur 4.
- Nachdem somit das Verfahren zur Veränderung der Anstiegspunkte in der Tonstärkeninformation abgeschlossen wurde, stellt die CPU 1 den Parameter i für den analytischen Punkt auf Null und, indem sie feststellt, daß die bezüglich des analytischen Punktes zu verarbeitenden Daten noch nicht abgeschlossen sind, beurteilt die CPU 1, ob eine den Beginn einer Sechzehntelnote anzeigende Markierung auf diesen analytischen Punkt plaziert ist oder nicht (Schritte SP 114 bis einschließlich SP 116). Falls keine solche Markierung plaziert ist, erhöht die CPU 1 den Parameter i und kehrt zum obengenannten Schritt SP 115 zurück (Schritt SP 117). Wenn die erste den Beginn einer Sechzehntelnote anzeigende Markierung somit lokalisiert wurde, stellt die CPU 1 den Parameter j auf i-1, welcher auf die nächste, den Beginn einer Sechzehntelnote anzeigende Markierung angelegt ist, und, indem sie feststellt, daß die zu verarbeitenden Daten der analytischen Daten noch nicht abgeschlossen sind, beurteilt die CPU 1, ob eine den Beginn einer Sechzehntelnote anzeigende Markierung auf diesen analytischen Punkt j plaziert ist oder nicht (Schritte SP 118 bis einschließlich SP 120). Falls keine solche Markierung plaziert ist, erhöht die CPU 1 den Parameter j und kehrt zum obengenannten Schritt SP 119 zurück (Schritt SP 121).
- Sobald die nächste, den Beginn einer Sechzehntelnote anzeigende Markierung gefunden ist, stellt die CPU 1 den Stückzahl-Parameter n für ein Segment mit einer Tonhöhe auf Null und daraufhin den Abschlußparameter k für die Verarbeitung eines Segments, in dem eine Tonhöhe vorhanden ist, auf 1 (Schritte SP 122 und SP 123). Als nächstes, nachdem sie festgestellt hat, daß der Wert des Parameters k kleiner ist als der des Parameters j, beurteilt die CPU 1, ob beim analytischen Punkt k eine Tonhöheninformation gegeben ist oder nicht, d.h., ob der analytische Punkt k einen Stimmton enthält oder nicht (Schritte SP 124 und SP 125).
- Wenn infolge dieses Verfahrens ein positives Ergebnis erhalten wurde, erhöht die CPU 1 den Stückzahlparameter n und daraufhin auch den Parameter k, woraufhin sie zum obengenannten Schritt SP 124 zurückkehrt. Wenn andererseits ein negatives Ergebnis erhalten wurde, erhöht die CPU 1 sofort den Parameter k und kehrt daraufhin zum obengenannten Schritt SP 124 zurück (Schritte SP 125 und SP 126). Die Wiederholung dieses Verfahrens hat kurz darauf den Erhalt einer positiven Antwort bei Schritt SP 124 zur Folge. Hier verändert sich der Parameter k innerhalb der Spannweite von i bis j-1, wobei, sobald bei Schritt SP 124 ein positives Ergebnis erhalten wird, der Stückzahlparameter n die Stückzahl der eine Tonhöheninformation enthaltenden analytischen Punkte zwischen dem analytischen Punkt i und dem analytischen Punkt j-1 anzeigt, d.h. die Stückzahl der analytischen Punkte, wo zwischen den vorhergehenden und den nachfolgenden Markierungen, von denen jede den Beginn einer Sechzehntelnote anzeigt, eine Tonhöheninformation vorhanden ist.
- Die CPU 1 beurteilt, ob der Wert des Stückzahlparameters n größer als der vorgeschriebene Schwellenwert n ist oder nicht. Wenn der Wert des Parameters kleiner ist als der Schwellenwert n, setzt die CPU 1 beim analytischen Punkt i eine Markierung für den Beginn einer Ruhe, wobei dieser Punkt bei der Zählung der Stückzahl der analytischen Punkte, wo eine den Beginn einer Sechzehntelnote anzeigende Markierung plaziert ist, den ersten analytischen Punkt darstellt, woraufhin die CPU 1 den Parameter i auf j stellt und zum obengenannten Schritt SP 118 zurückkehrt. Wenn andererseits der Wert des Parameters über dem Schwellenwert n liegt, stellt die CPU 1 den Parameter i sofort auf j, woraufhin sie zum obengenannten Schritt SP 118 zurückkehrt und zur Suche nach dem nächsten analytischen Punkt, wo eine den Beginn einer Sechzehntelnote anzeigende Markierung plaziert ist, übergeht (Schritte SP 128 bis einschließlich SP 130). Durch Wiederholung dieses Verfahrens wird in geordneter Reihenfolge eine den Beginn einer Ruhe anzeigende Markierung nach der anderen auf den ersten analytischen Punkt plaziert, der zwischen den jeweils vorhergehenden und nachfolgenden Markierungen, von denen jede den Beginn einer Sechzehntelnote anzeigt und eine geringere Stückzahl analytischer Punkte mit vorhandener Tonhöheninformation aufweist, positioniert ist, woraufhin kurz darauf bei Schritt SP 115 oder SP 119 ein positives Ergebnis erhalten wird und die Verfahrensreihe für die Plazierung einer den Beginn einer Ruhe anzeigenden Markierung zu einem Abschluß gebracht wird. In dieser Hinsicht entspricht der die Schritte SP 114 bis einschließlich SP 130 umfassende Prozeß dem Prozeß bei Schritt SP 44 in Figur 4.
- Sobald der Prozeß zur Plazierung einer den Beginn einer Ruhe anzeigenden Markierung abgeschlossen ist, stellt die CPU 1 den analytischen Punktparameter i auf Null, und, indem sie feststellt, daß die zu verarbeitenden analytischen Punktdaten noch nicht abgeschlossen sind, beurteilt die CPU 1, ob eine Markierung, die den Beginn eines Taktes anzeigt, auf diesen analytischen Punkt plaziert ist oder nicht (Schritte SP 131 bis einschließlich SP 133). Falls keine den Beginn eines Taktes anzeigende Markierung plaziert ist, beurteilt die CPU 1 weiter, ob an dieser Stelle eine Markierung, die einen Anstiegspunkt in der Tonhöheninformation anzeigt, plaziert ist oder nicht (Schritt SP 134). Falls keine einen Anstiegspunkt anzeigende Markierung plaziert ist, beurteilt die CPU 1 weiter, ob an dieser Stelle eine den Beginn einer Ruhe anzeigende Markierung plaziert ist oder nicht (Schritt SPI35). Falls keine den Beginn einer Ruhe anzeigende Markierung plaziert ist, erhöht die CPU 1 den Parameter i und kehrt zum obengenannten Schritt SP 132 zurück, woraufhin sie feststellt, ob auf dem nächsten analytischen Punkt eine Markierung vorhanden ist (Schritt SP 136).
- Wenn hingegen der analytischen Punkt i eine Markierung zur Anzeige eines Taktbeginns oder eines Anstiegspunkt- oder Ruhebeginns aufweist, setzt die CPU 1 auf den analytischen Punkt eine Markierung, um auf diese Weise den Beginn eines Segments anzuzeigen, woraufhin sie den Parameter i erhöht und dann zum obengenannten Schritt SP 132 zurückkehrt und feststellt, ob die vorgeschriebene Markierung am nächsten analytischen Punkt angebracht ist oder nicht (Schritte SP 137 und SP 138).
- Auf diese Weise plaziert die CPU 1 Markierungen, die einen Segmentbeginn nach dem anderen anzeigen, auf jene analytischen Punkte, die mit den Beginn eines Taktes, eines Anstiegspunktes oder den Beginn einer Ruhe anzeigenden Markierungen versehen sind, wobei das Verfahren kurz darauf zu den endgültigen Daten gelangt, und wobei bei Schritt SP 132 ein positives Ergebnis erhalten wird. Daraufhin ist die Verfahrensreihe zur Plazierung der den Beginn eines Segments anzeigenden Markierung abgeschlossen. Der die Schritte SP 131 bis einschließlich SP 138 umfassende Prozeß entspricht dem Prozeß von Schritt SP 45 in Figur 4.
- Somit schließt die CPU 1 den Segmentierungsprozeß auf der Basis der Takte und der Tonstärkeninformation ab, woraufhin sie, wie weiter oben beschrieben wurde, zum Abstimmungsverfahren übergeht.
- Figur 6 stellt die Veränderungen in der Tonhöheninformation (PIT) und in der Tonstärkeninformation (POW) sowie die Anstiegsextraktionsfunktion d< i) in bezug auf den Ein-Takt- Abschnitt dar. In der Darstellung repräsentiert die durch einen "Doppelkreis" gekennzeichnete Markierung den Beginn eines Taktes, die durch einen "weißen Stern" gekennzeichnete Markierung einen Anstiegspunkt, die durch einen "Kreis" gekennzeichnete Markierung den Beginn eines Taktschlages, die durch ein "X" dargestellte Markierung den Beginn einer Sechzehntelnote vor der Abgleichung mit einem Anstiegspunkt, und die durch ein "Dreieck" dargestellte Markierung den Beginn einer Ruhe. Daher ist in diesem Beispiel, das einen Abschnitt, der einem Takt entspricht, darstellt, die Markierung, die den Beginn eines Segments anzeigt, so plaziert, wie durch die mithilfe eines "schwarzen Kreises" gekennzeichnete Markierung dargestellt ist, wobei sie das Ergebnis der Ausführung einer Reihe von Segmentierungsverfahren gemäß der oben angeführten Beschreibung darstellt.
- In Übereinstimmung mit dem oben beschriebenen Ausführungsbeispiel ist das System so gestaltet, daß es eingegebene Hilfsrhythmustöne erzeugt, um den Bedienern bei der Eingabe ihrer akustischen Signale zu helfen, wodurch mit Hinblick auf die Eingabe von akustischen Signalen eine vereinfachte Bedienung geboten und den Bedienern ermöglicht wird, genaue Rhythmuseingaben durchzuführen, wodurch die Segmentierung solcher Signale leichter durchgeführt werden kann und somit Verbesserungen bezüglich der Präzision der erzeugten Notendaten die Folge sind.
- Das System ist auf eine Weise angeordnet, daß die Information über die eingegebenen Hilfsrhythmustöne, welche zum Zeitpunkt der Eingabe erzeugt wird, auf der gleichen Zeitachse wie für die akustischen Signale aufgezeichnet wird, so daß diese Information für die Segmentierung dieser Signale verwendet werden kann. Dieses Merkmal erhöht die Segmentierungsgenauigkeit, welche ihrerseits Verbesserungen bezüglich der Genauigkeit der erzeugten Notendaten zur Folge hat.
- Die bevorzugte Ausführungsform, welche im vorhergehenden beschrieben wird, setzt als Tonstärkeninformation die Quadratsumme der akustischen Signale ein, wobei jedoch auch ein anderer Parameter verwendet werden kann. Beispielsweise kann die Quadratwurzel der Quadratsumme verwendet werden.
- Darüber hinaus wurde die Anstiegsextraktionsfunktion durch die Gleichung (1) errechnet, wobei jedoch auch ein anderer Parameter verwendet werden kann. Es ist zulässig, den Anstieg in der Tonstärkeninformation durch Anwendung einer Funktion zu extrahieren, die nur den Zähler in der Gleichung (1) darstellt.
- In der bevorzugten Ausführungsform entfernt das System die Markierung des Anstiegspunktes auf der vorhergehenden Seite, falls der Abstand zwischen den vorhergehenden und nachfolgenden Anstiegspunkten kurz ist, wobei es jedoch zulässig ist, die Markierung des Anstiegspunktes zu entfernen.
- In der oben beschriebenen, bevorzugten Ausführungsform erzeugt das System die eingegebenen Hilfsrhythmustöne, um dem Bediener zu ermöglichen, die akustischen Signale auf einfache Weise einzugeben. Allerdings kann die Rhythmusinformation, die dem Bediener beim Eingabeverfahren hilft, in visueller Form bereitgestellt werden. Es ist zum Beispiel möglich, auf dem Display 5 das Bild eines Taktstabes anzuzeigen, der sich im korrekten Rhythmus bewegt. Es ist ebenfalls zulässig, eine Kombination aus Audio- und visuellen Mitteln zu verwenden, um dem Benutzer den Rhythmus anzuzeigen. In diesem Zusammenhang könnten die Töne eines Taktmessers oder rhythmische Begleittöne als die eingegebenen Hilfstöne vorgesehen werden.
- In der oben beschriebenen bevorzugten Ausführungsform macht sich das System die Information über den Beginn eines Taktes, welche der eingegebenen Hilfsrhythmusinformation entnommen ist, für die Durchführung des Segmentierungsprozesses zunutze. Es kann jedoch ebenso die Information, welche den Beginn eines Taktschlages anzeigt und der Hilfsrhythmusinformation entnommen ist, für die Durchführung des Segmentierungsprozesses verwendet werden.
- Die bevorzugte Ausführungsform setzt das Display 5 für die Ausgabe der Notendaten ein, jedoch kann an seiner Stelle ein Zeichendrucker verwendet werden.
- In der bevorzugten Ausführungsform führt die CPU 1 in Übereinstimmung mit den im Hauptspeicher 3 gespeicherten Programmen alle Verfahren aus. Dennoch können einige oder alle Verfahren mithilfe eines Hardware-Systems oder Untersystems ausgeführt werden. Mit Bezugnahme auf Figur 7, in der für die Bestandteile, die jenen in Figur 2 entsprechen, identische Bezugszeichen angeführt werden, können zum Beispiel die über die Eingabevorrichtung für akustische Signale 8 eingegebenen akustischen Signale, während sie durch den Verstärkerschaltkreis 11 geschickt werden, verstärkt und daran anschließend durch einen Vorfilter 12 kanalisiert und dann dem A/D-Wandler 13 zugeführt werden, wo sie in digitale Töne konvertiert werden. Die akustischen Signale, welche somit in digitale Signale konvertiert wurden, werden daraufhin für eine Autokorrelationsanalyse durch den signalverarbeitenden Prozessor 14 verarbeitet, welcher dabei die Tonhöheninformation extrahiert oder andernfalls die Tonstärkeninformation extrahieren kann, indem er die Signale verarbeitet, um ihre Quadratsumme zu finden, wobei die Tonhöheninformation oder, je nach Fall, die Tonstärkeninformation daraufhin an die CPU 1 geleitet werden kann, um sie mit dem Software-System zu verarbeiten. Als signalverarbeitender Prozessor 14, welcher für eine derartige Hardware-Konstruktion (11l bis einschließlich 14) zum Einsatz gelangen kann, kann ein Prozessor verwendet werden, der zur Durchführung der Echtzeit-Verarbeitung der Signale fähig ist und ferner mit den Signalen zur Einrichtung einer Schnittstelle mit dem Host-Rechner versehen ist (zum Beispiel µ-PD 7720, hergestellt von der Nippon Electric Corporation).
- Die bevorzugte Ausführungsform leistet den anfänglichen Segmentierungsprozeß auf der Basis der eingegebenen Hilfsrhythmusinformation und der Tonstärkeninformation, allerdings kann das System so angeordnet werden, daß es den Prozeß auf der Basis der eingegebenen Hilfsrhythmusinformation und der Tonhöheninformation leistet, bzw. kann es auch so ausgeführt werden, daß es den Prozeß auf der Basis der eingegebenen Hilfsrhythmusinformtion sowie der Tonstärkeninformation und der Tonhöheninformation leistet.
- Das System in Übereinstimmung mit der vorliegenden Erfindung ist so angeordnet, daß eine für den Bediener eingegebene Hilfsrhythmusinformation vorgesehen ist, wobei der Bediener die akustischen Signale eingibt und ihm somit ermöglicht wird, akustische Signale mit erhöhter Einfachheit einzugeben, so daß er die beabsichtigten akustischen Signale in bezug auf den Rhythmus genau eingeben kann, was zur Folge hat, daß die Durchführung der Segmentierung dieser akustischen Signale mit erhöhter Einfachheit erfolgt, und daß die Genauigkeit der Notendaten, die derart vorbereitet werden, positiv verbessert wird.
- Darüber hinaus ist das System auch so gestaltet, daß es die eingegebene Hilfsrhythmusinformation, welche für den Bediener vorgesehen ist, auf der gleichen Zeitachse aufzeichnet wie die akustischen Signale, so daß die derart aufgezeichnete Information für das Verfahren der Segmentierung verfügbar gemacht werden kann. Dieses Merkmal ermöglicht die Durchführung einer genauen Segmentierung, wodurch zur Genauigkeit der durch das System erzeugten Notendaten beigetragen wird.
- Obgleich die Erfindung in Verbindung mit der derzeit bevorzugten und praktisch durchführbaren Ausführungsform beschrieben wird, versteht es sich von selbst, daß die Erfindung nicht auf die offenbarte Ausführungsform beschränkt ist, sondern daß auch beabsichtigt ist, die unterschiedlichen Modifikationen und äquivalenten Vorrichtungen abzudecken, die mit dem Umfang der beigefügten Ansprüche in Einklang stehen.
Claims (12)
1. Verfahren zur automatischen Musiktranskribierung,
welches die folgenden Schritte umfaßt:
Eingeben von Rhythmusinformation (8; SP1, SP2);
Empfangen von akustischen Signalen (8; SP5-SP8);
Bereitstellen, gleichzeitig mit dem Empfang, von Information
über die Eingabe von Hilfsrhythmen, die mindestens eine
Information über das Tempo umfaßt (1, 10; SP4, SP5);
Speichern der akustischen Signale in einem Speicher (3, 6;
SP9);
Extrahieren von Tonhöheninformation aus den in dem Speicher
gespeicherten akustischen Signalen, welche die sich
wiederholenden Zyklen ihrer Wellenformen und ihrer Tonhöhe
wiedergibt, sowie Tonstärkeninformation, die aus der
Eingabeamplitude der akustischen Signale (1; SP21, SP22)
abgeleitet wird;
Segmentierung der akustischen Signale auf der Basis der
Tonhöhen- und/oder Tonstärkeninformation, wobei der
Segmentierungsvorgang das Teilen der akustischen Signale in
Abschnitte beinhaltet, von denen jeder als ein eine einzelne
relative musikalische Tonhöhe (1; SP23, SP24) bildender
Abschnitt betrachtet werden kann;
Identifizierung der Tonhöhe jedes der Segmente durch
Vergleich mit einer Achse der absoluten musikalischen Tonhöhe
(1; SP25-SP27); und
Anzeigen/Berichten der Ergebnisse der vorangegangenen
Schritte (5; SP31).
2. Verfahren zur automatischen Musiktranskribierung nach
Anspruch 1, bei dem der Bereitstellungsschritt das
Bereitstellen eines Audiosignals (5; SP10, SP11) umfaßt.
3. Verfahren zur automatischen Musiktranskribierung nach
Anspruch 1, bei dem der Bereitstellungsschritt das
Bereitstellen eines Videosignals (5; SP10, SP11) umfaßt.
4. Verfahren zur automatischen Musiktranskribierung nach
Anspruch 1, bei dem der Bereitstellungsschritt das
Bereitstellen sowohl eines Audio- als auch eines Videosignals
(5; SP10, SP11) umfaßt.
5. Verfahren zur automatischen Musiktranskribierung nach
einem der vorhergehenden Ansprüche, welches weiterhin
folgenden Schritt umfaßt: Speichern der Hilfsrhythmen in dem
Speicher auf der gleichen Zeitachse wie die akustischen
Signale (6; SP5-SP8) zu dem Zeitpunkt, an dem die
obengenannten akustischen Signale empfangen und gespeichert
werden.
6. Verfahren zur automatischen Musiktranskribierung nach
einem der vorhergehenden Ansprüche, bei dem der
Segmentierungsschritt die folgenden Schritte umfaßt:
1. Segmentieren der akustischen Signale, auf der Basis
der eingegebenen, in dem Speicher gespeicherten
Hilfsrhythmusinformation, in Abschnitte, von denen jeder als
ein ein und dieselbe relative musikalische Tonhöhe (SP23,
SP24) bildender Abschnitt betrachtet werden kann;
2. Segmentieren der akustischen Signale, auf der Basis
der Tonhöhen- und Tonstärkeninformation, in Abschnitte, von
denen jeder als ein ein und dieselbe relative musikalische
Tonhöhe (SP25) bildender Abschnitt betrachtet werden kann;
und
3. Anpassung an jene Abschnitte, die durch den ersten
und zweiten Schritt (SP26, SP27) in Segmente unterteilt
wurden.
7. System zur automatischen Musiktranskribierung, welches
folgendes umfaßt:
Mittel zum Eingeben von Rhythmusinformation (8; SP1, SP2);
Mittel zum Empfangen von zu transkribierenden akustischen
Signalen (8);
Mittel zum Bereitstellen von Information über Hilfsrhythmen
einschließlich einer Information über das Tempo, zu dem
Zeitpunkt, an dem die akustischen Signale empfangen werden
(1, 10);
einen Speicher (3, 6);
Mittel zum Verarbeiten und Speichern der akustischen Signale
und der Rhythmusinformation (1) in dem Speicher;
Tonhöhen- und Tonstärkenextraktionsmittel zum Extrahieren vom
Tonhöheninformation aus den im Speicher gespeicherten
akustischen Signalen, welche einen sich wiederholenden Zyklus
der Wellenformen der akustischen Signale und der relativen
musikalischen Tonhöhe dieser Signale wiedergibt, sowie
Tonstärkeninformation, die von der Eingangsamplitude der
akustischen Signale (7) abgeleitet wird;
Segmentierungsmittel zum Teilen der akustischen Signale in
Abschnitte, von denen jeder als ein eine relative
musikalische Tonhöhe bildender Abschnitt betrachtet werden
kann, wie sie auf der Basis der Tonhöhen- und/oder
Tonstärkeninformation (1) bestimmt wird; und
Musikintervall-Identifizierungsmittel zum Identifizieren der
relativen musikalischen Tonhöhe der obengenannten akustischen
Signale in bezug auf eine absolute Achse der musikalischen
Tonhöhe.
8. System zur automatischen Musiktranskribierung nach
Anspruch 7, welches desweiteren Mittel zur Bereitstellung der
eingegebenen Hilfsrhythmusinformation in Audioform (9, 10)
umfaßt.
9. System zur automatischen Musiktranskribierung nach
Anspruch 7, welches desweiteren Mittel zur Bereitstellung der
eingegebenen Hilfsrhythmusinformation in visueller Form (5)
umfaßt.
10. System zur automatischen Musiktranskribierung nach
Anspruch 7, welches desweiteren Mittel zur Bereitstellung der
eingegebenen Hilfsrhythmusinformation sowohl in Audio- als
auch in visueller Form (5, 9, 0) umfaßt.
11. System zur automatischen Musiktranskribierung nach einem
der Ansprüche 7 bis 10, bei dem die Verarbeitungs- und
Speichermittel Mittel zum Speichern der
Hilfsrhythmusinformation und der akustischen Signale in dem
Speicher auf der gleichen Zeitachse zu dem Zeitpunkt, an dem
die obengenannten akustischen Signale empfangen und in dem
Speicher (3, 6) gespeichert werden, aufweisen.
12. System zur automatischen Musiktranskribierung, nach
Anspruch 11, bei dem das Segmentierungsmittel folgendes
umfaßt:
ein erster Segmentierungsabschnitt zum Segmentieren der
akustischen Signale, auf der Basis der eingegebenen, in dem
Speicher gespeicherten Hilfsrhythmusinformation, in
Abschnitte, von denen jeder als ein ein und dieselbe relative
musikalische Tonhöhe (SP23, SP24) bildender Abschnitt
betrachtet werden kann;
ein zweiter Segmentierungsabschnitt zum Segmentieren der
akustischen Signale, auf der Basis der Tonhöhen- und
Tonstärkeninformation, in Abschnitte, von denen jeder als ein
ein und dieselbe relative musikalische Tonhöhe bildender
Abschnitt betrachtet werden kann; und
ein dritter Segmentierungsabschnitt zur Anpassung an jene
Abschnitte, die durch die ersten und zweiten
Segmentierungsabschnitte in Segmente unterteilt sind (SP26,
SP27).
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP63275740A JP3047068B2 (ja) | 1988-10-31 | 1988-10-31 | 自動採譜方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE68911858D1 DE68911858D1 (de) | 1994-02-10 |
DE68911858T2 true DE68911858T2 (de) | 1994-05-26 |
Family
ID=17559732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE68911858T Expired - Fee Related DE68911858T2 (de) | 1988-10-31 | 1989-10-30 | Verfahren und Vorrichtung zum automatischen Transkribieren. |
Country Status (6)
Country | Link |
---|---|
EP (1) | EP0367191B1 (de) |
JP (1) | JP3047068B2 (de) |
KR (1) | KR920007206B1 (de) |
AU (1) | AU631573B2 (de) |
CA (1) | CA2001923A1 (de) |
DE (1) | DE68911858T2 (de) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69423838T2 (de) * | 1993-09-23 | 2000-08-03 | Xerox Corp., Rochester | Semantische Gleichereignisfilterung für Spracherkennung und Signalübersetzungsanwendungen |
US7386357B2 (en) * | 2002-09-30 | 2008-06-10 | Hewlett-Packard Development Company, L.P. | System and method for generating an audio thumbnail of an audio track |
GB0229940D0 (en) * | 2002-12-20 | 2003-01-29 | Koninkl Philips Electronics Nv | Audio signal analysing method and apparatus |
US8208643B2 (en) | 2007-06-29 | 2012-06-26 | Tong Zhang | Generating music thumbnails and identifying related song structure |
CN109979483B (zh) * | 2019-03-29 | 2020-11-03 | 广州市百果园信息技术有限公司 | 音频信号的旋律检测方法、装置以及电子设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2279290A1 (fr) * | 1974-07-15 | 1976-02-13 | Anvar | Procede et dispositif pour realiser sur un ecran de television ou equivalent, l'affichage d'ideogrammes ou autres signes, et notamment de notations musicales |
JPS5924895A (ja) * | 1982-08-03 | 1984-02-08 | ヤマハ株式会社 | 楽譜表示装置における楽音情報の処理方法 |
US4510840A (en) * | 1982-12-30 | 1985-04-16 | Victor Company Of Japan, Limited | Musical note display device |
JPS6090376A (ja) * | 1983-10-24 | 1985-05-21 | セイコーインスツルメンツ株式会社 | 音声認識式音程学習装置 |
JPS6090396A (ja) * | 1983-10-24 | 1985-05-21 | セイコーインスツルメンツ株式会社 | 音声認識式音程採譜装置 |
US4771671A (en) * | 1987-01-08 | 1988-09-20 | Breakaway Technologies, Inc. | Entertainment and creative expression device for easily playing along to background music |
AU614582B2 (en) * | 1988-02-29 | 1991-09-05 | Nec Corporation | Method for automatically transcribing music and apparatus therefore |
-
1988
- 1988-10-31 JP JP63275740A patent/JP3047068B2/ja not_active Expired - Fee Related
-
1989
- 1989-10-30 DE DE68911858T patent/DE68911858T2/de not_active Expired - Fee Related
- 1989-10-30 EP EP89120118A patent/EP0367191B1/de not_active Expired - Lifetime
- 1989-10-30 AU AU43894/89A patent/AU631573B2/en not_active Ceased
- 1989-10-31 KR KR1019890015708A patent/KR920007206B1/ko not_active IP Right Cessation
- 1989-10-31 CA CA002001923A patent/CA2001923A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP0367191A3 (en) | 1990-07-25 |
JP3047068B2 (ja) | 2000-05-29 |
DE68911858D1 (de) | 1994-02-10 |
AU4389489A (en) | 1990-05-03 |
KR920007206B1 (ko) | 1992-08-27 |
EP0367191B1 (de) | 1993-12-29 |
KR900006908A (ko) | 1990-05-09 |
EP0367191A2 (de) | 1990-05-09 |
AU631573B2 (en) | 1992-12-03 |
CA2001923A1 (en) | 1990-04-30 |
JPH02120893A (ja) | 1990-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE10232916B4 (de) | Vorrichtung und Verfahren zum Charakterisieren eines Informationssignals | |
EP1371055B1 (de) | Vorrichtung zum analysieren eines audiosignals hinsichtlich von rhythmusinformationen des audiosignals unter verwendung einer autokorrelationsfunktion | |
DE69907498T2 (de) | Verfahren zur schnellen erfassung der tonhöhe | |
DE102004049457B3 (de) | Verfahren und Vorrichtung zur Extraktion einer einem Audiosignal zu Grunde liegenden Melodie | |
DE10117870B4 (de) | Verfahren und Vorrichtung zum Überführen eines Musiksignals in eine Noten-basierte Beschreibung und Verfahren und Vorrichtung zum Referenzieren eines Musiksignals in einer Datenbank | |
DE3878541T2 (de) | Verfahren und einrichtung, um ein markov-modell-referenzmuster von woertern zu erzeugen. | |
EP2099024B1 (de) | Verfahren zur klangobjektorientierten Analyse und zur notenobjektorientierten Bearbeitung polyphoner Klangaufnahmen | |
DE2659096C2 (de) | ||
DE69732311T2 (de) | Verfahren zur Erzeugung von Musiktönen | |
EP1388145B1 (de) | Vorrichtung und verfahren zum analysieren eines audiosignals hinsichtlich von rhythmusinformationen | |
DE60315880T2 (de) | Datenerzeugungseinrichtung und verfahren für musikkompositionen | |
DE3733659C2 (de) | ||
EP1787283A1 (de) | Extraktion einer einem audiosignal zu grunde liegenden melodie | |
DE10157454B4 (de) | Verfahren und Vorrichtung zum Erzeugen einer Kennung für ein Audiosignal, Verfahren und Vorrichtung zum Aufbauen einer Instrumentendatenbank und Verfahren und Vorrichtung zum Bestimmen der Art eines Instruments | |
DE68911858T2 (de) | Verfahren und Vorrichtung zum automatischen Transkribieren. | |
DE102004028693B4 (de) | Vorrichtung und Verfahren zum Bestimmen eines Akkordtyps, der einem Testsignal zugrunde liegt | |
DE60214409T2 (de) | Verfahren und vorrichtung zur zweiphasen-grundfrequenzdetektion | |
DE10117871C1 (de) | Verfahren und Vorrichtung zum Extrahieren einer Signalkennung, Verfahren und Vorrichtung zum Erzeugen einer Datenbank aus Signalkennungen und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals | |
DE68907616T2 (de) | Verfahren und Gerät zur Musiktranskribierung. | |
DE102004033867B4 (de) | Verfahren und Vorrichtung zur rhythmischen Aufbereitung von Audiosignalen | |
EP1671315B1 (de) | Vorrichtung und verfahren zum charakterisieren eines tonsignals | |
DE69633757T2 (de) | Spracherkenner | |
DE102006014507B4 (de) | Verfahren und Vorrichtung zur Klassifikation und Beurteilung von Musikinstrumenten gleicher Instrumentengruppen | |
EP1381024B1 (de) | Verfahren zum Auffinden einer Tonfolge |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |