DE69716848T2

DE69716848T2 - System zum Simulieren von Dirigieren

Info

Publication number: DE69716848T2
Application number: DE69716848T
Authority: DE
Inventors: Yasunari Itoh; Hiroyuki Kiyono
Original assignee: PFU Ltd
Current assignee: PFU Ltd
Priority date: 1996-09-13
Filing date: 1997-01-29
Publication date: 2003-03-20
Anticipated expiration: 2017-01-30
Also published as: EP0829847A1; US5890116A; EP0829847B1; DE69716848D1

Description

ZUSAMMENFASSUNG DER OFFENBARUNG

Die Erfindung betrifft ein System, das gemäß einem Dirigat Ausdrucksweisen an Stimmen und/oder Bilder zuteilen kann, bei dem folgend der Wiedergabe von Stimmen und/oder Bildern in Echtzeit auf der Grundlage von einem der Parameter wie dem Tempo, der Amplitude, der Akzentsetzung und Betonung, die anhand einer Bewegung einer Eingangsvorrichtung erfasst werden, oder einer Kombination derselben Ausdrucksweisen an Stimmen und/oder Bilder zugeteilt werden, mit:
einer Einrichtung zum Erfassen von Parametern wie dem Tempo, der Amplitude, der Akzentsetzung und Betonung anhand einer Bewegung einer Eingangsvorrichtung, und
einer Einrichtung zum Wiedergeben von Stimmen und/oder Bildern in Echtzeit in einer solchen Weise, dass den Parametern wie dem Tempo, der Amplitude, der Akzentsetzung und Betonung oder einer Kombination derselben gefolgt wird.

HINTERGRUND DER ERFINDUNG

GEBIET DER ERFINDUNG

Die Erfindung betrifft ein System zum Zuteilen von Ausdrucksweisen an Stimmen und/der Bilder gemäß einem Dirigat.

BESCHREIBUNG DES STANDES DER TECHNIK

Jedermann weiß, dass es mehr Spaß bereitet, selbst Musik zu machen als nur Musik zu hören. Ohne die Fähigkeit, ein Musikinstrument zu beherrschen, wäre es jedoch schwer, Musik zu machen. Die meisten Leute verspüren einen Widerstand dagegen, mit Kindern zusammen eine Musikschule zu beginnen. In den letzten Jahren findet Desktop-Musik (DTM), welches Neulingen erlaubt, auf einem Personalcomputer Musik zu spielen, das Interesse der Leute. Selbst mit DTM ist jedoch eine Kenntnis der Notenschrift erforderlich. Ferner ist die Kenntnis von für DTM wichtigen Techniken wie etwa des MIDI-Formats (Musical Instrument Digital Interface) als Standard-Musikformat in der Welt der Computermusik wichtig.
Die folgenden Verfahren zum Zuteilen von Ausdrucksweisen wie etwa Lautstärke und Tempo der Wiedergabe an Musik- oder Trickfilmdaten, die von Zeit zu Zeit wiedergegeben werden, sind bisher bekannt.
1) Ein Verfahren, bei welchem der Bedienende Ausdrucksdaten an Musik- oder Trickfilmdaten unter Verwendung einer Schieber- oder Pedalsteuerung zuteilt.
2) Ein Verfahren, das statistisch Daten ausgibt, indem Graphen und numerische Daten auf dem Computerbildschirm dargestellt werden.
Zum vorgenannten Verfahren (1) benötigt man eine Schieber- oder Pedalsteuerung. Ferner müssen zum Setzen von zu vielen Parametern gleichzeitig zu viele Steuerer eingesetzt werden, was es erschwert, das System zu bedienen und zu beherrschen, wie die Parameter zu setzen sind.
Zum vorgenannten Verfahren, (2) müssen hingegen Daten vorab statistisch vorgegeben sein. Dies erschwert es, nach Wunsch an Stimmen und/oder Bilder Ausdrucksweisen zuzuteilen, weil es ohne ausreichende Kenntnis nicht möglich ist vorherzusagen, welche Ausdrucksweisen von diesen Daten bereitgestellt werden.
3) Ein System zum Zuteilen gemäß einem Dirigat nach der WO-A-9322762, das als Eingangsvorrichtung beispielsweise eine Videokamera verwendet, um die Bewegungen des Benutzers zu erfassen.

ZUSAMMENFASSUNG DER ERFINDUNG

Es ist ein erstes Ziel der Erfindung, Ausdrucksweisen bereitzustellen folgend der Wiedergabe von Stimmen und/oder Bildern in Echtzeit auf der Grundlage von einem der Parameter wie dem Tempo, der Amplitude, der Akzentsetzung, die anhand den Bewegungen einer Eingangsvorrichtung erfasst werden, oder einer Kombination derselben.
Es ist ein zweites Ziel der Erfindung, die Wiedergabe von Stimmen und/oder Bildern synchron mit einem Liedzeiger zu beginnen.
Es ist ein drittes Ziel der Erfindung, Schlag- oder Bödenpunkte durch Analyse der Bewegung einer von der Eingangsvorrichtung gezeichneten graphischen Form einzuschätzen, um das vorgenannte Tempo und die vorgenannte Akzentsetzung zu bestimmen.
Es ist ein viertes Ziel der Erfindung, die Bewegung einer von der Eingangsvorrichtung gezeichneten graphischen Form zu analysieren, um die Größe der graphischen Form zu bestimmen und dadurch die vorgenannte Amplitude zu bestimmen.
Es ist ein fünftes Ziel der Erfindung, zu bewirken, dass eine Wiedergabeeinrichtung zum Wiedergeben von Stimmen und/oder Bildern in Echtzeit Akzentdaten empfängt, die die analytischen Ergebnisse der Bewegung einer graphischen Form zum Vorbereiten interner Daten beschreiben, und die vorgenannten Stimmen und/oder die vorgenannten Bilder durch Interpretieren der internen Daten wiederzugeben.
Es ist ein sechstes Ziel der Erfindung, es zu ermöglichen, dass Stimmen und/oder Bilder im Probenmodus oder im Konzertmodus wiedergegeben werden.

KURZE BESCHREIBUNG DER ZEICHNUNG

Fig. 1 ist ein Schaubild, das die Systemanordnung bei der Erfindung darstellt.
Fig. 2 ist ein Schaubild, das ein typisches Display im Probenmodus darstellt.
Fig. 3 ist ein Schaubild, das ein typisches Display im Konzertmodus darstellt.
Fig. 4 ist ein Flussschaubild, das die Vorgehensweise bei dieser Erfindung darstellt.
Fig. 5 zeigt typische Schritte beim Dirigieren für Musiker.
Fig. 6 zeigt die vertikale Bewegung eines Mauscursors.
Fig. 7 zeigt einen, Geschwindigkeitsgraphen eines Mauscursors.
Fig. 8 ist ein Hilfsschaubild zum Erklären der Berechnung des Tempos im Stand der Technik.
Fig. 9 ist ein Hilfsschaubild zum Erklären der Berechnung des Tempos bei der Erfindung.
Fig. 10 ist ein Hilfsschaubild zum Erklären der Dateidaten bei der Erfindung.
Fig. 11 ist ei Hilfsschaubild zum Erklären der internen Daten bei der Erfindung.
Fig. 12 ist ein Flussschaubild für das Lesen von Daten gemäß der Erfindung.
Fig. 13 zeigt ein typisches Datenformat von Akzentdaten gemäß der Erfindung.
Fig. 14 ist ein Flussschaubild betreffend die Vorgehensweise bei der Wiedergabe bei der Erfindung.
Fig. 15 ist ein Flussschaubild betreffend das Neusetzen von Parametern beim Ausführen von Schritten bei der Erfindung.
Fig. 16 ist ein Flussschaubild betreffend die Vorgehensweise beim Weiterführen eines Liedzeigers, wenn die Atmung angegeben wird.
Fig. 17 zeigt ein typisches Display für einen Trickfilm bei der Erfindung.
Fig. 18 zeigt eine Serie von Bildgruppen.

AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN

Zu Anfang wird unter Bezug auf Fig. 1 eine Einrichtung zum. Lösen der Probleme skizziert.
In Fig. 1 wird eine Eingangsvorrichtung 1 zum Eingeben von Bewegungen wie beispielsweise die Trajektorie und die Bewegungen eines. Mauscursors verwendet.
Es wird eine Schnittstelle 2 verwendet, um aus der Bewegung der Eingangsvorrichtung 1 die Parameter Tempo, Amplitude, Akzentsetzung und Betonung oder Kombinationen von diesen zu erfassen.
Es wird ein Prozessor 3 verwendet, um den von der Schnittstelle bereitgestellten Parametern folgend Stimmen und/oder Bilder wiederzugeben.
Es wird eine Wiedergabe-/Aufnahmeeinheit 4 verwendet, um gemäß einer Anweisung zum Wiedergeben von Stimmen und/oder Bildern, die vom Prozessor 3 gegeben wird, auf einem Display 5 etwas anzuzeigen, über einen Lautsprecher 6 etwas auszugeben oder Stimmen und/oder Bilder aufzunehmen.
Es wird ein Display 5 zum Anzeigen von Bildern verwendet. Es wird ein Lautsprecher 6 zum Wiedergeben von Stimmen verwendet.
Ein Stimmspeicher 7 speichert ein vorhandenes Musikstück beispielsweise im MIDI-Format. Ein Bildspeicher 8 speichert beispielsweise Bilder mit Szenen aus einem Orchesterkonzert oder einen Trickfilm.
Die Schnittstelle 2 erfasst Parameter wie das Tempo, die Amplitude, die Akzentsetzung und Betonung anhand von Bewegungen der Eingangsvorrichtung 1; der Prozessor gibt Stimmen und/oder Bilder in Echtzeit an die Wiedergabe-/Aufnahmeeinheit 4 in einer solchen Weise aus, dass den erfassten Parametern wie dem Tempo, der Amplitude, der Akzentsetzung und Betonung gefolgt wird, um Bilder auf dem Display 5 anzuzeigen oder Stimmen über den Lautsprecher 6 auszugeben.
Dann können Noten betreffend die wiedergegebene Stimme zusammen mit dem in Echtzeit wiedergegebenen und angezeigten Bild in einem Notenliniensystem angezeigt werden, wobei sich ein Liedzeiger mit dem Fortschreiten der wiedergegebenen Stimmein seiner Stellung im Notenliniensystem bewegt.
Die Schnittstelle 2 ist dazu ausgelegt, anhand der Wiederholungsfrequenz der Bewegungen der Eingangsvorrichtung das Tempo zu erfassen.
Ferner ist die Schnittstelle 2 dazu ausgelegt, die Amplitude anhand der maximalen Auslenkung bei der Bewegung der Eingangsvorrichtung 1 zu erfassen.
Die Schnittstelle 2 ist auch dazu ausgelegt, eine Akzentsetzung durch Extrahieren des Anfangspunkts der Bewegungen der Eingangsvorrichtung 1 bereitzustellen.
Die Schnittstelle 2 ist auch dazu ausgelegt, die Betonung anhand der maximalen Geschwindigkeit und Auslenkung der Bewegungen der Eingangsvorrichtung 1 zu erfassen. Ferner wird die Wiedergabe wieder aufgenommen, indem in Antwort auf eine von der Eingangsvorrichtung 1 gegebene Anweisung zum Atmen der Liedzeiger auf die Neubeginnstellung bewegt wird.
Dies alles erlaubt es, dass folgend der Wiedergabe von Stimmen und/oder Bildern in Echtzeit auf der Grundlage von den Parametern wie dem Tempo, der Amplitude, der Akzentsetzung und Betonung, die anhand einer Bewegung der Eingangsvorrichtung 1 erfasst werden, Ausdrucksweisen zugeteilt werden.
Im folgenden werden Ausführungsformen der Erfindung ausführlicher beschrieben.
Das erfindungsgemäße System zum Zuteilen gemäß einem Dirigat ist ein Werkzeug zum Machen von Musik durch Dirigieren eines virtuellen Orchesters mit einem virtuellen Taktstock. Diese Erfindung erlaubt es, Musik virtuell zu dirigieren, indem das Tempo, die Lautstärke etc. beispielsweise aus der von einer Maus, welche zum Simulieren der Bewegung eines Taktstocks bewegt wird, gezogenen Trajektorie berechnet wird.
Die Merkmale der Erfindung können wie folgt zusammengefasst werden.
1) Software zum Dirigieren von Musik in virtueller Weise durch Betätigen einer Eingangsvorrichtung wie etwa einer Maus.
Das herausragendste Merkmal dieser Erfindung besteht darin, dass man sein eigenes Gefühl von Musik direkt in Form des Dirigierens von Musik durch Verwenden einer Eingangsvorrichtung wie etwa einer Maus, die üblicherweise in Verbindung mit Datenverarbeitungseinheiten verwendet wird, ausdrücken kann. Die Verwendung von im Handel erhältlicher' Sequencer-Software ermöglicht natürlich ein Ändern musikalischer Elemente wie dem Tempo und der Lautstärke. Dieses herkömmliche Sequencer-Verfahren, welches die direkte Eingabe von numerischen Werten umfasst, ist jedoch überhaupt nicht in Echtzeit betreibbar und vom Fühlen von Musik im Körper sehr fern.
Außerdem hat diese Erfindung einen großen, bei herkömmlicher DTM-Software nicht zu findenden Vorteil, der darin besteht, dass zum Dirigieren von Musik außer dem Bewegen einer Maus keine anderen Maßnahmen erforderlich sind, und dass es nicht notwendig ist, Musikinstrumente oder die Notenschrift zu kennen.
2) Übernahme des Standard-MIDI-Formats für Musikdaten Diese Erfindung verwendet MIDI, das Standardformat für Musikdaten. Musikdateien jeder Art, von klassischer Musik zum Heavy-Metal-Rock, auf der Grundlage von MIDI sind durch das Gewinnen eines Zugriffs auf das WWW im Internet oder in Onlinediensten erhältlich. Es besteht daher kein Mangel an Quellen für Musik. Alle durch Dirigieren eines virtuellen Orchesters im Computer erhaltenen Musikdaten können in MIDI-Dateien abgelegt und überall in die Welt hin gesendet werden.
3) Es kann aus zwei Dirigiermoden ausgewählt werden. Bei einer Ausführungsform der Erfindung stehen für Dirigiervorgänge im Konzert- und Probenmodus zwei Bildschirme zur Verfügung.
Fig. 2 zeigt einen typischen Probenmodus-Bildschirm, auf dem Geigenteile I und II von Rahmen umgeben sind, wie es notwendig ist, damit nur diese von den Rahmen umgebenen Geigenteile wahlweise dirigiert werden können, um ihr Tempo und ihre Amplitude zu ändern.
Fig. 3 zeigt einen typischen Konzertmodus-Bildschirm, welcher eine Konzertszene darstellt, so dass das ganze Orchester dirigiert werden kann.
Für beide Bildschirme sind die Dirigiervorgänge nahezu gleich, das Dirigieren kann aber in unterschiedlicher Weise erfahren werden.
In den Fig. 2 und 3 ist ein Bildsymbol oder Icon, das eine Hand mit einem Taktstock darstellt, auf dem Schirm gezeigt. Dieses Icon bewegt sich auf dem Schirm in nahezu derselben Weise, wenn der Bediener eine Eingangsvorrichtung wie eine Maus betätigt, wodurch der Eindruck vermittelt wird, als wenn die "Hand mit dem Taktstock" Musik dirigiert.
Im Probenmodus wird eine Probensitzung eines Orchesters simuliert, und jeder Teil wird aus dem Orchester ausgegliedert, um für diesen Teil vorab die Amplitude und das Tempo zu setzen. Dieser Modus ist durch eine hohe Genauigkeit beim Folgen von Dirigiervorgängen ausgezeichnet, um einen freien musikalischen Ausdruck zu gewährleisten.
Im Konzertmodus kann ein Trickfilm oder ein Ruhebild (wie eine Szene aus einer Orchesterdarbietung) synchron mit der Musik gezeigt werden. In diesem Modus wird ein ganzes Musikstück gespielt und dirigiert, wobei sich Bildschirme nur über eine begrenzte Dauer, z. B. 5 Minuten, hinweg ändern, und es besteht kein Bedarf zum Bereitstellen von animierten Bildschirmen, auf denen Dirigiervorgängen direkt gefolgt wird.
Fig. 4 ist ein Flussschaubild, das im Detail die Vorgehensweise der gesamten Anordnung der in Fig. 1 gezeigten Erfindung darstellt.
In Fig. 4 erfolgt im Schritt S1 eine Initialisierung. Dies bedeutet, dass Parameter (Tempo, Amplitude, Akzentsetzung, Betonung etc.) initialisiert werden.
Im Schritt S2 werden Stimm-, und Bilddaten gelesen. Beispielsweise werden in Fig. 10 gezeigte Dateidaten, die später beschrieben werden, gelesen.
Im Schritt S3 wird ein initialisierter Liedzeiger angezeigt. Dies bedeutet, dass eine vorbestimmte Wartezeit angegeben wird, indem der Wartezeit (t1) ein Wert von -1 gegeben wird, und der Liedzeiger wird dazu gebracht. Führungsdaten zu zeigen, wie sie im Liedzeigeranzeigebereich im oberen Teil von Fig. 17, die später beschrieben wird, gezeigt sind.
Im Schritt S4 zeigt der Prozessor 3 ein Anfangsbild an. Im Falle eines Trickfilmbilds wird beispielsweise ein Anfangsbild, wie es in der Mitte von Fig. 17, die später beschrieben wird, gezeigt ist, angezeigt.
Durch Durchlaufen der Schritte S1 bis S4 wird ein Anfangsbild auf dem Display 5 angezeigt.
Im Schritt S5 wird aus der Eingangsvorrichtung 1 heraus eine Anweisung für eine Wiedergabe gegeben. Dadurch wird die Wartezeit (t1 = -1), die im Schritt S3 definiert wurde, in t1 = 0 geändert, um den Wartezustand auszuschalten, wodurch das Verfahren zum Schritt S8 weitergeht. Das heißt, dass der Schritt S5 den Anfang für die Musik und Akzentsetzung gibt. Im Schritt S6 wird eine Anweisung zum Atmen von der Eingangsvorrichtung 1 ausgegeben, wenn Anlass dazu gegeben ist. Dadurch wird bewirkt, dass die Schnittstelle 2 den Liedzeiger im Schritt S7 auf die Neubeginn-Stellung voranbewegt, wodurch das Verfahren zum Schritt S8 übergeht.
Im Schritt S8 bleibt der Prozessor 3 für t1 im Wartezustand. Ist t1 = 0, dann beginnt der Prozessor 3.
Im Schritt S9 wird der Liedzeiger aktualisiert. Das bedeutet, dass wenn eine Anweisung für eine Wiedergabe gegeben wird, bei der Vorgehensweise wieder fortgeschritten wird, indem der Liedzeiger auf die Anfangs- oder Ürsprungsstellung verbracht wird und der Liedzeiger an einen Pausenpunkt gebracht wird, wenn eine Anweisung zum Atmen gegeben wird.
Im Schritt S10 erfolgt die Zuteilung gemäß einem Dirigat unter Verwendung der Eingangsvorrichtung 1.
Im Schritt S11 werden Parameter (Zeit, Amplitude, Akzentsetzung und Betonung)der Bewegung der Eingangsvorrichtung aktualisiert, wenn die Schnittstelle 2 diese Parameter erfasst, um auf die Zuteilung gemäß einem Dirigat im Schritt S10 zu antworten. Im Schritt S12 werden Klang- und Bildausgaben erzeugt. Das bedeutet, dass Klang reproduziert und/oder ein Bild angezeigt wird in einer solchen Art und Weise, dass den Parametern, die im Schritt S11 aktualisiert wurden, gefolgt wird.
Im Schritt S13 wird die Echtzeit für die nächste Ausführung aktualisiert, und im Verfahren wird zum Schritt S8 zurückgekehrt, um die Schritte S8, S9, S12 und S13 zu wiederholen.
Mit der vorgenannten Vorgehensweise erfolgt die Klangwiedergabe und/oder Bildanzeige anhand von Standardparametern (Tempo, Amplitude, Akzentsetzung und Betonung), um auf eine Anweisung zum Wiedergeben in dem Zustand zu antworten, in welchem der Anfangsschirm angezeigt wird; und beim Zuteilen gemäß einem Dirigat werden die anhand der Bewegung beim Dirigiervorgang erfassten Parameter aktualisiert, und Klangwiedergabe und Bildanzeige ändern sich in Echtzeit mit den aktualisierten Parametern. Dies ermöglicht es. Klang und Bild anhand den aus dem Dirigiervorgang in Echtzeit erfassten Parametern wiederzugeben, so dass dem wiedergegebenen Klang und Bild Ausdrucksweisen zugeteilt werden können.
Im folgenden wird der im Zusammenhang mit Schritt S10 erwähnte Dirigiervorgang unter Bezug auf Fig. 4 beschrieben.
Beim Dirigieren eines Musikstücks gibt ein Dirigent gewöhnlicher Weise eine Vielzahl von Anweisungen. Außer von den vom Dirigenten gegebenen Anweisungen lassen sich die Spieler beim Spielen davon leiten, wie der Konzertmeister mit seinem Bogen streicht, sie hören auf den Klang, den sie selbst und andere Spiele erzeugen, wobei sie diese Informationen wieder in ihr Gehirn zurückleiten. Gegenwärtig ist es schwierig, dieses komplizierte System zu simulieren, aber das System zum Zuteilen gemäß einem Dirigat spielt ein Musikstück, indem es die vom Bediener erzeugten graphischen Dirigierformen auswertet, d. h. die graphischen Dirigierformen, welche von dem Mauscursor, der einen Dirigierstock simuliert, gezeichnet werden.
Was ein Dirigent durch Dirigieren graphischer Formen ausdrückt ist das folgende:
1. Tempo eines Musikstück
2. Akzentsetzung
3. Lautstärke
Bei dieser Erfindung werden das Tempo, die Akzentsetzung, die Betonung und die Lautstärke, welche während des Spielens eines Musikstücks den Gefühlsausdruck beeinflussen, in Echtzeit gesteuert, indem die von der Trajektorie des Mauscursors gebildete graphische Dirigierform analysiert wird.
Um die graphische Dirigierform auszuwerten, sind die Kenntnis der üblicherweise von Dirigenten verwendeten graphischen Dirigierformen und der Geschichte und der Eigenarten von graphischen Dirigierformen wesentlich.
Fig. 5 zeigt typische graphische Dirigierformen für Zweier-, Dreier- und Vierertakte. Diese graphischen Dirigierformen bestehen aus einer Kombination von mehreren Dirigiervorgängen. Diese Erfindung analysiert graphische Dirigierformen, indem gemeinsame Komponenten von Dirigiervorgängen erkannt und extrahiert werden, anstatt dass einzelne Dirigiervorgänge getrennt erkannt werden.
Bei Dirigier-Grundvorgängen beginnt ein einzelner Dirigiervorgang einen halben Schlag (Auftakt) vor einer beabsichtigten Zeitangabe (Abwärtsschlag). Nachdem die Zeitangabe des Abwärtsschlags gegeben wurde, endet mit diesem Abwärtsschlag der Dirigiervorgang. Anschließend beginnt der nächste Dirigiervorgang. Mit der Zeitangabe des Abwärtsschlags können sich Geschwindigkeit und Richtung schnell ändern, oder die Geschwindigkeit kann nach und nach das Maximum erreichen. Die am weitesten unten gelegene Stelle in einer graphischen Form wird aber als Zeitangabe der Anweisung betrachtet. Den Anfangs- und Endstellungen werden die höchsten Stellungen in ihrer Nähe zugeordnet.
Der den Abwärtsschlag angebende Punkt wird mit den Begriffen der Musik-Dirigiermethode häufig als Schlag- oder Bodenpunkt bezeichnet. Ein Dirigent bestimmt die Zeitangabe für das Musikspiel mit einem Schlag- oder Bodenpunkt und das Tempo der Musik durch ein Intervall zwischen den Schlag- und Bodenpunkten. Bei dieser Erfindung wird der Anfangs- oder Endpunkt (die den Verbindungspunkt zweier Dirigiervorgänge oder den Auftakt repräsentieren) von Dirigiervorgängen als Schlagpunkt bezeichnet, und der den Abwärtsschlag repräsentierende Punkt wird als Bodenpunkt bezeichnet; und die Zeitangabe und das Tempo werden durch Erfassen und Vohersagen dieser Zeitangaben gesteuert.
Der Dirigent bestimmt die Lautstärke durch die Größe der von einem Dirigierstock gezeichneten graphischen Form. Bei dieser Erfindung, die darauf abzielt, eine Steuerung mit einer Antwortzeit von weniger als einer Schlagzeit zu erlangen, wird die Lautstärke durch die Größe der einzelnen Dirigiervorgänge gesteuert. Ein Problem besteht hier darin, dass sich die Form und die Größe von Dirigiervorgängen in einer graphischen Form mit der Anzahl der Schläge ändern. Ein Steuern der Lautstärke, ohne dass diese Faktoren berücksichtigt würden, könnte unnatürliche taktweise periodische Änderungen der Lautstärke bewirken.
Im folgenden wird das Verfahren zum Analysieren von Veränderungen der Koordinaten einer Maus mit der Zeit und des Extrahierens von Schlag- und Bodenpunkten, von Tempo- und Lautstärkeelementen beschrieben.

1. Bestimmen der Beziehung zwischen Dirigiervorgängen und Trefferpunkten

Der erste Schritt beim Analysieren eines mittels einer Maus vorgegebenen Dirigiervorgangs besteht darin, aus einer von einer Maus gezeichneten graphischen Dirigierform einen Schlag- oder Bodenpunkt vorherzusagen. Bei Ausführungsformen dieser Erfindung wird nur die vertikale Bewegung eines Mauscursors auf dem Computerbildschirm als den Schlag- und die Bodenpunkte bestimmend angesehen, und die horizontale Bewegung eines Mauscursors wird beim Erkennen der Schlag- und Bodenpunkte nicht berücksichtigt. Dies bedeutet, dass weil die Schlagzeitangabe vom niedrigsten Punkt eines Taktstocks repräsentiert wird und der Auftakt, der eine Zeitangabe ist, die durch Halbieren eines Intervalls zwischen Schlägen erhalten wird, im Standardmuster von Dirigiervorgängen vom höchsten Punkt des Taktstocks repräsentiert wird, die Schlag- und Bodenpunkte durch Analysieren der vertikalen Bewegung des Mauscursors auf dem Bildschirm erkannt werden.
Fig. 6 ist ein Graph, in welchem die vertikale Bewegung eines Mauscursors gegen die Zeit auf getragen ist, wenn ein Bediener beim Hören eines Musikstücks die Maus regelmäßig zum Takt der Musik bewegt.
Die Figur enthüllt die folgenden Tatsachen.
1. Im Windows-Betriebssystem tritt der Vorgang des Erkennens der Bewegung des Cursors in Schritten von etwa 20 bis 30 Millisekunden auf. Auch wenn sich dies natürlich in Abhängigkeit von der Systemanordnung und der Bedingung für die Aufgabe ändert, fällt das Zeitintervall grob in diesen Bereich.
2. Da die Fortbewegungsgeschwindigkeit der Maus in den höchsten und niedrigsten Werten in der vertikalen Richtung auf dem Schirm ihr Minimum erreicht, verdichten sich die erfassten Vorgangspunkte. Da außerdem die Neigung der Kurve in der Nähe dieser Werte sehr gering wird, kann eine Mehrzahl der erfassten Betriebspunkte über Zeitspannen von etwa 50 Millisekunden horizontale Linien bilden, wie es in Fig. 6 gezeigt ist.
Daraus folgt, dass das Setzen der Schlag- und Bodenpunkte aus den Zeiten, zu denen die vertikale Cursorbewegung den minimalen oder maximalen Wert erreicht, die folgenden Nachteile bewirken könnte:
1. Auch wenn eine Genauigkeit für eine Gruppe von 12 Noten so sein muss, dass man eine Triole von einer Sechzehntel-Note unterscheiden kann, beträgt die Genauigkeit eines Tempos mit 120 Schlägen pro Minute (nahezu das Tempo eines Marsches) 40 Millisekunden. Die Verwendung einer Abfragezeit, bei der die vertikale Cursorbewegung das Minimum oder Maximum erreicht, mit einer Genauigkeit von 20 Millisekunden, würde bei der Wiedergabe von Musik Probleme bereiten.
2. Da es mehrere Punkte mit ähnlichen vertikalen Koordinatenwerten in der Nähe der maximalen und minimalen Cursorbewegungswerte gibt, ist es schwierig, die genaue Zeit abzuschätzen, zu der die vertikale Cursorbewegung den maximalen oder minimalen Wert erreicht, auch wenn Nachbarpunkte berücksichtigt werden.
Aus diesen Gründen ist es nicht angemessen, diejenigen Punkte als Schlag- oder Bodenpunkte zu verwenden, an denen die vertikale Cursorbewegung ein Maximum oder Minimum erreicht.
Fig. 7 ist ein Graph, auf dem die Geschwindigkeit eines Cursors auf dem Computerbildschirm in der vertikalen Richtung auf der Grundlage der in Fig. 6 gezeigten Daten aufgetragen ist.
Die Figur enthüllt die folgenden Tatsachen.
1) In der Nachbarschaft der maximalen oder minimalen Geschwindigkeit der Cursorbewegung bilden drei Messpunkte, dabei die vorangehenden und nachfolgenden Punkte eine Form, die einem gleichschenkligen Dreieck mit einer scharfen Spitze im mittleren Punkt nahekommt.
2) Wie durch den Buchstaben a in der Figur angezeigt ist, können mehrere Punkte enthalten sein, die niemals ein Dreieck bilden. Ferner kann man diese Punkte oft in der Nähe der Spitze finden.
Angesichts der Tatsache, dass der in Fig. 7 gezeigte Graph im allgemeinen scharfe Punkte aufweist, ist es klarerweise vorteilhafter. Schlag- und Bodenpunkte aus den Spitzen im Graphen aus Fig. 7 abzuschätzen, anstatt Schlag- und Bodenpunkte aus den Spitzen im Graphen aus Fig. 6 zu bestimmen. Es ist nicht notwendigerweise ausreichend, Schlag- und Bodenpunkte aus den Punkten zu bestimmen, an denen die vertikale Cursorgeschwindigkeit den maximalen oder minimalen Wert erreicht, weil die Kurve in der Nähe der Spitzen oft verzerrt ist.
Dementsprechend verwendet die Erfindung ein Verfahren zum Abschätzen von Schlag- und Bodenpunkten aus der Durchschnittsgeschwindigkeit, in einem Bereich von zwischen dem Punkt, an dem die Geschwindigkeit gleich Null ist, bis zu dem Punkt, an dem sie wieder Null wird, mit den Punkten, an denen die Geschwindigkeit der Cursorbewegung den maximalen oder minimalen Wert erreicht. Das bedeutet, dass Schlag- und Bodenpunkte bei dieser Erfindung auf der Grundlage der Zeit abgeschätzt werden, zu der die Geschwindigkeit der Cursorbewegung den maximalen oder minimalen Wert erreicht.

B. Berechnung des Tempos

Die Musikwiedergabe und Trickfilmbilder werden synchron mit den von dem Dirigenten gegebenen Schlag- und Bodenpunkten aktualisiert. Aus diesem Grund wird das Tempo bei dieser Erfindung auf der Grundlage des Zeitintervalls zwischen den Schlag- und Bodenpunkten in Echtzeit berechnet.
Zunächst wird beschrieben was passiert, wenn das Tempo mit dem einfachsten Verfahren zum Berechnen des Tempos aus den zuletzt erfassten Schlag- und Bodenpunkten berechnet wird.
Fig. 8 ist ein Schaubild, das beim Erklären der Geschwindigkeitsberechnung hilft. In Fig. 8 werden die zuletzt erfassten beiden Schlag- oder Bodenpunkte a und β bezüglich der Zeit T verwendet. Da Tempo die für einen Schlag erforderliche Zeit meint, wird das Tempo zur Zeit T gleich tt.
Das Einbeziehen des mittels dieses Verfahrens berechneten Tempos in Echtzeit der Musikwiedergabe zeigte an, dass das Tempo der Musik auf den von der Mausbewegung hervorgerufenen Dirigiervorgang zu schnell antwortet, um den Dirigiervorgang in Gang zu halten. Dies bedeutet, dass ein System zum Zuteilen gemäß einem Dirigat auf menschliche Dirigiervorgänge recht schleppend antworten muss. Insbesondere muss ein System zum Zuteilen gemäß einem Dirigat die folgenden Erfordernisse erfüllen.
1) Selbst wenn es Temposchwankungen gibt, sollte das System in der Lage sein, Musik ruhig zu spielen, wobei derartige Schwankungen unbeachtet bleiben.
2) Wenn im Tempo ein abrupter Wechsel auftritt, sollte das System zum Zuteilen gemäß einem Dirigat recht langsam auf den Wechsel antworten.
Das Erfordernis 1) kann erfüllt werden, indem ein Tempo nicht nur aus dem unmittelbar vorhergehenden Schlag- oder Bodenpunkt berechnet wird, sondern auch auf der Grundlage der Zeit von dem Schlag- oder Bodenpunkt beträchtlich vor dem vorliegenden Schlag- oder Bodenpunkt für den vorliegenden, und durch Einbeziehen davon. Dies hilft beim Stabilisieren des Tempos. Das Erfordernis 2) kann erfüllt werden, indem das vorherige Tempo einbezogen wird. Indem dies getan wird, kann das System zum Zuteilen gemäß einem Dirigat auf Änderungen langsamer antworten.
Fig. 9 ist ein Schaubild, das beim Erklären der Berechnung des Tempos hilft, indem das vorherige Tempo einbezogen wird. Das Tempo zur Zeit T wird in einem nachfolgend gegebenen Verhältnis berechnet, indem das gewichtete Mittel der vier Tempoarten wie etwa tt, bt, tb und bb, wie sie in Fig. 9 gezeigt sind, ermittelt wird. Damit kann ein Dirigiervorgang nahe an der menschlichen Empfindlichkeit resultieren.
tt : bb : tb : bt = 2 : 1 : 1 : 0,5

C. Berechnung der Lautstärke

Genauso wie ein Dirigent seinen Taktstock heftiger schlägt, damit sein Orchester größere Lautstärken erzeugt, ist diese Erfindung dazu ausgelegt, größere Lautstärken zu erzeugen, wenn die Maus über eine größere Strecke bewegt wird.
In MIDI-Daten werden bis zu 127 Lautstärkestufen von der kleinsten Stufe von 0 bis zur höchsten Stufe von 127 für jede Note bestimmt. Durch Hinzuaddieren eines aus der Fortbewegungsstrecke der Maus berechneten Verschiebungswerts offset kann die Lautstärke bei der Erfindung in Echtzeit eingestellt werden.
wobei max X und max Y Größen des Dirigierbildschirms in den X- bzw. Y-Richtungen sind und dx und dy Fortbewegungsstrecken der Maus zwischen Schlag- oder Bodenpunkten bezeichnen. Der Grund, weswegen dy und max Y in der Gleichung verdoppelt werden, besteht darin, dass auf das Bildverhältnis von 1 : 2 des Dirigierbildschirms eingestellt werden muss.
"lastoffset" ist der unmittelbar vorhergehende Verschiebungswert. Abrupte Änderungen der Lautstärke können durch Berechnen des Durchschnitts mit dem lastoffset gesteuert werden.

D. Synchronisiersteuerung

Wie oben bemerkt, wird das Tempo für jeden Halbschlag bestimmt. Falls das auf diese Weise bestimmte Tempo sich bei der Musikwiedergabe in jedem Schlag- oder Bodenpunkt widerspiegelt, werden sowohl die Wiedergabe, als auch der Dirigiervorgang sehr unnatürlich. Dies gilt, weil wenn ein Tempo zwischen einem Schlag- oder Bodenpunkt und dem nächsten Schlag- oder Bodenpunkt stark abweicht, der Schlag- oder Bodenpunkt bei einem Dirigiervorgang sich von dem Teil der Musikwiedergabe entfernen kann, dem der Dirigiervorgang ursprünglich entsprechen sollte, oder es kann im Tempo beim nächsten Schlag- oder Bodenpunkt eine plötzliche Änderung auftreten. In einer derartigen Situation kann die Musikwiedergabe im ursprünglichen Tempo fortgesetzt werden, selbst wenn die Mausbewegung während des Dirigiervorgangs vollständig angehalten wird. Dies hat seinen Grund darin, dass selbst dann, wenn bei jedem Schlag- oder Bodenpunkt ein Tempowechsel auftritt, keine Schlag- oder Bodenpunkte erfasst werden, solange die Maus im Ruhezustand bleibt.
Um diese Nachteile zu beheben, übt das erfindungsgemäße System zum Dirigieren eine Steuerung aus, während die Synchronisierung zwischen den Dirigiervorgängen und der Musikwiedergabe aufrechterhalten wird. Hierzu überwacht das erfindungsgemäße System zum Zuteilen gemäß einem Dirigat immer, um wie viele Schläge entweder des Dirigiervorgangs oder der Musikwiedergabe eine Abweichung bei jedem halben Schlag des Dirigiervorgangs und der Musikwiedergabe auftritt. Falls eine Abweichung erfasst wird, wird die Abweichung durch Anpassen der Geschwindigkeit der Musikwiedergabe in Echtzeit schnell korrigiert. Genauer wird zwischen den Dirigiervorgängen und der Musikwiedergabe eine perfekte Synchronisierung aufrechterhalten, indem die in Tabelle 1 gezeigten korrekten Vorgänge ausgeführt werden. Wie bei anzuzeigenden Bildern wird eine Reihe von Bildern in einzelnen Einheiten bereitgestellt, und die Anfangspunkte der einzelne Einheiten bildenden Bilder werden gesteuert, um während der obengenannten Musikwiedergabe eine Synchronität mit den Haupttaktzeiten aufrechtzuerhalten. Die Bilder werden in einer Folge mit einer Geschwindigkeit, die dem Tempo der Musikwiedergabe entspricht, angezeigt, wie es die Umstände verlangen. Tabelle 1 Abweichung beim Dirigiervorgang und Korrekturmaßnahmen
Fig. 10 ist ein Schaubild, das darstellt, wie Dateidaten einer Notationsweise entsprechen.
Die im oberen Teil von Fig. 10 gezeigte Notation ist durch Dateidaten ausgedrückt, die im unteren Teil der Figur gezeigt sind. Das heißt, dass zunächst ein 4/4-TaKt angewiesen wird, und dann werden C-Dur, ein Tempo und eine Amplitudenänderung angewiesen. Anschließend sind NOTEON- (für den Ton e) und NOTEON- (für den Ton g) Botschaften beschrieben, wobei die Differenzzeit (Tick) auf den selben Wert gesetzt wird, um so die Anweisung zu geben, die Töne e und g gleichzeitig anzuschalten. Anschließend ist eine Änderung der Amplitude angewiesen. Nach dem Verstreichen einer vorbestimmten Zeit sind NOTEOFF- (für den Ton e) und NOTEOFF- (für den Ton g) Botschaften beschrieben, um ein gleichzeitiges Ausschalten von den Tönen e und g anzuweisen, und es ist eine NOTEON- (für den Ton c) Botschaft beschrieben, um anzuweisen, dass der Ton c um selben Zeitpunkt eingeschaltet wird. Falls es keine Änderung der Amplitude gibt, wird die Änderung der Amplitude nicht beschrieben, und es wird ein "ENDE" nach dem NOTEOFF (für den Ton c) beschrieben, um den Ton c nach dem Verstreichen einer vorbestimmten Zeit auszuschalten.
T in der "Type"-Spalte in Fig. 10 bezeichnet das Tempo, M MIDI- Daten und E die Enddaten.
Fig. 11 zeigt interne Daten, die in dem System dieser Erfindung verwendet werden, wodurch die Umwandlungsergebnisse der in Fig. 10 gezeigten Dateidaten angezeigt werden.
Bei Ausführungsformen dieser Erfindung wird Musik auf der Grundlage der in Fig. 11 gezeigten internen Daten und gemäß den Dirigiervorgängen, die einer von einer Eingangsvorrichtung wie einer Maus gezeichneten graphischen Form entsprechen, wiedergegeben. Im folgenden wird dieses Verfahren beschrieben. In Fig. 10 werden mit der Differenzzeit von "O" der "4/4-Takt", "C-Dur", "Tempo 120,0", "Änderung der Amplitude 127", "NOTEON 88 (Geschwindigkeit)" und "NOTEON 88 (Geschwindigkeit)" angewiesen. Nach dem Verstreichen von 240 Ticks werden die "Änderung der Amplitude 63", "NOTEOFF 0 Geschwindigkeit)", "NOTEOFF 0 (Geschwindigkeit)" und "NOTEON 88 (Geschwindigkeit)" angewiesen. Anschließend werden nach dem. Verstreichen von 960 Ticks nach diesem Zeitpunkt "NOTEOFF 0 (Geschwindigkeit)" und "Ende" angewiesen. Im oberen und unteren Teil von Fig. 10 sind (Anmerkungen) angegeben, um das Verständnis von Fig. 10 zu erleichtern.
In Fig. 10 wird die abgelaufene Zeit durch die Differenzzeit angegeben, während in Fig. 11 die abgelaufene Zeit durch die seit der Zeit 0 abgelaufene Zeit (die als gegenwärtige Zeit beschrieben wird) angegeben wird.
In Fig. 11 werden "Schlagdaten" oben hinzugefügt, und andere "Schlagdaten" werden den wichtigen Teilen der Datei hinzugefügt, während die in Fig. 10 gezeigte Differenzzeit von Fig. 10 kopiert, wird, während sie in die gegenwärtige Zeit umgewandelt wird.
Das heißt, dass nach dem Hinzufügen der "Schlagdaten" der "4/4- Takt", "C-Dur", "Tempo 120,0", "Änderung der Amplitude 127 (max)", "NOTEON 88 (Geschwindigkeit)" und "NOTEON 88 (Geschwindigkeit)" kopiert werden, mit der gegenwärtigen Zeit "O". Anschließend wird die "gegenwärtige Zeit" aus der Differenz zwischen der Differenzzeit von Nr. (7) und der Differenzzeit in Nr. (6) in (Anmerkungen) auf der rechten Seite von Fig. 10 berechnet, und dann werden die "Schlagdaten" hinzugefügt.
(Anmerkungen) auf der rechten Seite von Fig. 11 beschreiben die Beziehung zu den in Fig. 10 gezeigten. Wie man in diesen (Notizen) sehen kann, kann man "NOTEOFF 0 (Geschwindigkeit)", "NOTEOFF 0 (Geschwindigkeit)" und "NOTEON 88 (Geschwindigkeit)" mit der gegenwärtigen Zeit von "480" erhalten. Dann werden notwendige "Schlagdaten" hinzugefügt, und dann werden "NOTEOFF 0 (Geschwindigkeit)" und "Ende" mit der gegenwärtigen Zeit von "1440" erhalten.
Fig. 12 ist ein Flussschaubild betreffend das Lesen von Daten bei dieser Erfindung, d. h. ein Flussschaubild betreffend das Umwandeln der in Fig. 10 gezeigten Datendaten in die in Fig. 11 gezeigten internen Daten.
In Fig. 12 wird die gegenwärtige Zeit T im Schritt S21 auf 0 gesetzt.
Im Schritt S22 wird eine MIDI-Datendatei gelesen. Das heißt, dass Dateidaten, wie sie beispielsweise in Fig. 10 gezeigt sind, als MIDI-Dateidaten gelesen werden.
Im Schritt S23 werden oben Schlagdaten hinzugefügt. Das heißt, bevor die Dateidaten aus Fig. 10, die beispielsweise im Schritt S22 gelesen wurden, in interne Daten umgewandelt werden, werden Schlagdaten zu den umgewandelten internen Daten in Fig. 11 oben hinzugefügt.
Schlagdaten haben ein Datenformat, wie es in Fig. 13 gezeigt ist, und welches unten beschrieben wird.
Im Schritt S24 wird eine Zeile von den MIDI-Dateidaten oben genommen, d. h. es wird eine Zeile oben von den ursprünglichen Dateidaten geholt, die im Schritt S22 genommen wurden, oder von den Dateidaten aus Fig. 10.
Im Schritt S25 wird beurteilt, ob Daten existieren. Falls JA, wird im Verfahren zum Schritt S26 übergegangen. Falls NEIN, wird das Verfahren beendet, wenn die Umwandlung der im Schritt S22 genommenen MIDI-Dateidaten in interne Daten abgeschlossen wurde (Ende).
Im Schritt S26 werden die Typen und Daten kopiert, und die gegenwärtige Zeit T wird gespeichert. Das heißt, dass die Dateidaten, die vor der Umwandlung im Schritt S24 genommen wurden, oder die Online-Dateidaten oben in Fig. 10, beispielsweise
in die zweite Zeile aus Fig. 11 nach dem umwandeln kopiert werden, und die gegenwärtige Zeit T = 0 wird gespeichert. Im Schritt 327 wird die nächste gegenwärtige Zeit T1 aus der Differenzzeit mittels der folgenden Gleichung berechnet:
T1 = T + Differenzzeit.
Im Schritt S28 wird die Länge ΔT einer Achtelnote zur gegenwärtigen Zeit hinzugefügt, wie es in der folgenden Gleichung gezeigt, ist:
T = T + ΔT.
Im Schritt S29 wird beurteilt, ob T kleiner als T1. Falls NEIN, ersetzt T1 im Schritt S31 T, und Schritt S24 und die nachfolgenden Vorgänge werden wiederholt. Falls JA, wurde herausgefunden, dass die Zeit T nach dem Hinzufügen der Achtelnotenlänge ΔT zur gegenwärtigen Zeit T kleiner als die nächste gegenwärtige Zeit T1 ist, so dass zu der Zeit T im Schritt S30 Schlagdaten hinzugefügt werden.
Mit der vorgenannten Vorgehensweise werden bis zu "4/4-Takt", "C-Dur", "Tempo", "Änderung des Tempos", "NOTEON" und "NOTEON", die in Fig. 10 gezeigt sind, kopiert. Nun sei angenommen, dass die Vorgehensweise für die nächste "Änderung der Amplitude 63" den Schritt S26 erreicht. In diesem Fall wird die Gleichung
T1 = 0 + 240 = 240
im Schritt S27 berechnet, und
T = T + ΔT
wird im Schritt S28 erlangt. Da T < = T1, wird bei der Vorgehensweise zum Schritt 330 übergangen. Das heißt, Schlagdaten, wie sie in Fig. 11 gezeigt sind, werden hinzugefügt. Dann werden, wenn die Schlagdaten wie in Fig. 11 gezeigt hinzugefügt werden, die in Fig. 10 gezeigten Daten in Folge kopiert.
Nun werden die in den Fig. 10 und 11 verwendeten Begriffe hier beschrieben.
"Differenzzeit (Tick)" ist die Differenzzeit zwischen Eingaben. Die Typen T, M und E sind Symbole, die die Typen "Tempo", "MIDI-Daten" bzw. "letzte Daten" repräsentieren. Die Daten werden wie in der Figur gezeigt gesetzt, beispielsweise gemäß den Typen.
"Tempo" sind Daten, die das Tempo für eine Note (jede Note in einem Notenliniensystem) repräsentieren. "Änderung in der Amplitude 127 (max)" zeigt an, dass die Lautstarkeamplitude geändert wurde, und dass die Lautstärkeamplitude nach der. Änderung "127 (Maximum)" ist. "NOTEON 88 (Geschwindigkeit)" sind Daten, die anzeigen, dass ein Klang erzeugt wird, und dass seine Geschwindigkeit (die Amplitude der Betonung) gleich "88" ist. "NOTEOFF 0 (Gechwindigkeit)" sind Daten, die anzeigen, dass der Klang angehalten wurde, und dass seine Geschwindigkeit (die Amplitude der Betonung) gleich 0 ist. "Ende" repräsentiert die letzten Daten.
Die "gegenwärtige Zeit (Tick)" ist die gegenwärtige Zeit, die nach und nach ansteigt. (In Fig. 10 repräsentiert "gegenwärtige Zeit" die Differenzzeit zwischen Daten.) Typ B sind Schlagdaten oder in Fig. 13 gezeigte Daten, die später beschrieben werden. Weitere sind diejenigen, die aus Fig. 10 kopiert wurden.
Auf diese Weise sind interne Daten Daten, in denen die Zeit nach und nach ansteigt, wie es in der Figur gezeigt ist, in Schritten von ganzzahligen Vielfachen von Achtelnoten = 240 Ticks.
Fig. 13 zeigt ein typisches Schlagdatenformat gemäß der Erfindung. In den Schlagdaten werden die folgenden Inhalte wie in der Figur gezeigt gesetzt.
"Head of Time" ist eine für die Bildauswahl verwendete Flag (Marke).
"Head of Measure" ist eine Flag, die für die Bildauswahl verwendet wurde.
"Fermata flag" ist eine Flag zum Anweisen der Erweiterung eines Klangs, wenn dieser eingeschaltet wird.
"Breath flag" ist eine Flag zum Anweisen der Wiederaufnahme der Wiedergabe nach der Unterbrechung eines Klangs.
"Tempo" sind Daten, die das Tempo der Wiedergabe von Stimmen oder Bildern beschreiben. Der Inhalt von Schlagdaten wird gemäß den Dirigiervorgängen gemäß der Erfindung beschrieben durch Analysieren graphischer Formen, die beispielsweise mit einer Maus gezeichnet wurden.
Fig. 14 ist ein Flussschaubild für die erfindungsgemäße Vorgehensweise bei der Wiedergabe. Sie ist ein Flussschaubild, das die Vorgehensweise bei der Wiedergabe in den in Fig. 4 gezeigten Schritten S9, S12, S13 etc. im Detail zeigt.
In Fig. 14 werden im Schritt S41 Daten, die durch einen "Liedzeiger" bezeichnet sind, geholt, wie sie beispielsweise in den internen Daten, die in Fig. 11 gezeigt sind, links gegeben sind.
Im Schritt S42 wird beurteilt, ob die im Schritt S41 geholten Daten Schlagdaten sind. Falls JA, wird im Verfahren zum Schritt S43 übergegangen. Falls NEIN, wird im Verfahren zum Schritt S47 übergegangen.
Im Schritt 343 wird weiter beurteilt, ob die im Schritt S42 als Schlagdaten beurteilten Daten für eine Fermate oder Atmen stehen. Falls JA, wird die Musikwiedergabe unterbrochen, indem im Schritt S44 die Wartezeit t1 auf einen größeren Wert (beispielsweise t1 = 30 sec) geändert wird. Falls NEIN, wird im Schritt S45 auf der Grundlage der Schlagdaten und Parameter das nächste Bild ausgewählt, das Bild wird im Schritt S46 aktualisiert, und dann wird im Verfahren zum Schritt S53 übergegangen.
Im Schritt S47 wird beurteilt, ob die Daten MIDI-Daten sind. Falls JA, wird im Verfahren zum Schritt S48 übergegangen. Falls NEIN, wird im Verfahren zum Schritt S53 übergegangen.
Im Schritt S48 wird weiter beurteilt, ob die im Schritt S47 als MIDI-Daten beurteilten Daten NOTEON (Beginn der Klangerzeugung) sind. Falls JA, d. h. falls gefunden wurde, dass die Daten MIDI- Daten sind, wird im Schritt S49 ihre Geschwindigkeit auf der Grundlage der die Akzentverleihung steuernden Parameter geändert, im Schritt S52 an eine Wiedergabevorrichtung ausgegeben, und dann wird im Verfahren zum Schritt S53 übergegangen. Falls andererseits im Schritt S48 NEIN gefunden wurde, wird im Schritt S50 beurteilt, ob die Daten eine "Änderung der Amplitude" sind. Falls JA, werden die Daten im Schritt S51 auf der Grundlage der Parameter, geändert, im Schritt S52 an die Wiedergabevorrichtung ausgegeben, und im Verfahren wird zum Schritt S53 übergegangen. Falls andererseits NEIN, werden die Daten im Schritt S52 an die Wiedergabeeinrichtung ausgegeben, und im Verfahren wird zum Schritt S53 übergegangen.
Im Schritt S53 wird beurteilt, ob es weitere Daten gibt. Falls JA, geht der Liedzeiger im Schritt S54 um eine Einheit weiter, die Wartezeit t1 wird im Schritt S55 als
t1 = (gegenwärtige Zeit der aktuellen Daten - gegenwärtige Zeit der vorhergehenden Daten)·Tempo
berechnet, und das Verfahren wird abgeschlossen. Falls andererseits im Schritt S53 NEIN gefunden wurde, wird die Wartezeit im Schritt S56 gelöscht, t1 wird auf -1 gesetzt, und das Verfahren wird abgeschlossen.
Durch die obengenannten Schritte werden die Daten, die durch den Liedzeiger bezeichnet wurden, beispielsweise aus den internen Daten aus Fig. 11 geholt, und dann wird die relevante Vorgehensweise angenommen, nachdem beurteilt wurde, ob die geholten Daten Schlagdaten sind, und falls sie Schlagdaten sind, ob sie für eine Fermate oder Atmen stehen. Falls die Daten keine Schlagdaten sind, wird beurteilt, ob sie MIDI-Daten sind. Falls sie MIDI-Daten sind, wird die Geschwindigkeit auf der Grundlage der Parameter geändert, falls Sie NOTEON sind. Falls es anstelle von NOTEON eine Amplitudenänderung gibt, werden die Daten geändert und an die Wiedergabevorrichtung ausgegeben. Falls es weitere Daten gibt, wird der Liedzeiger um eine Einheit weitergesetzt, und die Wartezeit wird berechnet und aktualisiert. Durch Rückkehr zum Ausgangspunkt im Verfahren und durch seine Wiederholung, wird es ermöglicht, die internen Daten aus Fig. 11 wiederabzuspielen, wobei den Parametern (Tempo, Amplitude, Akzentsetzung und Betonung), die aus der Bewegung der Eingangsvorrichtung erfasst wurden, gefolgt wird, und Stimme und Bild Ausdrucksweisen zuzuteilen.
Fig. 15 ist ein Flussschaubild betreffend das erfindungsgemäße Aktualisieren von Parametern durch Dirigiervorgänge.
In Fig. 15 wird im Schritt 361 eine Eingangsvorrichtung wie eine Maus betätigt. Das bedeutet, dass der Bediener Musik spielt, indem er die Eingangsvorrichtung 1 bedient.
Im Schritt S62 wird die Größe der Amplitude aus der maximalen Amplitude einer von der Eingangsvorrichtung 1 gezeichneten graphischen Form erfasst. Anders gesagt, wird die Amplitude aus der maximalen Amplitude der Bewegung der Eingangsvorrichtung 1 erfasst, wenn der Bediener Musik spielt, indem er im Schritt S61 die Eingangsvorrichtung betätigt.
Im Schritt S63 wird aus der maximalen Geschwindigkeit und Auslenkung die Akzentsetzung erfasst. Das heißt, dass der Akzent aus der maximalen Geschwindigkeit und Amplitude der Bewegung der Eingangsvorrichtung 1 erfasst wird, wenn der Bediener Musik spielt, indem er im Schritt S61 die Eingangsvorrichtung betätigt.
Im Schritt S64 wird aus der Wiederholungsperiode das Tempo erfasst, und eine Abweichung von der Periode wird als Rubato erfasst. Das heißt, dass das Tempo aus der Wiederholungsperiode der Bewegung der Eingangsvorrichtung 1 erfasst wird, und dass eine Abweichung von der Periode als Rubato erfasst wird.
Im Schritt S65 werden die Parameter gesetzt. Das heißt, dass die in den Schritten S62 bis S64 erfasste Amplitude, die Akzentsetzung und das Tempo (Rubato) als Inhalt der in Figur. 13 gezeigten Schlagdaten gesetzt, werden. Dies ermöglicht es, Stimme und Bild Ausdrucksweisen zuzuteilen, indem die oben genannten internen Daten aus Fig. 11 gemäß den Parametern wiedergegeben werden.
Fig. 16 ist ein Flussschaubild der Vorgehensweise beim Weitersetzen des Liedzeigers, wenn bei dieser Erfindung das oben genannte Atmen angewiesen wird.
Im Schritt S71 wird beurteilt, ob die gegenwärtigen Daten Atmen sind. Das heißt, dass im Schritt S71 beurteilt wird, ob eine Breath-Flag in den Schlagdaten, die beispielsweise aus den oben genannten internen Daten aus Fig. 11 geholt wurden, in den EIN- Zustand versetzt wurde. Falls JA, wird der Liedzeiger im Schritt S72 um eine Einheit weitergesetzt, und die Wartezeit t1 wird im Schritt S73 auf 0 gesetzt, das heißt, die Wiedergabe wird wiederaufgenommen. Falls NEIN, wird im Verfahren zum Schritt S74 übergegangen.
Im Schritt S74 wird, da im Schritt S71 gefunden wurden, dass die Daten nicht für Atmen stehen, der Liedzeiger um eine Einheit weitergesetzt, und im Verfahren wird zum Schritt S75 übergegangen.
Im Schritt S75 wird beurteilt, ob die gegenwärtigen Daten für Atmen stehen. Falls JA, wird im Verfahren zum Schritt S72 übergegangen und die Wartezeit t1 im Schritt S73 auf 0 gesetzt, wie oben bemerkt. Falls NEIN, wird im Verfahren andererseits zum Schritt S76 übergegangen.
Im Schritt S76 wird beurteilt, ob die gegenwärtigen Daten NOTEON (Verstärke die Betonung) sind, weil im Schritt S75 gefunden wurde, dass die Daten nicht für Atmen stehen. Falls JA, wird die Musikwiedergabe wiederaufgenommen, indem die Wartezeit im Schritt S73 auf 0 gesetzt wird. Falls NEIN, werden die gegenwärtigen Daten andererseits an die Wiedergabevorrichtung ausgegeben.
Fig. 17 zeigt ein Beispiel einer Trickfilmanzeige gemäß der Erfindung. In der Figur ist ein Liedzeigeranzeigeteil im oberen Teil des Bildschirms ein Bereich zum Anzeigen eines Liedzeigers zum Zeigen auf die nun wiedergegebenen Noten und verschiedene Symbole (wie Fermate, Atemzeichen und Taktsymbole). In der Mitte des Schirms gibt es einen Bereich zum Anzeigen beispielsweise eines Bildes einer Lokomotive, wobei bewirkt wird, dass die Geschwindigkeit der Lokomotive dem Tempo folgt, sie mit Geschwindigkeitsänderungen der Betonung folgt, und dass der Rauch der Lokomotive der Amplitude folgt.
Fig. 18 zeigt eine Reihe von Bildern, die im Bildspeicher abzulegen sind. Eine Reihe von Bildern 100, 101, - ist im Bildspeicher abgelegt. Wenn auf eine Adresse, unter der ein Führungsbild 100-1 der Bildgruppe 100 abgelegt ist, und auf eine Adresse, unter der ein Führungsbild 101-1 der Bildgruppe 101 abgelegt ist, gemäß einer Anweisung zum Anzeigen des Anfangsbildes und des Liedzeigers zugegriffen wird, werden die Bildgruppen nacheinander aus den Adressen heraus synchron mit dem Tempo und gemäß der Wiedergabe der Bilder angezeigt.
Auch wenn Fig. 18 einzelne Bilder wie die Bilder 100-1, 100-2, - 100-M zeigt, sind erfindungsgemäße Bilder nicht auf diese beschränkt, sondern sie können Videosignale sein, wie sie für Fernsehsignale verwendet werden.
Wie oben beschrieben, hat diese Erfindung einen solchen Aufbau, dass wiedergegebenen Stimmen und/oder Bildern Ausdrucksweisen zugeteilt werden können, indem Wiedergabe in Echtzeit auf der Grundlage der Parameter wie Tempo, Amplitude und Akzentsetzung gefolgt wird, die aus der Bewegung einer Eingangsvorrichtung wie einer Maus erfasst werden, wodurch es ermöglicht wird, Stimme und. Bild, die wiedergegeben werden. Ausdrucksweisen zuzuteilen, indem Parameter (Tempo, Amplitude, Akzentsetzung und Betonung) aus der Bewegung einer Eingangsvorrichtung 1 (einer Maus, beispielsweise einer dreidimensionalen Maus), die von einem Bediener betätigt wird, erfasst werden.

Claims

1. System zum Zuteilen von Ausdrucksweisen an Stimm-/oder Bildausgaben gemäß einem Dirigat durch Datenverarbeitungssystem, mit:

- einer Einrichtung (3) zum Erfassen von Parametern, welche Tempo, Amplitude und Akzentsetzung und Kombinationen von diesen Parametern umfassen,

- eine Wiedergabeeinrichtung (4) zum Wiedergeben von Stimm-/oder Sprachdaten in einer solchen Weise, daß den erfaßten Parametern wie dem Tempo, der Amplitude und der Akzentsetzung gefolgt wird,

dadurch gekennzeichnet, daß die von der Einrichtung erfaßten Parameter anhand der Bewegung einer von einer Eingangsvorrichtung (1) bezogenen graphischen Form erfaßt werden.

2. System zum Zuteilen gemäß einem Dirigat nach Anspruch 1, in welchem die wiedergegebenen Stimmdaten zusammen mit einer Serie von digitalen Informationen abgelegt werden, welche zumindest eine Information enthält, die die Zeit zum Beginn einer Klangerzeugung für einen zu erzeugenden Klang angibt, eine Information bezüglich der Amplitude des zu erzeugenden Klangs enthält und eine Information enthält, welche die Zeit angibt, an der die Klangerzeugung für den zu erzeugenden Klang beendet werden soll.

3. System zum Zuteilen gemäß einem Dirigat nach Anspruch 1, in welchem das wiedergegebene Bild in der Form einer Serie von Bildgruppen abgelegt wird, welche eine Mehrzahl von Bildern als Einheit umfaßt, und wobei es wiedergegeben wird, wenn der Startpunkt der eine Einheit bildenden Bildgruppe mit der Zeitgebung der Hauptklangerzeugung im Fluß der wiedergebenen Stimmdaten synchronisiert ist.

4. System zum Zuteilen gemäß einem Dirigat nach Anspruch 1, in welchem zusammen mit dem wiedergegebenen und in Echtzeit gezeigten Bild eine Notation der wiedergegebenen Stimmdaten angezeigt wird, und ein Liedzeiger gezeigt wird, der mit dem Fortschreiten der Musik vorausschreitet, um auf eine Note zu zeigen, die einen nun wiedergegebenen Klang repräsentiert.

5. System zum Zuteilen gemäß einem Dirigat nach Anspruch 1, in welchem die Einrichtung zum Erfassen der Parameter die Bewegungsgeschwindigkeit der von der Eingangsvorrichtung gezogenen graphischen Form auf einer Koordinatenachse herleitet und von der Eingangsvorrichtung vorgegebene Schlag- oder Bodenpunkte unter Verwendung des niedrigsten Meßwerts und/oder des höchsten Meßwerts der Bewegungsgeschwindigkeit einschätzt.

6. System zum Zuteilen gemäß einem Dirigat nach Anspruch 5, in welchem die Einrichtung zum Erfassen der Parameter das Tempo auf einer Wiederholungsperiode der Bewegung der von der Eingangsvorrichtung gezogenen graphischen Form erfaßt.

7. System zum Zuteilen gemäß einem Dirigat nach Anspruch 6, in welchem die Einrichtung zum Erfassen der Parameter ein Tempo als Ergebnis der Erfassung eines Tempos erhält, welches unter Verwendung der Zeit der eingeschätzten Schlag- oder Bodenpunkte erfaßt wurde, und in welchem das gewichtete Mittel der Zeit einer Periode des erfaßten Tempos der Zeit einer Periode eines Tempos berechnet wird, bevor das Tempo, erfaßt wird.

8. System zum Zuteilen gemäß einem Dirigat nach Anspruch 1, in welchem die Einrichtung zum Erfassen der Parameterachsen, die dem gewichteten Mittel unterworfen werden, eine Zeit einer vorhergehenden Halbperiode der einen Periode des erfaßten Tempos und eine Zeit einer nachfolgenden Halbperiode der einen Periode hinzufügt.

9. System zum Zuteilen gemäß einem Dirigat nach Anspruch 5, in welchem die Einrichtung zum Erfassen der Parameter die Amplitude anhand der maximalen Auslenkung bei der Bewegung auf einer Koordinatenachse einer graphischen Form erfaßt, welche von der Eingangsvorrichtung gezogen wird.

10. System zum Zuteilen gemäß einem Dirigat nach Anspruch 9, in welchem die Einrichtung zum Erfassen der Parameter die maximale Auslenkung der Bewegung der Eingangsvorrichtung zum erfaßten Zeitpunkt und die maximale Auslenkung der Bewegung der Eingangsvorrichtung vor dem erfaßten Zeitpunkt verwendet, um die maximale Auslenkung der Erfassungsergebnisse bezüglich der Bewegung der Eingangsvorrichtung zum erfaßten Zeitpunkt zu erhalten.

11. System zum Zuteilen gemäß einem Dirigat nach Anspruch 1, in welchem die Einrichtung zum Erfassen der Parameter Daten kombiniert, welche die Zeitspitze repräsentieren, welche Klang entspricht, Daten, die die Spitze des Maßes repräsentieren, eine Flag für eine Fermate, eine Flag für den Atem, und Daten, die das Tempo als Schlagdaten repräsentieren, um diese an die Wiedergabeeinrichtung zu übertragen, um Stimm- und/oder Bilddaten in Echtzeit wiederzugeben.

12. System zum Zuteilen gemäß einem Dirigat nach Anspruch 1, in welchem die Wiedergabeeinrichtung zum Wiedergeben der Stimm- und/oder Bilddaten in Echtzeit zuvor ein Eingangsbild zeigt, in dem die Leerlauf Zeit auf einen vorbestimmten Wert gesetzt wird, die Leerlaufzeit am Startpunkt der Bewegung einer von der Eingangsvorrichtung gezogenen graphischen Form gelöscht wird und die Wiedergabe von Stimmdaten gemäß dem Liedzeiger begonnen wird, während die Wiedergabe des Bildes ausgehend von dem Eingangsbild begonnen wird.

13. System zum Zuteilen nach Anspruch 1, in welchem die Wiedergabeeinrichtung zum Wiedergeben der Stimm- und/oder Bilddaten in Echt Zeit gemäß der Flag für den Atem den Liedzeiger auf eine vorbestimmte Neustartstellung setzt, und die Wiedergabe der Stimm- und/oder Bilddaten beginnt, wenn die Leerlaufzeit gelöscht wird.

14. System zum Zuteilen gemäß einem Dirigat nach Anspruch 1, in welchem die Wiedergabeeinrichtung zum Wiedergeben von Stimm- und/oder Bilddaten in Echtzeit interne Daten dadurch erzeugt, daß eine Serie von digitalen Informationen ausgelesen wird, in welchen die Taktzeit beschrieben wird, und in welchem der Inhalt der Schlagdaten gemäß Änderungen in der Taktzeit zugeteilt wird.

15. System zum Zuteilen gemäß einem Dirigat nach Anspruch 14, in welchem die Wiedergabeeinrichtung zum Wiedergeben der Stimm- und/oder Bilddaten in Echtzeit einen Lautsprecher zum Wiedergeben der Stimmdaten und/oder eine Anzeige zum Anzeigen des Bildes umfaßt, und wobei die Stimm- und/oder Bilddaten wiedergegeben werden, indem die internen Daten analysiert werden.

16. System zum Zuteilen gemäß einem Dirigat nach Anspruch 1, in welchem die Wiedergabeeinrichtung zum Wiedergeben der Stimm- und/oder Bilddaten in Echtzeit die Wiedergabe gemäß einem Probenmodus und einem Konzertmodus auswählen kann.

17. System zum Zuteilen gemäß einem Dirigat nach Anspruch 1, in welchem die Wiedergabeeinrichtung zum Wiedergeben der Stimm- und/oder Bilddaten in Echtzeit einen Teil der auf der Anzeige angezeigten Bilder auswählt, und nur solche Stimmdaten wiedergibt, die gemäß den ausgewählten Bildern erzeugt wurden.