DE60122296T2

DE60122296T2 - Programmierbarer Melodienerzeuger

Info

Publication number: DE60122296T2
Application number: DE60122296T
Authority: DE
Inventors: Gilles Dassot; Laurent Le-Faucheur
Original assignee: Texas Instruments Inc
Current assignee: Texas Instruments Inc
Priority date: 2001-05-28
Filing date: 2001-05-28
Publication date: 2007-08-30
Anticipated expiration: 2021-05-29
Also published as: EP1262952B1; DE60122296D1; EP1262952A1; US20020177997A1; US6965069B2; ATE336774T1

Description

Technisches Gebiet der Erfindung
Die Erfindung bezieht sich im Allgemeinen auf die Synthese von musikalischen Klängen.
Beschreibung des Standes der Technik
Die Synthese von Musiknoten und Melodien aus einer Darstellung mit gespeicherten Daten wird im Allgemeinen in verschiedenen digitalen Systemen verwendet, wie z. B. Instrumentaltastaturen, Spielwaren, Spielen, Computern und Vorrichtungen für die drahtlose Kommunikation. Ein Verfahren für das digitale Darstellen von Musiknoten ist die digitale Musikinstrumenten-Schnittstelle (MIDI), die ein Standard für die Kommunikation zwischen Tastaturen, Sound-Karten, Ablaufsteuerungen, Effekteinheiten und vielen anderen Vorrichtungen ist, von denen die meisten mit Audio oder Video in Beziehung stehen. Ein Synthesizer erzeugt in Reaktion auf eine MIDI-Datei Musiktöne, indem er eine Bank von Tongeneratoren steuert. Die Tongeneratoren können diskrete Oszillatoren sein oder elektronisch simuliert werden, oft unter Verwendung eines digitalen Signalprozessors mit Spektrummodellen für die Tonwiederherstellung. Eine weitere Art der Herstellung synthetischer Musik besteht in der Verwendung von Abtastwerden, die von tatsächlichen Instrumenten aufgezeichnet worden sind.
Es sind viele verschiedene Prozessortypen bekannt, von denen die Mikroprozessoren nur ein Beispiel sind. Digitale Signalprozessoren (DSPs) werden z. B. weit und breit verwendet, insbesondere für spezifische Anwendungen, wie z. B. mobile Verarbeitungsanwendungen. Die DSPs sind typischerweise konfiguriert, um die Leistung der betroffenen Anwendungen zu optimieren, wobei sie spezialisiertere Ausführungseinheiten und Befehlssätze verwenden, um dies zu erreichen. Insbesondere in Anwendungen, wie z. B. der mobilen Telekommunikation, aber nicht ausschließlich, ist es erwünscht, eine ständig zunehmende DSP-Leistung bereitzustellen, während die Leistungsaufnahme so niedrig wie möglich gehalten wird.
Um die Leistung eines digitalen Systems weiter zu verbessern, können zwei oder mehr Prozessoren miteinander verbunden werden. Ein DSP kann z. B. in einem digitalen System mit einem Universalprozessor verbunden sein. Der DSP führt die numerisch intensiven Signalverarbeitungsalgorithmen aus, während der Universalprozessor das Management des Gesamtsteuerablaufs ausführt. Diese zwei Prozessoren kommunizieren und übertragen die Daten für die Signalverarbeitung über einen gemeinsam benutzten Speicher.
Insbesondere in tragbarer Ausrüstung, wie z. B. drahtlosen digitalen Assistenten-Vorrichtungen, ist die Minimierung der Leistungsaufnahme wichtig. Demzufolge wird ein System und ein Verfahren für das Synthetisieren von musikalischen Qualitätstönen benötigt, das recheneffizient ist.
Zusammenfassung der Erfindung
Gemäß einer ersten Ausführungsform der Erfindung wird ein Verfahren zum Synthetisierung von Musik in einem digitalen System geschaffen. Es wird zuerst auf eine digitale Analyse-Signalform zugegriffen, die eine Dauer, eine Tonhöhe, einen Einschwingabschnitt und einen Abklingabschnitt besitzt. Die Dauer und die Tonhöhe für eine zu synthetisierende Note werden bestimmt. Ein Satz von Zeitmarkierungen für die Analyse-Signalform wird derart bestimmt, dass die Zeitmarkierungen der Periodizität der digitalen Analyse-Signalform entsprechen. Ein zweiter Satz von Zeitmarkierungen für die Synthese-Signalform wird derart berechnet, dass die zweiten Zeitmarkierungen der Periodizität der Synthese-Signalform entsprechen. Es werden Abtastwerte für jede Periode, die durch benachbarte Zeitmarkierungen definiert ist, unter Verwendung von Abtastwerten berechnet, die aus einer entsprechenden Periode der Analyse-Signalform ausgewählt sind, die durch benachbarte Zeitmarkierungen definiert ist, um die synthetisierte digitale Signalform zu bilden.
In einer ersten Ausführungsform werden die Abtastwerte berechnet, indem zuerst eine Menge von Abtastwerten für eine Periode m unter Verwendung eines ersten Kosinusfensters berechnet wird, dann eine Menge von Abtastwerten für eine Periode m – 1 unter Verwendung eines zweiten Kosinusfensters berechnet wird; und dann die Menge von Abtastwerten für die Periode m und die Menge von Abtastwerten für die Periode m – 1 unter Verwendung einer Gewichtungsfunktion kombiniert werden.
In einer weiteren Ausführungsform werden die Abtastwerte berechnet, indem ein ausgewählter Abtastwert der Menge von Abtastwerten vor dem Schritt des Kombinierens der Mengen von Abtastwerten gelegentlich umgekehrt wird.
In einer weiteren Ausführungsform wird die Analyse-Signalform verwendet, um einen Bereich von wenigstens zwei Oktaven für ein Instrument zu synthetisieren.
Eine weitere Ausführungsform der Erfindung ist ein digitales System, das einen Speicher zum Halten mehrerer instrumental korrekter digitaler Signalformen, die mehreren Instrumenten entsprechen, besitzt. Es gibt einen ersten Prozessor, der mit dem Speicher verbunden ist, wobei der erste Prozessor so betreibbar ist, dass er in dem Speicher eine musikalische Partitur speichern kann. Es gibt einen zweiten Prozessor, der mit dem Speicher verbunden ist, wobei der zweite Prozessor so betreibbar ist, dass er ein Melodiesignal als Antwort auf die musikalische Partitur unter Verwendung des oben beschriebenen Verfahrens synthetisiert. Es gibt außerdem eine Audiovorrichtung, die mit dem zweiten Prozessor verbunden ist, um das synthetisierte Melodiesignal abzuspielen.
Kurzbeschreibung der Zeichnung
Nun werden besondere Ausführungsformen gemäß der Erfindung lediglich beispielhaft und unter Bezugnahme auf die beigefügte Zeichnung, in der gleiche Bezugszeichen verwendet werden, um gleiche Teile zu bezeichnen, beschrieben, worin:
1 eine repräsentative Signalform ist, die einen Einschwingabschnitt und einen Abklingabschnitt veranschaulicht;
2A eine Veranschaulichung der Enveloppe einer Analyse-Signalform einer Abtast-Musiknote nach 1 ist, die die Grundlage der Musiknoten bildet, die gemäß den Aspekten der vorliegenden Erfindung synthetisiert werden;
2B eine Veranschaulichung der Enveloppe einer Synthese-Signalform einer synthetisierten Musiknote ist, die eine kürzere Dauer als die Analyse-Signalform nach 2A besitzt;
2C eine Veranschaulichung der Enveloppe einer Synthese-Signalform einer synthetisierten Musiknote ist, die eine längere Dauer als die Analyse-Signalform nach 2A besitzt;
3 eine Veranschaulichung einer Note mit höherer Tonhöhe ist, die aus einer Analyse-Signalform mit niedriger Tonhöhe synthetisiert wird, die die Kopie einer Analyseperiode gemäß einem Aspekt der vorliegenden Erfindung veranschaulicht;
4 eine Veranschaulichung einer weiteren Ausführungsform der Erfindung ist, die die Verwendung von zwei Fenstern veranschaulicht, um eine synthetisierte Signalform zu bilden;
5 ein Ablaufplan ist, der die Schritte für das Synthetisieren einer Note gemäß den Aspekten der vorliegenden Erfindung veranschaulicht;
6A ein Ablaufplan ist, der veranschaulicht, wie ein Satz von Analyse-Signalformen gesammelt wird;
6B eine Veranschaulichung eines Satzes von Analyse-Signalformen für mehrere verschiedene Instrumente ist;
7 ein Blockschaltplan eines digitalen Systems ist, das eine Ausführungsform der vorliegenden Erfindung in einem Megazellen-Kern mit mehreren Prozessorkernen enthält;
8 ein Ablaufplan ist, der die Synthese einer Melodie im digitalen System nach 7 gemäß einem Aspekt der vorliegenden Erfindung veranschaulicht; und
9 eine Darstellung einer Vorrichtung für die drahtlose Telekommunikation ist, die eine Ausführungsform der vorliegenden Erfindung enthält.
Entsprechende Bezugszeichen und Symbole in den verschiedenen Figuren und Tabellen beziehen sich auf die entsprechenden Teile, wenn es nicht anders angegeben ist.
Ausführliche Beschreibung der Ausführungsformen der Erfindung
Frühere Lösungen für das Synthetisieren von Musik haben Speicher mit großen Größen oder hohe Verarbeitungsraten verwendet, um synthetisierte Musik in guter Qualität zu erzeugen. Wenn die Verarbeitungsgeschwindigkeit optimiert ist, werden große überabgetastete Speicherfelder verwendet, um mehrere Klang-Abtastwerte zu speichern. Wenn die Speichergröße optimiert ist, dann werden komplexe digitale Filterungs- und Interpolationsschemata verwendet, die hohe Verarbeitungsgeschwindigkeiten erfordern. In vielen Fällen wird der synthetisierte Klang verschlechtert, zurückzuführen auf die digitale Unterabtastung. Das Klangspektrum wird verschoben, um die Ziel-Tonhöhe des Klangs zu erreichen. Der resultierende Ton des Klangs wird dann gestört, weil das kurzfristige Spektrum außerdem verschoben wird.
Nun ist ein Verfahren zum Synthetisieren von Musik entdeckt worden, das den Kompromiss zwischen großem Speicher oder hohen Verarbeitungsbelastungen löst. Dieses Verfahren erzeugt die korrekte Tonhöhe mit Halbtongenauigkeit unter Verwendung im Voraus aufgezeichneter Abtastwerte, die nicht die gleiche Tonhöhe besitzen. Diese Operation wird mit nur ein paar arithmetischen Operationen pro digitalen Abtastwert und unter Verwendung einer kleinen Größe des Datenpuffers ausgeführt, damit die Musik in tragbaren Kleinleistungs-Vorrichtungen, wie z. B. einem tragbaren Telephon, abspielt werden kann. Die neuartigen Verfahren, die nun beschrieben werden, machen von einer mathematischen Technik Gebrauch, die zu der ähnlich ist, die in einem Aufsatz mit dem Titel "Time-Frequency Representation of Digital Signals and Systems Based on Short-Time Fourier Analysis" von Michael Portnoff, IEEE Transaction on Acoustics, Speech, and Signal Processing, Bd. ASSP28, Nr. 1, Feb. 1980, beschrieben ist.
1 ist eine repräsentative Signalform, die einen Einschwingabschnitt und einen Abklingabschnitt einer instrumental korrekten digitalen Signalform 100 gemäß einem Aspekt der vorliegenden Erfindung veranschaulicht. Diese Signalform ist eine digital abgetastete Signalform einer einzelnen Note, die auf einem Musikinstrument, wie z. B. auf einem Klavier, angeschlagen wird. Die aktuelle Ausführungsform der Erfindung betrifft die drahtlose Telephonie, bei der die Bandbreite des Tonwiedergabesystems im Allgemeinen auf etwa vier Kilohertz eingeschränkt ist, wobei deshalb eine Abtastrate von acht Kilohertz verwendet wird. Die folgenden Beschreibungen nehmen alle diese Abtastrate an, es sollte jedoch selbstverständlich sein, dass die Erfindung ebenso für Klangsynthesesysteme mit höherer Qualität nützlich ist. In derartigen Systemen würden die Abtastwert-Signalformen typischerweise mit höheren Raten abgetastet werden, wie z. B. zwanzig Kilohertz oder höher.
Die digitale Signalform 100 ist eine einzige periodische Note. Die Dauer der Periode ist das Inverse der Grundfrequenz und wird als Ta bezeichnet. Die Signalform 100 besitzt eine Grundfrequenz von 500 Hz, deshalb beträgt ihre Periode Ta 2 ms, wobei jede Periode etwa sechzehnmal (8000/500) abgetastet wird.
Die Zeitlinie 104 stellt für die folgende Beschreibung Zeitreferenzen bereit. Eine Menge von Zeitmarkierungen, die durch 106a, b, dargestellt sind, sind auf der Zeitlinie 104 markiert und entsprechen den Periodengrenzen der Signalform 100. Folglich enthält für die Signalform 100 jede Periode Ta, die durch benachbarte Zeitmarkierungen 106a, 106b begrenzt ist, sechzehn digitale Abtastwerte. Für eine nichtperiodische Signalform können die Zeitmarkierungen in regelmäßigen Intervallen zugeordnet sein.
Ein erster Abschnitt der digitalen Signalform 100, der eine Menge von Zeitmarkierungen enthält, der als T1 gekennzeichnet ist, wird als der Einschwingabschnitt bezeichnet. Dies entspricht dem Anfangston, der durch ein Streichinstrument, wenn eine Saite angeschlagen oder gezupft wird, oder durch ein Schlaginstrument, wenn es geschlagen wird, oder durch ein Blasinstrument, wenn eine Note ertönt, erzeugt wird. Typischerweise baut sich der Einschwingabschnitt bis zum Crescendo auf und klingt dann ab. Ein zweiter Abschnitt der digitalen Signalform 100, der eine Menge von Zeitmarkierungen enthält, der als T2 gekennzeichnet ist, wird als der Abklingabschnitt bezeichnet. Während des Abklingabschnitts klingt die Schwingung der Saite langsam aus oder wird gedämpft, klingt die Schwingung des Schlaginstruments langsam aus oder nimmt das Blasinstrument allmählich ab.
Die relativen Dauern der T1-Phase und der T2-Phase hängen vom Typ des Instruments ab. Eine Flöte erzeugt z. B. im Allgemeinen ein starkes kurzes Einschwingen mit einem relativ langen Abklingen, während ein Klavier relativ lange Einschwingphasen und kürzere Abklingphasen erzeugt. Für tiefere Noten, die durch längere Saiten erzeugt werden, ist das Abklingen, zurückzuführen auf die längere Saite, die Resonanz usw., länger. Vorteilhaft fängt unter Verwendung instrumental korrekter Aufzeichnungen von tatsächlichen Instrumenten diese Ausführungsform der Erfindung die Nuancen des Musikinstruments, wie z. B. den Nachhall, die Dämpfung usw., ein. Deshalb können Melodien synthetisiert werden, die die tonalen Eigenschaften der Originalinstrumente wieder erschaffen.
Infolge der Variation der relativen Zeitdauern der Einschwingphasen und der Abklingphasen wird jede digitale Signalform visuell untersucht, indem die Signalform auf einer Anzeigevorrichtung angezeigt wird. Dann wird eine Grenze zwischen T1 und T2 anhand der Untersuchung ausgewählt und in die digitale Datei aufgenommen. Es wird außerdem eine Menge von Zeitmarkierungen in die digitale Datei aufgenommen, die der digitalen Signalform 100 zugeordnet ist.
In 1 stellt die Enveloppe 102 die Signalform 100 dar, wobei sie für die Klarheit in der folgenden Beschreibung verwendet wird.
2A ist eine Veranschaulichung der Enveloppe 200 einer Analyse-Signalform einer Abtast-Musiknote, die die Signalform 100 nach 1 darstellt, die die Grundlage der Musiknoten bildet, die gemäß den Aspekten der vorliegenden Erfindung synthetisiert werden. Die Signalform 200 wird als eine Analyse-Signalform bezeichnet, weil sie eine Analyse der ursprünglich aufgezeichneten Note einkapselt. Die Signalform 200 besitzt eine Dauer Da1 der Einschwingphase und eine Dauer Da2 der Abklingphase. Die Einschwingphase enthält eine Menge von Zeitmarkierungen T1, die als T1[i] bezeichnet werden, wobei die Anzahl der Zeitmarkierungen in T1 als Na1 bezeichnet wird. Die Abklingphase enthält eine. Menge von Zeitmarkierungen T2, die als T2[i] bezeichnet werden, wobei die Anzahl der Zeitmarkierungen in T1 als Na2 bezeichnet wird.
2B ist eine Veranschaulichung der Enveloppe 202 einer Synthese-Signalform einer synthetisierten Musiknote, die eine andere Tonhöhe und eine kürzere Dauer als die Analyse-Signalform 200 nach 2A besitzt. Es wird angegeben, dass für die Einfachheit nur die obere Hälfte der Signalform gezeigt ist. Die synthetisierte Signalform 202 besitzt eine Gesamtdauer Ds. Gemäß einem Aspekt der Erfindung besitzt die Dauer Ds1 einer Einschwingphase etwa die gleiche Länge wie Da1. Dann wird eine Abklingphase mit einer Dauer Ds2 = Ds – Ds1 gebildet. Es ist nun durch den Erfinder der vorliegenden Erfindung bestimmt worden, dass das Ohr für die Einschwingphase sehr empfindlich ist, bei der ein Übergang von Ruhe zur Anfangsnote ausgeführt wird. Deshalb ist das Aufrechterhalten der instrumental korrekten Aspekte der Einschwingphase, während die Tonhöhe verändert wird, für eine realistische Synthese entscheidend.
Wenn die Dauer des synthetisierten Tons kürzer als der Analyseton ist, gibt es eine als Typ A bezeichnete Verarbeitung mit einer Relation an den Indizes der Analyse-Zeitmarkierungen bis zu dem Index, der einer Abtastposition entspricht, die gleich der letzten Abtastposition der Synthese ist.
2C ist eine Veranschaulichung der Enveloppe 204 einer Synthese-Signalform einer synthetisierten Musiknote ist, die eine andere Tonhöhe und eine längere Dauer als die Analyse-Signalform 200 nach 2A besitzt. Die syntheti sierte Signalform 204 besitzt eine Gesamtdauer Ds. Abermals wird gemäß einem Aspekt der Erfindung eine Dauer Ds1 der Einschwingphase so gebildet, dass sie etwa die gleiche Länge wie Da1 besitzt, selbst wenn die Tonhöhe verschieden ist. Dann wird eine Abklingphase mit einer Dauer Ds2 = Ds – Ds1 gebildet.
Wenn die Dauer des synthetisierten Tons größer als die des Analysetons ist, gibt es eine Verarbeitung mit einer Relation des Typs A an den Na1 Zeitmarkierungen T1[i] und eine Verarbeitung mit einer Relation des Typs B an den Na2 Zeitmarkierungen T2[i]. Die Dauer (Ds – Ds1) wird als Ds2 bezeichnet und entspricht dem Ende des Syntheseabschnitts der Signalform.
Für den Typ A umfasst die Berechnung eine Tonhöhenmodifikation der Analyse-Signalform. Für den Typ B umfasst die Berechnung eine Tonhöhenmodifikation und eine Verlängerung der Dauer, die nur auf die T2-Zeitmarkierungen im Abklingabschnitt der Analyse-Signalform anzuwenden ist. Dies wird als "zeitliches Ziehen" bezeichnet, weil der Abklingabschnitt der Analyse-Signalform gestreckt wird, damit er der Dauer der synthetisierten Signalform entspricht.
2D veranschaulicht ein alternatives Verfahren, das verwendet werden kann, wenn die Dauer des synthetisierten Tons kürzer als die des Analysetons ist, wie unter Bezugnahme auf 2B erörtert worden ist. In diesem Fall wird die Verarbeitung des Typs B für den Abklingabschnitt verwendet, um den Abklingabschnitt zeitlich zu ziehen und anstatt eines abrupten Endes, wie in 2B veranschaulicht ist, ein allmähliches Abklingen zu synthetisieren.
3 ist eine Veranschaulichung einer Note mit höherer Tonhöhe, die aus einer Analyse-Signalform mit niedriger Tonhöhe synthetisiert wird, die die Kopie einer Analyseperiode gemäß einem Aspekt der vorliegenden Erfindung veranschaulicht. Die Analyse-Signalform 300 besitzt die Zeitmarkierungen 304a-n, die berechnet worden sind, damit sie mit jeder Periode übereinstimmen, wie z. B. der Periode 300a. Die Zeitmarkierungen werden als Indizes während der Syntheseberechnungen verwendet, die später ausführlich beschrieben werden. Die Synthese-Signalform 302 besitzt eine Menge von Zeitmarkierungen 306a-n, die berechnet worden sind, damit sie den Perioden entsprechen, die zu synthetisieren sind, wie z. B. 302a. Für jede Periode werden die Abtastwerte von der nächsten Zeitlinie ausgewählt, die der Analyseperiode entspricht. Für die Syntheseperiode 302a werden z. B. die Abtastwerte aus der entsprechenden Analyseperiode 300a ausgewählt.
Weil die Tonhöhe der Synthese-Signalform 302 höherer als die der Analyse-Signalform 300 ist, entwickelt sich ein zeitlicher Schrägversatz. Um diesen zeitlichen Schrägversatz zu kompensieren, werden zwei Syntheseperioden 312, 314 gebildet, indem die Abtastwerte von derselben Analyseperiode 310 ausgewählt werden, wann immer der zeitliche Schrägversatz eine Länge von etwa einer Periode erhält.
In einer ähnlichen Weise entwickelt sich ebenfalls ein zeitlicher Schrägversatz, falls sie Tonhöhe einer Synthese-Signalform tiefer als die der Analyse-Signalform 300 ist. In diesem Fall wird eine Analyseperiode übersprungen, wann immer der zeitliche Schrägversatz eine Länge von etwa einer Periode erhält.
Die Beziehung zwischen dem Index der Analyse-Zeitmarkierungen und dem Index der Synthese-Zeitmarkierungen ist ein Multiplikationsfaktor. Der Index der Analyse-Zeitmarkierungen besitzt einen Wert, der von 0 bis Na – 1 reicht, wobei Na = der Gesamtzahl der Analyse-Zeitmarkierungen ist. Der Index der Synthese-Zeitmarkierungen besitzt einen Wert, der von 0 bis Ns – 1 reicht, wobei Ns = der Gesamtzahl der Synthese-Zeitmarkierungen ist. Falls Is der aktuelle Index der Synthese-Zeitmarkierungen ist, während Ia der aktuelle Index der Analyse-Zeitmarkierungen ist, basiert die Synthese auf der Signalform-Extraktion der entsprechenden Analyse-Signalform, die sich bei den Zeitmarkierungen Ia = Is·Ks befindet, wobei Ks ein gebrochenzahliger Faktor ist, wobei die Multiplikation gerundet werden muss, damit sie einen ganzzahligen Indexwert für Ia liefert.
Für die Verarbeitung mit einer Relation des Typs A wird Ks wie folgt berechnet: Ks = Ts/Ta.
Für die Verarbeitung mit einer Relation des Typs B wird Ks wie folgt berechnet: Ks = (Ts·Da2)/(Ta·Ds2).
Es wird z. B. eine bei einer Abtastrate von 8000 Hz aufgezeichnete Analyse-Signalform angenommen, deren Tonhöhe 500 Hz beträgt und deren Dauer 50 ms beträgt. Es wird bestimmt, dass der Einschwingabschnitt der Signalform etwa die ersten 20 ms umfasst, deshalb wird die Menge der T1-Zeitmarkierungen berechnet, wobei sie 20 ms vom Anfang der Signalform entspricht. Folglich entspricht die Menge der T2-Zeitmarkierungen dem Abklingabschnitt der Signalform, der in diesem Fall die Zeitmarkierungen in der Menge [20 ms ... 50 ms] enthält. Die Analyse-Zeitmarkierungen sind so beabstandet, dass jede Periode sechzehn Abtastwerte enthält, weil (8000 Hz/500 Hz) = 16 gilt. Deshalb ist die T1-Teilmenge die Menge der Abtastwerte {16, 32, ..., 144, 160}, während die T2-Teilmenge die Menge der Abtastwerte {176, 192, ..., 384, 400} ist.
Um nun einen Ton mit einer Dauer von 40 ms und eine Tonhöhe von 1000 Hz zu synthetisieren, besitzt die synthetisierte Signalform (8000 Hz·40 ms) = 320 Abtastwerte. Für diese Signalform gibt es 40 Synthese-Zeitmarkierungen, die die Menge der Abtastwerte Ts = {8, 16, 24, 32, ..., 312, 320} enthalten. Weil die Synthesedauer kleiner als die Analysedauer ist, wird die Verarbeitung des Typs A angewendet. Die Periode Is der Signalform der synthetischen Musik wird aus der Analyse-Signalform extrahiert, die sich am Positionsindex Ia befindet, wo: Ks = Ts/Ta, hier Ta = 16 und Ts = 8,
Ks = 0,5
gilt.
Deshalb lautet für dieses Beispiel die Beziehung zwischen der Syntheseperiode und der entsprechenden Analyseperiode: Ia = Ks·Is, Is = 0,5·Is.
In einem zweiten Beispiel besitzt dann, um einen Ton mit einer Dauer von 80 ms und einer Tonhöhe von 1000 Hz zu synthetisieren, die synthetisierte Signalform Ds = (8000·0,080) = 640 Abtastwerte. Für diese Signalform gibt es 80 Synthese-Zeitmarkierungen, die die Menge der Abtastwerte Ts = {8, 16, 24, 32, ..., 632, 640} enthalten. Weil die Synthesedauer größer als die Analysedauer ist, wird die Verarbeitung des Typs A auf die Ta1-Zeitmarkierungen angewendet, während die Verarbeitung des Typs B auf die Ta2-Zeitmarkierungen gewendet wird. Die Periode Is der Signalform der synthetischen Musik wird aus der Analyse-Signalform extrahiert, die sich am Positionsindex Ia befindet, wo: Ks1 = Ts/Ta,hier Ta = 16 und Ts = 8, Ia = Ks1·Is, Ia = 0,5·Is für ia = 0, ..., Na1 – 1
und Ks2 = (Ts·Da2)/(Ta·Ds2), hier Da2 = 30 ms und Ds2 = 60 ms, Ia = Ks2·(Is – Na1/Ks1), Ia = 0,25·(Is – Na1/Ks1) für Ia = Na1, ..., Na2 – 1
gilt.
Folglich werden die Syntheseperioden Is {0, ..., 19} aus der Analyseperiode Ia = 0, ..., 9 extrahiert und entsprechen den synthetisieren Abtastwerten {0, ..., 159}. Die Synthese-Perioden Is {20, ..., 79} werden aus den Analyse-Perioden Ia = 10, ..., 24 extrahiert und entsprechen den synthetisieren Abtastwerten {160, ..., 639}.
4 ist eine Veranschaulichung einer weiteren Ausführungsform der Erfindung, die die Verwendung von zwei Fenstern veranschaulicht, um eine syntheti sierte Signalform 410 zu bilden. Jedes Fenster ist hier ein Hanning-Fenster. Ein Hanning-Fenster ist eine digitale Kosinus-Manipulation eines abgetasteten Signals, die den Anfangs- und Endabtastwert des Zeitdatensatzes auf eine Amplitude von null zwingt. Andere Ausführungsform der Erfindung können andere bekannte Fenstertypen verwenden, wie z. B. Hamming, dreieckig usw.
Die repräsentativen Fenster 420–422 sind für die Veranschaulichung gezeigt; es werden jedoch längs der Gesamtlänge der Synthese-Signalform ähnliche Fenster kontinuierlich angewendet. Für jede Zeitmarkierungs-Indexposition wird ein Fenster bestimmt, das die minimale Länge der lokalen Periode sowohl der Analyse als auch der Synthese um den lokalen Index [m] ist. Fensterlänge = WL = min(Time(Is[m + 1]) – Time(Is[m – 1]), Time(Ia[m + 1]) – Time(Ia[m – 1])), (mit Ia[m] = round(Ks·[m – 1]).
Diese Fensterlänge überdeckt 2 Perioden: eine vor Ia[m] und eine nach Ia[m]. Die Funktion "time" liefert die absolute Position der Abtastwertposition in den Wellen-Dateien (Analyse u. Synthese), wenn die Eingabe der Index der Syntheseperiode ist. Zum Beispiel bedeutet: Time(Is[40]) = 1000,dass der 1000. Abtastwert der Synthese dem 40. Synthesebeginn der Periode entspricht.
Sobald die Fensterlänge bestimmt worden ist, wird eine Funktion aufgerufen, um mit eingebetteten im Voraus berechneten Tabellen das Hanning-Fenster für die Extraktion der Analyse-Abtastwerte zu berechnen. Diese Funktion nimmt die Fensterlänge als Eingabe und schickt eine Matrix von Daten zurück, die der entsprechenden Fensterlänge entspricht. Win (18) schickt z. B. ein erhöhtes Kosinus-Fenster aus 18 Abtastwerten zurück.
Zurückzuführen auf die möglichen großen Werte von Ks wird eine Glättungsoperation angewendet, die eine Interpolation zwischen zwei aufeinanderfolgenden extrahierten Perioden der Analyse der Abtastwerte verwendet, bevor sie in die Synthese-Zeitskala gesetzt werden. Genauer wird die letzte Periode der Analyse, die vom vorhergehenden Index ia indexiert worden ist, verwendet, um die aktuelle Syntheseperiode zu glätten. Die zwei Perioden der Analyse werden gewichtet und summiert, bevor sie in die Synthese-Zeitskala gesetzt werden. Die Gewichte werden mit dem gebrochenzahligen Anteil der Berechnung F = Is·Ks berechnet. Die zwei auf die zwei Analyseperioden angewendeten Gewichte sind: W1 = (1,0 – (Is·Ks – ((integer)(Is·Ks))), W2 = (Is·Ks – ((integer)(Is·Ks)).
Die Rechnung verwendet den nichtganzzahligen Anteil des Produkts Is·Ks und wird unter Verwendung von Masken und Verschiebungen ausgeführt. Ks wird im Q9.6-Format dargestellt; eine ganze 16-Bit-Zahl wird mit den 9 MSB als der ganzzahlige Anteil und den 6 LSB als der gebrochenzahlige Anteil codiert. In einer weiteren Ausführungsform können andere Formate verwendet werden, wie z. B. eine Gleitkomma-Darstellung.
Folglich wird für einen gegebenen Synthese-Abtastwert, wie z. B. den Synthese-Abtastwert 414, ein Abtastwert 414a, der mit dem Fenster 420 aus den Analyseperioden 402–403 extrahiert worden ist, gewichtet und mit einem gewichteten Abtastwert 414b kombiniert, der mit dem Fenster 421 aus den Analyseperioden 403–404 extrahiert worden ist.
Wie früher erörtert worden ist, werden, zurückzuführen auf einen zeitlichen Schrägversatz, die gleichen Analyseperioden gelegentlich wiederverwendet. Für den Synthese-Abtastwert 415 wird z. B. ein Abtastwert 415a, der mit dem Fenster 421 aus den Analyseperioden 404–404 extrahiert worden ist, gewichtet und mit einem gewichteten Abtastwert 415b kombiniert, der mit dem Fenster 422 aus denselben Analyseperioden 403–404 extrahiert worden ist.
Dieses Gewichtungsmerkmal ist für Bedingungen konstruiert, in denen ein kleiner Abschnitt eines Analysesignals gespeichert ist, während ein langes Synthesesignal angefordert wird. Dann ist der Ks-Wert sehr klein (z. B. 0,03), wobei dann die Gewichtung einem Glättungsfaktor entspricht, anstatt lange Wiederholungen des gleichen Analysefensters aufzuweisen.
In einer weiteren Ausführungsform der Erfindung kann außerdem eine Interpolation ausgeführt werden, um die Tatsache zu kompensieren, dass im Allgemeinen die genaue Position der Syntheseperiode keiner Abtastwert-Grenze entspricht. Die Interpolation verwendet zwei extrahierte Analysefenster. Die Positionen der Syntheseperioden sind von einer Zeitmarkierung Ts beabstandet, die keine ganze Zahl ist; z. B. 300 Hz ≥ Ts = 8000/300 = 26,67.
In diesem Beispiel ist der gebrochenzahlige Anteil: FRAC (26,27·m) = 0,333.
Wenn m = 50 gilt und die zwei Gewichte ws1 = (1 – 0,333) und ws2 = (0,333) sind, dann werden die Synthese-Abtastwerte wie folgt berechnet:
Vorteilhaft beträgt die Gesamtzahl der Operationen nur vier Multiplikationen und eine Addition pro Synthese-Abtastwert für die Interpolation. Wenn die interpolierten Abtastwerte gewichtet und kombiniert werden, wie in 4 gezeigt ist, dann wird die Gesamtzahl der Operationen pro endgültigen Synthese-Abtastwert verdoppelt, ist aber immer noch maßvoll: acht Multiplikationen und zwei Additionen.
In einer weiteren Ausführungsform wird ein zusätzlicher Schritt ausgeführt, um eine synthetisierte Signalform zu verbessern, der eine Zeitumkehroperation an ausgewählten Perioden ausführt. Es wird ein Pseudozufallszahlengenerator verwendet, um zu entscheiden, ob die aktuelle Zeitmarkierungs-Periode zu tauschen ist. Der erste Abtastwert der Periode, der in die Synthese-Zeitskala zu kopieren ist, wird als A[tm_ia] bezeichnet, wobei tsa die Anzahl der von der Analyse extrahierten Abtastwerte ist. Wenn der aktuelle berechnete Periodenindex Ia, zurückzuführen auf den zeitlichen Schrägversatz, wie oben beschrieben worden ist, zum vorausgehend berechneten Periodenindex für die letzte Syntheseperiode völlig gleich ist, dann wird die Zeitumkehr in Betracht gezogen. Falls der Zufallszahlengenerator einen geradzahligen Wert liefert, werden die Abtastwerte in Bezug auf die Zeitfolge kopiert, d. h., erste Abtastwert ist A[tm_ia], während der letzte Abtastwert A[tm_is + tsa – 1] ist. Falls andernfalls die Zufallsdaten ungeradzahlig sind, wird die Zeitfolge invertiert, so dass die ersten Synthesedaten A[tm_is + tsa – 1] sind, während die letzten Synthesedaten A[tm_ia] sind.
5 ist ein Ablaufplan, der die Schritte für das Synthetisieren einer Note gemäß den Aspekten der vorliegenden Erfindung zusammenfasst, wie oben beschrieben worden ist. Im Schritt 500 werden die Aufzeichnungen der verschiedenen Instrumente ausgeführt, wird jede analysiert und wird eine Menge von Analyse-Zeitmarkierungen berechnet. Die mit Anmerkungen versehenen Analyse-Signalformen werden dann gespeichert.
Im Schritt 502 wird eine ausgewählten Note oder eine Melodie empfangen, typischerweise in der Form einer Melodiedatei, die zu synthetisieren ist. Ein Dateiformat für diesen Schritt wird später ausführlicher beschrieben. Für jede Note wird eine Menge von Synthese-Zeitmarkierungen berechnet. Die folgenden Schritte werden für jede Note ausgeführt. Falls mehr als eine Note parallel zu spielen ist, werden die folgenden Schritte für jede Note innerhalb eines Zeitrahmens ausgeführt, um das parallele Spielen zu erlauben.
Im Schritt 504 wird für jede Note auf eine mit Anmerkungen versehenen Analyse-Signalformen zugegriffen, wie sie durch die Melodiedatei definiert ist. Eine Beziehung zwischen der Menge der Analyse-Zeitmarkierungen und der Menge der Synthese-Zeitmarkierungen wird dann entsprechend der Dauer von jeder berechnet. Wenn Ds > Da gilt, dann wird eine Verarbeitung des Typs A im Einschwingabschnitt verwendet, während eine Verarbeitung des Typs B im Abklingabschnitt verwendet wird. Wenn Ds ≤ Da gilt, dann wird in der ganzen Synthese-Signalform eine Verarbeitung des Typs A verwendet. Der Koeffizient Ks wird für die Verarbeitung des Typs A berechnet, während die Koeffizienten Ks1 und Ks2 für die Verarbeitung des Typs B berechnet werden.
Der Schritt 510 ist ein Teil einer Iterationsschleife, die jede Periode der synthetisieren Signalform inkremental berechnet. Diese Schleife wird für jede Periode der synthetisieren Signalform unter Verwendung eines Index m, der auf null initialisiert ist, durchlaufen. Während jeder Iteration dieses Schrittes wird eine Menge von Synthese-Abtastwerten für die Syntheseperiode Is[m – 1] berechnet. Die vorhergehende Syntheseperiode Is[m – 1] wird aus der Analyseperiode Ia = round(Ks·[m – 1]) unter Verwendung des vorher beschriebenen Kosinus-Hanning-Fensters berechnet. Wie vorher beschrieben worden ist, wird, wenn die Dauer der Synthese-Signalform kleiner als die oder gleich der Dauer der Analyse-Signalform ist, dann die Verarbeitung des Typs A in allen Syntheseperioden verwendet. Wenn jedoch Ds > Da gilt, dann wird die Verarbeitung des Typs A für die Syntheseperioden innerhalb des Einschwingabschnitts verwendet, während die Verarbeitung des Typs B für die Syntheseperioden innerhalb des Abklingabschnitts verwendet wird.
Gleichermaßen wird während jeder Iteration des Schrittes 512 eine Menge der Synthese-Abtastwerte für die Syntheseperiode Is[m] berechnet. Die Verarbeitung des Typs A und die Verarbeitung des Typs B werden in Übereinstimmung mit den relativen Dauern der Synthese- und Analyse-Signalformen ausgeführt.
In einer Ausführungsform, die die Kompensation der Tatsache enthält, dass im Allgemeinen die genaue Position der Syntheseperiode keiner Abtastwert-Grenze entspricht, wie oben beschrieben worden ist, wird eine Interpolationsberechnung in den Schritt 510 aufgenommen, um die Syntheseperiode Is[m – 1] zu berechnen, und wird eine Interpolationsberechnung in den Schritt 512 aufgenommen, um die Syntheseperiode Is[m] zu berechnen.
Der Schritt 520 bestimmt, ob für diese Iteration die Zeitumkehr betrachtet werden sollte. Wenn im Schritt 512 round(Ks·m) = round(Ks·[m – 1]) gilt, dann wird eine zufällige Umkehr der synthetisierten Abtastwerte innerhalb der aktuellen Periode Is[m] aufgerufen. Die zufällige Umkehr basiert auf einem Pseudozufallszahlengenerator, der im Schritt 522 getestet wird. Wenn die Zufallszahl ungeradzahlig ist, dann erfolgt die Zeitumkehr der Menge Is[m] der Abtastwerte, andernfalls wird keine Zeitumkehr ausgeführt.
Im Schritt 524 wird, wenn keine Zeitumkehr auszuführen ist, dann jeder Abtastwert der vorhergehenden Syntheseperiode Is[m – 1] mit dem Gewichtungsfaktor W1 gewichtet, wobei W1 = (1,0 – ([m]·Ks – ((int)([m]·Ks))) gilt. Jeder Abtastwert der aktuellen Syntheseperiode Is[m] wird mit dem Gewichtungsfaktor W2 gewichtet, wobei W2 = ([m]·Ks – ((int)([m]·Ks))) gilt. Die Ergebnisse werden abtastwertweise addiert, um eine endgültige Version der aktuellen Syntheseperiode Is[m] zu bilden, wobei sie dann zur Zeitskala addiert werden.
Wenn z. B. Ks = 0,3, m = 454 gilt,
dann gilt W1 = (1,0 – ((454·0,3) – int(454·0,3)) = 0,8, W2 = (454·0,3) – int(454·0,3) = 0,2.
Wenn eine Zeitumkehr auszuführen ist, dann wird anstelle von 524 der Schritt 526 ausgeführt. Es wird die gleiche Gewichtung wie für den Schritt 524 ausgeführt; die Menge der Abtastwerte für die aktuelle Syntheseperiode vom Schritt 512 wird jedoch vor dem Kombinieren mit den Abtastwerten von der vorhergehenden Syntheseperiode vom Schritt 510 zeitlich umgekehrt.
Der Schritt 530 ist das Ende der interaktiven Schleife. Der Index m für Is wird um eins inkrementiert, wobei die mit dem Schritt 510 beginnende Schleife wiederholt wird, bis die letzte Syntheseperiode für die Note erreicht wird. Die Abtastwert-Menge Is[m], die im Schritt 512 berechnet worden ist, wird gesichert und als die "vorhergehende Syntheseperiode" für den nächsten Durchgang durch die Schleife verwendet, so dass im Schritt 510 keine zusätzlichen Berechnungen ausgeführt werden müssen.
6A ist ein Ablaufplan, der veranschaulicht, wie eine Menge von Analyse-Signalformen gesammelt wird. Im Schritt 600 wird eine einzelne Note von einem Instrument abgetastet, um eine instrumental korrekte digitale Analyse-Signalform zu bilden. Die Abtastrate wird entsprechend der erwarteten Verwendung ausgewählt. Für Vorrichtungen des Telephon-Typs wird typischerweise eine Abtastrate von 8 kHz verwendet. Für einen Audio-Synthesizer mit hoher Qualität könnte z. B. eine Abtastrate von 40 kHz verwendet werden.
Im Schritt 602 wird die abgetastete digitale Signalform analysiert, um die Dauer eines Einschwingabschnitts und die Dauer eines Abklingabschnitts zu bestimmen. In der vorliegenden Ausführungsform wird diese Charakterisierung ausgeführt, indem die abgetastete Signalform auf einer Videoanzeigevorrichtung angezeigt wird und der Zeitpunkt visuell ausgewählt wird, zu dem der Einschwingabschnitt abgeschlossen ist. Eine weitere Ausführungsform kann diesen Schritt z. B. unter Verwendung eines Signalform-Analysefilters automatisieren.
Während des Schrittes 602 wird außerdem eine Menge von Zeitmarkierungen berechnet, die den Periodengrenzen der Analyse-Signalform entspricht. Für eine nichtperiodische Signalform können die Zeitmarkierungen in regelmäßigen Intervallen zugeordnet werden. Es wird eine Menge von Zeitmarkierungen T1 für den Einschwingabschnitt berechnet, und es wird eine Menge von Zeitmarkierungen T2 für den Abklingabschnitt berechnet.
Die digitale Signalform und die Informationen über die Dauer und die zwei Mengen der Zeitmarkierungen werden dann in einer Datei als eine mit Anmerkungen versehene Analyse-Signalform für die spätere Verwendung gespeichert.
6B ist eine Veranschaulichung einer Orchesterdatei, die eine Menge von Analyse-Signalformen für mehrere verschiedene Instrumente enthält. Jeder Eintrag in der Orchesterdatei ist eine mit Anmerkungen versehene Analyse-Signalform, wie oben beschrieben worden ist, die eine digitalisierte Analyse-Signalform, die Informationen über die Dauer und die Zeitmarkierungen enthält. Das hierin beschriebene Syntheseverfahren kann für einige Instrumententypen synthetisierte Noten mit guter Qualität über einen Bereich von drei bis fünf Oktaven erzeugen. Typischerweise kann ein weiter Bereich von Instrumenten unter Verwendung dieser Techniken über einen Bereich von etwa +/– eine Oktave aus der Analyse-Signalform synthetisiert werden. Deshalb sind für eine Vorrichtung des Telephontyps, die eine Bandbreite von etwa 4 kHz besitzt, nur zwei Analyse-Abtastwerte, bei 500 Hz und bei 2000 Hz, für jedes Instrument erforderlich. Für Instrumententypen, die vielleicht normalerweise keinen breiten Bereich der Noten erzeugen, kann ein einziger Abtastwert genügen, wie z. B. für einen Bass 620, der keine höheren Noten erzeugt, oder für eine Flöte 622, die keine tieferen Noten erzeugt.
Vorteilhaft kann ein weiter Bereich von Instrumenten in einer Orchesterdatei in einer relativ kleinen Menge des Speichers dargestellt sein.
7 ist ein Blockschaltplan eines digitalen Systems, das eine Ausführungsform der vorliegenden Erfindung in einem Megazellen-Kern 100 mit mehreren Prozessorkernen enthält. Im Interesse der Klarheit zeigt 1 nur diejenigen Abschnitte der Megazelle 100, die für ein Verständnis einer Ausführungsform der vorliegenden Erfindung relevant sind. Die Einzelheiten der allgemeinen Konstruktion für DSPs sind wohlbekannt und können leicht anderswo gefunden werden. US-Patent 5.072.418, erteilt an Frederick Boutaud u. a., beschreibt z. B. einen DSP ausführlich. US-Patent 5.329.471, erteilt an Gary Swoboda u. a., beschreibt ausführlich, wie ein DSP zu testen und zu emulieren ist. Die Einzelheiten der Abschnitte einer Megazelle 100, die für eine Ausführungsform der vorliegenden Erfindung relevant sind, sind im Folgenden in ausreichender Ausführlichkeit erklärt, um einem Durchschnittsfachmann auf dem Gebiet der Mikroprozessoren zu ermöglichen, die Erfindung herzustellen und zu verwenden.
In 7 enthält die Megazelle 100 einen Steuerprozessor (MPU) 102 mit einem 32-Bit-Kern 103 und einen digitalen Signalprozessor (DSP) 104 mit einem DSP-Kern 105, die einen Block des Speichers 113 und einen Cache 114 gemeinsam benutzen, die als ein Speicheruntersystem 112 der Ebene zwei (L2) bezeichnet werden. Ein Verkehrssteuerblock 110 empfängt die Anforderungen von einem Host-Prozessor, der mit einer Host-Schnittstelle 120b verbunden ist, die Anforderungen vom Steuerprozessor 102 und die Übertragungsanforderungen von einem Speicherzugriffsknoten im DSP 104. Der Verkehrssteuerblock verschachtelt diese Anforderungen und präsentiert sie dem gemeinsam benutzten Speicher und dem gemeinsam benutzten Cache. Auf die gemeinsam benutzten Peripheriegeräte 116 wird außerdem über den Verkehrssteuerblock zugegriffen. Ein Direktspeicherzugriffs-Controller 106 kann die Daten zwischen einer externen Quelle, wie z. B. einem Speicher 132 außerhalb des Chips oder einem Speicher 134 auf dem Chip, und dem gemeinsam benutzen Speicher übertragen. Verschiedene anwendungsspezifische Prozessoren oder Hardware-Beschleuniger 108 können außerdem innerhalb der Megazelle enthalten sein, wie es für verschiedene Anwendungen erforderlich ist, und über den Verkehrssteuerblock mit dem DSP und dem MPU in Wechselwirkung treten.
Außerhalb der Megazelle ist ein Steuerblock 130 der Ebene drei (L3) angeschlossen, um die Speicheranforderungen vom internen Verkehrssteuerblock 110 in Reaktion auf explizite Anforderungen vom DSP oder vom MPU oder von Fehltreffern in einem gemeinsam benutzten Cache 114 zu empfangen. Der externe Speicher 132 außerhalb des Chips und/oder der Speicher 134 auf dem Chip sind mit dem Systemverkehrs-Controller 130 verbunden; diese werden als L3-Speicheruntersysteme bezeichnet. Mit dem Systemverkehrs-Controller sind ein Rahmenpuffer 136 und eine Anzeigevorrichtung 138 verbunden, um die Daten für das Anzeigen graphischer Bilder zu empfangen. Ein Host-Prozessor 120a tritt mit den externen Betriebsmitteln durch den Systemverkehrs-Controller 130 in Wechselwirkung. Eine mit dem Verkehrs-Controller 130 verbundene Host-Schnittstelle erlaubt den Zugriff durch den Host 120a auf die externen Speicher und andere Vorrichtungen, die mit dem Verkehrs-Controller 130 verbunden sind. Folglich kann in verschiedenen Ausführungsformen ein Host-Prozessor auf der Ebene drei oder auf der Ebene zwei angeschlossen sein. Eine Menge privater Peripheriegeräte 140 ist mit dem DSP verbunden, während eine weitere Menge privater Peripheriegeräte 142 mit dem MPU verbunden ist.
Obwohl die Erfindung besondere Anwendung auf digitale Signalprozessoren (DSPs) findet, die z. B. in einer anwendungsspezifischen integrierten Schaltung (ASIC) implementiert sind, findet sie außerdem Anwendung auf andere Formen der Prozessoren. Eine ASIC kann eine oder mehrere Megazellen enthalten, von denen jede kundenspezifisch konstruierte funktionale Schaltungen enthält, die mit im Voraus konstruierten funktionalen Schaltungen kombiniert sind, die durch eine Konstruktionsbibliothek bereitgestellt werden.
8 ist ein Ablaufplan, der die Synthese einer Melodie im digitalen System nach 7 gemäß einem Aspekt der vorliegenden Erfindung veranschaulicht. Die in dem MPU 102 ausgeführte Software antwortet auf eine Anwenderanforderung oder andere Anreize, um eine Melodie für die Synthese auszuwählen. Im Schritt 800 lädt der MPU 102 die Analyse-Signalformen und die Analyse-Zeitmarkierungen in den gemeinsam benutzen Speicher 112. Wenn die Anforderung für nur ein einziges Instrument erfolgt, dann werden die mit Anmerkungen versehenen Analyse-Signalformen für das ausgewählte Instrument geladen. Für eine komplexere Melodie wird eine ganze Orchesterdatei geladen. Die Orchesterdatei wird im L3-Speicheruntersystem aufrechterhalten.
Im Schritt 802 lädt der MPU 102 eine Datei, die die angeforderte musikalische Partitur enthält, in den gemeinsam benutzen Speicher 112. Eine Datei einer musikalischen Partitur wird hierin als eine E2-Datei bezeichnet.
Das Format der E2-Datei ist eine komprimierte binäre Datei, um so wenig wie möglich Speicher im MPU-Adressenraum zu verwenden. Die Datenrate beträgt etwa 4 Bytes pro synthetisierter Note. Diese Größe kann bei optionalen Klangerzeugungs-Effekten wie: Tonhöhenverschiebung, Lautstärke-Tremolo und Vibrato, größer sein.
Im Format der E2-Datei gibt es für jede Note ein 8-Bit-Daten-Byte, das zwei Dinge angibt: die ersten sieben Bits sind ein Zeitstempel, der das Zeitintervall in 20-ms-Perioden vor dem Laden des aktuellen Noten-Ereignisses angibt; und das achte Bit ist ein Indikator eines erweiterten Formats für die folgenden Daten.
Dem Zeitstempel-Byte folgen zwei Bytes (16 Bit) der Notendefinitionsdaten, die das folgende Format besitzen: sechs Bits für die Frequenzauswahl, drei Bits für die Amplitude, drei Bits für die Auswahl der Analysenwelle und vier Bits für die Dauer.
Wenn das Bit für das erweiterte Format gesetzt ist, dann folgen diesen zwei Bytes vier zusätzliche Bytes, die für die Steuerung der Klangeffekte verwendet werden.
Der MCU liest das erste Byte des Datenstroms und wartet dann eine Zeitdauer entsprechend dem Zeitstempel, bevor er die Zweiportspeicher-Schnittstelle mit den Notendefinitionsdaten lädt: zwei Bytes oder sechs Bytes, falls das Erweiterungsbit gesetzt ist. Dann liest der MCU das nächste Zeitstempel-Byte, das eine Verzögerung für die nächste Note vor dem Laden der nächsten Menge der Notendefinitionsdaten angibt. Für parallel abzuspielende Noten könnte die Zeitverzögerung null sein.
Im Schritt 804 liest der DSP 104 jede durch den MPU von der E2-Datei bereitgestellte Menge der Notendefinitionsdaten und berechnet unter Verwendung der entsprechenden Felder in den Zwei-Byte-Notendefinitionsdaten die Frequenz, die Amplitude und die Dauer jeder zu synthetisierenden Note. Dann berechnet der DSP 104 eine Menge von Synthese-Zeitmarkierungen für jede Note.
Im Schritt 806 berechnet der DSP die Beziehung zwischen den Analyse- und den Synthese-Zeitmarken, wie vorher beschrieben worden ist, indem er eine Analyse-Signalform des durch das Drei-Bit-Wellenauswahlfeld in den Notendefinitionsdaten spezifizierten Instrumententyps auswählt. Wenn es mehr als eine Analyse-Signalform für das spezifizierte Instrument gibt, basiert die Auswahl ferner auf dem Auswählen einer Analyse-Signalform, deren Frequenz am nächsten bei der für die synthetisierte Note spezifizierten Frequenz liegt.
Im Schritt 808 berechnet der DSP die Synthese-Abtastwerte für die angeforderte Note und wendet die Abtastwert-Gewichtung und die Abtastwert-Zeitumkehr an, um die Qualität der synthetisierten Note zu verbessern, wie vorher unter Bezugnahme auf 5 beschrieben worden ist. Die synthetisierten Abtastwerte werden dann für das Abspielen in eine Audio-Umsetzungs-Schnittstelle geschrieben. Die Audio-Umsetzungs-Schnittstelle ist in der Menge der Peripheriegeräte 140 enthalten, die mit dem DSP verbunden ist.
Im Schritt 810 wird eine Überprüfung ausgeführt, um festzustellen, ob die letzten Notendefinitionsdaten vom MPU empfangen worden sind. Falls eine weitere Notenanforderung anhängig ist, wird die Schleife unter Verwendung der neuen Notendefinitionsdaten wiederholt.
Vorteilhaft ist nur ein verschwindend kleiner Pufferbereich erforderlich, um die Syntheseoperation zu unterstützen, weil die synthetisierten Noten in Echtzeit abgespielt werden, wie sie erzeugt werden.
Die Ausführungsformen des digitalen Systems
9 veranschaulicht eine beispielhafte Implementierung der Erfindung in einer Mobiltelekommunikationsvorrichtung, wie z. B. einen mobilen persönlichen digitalen Assistenten (PDA) 10 mit einer Anzeige 14 und den integrierten Eingabesensoren 12a, 12b, die sich am Rand der Anzeige 14 befinden. Wie in 9 gezeigt ist, enthält das digitale System 10 eine Megazelle 100 gemäß 1, die über einen (nicht gezeigten) Adapter mit den Eingabesensoren 12a, b als ein privates MPU-Peripheriegerät 142 verbunden ist. Es kann eine Schreibnadel oder ein Finger verwendet werden, um über die Eingabesensoren 12a, b die Informationen in den PDA einzugeben. Die Anzeige 14 ist über einen lokalen Rahmenpuffer, der zum Rahmenpuffer 136 ähnlich ist, mit der Megazelle 100 verbunden. Die Anzeige 14 schafft eine graphische Ausgabe und eine Video-Ausgabe in überlappenden Fenstern, wie z. B. dem MPEG-Video-Fenster 14a, dem Fenster 14b für gemeinsam benutzte Textdokumente und dem Fenster 14c für dreidimensionale Spiele.
Eine (nicht gezeigte) Hochfrequenz-Schaltungsanordnung (HF-Schaltungsanordnung) ist mit einer Antenne 18 verbunden und wird durch die Megazelle 100 als ein privates DSP-Peripheriegerät 140 angesteuert, wobei sie eine drahtlose Netzverbindung bereitstellt. Der Verbinder 20 ist mit einem (nicht gezeigten) Kabeladapter-Modem und von dort mit der Megazelle 100 als ein privates DSP-Peripheriegerät 140 verbunden, wobei er eine verdrahtete Netzverbindung für die Verwendung z. B. während der stationären Nutzung in einer Büro-Umgebung bereitstellt. Eine drahtlose Kurzstrecken-Verbindung 23 ist außerdem mit einer Hörmuschel 22 "verbunden", wobei sie durch einen (nicht gezeigten) Kleinleistungs-Sender angesteuert wird, der mit der Megazelle 100 als ein privates DSP-Peripheriegerät 140 verbunden ist. Das Mikrophon 24 ist ähnlich mit der Megazelle 100 verbunden, so dass Zweiwege-Audioinformationen mit anderen Anwendern im drahtlosen oder verdrahteten Netz unter Verwendung des Mikrophons 24 und der Hörmuschel 22 ausgetauscht werden können.
Die Megazelle 100 stellt die gesamte Codierung und Decodierung für die Audio- und Video-Informationen/graphischen Informationen bereit, die über die drahtlose Netzverbindung und/oder die drahtgestützte Netzverbindung gesendet und empfangen werden.
Eine synthetisierte Melodie, die durch den DSP in eine Audio-Umsetzungs-Schnittstelle geschrieben wird, kann über die drahtlose Hörmuschel 22 abgehört werden. Ähnlich kann ein Lautsprecher oder eine Menge von Lautsprechern mit der Audio-Umsetzungs-Schnittstelle verbunden sein und dadurch die synthetisierte Melodie abspielen.
Es wird selbstverständlich erwartet, dass viele andere Typen von Kommunikationssystemen und Computer-Systemen außerdem von der vorliegenden Erfindung profitieren können, insbesondere diejenigen, die sich auf Batterieleistung stützen. Beispiele derartiger anderer Computer-Systeme enthalten tragbare Computer, intelligente Telephone, Web-Telephone und dergleichen. Da die Verlustleistung und die Verarbeitungsleistung außerdem in Desktop-Computer-Systemen und netzbetriebenen Computer-Systemen und Mikro-Controller-Anwendungen von Bedeutung sind, insbesondere vom Standpunkt der Zuverlässigkeit, wird außerdem erwartet, dass die vorliegende Erfindung außerdem Vorteile für derartige netzbetriebene Systeme schafft.
Diese Musik-Synthese-Technik kann auf viele verschiedene Arten von Anwendungen angewendet werden. Für verschiedene Typen der elektronischen Musikinstrumente wird z. B. eine Analysewelle für jede musikalische Tonleiter einer Oktave aufgezeichnet. Vorteilhaft spielt der Algorithmus alle zwölf Halbtöne der Tonleiter ab.
Eine weitere Ausführungsform kann in elektronischen Spielen verwendet werden, um die in den Spielen verwendete Musik abzuspielen. Vorteilhaft sind durch den hierin beschriebenen Algorithmus die Speicheranforderungen und Prozessorbetriebsmittel minimiert.
In einer weiteren Ausführungsform verwenden Zellen-Telephone und Festnetz-Telephone diese Technik, um im Voraus ausgewählte oder kundenspezifische Klingelmelodien abzuspielen.

Claims

Verfahren zum Synthetisieren von Musik in einem digitalen System, das umfasst: Zugreifen auf eine digitale Analyse-Signalform, die eine erste Dauer, eine erste Tonhöhe, einen ersten Einschwingabschnitt und einen ersten Abklingabschnitt besitzt; Bestimmen einer zweiten Dauer und einer zweiten Tonhöhe für eine Synthese-Signalform; Berechnen erster Zeitmarkierungen für die Analyse-Signalform, derart, dass die ersten Zeitmarkierungen der Periodizität der Analyse-Signalform entsprechen; Berechnen zweiter Zeitmarkierungen für die Synthese-Signalform, derart, dass die zweiten Zeitmarkierungen der Periodizität der Synthese-Signalform entsprechen; und Berechnen von Abtastwerten für jede Periode der Synthese-Signalform, die durch benachbarte zweite Zeitmarkierungen definiert ist, unter Verwendung von Abtastwerten, die aus einer entsprechenden Periode der Analyse-Signalform ausgewählt sind, die durch benachbarte erste Zeitmarkierungen definiert ist, um die Synthese-Signalform zu bilden, die die zweite Tonhöhe, die zweite Dauer, einen zweiten Einschwingabschnitt und einen zweiten Abklingabschnitt besitzt.
Verfahren nach Anspruch 1, bei dem der Schritt des Berechnens von Abtastwerten für jede Periode ferner umfasst: Berechnen einer Menge von Abtastwerten für eine Periode m unter Verwendung eines ersten Kosinusfensters; Berechnen einer Menge von Abtastwerten für eine Periode m – 1 unter Verwendung eines zweiten Kosinusfensters; und Kombinieren der Menge von Abtastwerten für die Periode m und der Menge von Abtastwerten für die Periode m – 1 unter Verwendung einer Gewichtungsfunktion.
Verfahren nach Anspruch 2, bei dem das erste Kosinusfenster an zwei benachbarten Perioden arbeitet und das zweite Kosinusfenster an zwei benachbarten Perioden, die gegenüber dem ersten Kosinusfenster um eine Periode verschoben sind, arbeitet.
Verfahren nach Anspruch 2 oder Anspruch 3, das ferner den folgenden Schritt umfasst: Umkehren eines ausgewählten Abtastwerts der Menge von Abtastwerten vor dem Schritt des Kombinierens der Mengen von Abtastwerten.
Verfahren nach Anspruch 4, bei dem der Schritt des Umkehrens nur ausgeführt wird, wenn zwei aufeinander folgende Perioden der Synthese-Signalform unter Verwendung derselben Perioden der Analyse-Signalform gebildet werden; und bei dem der Schritt des Umkehrens als Antwort auf einen Zufallszahlengenerator erfolgt.
Verfahren nach einem vorhergehenden Anspruch, bei dem der Schritt des Berechnens von Abtastwerten das Bilden der Synthese-Signalform in der Weise, dass der zweite Einschwingabschnitt eine Dauer besitzt, die angenähert gleich einer Dauer des ersten Einschwingabschnitts ist, umfasst.
Verfahren nach einem vorhergehenden Anspruch, bei dem der Schritt des Berechnens von Abtastwerten das Bilden der Synthese-Signalform in der Weise, dass der zweite Abklingabschnitt durch seitliches Ziehen des ersten Abklingabschnitts gebildet wird, umfasst.
Verfahren nach einem vorhergehenden Anspruch, bei dem die zweite Tonhöhe aus einem Bereich gewählt ist, der wenigstens plus oder minus eine Oktave um die erste Tonhöhe umfasst.
Verfahren nach einem vorhergehenden Anspruch, bei dem der Schritt des Zugreifens auf eine Analyse-Signalform die Auswahl aus mehreren instrumental korrekten digitalen Signalformen, die mehreren Instrumenten entsprechen, umfasst.
Verfahren nach Anspruch 9, bei dem für wenigstens eines der mehreren Instrumente die instrumental korrekten digitalen Signalformen nicht mehr als eine Signalform für einen Bereich von wenigstens zwei Oktaven enthalten.
Digitales System, mit: einem Speicher zum Halten mehrerer instrumental korrekter digitaler Signalformen, die mehreren Instrumenten entsprechen; einem ersten Prozessor, der mit dem Speicher verbunden ist, wobei der erste Prozessor so betreibbar ist, dass er in dem Speicher eine musikalische Partitur speichern kann; und einen zweiten Prozessor, der mit dem Speicher verbunden ist, wobei der zweite Prozessor so betreibbar ist, dass er ein Melodiesignal als Antwort auf die musikalische Partitur unter Verwendung des Verfahrens nach einem vorhergehenden Anspruch für jede Note der Melodie synthetisiert.
Digitales System nach Anspruch 11, ferner mit: einer Audiovorrichtung, die mit dem zweiten Prozessor verbunden ist, um das synthetisierte Melodiesignal abzuspielen.
Digitales System nach Anspruch 11 oder Anspruch 12, wobei das digitale System einen persönlichen digitalen Assistenten umfasst und ferner versehen ist mit: einer Anzeige, die mit dem zweiten Prozessor über einen Anzeigeadapter verbunden ist; einer Hochfrequenz-Schaltungsanordnung (HF-Schaltungsanordnung), die mit der CPU verbunden ist; und einer Antenne, die mit der HF-Schaltungsanordnung verbunden ist.