DE69619284T3

DE69619284T3 - Vorrichtung zur Erweiterung der Sprachbandbreite

Info

Publication number: DE69619284T3
Application number: DE69619284T
Authority: DE
Inventors: Mineo Neyagawa-shi Tsushima; Yoshihisa Katano-shi Nakatoh; Takeshi Kobe-shi Norimatus
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp
Priority date: 1995-03-13
Filing date: 1996-03-12
Publication date: 2006-04-27
Anticipated expiration: 2016-03-13
Also published as: EP0732687B1; DE69619284D1; DE69619284T2; US5978759A; EP0732687A3; EP0732687A2; EP0732687B2

Description

Die vorliegende Erfindung bezieht sich auf eine Vorrichtung zum Erzeugen von breitbandigen Sprachsignalen aus schmalbandigen Sprachsignalen, und insbesondere auf eine Vorrichtung zum Erzeugen von breitbandiger Sprache aus Sprache mit Telephonbandbreite.
Unter den früheren Verfahren der Verbreiterung der Sprachbandbreite gibt es das Verfahren, das beschrieben ist in "Recovery of wideband speech from narrowband speech by codebook mapping", Y. Yoshida, T. Abe u. a., Denshi Joho Tsushin Gakkai Shingakuho SP 93-61 (1993-08) (in japanischer Sprache), und das Verfahren, das beschrieben ist in "Statistical recovery of wideband speech from narrowband speech", Y. Cheng, D. O'Shaughnessy, P. Mermelstein, Procced. ICSLP 92 (1992), S. 1577-1580.
Gemäß dem Verfahren von Yoshida u. a. waren eine große Anzahl von Codewörtern, z. B. 512 Codes, erforderlich für eine gewissenhafte Verbreiterung der Sprachbandbreite, da das Verfahren auf der Codebuch-Abbildung bzw. dem Codebook-Mapping beruht. Andererseits weist das Verfahren nach Cheng u. a. ein Problem bezüglich der Qualität der synthetisierten Sprache auf, da weißes Rauschen hinzugefügt wird, das nicht mit der ursprünglichen Sprache korreliert.
Der Artikel "An algorithm to reconstruct wideband speech from narrowband speech based on codebook mapping", Yoshida u. a., ICLSP 1994, S. 1591-1594, offenbart ferner die Verwendung der Codebuch-Abbildung bei der Erzeugung von breitbandiger Sprache aus schmalbandiger Sprache im Zusammenhang mit der Linearvorhersage-Codierung (LPC = Linearprädikativcodierung). Dieser Artikel offenbart ferner die Filterung der mittels LPC synthetisierten breitbandigen Sprache und das Summieren einer "erhöhtabgetasteten" Version der eingegebenen schmalbandigen Sprache mit dem gefilterten (und leistungsmodifizierten) synthetisierten breitbandigen Sprachsignal, um ein breitbandiges Ausgangssprachsignal zu erzeugen.
Es ist daher eine Aufgabe der vorliegenden Erfindung, unter Verwendung einer kleinen Anzahl von Codes ein breitbandiges Sprachsignal aus einem schmalbandigen Sprachsignal zu erzeugen.
Eine weitere Aufgabe der vorliegenden Erfindung besteht darin, ein breitbandiges Sprachsignal aus einem Sprachsignal mit Telephonbandbreite zu erzeugen.
Eine weitere Aufgabe der vorliegenden Erfindung ist, ein klares breitbandiges Sprachsignal aus einem schmalbandigen Sprachsignal zu erzeugen.
Um die obenerwähnten Aufgaben zu lösen, erhält die vorliegende Erfindung ein breitbandiges Sprachsignal aus einem schmalbandigen Sprachsignal durch Hinzuaddieren eines Signals eines Frequenzbereiches außerhalb der Bandbreite des schmalbandigen Sprachsignals. Genauer umfasst die vorliegende Erfindung in einer bandbreiten Verbreiterungsvorrichtung zur Wiedergewinnung einer breitbandigen Sprache aus einer schmalbandigen Sprache:
eine Bandbreitenverbreiterungseinrichtung zum Extrahieren von Merkmalsgrößen eines schmalbandigen digitalen Eingangssprachsignals und zum Erzeugen eines breitbandigen digitalen Sprachsignals basierend auf den Merkmalsgrößen, wobei die Bandbreitenverbreiterungseinrichtung enthält:
einen Linearvorhersagecodierungs-(LPC)-Analysator zur Durchführung einer LPC-Analyse des schmalbandigen digitalen Eingangssprachsignals zum Erhalten spektraler Hüllkurvenparameter und eines Restsignals,
einen Spektralhüllkurvenwandler zum Umwandeln der spektralen Hüllkurvenparameter in diejenigen des breiten Bandes,
einen Restwandler zum Umwandeln des Restsignals in dasjenige des breiten Bandes, und
einen LPC-Synthesizer zum Zusammenfügen einer Ausgabe des Spektralhüllkurvenwandlers und einer Ausgabe des Restwandlers, um ein breitbandiges digitales Sprachsignal auszugeben;
eine Filtereinrichtung zum Extrahieren von in der Bandbreite des schmalbandigen Eingangsdigitalsignals nicht enthaltenen Frequenzkomponenten des von der Bandbreitenverbreiterungseinrichtung ausgegebenen breitbandigen digitalen Sprachsignals; und
eine Signaladdierereinrichtung zum Addieren des schmalbandigen digitalen Eingangssprachsignals und eines Ausgangssignals der Filtereinrichtung und zum Ausgeben eines synthetisierten breitbandigen digitalen Sprachsignals.
Mit dem obigen Aufbau erweitert die vorliegende Erfindung die Bandbreite eines Sprachsignals, ohne die im schmalbandigen Sprachsignal enthaltenen Informationen zu ändern. Ferner kann die vorliegende Erfindung ein synthetisiertes Signal erzeugen, das eine große Korrelation mit dem schmalbandigen Sprachsignal aufweist. Ferner kann die vorliegende Erfindung die Genauigkeit des Systems frei variieren durch Klarstellen des Prozesses der Verbreiterung der Bandbreite.
Diese und andere Aufgaben und Merkmale der vorliegenden Erfindung werden deutlich anhand der folgenden Beschreibung in Verbindung mit den bevorzugten Ausführungsformen derselben und mit Bezug auf die beigefügten Zeichnungen, in welchen ähnliche Teile mit ähnlichen Bezugszeichen bezeichnet sind, und in welchen:
1 ein Blockschaltbild ist, das die Vorrichtung zur Verbreiterung der Sprachbandbreite einer Ausführungsform gemäß der vorliegenden Erfindung zeigt;
2 ein Blockschaltbild ist, das einen in 1 gezeigten Spektralhüllkurvenwandler zeigt;
3 ein Blockschaltbild ist, das einen weiteren Spektralhüllkurvenwandler der Ausführungsform gemäß der vorliegenden Erfindung zeigt;
4 ein Blockschaltbild ist, das einen weiteren Spektralhüllkurvenwandler der Ausführungsform gemäß der vorliegenden Erfindung zeigt;
5 ein Blockschaltbild ist, das einen weiteren Spektralhüllkurvenwandler der Ausführungsform gemäß der vorliegenden Erfindung zeigt;
6 ein Blockschaltbild ist, das den in 1 gezeigten Restwandler zeigt;
7 ein Blockschaltbild ist, das die Vorrichtung zum Verbreitern der Sprachbandbreite einer weiteren Ausführungsform gemäß der vorliegenden Erfindung zeigt;
8 eine schematische Zeichnung ist, die die in 1 gezeigte Signalformglättungsvorrichtung zeigt;
9 und 10 einen Graphen für die Anzahl der Unterräume und des mittleren Abstands zwischen Originalwortsprachen und Wortsprachen, die gemäß der vorliegenden Erfindung synthetisiert worden sind, zeigen, wobei 9 die Ergebnisse zeigt, die mittels männlicher Sprachen erhalten werden, und 10 diejenigen zeigt, die mittels weiblicher Sprachen erhalten werden; und
11 die Ergebnisse eines subjektiven Tests für die Bewertung der vorliegenden Erfindung zeigt.
Im folgenden werden mit Bezug auf die beigefügten Zeichnungen bevorzugten Ausführungsformen der vorliegenden Erfindung beschrieben.
1 ist ein Blockschaltbild, das die Vorrichtung zum Verbreitern der Sprachbandbreite einer Ausführungsform gemäß der vorliegenden Erfindung zeigt. In 1 bezeichnet 101 einen A/D-Wandler, der ein ursprüngliches schmalbandiges Sprachanalogsignal, das in diesen eingegeben wird, in ein digitales Sprachsignal umsetzt. Die Ausgabe des A/D-Wandlers 101 wird in einen Signaladdierer 103 und einen Additionssignalgenerator 102 eingege ben. Der Additionssignalgenerator 102 extrahiert Merkmale aus dem ausgegebenen Signal des A/D-Wandlers 101, um ein Signal auszugeben, das Frequenzeigenschaften einer Bandbreite aufweist, die breiter ist als die Bandbreite des Eingangs- bzw. Eingabesignals. Der Signaladdierer 103 addiert algebraisch den Ausgang des A/D-Wandlers 101 und den Ausgang des Additionssignalgenerators 102, um das resultierende Signal auszugeben. Ein D/A-Wandler 104 setzt das vom Signaladdierer 103 ausgegebene Digitalsignal in ein auszugebendes Analogsignal um. Die vorliegende Ausführungsform erzeugt mittels dieses Aufbaus ein Ausgangssignal mit einer Bandbreite, die breiter ist als diejenige des ursprünglichen Signals.
Als nächstes wird im folgenden der Aufbau des Additionssignalgenerators 102 beschrieben. Eine Bandbreitenverbreiterungsvorrichtung 106 liest das Ausgangssignal des A/D-Wandlers 101, um ein Signal mit einer Bandbreite zu erzeugen, die breiter ist als diejenige des gelesenen Signals. Der Additionssignalgenerator 102 umfasst eine Bandbreitenverbreiterungsvorrichtung 106 und einen Filterabschnitt 105. Das Ausgangssignal der Bandbreitenverbreiterungsvorrichtung 106 wird in einen Filterabschnitt 105 eingegeben. Der Filterabschnitt 105 extrahiert Frequenzkomponenten außerhalb der Bandbreite des ursprünglichen Signals. Wenn z. B. das ursprüngliche Signal Frequenzkomponenten von 300 Hz bis 3.400 Hz aufweist, umfasst die Bandbreite der mittels des Filterabschnitts 105 extrahierten Komponenten das Band unterhalb von 300 Hz und das Band oberhalb von 3.400 Hz.
Es ist jedoch nicht notwendig, alle Komponenten außerhalb der Bandbreite des ursprünglichen Signals zu extrahieren. Der Filterabschnitt 105 ist vorzugsweise mittels eines Digitalfilters konfiguriert, das entweder ein FIR-Filter oder ein IIR-Filter sein kann. FIR- und IIR-Filter sind wohlbekannt und können z. B. mittels der Konstruktionen verwirklicht werden, die beschrieben sind in "Instruction to adaptive filters", Simon Hykin, (MacMillan).
Als nächstes werden im folgenden der Aufbau und die Operation bzw. der Betrieb der Bandbreitenverbreiterungsvorrichtung 106 beschrieben. In der Bandbreitenverbreiterungsvorrichtung 106 liest zuerst ein LCP-(Linearvorhersagecodierungs)-Analysator 107 das Ausgangssignal des A/D-Wandlers 101, um eine Linearvorhersagecodierungs-(LPC)-Analyse bzw. eine Linearprädikativcodierungs-(LPC)-Analyse durchzuführen. Die LPC-Analyse ist wohlbekannt und kann z. B. mit den Verfahren verwirklicht werden, die beschrieben sind in "Digital processing of speech signals", Lawrence R. Rabiner, (Prentice Hall). Der LPC-Analysator 107 erhält LPC-Koeffizienten, die auch als Linearvorhersagecodierungen bezeichnet werden. Die Anzahl P von LPC-Koeffizienten, d. h. die Dimension P des Merkmalsvektors, der vom LPC-Analysator extrahiert wird, wird in Relation zur Abtastfrequenz gewählt und wird auf 10 oder 16 festgelegt, da die Abtastfrequenz in der Sprachanalyse 16 kHz beträgt. Der LPC-Analysator 107 erhält anschließend mittels Transformationen andere Sätze von Merkmalsgrößen aus den LPC-Koeffizienten. Diese Merkmalsgrößen sind Reflexionskoeffizienten, PARCOR-(Partialkorrelations)-Koeffizienten, Cepstrum-Koeffizienten, LPS-(Linienspektrumspaar)-Koeffizienten und andere, wobei diese alle Spektralhüllkurvenparameter sind, die durch LPC-Koeffizienten erhalten werden. Ferner erhält der LPC-Analysator 107 ein Restsignal aus den LPC-Koeffizienten. Das Restsignal ist die Differenz zwischen dem Ausgangssignal des A/D-Wandlers 101 und dem vorhergesagten Signal, das von einem FIR-Filter ausgegeben wird, der Filterkoeffizienten aufweist, die durch die LPC-Koeffizienten gegeben sind. Das heißt, wenn das Ausgangssignal des A/D-Wandlers 101 mit r(t_n) bezeichnet wird, wobei tn einen aktuellen Abtastzeitpunkt bezeichnet und t_n–1 (i = 1, 2, ..., p) einen Abtastzeitpunkt i Ereignisse vorher bezeichnet, und die LPC-Koeffizienten mit a_i, i = 1, 2, ..., p, bezeichnet werden, ist das Restsignal r(t_n) gleich r(tn) = y(tn) – a1y(tn–1) – a2y(tn–2) – ... – apy(tn–p) (1)
Die Sprektralhüllkurvenparameter, die vom LPC-Analysator 107 ausgegeben werden, werden mittels eines Spektralhüllkurvenwandlers 109 in Spektralhüllkurvenparameter einer Bandbreite umgesetzt, die breiter ist als die Bandbreite des IIR-Filters, das mit den vom LPC-Analysator 107 ausgegebenen Spektralhüllkurvenparametern konstruiert ist. Andererseits wird das vom LPC-Analysator 107 ausgegebene Restsignal von einem Restwandler 110 in ein Restsignal mit einer Bandbreite umgesetzt, die breiter ist als diejenige des vom LPC-Analysator 107 ausgegebenen Restsignals. Ein LPC-Synthesizer 108 synthetisiert ein digitales Sprachsignal aus der Ausgabe des Spektralhüllkurvenwandlers 109 und aus der Ausgabe des Restwandlers 110.
Der Spektralhüllkurvenwandler 109 setzt wie folgt die eingegebenen Spektralhüllkurvenparameter in Spektralhüllkurvenparameter mit breiterer Bandbreite um. Das heißt, unter der Annahme, dass â und fa ^ einen Eingangsmerkmalsvektor mit p Elementen, der die eingegebenen Spektralhüllkurvenparameter umfasst, und einen ausgegebenen oder umgesetzten Merkmalsvektor, der erhalten wird durch die k-te Linearabbildungsfunktion der Matrix
die Anzahl der Linearabbildungsfunktionen), bezeichnen, ist die Anzahl der linearen Abbildungsfunktionen fa ^ durch die folgende Gleichung gegeben.
Der Spektralhüllkurvenwandler 109 kann ferner mit einem in 2 gezeigten Aufbau verwirklicht werden. Bei diesem Aufbau umfasst der Spektralhüllkurvenwandler 109 ein Spektralhüllkurven-Codebuch 201, das M Spektralhüllkurven-Codes aufweist, z. B. 16 Codes, die jeweils einen Satz von Spektralhüllkurvenparametern darstellen, sowie ein Linearabbildungsfunktions-Codebuch 202, das M Linearabbildungsfunktionen aufweist, die jeweils einem Spektralhüllkurven-Code des Spektralhüllkurven-Codebuches 201 eins-zu-eins entsprechen. Die Spektralhüllkurven-Codes werden erzeugt durch Unterteilen eines mehrdimensionalen Raumes der Spektralhüllkurvenparameter in M Unterräume und Mittelung der Spektralhüllkurvenparameter-Vektoren, die zum jeweiligen Unterraum gehören. Wenn z. B. der j-te Merkmalswert des i-ten Spektralhüllkurvenparameter-Vektors, der zu einem Unterraum gehört, gleich a_j ist, dann ist der j-te Merkmalswert c_j des Spektralhüllkurven-Codes, der diesem Unterraum entspricht, gleich
wobei R die Anzahl der Spektralhüllkurvenparameter-Vektoren (Merkmalsvektoren) ist, die zu dem Unterraum gehören.
Die vom LPC-Analysator 107 erhaltenen Spektralhüllkurvenparameter werden in eine Abstandberechnungsvorrichtung 203 und eine Linearabbildungsfunktions-Berechnungsvorrichtung 205 eingegeben. Die Abstandberechnungsvorrichtung 203 berechnet den Abstand zwischen den Spektralhüllkurvenparametern a(j), j = 1, ..., p, die vom LPC-Analysator 107 ausgegeben werden, und dem jeweiligen Spektralhüllkurven-Code, der im Spektralhüllkurven-Codebuch 201 gespeichert ist. Wenn der j-te Merkmalswert des i-ten Spektralhüllkurven-Codes gleich c_ij ist, dann wird der Abstand erhalten mit der Gleichung
wobei i = 1, ..., M, und wobei M die Anzahl der Spektralhüllkurven-Codes ist, die gleich der Anzahl der unterteilten Unterräume ist. Die berechneten Ergebnisse der Abstandberechnungsvorrichtung 203 werden in einen Komparator bzw. eine Auswählvorrichtung 204 eingegeben. Der Komparator 204 wählt den minimalen Abstand der eingegebenen mehreren Abstände aus und gibt an die Linearabbildungsfunktions-Berechnungsvorrichtung 205 eine Linearabbildungsfunktion aus, die im Lineartransformations-Codebuch 202 gespeichert ist und dem Linearspektralcode entspricht, der den ausgewählten minimalen Abstand liefert. Die Linearabbildungsfunktions-Berechnungsvorrichtung 205 führt eine Berechnung ähnlich der Gleichung (2) durch auf der Grundlage der vom LPC-Analysator 107 ausgegebenen Spektralhüllkurvenparameter und der vom Komparator 204 ausgegebenen Lineartransformation. Der Ausgang bzw. die Ausgabe der Linearabbildungsfunktions-Berechnungsvorrichtung 205 entspricht im vorliegenden Aufbau den umgesetzten Spektralhüllkurvenparametern.
Im folgenden wird ein Lernverfahren zum Ermitteln der Spektralhüllkurven-Codes und der entsprechenden Linearabbildungsfunktionen erläutert.

(a) Es werden mehrere Wortsprachproben mit breitem Band vorbereitet.
(b) Jede dieser Wortsprachproben wird LPC-analysiert, um LPC-Parameter des breiten Bandes zu erhalten.
(c) Jede dieser Wortsprachproben wird in eine entsprechende Wortsprachprobe eines schmalen Bandes transformiert mittels Filterung der jeweiligen Originalsprache unter Verwendung eines Tieffrequenzsperrfilters und eines Hochfrequenzsperrfilters. Anschließend wird jede Wortsprachprobe des schmalen Bandes LPC-analysiert, um LPC-Parameter des schmalen Bandes zu erhalten.
(d) Anschließend wird ein mehrdimensionaler Raum von Merkmalsvektoren, der so bezüglich der Wortsprachproben des Schmalbandes erhalten wird, in eine geeignete Anzahl von Unterräumen unterteilt. Dies wird so durchgeführt, dass die folgenden Bedingungen erfüllt sind: <d1> Betrachte M Unterräume und berechne einen Mittelwert der Merkmalsvektoren, die zu einem der M Unterräume gehören. Ein Mittenwert, der erhalten wird anhand der Durchschnittswerte von M Unterräumen, liegt so nahe wie möglich an einem Mittenwert, der erhalten wird durch Mitteln aller nun betrachteten Merkmalsvektoren. <d2> Die Anzahl der Merkmalsvektoren, die zu jedem Unterraum gehören, ist im wesentlichen gleich. Das heißt, die Merkmalsvektoren sind gleichmäßig über alle Unterräume verteilt.
(e) Wenn die Unterteilung in M Unterräume erreicht ist, werden Linearabbildungsfunktionen für M Unterräume gesucht. Da die Beziehung zwischen jeder Original-Wortsprache und der entsprechenden Schmalband-Wortsprache erhalten worden ist, wird die jeweilige Linearabbildungsfunktion so bestimmt, dass ein Abstand zwischen der Original-Wortsprache des breiten Bandes und einer Wortsprache, die mittels dieser Linearabbildungsfunktion in den entsprechenden Unterraum abgebildet wird, minimiert werden kann.

Die 9 und 10 zeigen einen Graphen für die Anzahl der Unterräume bezüglich des durchschnittlichen Abstandes zwischen Original-Wortsprachen und den Wortsprachen, die gemäß der vorliegenden Erfindung synthetisiert worden sind. 9 zeigt die Ergebnisse, die in bezug auf männliche Sprache erhalten werden, während 10 diejenigen zeigt, die in bezug auf weibliche Sprache erhalten werden.
Es ist zu beachten, dass der durchschnittliche Abstand bei 16 Unterräumen minimiert ist, wenn 100 Wortsprachproben zum Lernen benutzt wurden. Mit anderen Worten, ein ausreichendes Lernen mit einer ausreichenden Anzahl von Wortsprachproben erfordert eine Anzahl von nicht mehr als 16 Unterräumen. Diese Tatsache zeigt, dass das Verfahren der vorliegenden Erfindung die Verbreiterungsoperation von einem schmalen Band zu einem breiten Band vereinfachen kann, was zu einer schnellen Antwort führt.
3 zeigt einen weiteren Aufbau des Spektralhüllkurvenwandlers 109. Im Aufbau der 3 sind die Konfigurationen des Spektralhüllkurven-Codebuches 201, des Linearabbildungsfunktions-Codebuches 202, der Abstandberechnungsvorrichtung 203 und der Linearabbildungsfunktions-Berechnungsvorrichtung 205 die gleichen wie in 2. Die vom LPC-Analysator 107 ausgegebenen Spektralhüllkurvenparameter werden in die Abstandberechnungsvorrichtung 203 und die Lineartransformations-Berechnungsvorrichtung 205 eingegeben. Die Abstandberechnungsvorrichtung 203 berechnet den Abstand zwischen den vom LPC-Analysator 107 ausgegebenen Spektralhüllkurvenparametern und dem jeweiligen Spektralhüllkurven-Code, der im Spektralhüllkurven-Codebuch 201 gespeichert ist. Die Ergebnisse werden in die Gewichtungsberechnungsvorrichtung 301 eingegeben. Die Gewichtungsberechnungsvorrichtung 301 berechnet eine Gewichtung entsprechend dem jeweiligen Spektralhüllkurven-Code mittels der folgenden Gleichung (5).
wobei w_i die Gewichtung ist, die dem i-ten Spektralhüllkurven-Code zugeordnet ist, und d_i der Abstand zum i-ten Spektralhüllkurven-Code ist, der von der Abstandberechnungsvorrichtung 203 berechnet wird. Andererseits liest die Linearabbildungsfunktions-Berechnungsvorrichtung 205 die Spektralhüllkurvenparameter â, die vom LPC-Analysator 107 ausgegeben werden, und die jeweilige Linearabbildungsfunktion B_i (i = 1, ..., M), die im Linearabbildungsfunktions-Codebuch 202 gespeichert ist, um die ersteren in Spektralhüllkurvenparameter
zu transformieren mittels eines Verfahrens, das der Gleichung (2) ähnlich ist. Der Ausgang bzw. die Ausgabe der Gewichtungsberechnungsvorrichtung 301 und der Ausgang bzw. die Ausgabe der Linearabbildungsfunktions-Berechnungsvorrichtung 205 werden in einen Lineartransformationsergebnis-Addierer 302 eingegeben. Der Lineartransformationsergebnis-Addierer 302 berechnet die umgesetzten Spektralhüllkurvenparameter
mit der folgenden Gleichung (6).
Ein weiterer Aufbau des Spektralhüllkurvenwandlers 109 ist in 4 gezeigt. Bei diesem Aufbau besitzt der Spektralhüllkurvenwandler 109 ein Schmalband-Spektralhüllkurven-Codebuch 401, das mehrere Spektralhüllkurven-Codes mit Schmalband-Spektralhüllkurveninformationen enthält, und ein Breitband-Spektralhüllkurven-Codebuch 402, das Spektralhüllkurven-Codes mit Breitband-Spektralhüllkurveninformationen enthält und eins-zu-eins den Schmalband-Spektralcodes entspricht. Die Spektralhüllkurvenparameter, die vom LPC-Analysator 107 ausgegeben werden, werden in die Abstandberechnungsvorrichtung 203 der 2 eingegeben. Unter Verwendung der Gleichung (4) berechnet die Abstandberechnungsvorrichtung 203 den Abstand zwischen den vom LPC-Analysator 107 ausgegebenen Spektralhüllkurvenparametern und dem jeweiligen Schmalband-Spektralhüllkurven-Code, der im Schmalband-Spektralhüllkurven-Codebuch 401 gespeichert ist, um die berechneten Ergebnisse an den Komparator 403 auszugeben. Die Abstandberechnungsvorrichtung 203 kann die folgende Gleichung (7) anstelle der Gleichung (4) verwenden.
wobei x ein anderer Wert als 2 sein kann. Vorzugsweise kann x zwischen 2 und 1,5 liegen. Der Komparator 403 extrahiert aus dem Breitband-Spektralhüllkurven-Codebuch 402 den Breitband-Spektralhüllkurven-Code, der dem Schmalband-Spektralhüllkurven-Code entspricht, der den minimalen Wert des Abstandes liefert, der von der Abstandberechnungsvorrichtung 203 berechnet worden ist. Der extrahierte Breitband-Spektralhüllkurven-Code wird im vorliegenden Aufbau zu den umgesetzten Spektralhüllkurvenparametern gemacht.
Ein weiterer Aufbau des Spektralhüllkurvenwandlers 109 ist in 5 gezeigt. Bei diesem Aufbau wird ein neuronales Netz verwendet, um die Spektralhüllkurvenparameter umzusetzen. Neuronale Netze sind wohlbekannte Techniken und können z. B. verwirklicht werden mit den Verfahren, die beschrieben sind in "Introduction to computing with neural nets", E. D. Lipmann, IEEE ASSP Magazine (1997.4), S. 4-22. In 5 ist ein Beispiel gezeigt. Die vom LPC-Analysator 7 ausgegebenen Spektralhüllkurvenparameter werden in ein neuronales Netz 501 eingegeben. Wenn die eingegebenen Spektralhüllkurvenparameter a(i), i = 1, ..., p, sind, dann sind die umgesetzten Spektralhüllkurvenparameter im vorliegenden Verfahren fa(k)
wobei w_ij und w_jk jeweils die Gewichtungen zwischen der i-ten Schicht und der j-ten Schicht und die Gewichtungen zwischen der j-ten Schicht und der k-ten Schicht sind. Neben dem in 5 gezeigten dreischichtigen Aufbau kann das neuronale Netz auch mit einer größeren Anzahl von Schichten konstruiert werden. Ferner können sich die Gleichungen für die Berechnung von (8) und (9) unterscheiden.
Als nächstes wird im folgenden mit Bezug auf 6 ein bevorzugtes Beispiel des Restwandlers 110 beschrieben. Das vom LPC-Analysator 107 ausgegebene Restsignal wird in eine Leistungsberechnungsvorrichtung 601 und einen nichtlinearen Prozessor 602 eingegeben. Die Leistungsberechnungsvorrichtung 601 berechnet die Leistung des Restsignals durch Summieren der Leistungen der jeweiligen Werte des Restsignals und Dividieren des Ergebnisses durch die Anzahl der Abtastwerte. Genauer wird die Leistung g berechnet durch
wobei r(i), i = 1, ..., p, die Restsignalwerte sind. Der nichtlineare Prozessor 602 führt eine nichtlineare Verarbeitung des Restsignals durch, um ein verarbeitetes Restsignal zu erhalten. Das verarbeitete Restsignal wird in eine Leistungsberechnungsvorrichtung 603 und eine Verstärkungsfaktorsteuervorrichtung 604 eingegeben. Die Verstärkungsfaktorsteuervorrichtung 604 multipliziert das verarbeitete Restsignal, das vom nichtlinearen Prozessor 602 ausgegeben wird, mit dem Verhältnis der von der Leistungsberechnungsvorrichtung 601 erhaltenen Leistung zu der von der Leistungsberechnungsvorrichtung 603 erhaltenen Leistung. Das heißt, wenn die vom nichtlinearen Prozessor 602 verarbeiteten Restsignalwerte gleich nr(i), i = 1, ..., p, sind, dann werden die Restsignalwerte fnr(i), i = 1, ..., p, die von der Verstärkungsfaktorsteuervorrichtung ausgegeben werden, berechnet durch fnr(i) = g1/g2∙nr(i), (11)wobei g₁ die von der Leistungsberechnungsvorrichtung 601 erhaltene Leistung ist und g₂ die von der Leistungsberechnungsvorrichtung 603 erhaltene Leistung ist. Diese fn(i) sind die Ausgabe des Restwandlers 110 des vorliegenden Beispiels.
Der nichtlineare Prozessor 602 kann verwirklicht werden unter Verwendung einer Vollwellengleichrichtung oder einer Halbwellengleichrichtung. Alternativ kann der nichtlineare Prozessor 602 verwirklicht werden durch Setzen eines Schwellenwertes und Fixieren der Restsignalwerte auf dem Schwellenwert, wenn die Größe der Original-Restsignalwerte den Schwellenwert überschreitet. In diesem Fall wird der Schwellenwert vorzugsweise ermittelt auf der Grundlage der von der Leistungsberechnungsvorrichtung 601 erhaltenen Leistung. Der Schwellenwert wird z. B. auf 0,8∙g₁ gesetzt, wobei g₁ die von der Leistungsberechnungsvorrichtung 601 ausgegebene Leistung ist. Andere Verfahren zur Berechnung des Schwellenwertes sind ebenfalls möglich.
Ein weiterer Aufbau des nichtlinearen Prozessors 602 kann unter Verwendung des Mehrfachimpulsverfahrens verwirklicht werden. Das Mehrfachimpulsverfahren ist wohlbekannt, und z. B. beschrieben in "A new model of LPC excitation for producing natural sound speech at very low bit rates", B. S. Atal U. a., Proceed. ICASSP (1982), S. 614-617. Bei diesem Aufbau erzeugt der nichtlineare Prozessor 602 Mehrfachimpulse, um die nichtlineare Verarbeitung des vom LPC-Analysator 107 erhaltenen Restsignals durchzuführen.
Im folgenden wird eine zweite Ausführungsform gemäß der vorliegenden Erfindung beschrieben. Wie in 7 gezeigt, weist die vorliegende Ausführungsform eine Signalformglättungsvorrichtung 111 zwischen der Bandbreitenverbreiterungsvorrichtung 106 und dem Filterabschnitt 105 der 1 auf.
Der Aufbau der Signalformglättungsvorrichtung 111 wird im folgenden unter Verwendung seiner schematischen Darstellung in 8 beschrieben. Wenn das Ausgangssignal der Bandbreitenverbreiterungsvorrichtung 106 für jede ermittelte Zeitperiode (Rahmen- bzw. Framelänge) erhalten wird, besteht eine Unstetigkeit zwischen den aufeinanderfolgenden Frames, wenn die nachfolgenden Framesignale einfach mit dem Ausgang des Filters 105 unverändert verbunden werden. Im Aufbau der zweiten Ausführungsform wird die Unstetigkeit zwischen den Framesignalen gemildert durch die Signalformglättungsvorrichtung 111. Wenn die Bandbreitenverbreitungsvorrichtung 106 so konstruiert ist, dass sie die aufeinanderfolgenden Framesignale zeitlich überlappt, werden die ausgegebenen Framesignale wie in (a) und (d) der 8 gezeigt überlappt. Die Signalformglättungsvorrichtung 111 multipliziert die Ausgangssignale der Bandbreitenverbreiterungsvorrichtung 106 mit den Signalformglättungsfunktionen, um diese über den Zeitbereich zu addieren, wie in 8 gezeigt ist. Genauer werden die ausgegebenen Framesignale (a) und (d) der Bandbreitenverbreiterungsvorrichtung 106 jeweils mit den Glättungsfunktionen (b) und (e) der 8 multipliziert. Die resultierenden Signale (c) und (f) werden anschließend über den Zeitbereich addiert, um das Signal (g) auszugeben. Es seien der Ausgang der Signalformglättungsvorrichtung 111 und der Ausgang der Bandbreitenverbreiterungsvorrichtung 106 jeweils D(N,x) bzw. F(N,x), wobei N die Framenummer und x die Zeit innerhalb jedes Frames ist. Es seien die Signalformglättungsgewichtungsfunktionen für den vergangenen Frame und den aktuellen Frame jeweils CFB bzw. CFF, so dass gilt D(N,x) = CFB(x)∙F(N-1,x) + CFF(x)∙F(N,x). (12)
Vorzugsweise sind CFB und CFF definiert als CFB(x) = (-2∙x + L)/L (13) CFF(x) = 2∙x/L (14)wobei L die Framelänge ist.
11 zeigt die Ergebnisse eines subjektiven Tests zur Bewertung der vorliegenden Erfindung. Die Testbedingungen sind folgende:

(a) Inhalt des Tests Hörtest einer Originalsprache eines schmalen Bandes und einer entsprechenden Sprache des breiten Bandes, das gemäß der vorliegenden Erfindung wiedergewonnen worden ist.

(b) Bewertungsweise Sieben Stufen bewerten, ob die synthetisierte Sprache einen verbreiterten Frequenzbereich im Vergleich zur Originalsprache des schmalen Bandes aufweist.

*0 Punkte:	nicht unterscheidbar,
*1 (-1) Punkt:	etwas unterscheidbar von der Originalsprache (die synthetisierte Sprache),
*2 (-2) Punkte:	unterscheidbar von der Originalsprache (die synthetisierte Sprache), und
*3 (-3) Punkte:	deutlich unterscheidbar von der Originalsprache (die synthetisierte Sprache),

(c) Zahl der Testpersonen 12 Personen einschließlich Phonetikforschern.
(d) Zahl der verwendeten Linearabbildungsfunktionen 16 Linearabbildungsfunktionen wurden erhalten durch Lernen von 100 Wortsprachproben.
(e) Für den Test verwendete Probendaten 10 Sätze von einem einzigen Sprecher mit jeweils einer Länge von etwa 10 Sekunden.
(f) Verwendeter Sprecher, monoraler Sprecher Der Test wurde durchgeführt, indem jede Person einen Satz von ursprünglichen und synthetisierten Sprachproben hören mußte, ohne zu wissen, welche die ursprüngliche ist. Jede Person hat nach dem Hören jedes einzelnen Satzes gewertet. Die Abszissenachse in 11 bezeichnet die Werte der sieben Bewertungsstufen, wobei diejenige des Scheitels die Werte der Summierung von 12 Personen bezeichnet.

11 zeigt, dass die gemäß der vorliegenden Erfindung synthetisierten Sprachproben ein deutlich verbreitertes Empfinden bezüglich einer ursprünglichen schmalbandigen Sprache aufweisen.
Es ist zu beachten, dass A/D-Wandler und D/A-Wandler dann weggelassen werden können, wenn das für die Verarbeitung eingegebene Sprachsignal ein digitales Sprachsignal ist.
Obwohl die vorliegende Erfindung in Verbindung mit ihren bevorzugten Ausführungsformen und mit Bezug auf die beigefügten Zeichnungen genauer beschrieben worden ist, ist klar, dass verschiedene Änderungen und Abwandlungen für Fachleute offensichtlich sind. Der Umfang der Erfindung ist nur durch die beigefügten Ansprüche beschränkt.

Claims

Bandbreitenverbreiterungsvorrichtung zur Wiederherstellung einer breitbandigen Sprache aus einer schmalbandigen Sprache mit: einer Bandbreitenverbreiterungseinrichtung (106) zum Extrahieren von Merkmalsgrößen eines schmalbandigen digitalen Eingangssprachsignals und zum Erzeugen eines breitbandigen digitalen Sprachsignals basierend auf den Merkmalsgrößen, wobei die Bandbreitenverbreiterungseinrichtung enthält einen Linearprädikativcodierungs-(LPC)-Analysator (107) zur Durchführung einer LPC-Analyse des schmalbandigen digitalen Eingangssprachsignals zum Erhalten spektraler Hüllkurvenparameter und eines Restsignals, einen Spektralhüllkurvenwandler (109) zum Umwandeln der spektralen Hüllkurvenparameter in diejenigen des breiten Bandes, einen Restwandler (110) zum Umwandeln des Restsignals in dasjenige des breiten Bandes, und einen LPC-Synthesizer (108) zum Zusammenfügen einer Ausgabe des Spektralhüllkurvenwandlers (109) und einer Ausgabe des Restwandlers (110), um ein breitbandiges digitales Sprachsignal auszugeben; wobei die Bandbreitenverbreiterungsvorrichtung des weiteren umfasst: eine Filtereinrichtung (105) zum Extrahieren von in der Bandbreite des schmalbandigen Eingangsdigitalsignals nicht enthaltenen Frequenzkomponenten des von der Bandbreitenverbreiterungseinrichtung (106) ausgegebenen breitbandigen digitalen Sprachsignals; und eine Signaladdierereinrichtung (103) zum Addieren des schmalbandigen digitalen Eingangssprachsignals und eines Ausgangssignals der Filtereinrichtung (105) und zum Ausgeben eines synthetisierten breitbandigen digitalen Sprachsignals.
Bandbreitenverbreiterungsvorrichtung nach Anspruch 1, wobei eine zur Umwandlung der spektralen Hüllkurvenparameter in spektrale Hüllkurvenparameter des breiten Bandes erforderliche Information erhalten wird durch Lernen entsprechender Beziehungen zwischen einem breitbandigen Sprachsignal und einem in dem breitbandigen Sprachsignal enthaltenen schmalbandigen Sprachsignal für eine Vielzahl von Sprachdatenproben.
Bandbreitenverbreiterungsvorrichtung nach Anspruch 1 oder Anspruch 2, wobei der spektrale Hüllkurvenwandler (109) die spektralen Hüllkurvenparameter in diejenigen des breiten Bandes unter Verwendung linearer Abbildungsfunktionen umwandelt.
Bandbreitenverbreiterungsvorrichtung nach Anspruch 1 oder Anspruch 2, wobei der Spektralhüllkurvenwandler (109) umfasst: ein Spektralhüllkurvencodebuch (201) mit einer Vielzahl von Spektralhüllkurvencodes jeweils repräsentativ für eine Gruppe von spektralen Hüllkurvenparameter, ein Linearabbildungsfunktionscodebuch (202) mit einer Vielzahl von linearen Abbildungsfunktionen, die jeweils einem der Vielzahl von Spektralhüllkurvencodes in einem 1-zu-1-Verhältnis entsprechen, eine Abstandsberechnungseinrichtung (203) zum Berechnen eines Abstands zwischen den spektralen Hüllkurvenparametern und jedem in dem Spektralhüllkurvencodebuch (201) enthaltenen Spektralhüllkurvencode, eine Auswahleinrichtung (204) zum Auswählen einer linearen Abbildungsfunktion in dem Linearabbildungsfunktionscodebuch (202), wobei die eine lineare Abbildungsfunktion demjenigen Spektralhüllkurvencode entspricht, der den minimalen Abstand unter den durch die Abstandsberechnungseinrichtung (203) berechneten Abständen erzeugt, und eine Linearabbildungsfunktionsberechnungseinrichtung (205) zum linearen Abbilden der spektralen Hüllkurvenparameter unter Verwendung der einen durch die Auswahleinrichtung (204) ausgewählten linearen Abbildungsfunktion.
Bandbreitenverbreiterungsvorrichtung nach Anspruch 1 oder Anspruch 2, wobei der Spektralhüllkurvenwandler (109) umfasst: ein Spektralhüllkurvencodebuch (201) mit einer Vielzahl von spektralen Hüllkurvencodes jeweils repräsentativ für eine Gruppe spektraler Hüllkurvenparameter, ein Linearabbildungsfunktionscodebuch (202) mit einer Vielzahl von linearen Abbildungsfunktionen, die jeweils einem der Vielzahl von Spektralhüllkurvencodes in einem 1-zu-1-Verhältnis entsprechen, eine Abstandsberechnungseinrichtung (203) zum Berechnen eines Abstands zwischen dem spektralen Hüllkurvenparameter und jedem in dem Spektralhüllkurvencodebuch (201) enthaltenen Spektralhüllkurvencode, eine Gewichtungsberechnungseinrichtung (301) zum Berechnen von Gewichtungen für jeden Spektralhüllkurvencode basierend auf entsprechenden durch die Abstandsberechnungseinrichtung (203) berechneten Abständen, eine Linearabbildungsfunktionsberechnungseinrichtung (205) zum Umwandeln einer jeden der in dem Linearabbildungsfunktionscodebuch (202) enthaltenen linearen Abbildungsfunktionen unter Verwendung der spektralen Hüllkurvenparameter, und einen Lineartransformationsergebnisaddierer (203) zum Summieren der entsprechend den durch die Gewichtungsberechnungseinrichtung berechneten Gewichten gewichteten Ausgaben der Linearabbildungsfunktionsberechnungseinrichtung.
Bandbreitenverbreiterungsvorrichtung nach Anspruch 1 oder Anspruch 2, wobei der Spektralhüllkurvenwandler (109) umfasst: ein Schmalbandspektralhüllkurvencodebuch (401) mit einer Vielzahl von Schmalbandspektralhüllkurvencodes jeweils repräsentativ für eine Gruppe von Spektralhüllkurvenparametern, ein Breitbandspektralhüllkurvencodebuch (402) mit einer Vielzahl von Breitbandspektralhüllkurvencodes, die jeweils einem der Schmalbandspektralhüllkurvencodes in einem 1-zu-1-Verhältnis entsprechen, eine Abstandsberechnungseinrichtung (203) zum Berechnen des Abstands zwischen den spektralen Hüllkurvenparametern und jedem der Schmalbandspektralhüllkurvencodes, und einen Selektor (403) zum Auswählen und Ausgeben eines der in dem Breitspektralhüllkurvencodebuch (402) enthaltenen Breitbandspektralhüllkunrencodes, der demjenigen Schmalbandspektralhüllkurvencode entspricht, der den minimalen Abstand unter den durch die Abstandsberechnungseinrichtung (203) berechneten Abständen erzeugt.
Bandbreitenverbreiterungsvorrichtung nach einer der vorhergehenden Ansprüche, wobei der Restwandler (110) eine Breitbandverbreiterungsverarbeitung für das von dem LPC-Analysator (107) ausgegebene Restsignal unter Verwendung einer nichtlinearen Verarbeitung durchführt.
Bandbreitenverbreiterungsvorrichtung nach Anspruch 7, wobei der Restwandler (110) eine Vollwellengleichrichtungsverarbeitung bezüglich der Restsignalausgabe des LPC-Analysators (107) durchführt, um ein Breitbandrestsignal zu erhalten.
Bandbreitenverbreiterungsvorrichtung nach Anspruch 7, wobei der Restwandler (110) eine Halbwellengleichrichtungsverarbeitung bezüglich der Restsignalausgabe des LPC-Analysators (107) durchführt, um ein Breitbandrestsignal zu erhalten.
Bandbreitenverbreiterungsvorrichtung nach Anspruch 7, wobei der Restwandler (110) aus dem von dem LPC-Analysator (107) ausgegebenen Restsignal unter Verwendung des Mehrfachpulsverfahrens eine Impulsfolge erzeugt, um ein Breitbandrestsignal zu erhalten.
Bandbreitenverbreiterungsvorrichtung nach einem der vorhergehenden Ansprüche, wobei die spektralen Hüllkurvenparameter als Ergebnis von LPC-Analysen erhaltenen Reflektionskoeffizienten sind.
Bandbreitenverbreiterungsvorrichtung nach einem der Ansprüche 1 bis 10, wobei die spektralen Hüllkurvenparameter durch eine LPC-Analyse erhaltenen lineare prädiktive Kodierungen sind.
Bandbreitenverbreiterungsvorrichtung nach einem der Ansprüche 1 bis 10, wobei die spektralen Hüllkurvenparameter als Ergebnisse einer LPC-Analyse erhaltenen Cepstrum-Koeffizienten sind.
Bandbreitenverbreiterungsvorrichtung nach einem der vorhergehenden Ansprüche, des weiteren umfassend eine Wellenformglättungseinrichtung (111) zum Durchführen einer Wellenformglättungsverarbeitung bezüglich der Ausgabe der Bandbreitenverbreiterungseinrichtung (106) und wobei die Filtereinrichtung (105) die Ausgabe der Wellenformglättungseinrichtung (111) als Eingabe empfängt.
Bandbreitenverbreiterungsvorrichtung nach einem der vorhergehenden Ansprüche, wobei die Filtereinrichtung (105) ein FIR-Filter ist.
Bandbreitenverbreiterungsvorrichtung nach einem der Ansprüche 1 bis 14, wobei die Filtereinrichtung (105) ein Filter ist.