JP2006349848A - Band expanding device and deficient band signal generator - Google Patents

Band expanding device and deficient band signal generator Download PDF

Info

Publication number
JP2006349848A
JP2006349848A JP2005174029A JP2005174029A JP2006349848A JP 2006349848 A JP2006349848 A JP 2006349848A JP 2005174029 A JP2005174029 A JP 2005174029A JP 2005174029 A JP2005174029 A JP 2005174029A JP 2006349848 A JP2006349848 A JP 2006349848A
Authority
JP
Japan
Prior art keywords
signal
band
frequency
output
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005174029A
Other languages
Japanese (ja)
Other versions
JP4604864B2 (en
Inventor
Atsushi Tashiro
厚史 田代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2005174029A priority Critical patent/JP4604864B2/en
Publication of JP2006349848A publication Critical patent/JP2006349848A/en
Application granted granted Critical
Publication of JP4604864B2 publication Critical patent/JP4604864B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a signal which includes a component similar to a wide-band signal from the beginning as a signal after band expansion. <P>SOLUTION: A deficient band signal generator of the present invention generates a signal component of a deficient band due to limitation from an input signal whose frequency band is limited to a low band or high band. The deficient band signal generator has a frequency shift means of shifting a frequency component of the input signal toward the deficient band by a specified frequency and a component extracting means of extracting a component within the deficient band range from the output signal of the frequency shifter and outputting the deficient band signal. A band expanding device of the present invention is equipped with such a deficient band signal generator and an adding means of adding the output deficient band signal and the input signal to each other. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は帯域拡張装置及び不足帯域信号生成器に関し、例えば、狭帯域電話機や交換機からの音声信号を広帯域化する装置に適用し得るものである。   The present invention relates to a band extension device and a shortage band signal generator, and can be applied to, for example, a device that broadens a voice signal from a narrowband telephone or an exchange.

現在、電話などの音声通信は様々なネットワークを用いて盛んに行われている。しかしながら、従来の公衆網を利用していた時代の慣習から、電話音声通信は、一般に電話帯域と呼ばれる300Hzから3.4kHzの周波数に制限されて行われている。しかし、人間の発声する音声には、300Hz以下の低域成分や、3.4kHz以上の高域成分も含まれており、また、これら低域成分及び高域成分は発話の個人性にも係わる重要な成分である。また、これら低域成分及び高域成分の欠如は個人性の欠如だけでなく、音声の認識を低下させる一因であり、これら成分を含んだ音声での通話が望まれている。   Currently, voice communication such as telephone is actively performed using various networks. However, in accordance with the customs of the era when the conventional public network was used, telephone voice communication is generally limited to a frequency of 300 Hz to 3.4 kHz called a telephone band. However, speech uttered by humans includes low frequency components of 300 Hz or lower and high frequency components of 3.4 kHz or higher. These low frequency components and high frequency components are also related to the individuality of speech. It is an important ingredient. In addition, the lack of these low-frequency components and high-frequency components not only lacks individuality but also contributes to a decrease in speech recognition, and calls using voices containing these components are desired.

しかしながら、一般的な公衆網における交換機では、電話帯域を越える音声を伝送させることができない。また、一般的な公衆網以外でも送信側端末が当該慣例に基づいて設計されているため、電話帯域を越える音声の伝送ができない問題もあった。このような点に鑑み、特許文献1には、音声帯域を拡張する帯域拡張器が提案されている。   However, an exchange in a general public network cannot transmit voice exceeding the telephone band. In addition, since the transmission side terminal is designed based on this practice even in a network other than a general public network, there is a problem that it is impossible to transmit voice exceeding the telephone band. In view of such points, Patent Document 1 proposes a band expander that expands a voice band.

特許文献1に記載の帯域拡張器手法を、図2を用いて説明する。300Hzから3.4kHzに周波数が限定された狭帯域音声信号(デジタル信号)DCが帯域拡張器10に入力される。この狭帯域音声信号DCは、標本化周波数変換器11により標本化周波数が高められた変換原信号Sに変換され(例えば、8kHzから16kHz)、この変換原信号Sを用いて、低域側(300Hz以下)へ拡張した拡張信号(合成低域信号)LS、高域側(3.4〜7kHz)へ拡張した拡張信号(合成高域信号)HS、無声部分を拡張した拡張信号(合成無声信号)USをそれぞれ低域信号生成器12、高域信号生成器13、無声部信号生成器14で生成し、上述の変換原信号Sと加算器15で加算することで帯域拡張信号Vを生成している。   The band extender method described in Patent Document 1 will be described with reference to FIG. A narrowband audio signal (digital signal) DC whose frequency is limited from 300 Hz to 3.4 kHz is input to the band expander 10. The narrowband audio signal DC is converted into a converted original signal S whose sampling frequency is increased by the sampling frequency converter 11 (for example, from 8 kHz to 16 kHz). Extended signal (synthesized low frequency signal) LS extended to 300 Hz or less), extended signal (synthesized high frequency signal) HS extended to the high frequency side (3.4 to 7 kHz), extended signal (synthesized unvoiced signal) with the unvoiced part expanded ) US is generated by the low-frequency signal generator 12, the high-frequency signal generator 13, and the unvoiced signal generator 14, and is added by the conversion original signal S and the adder 15 to generate the band extension signal V. ing.

この帯域拡張信号Vは、帯域制限された狭帯域音声信号DCから生成された低域成分の信号や高域成分の信号などを、伝送された信号と共に同時に提供し、これら各成分が含まれる広帯域信号と同様の臨場感ある音声として聴取することを可能にしている。
特開平9−258787号公報
This band extension signal V simultaneously provides a low-frequency component signal, a high-frequency component signal, etc. generated from a band-limited narrowband audio signal DC together with the transmitted signal, and a wideband including these components. This makes it possible to listen to the sound as if it were a signal.
Japanese Patent Laid-Open No. 9-258787

しかしながら、特許文献1の帯域拡張方法では、1種類の周波数成分を低域側に付加するだけであるため、特定の値の周波数及びその高調波成分は拡張されるが低域全体として拡張されず、臨場感が不足する問題があり、当初からの広帯域信号と同様の音声を生成する能力としては不十分であった。   However, in the band expansion method of Patent Document 1, since only one type of frequency component is added to the low frequency side, the frequency of a specific value and its harmonic components are expanded, but not expanded as a whole low frequency band. However, there is a problem that the sense of reality is insufficient, and the ability to generate sound similar to the wideband signal from the beginning is insufficient.

そのため、帯域拡張後において、当初からの広帯域信号と同様な信号を実現できる帯域拡張装置及び不足帯域信号生成器が望まれている。   Therefore, there is a demand for a band extension device and a deficient band signal generator that can realize a signal similar to the original wideband signal after band extension.

第1の本発明の不足帯域信号生成器は、周波数帯域が低域又は高域に制限された入力信号から、上記制限されて不足している帯域の信号成分を生成するものであって、入力信号の周波数成分を特定の周波数だけ不足帯域側に変移させる周波数変移手段と、この周波数変移器の出力信号から、不足帯域範囲の成分を抽出し、不足帯域信号を出力する成分抽出手段とを有することを特徴とする。   A shortage band signal generator according to a first aspect of the present invention generates a signal component of a band that is limited and insufficient from an input signal whose frequency band is limited to a low band or a high band. Frequency shift means for shifting the frequency component of the signal by a specific frequency to the insufficient band side, and component extraction means for extracting the component of the insufficient band range from the output signal of the frequency shifter and outputting the insufficient band signal It is characterized by that.

第2の本発明の帯域拡張装置は、第1の本発明の不足帯域信号生成器と、この不足帯域信号生成器から出力された不足帯域信号と入力信号とを加算する加算手段とを備えたことを特徴とする。   The band extending apparatus according to the second aspect of the present invention includes the insufficient band signal generator according to the first aspect of the present invention, and an adding means for adding the insufficient band signal output from the insufficient band signal generator and the input signal. It is characterized by that.

本発明の帯域拡張装置及び不足帯域信号生成器によれば、入力信号中で制限されている周波数成分の帯域に一様に成分を付加し、当初からの広帯域信号と同様な信号を実現することができる。   According to the band extending apparatus and the insufficient band signal generator of the present invention, a component is uniformly added to a band of frequency components limited in an input signal, and a signal similar to a wideband signal from the beginning is realized. Can do.

(A)第1の実施形態
以下、本発明による帯域拡張装置及び不足帯域信号生成器を、音声帯域拡張装置に適用した第1の実施形態を、図面を参照しながら説明する。
(A) First Embodiment Hereinafter, a first embodiment in which the band extending apparatus and the insufficient band signal generator according to the present invention are applied to a voice band extending apparatus will be described with reference to the drawings.

(A−1)第1の実施形態の構成
図1は、第1の実施形態の音声帯域拡張装置100の構成を示すブロック図であり、上述した従来に係る図2との同一、対応部分には、同一符号を付して示している。
(A-1) Configuration of the First Embodiment FIG. 1 is a block diagram showing the configuration of the voice band extending apparatus 100 according to the first embodiment. In FIG. Are given the same reference numerals.

図1において、第1の実施形態の音声帯域拡張装置100は、標本化周波数変換器11、低域信号生成器12、高域信号生成器13、無声部信号生成器14、低帯域信号生成器20及び加算器90を有する。   In FIG. 1, a speech band extending apparatus 100 according to the first embodiment includes a sampling frequency converter 11, a low-frequency signal generator 12, a high-frequency signal generator 13, a silent part signal generator 14, and a low-band signal generator. 20 and an adder 90.

ここで、標本化周波数変換器11、低域信号生成器12、高域信号生成器13及び無声部信号生成器14はそれぞれ、特許文献1に記載のものと同様である。但し、帯域拡張信号Vを生成するための合成低域信号LS、合成高域信号HS、合成無声信号USの生成方法は、特許文献1に記載のものに限定されず、他の既存の方法を適用したものであっても良い。   Here, the sampling frequency converter 11, the low-frequency signal generator 12, the high-frequency signal generator 13, and the unvoiced signal generator 14 are the same as those described in Patent Document 1, respectively. However, the method of generating the synthesized low frequency signal LS, the synthesized high frequency signal HS, and the synthesized unvoiced signal US for generating the band extension signal V is not limited to that described in Patent Document 1, and other existing methods are used. It may be applied.

第1の実施形態の音声帯域拡張装置100は、低帯域信号生成器20を設けている点、及び、加算器90が従来のものと異なっている。因みに、従来の加算器15は、4種類の信号を加算合成するものであった。第1の実施形態の加算器90は、5種類の信号を加算合成する点で従来と異なっている。加算器90は、例えば、合計が1である5種類の重み付け係数を用いた重み付け加算によって5種類の信号を加算合成する。   The voice band extending apparatus 100 according to the first embodiment is different from the conventional one in that the low band signal generator 20 is provided and the adder 90 is different from the conventional one. Incidentally, the conventional adder 15 adds and synthesizes four types of signals. The adder 90 of the first embodiment is different from the conventional one in that five types of signals are added and synthesized. For example, the adder 90 adds and synthesizes five types of signals by weighted addition using five types of weighting coefficients whose sum is 1.

低帯域信号生成器20は、標本化周波数変換器11によって標本化周波数が変換された変換原信号Sを受取り、合成低帯域信号LLSを加算器90へ出力するものである。加算器90は、低域信号生成器12、高域信号生成器13、無声部信号生成器14及び低帯域信号生成器20からの合成低域信号LS、合成高域信号HS、合成無声信号US及び合成低帯域信号LLSを合成して帯域拡張音声信号Vを得て出力するものである。   The low band signal generator 20 receives the converted original signal S whose sampling frequency has been converted by the sampling frequency converter 11 and outputs the combined low band signal LLS to the adder 90. The adder 90 is a combination of the low-frequency signal generator 12, the high-frequency signal generator 13, the unvoiced signal generator 14, and the low-band signal generator 20, the combined low-frequency signal LS, the combined high-frequency signal HS, and the combined unvoiced signal US. And the synthesized low-band signal LLS is synthesized to obtain and output a band-extended audio signal V.

以下ではまず、低帯域信号生成器20について、図3及び図4を参照しながら説明する。ここで、図3は低帯域信号生成器20の内部構成を示すブロック図であり、図4はその周波数変移器21の内部構成を示すブロック図である。   Hereinafter, first, the low-band signal generator 20 will be described with reference to FIGS. 3 and 4. 3 is a block diagram showing the internal configuration of the low-band signal generator 20, and FIG. 4 is a block diagram showing the internal configuration of the frequency shifter 21. As shown in FIG.

なお、図1から明らかなように、低帯域信号生成器20には、標本化周波数変換器11によって標本化周波数が変換されたデジタル信号が入力される。この第1の実施形態の場合、特定の時間(例えば10ms)をひとまとまりにした音声フレーム(フレーム)単位に処理を行うことを想定しているが、フレームの時間長は限定されない。また、固定的なフレームでの処理には限定せず可変長のフレームでもかまわない。   As is clear from FIG. 1, the digital signal whose sampling frequency is converted by the sampling frequency converter 11 is input to the low-band signal generator 20. In the case of the first embodiment, it is assumed that the processing is performed in units of audio frames (frames) in which a specific time (for example, 10 ms) is grouped, but the time length of the frame is not limited. Further, the processing is not limited to a fixed frame, and a variable-length frame may be used.

図3において、低帯域信号生成器20は、周波数変移器21、信号判定器22、波形変換器23、成分抽出器24及び切換器25を有する。   In FIG. 3, the low-band signal generator 20 includes a frequency shifter 21, a signal determiner 22, a waveform converter 23, a component extractor 24, and a switch 25.

信号判定器22は、標本化周波数変換器11によって標本化周波数が変換された変換原信号Sを受取り、有音/無音判定などにより、周波数変移器21の処理を有効とするか無効とするかを表す信号判定情報SLを切換器25に出力するものである。   The signal determination unit 22 receives the converted original signal S whose sampling frequency has been converted by the sampling frequency converter 11 and determines whether the processing of the frequency shifter 21 is enabled or disabled by sound / silence determination or the like. Is output to the switch 25.

切換器25は、変換原信号Sと信号判定情報SLとを受取り、信号判定情報SLに基づいて、変換原信号Sの出力先を周波数変移器21又は波形変換器23に切換えるものである。   The switch 25 receives the conversion original signal S and the signal determination information SL, and switches the output destination of the conversion original signal S to the frequency shifter 21 or the waveform converter 23 based on the signal determination information SL.

周波数変移器21は、変換原信号Sを受取り、その周波数を低域側に変移させた変換信号CSを生成して成分抽出器24に出力するものである。図4(a)及び(b)はそれぞれ、周波数変移器21の内部構成例を示すものであり、各部の機能については、動作説明で明らかにする。   The frequency shifter 21 receives the converted original signal S, generates a converted signal CS whose frequency is shifted to the low frequency side, and outputs the converted signal CS to the component extractor 24. 4A and 4B show examples of the internal configuration of the frequency shifter 21, and the function of each part will be clarified in the explanation of the operation.

波形変換器23は、変換原信号Sを受取り、変換原信号Sにおける有音的な成分が小さくなった低帯域成分を有する変換信号CSを生成して成分抽出器24に出力するものである。   The waveform converter 23 receives the converted original signal S, generates a converted signal CS having a low-band component in which the sound component in the converted original signal S is reduced, and outputs the converted signal CS to the component extractor 24.

成分抽出器24は、変換信号CSを受取り、その変換信号CSにおける所定の低帯域成分を抽出し、合成低帯域信号LLSとして出力するものである。   The component extractor 24 receives the converted signal CS, extracts a predetermined low band component in the converted signal CS, and outputs it as a synthesized low band signal LLS.

(A−2)第1の実施形態の動作
次に、第1の実施形態の音声帯域拡張装置100の動作を説明する。第1の実施形態では、1音声フレームが入力されるたびに以下の動作が実行される。
(A-2) Operation of the First Embodiment Next, the operation of the voice band extending apparatus 100 of the first embodiment will be described. In the first embodiment, the following operation is performed every time one audio frame is input.

狭帯域音声信号(デジタル信号)DCが音声帯域拡張装置100に入力されると、この狭帯域音声信号DCは、標本化周波数変換器11により標本化周波数が高められた変換原信号Sに変換され(例えば、8kHzから16kHz)、この変換原信号Sを用いて、低域信号生成器12、高域信号生成器13、無声部信号生成器14及び低帯域信号生成器20がそれぞれ、合成低域信号LS、合成高域信号HS、合成無声信号US及び合成低帯域信号LLSを生成し、加算器90が、これら4種類の合成低域信号LS、合成高域信号HS、合成無声信号US及び合成低帯域信号LLSと、上述の変換原信号Sとを加算することにより帯域拡張信号Vを生成する。   When a narrowband audio signal (digital signal) DC is input to the audio band extension device 100, the narrowband audio signal DC is converted into a converted original signal S whose sampling frequency is increased by the sampling frequency converter 11. (For example, 8 kHz to 16 kHz) Using this converted original signal S, the low-frequency signal generator 12, high-frequency signal generator 13, unvoiced signal generator 14, and low-band signal generator 20 A signal LS, a synthesized high-frequency signal HS, a synthesized unvoiced signal US, and a synthesized low-band signal LLS are generated, and an adder 90 generates these four types of synthesized low-frequency signal LS, synthesized high-frequency signal HS, synthesized unvoiced signal US, and synthesized The band extension signal V is generated by adding the low band signal LLS and the conversion original signal S described above.

低帯域信号生成器20においては、上述したように、変換原信号Sを、1音声フレーム毎入力し、電話帯域より周波数の小さい低帯域の信号を合成低帯域信号LLSとして生成し、加算器90へ出力する。   As described above, the low-band signal generator 20 inputs the converted original signal S for each voice frame, generates a low-band signal having a frequency lower than the telephone band as a synthesized low-band signal LLS, and adds the adder 90 Output to.

低帯域生成器20において、信号判定器22は、例えば、1音声フレーム毎に変換原信号Sのパワーを計算し、当該パワーの値から変換原信号Sの有効、無効を判定し、その結果を信号判定情報SLとして切換器25に出力する。第1の実施形態において、信号が無効である場合とは、当該変換原信号Sが有音である場合を指し、発声者が発話している区間に相当している。例えば、音声の調波構造が現れているような部分にあたる。また、信号が有効である場合とは、当該変換原信号Sが無音である場合をさし、発声者が発話していない部分や、音声の調波構造が現れていないような部分に相当する。従って、信号の有効部分、すなわち無音部分であっても、信号自体の成分は、零ではなく存在している場合が多い。当該判定は、例えば、当該パワーの値に対する閾値を設定し、この閾値よりパワーが小さければ無音、そうでなければ有音と判断する方法で行う。この閾値は、適宜選定すれば良く、特定値に限定されるものではない。また、上述したような信号の有効、無効を判断する手法であれば、上記手法には限定しない(例えば、既存の有音/無音判定方法のいずれも適用可能である)。さらに、上記説明では、パワーの計算に変換原信号Sを用いる場合に言及したが、変換原信号Sの代わりに狭帯域信号DCを用いても良く、当該音声フレームでのパワーを判定できれば判定に使用する信号は限定されない。   In the low-band generator 20, the signal determination unit 22 calculates, for example, the power of the converted original signal S for each voice frame, determines whether the converted original signal S is valid or invalid from the power value, and determines the result. The signal determination information SL is output to the switch 25. In the first embodiment, the case where the signal is invalid refers to a case where the converted original signal S is sounded, and corresponds to a section where the speaker is speaking. For example, it corresponds to a portion where a harmonic structure of voice appears. Further, the case where the signal is valid means a case where the converted original signal S is silent, and corresponds to a portion where the speaker does not speak or a portion where the harmonic structure of the voice does not appear. . Therefore, even in the effective portion of the signal, that is, the silent portion, the component of the signal itself is often not zero. The determination is performed, for example, by setting a threshold value for the power value, and determining that there is no sound if the power is lower than the threshold value, and that there is sound if not. This threshold may be selected as appropriate and is not limited to a specific value. The method is not limited to the above method as long as it is a method for determining whether the signal is valid or invalid (for example, any of existing sound / silence determination methods can be applied). Furthermore, in the above description, the case where the converted original signal S is used for the power calculation has been described. However, the narrowband signal DC may be used instead of the converted original signal S, and the determination is possible if the power in the audio frame can be determined. The signal to be used is not limited.

切換器25は、信号判定情報SLが有効を指示しているとき(無音時)には入力された変換原信号Sを周波数変移器21に出力し、信号判定情報SLが無効を指示しているとき(有音時)には入力された変換原信号Sを波形変換器23に出力する。   The switch 25 outputs the input conversion original signal S to the frequency shifter 21 when the signal determination information SL is instructed to be valid (no sound), and the signal determination information SL is instructed to be invalid. At that time (when there is sound), the input conversion original signal S is output to the waveform converter 23.

有音部分を単純に後述する周波数変移すると有音部分に特有の調波構造が変移するため、聴取者に異音があると聴取される可能性がある。そのため、第1の実施形態では、合成低帯域信号LLSを生成する際に、有音部分と無音部分を分けて処理するようにしている。   If the frequency of the sounded part is simply changed as described later, the harmonic structure peculiar to the sounded part is changed, so that there is a possibility that the listener will be heard if there is an abnormal sound. Therefore, in the first embodiment, when the synthesized low band signal LLS is generated, the voiced portion and the silent portion are processed separately.

周波数変移器21は、1音声フレーム毎に変換原信号Sを受取り、後述する周波数変移方法により、受取った当該変換原信号Sの周波数を低域側へ変移させ、当該変移結果を変換信号CSとして成分抽出器24へ出力する。第1の実施形態では、この周波数の変移量を300Hzとしているが、この値に限定するものではない。   The frequency shifter 21 receives the converted original signal S for each voice frame, shifts the frequency of the received converted original signal S to the low frequency side by a frequency shifting method described later, and uses the shift result as the converted signal CS. It outputs to the component extractor 24. In the first embodiment, the frequency shift amount is set to 300 Hz, but is not limited to this value.

周波数変移器21が適用している周波数変移方法の概要について、図4を使って説明する。   The outline of the frequency shift method applied by the frequency shifter 21 will be described with reference to FIG.

図4(a)は、第1の実施形態の周波数変移方法の考え方を表している。周波数変移器21に入力する変換原信号Sに相当する入力される原信号をsin(f・t)とする。fは、原信号の周波数に対応する角周波数、tは時刻を表す。また、変移させる周波数に対応する角周波数をFとする。例えば、Fは、−300Hzに対応する角周波数である。ここで、負の周波数にしているのは、周波数変移によって低い周波数に変移させるためである。   FIG. 4A illustrates the concept of the frequency shift method according to the first embodiment. An input original signal corresponding to the converted original signal S input to the frequency shifter 21 is defined as sin (f · t). f represents an angular frequency corresponding to the frequency of the original signal, and t represents time. Further, F is an angular frequency corresponding to the frequency to be shifted. For example, F is an angular frequency corresponding to −300 Hz. Here, the negative frequency is used to shift to a lower frequency by the frequency shift.

まず、原信号sin(f・t)に、余弦波信号cos(F・t)を乗算回路62により乗算する。この乗算により、sin(f・t)cos(F・t)となる第1の乗算結果を得る。並行して、遅延回路61により原信号sin(f・t)の位相をπ/2だけ遅延させ、当該遅延させた原信号sin(f・t−π/2)に対して第2の乗算回路63により−sin(F・t)を乗算する。この乗算により、−sin(f・t−π/2)sin(F・t)=cos(f・t)sin(F・t)なる乗算結果を得る。   First, the original signal sin (f · t) is multiplied by the cosine wave signal cos (F · t) by the multiplication circuit 62. By this multiplication, a first multiplication result of sin (f · t) cos (F · t) is obtained. In parallel, the phase of the original signal sin (f · t) is delayed by π / 2 by the delay circuit 61, and a second multiplication circuit is applied to the delayed original signal sin (f · t−π / 2). Multiply -sin (F · t) by 63. By this multiplication, a multiplication result of −sin (f · t−π / 2) sin (F · t) = cos (f · t) sin (F · t) is obtained.

これら2つの乗算結果sin(f・t)cos(F・t)、cos(f・t)sin(F・t)を加算回路64により加算する。これにより、sin(f・t)cos(F・t)+cos(f・t)sin(F・t)=sin((F+f)・t)なる加算結果を得られる。この加算結果sin((F+f)・t)は、角周波数Fに相当する周波数だけ原信号の周波数を変移した信号になっている。   These two multiplication results sin (f · t) cos (F · t) and cos (f · t) sin (F · t) are added by the adder circuit 64. Thereby, an addition result of sin (f · t) cos (F · t) + cos (f · t) sin (F · t) = sin ((F + f) · t) is obtained. This addition result sin ((F + f) · t) is a signal obtained by shifting the frequency of the original signal by a frequency corresponding to the angular frequency F.

図4(a)では、遅延回路61、2個の乗算回路62、63及び加算回路64によって、周波数fの信号を角周波数Fだけ変移した信号sin((F+f)・t)を得る構成を示したが、後述する成分抽出器24による成分抽出処理(フィルタ処理)を考慮すると、周波数変移器21からの信号には、周波数成分sin((F+f)・t)を含んでいれば良い。   4A shows a configuration in which a signal sin ((F + f) · t) obtained by shifting the signal of the frequency f by the angular frequency F by the delay circuit 61, the two multiplying circuits 62 and 63, and the adding circuit 64 is shown. However, in consideration of component extraction processing (filter processing) by the component extractor 24 to be described later, the signal from the frequency shifter 21 only needs to include the frequency component sin ((F + f) · t).

このように入力信号sin(f・t)から周波数成分sin((F+f)・t)を含む信号を形成するのが、図4(b)に示す構成である。すなわち、入力信号sin(f・t)に余弦波信号cos(F・t)を乗算回路65で乗算すると、sin(f・t)cos(F・t)={sin((f+F)・t)+sin((f−F)・t)}/2なる乗算結果を得るが、このうちのsin((f+F)・t)項のみを取出せれば、図4(a)の周波数変移方法を簡略化して用いることができる。   The configuration shown in FIG. 4B forms a signal including the frequency component sin ((F + f) · t) from the input signal sin (f · t). That is, when the input signal sin (f · t) is multiplied by the cosine wave signal cos (F · t) by the multiplication circuit 65, sin (f · t) cos (F · t) = {sin ((f + F) · t) + Sin ((f−F) · t)} / 2 is obtained, but if only the sin ((f + F) · t) term is extracted, the frequency shift method of FIG. Can be used.

入力信号sin(f・t)の周波数成分fは種々の成分を含むが、いずれの周波数成分fであっても、固定周波数Fずつ変移される。   The frequency component f of the input signal sin (f · t) includes various components, but any frequency component f is shifted by a fixed frequency F.

波形変換器23は、有音(無効)と判定された変換原信号Sを切換器25から受取り、後述する波形変換方法により、変換原信号Sが無音に近くなるように変換し(波形圧縮し)、変換信号CSとして成分抽出器24へ出力する。この波形変換方法は、例えば、入力された変換原信号Sの当該フレームの各サンプリング値の絶対値に平方根をとったものに、そのサンプリング値の正負符号を付与したものである。すなわち、正負を問わず、振幅のみを平方根に小さくするものである。なお、波形変換方法は、これに限定されない。例えば、当該フレームでのパワーを計算しておき、そのパワーで波形の値を除算し、その後、周波数変移を実施するようにしても良い。いずれにせよ、有音的な成分が小さくなった低帯域成分をもつ信号が出力できれば良い。   The waveform converter 23 receives the converted original signal S determined to be sound (invalid) from the switch 25 and converts it so that the converted original signal S is close to silence by the waveform conversion method described later (waveform compression). ) And output to the component extractor 24 as a converted signal CS. In this waveform conversion method, for example, the square value of the absolute value of each sampled value of the frame of the input converted original signal S is added to the sign of the sampled value. In other words, regardless of positive or negative, only the amplitude is reduced to the square root. The waveform conversion method is not limited to this. For example, the power in the frame may be calculated, the waveform value may be divided by the power, and then the frequency shift may be performed. In any case, it is only necessary to output a signal having a low-band component in which a sound component is reduced.

成分抽出器24は、周波数変移器21又は波形変換器23のうち、その時点で有効動作している方からの変換信号CSから、例えば、300Hz以下の低帯域成分を抽出し、合成低帯域信号LLSとして、加算器90に出力する。成分抽出器24を設けているのは、変換信号CSの周波数構成が300Hz以上にも存在するためであり、必要な周波数帯を抽出するために設けられている。成分抽出器24としては、例えば、300Hz以下を通過させる低域通過フィルタなどを適用できる。   The component extractor 24 extracts, for example, a low-band component of 300 Hz or less from the converted signal CS from the frequency shifter 21 or the waveform converter 23 that is operating effectively at that time, and generates a combined low-band signal. The result is output to the adder 90 as LLS. The component extractor 24 is provided because the frequency structure of the conversion signal CS exists at 300 Hz or more, and is provided for extracting a necessary frequency band. As the component extractor 24, for example, a low-pass filter that passes 300 Hz or less can be applied.

なお、成分抽出器24が抽出する上限周波数(例えば、300Hz以下)は、低域信号生成器12において出力可能な最大の周波数と同じ周波数であっても良い。   Note that the upper limit frequency (for example, 300 Hz or less) extracted by the component extractor 24 may be the same frequency as the maximum frequency that can be output by the low-frequency signal generator 12.

(A−3)第1の実施形態の効果
第1の実施形態の音声帯域拡張装置によれば、原信号(狭帯域音声信号DC若しくは変換原信号S)からその帯域を拡張した帯域拡張信号Vを生成するに際し、低周波数について、帯域信号として拡張信号成分を生成するようにしたので、低域の帯域において、全体的に周波数成分を付加することができる。その結果、聴取者に、低域全体の広がり感を聴取させることができる。また、特定の周波数成分を付加する場合に聴取されていた低帯域の不足感を解消することができる。その結果として、出力信号の音質を向上させることができる。
(A-3) Effects of the First Embodiment According to the audio band extending device of the first embodiment, the band extension signal V obtained by extending the band from the original signal (narrow band audio signal DC or converted original signal S). Since the extended signal component is generated as a band signal for a low frequency, the frequency component can be added as a whole in the low band. As a result, it is possible for the listener to listen to a sense of spread of the entire low range. In addition, it is possible to eliminate the low-band shortage that has been heard when a specific frequency component is added. As a result, the sound quality of the output signal can be improved.

(B)第2の実施形態
次に、本発明による帯域拡張装置及び不足帯域信号生成器を、音声帯域拡張装置に適用した第2の実施形態を、図面を参照しながら説明する。
(B) Second Embodiment Next, a second embodiment in which the band extending apparatus and the insufficient band signal generator according to the present invention are applied to a voice band extending apparatus will be described with reference to the drawings.

第2の実施形態の音声帯域拡張装置も、その全体構成は、第1の実施形態に係る図1で表すことができる。   The overall configuration of the voice band extending apparatus according to the second embodiment can also be represented by FIG. 1 according to the first embodiment.

第2の実施形態は、第1の実施形態に比較すると、低帯域信号生成器(第2の実施形態のものに対しては符号30を付与している)の内部構成が異なっており、その他は、第1の実施形態と同様である。   The second embodiment is different from the first embodiment in the internal configuration of the low-band signal generator (reference numeral 30 is given to the second embodiment), and the others. Is the same as in the first embodiment.

図5は、第2の実施形態の低帯域信号生成器30の内部構成を示すブロック図であり、第1の実施形態に係る図3との同一、対応部分には同一符号を付して示している。図5において、第2の実施形態の低帯域信号生成器30は、信号判定器22、波形調整器28、周波数変移器21及び成分抽出器24を有する。   FIG. 5 is a block diagram showing an internal configuration of the low-band signal generator 30 according to the second embodiment. The same reference numerals are given to the same and corresponding parts as those in FIG. 3 according to the first embodiment. ing. In FIG. 5, the low-band signal generator 30 of the second embodiment includes a signal determiner 22, a waveform adjuster 28, a frequency shifter 21, and a component extractor 24.

信号判定器22は、第1の実施形態のものと同様にして、変換原信号Sの有効(無音)、無効(有音)を判定し、信号判定情報SLを波形調整器28に与える。   The signal determiner 22 determines whether the converted original signal S is valid (silent) or invalid (sound) in the same manner as in the first embodiment, and gives the signal determination information SL to the waveform adjuster 28.

波形調整器28は、変換原信号Sと信号判定情報SLを受取り、調整信号ASを周波数変移器21に出力するものである。波形調整器28は、信号判定情報SLにより音声が無音であると判断した場合には、入力した変換原信号Sをそのまま調整信号ASとして出力する。また、波形調整器28は、信号判定情報SLにより有音であると判断した場合には、変換原信号Sを調整して調整信号ASとする。波形調整器28による波形調整方法は、1音声フレーム内の音声が無音に近くなるように調整する動作をすればその方法は限定されない。例えば、入力した変換原信号Sを当該フレームのパワー値で割った値を調整信号ASとして出力する方法を適用できる。また例えば、1つ前のフレームでの波形の最大値と最小値の間の値をランダムに出力させて調整波形とするような方法であっても良い。さらに、必要に応じて出力する調整信号ASの音声レベルの調整を実施しても良い。   The waveform adjuster 28 receives the conversion original signal S and the signal determination information SL, and outputs the adjustment signal AS to the frequency shifter 21. When the waveform adjuster 28 determines that the sound is silent based on the signal determination information SL, the waveform adjuster 28 outputs the input conversion original signal S as it is as the adjustment signal AS. On the other hand, when the waveform adjuster 28 determines that the sound is sound based on the signal determination information SL, the waveform adjuster 28 adjusts the conversion original signal S to obtain an adjustment signal AS. The method of adjusting the waveform by the waveform adjuster 28 is not limited as long as the operation is performed so that the sound in one sound frame is close to silence. For example, a method of outputting the value obtained by dividing the input converted original signal S by the power value of the frame as the adjustment signal AS can be applied. Further, for example, a method may be used in which a value between the maximum value and the minimum value of the waveform in the previous frame is randomly output to obtain an adjustment waveform. Furthermore, the audio level of the adjustment signal AS to be output may be adjusted as necessary.

周波数変移器21は、波形調整器28からの調整信号ASを受取り、第1の実施形態で説明したと同様な方法により周波数変移を施し、その結果を変移信号SSとして成分抽出器24へ出力する。   The frequency shifter 21 receives the adjustment signal AS from the waveform adjuster 28, performs frequency shift by the same method as described in the first embodiment, and outputs the result to the component extractor 24 as the shift signal SS. .

成分抽出器24は、第1の実施形態のものと同様にして、周波数変移器21からの変移信号SSにおける所定の低帯域を抽出し、合成低帯域信号LLSとして、加算器90に出力する。   The component extractor 24 extracts a predetermined low band in the shift signal SS from the frequency shifter 21 and outputs it to the adder 90 as a combined low band signal LLS in the same manner as in the first embodiment.

第2の実施形態の音声帯域拡張装置によっても、原信号からその帯域を拡張した帯域拡張信号を生成するに際し、低周波数について、帯域信号として拡張信号成分を生成するようにしたので、聴取者に、低域全体の広がり感を聴取させることができ、また、特定の周波数成分を付加する場合に聴取されていた低帯域の不足感を解消することができ、結果として、出力信号の音質を向上させることができる。   Even in the voice band extending apparatus of the second embodiment, when generating a band extension signal that is an extension of the band from the original signal, an extension signal component is generated as a band signal for a low frequency. , You can listen to the sense of spread of the entire low frequency, and can eliminate the lack of low frequency that was heard when adding a specific frequency component, resulting in improved sound quality of the output signal Can be made.

また、第2の実施形態によれば、第1の実施形態の切換器に代えて、波形調整器を設けたことで、信号の有効、無効に応じた処理構成を一系統にすることができ、処理の複雑さを軽減し、処理量の削減が期待できる。   Further, according to the second embodiment, a waveform adjuster is provided instead of the switch of the first embodiment, so that the processing configuration corresponding to the validity / invalidity of the signal can be integrated into one system. Reduction of processing complexity and reduction of processing amount can be expected.

(C)第3の実施形態
次に、本発明による帯域拡張装置及び不足帯域信号生成器を、音声帯域拡張装置に適用した第3の実施形態を、図面を参照しながら説明する。
(C) Third Embodiment Next, a third embodiment in which the band extending apparatus and the insufficient band signal generator according to the present invention are applied to a voice band extending apparatus will be described with reference to the drawings.

第3の実施形態の音声帯域拡張装置も、その全体構成は、第1の実施形態に係る図1で表すことができる。   The overall configuration of the voice band extending apparatus according to the third embodiment can also be represented in FIG. 1 according to the first embodiment.

第3の実施形態は、第1の実施形態に比較すると、低帯域信号生成器(第3の実施形態のものに対しては符号40を付与している)の内部構成が異なっており、その他は、第1の実施形態と同様である。   The third embodiment is different from the first embodiment in the internal configuration of the low-band signal generator (reference numeral 40 is assigned to the third embodiment), and the others. Is the same as in the first embodiment.

図6は、第3の実施形態の低帯域信号生成器40の内部構成を示すブロック図であり、第1の実施形態に係る図3や第2の実施形態に係る図5との同一、対応部分には同一符号を付して示している。図6において、第3の実施形態の低帯域信号生成器40は、信号判定器22、周波数変移器21、成分抽出器24、波形調整器33、自己相関計算器35、出力波形記憶器36及び波形記憶器37を有する。   FIG. 6 is a block diagram showing an internal configuration of the low-band signal generator 40 according to the third embodiment, which is the same as and corresponding to FIG. 3 according to the first embodiment and FIG. 5 according to the second embodiment. Parts are shown with the same reference numerals. In FIG. 6, the low-band signal generator 40 of the third embodiment includes a signal determiner 22, a frequency shifter 21, a component extractor 24, a waveform adjuster 33, an autocorrelation calculator 35, an output waveform storage 36, and A waveform memory 37 is provided.

以下、第3の実施形態の低帯域信号生成器40の動作を説明しながら、各部の機能も明らかにする。   Hereinafter, while explaining the operation of the low-band signal generator 40 of the third embodiment, the function of each part will be clarified.

図6において、信号判定器22は、第1の実施形態のものと同様にして、変換原信号Sの有効(無音)、無効(有音)を判定し、信号判定情報SLを波形調整器33に与える。   In FIG. 6, the signal determiner 22 determines whether the converted original signal S is valid (silent) or invalid (sound) in the same manner as in the first embodiment, and the signal adjuster 33 receives the signal determination information SL. To give.

この第3の実施形態の低帯域信号生成器40においては、図6に示すように、周波数変移器21が波形調整器33より前段に設けられている。位置は異なるが、第3の実施形態の周波数変移器21は、入力された変換原信号Sを受取り、第1の実施形態で説明したと同様な方法により周波数変移を施す。周波数変移器21は、周波数変移結果を変移信号SSとして波形調整器33へ出力する。   In the low-band signal generator 40 of the third embodiment, the frequency shifter 21 is provided before the waveform adjuster 33 as shown in FIG. Although the position is different, the frequency shifter 21 of the third embodiment receives the input conversion original signal S and performs frequency shift by the same method as described in the first embodiment. The frequency shifter 21 outputs the frequency shift result to the waveform adjuster 33 as the shift signal SS.

波形調整器33は、基本的には、第2の実施形態の場合と同様に、信号判定情報SLが有効を指示している場合(無音の場合)には、入力された変移信号SSを加工せずに調整信号ASとして出力し、信号判定情報SLが無効を指示している場合(有音の場合)には、入力された変移信号SSに対して波形調整を実施し、その波形調整後の信号を調整信号ASとして出力する。   As in the case of the second embodiment, the waveform adjuster 33 basically processes the input transition signal SS when the signal determination information SL indicates validity (in the case of silence). If the signal determination information SL indicates invalidity (in the case of sound), the waveform adjustment is performed on the input transition signal SS, and after the waveform adjustment Is output as the adjustment signal AS.

この第3の実施形態の場合、後述するように、有音の場合の調整信号ASの生成方法が第2の実施形態とは異なっている。   In the case of the third embodiment, as will be described later, the method of generating the adjustment signal AS in the case of sound is different from that of the second embodiment.

出力波形記憶器36は、波形調整器33から出力される調整信号ASを記憶しておくものであり、1音声フレーム毎に記憶内容を最新の信号に更新する。出力波形記憶器36に記憶しておくデータ量は、後述する自己相関計算器35で自己相関関数を計算するために必要な量、及び、波形調整器33で調整信号ASに使用するのに必要な量を満たせば良く、例えば、50msのデータ量である(但し、この時間長に限定されるものではない)。   The output waveform memory 36 stores the adjustment signal AS output from the waveform adjuster 33, and updates the stored content to the latest signal for each voice frame. The amount of data stored in the output waveform memory 36 is an amount necessary for calculating an autocorrelation function by an autocorrelation calculator 35 described later, and is necessary for use by the waveform adjuster 33 for the adjustment signal AS. For example, the amount of data is 50 ms (however, the time length is not limited to this).

以下では、信号判定情報SLが無効を指示している場合(有音の場合)の調整信号ASの生成方法について説明する。   Hereinafter, a method for generating the adjustment signal AS when the signal determination information SL indicates invalidity (when there is sound) will be described.

有音と判定された場合、波形調整器33は、自己相関計算要求PRを自己相関計算器35へ出力する。自己相関計算器35では、自己相関関数の計算により、当該時刻での周期を計算し、計算で得られた周期を周期データSPとして波形調整器33へ出力する。   If it is determined that there is sound, the waveform adjuster 33 outputs an autocorrelation calculation request PR to the autocorrelation calculator 35. The autocorrelation calculator 35 calculates the period at the time by calculating the autocorrelation function, and outputs the period obtained by the calculation to the waveform adjuster 33 as the period data SP.

当該自己相関関数の計算をするために、自己相関計算器35は、まず、波形記憶器37へ波形更新要求DRを出力する。波形記憶器37に波形更新要求DRが入力されると、波形記憶器37は、出力波形記憶器36に記憶された出力波形データSDを自己に複写する。出力波形記憶器36から出力波形データSDを複写後、波形記憶器37は、当該出力波形データを次に波形更新要求DRが入力されるまで記憶しておき、当該波形データSDを波形データHDとして自己相関計算器35へ出力する。この波形データの量は、自己相関関数を計算するのに十分な量があれば良く、例えば、30msのデータ量である(但し、この時間長に限定されない)。波形データHDを受取った自己相関計算器35は、その波形データHDを用いて自己相関関数の最大となる遅延量を計算し、この遅延量を周期データSPとして波形調整器33へ出力する。   In order to calculate the autocorrelation function, the autocorrelation calculator 35 first outputs a waveform update request DR to the waveform memory 37. When the waveform update request DR is input to the waveform memory 37, the waveform memory 37 copies the output waveform data SD stored in the output waveform memory 36 to itself. After copying the output waveform data SD from the output waveform memory 36, the waveform memory 37 stores the output waveform data until the next waveform update request DR is input, and the waveform data SD is used as the waveform data HD. Output to the autocorrelation calculator 35. The amount of the waveform data only needs to be sufficient to calculate the autocorrelation function, and is, for example, a data amount of 30 ms (however, it is not limited to this time length). Receiving the waveform data HD, the autocorrelation calculator 35 calculates the maximum delay amount of the autocorrelation function using the waveform data HD, and outputs this delay amount to the waveform adjuster 33 as the period data SP.

周期データSPが表す遅延量の大きさは、例えば、5ms〜15msの範囲の値に制限できるが、遅延量が取り得る範囲が上述の範囲に限定されないことは勿論である。自己相関(遅延量)の計算に用いられる波形データHDは無音部分であり、音声成分に周期が存在していない場合があるが、この第3の実施形態では、自己相関関数の最大となる遅延量を出力音声の基準の処理単位として使用している。第3の実施形態の記述では、当該自己相関関数が最大となる遅延量を周期として表現する。また、波形データHDの周期が計算できるのならば、自己相関関数を計算せずに他の手法を用いるようにしても良い。   The magnitude of the delay amount represented by the periodic data SP can be limited to a value in the range of, for example, 5 ms to 15 ms, but it is needless to say that the range that the delay amount can take is not limited to the above range. The waveform data HD used for calculating the autocorrelation (delay amount) is a silent part, and there may be no period in the audio component. In this third embodiment, the delay having the maximum autocorrelation function is used. The amount is used as the standard processing unit for output speech. In the description of the third embodiment, the delay amount that maximizes the autocorrelation function is expressed as a period. Further, if the period of the waveform data HD can be calculated, another method may be used without calculating the autocorrelation function.

周期データSPを受取った波形調整器33は、波形記憶器37から周期データSPによって定まる必要な波形データNDを取出し、音声フレーム毎に後述する調整信号生成方法により信号を生成し、調整信号ASとして出力する。この調整信号ASの生成は、例えば、6音声フレーム間だけ継続し、6音声フレームが経過した後も有音である場合は、上記の有音と判定された場合の処理を再度実行し、無音と判定されるまで一連の処理を繰り返す。   The waveform adjuster 33 that has received the periodic data SP takes out the necessary waveform data ND determined by the periodic data SP from the waveform storage 37, generates a signal by the adjustment signal generation method described later for each audio frame, and uses it as the adjustment signal AS. Output. The generation of the adjustment signal AS is continued for, for example, 6 sound frames. If the sound remains after the 6 sound frames have passed, the process when the sound is determined as described above is executed again, and silence is generated. A series of processing is repeated until it is determined that

波形調整器33における調整信号生成方法の一例を、図7に従って説明する。   An example of the adjustment signal generation method in the waveform adjuster 33 will be described with reference to FIG.

図7のデータSDは、波形記憶器37に記憶された波形データSD(=ND)を表し、図7の信号ASは、波形調整器33から出力される調整信号ASを表している。図7は、無音から有音に変化した状態から、音声フレーム毎に、調整信号AS1、AS2、…が順に出力される様子を表している。周期Tは、自己相関計算器35から出力された周期データSPから求められた周期を表している。   7 represents the waveform data SD (= ND) stored in the waveform memory 37, and the signal AS in FIG. 7 represents the adjustment signal AS output from the waveform adjuster 33. FIG. 7 shows a state in which the adjustment signals AS1, AS2,... Are output in order for each audio frame from the state where the sound is changed from silence to sound. The period T represents a period obtained from the period data SP output from the autocorrelation calculator 35.

周期Tが決定された場合、波形データSDのうち最新の3周期分を使用して調整信号ASの生成を行う。図7の(0)は、調整信号に使用される区間を表し、上述の最新3周期分に等しい。また、図7(1)、(2)、(3)は時刻の経過を表している。   When the period T is determined, the adjustment signal AS is generated using the latest three periods of the waveform data SD. (0) in FIG. 7 represents a section used for the adjustment signal, and is equal to the latest three periods described above. 7 (1), (2), and (3) show the passage of time.

調整信号AS1を出力する場合を図7(1)の場合から説明する。調整信号AS1は、最新側の1周期区間Taを用いて生成される。調整信号AS1は、1周期区間Taの最古側から最新側へ周期Tだけ使用して生成される。図7のように、1周期区間Taの全区間を用いても1音声フレームに満たない場合は、再度、周期区間Taの最古側から出力し、合計で1音声フレームだけ生成されるようにする。すなわち、調整波形AS1の生成に使用される区間は、S11とS12の区間であり、B1からE1までの区間に相当する。この際、区間S11とS12とを連続的に遷移させるような手法を実施することが好ましい。例えば、区間S12を最新1周期からさらに最古側の1/4周期部分を確保し、区間S11の最新1/4周期部分と連続的に区間S11から区間S12へと遷移するように足し合わせるなどの方法をとっても良い。また、SDとAS1の間、AS2以降での処理に関しても同様の処理を実施しても良い。   The case where the adjustment signal AS1 is output will be described from the case of FIG. The adjustment signal AS1 is generated using the latest one period section Ta. The adjustment signal AS1 is generated by using only the period T from the oldest side to the newest side of one period section Ta. As shown in FIG. 7, when the entire period of one period section Ta is used, but less than one voice frame, it is output again from the oldest side of the period section Ta so that only one voice frame is generated in total. To do. That is, the section used for generating the adjustment waveform AS1 is the section of S11 and S12, and corresponds to the section from B1 to E1. At this time, it is preferable to implement a technique for continuously transitioning between the sections S11 and S12. For example, in the section S12, an oldest 1/4 cycle portion from the latest one cycle is secured, and the latest quarter cycle portion of the section S11 is added so as to continuously transition from the section S11 to the section S12. You may take the method of. Similar processing may be performed between SD and AS1, and processing after AS2.

調整信号AS2を出力する場合、1周期増やして最新の2周期区間を用いて調整信号AS2を生成する。すなわち、Tb(=T1+T2)の区間を用いて調整信号AS2を生成する。生成に使用する区間は、調整信号AS1の出力に使用した最後の位置E1から区間Tだけずれた位置B2から出力を開始するが、位置E1が区間Tbの最古側の1周期T内にない場合は、当該1周期T内になるまで、周期Tずつ最古側へ移動させ(図7(2)の場合は移動させない場合になっている)、出力を開始する。従って、調整信号AS2の生成には、B2からE2の区間が用いられる。   When the adjustment signal AS2 is output, the adjustment signal AS2 is generated by using one of the latest two period intervals after increasing one period. That is, the adjustment signal AS2 is generated using a section of Tb (= T1 + T2). The section used for generation starts output from the position B2 which is shifted by the section T from the last position E1 used for the output of the adjustment signal AS1, but the position E1 is not within the oldest one cycle T of the section Tb. In this case, the output is moved to the earliest side by the period T until it is within the one period T (in the case of FIG. 7 (2), the movement is not performed) and the output is started. Therefore, the interval from B2 to E2 is used to generate the adjustment signal AS2.

調整信号AS3を出力する場合、調整信号AS2の場合と同様に1周期増やした3周期区間Tc(=T1+T2+T3)の区間を用いて出力させる。その区間Tcからのデータとの取り出し方は、調整信号AS2の場合と同様である。従って、調整信号AS3の生成には、B3からE3の区間が用いられる。   When the adjustment signal AS3 is output, the adjustment signal AS3 is output using a period of three period Tc (= T1 + T2 + T3) increased by one period as in the case of the adjustment signal AS2. The method of extracting data from the section Tc is the same as in the case of the adjustment signal AS2. Therefore, the interval from B3 to E3 is used for generating the adjustment signal AS3.

調整信号AS4以降では、生成に使用する区間を広げず、調整信号AS3で設定した区間Tcを用いて生成させる。また、出力に使用する位置は、直前の生成に使用した位置から開始する。すなわち、AS4の場合は、位置E3より出力を開始する。   After the adjustment signal AS4, the interval used for generation is not expanded, but the interval Tc set by the adjustment signal AS3 is used for generation. The position used for output starts from the position used for the previous generation. That is, in the case of AS4, output is started from the position E3.

以上のような処理により、波形調整器33からの調整信号ASは、波形記憶器37に記憶された波形データSD(=ND)における周期Tの周期性は維持しつつ、そのデータSDの並びを、周期Tの部分を単位として異なる並びに変換したものとなっている。   As a result of the processing as described above, the adjustment signal AS from the waveform adjuster 33 changes the arrangement of the data SD while maintaining the periodicity of the period T in the waveform data SD (= ND) stored in the waveform storage 37. The period T is different and converted in units.

成分抽出器24は、第1や第2の実施形態のものと同様にして、波形調整器33からの調整信号ASにおける所定の低帯域を抽出し、合成低帯域信号LLSとして、加算器90に出力する。   The component extractor 24 extracts a predetermined low band in the adjustment signal AS from the waveform adjuster 33 in the same manner as in the first and second embodiments, and outputs it to the adder 90 as a combined low band signal LLS. Output.

第3の実施形態の音声帯域拡張装置によっても、原信号からその帯域を拡張した帯域拡張信号を生成するに際し、低周波数について、帯域信号として拡張信号成分を生成するようにしたので、聴取者に、低域全体の広がり感を聴取させることができ、また、特定の周波数成分を付加する場合に聴取されていた低帯域の不足感を解消することができ、結果として、出力信号の音質を向上させることができる。   Also in the audio band extending apparatus of the third embodiment, when generating a band extension signal that is an extension of the band from the original signal, an extension signal component is generated as a band signal for a low frequency. , You can listen to the sense of spread of the entire low frequency, and can eliminate the lack of low frequency that was heard when adding a specific frequency component, resulting in improved sound quality of the output signal Can be made.

また、第3の実施形態によれば、低帯域信号における有音性を、直前の無音波形を使用することで減じることが可能となる。   Further, according to the third embodiment, it is possible to reduce the sound property in the low-band signal by using the immediately preceding non-sonic wave shape.

(D)他の実施形態
上記各実施形態においては、低域信号生成器12と低帯域信号生成器20、30、40とがそれぞれ合成信号を生成するような構成としていたが、低帯域信号生成器20、30、40の機能と低域信号生成器12の機能を発揮するように生成器を構成しても良い。例えば、合成低域信号LSと合成低帯域信号LLSとをこの生成器の内部で加算し、低域部分の合成信号として加算器90に出力するようにして構わない。
(D) Other Embodiments In the above embodiments, the low-band signal generator 12 and the low-band signal generators 20, 30, and 40 each generate a composite signal. The generator may be configured to exhibit the functions of the devices 20, 30, 40 and the function of the low-frequency signal generator 12. For example, the synthesized low-frequency signal LS and the synthesized low-band signal LLS may be added inside this generator and output to the adder 90 as a synthesized signal of the low-frequency part.

また、上記各実施形態では、低域信号生成器と低帯域信号生成器との双方を有するものを示したが、本発明は、少なくとも低帯域信号生成器を備えていれば良い。また、入力信号DCによっては、高域信号生成器や無声部信号生成器を省略するようにしても良い。   Further, in each of the above embodiments, the one having both the low-band signal generator and the low-band signal generator is shown, but the present invention only needs to include at least the low-band signal generator. Further, depending on the input signal DC, a high frequency signal generator or a silent part signal generator may be omitted.

すなわち、各実施形態では、合成低域信号LSと合成高域信号HSと合成無声信号USと合成低帯域信号LLSの4つを生成して、変換原信号Sと加算する例を説明したが、加算するために生成される信号数は合成低帯域信号LLSを含む限りにおいて4つに限定されず、これよりも多くても少なくても良い。   That is, in each embodiment, an example in which four of the synthesized low-frequency signal LS, the synthesized high-frequency signal HS, the synthesized silent signal US, and the synthesized low-band signal LLS are generated and added to the converted original signal S has been described. The number of signals generated for addition is not limited to four as long as the combined low-band signal LLS is included, and may be more or less than this.

第2の実施形態では、波形調整器及び周波数変移器の順に配置したものであったが、第3の実施形態のように、この処理順序を逆にしても良い。また、第3の実施形態では、周波数変移器及び波形調整器の順に配置したものであったが、第2の実施形態のように、この処理順序を逆にしても良い。   In the second embodiment, the waveform adjuster and the frequency shifter are arranged in this order. However, as in the third embodiment, this processing order may be reversed. In the third embodiment, the frequency shifter and the waveform adjuster are arranged in this order. However, as in the second embodiment, the processing order may be reversed.

上記各実施形態では、電話公衆網を考慮してなされ、帯域拡張される低帯域は電話帯域外であるように説明したが、低帯域信号生成器が生成した低帯域信号の一部帯域が電話帯域の範囲内にあっても良い。また、本発明の帯域拡張装置が搭載される装置も、一般的な公衆網を介した通信に関係する装置に限定されないことは勿論である。   In each of the above-described embodiments, it has been described that the low band to be expanded in consideration of the telephone public network is outside the telephone band. However, a part of the low band signal generated by the low band signal generator is a telephone band. It may be within the range of the band. Of course, the device on which the bandwidth expansion device of the present invention is mounted is not limited to a device related to communication via a general public network.

また、上記各実施形態では、音声信号を前提として説明したが、他の周期性信号、例えば画像信号などにも本発明を適用することが可能である。画像信号であっても、パワーなどに基づいて、周波数変移を有効(無音に相当)とするか無効(有音に相当)とするかを判別することができる。   In each of the above embodiments, the description has been made on the premise of the audio signal, but the present invention can also be applied to other periodic signals such as an image signal. Even for an image signal, it is possible to determine whether the frequency shift is valid (corresponding to silence) or invalid (corresponding to sound) based on power or the like.

さらに、上記各実施形態の説明では、構成がハードウェア的に実現されているイメージで説明したが、本発明の構成の全て又は一部をソフトウェア的に実現するようにしても良い。   Furthermore, in the description of each of the above embodiments, the configuration has been described as an image implemented in hardware, but all or part of the configuration of the present invention may be implemented in software.

なお、上記各実施形態では、周波数変移を利用した帯域拡張方法を低周波数側に適用したものを示したが、高周波数側の拡張にも利用するようにしても良い。例えば、高域信号生成器13が、周波数変移を利用した帯域拡張方法を適用するようにしても良い。   In each of the above-described embodiments, the band expansion method using frequency shift is applied to the low frequency side. However, the band expansion method may be used for expansion on the high frequency side. For example, the high frequency signal generator 13 may apply a band expansion method using frequency shift.

第1の実施形態の音声帯域拡張装置の全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the audio | voice band expansion apparatus of 1st Embodiment. 従来の音声帯域拡張装置の全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the conventional audio | voice band expansion apparatus. 第1の実施形態の低帯域信号生成器の詳細構成を示すブロック図である。It is a block diagram which shows the detailed structure of the low-band signal generator of 1st Embodiment. 第1の実施形態の周波数変移器の詳細構成を示すブロック図である。It is a block diagram which shows the detailed structure of the frequency shifter of 1st Embodiment. 第2の実施形態の低帯域信号生成器の詳細構成を示すブロック図である。It is a block diagram which shows the detailed structure of the low-band signal generator of 2nd Embodiment. 第3の実施形態の低帯域信号生成器の詳細構成を示すブロック図である。It is a block diagram which shows the detailed structure of the low-band signal generator of 3rd Embodiment. 第3の実施形態の低帯域信号生成器の動作説明に用いる説明図である。It is explanatory drawing used for operation | movement description of the low-band signal generator of 3rd Embodiment.

符号の説明Explanation of symbols

11…標本化周波数変換器、12…低域信号生成器、13…高域信号生成器、14…無声部信号生成器、20、30、40…低帯域信号生成器、21…周波数変移器、22…信号判定器、23…波形変換器、24…成分抽出器、25…切換器、28…波形調整器、33…波形調整器、35…自己相関計算器、36…出力波形記憶器、37…波形記憶器、90…加算器、100…音声帯域拡張装置。
DESCRIPTION OF SYMBOLS 11 ... Sampling frequency converter, 12 ... Low-pass signal generator, 13 ... High-pass signal generator, 14 ... Unvoiced signal generator, 20, 30, 40 ... Low-band signal generator, 21 ... Frequency shifter, 22 ... Signal decision unit, 23 ... Waveform converter, 24 ... Component extractor, 25 ... Switcher, 28 ... Waveform adjuster, 33 ... Waveform adjuster, 35 ... Autocorrelation calculator, 36 ... Output waveform memory, 37 ... Waveform memory, 90... Adder, 100.

Claims (7)

周波数帯域が低域又は高域に制限された入力信号から、上記制限されて不足している帯域の信号成分を生成する不足帯域信号生成器であって、
入力信号の周波数成分を特定の周波数だけ不足帯域側に変移させる周波数変移手段と、
この周波数変移器の出力信号から、不足帯域範囲の成分を抽出し、不足帯域信号を出力する成分抽出手段と
を有することを特徴とした不足帯域信号生成器。
An insufficient band signal generator for generating a signal component of the limited and insufficient band from an input signal whose frequency band is limited to a low band or a high band,
A frequency shift means for shifting the frequency component of the input signal to the shortage band side by a specific frequency;
A deficient band signal generator comprising: component extracting means for extracting a deficient band range component from the output signal of the frequency shifter and outputting the deficient band signal.
上記入力信号の有効、無効を判定する信号判定手段と、
上記入力信号が無効なときに、上記不足帯域信号に置き換えて出力させる代替出力信号を形成する、その出力段の構成要素として上記成分抽出手段を含む代替出力信号形成手段とを備え、
上記入力信号が有効なときに、上記周波数変移手段及び上記成分抽出手段の処理が施されて生成された不足帯域信号を出力する
ことを特徴とする請求項1に記載の不足帯域信号生成器。
Signal determination means for determining validity or invalidity of the input signal;
An alternative output signal forming means including the component extraction means as a component of the output stage for forming an alternative output signal to be output by replacing the insufficient band signal when the input signal is invalid,
2. The deficient band signal generator according to claim 1, wherein when the input signal is valid, a deficient band signal generated by the processing of the frequency shift unit and the component extracting unit is output.
上記代替出力信号形成手段は、上記入力信号の波形形状を弱めて代替出力信号を形成するものであることを特徴とする請求項2に記載の不足帯域信号生成器。   3. The deficient band signal generator according to claim 2, wherein the substitute output signal forming means forms a substitute output signal by weakening a waveform shape of the input signal. 上記代替出力信号形成手段は、上記成分抽出手段を通過する前の上記代替出力信号又は上記不足帯域信号を所定期間分だけ記憶する出力波形記憶器を備え、この出力波形記憶器に記憶されている信号の周期性を維持しつつ、その信号の時間的な配置を変更したものを上記成分抽出手段を通過する前の新たな代替出力信号として形成することを特徴とする請求項2に記載の不足帯域信号生成器。   The alternative output signal forming means includes an output waveform memory for storing the alternative output signal or the insufficient band signal before passing through the component extraction means for a predetermined period, and is stored in the output waveform memory. 3. The deficiency according to claim 2, wherein a signal whose temporal arrangement is changed while the periodicity of the signal is maintained is formed as a new alternative output signal before passing through the component extraction means. Band signal generator. 上記信号判定手段は、上記入力信号のパワーを閾値と比較して、上記入力信号の有効、無効を判定することを特徴とする請求項2〜4のいずれかに記載の不足帯域信号生成器。   5. The deficient band signal generator according to claim 2, wherein the signal determination unit determines whether the input signal is valid or invalid by comparing the power of the input signal with a threshold value. 6. 上記入力信号が音声信号であることを特徴とする請求項1〜5のいずれかに記載の不足帯域信号生成器。   6. The insufficient band signal generator according to claim 1, wherein the input signal is an audio signal. 周波数帯域が低域又は高域に制限された入力信号から、上記制限されて不足している帯域の信号成分を生成する、請求項1〜6のいずれかに記載の不足帯域信号生成器と、
この不足帯域信号生成器から出力された不足帯域信号と上記入力信号とを加算する加算手段とを備えた
ことを特徴とする帯域拡張装置。
The insufficient band signal generator according to any one of claims 1 to 6, wherein a signal component of the limited and insufficient band is generated from an input signal whose frequency band is limited to a low band or a high band,
A band extending apparatus comprising: an adding means for adding the insufficient band signal output from the insufficient band signal generator and the input signal.
JP2005174029A 2005-06-14 2005-06-14 Band expanding device and insufficient band signal generator Active JP4604864B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005174029A JP4604864B2 (en) 2005-06-14 2005-06-14 Band expanding device and insufficient band signal generator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005174029A JP4604864B2 (en) 2005-06-14 2005-06-14 Band expanding device and insufficient band signal generator

Publications (2)

Publication Number Publication Date
JP2006349848A true JP2006349848A (en) 2006-12-28
JP4604864B2 JP4604864B2 (en) 2011-01-05

Family

ID=37645808

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005174029A Active JP4604864B2 (en) 2005-06-14 2005-06-14 Band expanding device and insufficient band signal generator

Country Status (1)

Country Link
JP (1) JP4604864B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010055000A (en) * 2008-08-29 2010-03-11 Toshiba Corp Signal band extension device
RU2449386C2 (en) * 2007-11-02 2012-04-27 Хуавэй Текнолоджиз Ко., Лтд. Audio decoding method and apparatus
JP2015187747A (en) * 2008-12-15 2015-10-29 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ Audio encoder and band width expansion decoder
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
US12009003B2 (en) 2022-08-19 2024-06-11 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63259596A (en) * 1987-04-16 1988-10-26 株式会社日立製作所 Voice section detecting system
JPH0955778A (en) * 1995-08-15 1997-02-25 Fujitsu Ltd Bandwidth widening device for sound signal
JP2002149198A (en) * 2000-11-13 2002-05-24 Matsushita Electric Ind Co Ltd Voice encoder and decoder
JP2003256000A (en) * 2001-12-25 2003-09-10 Matsushita Electric Ind Co Ltd Telephone device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63259596A (en) * 1987-04-16 1988-10-26 株式会社日立製作所 Voice section detecting system
JPH0955778A (en) * 1995-08-15 1997-02-25 Fujitsu Ltd Bandwidth widening device for sound signal
JP2002149198A (en) * 2000-11-13 2002-05-24 Matsushita Electric Ind Co Ltd Voice encoder and decoder
JP2003256000A (en) * 2001-12-25 2003-09-10 Matsushita Electric Ind Co Ltd Telephone device

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2449386C2 (en) * 2007-11-02 2012-04-27 Хуавэй Текнолоджиз Ко., Лтд. Audio decoding method and apparatus
JP2010055000A (en) * 2008-08-29 2010-03-11 Toshiba Corp Signal band extension device
US8244547B2 (en) 2008-08-29 2012-08-14 Kabushiki Kaisha Toshiba Signal bandwidth extension apparatus
JP2015187747A (en) * 2008-12-15 2015-10-29 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ Audio encoder and band width expansion decoder
US10229696B2 (en) 2008-12-15 2019-03-12 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder and bandwidth extension decoder
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
RU2742296C2 (en) * 2015-06-18 2021-02-04 Квэлкомм Инкорпорейтед High-band signal generation
US11437049B2 (en) 2015-06-18 2022-09-06 Qualcomm Incorporated High-band signal generation
US12009003B2 (en) 2022-08-19 2024-06-11 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges

Also Published As

Publication number Publication date
JP4604864B2 (en) 2011-01-05

Similar Documents

Publication Publication Date Title
JP5055759B2 (en) Band conversion signal generator and band extension device
JP4945586B2 (en) Signal band expander
RU2487426C2 (en) Apparatus and method for converting audio signal into parametric representation, apparatus and method for modifying parametric representation, apparatus and method for synthensising parametrick representation of audio signal
JP5598536B2 (en) Bandwidth expansion device and bandwidth expansion method
JP5778778B2 (en) Hearing aid and improved sound reproduction method
EP0910065B1 (en) Speaking speed changing method and device
JP2007017900A (en) Data-embedding device and method, and data-extracting device and method
JPH0955778A (en) Bandwidth widening device for sound signal
JP2003256000A (en) Telephone device
JP4604864B2 (en) Band expanding device and insufficient band signal generator
WO2016021412A1 (en) Coding device and method, decoding device and method, and program
JP2002082685A (en) Device and method for expanding audio bandwidth
JP4821131B2 (en) Voice band expander
US20030182106A1 (en) Method and device for changing the temporal length and/or the tone pitch of a discrete audio signal
JP2007310298A (en) Out-of-band signal creation apparatus and frequency band spreading apparatus
US7228271B2 (en) Telephone apparatus
JP4455701B2 (en) Audio signal processing apparatus and audio signal processing method
JP2007310296A (en) Band spreading apparatus and method
JP2002175099A (en) Method and device for noise suppression
JP3185363B2 (en) hearing aid
JP2001249676A (en) Method for extracting fundamental period or fundamental frequency of periodical waveform with added noise
JP2019086724A (en) Speech processing apparatus
JPH03132699A (en) Device for synthesizing speech
JP2011170261A (en) Speech enhancing device, speech enhancing program
JP4267954B2 (en) GENERAL CYCLE SIGNAL GENERATION METHOD, DEVICE, VOICE SYNTHESIS METHOD, DEVICE, VOICE SYNTHESIS PROGRAM AND RECORDING MEDIUM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100907

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100920

R150 Certificate of patent or registration of utility model

Ref document number: 4604864

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350