JP2001109499A - Speech speed conversion device - Google Patents

Speech speed conversion device

Info

Publication number
JP2001109499A
JP2001109499A JP25185899A JP25185899A JP2001109499A JP 2001109499 A JP2001109499 A JP 2001109499A JP 25185899 A JP25185899 A JP 25185899A JP 25185899 A JP25185899 A JP 25185899A JP 2001109499 A JP2001109499 A JP 2001109499A
Authority
JP
Japan
Prior art keywords
speech speed
pitch cycle
speed conversion
speech
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP25185899A
Other languages
Japanese (ja)
Other versions
JP3691304B2 (en
Inventor
Tatsuo Inoue
健生 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP25185899A priority Critical patent/JP3691304B2/en
Publication of JP2001109499A publication Critical patent/JP2001109499A/en
Application granted granted Critical
Publication of JP3691304B2 publication Critical patent/JP3691304B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)

Abstract

PROBLEM TO BE SOLVED: To prevent a slowly spoken sound signal from being converted into a more slowly spoken sound signal resulting from applying a speech speed conversion processing to the slowly spoken sound signal in a speech speed conversion device. SOLUTION: A pitch period Tn-1 stored in a pitch period storage part 2 is compared with a pitch period Tn which is newly extracted in a pitch period extraction part 1 by a pitch period comparison part 3. The value of a counter 4 is increased in accordance with the comparison result. A comparison part 6 compares a value M obtained by multiplying the pitch period Tn by the value C of the counter 4 with a threshold S which is set in a threshold setting part 5. A speech speed conversion part 7 applies a speech speed conversion processing to an input sound signal at a prescribed mode based on the comparison result.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、音声信号の話速
を変える話速変換装置に関し、例えば、映像を伴うテレ
ビ、レーザディスク、VTR等の音声の早聞きまたは遅
聞きを行なう音声再生装置、聴覚障害者や高齢者のため
に、放送される音声信号をゆっくりした聞きやすい音声
に変換する聴覚補助装置及び該装置を備えた電話機等の
機器、さらにはネイティブスピードで話された英語音声
をゆっくりした聞きやすい音声に変換する英語学習器
等、種々の機器にて利用が可能な話速変換装置に関す
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a speech rate converter for changing the speech rate of an audio signal. For the hearing impaired and the elderly, hearing aids and devices such as telephones equipped with the hearing aids, which convert broadcast audio signals into slow, easy-to-hear voices, and English voice spoken at native speed slowly The present invention relates to a speech speed conversion device that can be used in various devices, such as an English language learner that converts speech into an easy-to-hear speech.

【0002】尚、話速変換とは、音声信号の時間軸を圧
縮してその再生速度を本来の速度よりも速くしたり、あ
るいは逆に音声信号の時間軸を伸長してその再生速度を
本来の速度よりも遅くしたりすることを言う。
The speech speed conversion means that the time axis of an audio signal is compressed to make its reproduction speed faster than the original speed, or conversely, the time axis of the audio signal is expanded to make its reproduction speed lower. Or slower than your speed.

【0003】[0003]

【従来の技術】従来、例えば特開平7−192392号
公報に開示されているように、入力音声信号が音声区間
であるか無音区間であるかに応じて、入力音声信号に対
して圧縮伸長処理または削除処理を行なうように成され
た話速変換装置が知られている。
2. Description of the Related Art Conventionally, as disclosed in, for example, Japanese Patent Application Laid-Open No. 7-192392, a compression / expansion process is performed on an input audio signal depending on whether the input audio signal is a voice section or a silent section. Alternatively, a speech speed conversion device configured to perform a deletion process is known.

【0004】[0004]

【発明が解決しようとする課題】然し乍ら、上記従来の
話速変換装置では、入力音声信号の話速に関わらず一様
に話速を遅くしていたため、元々早口でなくゆっくりし
た話速であっても話速変換装置によってさらに遅くなっ
たり、また、逆に元々早口で速い話速であっても話速変
換装置によってさらに速くなったりして、大変煩わしい
といった問題があった。
However, in the above-mentioned conventional speech speed conversion device, the speech speed is uniformly reduced regardless of the speech speed of the input voice signal. However, there is a problem that the speech speed conversion device further slows down the operation, and conversely, even if the speech speed is originally fast and fast, the speech speed conversion device further increases the speed.

【0005】[0005]

【課題を解決するための手段】上記の課題を解決するた
め本発明の話速変換装置では、音声信号よりピッチ周期
を検出するピッチ周期検出手段と、該ピッチ周期検出手
段が抽出したピッチ周期に基づいて所定のピッチ周期の
繰り返し回数を計数する計数手段と、前記ピッチ周期検
出手段で抽出したピッチ周期と前記計数手段で計数した
繰り返し回数との積と所定の閾値とを比較する比較判定
手段と、該比較判定手段の判定結果に基づいて話速変換
を行う話速変換手段とを備えたことを特徴とする。
In order to solve the above-mentioned problems, in a speech speed conversion device according to the present invention, a pitch cycle detecting means for detecting a pitch cycle from a voice signal and a pitch cycle extracted by the pitch cycle detecting means are provided. Counting means for counting the number of repetitions of a predetermined pitch cycle based on the comparison, and a comparison determination means for comparing a product of the pitch cycle extracted by the pitch cycle detection means and the number of repetitions counted by the counting means with a predetermined threshold value And a speech speed conversion means for performing speech speed conversion based on the result of the judgment by the comparison judgment means.

【0006】また、本発明の話速変換装置では、音声信
号よりピッチ周期を検出するピッチ周期検出手段と、該
ピッチ周期検出手段が抽出したピッチ周期に基づいて所
定のピッチ周期の繰り返し回数を計数する計数手段と、
前記ピッチ周期検出手段で抽出したピッチ周期と前記計
数手段で計数した繰り返し回数との積と所定の閾値とを
比較する比較判定手段と、前記所定の閾値を変更する閾
値変更手段と、前記比較判定手段の判定結果に基づいて
話速変換を行う話速変換手段とを備えたことを特徴とす
る。
Further, in the speech speed conversion device of the present invention, a pitch cycle detecting means for detecting a pitch cycle from a voice signal, and counting the number of repetitions of a predetermined pitch cycle based on the pitch cycle extracted by the pitch cycle detecting means. Counting means,
A comparison determining unit that compares a product of the pitch period extracted by the pitch period detecting unit and the number of repetitions counted by the counting unit with a predetermined threshold; a threshold changing unit that changes the predetermined threshold; Speech speed conversion means for performing speech speed conversion based on the determination result of the means.

【0007】また、前記話速変換手段は、前記比較判定
手段において前記ピッチ周期検出手段で抽出したピッチ
周期と前記計数手段で計数した繰り返し回数との積が所
定の閾値を越えない場合にのみ、音声信号をゆっくりし
た音声信号に話速変換することを特徴とする。
Further, the speech speed conversion means is provided only when the product of the pitch cycle extracted by the pitch cycle detection means in the comparison determination means and the number of repetitions counted by the counting means does not exceed a predetermined threshold value. It is characterized in that the speech signal is converted into a slow speech signal by speaking speed.

【0008】また、前記話速変換手段は、前記比較判定
手段において前記ピッチ周期検出手段で抽出したピッチ
周期と前記計数手段で計数した繰り返し回数との積が所
定の閾値を越えないと判定した場合には音声信号をゆっ
くりした音声信号に話速変換すると共に、前記比較判定
手段において前記ピッチ周期検出手段で抽出したピッチ
周期と前記計数手段で計数した繰り返し回数との積が所
定の閾値を越えたと判定した場合には話速変換を行わな
いことを特徴とする。
Further, the speech speed conversion means determines that the product of the pitch cycle extracted by the pitch cycle detection means and the number of repetitions counted by the counting means does not exceed a predetermined threshold value. The voice signal is converted into a slow voice signal and the speech speed is converted, and the product of the pitch cycle extracted by the pitch cycle detecting means and the number of repetitions counted by the counting means in the comparing and determining means exceeds a predetermined threshold value. When the determination is made, the speech speed conversion is not performed.

【0009】また、前記話速変換手段は、前記比較判定
手段において前記ピッチ周期検出手段で抽出したピッチ
周期と前記計数手段で計数した繰り返し回数との積が所
定の閾値以内と判定した場合は話速倍率を大きくし、前
記比較判定手段において前記ピッチ周期検出手段で抽出
したピッチ周期と前記計数手段で計数した繰り返し回数
との積が所定の閾値より大きいと判断した場合は話速倍
率を小さくし、話速変換を行うことを特徴とする(但
し、話速倍率=入力音声信号の時間長/出力音声信号の
時間長)。
If the product of the pitch cycle extracted by the pitch cycle detecting means and the number of repetitions counted by the counting means is determined to be within a predetermined threshold value, the speech speed converting means determines the speech rate. If the product of the pitch cycle extracted by the pitch cycle detection means and the number of repetitions counted by the counting means is determined to be greater than a predetermined threshold, the speech rate magnification is decreased. The speech rate conversion is performed (however, the speech rate magnification = time length of input voice signal / time length of output voice signal).

【0010】そして、本発明の話速変換装置は、音声信
号よりピッチ周期を検出するピッチ周期検出手段と、該
ピッチ周期検出手段が抽出したピッチ周期に基づいて所
定のピッチ周期の繰り返し回数を計数する計数手段と、
前記ピッチ周期検出手段で抽出したピッチ周期と前記計
数手段で計数した繰り返し回数との積と所定の第1の閾
値及び所定の第2の閾値とを比較する比較判定手段と
(但し、第1の閾値<第2の閾値)、該比較判定手段の
判定結果に基づいて話速変換を行う話速変換手段とを備
えたことを特徴とする。
The speech speed conversion apparatus according to the present invention comprises: a pitch cycle detecting means for detecting a pitch cycle from a voice signal; and counting the number of repetitions of a predetermined pitch cycle based on the pitch cycle extracted by the pitch cycle detecting means. Counting means,
Comparison determination means for comparing the product of the pitch cycle extracted by the pitch cycle detection means and the number of repetitions counted by the counting means with a predetermined first threshold value and a predetermined second threshold value; Threshold value <second threshold value), and a speech speed conversion unit that performs speech speed conversion based on the determination result of the comparison determination unit.

【0011】また、本発明の話速変換装置は、音声信号
よりピッチ周期を検出するピッチ周期検出手段と、該ピ
ッチ周期検出手段が抽出したピッチ周期に基づいて所定
のピッチ周期の繰り返し回数を計数する計数手段と、前
記ピッチ周期検出手段で抽出したピッチ周期と前記計数
手段で計数した繰り返し回数との積と所定の第1の閾値
及び所定の第2の閾値とを比較する比較判定手段と(但
し、第1の閾値<第2の閾値)、前記所定の第1の閾値
または所定の第2の閾値を変更する閾値変更手段と、前
記比較判定手段の判定結果に基づいて話速変換を行う話
速変換手段とを備えたことを特徴とする。
Further, the speech speed conversion apparatus according to the present invention comprises a pitch cycle detecting means for detecting a pitch cycle from a voice signal, and counting the number of repetitions of a predetermined pitch cycle based on the pitch cycle extracted by the pitch cycle detecting means. Counting means, and comparison determining means for comparing a product of the pitch cycle extracted by the pitch cycle detecting means and the number of repetitions counted by the counting means with a predetermined first threshold value and a predetermined second threshold value ( However, the threshold value changing means for changing the first threshold value <the second threshold value), the predetermined first threshold value or the predetermined second threshold value, and the speech speed conversion is performed based on the determination result of the comparison determination means. And a speech speed conversion unit.

【0012】また、前記話速変換手段は、前記比較判定
手段において前記ピッチ周期検出手段で抽出したピッチ
周期と前記計数手段で計数した繰り返し回数との積が所
定の第1の閾値と所定の第2の閾値との間にあると判定
した場合には、話速変換を行わないことを特徴とする。
[0012] The speech speed conversion means may include a product of the pitch cycle extracted by the pitch cycle detection means in the comparison determination means and the number of repetitions counted by the counting means being a predetermined first threshold value and a predetermined first threshold value. If it is determined that the difference is between the threshold values of 2, the speech speed conversion is not performed.

【0013】また、前記話速変換手段は、前記比較判定
手段において前記ピッチ周期検出手段で抽出したピッチ
周期と前記計数手段で計数した繰り返し回数との積が所
定の第1の閾値よりも小さいと判定した場合には、話速
倍率を小さくして話速変換を行なうことを特徴とする
(但し、話速倍率=入力音声信号の時間長/出力音声信
号の時間長)。
[0013] The speech speed conversion means may determine that the product of the pitch cycle extracted by the pitch cycle detection means and the number of repetitions counted by the counting means is smaller than a predetermined first threshold value in the comparison determination means. When it is determined, the speech speed conversion is performed with the speech speed magnification reduced (however, the speech speed magnification = time length of input voice signal / time length of output voice signal).

【0014】また、前記話速変換手段は、前記比較判定
手段において前記ピッチ周期検出手段で抽出したピッチ
周期と前記計数手段で計数した繰り返し回数との積が所
定の第2の閾値よりも大きいと判定した場合には、話速
倍率を大きくして話速変換を行なうことを特徴とする
(但し、話速倍率=入力音声信号の時間長/出力音声信
号の時間長)。
Further, the speech speed conversion means may determine that the product of the pitch cycle extracted by the pitch cycle detection means and the number of repetitions counted by the counting means in the comparison determination means is greater than a predetermined second threshold value. When the judgment is made, the speech speed conversion is performed by increasing the speech speed magnification (however, the speech speed magnification = time length of input voice signal / time length of output voice signal).

【0015】また、前記話速変換手段は、前記比較判定
手段において前記ピッチ周期検出手段で抽出したピッチ
周期と前記計数手段で計数した繰り返し回数との積が所
定の第1の閾値よりも小さいと判定した場合には、話速
倍率を1より小さくして話速変換を行なうことを特徴と
する(但し、話速倍率=入力音声信号の時間長/出力音
声信号の時間長)。
[0015] The speech speed conversion means may determine that the product of the pitch cycle extracted by the pitch cycle detection means and the number of repetitions counted by the counting means is smaller than a predetermined first threshold value in the comparison determination means. When it is determined, the speech speed conversion is performed with the speech speed ratio smaller than 1 (however, the speech speed ratio = time length of input audio signal / time length of output audio signal).

【0016】また、前記話速変換手段は、前記比較判定
手段において前記ピッチ周期検出手段で抽出したピッチ
周期と前記計数手段で計数した繰り返し回数との積が所
定の第2の閾値よりも大きいと判定した場合には、話速
倍率を1より大きくして話速変換を行なうことを特徴と
する(但し、話速倍率=入力音声信号の時間長/出力音
声信号の時間長)。
The speech speed converting means may be arranged such that the product of the pitch cycle extracted by the pitch cycle detecting means and the number of repetitions counted by the counting means is larger than a second predetermined threshold value by the comparing and judging means. When it is determined, the speech speed conversion is performed with the speech speed magnification greater than 1 (however, speech speed magnification = time length of input audio signal / time length of output audio signal).

【0017】また、前記話速変換手段は、話速変換した
音声信号を蓄積する蓄積手段の空容量に応じて、話速倍
率を変更することを特徴とする(但し、話速倍率=入力
音声信号の時間長/出力音声信号の時間長)。
Further, the speech speed conversion means changes the speech speed magnification in accordance with the empty capacity of the storage means for storing the speech signal whose speech speed has been converted (where speech speed magnification = input voice). Signal time length / output audio signal time length).

【0018】また、前記話速変換手段は、話速変換した
音声信号を蓄積する蓄積手段の空容量が減少するのに応
じて、話速倍率を1に近づけるように変更することを特
徴とする(但し、話速倍率=入力音声信号の時間長/出
力音声信号の時間長)。
Further, the speech speed conversion means changes the speech speed magnification to be closer to 1 as the empty capacity of the storage means for storing the speech signal whose speech speed has been converted decreases. (However, speech speed magnification = time length of input audio signal / time length of output audio signal).

【0019】また、前記話速変換手段は、話速変換した
音声信号を蓄積する蓄積手段の空容量が増加するのに応
じて、話速倍率を所定の倍率に近づけるように変更する
ことを特徴とする(但し、話速倍率=入力音声信号の時
間長/出力音声信号の時間長)。
Further, the speech speed conversion means changes the speech speed magnification closer to a predetermined magnification in accordance with an increase in the empty capacity of the storage means for accumulating the speech signal whose speech speed has been converted. (However, speech speed magnification = time length of input audio signal / time length of output audio signal).

【0020】また、前記所定のピッチ周期とは、同一の
ピッチ周期または2倍のピッチ周期または1/2のピッ
チ周期、並びにこれらに近似するピッチ周期であること
を特徴とする。
Further, the predetermined pitch cycle is the same pitch cycle, a double pitch cycle or a half pitch cycle, and a pitch cycle approximate to these.

【0021】[0021]

【発明の実施の形態】以下、図面を参照しつつ本発明の
話速変換装置について詳述する。
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a speech speed converter according to the present invention.

【0022】先ず、図1は本発明の話速変換装置の構成
を示す概略ブロック図である。同図において、1は、図
示されないA/D変換器でデジタル信号に変換された音
声信号が入力され、該入力された音声信号よりピッチ周
期を抽出するピッチ周期抽出部であり、そのピッチ周期
の抽出方法として例えば自己相関を利用する。
FIG. 1 is a schematic block diagram showing the configuration of a speech speed conversion device according to the present invention. In FIG. 1, reference numeral 1 denotes a pitch cycle extracting unit which receives a voice signal converted into a digital signal by an A / D converter (not shown) and extracts a pitch cycle from the input voice signal. For example, an autocorrelation is used as an extraction method.

【0023】自己相関を用いたピッチ周期抽出法には、
信号は時間制限されていると仮定し、時間長Tsの区間
内だけに信号が存在し、その時間長Tsの区間外では信
号は常にゼロとして自己相関を求める短時間自己相関を
用いる方法がある。これは、コロナ社発行「音声のディ
ジタル信号処理」(上)−L.R.Rabiner&R.W.Schafer
著、鈴木久喜訳−p152-p152にも記載されているよう
に、いま、音声波形をディジタル音声データx(n)で表
すと、前述の方法による短時間自己相関値Rn(k)は下
記のようになる。
The pitch period extraction method using autocorrelation includes:
Assuming that the signal is time-limited, there is a method using short-time autocorrelation in which a signal exists only within the section of the time length Ts and the autocorrelation is always set to zero outside the section of the time length Ts. . This is a digital signal processing of voice issued by Corona (above)-LRRabiner & R.W.Schafer
As described in the book, Kuki Suzuki-p152-p152, if the voice waveform is represented by digital voice data x (n), the short-time autocorrelation value Rn (k) by the above-described method is as follows. Become like

【0024】[0024]

【数1】 (Equation 1)

【0025】ここで、Tsは音声信号が存在すると仮定
した時間区間、kは短時間自己相関値Rn(k)を算出す
るときに音声波形を遅延させる際の遅延時間であり、T
s≫kの関係にある。そして、前記数1において、短時
間自己相関値Rn(k)が最大となるようなkの値を求め
ると、その値がピッチ周期である。
Here, Ts is a time section in which a voice signal is assumed to exist, k is a delay time for delaying a voice waveform when calculating a short-time autocorrelation value Rn (k), and T
There is a relationship of s≫k. When the value of k that maximizes the short-time autocorrelation value Rn (k) in Equation 1 is obtained, the value is the pitch period.

【0026】次に、2は前記ピッチ周期抽出部1で抽出
されたピッチ周期が記憶されるピッチ周期記憶部、3は
前記ピッチ周期記憶部2に記憶されたピッチ周期と前記
ピッチ周期抽出部1で新たに抽出したピッチ周期とを比
較するピッチ周期比較部、4は前記ピッチ周期比較部3
における比較結果に応じてインクリメントされるカウン
タ、5は閾値(詳細は後述する)が予め設定された閾値
設定部である。
Next, reference numeral 2 denotes a pitch period storage unit in which the pitch periods extracted by the pitch period extraction unit 1 are stored, and 3 denotes a pitch period stored in the pitch period storage unit 2 and the pitch period extraction unit 1. A pitch cycle comparing section for comparing the pitch cycle with the pitch cycle newly extracted in step 4;
Is a counter that is incremented in accordance with the comparison result in, and 5 is a threshold value setting unit in which a threshold value (details will be described later) is set in advance.

【0027】また、6は前記ピッチ周期抽出部1で抽出
したピッチ周期と前記カウンタ4の値とを乗算した値
と、前記閾値設定部5にて設定されている閾値とを比較
し、その結果を出力する比較部、7は前記比較部6の出
力する比較結果に基づいて、入力音声信号を所定のモー
ドにて話速変換処理を行って出力する話速変換部、8は
話速変換のモード(詳細は後述する)を選択するための
モード選択信号を出力するモード選択部である。
6 compares a value obtained by multiplying the pitch period extracted by the pitch period extracting unit 1 with the value of the counter 4 and a threshold value set by the threshold value setting unit 5; , A speech rate conversion section that performs speech rate conversion processing in a predetermined mode on the basis of the comparison result output from the comparison section 6 and outputs the speech signal, and 8 a speech rate conversion section. A mode selection unit that outputs a mode selection signal for selecting a mode (details will be described later).

【0028】さらに、図2は前記話速変換部7の構成を
示す概略ブロック図である。
FIG. 2 is a schematic block diagram showing the configuration of the speech speed conversion section 7. As shown in FIG.

【0029】同図において、11は入力された音声信号
の時間軸を圧縮伸長処理する音声時間軸圧縮伸長部であ
り、ここで用いられる圧縮伸長法としては、例えば、ポ
インター移動量制御による重複加算法(Pointer Interv
al Control Overlap and Add:PICOLA)やTDH
S(Time Domain Harmonic Scaling)法等の既知の方法が
利用できるが、これら限られるものではなく、要するに
音声信号の時間軸を圧縮伸長してその再生速度を変更で
きるものであれば構わない。
In FIG. 1, reference numeral 11 denotes an audio time axis compression / expansion unit for compressing / expanding the time axis of an input audio signal. The compression / expansion method used here is, for example, overlap addition by pointer movement amount control. Law (Pointer Interv
al Control Overlap and Add: PICOLA) and TDH
Known methods such as the S (Time Domain Harmonic Scaling) method can be used, but are not limited to these methods. In short, any method can be used as long as the time axis of the audio signal can be compressed and expanded to change its reproduction speed.

【0030】次に、14は前記音声時間軸圧縮伸長部1
1で圧縮伸長処理された音声信号を既存のADPCM処
理等によって符号化する音声符号化部、15は前記音声
符号化部14で符号化された信号を蓄積するためのメモ
リ、16は前記メモリ15からの信号を既存のADPC
M処理等によって復号する音声復号化部である。前記音
声復号化部16で復号化された音声信号は、図示されな
いD/A変換回路でアナログの音声信号に変換されて出
力される。
Next, reference numeral 14 denotes the audio time axis compression / expansion unit 1
1, an audio encoder for encoding the audio signal subjected to the compression / expansion processing by the existing ADPCM processing, etc., 15 is a memory for storing the signal encoded by the audio encoder 14, and 16 is the memory 15 From existing ADPC
This is a speech decoding unit for decoding by M processing or the like. The audio signal decoded by the audio decoding unit 16 is converted into an analog audio signal by a D / A conversion circuit (not shown) and output.

【0031】また、12は入力音声信号における無音区
間を検出し、その検出結果を前記音声時間軸圧縮伸長部
へ伝送する無音区間検出部、13は前記音声時間軸圧縮
伸長部に対して話速倍率N(倍速)を与える話速制御
部、17は前記メモリ15の信号データの蓄積量jを検
出する蓄積量検出部である。
Reference numeral 12 denotes a silent section detecting section for detecting a silent section in the input audio signal and transmitting the detection result to the audio time axis compression / expansion section. A speech speed control unit 17 for giving a magnification N (double speed) is an accumulation amount detection unit for detecting an accumulation amount j of the signal data in the memory 15.

【0032】ここで、前記話速倍率Nは、[話速倍率
N](倍速)=[入力音声信号の時間長]/[出力音声
信号の時間長]で表され、入力音声信号の時間長とは、
前記音声時間軸圧縮伸長部11に入力された圧縮伸長前
の音声信号の時間長であり、前記出力音声信号の時間長
とは、前記入力音声信号が音声復号化部16で復号化さ
れた圧縮伸長後の時間長である。
Here, the speech speed magnification N is expressed by [speech speed magnification N] (double speed) = [time length of input voice signal] / [time length of output voice signal], and the time length of the input voice signal Is
The time length of the audio signal before compression / expansion input to the audio time axis compression / expansion unit 11, and the time length of the output audio signal refers to the compression time of the input audio signal decoded by the audio decoding unit 16. This is the length of time after elongation.

【0033】次に、前記図1のモード選択部8によって
選択され、該選択に基づいて前記話速制御部13にて話
速変換処理される話速の各種モードについて説明する。
話速のモードとしては、以下の表1に示すような、入力
音声信号の時間軸を伸長してゆっくりした音声信号に話
速変換する[ゆっくり再生モード]を備え、該[ゆっく
り再生モード]は、表の如く話速倍率Nを1〜4段階に
て細かく選択できるように構成されている。
Next, various modes of the speech speed which are selected by the mode selection unit 8 in FIG. 1 and which are subjected to the speech speed conversion processing by the speech speed control unit 13 based on the selection will be described.
As the speech speed mode, as shown in Table 1 below, there is provided a [slow playback mode] in which the time axis of the input audio signal is extended to convert the speech speed into a slow speech signal. As shown in the table, the speech speed magnification N can be finely selected in 1 to 4 stages.

【0034】[0034]

【表1】 [Table 1]

【0035】また、前記蓄積量検出部17から与えられ
る前記メモリ15の蓄積量jに応じて、話速倍率Nの値
がさらに細かく分類されているが、メモリ15の蓄積量
jと話速倍率Nとの関係については後述する。
The value of the speech speed magnification N is further finely classified according to the accumulation amount j of the memory 15 given from the accumulation amount detection unit 17, but the accumulation amount j of the memory 15 and the speech speed magnification The relationship with N will be described later.

【0036】各表において、話速倍率Nは、前記したよ
うに[入力音声信号の時間長]/[出力音声信号の時間
長]で表されるので、よって話速倍率Nが1より小さい
場合は話速が通常の速度よりも遅くなることを表してお
り、この値が小さいほど話速は遅い。逆に話速倍率Nが
1より大きい場合は話速が通常の速度よりも速くなるこ
とを表しており、この値が大きいほど話速は速い。
In each table, the speech speed magnification N is represented by [time length of input voice signal] / [time length of output voice signal] as described above. Indicates that the speech speed is lower than the normal speed, and the smaller this value is, the lower the speech speed is. Conversely, when the speech speed magnification N is greater than 1, it indicates that the speech speed is faster than the normal speed, and the larger the value, the faster the speech speed.

【0037】ところで、前記ゆっくり再生モードの選択
は、例えば[50代]、[60代]、[70代]、[8
0代]というように、使用者の年代別のラベルが付けら
れた4つの操作ボタンで選択するように構成してもよ
い。
By the way, the selection of the slow reproduction mode is performed, for example, in the case of [50s], [60s], [70s], [8].
For example, four operating buttons labeled according to the age of the user may be selected.

【0038】補足すると、「高齢者を対象とした話速変
換音声の評価実験:(今井篤、清山信正、都木徹、宮坂
栄一、小野博)、日本音響学会講演論文集、1993年
3月)には、話速変換された音声の話速と年代別の聞き
易さの評価について述べられている。この論文に依れ
ば、60代では話速が0.87倍速、70代では0.8
7〜0.73倍速、80代では0.73倍速が聞き易い
という結果が出ており、聞き手の年代が高くなるにつれ
て聴き取り易いと感じる話速も遅くなることが判ってい
る。
Supplementally, "Evaluation experiments on speech rate converted speech for elderly people: (Atsushi Imai, Nobumasa Kiyoyama, Toru Toki, Eiichi Miyasaka, Hiroshi Ono), Proceedings of the Acoustical Society of Japan, March 1993. ) Describes the evaluation of the speech speed of the converted speech and the ease of hearing by age.According to this paper, the speech speed is 0.87 times faster in the 60s and 0 in the 70s. .8
It has been found that it is easy to hear at 0.73 × speed in the 7s to 0.73 × speed and 80s in the 80s, and it is known that as the age of the listener increases, the speaking speed at which the listener feels easy to hear also decreases.

【0039】上記のように構成された話速変換部におい
て、前記話速制御部13は、前記図1に示したモード選
択部8からのモード選択信号、前記比較部からの比較結
果、さらに前記蓄積量検出部17からの蓄積量j等の情
報に基づいて、話速倍率Nを決定し、前記音声時間軸圧
縮伸長部11に対して出力する。
In the speech speed conversion unit configured as described above, the speech speed control unit 13 includes the mode selection signal from the mode selection unit 8 shown in FIG. 1, the comparison result from the comparison unit, Based on information such as the storage amount j from the storage amount detection unit 17, the speech speed magnification N is determined and output to the audio time axis compression / expansion unit 11.

【0040】前記音声時間軸圧縮伸長部11は、前記話
速制御部13からの話速倍率Nに基づいて、音声信号の
時間軸の圧縮または伸長の処理を行う。そして、前記音
声時間軸圧縮伸長部11は、前記無音区間検出部12に
よる音声信号の無音区間の検出結果を受け取り、これに
基づいて無音部分を適宜削除しながら、音声信号の時間
軸の圧縮または伸長処理を行う。
The voice time axis compression / expansion unit 11 performs a process of compressing or expanding the time axis of the audio signal based on the voice speed magnification N from the voice speed control unit 13. Then, the audio time axis compression / expansion unit 11 receives the detection result of the silent section of the audio signal by the silent section detection unit 12 and, based on this, appropriately deletes the silent section and compresses or compresses the time axis of the audio signal. Perform decompression processing.

【0041】続いて、上記の如く構成された話速変換装
置の、第1の実施例の動作を、図4のフローチャートに
基づいて説明する。
Next, the operation of the first embodiment of the speech speed conversion device configured as described above will be described with reference to the flowchart of FIG.

【0042】先ず、使用者が前記モード選択部8の操作
ボタン(図示せず)を操作してモードを選択する(S1
1)。ここでは、一例として、前記表1に示した[ゆっ
くり再生モード1]を選択したものとする。前記の操作
よって、モード選択部8より話速変換部7の話速制御部
13へモード選択信号が与えられる。
First, the user operates the operation button (not shown) of the mode selection section 8 to select a mode (S1).
1). Here, as an example, it is assumed that [Slow playback mode 1] shown in Table 1 is selected. By the above operation, the mode selection signal is given from the mode selection unit 8 to the speech speed control unit 13 of the speech speed conversion unit 7.

【0043】次に、蓄積量検出部17がメモリ15の蓄
積量をチェックして蓄積量jを求め、蓄積量jの値を話
速制御部13に与える(S12)。
Next, the storage amount detector 17 checks the storage amount in the memory 15 to determine the storage amount j, and gives the value of the storage amount j to the speech speed controller 13 (S12).

【0044】この時点では、メモリ15への符号化され
た音声信号の蓄積量が0であるとすると、前記表1よ
り、話速倍率Nとして0.6[倍速]を初期値として設
定する(S13)。
At this time, assuming that the accumulated amount of the encoded audio signal in the memory 15 is 0, 0.6 [times] is set as the initial value as the speech speed magnification N from Table 1 (see FIG. 1). S13).

【0045】また、ピッチ周期記憶部2の記憶内容(以
下、変数名としてピッチ周期Tn-1とする)は初期化
(クリア)される。
The contents stored in the pitch period storage unit 2 (hereinafter, referred to as a pitch period Tn-1 as a variable name) are initialized (cleared).

【0046】こうして初期値としての話速倍率N(=
0.6[倍速])が設定された後、ピッチ周期抽出部1
が、前記数1に基づいて、入力音声信号のピッチ周期
(以下、変数名としてピッチ周期Tnとする)を抽出す
る(S14)。一例として、例えばピッチ周期Tn=6
0[サンプル]が求められたとする。尚、この「サンプ
ル」とは、音声信号がディジタル信号である場合に、所
望のサンプリング周波数に従ってサンプリングされた音
声信号の数をいう。
Thus, the speech speed magnification N (=
0.6 [double speed]), the pitch period extracting unit 1
Extracts the pitch cycle of the input audio signal (hereinafter, referred to as pitch cycle Tn as a variable name) based on Equation 1 (S14). As an example, for example, pitch period Tn = 6
It is assumed that 0 [sample] is obtained. The “sample” means the number of audio signals sampled according to a desired sampling frequency when the audio signal is a digital signal.

【0047】前記ピッチ周期抽出部1で抽出されたピッ
チ周期Tnとピッチ周期記憶部2に記憶されているピッ
チ周期Tn-1とをピッチ周期比較部3で比較する(S1
5)。
The pitch cycle Tn extracted by the pitch cycle extracting section 1 is compared with the pitch cycle Tn-1 stored in the pitch cycle storing section 2 by the pitch cycle comparing section 3 (S1).
5).

【0048】然し乍ら、前記したようにピッチ周期記憶
部2の記憶内容がクリアされているので、ステップS2
1へ進み、カウンタ4のカウント値Cを初期化(クリ
ア)して0にし、さらに次のステップS19で[ゆっく
り再生モード]に設定される(既に前記ステップS11
にて[ゆっくり再生モード]が選択されていたので、実
質的にモード変更は行われず、[ゆっくり再生モード]
が維持されることになる)。
However, since the contents stored in the pitch period storage unit 2 have been cleared as described above, step S2
The process proceeds to 1 to initialize (clear) the count value C of the counter 4 to 0, and to set the [slow reproduction mode] in the next step S19 (already the step S11).
Since [Slow playback mode] has been selected in [], the mode is not substantially changed, and [Slow playback mode] is selected.
Will be maintained).

【0049】また、ピッチ周期Tnの値(=60[サン
プル])はピッチ周期記憶部2に記憶され、新たにピッ
チ周期Tn-1の値となり(S22)、さらに、前記ステ
ップS13で設定した該話速倍率N=0.6[倍速]を
音声時間軸圧縮伸長部11に与え、これを受けた時間軸
圧縮伸長部11は、話速が0.6[倍速]となるように
入力音声信号の時間軸を伸長する。前記時間軸圧縮伸長
部11で時間軸が伸長された音声信号は、音声符号化部
14で符号化され、一端、メモリ15に蓄積された後、
音声復号化部16で復号されて出力音声信号となり、処
理はステップS23を経てステップS12へ戻される。
The value of the pitch period Tn (= 60 [samples]) is stored in the pitch period storage unit 2 and becomes a new value of the pitch period Tn-1 (S22). The speech speed magnification N = 0.6 [double speed] is given to the audio time axis compression / expansion unit 11, and the time axis compression / expansion unit 11 receives the input signal so that the speech speed becomes 0.6 [double speed]. The time axis of is extended. The audio signal whose time axis has been expanded by the time axis compression / expansion unit 11 is encoded by an audio encoding unit 14, and once stored in a memory 15.
The audio signal is decoded by the audio decoding unit 16 to become an output audio signal, and the process returns to step S12 via step S23.

【0050】そして、再びメモリの蓄積量jのチェック
(S12)、及び前記蓄積量jに基づく話速倍率Nの設
定が行われる(S13)。
Then, the storage amount j of the memory is checked again (S12), and the speech speed magnification N based on the storage amount j is set (S13).

【0051】そして、さらにピッチ周期Tnの抽出が行
われ(S14)、例えばピッチ周期Tn=61[サンプ
ル]が求められたとする。
Then, it is assumed that the pitch period Tn is further extracted (S14), and for example, a pitch period Tn = 61 [samples] is obtained.

【0052】この抽出したピッチ周期Tn(=61)と
ピッチ周期記憶部2に記憶されているピッチ周期Tn-1
(=60[サンプル])とをピッチ周期比較部3で比較
する(S15)。
The extracted pitch cycle Tn (= 61) and the pitch cycle Tn-1 stored in the pitch cycle storage unit 2
(= 60 [samples)) is compared by the pitch period comparison unit 3 (S15).

【0053】ここで、新たに抽出したピッチ周期Tn
(=61[サンプル])とピッチ周期記憶部2に記憶さ
れているピッチ周期Tn-1(=60[サンプル])が、
Tn≒Tn-1という条件(即ち、新たに抽出したピッチ周
期Tnと前回に抽出したピッチ周期Tn-1とが略等しい)
を満たすなら、カウンタ4のカウント値Cが1つインク
リメント(カウント値C=1となる)される(S1
6)。
Here, the newly extracted pitch period Tn
(= 61 [sample]) and the pitch cycle Tn-1 (= 60 [sample]) stored in the pitch cycle storage unit 2
The condition Tn ≒ Tn-1 (that is, the newly extracted pitch period Tn is substantially equal to the previously extracted pitch period Tn-1)
Is satisfied, the count value C of the counter 4 is incremented by one (count value C = 1) (S1).
6).

【0054】そして、ピッチ周期抽出部1で抽出したピ
ッチ周期Tn(=61[サンプル])とカウンタ4のカ
ウント値C(=1)を積算して積算値M(=61)を求
め、これを比較部6に与える(S17)。
Then, the pitch period Tn (= 61 [sample]) extracted by the pitch period extracting unit 1 and the count value C (= 1) of the counter 4 are integrated to obtain an integrated value M (= 61). This is given to the comparison unit 6 (S17).

【0055】比較部6は、前記積算値Mと閾値設定部5
で設定されている閾値S(=1500)とを比較する
(S18)。
The comparing section 6 includes the integrated value M and the threshold value setting section 5
Is compared with the threshold value S (= 1500) set in step (S18).

【0056】前記したように、積算値M=61であっ
て、閾値Sを越えておらず、よって話速制御部13は話
速のモードを[ゆっくり再生モード]のまま維持し、メ
モリ蓄積量jに応じて設定された話速倍率Nを音声時間
軸圧縮伸長部11に与え、これを受けた時間軸圧縮伸長
部11は、与えられた話速倍率Nになるように入力音声
信号の時間軸を伸長する。
As described above, since the integrated value M is equal to 61 and does not exceed the threshold value S, the speech speed control unit 13 maintains the speech speed mode in the "slow reproduction mode", and j is given to the speech time axis compression / expansion unit 11, and the time axis compression / expansion unit 11 receives the speech rate N and sets the time of the input audio signal to the given speech rate magnification N. Extend the axis.

【0057】前述と同様に、前記時間軸圧縮伸長部11
で時間軸が伸長された音声信号は、音声符号化部14で
符号化され、一端、メモリ15に蓄積された後、音声復
号化部16で復号されて出力音声信号となる。
As described above, the time axis compression / expansion unit 11
The audio signal whose time axis has been expanded in step (1) is encoded by the audio encoding unit 14, stored at one end in the memory 15, and then decoded by the audio decoding unit 16 to become an output audio signal.

【0058】そして、新たにピッチ周期Tnの値はピッ
チ周期記憶部2に記憶され(S22)、処理はステップ
S23を経てステップS12へ戻る。
Then, the value of the pitch period Tn is newly stored in the pitch period storage section 2 (S22), and the process returns to step S12 via step S23.

【0059】上記の如きステップS12→・・・・・→
ステップS23を経てステップ12へ戻るループ処理に
おいて、入力音声信号がゆっくり話した場合の音声信号
の場合、前記ループ処理が繰り返され、やがてステップ
S18において、前記積算値Mが閾値Sを越えるように
なる。
Step S12 as described above →→
In the loop processing that returns to step 12 after step S23, if the input audio signal is a speech signal when the speech is slowly spoken, the loop processing is repeated, and in step S18, the integrated value M exceeds the threshold value S. .

【0060】図3(c)は、高い声で且つゆっくり話し
た場合の音声信号で、同じピッチ周期Tnが10回繰り
返された波形であり、図3(d)は、低い声で且つゆっ
くり話した場合の音声信号で、同じピッチ周期Tnが4
回繰り返された波形である。ゆっくり話した場合の音声
信号は、声の高い低いに関わらず、1つ1つの音(”
あ”,”い”,”う”・・・・)の持続時間が長い。そ
してこのような波形の場合、カウンタ4のインクリメン
トが繰り返され、やがて積算値Mが閾値S(=150
0)を越え、前記ステップS18を経てステップS20
に至り、通常再生モード(話速倍率N=1.0)にな
り、実質的に話速変換されない。
FIG. 3 (c) shows a voice signal when the user speaks high and slowly, and shows a waveform in which the same pitch period Tn is repeated 10 times. FIG. And the same pitch period Tn is 4
This is a waveform repeated twice. Speech signals when spoken slowly are sounded one by one (""
The duration of “a”, “i”, “u”,... Is long, and in the case of such a waveform, the increment of the counter 4 is repeated until the integrated value M reaches the threshold value S (= 150).
0), and goes through step S18 to step S20.
And the normal playback mode (speech rate magnification N = 1.0) is reached, and speech rate conversion is not substantially performed.

【0061】また、図3(a)は、高い声で且つ早口の
音声信号で、同じピッチ周期Tnが4回繰り返された波
形であり、図3(b)は、低い声で且つ早口の音声信号
で、同じピッチ周期Tnが2回繰り返された波形であ
る。入力音声信号が早口の音声信号(早口で喋った場合
の音声信号)の場合、図3の(a)(b)に示すよう
に、声の高い低いに関わらず、1つ1つの音(”
あ”,”い”,”う”・・・・)の持続時間が短い。よ
って、前記ループ処理が繰り返されても、積算値Mが閾
値Sを越える前に、ピッチ周期の抽出処理が次の音に対
して行われ、前記ステップS15において、新たに抽出
したピッチ周期Tn(例えば”い”という音のピッチ周
期)と1つ前に抽出したピッチ周期Tn-1(例えば”
あ”という音のピッチ周期)とが異なることなる。
FIG. 3A is a waveform of a high-pitched and fast-talking voice signal in which the same pitch period Tn is repeated four times. FIG. 3B is a low-pitched and fast-talking voice signal. The signal is a waveform in which the same pitch cycle Tn is repeated twice. In the case where the input audio signal is a fast-speech sound signal (speech signal when the user speaks fast), as shown in FIGS.
Therefore, even if the loop processing is repeated, the pitch period extraction processing must be performed before the integrated value M exceeds the threshold value S, even if the loop processing is repeated. In step S15, the pitch cycle Tn newly extracted (eg, the pitch cycle of the sound “I”) and the pitch cycle Tn−1 (eg, “1”) extracted immediately before
The pitch cycle of the sound "A") is different.

【0062】従って、前記ステップS15を経てステッ
プ21へ移行し、ここでカウンタ4のカウント値Cがク
リアされ、さらにステップS19に移行し、声の高い低
いに関わらず、早口の音声信号が続く間は、[ゆっくり
再生モード]が維持されることになる。
Therefore, the process proceeds to step 21 via step S15, where the count value C of the counter 4 is cleared. Further, the process proceeds to step S19, where the voice signal of the fast voice continues regardless of whether the voice is high or low. Means that the [slow playback mode] is maintained.

【0063】上記のように本発明は、早口の音声信号は
1つ1つの音の持続時間が短く、逆にゆっくり話した場
合の音声信号は1つ1つの音の持続時間が長いという点
に着目し、同じピッチ周期の波形の繰り返し回数とピッ
チ周期との積を所定の閾値と比較することで、声の高い
低いの影響を受けることなく、早口で話した音声信号か
ゆっくり話した場合の音声信号かを判断し、早口の音声
信号に対してのみゆっくりした音声信号となるように話
速変換処理を施すものである。これを利用して話速変換
の話速倍率を変更することを特徴とするものである。
As described above, the present invention is characterized in that the voice signal of the fast-talking voice has a short duration of each sound, and the voice signal when speaking slowly has a long duration of each sound. By focusing on the product of the number of repetitions of the waveform of the same pitch cycle and the pitch cycle and comparing it with a predetermined threshold value, without being affected by the high or low voice, the voice signal spoken quickly or spoken slowly It is determined whether the signal is an audio signal, and a speech speed conversion process is performed so that only the fast-speech audio signal becomes a slow audio signal. This is used to change the speech rate magnification of the speech rate conversion.

【0064】ところで、前記ステップS15におけるピ
ッチ周期比較部3での比較条件がTn≒Tn-1等となって
いるが、以下、この理由を説明する。
By the way, the comparison condition in the pitch period comparison unit 3 in the step S15 is Tn ≒ Tn-1 and the like. The reason will be described below.

【0065】人の音声は、電子回路で発生する安定した
正弦波等の信号とは異なり、ピッチ等が揺らいでいるこ
とが多い。このため、同じ音について順次ピッチ周期を
求めても、求めた時によってその値が若干異なることが
ある。このような場合に、同じ音が持続しているにも関
わらず、違う音に変わったという誤った判断をしてしま
うのを防ぐために、上記のような比較条件に設定してい
る。
A human voice is different from a stable signal such as a sine wave generated in an electronic circuit, and a pitch or the like often fluctuates. Therefore, even if the pitch period is sequentially obtained for the same sound, the value may slightly differ depending on the obtained time. In such a case, the comparison condition is set as described above in order to prevent an erroneous determination that the sound has changed to a different sound even though the same sound continues.

【0066】尚、新たに抽出したピッチ周期Tnと1つ
前のピッチ周期Tn-1とが略同じと判断する許容範囲
は、サンプリング周波数にも影響され、サンプリング周
波数が高いほど許容範囲は広く設定する必要がある。本
実施例では、サンプリング周波数fs=12.8KHz
であり、前記許容範囲は3以内とした。
The allowable range in which the newly extracted pitch period Tn and the immediately preceding pitch period Tn-1 are determined to be substantially the same is also affected by the sampling frequency. The higher the sampling frequency, the wider the allowable range is set. There is a need to. In this embodiment, the sampling frequency fs = 12.8 KHz
And the allowable range was set to 3 or less.

【0067】また、ピッチ周期抽出部1でピッチ周期を
抽出したときに、前記と同様にピッチ等の揺らぎによる
影響で、新たにピッチ周期を抽出した際に、1つ前に抽
出したピッチ周期の略2倍の値や略半分の値が抽出され
ることがある。このため、フローチャートに記載してい
るように、Tn≒2Tn-1や、Tn≒1/2Tn-1の場合も
同じピッチ周期と判断するように構成されている。
When the pitch period is extracted by the pitch period extracting unit 1, when a new pitch period is extracted due to the influence of fluctuations of the pitch and the like as described above, the pitch period of the immediately preceding pitch period is extracted. A value that is approximately twice or approximately half may be extracted. For this reason, as described in the flowchart, it is configured that the same pitch period is also determined when Tn ≒ 2Tn-1 or Tn ≒ 1 / 2Tn-1.

【0068】次に、前記ステップS12における処理に
関して、蓄積量検出部17で求めたメモリ15の蓄積量
jと話速倍率Nとの関係について説明する。
Next, with respect to the processing in step S12, the relationship between the storage amount j of the memory 15 obtained by the storage amount detection unit 17 and the speech speed magnification N will be described.

【0069】話速変換部7における話速変換の処理が続
くにつれて、符号化された音声信号がメモリ15に蓄積
されていくとメモリ15の空容量が減少する。メモリ1
5は符号化されたデジタルの音声信号を一定量分保持す
るように構成されているが、入力音声信号において削除
する無音区間が少ない場合、メモリ15に音声信号を蓄
積しきれなくなり、蓄積しきれなかった音声信号が欠落
するなどの不都合を生じる恐れがある。このような不都
合を回避するために、メモリ15の蓄積量をチェック
し、メモリ15の残量が少なくなるにつれて、話速倍率
Nを補正するように構成されている。
As the speech speed conversion process in the speech speed conversion unit 7 continues, the vacant capacity of the memory 15 decreases as the encoded voice signals are accumulated in the memory 15. Memory 1
5 is configured to hold a coded digital audio signal for a fixed amount. However, if there are few silent sections to be deleted in the input audio signal, the audio signal can no longer be stored in the memory 15 and is not stored. There is a possibility that an inconvenience such as a missing audio signal is lost. In order to avoid such inconvenience, the storage amount of the memory 15 is checked, and the speech speed magnification N is corrected as the remaining amount of the memory 15 decreases.

【0070】上記の例において、話速倍率Nの初期値は
0.6[倍速]に設定されていたが、表1に示すよう
に、メモリ15の蓄積量jが増えるにつれて、話速倍率
Nの値を右へシフトする。具体的には、前記ループ処理
が繰り返される中で、前記ステップ12において、蓄積
量jが20≦k<40[%]の範囲の値になると、話速
倍率Nを0.6[倍速]から0.7[倍速]へ変更す
る。以後、蓄積量jに応じて表に示す値に変更し、メモ
リ15がオーバーフローする前に話速倍率N=1.0
[倍速](時間軸の圧縮伸長の無い通常の再生=[通常
モード]での再生と同じ)になる。
In the above example, the initial value of the speech speed magnification N is set to 0.6 [double speed]. However, as shown in Table 1, as the storage amount j of the memory 15 increases, the speech speed magnification N Shift the value of to the right. Specifically, while the loop processing is repeated, in step 12, when the accumulated amount j becomes a value in the range of 20 ≦ k <40 [%], the speech speed magnification N is increased from 0.6 [double speed]. Change to 0.7 [double speed]. Thereafter, the value is changed to the value shown in the table according to the accumulated amount j, and the speech speed ratio N = 1.0 before the memory 15 overflows.
[Double speed] (normal playback without compression / expansion on the time axis = same as playback in [normal mode]).

【0071】一方、入力音声信号に削除できる無音区間
が多く含まれている場合、メモリ15の蓄積量jが徐々
に減少し、前記表1において、話速倍率Nの値を前記と
は逆に左へシフトし、やがて話速倍率Nの値が初期値に
達すると、話速倍率Nの値のシフトは停止するように構
成されている。
On the other hand, when the input voice signal includes many silent sections that can be deleted, the storage amount j of the memory 15 gradually decreases, and in Table 1, the value of the speech speed magnification N is changed in the opposite manner. When the value shifts to the left, and the value of the speech speed magnification N reaches the initial value, the shift of the value of the speech speed magnification N stops.

【0072】尚、使用者によって停止の指示が与えられ
ると装置は停止する(S23)。
When a stop instruction is given by the user, the apparatus stops (S23).

【0073】まとめると、この実施例においては、積算
値Mが閾値Sより大きいときは[通常再生モード]が自
動的に選択され、積算値Mが閾値S以下のときは[ゆっ
くり再生モード]が自動的に選択されるものである。
In summary, in this embodiment, when the integrated value M is larger than the threshold value S, the [normal reproduction mode] is automatically selected, and when the integrated value M is less than the threshold value S, the [slow reproduction mode] is set. It is automatically selected.

【0074】続いて、図5のフローチャートに基づいて
本発明の第2の実施例について説明する。尚、装置の基
本構成は前記図1及び図2に示したものと同じであり、
その詳細な説明は割愛し、動作についてのみ説明する。
Next, a second embodiment of the present invention will be described with reference to the flowchart of FIG. The basic configuration of the device is the same as that shown in FIGS.
The detailed description is omitted, and only the operation is described.

【0075】先ず、前記の実施例と同様に使用者が前記
モード選択部8の操作ボタン(図示せず)を操作してモ
ードを選択する(S31)。一例として、前記表1に示
した[ゆっくり再生モード1]を選択したものとする。
これによって、モード選択部8より話速変換部7の話速
制御部13へモード選択信号が与えられ、話速制御部1
3は与えられたモード選択信号に基づいて[ゆっくり再
生モード1]に設定される。
First, the user operates the operation button (not shown) of the mode selection section 8 to select a mode as in the above embodiment (S31). As an example, it is assumed that [Slow playback mode 1] shown in Table 1 is selected.
As a result, the mode selection signal is given from the mode selection unit 8 to the speech speed control unit 13 of the speech speed conversion unit 7, and the speech speed control unit 1
3 is set to [slow reproduction mode 1] based on the given mode selection signal.

【0076】次に、蓄積量検出部17がメモリ15の蓄
積量をチェックして蓄積量jを求め、蓄積量jの値を話
速制御部13に与える(S32)。
Next, the storage amount detector 17 checks the storage amount in the memory 15 to obtain the storage amount j, and gives the value of the storage amount j to the speech speed controller 13 (S32).

【0077】この時点では、メモリ15への符号化され
た音声信号の蓄積量が0であるとすると、前記表1よ
り、話速倍率Nとして0.6[倍速]が初期値として設
定される(S33)。
At this point, assuming that the accumulated amount of the coded audio signal in the memory 15 is 0, from the above Table 1, the speech speed magnification N is set to 0.6 [double speed] as an initial value. (S33).

【0078】また、ピッチ周期記憶部2の記憶内容(以
下、変数名としてピッチ周期Tn-1とする)は初期化
(クリア)される。
The contents stored in the pitch period storage unit 2 (hereinafter, referred to as a pitch period Tn-1 as a variable name) are initialized (cleared).

【0079】こうして初期値としての話速倍率N(=
0.6[倍速])が設定された後、ピッチ周期抽出部1
が、前記数1に基づいて、入力音声信号のピッチ周期
(以下、変数名としてピッチ周期Tnとする)を抽出す
る(S34)。一例として、例えばピッチ周期Tn=6
0[サンプル]が求められたとする。
Thus, the speech speed magnification N (=
0.6 [double speed]), the pitch period extracting unit 1
Extracts the pitch period of the input audio signal (hereinafter referred to as pitch period Tn as a variable name) based on the above equation (S34). As an example, for example, pitch period Tn = 6
It is assumed that 0 [sample] is obtained.

【0080】前記ピッチ周期抽出部1で抽出されたピッ
チ周期Tnとピッチ周期記憶部2に記憶されているピッ
チ周期Tn-1とをピッチ周期比較部3で比較する(S3
5)。
The pitch cycle Tn extracted by the pitch cycle extracting section 1 is compared with the pitch cycle Tn-1 stored in the pitch cycle storing section 2 by the pitch cycle comparing section 3 (S3).
5).

【0081】然し乍ら、前記したようにピッチ周期記憶
部2の記憶内容がクリアされているので、ステップS4
1へ進み、カウンタ4のカウント値Cを初期化(クリ
ア)して0にする。
However, since the contents stored in the pitch period storage unit 2 have been cleared as described above, step S4
The process proceeds to 1 to initialize (clear) the count value C of the counter 4 to 0.

【0082】また、ピッチ周期Tnの値(=60[サン
プル])はピッチ周期記憶部2に記憶されて新たにピッ
チ周期Tn-1の値となり(S42)、さらに、前記ステ
ップS33で設定した該話速倍率N=0.6[倍速]を
音声時間軸圧縮伸長部11に与え、これを受けた時間軸
圧縮伸長部11は、話速が0.6[倍速]となるように
入力音声信号の時間軸を伸長する。前記時間軸圧縮伸長
部11で時間軸が伸長された音声信号は、音声符号化部
14で符号化され、一端、メモリ15に蓄積された後、
音声復号化部16で復号されて出力音声信号となり、処
理はステップS43を経てステップS32へ戻される。
The value of the pitch cycle Tn (= 60 [sample]) is stored in the pitch cycle storage unit 2 and becomes a new value of the pitch cycle Tn-1 (S42). The speech speed magnification N = 0.6 [double speed] is given to the audio time axis compression / expansion unit 11, and the time axis compression / expansion unit 11 receives the input signal so that the speech speed becomes 0.6 [double speed]. The time axis of is extended. The audio signal whose time axis has been expanded by the time axis compression / expansion unit 11 is encoded by an audio encoding unit 14, and once stored in a memory 15.
The audio signal is decoded by the audio decoding unit 16 to become an output audio signal, and the process returns to step S32 via step S43.

【0083】そして、再びメモリの蓄積量jのチェック
(S32)、及び前記蓄積量jに基づく話速倍率Nの設
定が行われる(S33)。
Then, the storage amount j of the memory is checked again (S32), and the speech speed magnification N based on the storage amount j is set again (S33).

【0084】そして、再びピッチ周期Tnの抽出が行わ
れ(S34)、例えばピッチ周期Tn=61[サンプ
ル]が求められたとする。この抽出したピッチ周期Tn
(=61[サンプル])とピッチ周期記憶部2に記憶さ
れているピッチ周期Tn-1(=60[サンプル])とを
ピッチ周期比較部3で比較する(S35)。
Then, it is assumed that the pitch period Tn is extracted again (S34), and for example, the pitch period Tn = 61 [samples] is obtained. This extracted pitch cycle Tn
(= 61 [sample]) and the pitch period Tn-1 (= 60 [sample]) stored in the pitch period storage unit 2 are compared by the pitch period comparison unit 3 (S35).

【0085】ここで、新たに抽出したピッチ周期Tn
(=61[サンプル])とピッチ周期記憶部2に記憶さ
れているピッチ周期Tn-1(=60[サンプル])が、
Tn≒Tn-1という条件を満たすなら、カウンタ4のカウ
ント値Cが1つインクリメントされる(S36)。
Here, the newly extracted pitch period Tn
(= 61 [sample]) and the pitch cycle Tn-1 (= 60 [sample]) stored in the pitch cycle storage unit 2
If the condition of Tn ≒ Tn-1 is satisfied, the count value C of the counter 4 is incremented by one (S36).

【0086】そして、ピッチ周期抽出部1で抽出したピ
ッチ周期Tn(=61[サンプル])とカウンタ4のカ
ウント値C(=1)を積算して積算値M(=61)を求
め(S37)、これを比較部6に与える。
Then, the pitch period Tn (= 61 [sample]) extracted by the pitch period extracting unit 1 and the count value C (= 1) of the counter 4 are integrated to obtain an integrated value M (= 61) (S37). Are given to the comparison unit 6.

【0087】比較部6は、前記積算値Mと閾値設定部5
で設定されている閾値S(=1500)とを比較する
(S38)。前記したように、積算値M=61であっ
て、閾値Sを越えておらず、よって話速制御部13は話
速のモードを[ゆっくり再生モード]のまま維持し、メ
モリ蓄積量jに応じて設定された話速倍率Nを音声時間
軸圧縮伸長部11に与え、これを受けた時間軸圧縮伸長
部11は、話速倍率Nに応じた倍速となるように入力音
声信号の時間軸を伸長する。
The comparing section 6 compares the integrated value M with the threshold value setting section 5
Is compared with the threshold value S (= 1500) set in step (S38). As described above, since the integrated value M is 61 and does not exceed the threshold value S, the speech speed control unit 13 maintains the speech speed mode in the [slow playback mode], and according to the memory accumulation amount j. Is given to the speech time axis compression / expansion unit 11, and the time axis compression / expansion unit 11 receives the speech rate magnification N and adjusts the time axis of the input audio signal so that the time axis is doubled according to the speech rate magnification N. Elongate.

【0088】前述と同様に、前記時間軸圧縮伸長部11
で時間軸が伸長された音声信号は、音声符号化部14で
符号化され、一端、メモリ15に蓄積された後、音声復
号化部16で復号されて出力音声信号となる。
As described above, the time axis compression / expansion unit 11
The audio signal whose time axis has been expanded in step (1) is encoded by the audio encoding unit 14, stored at one end in the memory 15, and then decoded by the audio decoding unit 16 to become an output audio signal.

【0089】そして、新たにピッチ周期Tnの値はピッ
チ周期記憶部2に記憶され(S42)、処理はステップ
S43を経てステップS32へ戻る。
Then, the value of the pitch cycle Tn is newly stored in the pitch cycle storage section 2 (S42), and the process returns to step S32 via step S43.

【0090】上記の如きステップS32→・・・・→ス
テップS43を経てステップ32へ戻るループ処理にお
いて、入力音声信号がゆっくり話した場合の音声信号の
場合、前記ループ処理が繰り返され、やがてステップS
38において、前記積算値Mが閾値設定部5で設定され
ている閾値Sを越え、ステップS40に至る。該ステッ
プ40では、前記表1において、話速倍率Nを現在の値
から1つ右へシフトする。これによって、入力音声信号
の時間軸の伸長率が以前より少し小さくなり、話速は以
前より少し速くなる。即ち、前記表1における値(話速
倍率N)が、現時の値から1つ右の値にシフトされて設
定される。
In the above-described loop processing of step S32 →... →→ step S43 and returning to step S32, if the input audio signal is a speech signal in the case of a slow speech, the loop processing is repeated, and then step S32
At 38, the integrated value M exceeds the threshold value S set by the threshold value setting unit 5, and the process proceeds to step S40. In step 40, the speech speed magnification N in Table 1 is shifted right by one from the current value. As a result, the expansion rate of the time axis of the input audio signal becomes slightly smaller than before, and the speech speed becomes slightly faster than before. That is, the value (the speech speed magnification N) in Table 1 is shifted from the current value to the next value and set.

【0091】逆に、入力音声信号が早口の音声信号の場
合、前記積算値Mが閾値設定部5で設定されている閾値
Sを越えないので、ステップS38よりステップ39に
至る。該ステップ39では、前記表1において、話速倍
率Nを現在の値から1つ左へシフトする。これによっ
て、入力音声信号の時間軸の伸長率が以前より少し大き
くなり、話速は以前より少し遅くなる。
Conversely, when the input audio signal is a fast-speech audio signal, since the integrated value M does not exceed the threshold value S set by the threshold value setting section 5, the process proceeds from step S38 to step 39. In step 39, the speech speed magnification N in Table 1 is shifted left by one from the current value. As a result, the expansion rate of the time axis of the input audio signal becomes slightly larger than before, and the speech speed becomes slightly lower than before.

【0092】尚、メモリの蓄積量kによっても話速倍率
Nが変更されることは既に説明した通りである。
It is to be noted that the speech speed magnification N is also changed depending on the storage amount k of the memory as described above.

【0093】また、使用者によって停止の指示が与えら
れると装置は停止する(S43)。
When the user gives a stop instruction, the apparatus stops (S43).

【0094】まとめると、この実施例においては、積算
値Mが閾値Sより小さいときは[ゆっくり再生モード]
における伸長率が少し大きくなるように自動的に選択さ
れ、積算値Mが閾値Sより大きいときは[ゆっくり再生
モード]における伸長率が少し小さくなるように自動的
に選択されるものである。
In summary, in this embodiment, when the integrated value M is smaller than the threshold value S, [slow reproduction mode]
Is automatically selected to slightly increase the expansion rate in the case of, and when the integrated value M is larger than the threshold value S, the expansion rate in the [slow playback mode] is automatically selected to be slightly reduced.

【0095】次に、図6のフローチャートに基づいて本
発明の第3の実施例について説明する。尚、装置の基本
構成は前記図1及び図2に示したものと同じであり、そ
の詳細な説明は割愛するが、本実施例では、閾値設定部
5において、第1閾値S1と、これより大きい値に設定
された第2閾値S2とを有している。
Next, a third embodiment of the present invention will be described with reference to the flowchart of FIG. Note that the basic configuration of the apparatus is the same as that shown in FIGS. 1 and 2 and detailed description thereof is omitted. However, in the present embodiment, the threshold setting unit 5 uses the first threshold S1 and the first threshold S1. And a second threshold value S2 set to a large value.

【0096】上記図6において、先ず、前記の実施例と
同様に使用者が前記モード選択部8の操作ボタン(図示
せず)を操作してモードを選択する(S51)。一例と
して、前記表1に示した[ゆっくり再生モード1]を選
択したものとする。これによって、モード選択部8より
話速変換部7の話速制御部13へモード選択信号が与え
られ、話速制御部13は与えられたモード選択信号に基
づいて[ゆっくり再生モード1]に設定される。
In FIG. 6, first, the user operates the operation button (not shown) of the mode selection section 8 to select a mode as in the above embodiment (S51). As an example, it is assumed that [Slow playback mode 1] shown in Table 1 is selected. As a result, the mode selection signal is given from the mode selection unit 8 to the speech speed control unit 13 of the speech speed conversion unit 7, and the speech speed control unit 13 sets [slow playback mode 1] based on the given mode selection signal. Is done.

【0097】次に、蓄積量検出部17がメモリ15の蓄
積量をチェックして蓄積量jを求め、蓄積量jの値を話
速制御部13に与える(S52)。
Next, the storage amount detector 17 checks the storage amount in the memory 15 to determine the storage amount j, and gives the value of the storage amount j to the speech speed controller 13 (S52).

【0098】この時点では、メモリ15への符号化され
た音声信号の蓄積量が0であるとすると、前記表1よ
り、話速倍率Nとして0.6[倍速]が初期値として設
定され(S53)、該話速倍率N=0.6[倍速]にて
話速変換処理が行われる。前記時間軸圧縮伸長部11で
時間軸が伸長された音声信号は、音声符号化部14で符
号化され、一端、メモリ15に蓄積された後、音声復号
化部16で復号されて出力音声信号となる。
At this point, assuming that the accumulated amount of the encoded audio signal in the memory 15 is 0, from the above Table 1, the speech speed magnification N is set to 0.6 [double speed] as the initial value ( S53) The speech speed conversion processing is performed at the speech speed magnification N = 0.6 [double speed]. The audio signal whose time axis has been expanded by the time axis compression / expansion unit 11 is encoded by an audio encoding unit 14, stored in a memory 15 at one end, and then decoded by an audio decoding unit 16 to output an output audio signal. Becomes

【0099】また、ピッチ周期記憶部2の記憶内容(以
下、変数名としてピッチ周期Tn-1とする)は初期化
(クリア)される。
The contents stored in the pitch period storage unit 2 (hereinafter, referred to as a pitch period Tn-1 as a variable name) are initialized (cleared).

【0100】こうして初期値としての話速倍率N(=
0.6[倍速])が設定された後、ピッチ周期抽出部1
が、前記数1に基づいて、入力音声信号のピッチ周期
(以下、変数名としてピッチ周期Tnとする)を抽出す
る(S54)。一例として、例えばピッチ周期Tn=6
0[サンプル]が求められたとする。
Thus, the speech speed ratio N (=
0.6 [double speed]), the pitch period extracting unit 1
Extracts the pitch period of the input audio signal (hereinafter, referred to as pitch period Tn as a variable name) based on Equation 1 (S54). As an example, for example, pitch period Tn = 6
It is assumed that 0 [sample] is obtained.

【0101】前記ピッチ周期抽出部1で抽出されたピッ
チ周期Tnとピッチ周期記憶部2に記憶されているピッ
チ周期Tn-1とをピッチ周期比較部3で比較する(S5
5)。
The pitch period Tn extracted by the pitch period extraction unit 1 is compared with the pitch period Tn-1 stored in the pitch period storage unit 2 by the pitch period comparison unit 3 (S5).
5).

【0102】然し乍ら、前記したようにピッチ周期記憶
部2の記憶内容がクリアされているので、ステップS6
2へ進み、そしてカウンタ4のカウント値Cを初期化
(クリア)して0にし、さらにピッチ周期Tnの値(=
60[サンプル])はピッチ周期記憶部2に記憶されて
新たにピッチ周期Tn-1の値となり(S63)、処理は
ステップS63を経てステップS52へ戻される。
However, since the contents stored in the pitch period storage unit 2 have been cleared as described above, step S6 is executed.
2 and the count value C of the counter 4 is initialized (cleared) to 0, and the value of the pitch period Tn (=
60 [sample]) is stored in the pitch period storage unit 2 and becomes a new value of the pitch period Tn-1 (S63), and the process returns to step S52 via step S63.

【0103】そして、再びメモリの蓄積量jのチェック
(S52)、及び前記蓄積量jに基づく話速倍率Nの設
定が行われる(S53)。
Then, the storage amount j of the memory is checked again (S52), and the speech speed magnification N based on the storage amount j is set again (S53).

【0104】そして、再びピッチ周期Tnの抽出が行わ
れ(S54)、例えばピッチ周期Tn=61[サンプ
ル]が求められたとする。この抽出したピッチ周期Tn
(=61[サンプル])とピッチ周期記憶部2に記憶さ
れているピッチ周期Tn-1(=60[サンプル])とを
ピッチ周期比較部3で比較する(S55)。
Then, it is assumed that the pitch period Tn is extracted again (S54), and for example, the pitch period Tn = 61 [samples] is obtained. This extracted pitch cycle Tn
(= 61 [sample]) and the pitch period Tn-1 (= 60 [sample]) stored in the pitch period storage unit 2 are compared by the pitch period comparison unit 3 (S55).

【0105】ここで、新たに抽出したピッチ周期Tn
(=61[サンプル])とピッチ周期記憶部2に記憶さ
れているピッチ周期Tn-1(=60[サンプル])が、
Tn≒Tn-1という条件を満たすなら、カウンタ4のカウ
ント値Cが1つインクリメントされる(S56)。
Here, the newly extracted pitch period Tn
(= 61 [sample]) and the pitch cycle Tn-1 (= 60 [sample]) stored in the pitch cycle storage unit 2
If the condition of Tn ≒ Tn-1 is satisfied, the count value C of the counter 4 is incremented by one (S56).

【0106】そして、前記ピッチ周期抽出部1で抽出し
たピッチ周期Tn(=61[サンプル])とカウンタ4
のカウント値C(=1)を積算して積算値M(=61)
を求め(S57)、これを比較部6に与える。
The pitch period Tn (= 61 [sample]) extracted by the pitch period extracting section 1 and the counter 4
And the integrated value M (= 61)
(S57), and this is given to the comparison unit 6.

【0107】比較部6は、前記積算値Mと閾値設定部5
で設定されている第1閾値S1(例えば1000とす
る)及び第2閾値S2(例えば2000とする)とを比
較する(S58)。前記したように、積算値M=61で
あるので、第1閾値S1よりも小さく、よって話速制御
部13は入力信号の伸長率を少し大きくするように変更
する(S59)。即ち、前記表1において、現在の値
(話速倍率N)を1つ左の値にシフトして設定する。
The comparing section 6 compares the integrated value M with the threshold value setting section 5
Are compared with the first threshold value S1 (for example, 1000) and the second threshold value S2 (for example, 2000) (S58). As described above, since the integrated value M = 61, it is smaller than the first threshold value S1, and the speech speed control unit 13 changes the input signal expansion rate to be slightly higher (S59). That is, in Table 1, the current value (the speech speed magnification N) is shifted to the left by one and set.

【0108】上記の各実施例と同様に、前記時間軸圧縮
伸長部11で時間軸が伸長された音声信号は、音声符号
化部14で符号化され、一端、メモリ15に蓄積された
後、音声復号化部16で復号されて出力音声信号とな
る。
As in the above embodiments, the audio signal whose time axis has been expanded by the time axis compression / expansion unit 11 is encoded by the audio encoding unit 14 and once stored in the memory 15. The audio signal is decoded by the audio decoding unit 16 and becomes an output audio signal.

【0109】そして、新たにピッチ周期Tnの値はピッ
チ周期記憶部2に記憶され(S63)、処理はステップ
S63を経てステップS52へ戻る。
Then, the value of the pitch cycle Tn is newly stored in the pitch cycle storage unit 2 (S63), and the process returns to step S52 via step S63.

【0110】上記の如きステップS52→・・・・→ス
テップS64を経てステップ52へ戻るループ処理にお
いて、前記ループ処理が繰り返され、積算値Mが第1閾
値S1と第2閾値S2の間になった場合、ステップS6
0に至るが、この場合は話速倍率Nの値の変更は行われ
ない。
In the loop processing that returns to step 52 via step S52 → step S64 as described above, the loop processing is repeated, and the integrated value M becomes between the first threshold value S1 and the second threshold value S2. If so, step S6
However, in this case, the value of the speech speed magnification N is not changed.

【0111】上記の如きステップS52→・・・・→ス
テップS64を経てステップ52へ戻るループ処理にお
いて、入力音声信号がゆっくり話した場合の音声信号の
場合、前記ループ処理が繰り返され、やがてステップS
58において、前記積算値Mが閾値設定部5で設定され
ている第2閾値S2を越え、ステップS61に至る。該
ステップ61では、前記表1において、話速倍率Nを現
在の値から1つ右へシフトする。これによって、入力音
声信号の時間軸の伸長率が以前より少し小さくなり、話
速は以前より少し速くなる。
In the loop processing that returns to step 52 via step S52 →... → step S64 as described above, if the input audio signal is a speech signal in which the speech is slowly spoken, the above-described loop processing is repeated.
At 58, the integrated value M exceeds the second threshold value S2 set by the threshold value setting unit 5, and the process proceeds to step S61. In step 61, the speech speed magnification N in Table 1 is shifted right by one from the current value. As a result, the expansion rate of the time axis of the input audio signal becomes slightly smaller than before, and the speech speed becomes slightly faster than before.

【0112】逆に、入力音声信号が早口の音声信号の場
合、前記積算値Mが閾値設定部5で設定されている第1
閾値S1より小さくなるので、ステップS58よりステ
ップ59に至る。該ステップ59では、前記表1におい
て、話速倍率Nを現在の値から1つ左へシフトする。こ
れによって、入力音声信号の時間軸の伸長率が以前より
少し大きくなり、話速は以前より少し遅くなる。
Conversely, if the input audio signal is a fast-speech audio signal, the first integrated value M set by the threshold setting unit 5
Since it is smaller than the threshold value S1, the process proceeds from step S58 to step 59. In step 59, the speech speed magnification N in Table 1 is shifted left by one from the current value. As a result, the expansion rate of the time axis of the input audio signal becomes slightly larger than before, and the speech speed becomes slightly lower than before.

【0113】尚、メモリの蓄積量kによっても話速倍率
Nが変更されることは既に説明した通りである。
As described above, the speech speed magnification N is also changed depending on the storage amount k of the memory.

【0114】また、使用者によって停止の指示が与えら
れると装置は停止する(S64)。
When a stop instruction is given by the user, the apparatus stops (S64).

【0115】まとめると、この実施例においては、積算
値Mが第1閾値S1より小さいときは[ゆっくり再生モ
ード]における伸長率が少し大きくなるように自動的に
選択され、積算値Mが第2閾値S2(但し、第1閾値S
1<第2閾値S2)より大きいときは[ゆっくり再生モ
ード]における伸長率が少し小さくなるように自動的に
選択され、積算値Mが第1閾値S1と第2閾値との間に
あるときには[ゆっくり再生モード]における伸長率を
変更しないものである。
In summary, in this embodiment, when the integrated value M is smaller than the first threshold value S1, the expansion rate in the [slow playback mode] is automatically selected so as to be slightly larger, and the integrated value M is set to the second value. Threshold value S2 (however, the first threshold value S
1 <second threshold value S2), the expansion rate in the [slow playback mode] is automatically selected to be slightly smaller, and when the integrated value M is between the first threshold value S1 and the second threshold value, In the slow playback mode].

【0116】さらに、図7のフローチャートに基づいて
本発明の第4の実施例について説明する。尚、装置の基
本構成は前記図1及び図2に示したものと同じであり、
その詳細な説明は割愛するが、本実施例では、前記第3
の実施例と同様に、閾値設定部5において、第1閾値S
1と、これより大きい値に設定された第2閾値S2とを
有している。
Next, a fourth embodiment of the present invention will be described with reference to the flowchart of FIG. The basic configuration of the device is the same as that shown in FIGS.
Although the detailed description is omitted, in the present embodiment, the third
Similarly to the embodiment, the threshold setting unit 5 sets the first threshold S
1 and a second threshold value S2 set to a larger value.

【0117】それに加えて、以下の表2に示すように、
前記表1に示した[ゆっくり再生モード]の他に[早口
再生モード]が追加されている。この[早口再生モー
ド]も、[ゆっくり再生モード]と同様に、1〜4の4
つのモードを備えている。
In addition, as shown in Table 2 below,
In addition to the [slow playback mode] shown in Table 1, [early playback mode] is added. This [Early Playback Mode] is also the same as [Slow Playback Mode], and is 4-4.
It has two modes.

【0118】[0118]

【表2】 [Table 2]

【0119】前記図7において、先ず、前記の実施例と
同様に使用者が前記モード選択部8の操作ボタン(図示
せず)を操作してモードを選択する(S71)。この実
施例では、[ゆっくり再生モード]と[早口再生モー
ド]とを有しているので、夫々のモードについて、4つ
のモードの中から1つずつ選択する。ここでは一例とし
て、前記表1に示した[ゆっくり再生モード1]及び前
記表2に示した[早口再生モード1]を選択したものと
する。これによって、モード選択部8より話速変換部7
の話速制御部13へモード選択信号が与えられ、話速制
御部13は与えられたモード選択信号に基づいて、[ゆ
っくり再生モード1]及び[早口再生モード1]に対す
る設定情報が与えられる。
In FIG. 7, first, the user operates the operation button (not shown) of the mode selection section 8 to select a mode as in the above embodiment (S71). In this embodiment, since there are a [slow playback mode] and a [early playback mode], one of the four modes is selected for each mode. Here, as an example, it is assumed that the [slow playback mode 1] shown in Table 1 and the [early playback mode 1] shown in Table 2 are selected. As a result, the speech speed conversion unit 7 is
Is given to the speech speed control unit 13, and the speech speed control unit 13 is given setting information for the [slow playback mode 1] and the [early speech playback mode 1] based on the given mode selection signal.

【0120】次に、蓄積量検出部17がメモリ15の蓄
積量をチェックして蓄積量jを求め、蓄積量jの値を話
速制御部13に与えるが(S72)、前記の各実施例と
は異なり、この時点では、話速倍率Nとして1.0[倍
速](即ち、[通常再生モード])が初期値として設定
される(S73)。
Next, the storage amount detector 17 checks the storage amount in the memory 15 to determine the storage amount j, and gives the value of the storage amount j to the speech speed controller 13 (S72). Unlike this, at this point, 1.0 [double speed] (that is, [normal reproduction mode]) is set as the speech speed magnification N as an initial value (S73).

【0121】また、ピッチ周期記憶部2の記憶内容(以
下、変数名としてピッチ周期Tn-1とする)は初期化
(クリア)される。
The contents stored in the pitch period storage unit 2 (hereinafter, referred to as a pitch period Tn-1 as a variable name) are initialized (cleared).

【0122】こうして初期値としての話速倍率N(=
1.0[倍速])が設定された後、ピッチ周期抽出部1
が、前記数1に基づいて、入力音声信号のピッチ周期
(以下、変数名としてピッチ周期Tnとする)を抽出す
る(S74)。一例として、例えばピッチ周期Tn=6
0[サンプル]が求められたとする。
Thus, the speech speed magnification N (=
1.0 [double speed]), the pitch period extracting unit 1
Extracts the pitch cycle of the input audio signal (hereinafter, referred to as pitch cycle Tn as a variable name) based on the above equation (S74). As an example, for example, pitch period Tn = 6
It is assumed that 0 [sample] is obtained.

【0123】前記ピッチ周期抽出部1で抽出されたピッ
チ周期Tnとピッチ周期記憶部2に記憶されているピッ
チ周期Tn-1とをピッチ周期比較部3で比較する(S7
5)。
The pitch cycle Tn extracted by the pitch cycle extracting section 1 is compared with the pitch cycle Tn-1 stored in the pitch cycle storing section 2 by the pitch cycle comparing section 3 (S7).
5).

【0124】然し乍ら、前記したようにピッチ周期記憶
部2の記憶内容がクリアされているので、ステップS8
2へ進み、カウンタ4のカウント値Cを初期化(クリ
ア)して0にし、ステップS80で[通常再生モード]
が選択される(既にステップS73で[通常再生モー
ド]が設定されているので、実質的にはモードの変更は
無し)。
However, since the contents stored in the pitch period storage unit 2 have been cleared as described above, step S8 is executed.
Proceeding to 2, the count value C of the counter 4 is initialized (cleared) to 0, and in step S80 [normal reproduction mode]
Is selected (since [Normal playback mode] has already been set in step S73, there is substantially no mode change).

【0125】また、ピッチ周期Tnの値(=60[サン
プル])はピッチ周期記憶部2に記憶され、新たにピッ
チ周期Tn-1の値となり(S83)、処理はステップ8
4を経てステップS72へ戻される。
Further, the value of the pitch period Tn (= 60 [sample]) is stored in the pitch period storage unit 2 and becomes a new value of the pitch period Tn-1 (S83).
Thereafter, the flow returns to step S72.

【0126】そして、再びメモリの蓄積量jのチェック
(S72)、及び前記蓄積量jに基づく話速倍率Nの設
定が行われる(S73)。
Then, the storage amount j of the memory is checked again (S72), and the speech speed magnification N based on the storage amount j is set again (S73).

【0127】そして、再びピッチ周期Tnの抽出が行わ
れ(S74)、例えばピッチ周期Tn=61[サンプ
ル]が求められたとする。この抽出したピッチ周期Tn
(=61[サンプル])とピッチ周期記憶部2に記憶さ
れているピッチ周期Tn-1(=60[サンプル])とを
ピッチ周期比較部3で比較する(S75)。
Then, it is assumed that the pitch period Tn is extracted again (S74), and for example, the pitch period Tn = 61 [samples] is obtained. This extracted pitch cycle Tn
(= 61 [sample]) and the pitch period Tn-1 (= 60 [sample]) stored in the pitch period storage unit 2 are compared by the pitch period comparison unit 3 (S75).

【0128】ここで、新たに抽出したピッチ周期Tn
(=61[サンプル])とピッチ周期記憶部2に記憶さ
れているピッチ周期Tn-1(=60[サンプル])が、
Tn≒Tn-1という条件を満たすなら、カウンタ4のカウ
ント値Cが1つインクリメントされる(S56)。
Here, the newly extracted pitch period Tn
(= 61 [sample]) and the pitch cycle Tn-1 (= 60 [sample]) stored in the pitch cycle storage unit 2
If the condition of Tn ≒ Tn-1 is satisfied, the count value C of the counter 4 is incremented by one (S56).

【0129】そして、ピッチ周期抽出部1で抽出したピ
ッチ周期Tn(=61[サンプル])とカウンタ4のカ
ウント値C(=1)を積算して積算値M(=61)を求
め(S77)、これを比較部6に与える。
Then, the pitch period Tn (= 61 [sample]) extracted by the pitch period extracting unit 1 and the count value C (= 1) of the counter 4 are integrated to obtain an integrated value M (= 61) (S77). Are given to the comparison unit 6.

【0130】この実施例においても、前記第3の実施例
と同様に、第1閾値S1と、これより大きい値に設定さ
れた第2閾値S2とを有している。そして、入力音声信
号のピッチ周期Tnとカウンタ4のカウント値Cとの積
算値Mが、前記第1閾値S1と第2閾値S2との間にあ
る場合は標準的な話速の音声であると判断し、積算値M
が第1閾値S1より小さい場合は早口の音声であると判
断し、積算値Mが第2閾値S1より大きい場合はゆっく
り話した場合の音声であると判断するものである。
This embodiment also has a first threshold value S1 and a second threshold value S2 set to a value larger than the first threshold value, as in the third embodiment. When the integrated value M of the pitch period Tn of the input voice signal and the count value C of the counter 4 is between the first threshold value S1 and the second threshold value S2, it is determined that the voice has a standard voice speed. Judge, integrated value M
Is smaller than the first threshold value S1, it is determined that the voice is a fast-talking voice, and if the integrated value M is larger than the second threshold value S1, it is determined that the voice is a voice when the user speaks slowly.

【0131】比較部6は、前記積算値Mと閾値設定部5
で設定されている第1閾値S1(例えば1000とす
る)及び第2閾値S2(例えば2000とする)とを比
較する(S78)。前記したように、積算値M=61で
あるので、第1閾値S1よりも小さく、よって[ゆっく
り再生モード]が選択される(S79)。尚、前記ステ
ップS71において、[ゆっくり再生モード1]が[ゆ
っくり再生モード]における初期モードとして設定して
あったので、[ゆっくり再生モード1]が次に変更すべ
きモードとして設定される。
The comparing section 6 includes the integrated value M and the threshold setting section 5
Are compared with the first threshold value S1 (for example, 1000) and the second threshold value S2 (for example, 2000) (S78). As described above, since the integrated value M = 61, it is smaller than the first threshold value S1, and thus the [slow playback mode] is selected (S79). Since the [slow playback mode 1] is set as the initial mode in the [slow playback mode] in step S71, the [slow playback mode 1] is set as the mode to be changed next.

【0132】上記の各実施例と同様に、前記時間軸圧縮
伸長部11で時間軸が伸長された音声信号は、音声符号
化部14で符号化され、一端、メモリ15に蓄積された
後、音声復号化部16で復号されて出力音声信号とな
る。
As in the above embodiments, the audio signal whose time axis has been expanded by the time axis compression / expansion unit 11 is encoded by the audio encoding unit 14 and once stored in the memory 15. The audio signal is decoded by the audio decoding unit 16 and becomes an output audio signal.

【0133】そして、新たにピッチ周期Tnの値はピッ
チ周期記憶部2に記憶され(S83)、処理はステップ
84を経てステップS72へ戻る。
Then, the value of the pitch cycle Tn is newly stored in the pitch cycle storage unit 2 (S83), and the process returns to step S72 via step S84.

【0134】上記の如きステップS72→・・・・→ス
テップS84を経てステップ72へ戻るループ処理にお
いて、前記ループ処理が繰り返され、積算値Mが第1閾
値S1と第2閾値S2の間になると、ステップS80に
至るが、この場合、話速倍率Nの値の変更は行われな
い。
In the loop processing that returns to step 72 after step S72 → step S84 as described above, the above-mentioned loop processing is repeated until the integrated value M falls between the first threshold value S1 and the second threshold value S2. , Step S80, but in this case, the value of the speech speed magnification N is not changed.

【0135】また、上記の如きステップS72→・・・
・→ステップS84を経てステップ72へ戻るループ処
理において、入力音声信号がゆっくり話した音声信号の
場合、前記ループ処理が繰り返され、やがてステップS
78において、前記積算値Mが閾値設定部5で設定され
ている第2閾値S2を越え、ステップS81に至る。該
ステップ81では、次に変更すべきモードとして[早口
再生モード]を選択する。前記ステップS71におい
て、[早口再生モード1]が[早口再生モード]におけ
る初期モードとして設定してあったので、[早口再生モ
ード1]が次に変更すべきモードとして設定される。
Step S72 as described above →
In the loop processing returning to step 72 after step S84, if the input audio signal is a speech signal that is slowly spoken, the above-described loop processing is repeated, and then step S
At 78, the integrated value M exceeds the second threshold value S2 set by the threshold value setting unit 5, and the process proceeds to step S81. In the step 81, a "quick reproduction mode" is selected as a mode to be changed next. In the step S71, since the [early reproduction mode 1] is set as the initial mode in the [early reproduction mode], the [early reproduction mode 1] is set as the mode to be changed next.

【0136】モードの設定後、前記と同様にピッチ周期
Tnの値(=61[サンプル])はピッチ周期記憶部2
に記憶され、新たにピッチ周期Tn-1の値となり(S8
3)、処理はステップS72へ戻される。
After setting the mode, the value of the pitch period Tn (= 61 [sample]) is stored in the pitch period storage unit 2 in the same manner as described above.
And becomes a new value of the pitch period Tn-1 (S8
3) The process returns to step S72.

【0137】そして、再びメモリの蓄積量jのチェック
(S72)、及び前記蓄積量jに基づく話速倍率Nの設
定が行われる(S73)。該ステップS73において、
メモリの蓄積量jに応じて、前記表2の話速倍率Nの値
が適宜変更される。
Then, the storage amount j of the memory is checked again (S72), and the speech speed magnification N based on the storage amount j is set again (S73). In the step S73,
The value of the speech speed magnification N in Table 2 is appropriately changed according to the storage amount j of the memory.

【0138】逆に、入力音声信号が早口の音声信号の場
合、前記積算値Mが閾値設定部5で設定されている第1
閾値S1より小さくなるので、ステップS78よりステ
ップ79に至る。該ステップ79では、次に変更すべき
モードとして[ゆっくり再生モード]を選択する。前記
ステップS71において、[ゆっくり再生モード1]が
[ゆっくり再生モード]における初期モードとして設定
してあったので、[ゆっくり再生モード1]が次に変更
すべきモードとして設定される。
Conversely, when the input audio signal is a fast-speech audio signal, the first integrated value M set by the threshold setting unit 5 is used.
Since it is smaller than the threshold value S1, the process proceeds from step S78 to step 79. In step 79, "slow playback mode" is selected as the mode to be changed next. In step S71, since [slow playback mode 1] is set as the initial mode in [slow playback mode], [slow playback mode 1] is set as the mode to be changed next.

【0139】前記のようにモードの設定後、前記と同様
にピッチ周期Tnの値はピッチ周期記憶部2に記憶さ
れ、新たにピッチ周期Tn-1の値となり(S83)、さ
らに時間軸の圧縮も伸長も成されていない音声信号が前
記時間軸圧縮伸長部11より出力され、音声符号化部1
4で符号化され、一端、メモリ15に蓄積された後、音
声復号化部16で復号されて出力音声信号となる。そし
て、その後処理はステップS72へ戻される。
After the mode is set as described above, the value of the pitch period Tn is stored in the pitch period storage unit 2 and becomes the new value of the pitch period Tn-1 in the same manner as described above (S83). An audio signal that has not been expanded or decompressed is output from the time axis compression / expansion unit 11 and the audio encoding unit 1
4 and stored in the memory 15 at one end, and then decoded by the audio decoding unit 16 to become an output audio signal. Then, the process returns to step S72.

【0140】そして、再びメモリの蓄積量jのチェック
(S72)、及び前記蓄積量jに基づく話速倍率Nの設
定が行われる(S73)。該ステップS73において、
メモリの蓄積量jに応じて、前記表1の話速倍率Nの値
が適宜変更される。
Then, the storage amount j of the memory is checked again (S72), and the speech speed magnification N based on the storage amount j is set (S73). In the step S73,
According to the storage amount j of the memory, the value of the speech speed magnification N in Table 1 is appropriately changed.

【0141】尚、メモリの蓄積量kによっても話速倍率
Nが変更されることは既に説明した通りである。
It is to be noted that the speech speed ratio N is also changed depending on the storage amount k of the memory as described above.

【0142】また、使用者によって停止の指示が与えら
れると装置は停止する(S33)。
When a stop instruction is given by the user, the apparatus stops (S33).

【0143】まとめると、この実施例においては、積算
値Mが第1閾値S1より小さいときは[ゆっくり再生モ
ード]が自動的に選択され、積算値Mが第2閾値S2
(但し、第1閾値S1<第2閾値S2)より大きいとき
は[早口再生モード]が自動的に選択され、積算値Mが
第1閾値S1と第2閾値との間にあるときには[通常再
生モード]が自動的に選択されるものである。
In summary, in this embodiment, when the integrated value M is smaller than the first threshold value S1, the [slow reproduction mode] is automatically selected, and the integrated value M is set to the second threshold value S2.
(However, when the first threshold value S1 <the second threshold value S2), the [early speed reproduction mode] is automatically selected. When the integrated value M is between the first threshold value S1 and the second threshold value, the [normal reproduction mode] is selected. Mode] is automatically selected.

【0144】さらに、図8は、前記図1に示した話速変
換装置に閾値設定部5で設定される閾値を使用者が変更
するための閾値変更操作部18を設けたものである。音
声を聴いたときに、早口で聴き取り難いと感じたり、逆
にゆっくりすぎると感じる感覚には個人差がある。従っ
て、使用者は前記閾値変更操作部18によって、自動的
に話速を変更するための判断の基準となる前記閾値S、
もしくは第1閾値S1及び第2閾値S2を変更し、自動
的に自分に適した話速に設定されるように調整すること
ができる。尚、閾値変更操作部18は、[+]操作キー
及び[−]操作キー、あるいは[up]操作キー及び[do
wn]操作キーなど、種々の操作キーや、ジョグダイヤル
やスライドレバーなど、種々の形態で構成することがで
きる。さらには、複数のボタン等([速く]、[少し速
く]、[普通]、[少し遅く]、[遅く]等)を設け、
これらに閾値を設定しておき、使用者がその中から選択
するようにしてもよい。
Further, FIG. 8 is provided with a threshold change operation section 18 for the user to change the threshold set by the threshold setting section 5 in the speech speed conversion apparatus shown in FIG. When listening to voice, there is an individual difference in the feeling that it is difficult to hear at a high speed or that it is too slow. Therefore, the user can use the threshold value changing operation section 18 to automatically change the speech speed.
Alternatively, the first threshold value S1 and the second threshold value S2 can be changed and adjusted so as to automatically set a speech speed suitable for the user. The threshold value changing operation unit 18 is provided with a [+] operation key and a [-] operation key, or an [up] operation key and a [do] operation key.
[wn] Various operation keys such as operation keys, and various forms such as a jog dial and a slide lever can be used. In addition, multiple buttons (such as [fast], [slightly fast], [normal], [slightly slow], [slow], etc.)
Thresholds may be set for these, and the user may select from them.

【0145】続いて図9は、本発明の第5の実施例の動
作を示すフローチャートであり、これは前記図4に示し
た話速変換装置の動作を示すフローチャートに閾値Sを
使用者が変更・設定する処理であるステップS24を追
加したものである。また、前記図4に示した処理と同一
の部分には同一の符号を付し、その詳細な説明は割愛す
る。
FIG. 9 is a flow chart showing the operation of the fifth embodiment of the present invention. This is a flow chart showing the operation of the speech speed conversion device shown in FIG. Step S24, which is a setting process, is added. In addition, the same portions as those in the processing shown in FIG. 4 are denoted by the same reference numerals, and detailed description thereof will be omitted.

【0146】ステップ11において使用者がモード(前
記表1に示したゆっくり再生モード1〜4のいずれか)
を選択した後、続く次のステップ24において閾値変更
操作部18を操作して閾値Sを変更することができる。
In step 11, the user sets the mode (any of the slow reproduction modes 1 to 4 shown in Table 1).
Is selected, the threshold value S can be changed by operating the threshold value changing operation unit 18 in the next next step 24.

【0147】また、図10は、本発明の第6の実施例の
動作を示すフローチャートであり、前記図5に示した話
速変換装置の動作を示すフローチャートに閾値Sを使用
者が変更・設定する処理であるステップS44を追加し
たものである。また、前記図5に示した処理と同一の部
分には同一の符号を付し、その詳細な説明は割愛する。
FIG. 10 is a flowchart showing the operation of the sixth embodiment of the present invention. The user changes and sets the threshold value S in the flowchart showing the operation of the speech speed conversion device shown in FIG. Step S44 is added. In addition, the same parts as those in the processing shown in FIG. 5 are denoted by the same reference numerals, and detailed description thereof will be omitted.

【0148】ステップ31において使用者がモード(前
記表1に示したゆっくり再生モード1〜4のいずれか)
を選択した後、続く次のステップ44において閾値変更
操作部18を操作して閾値Sを変更することができる。
In step 31, the user sets the mode (any of the slow reproduction modes 1 to 4 shown in Table 1).
After selecting, the threshold value S can be changed by operating the threshold value changing operation unit 18 in the next next step 44.

【0149】次に、図11は、本発明の第7の実施例の
動作を示すフローチャートであり、前記図6に示した話
速変換装置の動作を示すフローチャートに第1閾値S1
及び第2閾値S2を使用者が変更・設定する処理である
ステップS64を追加したものである。また、前記図6
に示した処理と同一の部分には同一の符号を付し、その
詳細な説明は割愛する。
Next, FIG. 11 is a flowchart showing the operation of the seventh embodiment of the present invention. The flowchart showing the operation of the speech speed conversion device shown in FIG.
And step S64, which is a process in which the user changes / sets the second threshold value S2. FIG.
The same reference numerals are given to the same portions as the processes shown in (1), and the detailed description thereof is omitted.

【0150】ステップ51において使用者がモード(前
記表1に示したゆっくり再生モード1〜4のいずれか)
を選択した後、続く次のステップ64において閾値変更
操作部18を操作して第1閾値S1及び第2閾値S2を
変更することができる。
In step 51, the user sets the mode (any of the slow reproduction modes 1 to 4 shown in Table 1).
After the selection of, the threshold change operation unit 18 can be operated in the subsequent next step 64 to change the first threshold S1 and the second threshold S2.

【0151】さらに、図12は、本発明の第8の実施例
の動作を示すフローチャートであり、前記図7に示した
話速変換装置の動作を示すフローチャートに第1閾値S
1及び第2閾値S2を使用者が変更・設定する処理であ
るステップS85を追加したものである。また、前記図
7に示した処理と同一の部分には同一の符号を付し、そ
の詳細な説明は割愛する。
FIG. 12 is a flowchart showing the operation of the eighth embodiment of the present invention. The flowchart showing the operation of the speech speed converter shown in FIG.
Step S85, which is a process in which the user changes and sets the first and second threshold values S2, is added. Further, the same parts as those in the processing shown in FIG. 7 are denoted by the same reference numerals, and detailed description thereof will be omitted.

【0152】ステップ71において使用者がモード(前
記表1に示したゆっくり再生モード1〜4のいずれか、
あるいは前記表2に示した早口再生モード1〜4のいず
れか)を選択した後、続く次のステップ85において閾
値変更操作部18を操作して第1閾値S1及び第2閾値
S2を変更することができる。
At step 71, the user sets the mode (one of the slow reproduction modes 1 to 4 shown in Table 1 above,
Alternatively, after selecting any of the fast playback modes 1 to 4 shown in Table 2 above, in the next step 85, the first threshold value S1 and the second threshold value S2 are changed by operating the threshold value changing operation unit 18. Can be.

【0153】尚、前記各実施例においては、作図の都合
上、モード選択や閾値設定の処理がフローチャートの冒
頭部分にのみ存在するが、これらは話速変換処理中にお
いても適宜変更できるように構成してもよい.さらに、
上記の各実施例においては、第1の閾値及び第2の閾値
の両方を変更するように構成しているが、いずれか一方
を変更できるように構成してもよい。
In each of the above embodiments, the mode selection and threshold setting processes are present only at the beginning of the flowchart for the sake of drawing. However, these processes can be changed as needed during the speech speed conversion process. You may. further,
In each of the above embodiments, both the first threshold value and the second threshold value are configured to be changed, but one of them may be configured to be changed.

【0154】[0154]

【発明の効果】以上、詳述した如く本発明に依れば、入
力された音声信号が早口で話した時の音声信号かどうか
を判断し、早口で話した時の音声信号に対してのみ話速
変換処理によってゆっくりした音声信号に変換すること
ができるので、入力された音声信号がゆっくり話した音
声信号の場合に話速変換処理されてさらにゆっくり話し
た音声信号に話速変換されるということがない。
As described in detail above, according to the present invention, it is determined whether or not an input audio signal is an audio signal when speaking in a utterance, and only for an audio signal when speaking in an utterance. Since it can be converted into a slow voice signal by voice speed conversion processing, if the input voice signal is a voice signal that is slowly spoken, the voice speed conversion processing is performed and the voice speed is converted to a voice signal that is further slowly spoken Nothing.

【0155】また、本発明に依れば、話速に応じて話速
変換処理の倍率が適宜変更される。
Further, according to the present invention, the magnification of the speech speed conversion processing is appropriately changed according to the speech speed.

【0156】さらに、本発明に依れば、話速に応じて話
速変換処理の倍率が適宜変更されるだけでなく、標準的
な速度で話した音声信号に対しては話速変換処理が成さ
れない。
Further, according to the present invention, not only the scaling factor of the speech speed conversion process is appropriately changed according to the speech speed, but also the speech speed conversion process is performed for a speech signal spoken at a standard speed. Not done.

【0157】そして、本発明に依れば、早口の音声信号
に対してはゆっくり話した音声信号に変換するべく話速
変換処理が行われ、ゆっくり話した音声信号に対しては
早口の音声信号にするべく話速変換処理が行われ、さら
に標準的な速度で話した音声信号に対しては話速変換処
理が成されない。
[0157] According to the present invention, the speech rate conversion process is performed on the fast-speech audio signal so as to convert the speech signal into a slowly spoken speech signal. The speech speed conversion process is performed in order to achieve the above, and the speech speed conversion process is not performed on the voice signal spoken at a standard speed.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の話速変換装置の構成を示す概略ブロッ
ク図である。
FIG. 1 is a schematic block diagram showing a configuration of a speech speed conversion device of the present invention.

【図2】本発明の話速変換装置における話速変換部の構
成を示す概略ブロック図である。
FIG. 2 is a schematic block diagram showing a configuration of a speech speed conversion unit in the speech speed conversion device of the present invention.

【図3】本発明の話速変換装置の動作を説明するための
図である。
FIG. 3 is a diagram for explaining the operation of the speech speed conversion device of the present invention.

【図4】本発明の話速変換装置の動作を説明するための
フローチャートである。
FIG. 4 is a flowchart for explaining the operation of the speech speed conversion device of the present invention.

【図5】本発明の第2の実施例の動作を説明するための
フローチャートである。
FIG. 5 is a flowchart for explaining the operation of the second embodiment of the present invention.

【図6】本発明の第3の実施例の動作を説明するための
フローチャートである。
FIG. 6 is a flowchart for explaining the operation of the third embodiment of the present invention.

【図7】本発明の第4の実施例の動作を説明するための
フローチャートである。
FIG. 7 is a flowchart for explaining the operation of the fourth embodiment of the present invention.

【図8】本発明の他の実施例の話速変換装置の構成を示
す概略ブロック図である。
FIG. 8 is a schematic block diagram showing a configuration of a speech speed conversion device according to another embodiment of the present invention.

【図9】本発明の第5の実施例の動作を説明するための
フローチャートである。
FIG. 9 is a flowchart for explaining the operation of the fifth embodiment of the present invention.

【図10】本発明の第6の実施例の動作を説明するため
のフローチャートである。
FIG. 10 is a flowchart for explaining the operation of the sixth embodiment of the present invention.

【図11】本発明の第7の実施例の動作を説明するため
のフローチャートである。
FIG. 11 is a flowchart for explaining the operation of the seventh embodiment of the present invention.

【図12】本発明の第8の実施例の動作を説明するため
のフローチャートである。
FIG. 12 is a flowchart for explaining the operation of the eighth embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1 ピッチ周期抽出部 2 ピッチ周期記憶部 3 ピッチ周期比較部 4 カウンタ 5 閾値設定部 6 比較部 7 話速変換部 8 モード選択部 11 音声時間軸圧縮伸長部 12 無音区間検出部 13 話速制御部 14 音声符号化部 15 メモリ 16 音声復号化部 17 蓄積量検出部 18 閾値変更操作部 DESCRIPTION OF SYMBOLS 1 Pitch period extraction part 2 Pitch period storage part 3 Pitch period comparison part 4 Counter 5 Threshold setting part 6 Comparison part 7 Speech rate conversion part 8 Mode selection part 11 Voice time axis compression / decompression part 12 Silence section detection part 13 Speech rate control part 14 audio encoding unit 15 memory 16 audio decoding unit 17 accumulated amount detecting unit 18 threshold value changing operation unit

Claims (16)

【特許請求の範囲】[Claims] 【請求項1】 音声信号よりピッチ周期を検出するピッ
チ周期検出手段と、 該ピッチ周期検出手段が抽出したピッチ周期に基づいて
所定のピッチ周期の繰り返し回数を計数する計数手段
と、 前記ピッチ周期検出手段で抽出したピッチ周期と前記計
数手段で計数した繰り返し回数との積と所定の閾値とを
比較する比較判定手段と、 該比較判定手段の判定結果に基づいて話速変換を行う話
速変換手段とを備えたことを特徴とする話速変換装置。
1. A pitch cycle detecting means for detecting a pitch cycle from an audio signal; a counting means for counting the number of repetitions of a predetermined pitch cycle based on the pitch cycle extracted by the pitch cycle detecting means; Comparing and judging means for comparing a product of the pitch period extracted by the means and the number of repetitions counted by the counting means with a predetermined threshold; and speech speed converting means for performing speech speed conversion based on the judgment result of the comparing and judging means And a speech speed conversion device.
【請求項2】 音声信号よりピッチ周期を検出するピッ
チ周期検出手段と、 該ピッチ周期検出手段が抽出したピッチ周期に基づいて
所定のピッチ周期の繰り返し回数を計数する計数手段
と、 前記ピッチ周期検出手段で抽出したピッチ周期と前記計
数手段で計数した繰り返し回数との積と所定の閾値とを
比較する比較判定手段と、 前記所定の閾値を変更する閾値変更手段と、 前記比較判定手段の判定結果に基づいて話速変換を行う
話速変換手段とを備えたことを特徴とする話速変換装
置。
2. A pitch cycle detecting means for detecting a pitch cycle from an audio signal; a counting means for counting the number of repetitions of a predetermined pitch cycle based on the pitch cycle extracted by the pitch cycle detecting means; Comparing and judging means for comparing a product of the pitch period extracted by the means and the number of repetitions counted by the counting means with a predetermined threshold; threshold changing means for changing the predetermined threshold; judgment results of the comparing and judging means And a speech speed conversion means for performing speech speed conversion based on the speech speed.
【請求項3】 前記話速変換手段は、前記比較判定手段
において前記ピッチ周期検出手段で抽出したピッチ周期
と前記計数手段で計数した繰り返し回数との積が所定の
閾値を越えない場合に、音声信号をゆっくりした音声信
号に話速変換することを特徴とする請求項1乃至請求項
2記載の話速変換装置。
3. The speech speed converting means, wherein the product of the pitch cycle extracted by the pitch cycle detecting means and the number of repetitions counted by the counting means does not exceed a predetermined threshold value in the comparing and judging means. 3. The speech speed conversion device according to claim 1, wherein the speech speed is converted into a slow voice signal.
【請求項4】 前記話速変換手段は、前記比較判定手段
において前記ピッチ周期検出手段で抽出したピッチ周期
と前記計数手段で計数した繰り返し回数との積が所定の
閾値を越えないと判定した場合には音声信号をゆっくり
した音声信号に話速変換すると共に、前記比較判定手段
において前記ピッチ周期検出手段で抽出したピッチ周期
と前記計数手段で計数した繰り返し回数との積が所定の
閾値を越えたと判定した場合には話速変換を行わないこ
とを特徴とする請求項1乃至請求項3記載の話速変換装
置。
4. The speech speed conversion means, when the comparison determination means determines that the product of the pitch cycle extracted by the pitch cycle detection means and the number of repetitions counted by the counting means does not exceed a predetermined threshold. The voice signal is converted into a slow voice signal and the speech speed is converted, and the product of the pitch cycle extracted by the pitch cycle detection means in the comparison determination means and the number of repetitions counted by the counting means exceeds a predetermined threshold value. 4. The speech speed conversion device according to claim 1, wherein the speech speed conversion is not performed when the judgment is made.
【請求項5】 前記話速変換手段は、前記比較判定手段
において前記ピッチ周期検出手段で抽出したピッチ周期
と前記計数手段で計数した繰り返し回数との積が所定の
閾値以内と判定した場合は話速倍率を大きくし、前記比
較判定手段において前記ピッチ周期検出手段で抽出した
ピッチ周期と前記計数手段で計数した繰り返し回数との
積が所定の閾値より大きいと判断した場合は話速倍率を
小さくし、話速変換を行うことを特徴とする請求項1乃
至請求項3記載の話速変換装置。 (但し、話速倍率=入力音声信号の時間長/出力音声信
号の時間長)
5. The speech speed conversion means, when the comparison / determination means determines that the product of the pitch cycle extracted by the pitch cycle detection means and the number of repetitions counted by the counting means is within a predetermined threshold value. If the product of the pitch cycle extracted by the pitch cycle detection means and the number of repetitions counted by the counting means is determined to be greater than a predetermined threshold, the speech rate magnification is decreased. 4. The speech speed conversion device according to claim 1, wherein the speech speed conversion is performed. (However, speech speed ratio = time length of input voice signal / time length of output voice signal)
【請求項6】 音声信号よりピッチ周期を検出するピッ
チ周期検出手段と、 該ピッチ周期検出手段が抽出したピッチ周期に基づいて
所定のピッチ周期の繰り返し回数を計数する計数手段
と、 前記ピッチ周期検出手段で抽出したピッチ周期と前記計
数手段で計数した繰り返し回数との積と所定の第1の閾
値及び所定の第2の閾値とを比較する比較判定手段と、 該比較判定手段の判定結果に基づいて話速変換を行う話
速変換手段とを備えたことを特徴とする話速変換装置。 (但し、第1の閾値<第2の閾値)
6. A pitch cycle detecting means for detecting a pitch cycle from an audio signal; a counting means for counting the number of repetitions of a predetermined pitch cycle based on the pitch cycle extracted by the pitch cycle detecting means; Means for comparing a product of the pitch period extracted by the means and the number of repetitions counted by the counting means with a predetermined first threshold value and a predetermined second threshold value; And a speech speed conversion means for performing speech speed conversion. (However, the first threshold value <the second threshold value)
【請求項7】 音声信号よりピッチ周期を検出するピッ
チ周期検出手段と、 該ピッチ周期検出手段が抽出したピッチ周期に基づいて
所定のピッチ周期の繰り返し回数を計数する計数手段
と、 前記ピッチ周期検出手段で抽出したピッチ周期と前記計
数手段で計数した繰り返し回数との積と所定の第1の閾
値及び所定の第2の閾値とを比較する比較判定手段と、 前記所定の第1の閾値または所定の第2の閾値を変更す
る閾値変更手段と、 前記比較判定手段の判定結果に基づいて話速変換を行う
話速変換手段とを備えたことを特徴とする話速変換装
置。 (但し、第1の閾値<第2の閾値)
7. A pitch cycle detecting means for detecting a pitch cycle from an audio signal; a counting means for counting the number of repetitions of a predetermined pitch cycle based on the pitch cycle extracted by the pitch cycle detecting means; Means for comparing a product of the pitch period extracted by the means and the number of repetitions counted by the counting means with a predetermined first threshold value and a predetermined second threshold value; and the predetermined first threshold value or the predetermined value. A speech rate conversion device comprising: a threshold value changing unit that changes the second threshold value; and a speech speed conversion unit that performs speech speed conversion based on the determination result of the comparison determination unit. (However, the first threshold value <the second threshold value)
【請求項8】 前記話速変換手段は、前記比較判定手段
において前記ピッチ周期検出手段で抽出したピッチ周期
と前記計数手段で計数した繰り返し回数との積が所定の
第1の閾値と所定の第2の閾値との間にあると判定した
場合には、話速変換を行わないことを特徴とする請求項
6乃至請求項7記載の話速変換装置。
8. The speech speed conversion means, wherein the product of the pitch cycle extracted by the pitch cycle detection means in the comparison determination means and the number of repetitions counted by the counting means is a predetermined first threshold value and a predetermined first threshold value. 8. The speech speed conversion device according to claim 6, wherein the speech speed conversion is not performed when it is determined that the speech speed is between two threshold values.
【請求項9】 前記話速変換手段は、前記比較判定手段
において前記ピッチ周期検出手段で抽出したピッチ周期
と前記計数手段で計数した繰り返し回数との積が所定の
第1の閾値よりも小さいと判定した場合には、話速倍率
を小さくして話速変換を行なうことを特徴とする請求項
6乃至請求項8記載の話速変換装置。 (但し、話速倍率=入力音声信号の時間長/出力音声信
号の時間長)
9. The speech speed conversion means, wherein the product of the pitch cycle extracted by the pitch cycle detection means and the number of repetitions counted by the counting means is smaller than a predetermined first threshold value in the comparison determination means. 9. The speech speed conversion device according to claim 6, wherein when the judgment is made, the speech speed conversion is performed with the speech speed magnification reduced. (However, speech speed ratio = time length of input voice signal / time length of output voice signal)
【請求項10】 前記話速変換手段は、前記比較判定手
段において前記ピッチ周期検出手段で抽出したピッチ周
期と前記計数手段で計数した繰り返し回数との積が所定
の第2の閾値よりも大きいと判定した場合には、話速倍
率を大きくして話速変換を行なうことを特徴とする請求
項6乃至請求項9記載の話速変換装置。 (但し、話速倍率=入力音声信号の時間長/出力音声信
号の時間長)
10. The speech speed conversion means, wherein the product of the pitch cycle extracted by the pitch cycle detection means and the number of repetitions counted by the counting means in the comparison determination means is greater than a predetermined second threshold value. 10. The speech speed conversion device according to claim 6, wherein when the judgment is made, the speech speed conversion is performed by increasing the speech speed magnification. (However, speech speed ratio = time length of input voice signal / time length of output voice signal)
【請求項11】 前記話速変換手段は、前記比較判定手
段において前記ピッチ周期検出手段で抽出したピッチ周
期と前記計数手段で計数した繰り返し回数との積が所定
の第1の閾値よりも小さいと判定した場合には、話速倍
率を1より小さくして話速変換を行なうことを特徴とす
る請求項6乃至請求項8記載の話速変換装置。 (但し、話速倍率=入力音声信号の時間長/出力音声信
号の時間長)
11. The speech speed conversion means, wherein the product of the pitch cycle extracted by the pitch cycle detection means and the number of repetitions counted by the counting means in the comparison determination means is smaller than a predetermined first threshold value. 9. The speech speed conversion device according to claim 6, wherein when the judgment is made, the speech speed conversion is performed with the speech speed magnification smaller than one. (However, speech speed ratio = time length of input voice signal / time length of output voice signal)
【請求項12】 前記話速変換手段は、前記比較判定手
段において前記ピッチ周期検出手段で抽出したピッチ周
期と前記計数手段で計数した繰り返し回数との積が所定
の第2の閾値よりも大きいと判定した場合には、話速倍
率を1より大きくして話速変換を行なうことを特徴とす
る請求項6乃至請求項8記載の話速変換装置。 (但し、話速倍率=入力音声信号の時間長/出力音声信
号の時間長)
12. The speech speed conversion means, wherein the product of the pitch cycle extracted by the pitch cycle detection means and the number of repetitions counted by the counting means in the comparison determination means is greater than a predetermined second threshold value. 9. The speech speed conversion device according to claim 6, wherein when the judgment is made, the speech speed conversion is performed with the speech speed magnification greater than 1. (However, speech speed ratio = time length of input voice signal / time length of output voice signal)
【請求項13】 前記話速変換手段は、話速変換した音
声信号を蓄積する蓄積手段の空容量に応じて、話速倍率
を変更することを特徴とする請求項1乃至請求項12記
載の話速変換装置。 (但し、話速倍率=入力音声信号の時間長/出力音声信
号の時間長)
13. The speech speed conversion unit according to claim 1, wherein the speech speed conversion unit changes the speech speed magnification in accordance with an empty capacity of the storage unit that stores the speech signal whose speech speed has been converted. Speech speed converter. (However, speech speed ratio = time length of input voice signal / time length of output voice signal)
【請求項14】 前記話速変換手段は、話速変換した音
声信号を蓄積する蓄積手段の空容量が減少するのに応じ
て、話速倍率を1に近づけるように変更することを特徴
とする請求項1乃至請求項13記載の話速変換装置。 (但し、話速倍率=入力音声信号の時間長/出力音声信
号の時間長)
14. The speech speed conversion means changes the speech speed magnification to be closer to 1 as the empty capacity of the storage means for storing speech speed converted speech signals decreases. The speech speed conversion device according to claim 1. (However, speech speed ratio = time length of input voice signal / time length of output voice signal)
【請求項15】 前記話速変換手段は、話速変換した音
声信号を蓄積する蓄積手段の空容量が増加するのに応じ
て、話速倍率を所定の倍率に近づけるように変更するこ
とを特徴とする請求項1乃至請求項13記載の話速変換
装置。 (但し、話速倍率=入力音声信号の時間長/出力音声信
号の時間長)
15. The speech speed conversion means changes the speech speed magnification to be closer to a predetermined magnification in accordance with an increase in the empty capacity of the storage means for storing the speech speed converted speech signal. 14. The speech speed conversion device according to claim 1, wherein: (However, speech speed ratio = time length of input voice signal / time length of output voice signal)
【請求項16】 前記所定のピッチ周期とは、同一のピ
ッチ周期または2倍のピッチ周期または1/2のピッチ
周期、並びにこれらに近似するピッチ周期であることを
特徴とする請求項1乃至請求項15記載の話側変換装
置。
16. The pitch cycle according to claim 1, wherein the predetermined pitch cycle is the same pitch cycle, a double pitch cycle, a half pitch cycle, and a pitch cycle that is close to them. Item 16. The talking-side conversion device according to Item 15.
JP25185899A 1999-08-03 1999-09-06 Speaking speed converter Expired - Lifetime JP3691304B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25185899A JP3691304B2 (en) 1999-08-03 1999-09-06 Speaking speed converter

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP11-219953 1999-08-03
JP21995399 1999-08-03
JP25185899A JP3691304B2 (en) 1999-08-03 1999-09-06 Speaking speed converter

Publications (2)

Publication Number Publication Date
JP2001109499A true JP2001109499A (en) 2001-04-20
JP3691304B2 JP3691304B2 (en) 2005-09-07

Family

ID=26523429

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25185899A Expired - Lifetime JP3691304B2 (en) 1999-08-03 1999-09-06 Speaking speed converter

Country Status (1)

Country Link
JP (1) JP3691304B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001255894A (en) * 2000-03-13 2001-09-21 Sony Corp Device and method for converting reproducing speed
US7672840B2 (en) 2004-07-21 2010-03-02 Fujitsu Limited Voice speed control apparatus
JP2011523821A (en) * 2008-06-02 2011-08-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Apparatus and method for adjusting audiovisual system to viewer's attention level

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001255894A (en) * 2000-03-13 2001-09-21 Sony Corp Device and method for converting reproducing speed
US7672840B2 (en) 2004-07-21 2010-03-02 Fujitsu Limited Voice speed control apparatus
JP2011523821A (en) * 2008-06-02 2011-08-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Apparatus and method for adjusting audiovisual system to viewer's attention level
US9032472B2 (en) 2008-06-02 2015-05-12 Koninklijke Philips N.V. Apparatus and method for adjusting the cognitive complexity of an audiovisual content to a viewer attention level
US9749550B2 (en) 2008-06-02 2017-08-29 Koninklijke Philips N.V. Apparatus and method for tuning an audiovisual system to viewer attention level

Also Published As

Publication number Publication date
JP3691304B2 (en) 2005-09-07

Similar Documents

Publication Publication Date Title
WO1998041976A1 (en) Speaking speed changing method and device
JP4523257B2 (en) Audio data processing method, program, and audio signal processing system
US6999922B2 (en) Synchronization and overlap method and system for single buffer speech compression and expansion
JPH11265200A (en) Device and method for reproducing coded voice
JP3220043B2 (en) Speech rate conversion method and apparatus
JPH07319498A (en) Pitch cycle extracting device for voice signal
JP3691304B2 (en) Speaking speed converter
US8340972B2 (en) Psychoacoustic method and system to impose a preferred talking rate through auditory feedback rate adjustment
JP2001255894A (en) Device and method for converting reproducing speed
JP3378672B2 (en) Speech speed converter
JP3803302B2 (en) Video summarization device
JPH10301594A (en) Sound detecting device
JP3373933B2 (en) Speech speed converter
JP3422716B2 (en) Speech rate conversion method and apparatus, and recording medium storing speech rate conversion program
JP4442239B2 (en) Voice speed conversion device and voice speed conversion method
JP3289512B2 (en) Automatic gain control by unvoiced sound detection
JPH08147874A (en) Speech speed conversion device
JP2001053835A (en) Speech device equipped with speaking speed converting device
JPH07192392A (en) Speaking speed conversion device
JPH10224898A (en) Hearing aid
JP2010026243A (en) Automatic speech speed conversion device
JPH09146587A (en) Speech speed changer
JP3639461B2 (en) Audio signal pitch period extraction method, audio signal pitch period extraction apparatus, audio signal time axis compression apparatus, audio signal time axis expansion apparatus, audio signal time axis compression / expansion apparatus
JP3200887B2 (en) Audio waveform decoding device
JPH08298698A (en) Environmental sound analyzer

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040830

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050127

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050615

R151 Written notification of patent or utility model registration

Ref document number: 3691304

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080624

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090624

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090624

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100624

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110624

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110624

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120624

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130624

Year of fee payment: 8

EXPY Cancellation because of completion of term