JP2001134300A - 音声再生方法および音声再生装置 - Google Patents

音声再生方法および音声再生装置

Info

Publication number
JP2001134300A
JP2001134300A JP2000171556A JP2000171556A JP2001134300A JP 2001134300 A JP2001134300 A JP 2001134300A JP 2000171556 A JP2000171556 A JP 2000171556A JP 2000171556 A JP2000171556 A JP 2000171556A JP 2001134300 A JP2001134300 A JP 2001134300A
Authority
JP
Japan
Prior art keywords
sound
processing unit
audio signal
data
unit period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000171556A
Other languages
English (en)
Other versions
JP4895418B2 (ja
Inventor
Taro Mizufuji
太郎 水藤
Masashi Ota
正志 太田
Masami Miura
雅美 三浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000171556A priority Critical patent/JP4895418B2/ja
Priority to US09/643,300 priority patent/US6925340B1/en
Priority to KR1020000049195A priority patent/KR100739355B1/ko
Publication of JP2001134300A publication Critical patent/JP2001134300A/ja
Application granted granted Critical
Publication of JP4895418B2 publication Critical patent/JP4895418B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93Discriminating between voiced and unvoiced parts of speech signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/06Cutting and rejoining; Notching, or perforating record carriers otherwise than by recording styli
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04Time compression or expansion
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007Time or data compression or expansion
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • G11B2020/10546Audio or video recording specifically adapted for audio data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers

Abstract

(57)【要約】 (修正有) 【課題】 記録媒体から音声信号を定常速度より速い速
度で再生し、通常の音程で出力する方法で、音声が途切
れることが少なく、内容が理解しやすくする。 【解決手段】 2倍速再生によって得られた元の再生音
声信号である入力データSiを60m秒相当の処理単位
期間T1,T2…ごとに区切る。期間T1では、有音部
分と無音部分が30m秒分ずつ存在し、出力バッファに
データが全く蓄積されていないので、無音部分を全て削
除し、前後の有音部分を接合して、有音部分のデータの
みを全て出力バッファに書き込む。期間T2では、出力
バッファに60m秒分のデータを全て蓄えるだけの空き
があるので、有音部分のデータをそのまま出力バッファ
に書き込む。期間T5では、出力バッファに60m秒分
のデータを全て蓄えるだけの空きがないので、60m秒
分の有音部分のデータを30m秒分に圧縮して出力バッ
ファに書き込む。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、ビデオテープレ
コーダなどのように映像信号および音声信号を記録再生
する機器や、ミニディスクプレーヤなどのように音声信
号を記録再生する機器などにおいて、記録媒体から、こ
れに記録された音声信号を定常速度より速い速度で再生
する方法および装置に関する。
【0002】
【従来の技術】家庭用ビデオテープレコーダで、再生時
間を短縮するために、テープに記録された映像信号およ
び音声信号を、定常速度より速い2倍速などの速度で再
生する場合でも、音声信号については、無音部分を優先
的に削除するように元の再生音声信号を周期的に切り貼
りすることによって、音声を定常速度で聞き取ることが
できるようにしたものが考えられている。
【0003】
【発明が解決しようとする課題】しかしながら、上述し
た従来の音声再生方法では、元の再生音声信号を周期的
に削除するため、元の再生音声信号中に無音部分が一定
の割合で含まれていない場合には、有音部分が削除され
て、切り貼り後の再生音声信号は音声が途切れ途切れに
なり、内容を理解できなくなってしまう。
【0004】また、元の再生音声信号中に無音部分があ
る程度含まれていて、有音部分を削除しなくても再生音
声信号の切り貼りができる場合でも、無音期間が短くな
り、有音部分が密着することによって、異なる音に聞こ
えてしまうことがある。例えば「k」のような閉鎖子音
の前の無音期間が短くなると、「a−ka」が「a−g
a」のように聞こえてしまう。
【0005】そこで、この発明は、第1に、再生時間を
短縮するために定常速度より速い速度で再生された音声
信号を通常の音程で出力する場合に、有音部分の削除に
よって音声が途切れてしまうことが少なくなり、内容が
理解しやすくなるようにしたものである。
【0006】この発明は、第2に、上記の第1に加え
て、連続音声部分の密着によって異なる音に聞こえてし
まうことが少なくなるようにしたものである。
【0007】
【課題を解決するための手段】第1の発明の音声再生方
法では、記録媒体から、これに記録された音声信号を定
常速度より速い速度で再生することによって得られた再
生入力音声信号を、処理単位期間ごとに区切り、出力バ
ッファから定常速度相当量の再生出力音声信号が得られ
る範囲内で無音部分を削除し、その前後の信号部分を接
合して、それぞれの処理単位期間の再生入力音声信号
を、前記出力バッファに書き込むとともに、処理単位期
間の再生入力音声信号中に前記出力バッファに蓄えられ
ない量の有音部分が存在する場合には、一部の有音部分
を削除し、その前後の有音部分を接合して、その処理単
位期間の再生入力音声信号を圧縮して、前記出力バッフ
ァに書き込む。
【0008】第2の発明の音声再生方法では、記録媒体
から、これに記録された音声信号を定常速度より速い速
度で再生することによって得られた再生入力音声信号に
つき、連続音声部分の終端部の振幅を抑圧し、その振幅
抑圧処理後の再生入力音声信号を、処理単位期間ごとに
区切り、出力バッファから定常速度相当量の再生出力音
声信号が得られる範囲内で無音部分を削除し、その前後
の有音部分を接合して、それぞれの処理単位期間の再生
入力音声信号を、前記出力バッファに書き込むととも
に、処理単位期間の再生入力音声信号中に前記出力バッ
ファに蓄えられない量の有音部分が存在する場合には、
一部の有音部分を削除し、その前後の有音部分を接合し
て、その処理単位期間の再生入力音声信号を圧縮して、
前記出力バッファに書き込む。
【0009】上記の方法による第1の発明の音声再生方
法によれば、出力バッファを効果的に用いることによっ
て、必要最小限のメモリを用いるだけで、有音部分の削
除によって音声が途切れてしまうことが少なくなり、内
容が理解しやすくなる。
【0010】第2の発明の音声再生方法によれば、さら
に、連続音声部分の密着によって異なる音に聞こえてし
まうことが少なくなる。
【0011】
【発明の実施の形態】〔システム全体の一実施形態…図
1および図2〕図1は、この発明の再生装置の一実施形
態を示し、ハードディスク、光磁気ディスク、光ディス
クなど、ディスク状の記録媒体から、これに記録された
映像信号および音声信号を、定常速度より速い速度で再
生することができる場合である。
【0012】再生装置は、記録装置を兼ねてもよく、実
際上も記録装置を兼ねることが望ましいが、記録方法お
よび記録装置は、公知のものと特に変わらないので省略
し、記録媒体1には、所定のプロトコルおよびフォーマ
ットによるデジタル化された映像信号および音声信号が
記録されているものとする。
【0013】以下の例では、MPEG(Moving
Picture ExpertsGroup)−2Sy
stemsの圧縮符号化方式および多重化方式によっ
て、圧縮された映像データおよび音声データがTS(T
ransport Stream)として多重化されて
記録されているものとし、音声信号のサンプリング周波
数は48kHz(60m秒で2880サンプル)とす
る。
【0014】記録媒体1は、駆動モータ3によって回転
駆動される。再生ヘッド2は、記録媒体1から、これに
記録されている映像信号および音声信号を読み取るもの
で、磁気ヘッドや光学ピックアップなどであり、駆動モ
ータ4を含む移動機構によって記録媒体1の径方向に移
動させられる。駆動モータ3および4は、サーボ回路5
によって駆動制御され、サーボ回路5は、装置全体を制
御するシステムコントローラ6によって制御される。
【0015】再生ヘッド2の出力として得られる、記録
媒体1から読み取られた映像信号および音声信号、この
例ではTSとして多重化された映像データおよび音声デ
ータは、デマルチプレクサ7に供給され、デマルチプレ
クサ7から、映像データおよび音声データが、それぞれ
映像PES(Packetized Elementa
ry Stream)および音声PESとして分離され
て得られる。
【0016】デマルチプレクサ7からの映像データは、
MPEG映像デコーダ11で、伸長復号化されるととも
に、再生倍率に応じてフレーム単位またはフィールド単
位で間引かれる。
【0017】すなわち、2倍速再生の場合には、記録媒
体1からは映像データが定常速度の2倍の速度で読み取
られるが、MPEG映像デコーダ11で、連続する2フ
レームにつき1フレーム、または連続する2フィールド
につき1フィールド、映像データが間引かれる。3倍速
再生の場合には、記録媒体1からは映像データが定常速
度の3倍の速度で読み取られるが、MPEG映像デコー
ダ11で、連続する3フレームにつき2フレーム、また
は連続する3フィールドにつき2フィールド、映像デー
タが間引かれる。
【0018】MPEG映像デコーダ11の出力の映像デ
ータは、NTSC(National Televis
ion System Committee)エンコー
ダ12で、NTSC映像信号にエンコードされ、アナロ
グ信号に変換されて、CRTディスプレイや液晶ディス
プレイなどの表示装置13に供給される。
【0019】デマルチプレクサ7からの音声データは、
MPEG音声デコーダ14で、伸長復号化されて、音声
処理部15に供給され、音声処理部15で、後述のよう
に速度変換されて、再生倍率にかかわらずサンプリング
周波数が上記の48kHzとされ、アナログ信号に変換
されて、スピーカなどの音声出力装置16に供給され
る。
【0020】すなわち、2倍速再生の場合には、記録媒
体1から音声データが定常速度の2倍の速度で読み取ら
れることによって、MPEG音声デコーダ14の出力の
音声データは、60m秒で2×2880サンプルとなる
が、音声処理部15での速度変換によって、音声処理部
15の出力の音声データとしては、60m秒で2880
サンプルとされる。3倍速再生の場合には、記録媒体1
から音声データが定常速度の3倍の速度で読み取られる
ことによって、MPEG音声デコーダ14の出力の音声
データは、60m秒で3×2880サンプルとなるが、
音声処理部15での速度変換によって、音声処理部15
の出力の音声データとしては、60m秒で2880サン
プルとされる。
【0021】システムコントローラ6には、操作部9が
接続される。操作部9は、装置の利用者が再生倍率を指
示するなどの各種操作を行うもので、これには、装置の
動作状態や操作状況を表示する液晶表示部などの表示部
が設けられる。
【0022】図2は、音声処理部15の一例を示す。こ
の例は、MPEG音声デコーダ14の出力の音声データ
につき、速度変換の前処理として、連続音声部分(音声
のひとまとまり、ひとまとまりの音声部分)の終端部の
振幅を抑圧するとともに、速度変換処理の処理単位時間
を一定にする場合で、音声処理部15は、振幅抑圧処理
部70、処理単位期間設定部21、有音無音判定部2
2、速度変換処理部23、出力バッファ24、D/Aコ
ンバータ25および音声増幅器26によって構成され
る。
【0023】〔振幅抑圧処理…図3〜図12〕図2の例
の音声処理部15の振幅抑圧処理部70では、MPEG
音声デコーダ14の出力の音声データにつき、連続音声
部分の終端部の振幅が抑圧される。
【0024】(振幅抑圧処理の第1の例…図3〜図6)
振幅抑圧処理部70での振幅抑圧処理の一つの方法とし
て、特開平8−179792号に示された方法を用いる
ことができる。図3〜図6に、この特開平8−1797
92号に示された方法による振幅抑圧処理を示す。
【0025】図3は、振幅抑圧処理部70の構成を示
し、入力端子71には、入力音声信号として上述したM
PEG音声デコーダ14の出力の音声データが供給され
る。この入力音声信号は、子音成分分離フィルタ72お
よびフォルマント成分分離フィルタ73に供給され、子
音成分分離フィルタ72からは、入力音声信号中の子音
成分が抽出される。また、フォルマント成分分離フィル
タ73の通過帯域が、例えば150〜1000Hzに設
定されることによって、フォルマント成分分離フィルタ
73からは、入力音声信号中のピッチ成分およびフォル
マント成分が抽出される。
【0026】フォルマント成分分離フィルタ73の出力
は、レベル検出部74に供給され、レベル検出部74に
おいて、例えば、フォルマント成分分離フィルタ73の
出力が全波整流され、その整流出力が60Hz以下を通
過帯域とするローパスフィルタに供給され、ローパスフ
ィルタの出力のレベルが検出されることによって、入力
音声信号の音声レベルが検出され、レベル検出値Eが得
られる。このようにピッチ成分およびフォルマント成分
のみから音声レベルが検出されることによって、レベル
検出値Eとしてノイズの影響が少ないものが得られる。
【0027】このレベル検出部74からのレベル検出値
Eは、制御部75で後述のように処理され、制御部75
から振幅抑圧の制御信号としての制御係数Wが得られ
る。
【0028】そして、フォルマント成分分離フィルタ7
3の出力、および制御部75からの制御係数Wが、振幅
抑圧部76に供給され、振幅抑圧部76において、後述
のように制御係数Wによってフォルマント成分分離フィ
ルタ73の出力が減衰される。
【0029】さらに、周波数特性補正フィルタ77で、
子音成分分離フィルタ72の出力と振幅抑圧部76の出
力が混合されるとともに、混合後の信号に対してイコラ
イジング処理などの所要の周波数特性補正処理が施さ
れ、処理後の出力音声信号が出力端子79に得られる。
周波数特性補正フィルタ77は、倍速再生の再生倍率に
応じてフィルタ係数や処理帯域が設定される。ただし、
周波数特性補正フィルタ77によって周波数特性を補正
しないで、子音成分分離フィルタ72の出力と振幅抑圧
部76の出力を混合するだけでもよい。
【0030】制御部75は、レベル検出部74からのレ
ベル検出値Eから、連続音声部分の終端が近づいている
ことを予測するとともに、次の連続音声部分の始端を検
出する。そして、その予測および検出に基づいて、振幅
抑圧部76に対する制御係数Wを設定して、連続音声部
分の終端が近づいたら、フォルマント成分分離フィルタ
73の出力を減衰させ、次の連続音声部分の始端が到来
したら、その減衰を解除することによって、隣接する連
続音声部分の間に振幅の小さい期間または無音期間を形
成し、または隣接する連続音声部分の間の無音期間を広
げる。
【0031】この処理を、図4を用いて示す。同図
(A)は、入力端子71に得られる入力音声信号であ
り、アナログ波形で示す。同図(B)は、この場合にレ
ベル検出部74から得られるレベル検出値Eであり、ア
ナログ波形で示す。
【0032】制御部75は、まず、レベル検出値Eのピ
ーク値PKを検出して閾値THを設定する。例えば、ピ
ーク値PKに係数を乗じて、ピーク値PKの一定割合の
値を閾値THとして設定する。次に、そのときのサンプ
ルタイミングでのレベル検出値E(i)を直前のサンプ
ルタイミングでのレベル検出値E(i−1)と比較し
て、音声レベルが増加傾向にあるか減少傾向にあるかを
判断するとともに、そのときのサンプルタイミングでの
レベル検出値E(i)を上記の閾値THと比較する。
【0033】そして、図4の時点t0で示すように、音
声レベルが減少傾向にあり、かつ、そのときのレベル検
出値E(i)が閾値THより小さくなったときには、連
続音声部分の終端が近づいていると判断して、同図
(C)に示すように、振幅抑圧部76に対する制御係数
W(振幅抑圧部76の利得レベル)を最大値1から最小
値0に向けて徐々に低下させ、フォルマント成分分離フ
ィルタ73の出力の減衰量を徐々に増加させる。
【0034】また、振幅抑圧後、図4の時点t1で示す
ように、音声レベルが増加傾向に転じたときには、次の
連続音声部分の始端と判断して、同図(C)に示すよう
に、振幅抑圧部76に対する制御係数W(振幅抑圧部7
6の利得レベル)を最小値0から最大値1に向けて徐々
に増加させ、フォルマント成分分離フィルタ73の出力
の減衰量を徐々に低下させる。
【0035】このような振幅抑圧処理によって、出力端
子79に得られる出力音声信号は、図4(D)にアナロ
グ波形で示すように、隣接する連続音声部分の間に振幅
の小さい期間または無音期間が形成され、または隣接す
る連続音声部分の間の無音期間が広げられたものとな
る。
【0036】制御部75は、より具体的には、図5に示
すような処理ルーチンによって、振幅抑圧部76に対す
る制御係数Wを設定する。
【0037】図5の処理ルーチンは、レベル検出部74
から制御部75にレベル検出値E(i)が取り込まれる
ごとに処理を開始するもので、まずステップF101
で、レベル検出値E(i)を閾値THと比較する。閾値
THは、それ以前においてステップF110またはF1
17で後述のように設定した値である。
【0038】そして、E(i)≧THであれば、ステッ
プF101からステップF111に進んで、ダウンフラ
グDWを1にセットする。ダウンフラグDWは、それ以
前は音声レベルが減少傾向にあった場合、または減少傾
向にあったと見なす場合に、1とするフラグである。
【0039】次に、ステップF112で、フラグBYを
確認する。フラグBYは、直前のレベル検出値E(i−
1)が閾値THより小さかった場合に、ステップF10
2で0とされるフラグである。したがって、レベル検出
値E(i)として閾値TH以上の値が最初に入力された
ときには、フラグBYは0であって、ステップF112
からステップF118に進む。
【0040】ステップF118では、レベル検出値E
(i)をピーク値PKの下限値LimLと比較する。ピ
ーク値PKについては、あらかじめ上限値LimHおよ
び下限値LimLが設定され、制御部75は、後述のよ
うに、ピーク値PKが上限値LimHより大きいときに
は、上限値LimHをピーク値PKとして設定し、ピー
ク値PKが下限値LimLより小さいときには、下限値
LimLをピーク値PKとして設定して、ピーク値PK
を上限値LimHと下限値LimLとの間に設定するも
のである。
【0041】そして、E(i)<LimLであれば、ス
テップF118からステップF119に進んで、下限値
LimLをピーク値PKとして設定した上で、ステップ
F121に進み、E(i)≧LimLであれば、ステッ
プF118からステップF120に進んで、閾値THを
ピーク値PKとして設定した上で、ステップF121に
進む。
【0042】ステップF121では、上記のフラグBY
を1にセットし、次にレベル検出値E(i)が入力され
たときに備えて、音声レベルが閾値TH以上になったこ
とを示しておく。
【0043】次に、ステップF122で、そのときのレ
ベル検出値E(i)を直前のレベル検出値E(i−1)
と比較し、E(i)>E(i−1)であれば、音声レベ
ルが増加傾向にあると判断して、ステップF122から
ステップF123に進んで、制御係数WをW+d2の値
に更新した上で、次回の処理に移行し、E(i)≦E
(i−1)であれば、音声レベルが増加傾向にないと判
断して、ステップF122から直接、次回の処理に移行
する。
【0044】ステップF121からステップF122に
進んだ場合は、レベル検出値E(i)として閾値TH以
上の値が最初に入力されたときで、音声レベルが増加傾
向にあるので、ステップF123で制御係数Wが更新さ
れることになる。
【0045】d2は、制御係数Wを増加させ、減衰量を
低下させる場合のステップ幅である。ただし、図4
(C)に示したように、制御係数Wは0≦W≦1とされ
る。したがって、W=1であったときには、ステップF
123では制御係数Wを更新しない。
【0046】次回の処理においても、E(i)≧THで
あれば、ステップF101からステップF111および
F112に進むが、このときは、レベル検出値E(i)
として閾値TH以上の値が最初に入力されたときではな
く、フラグBYが1にセットされているので、ステップ
F112からステップF113に進む。
【0047】ステップF113では、レベル検出値E
(i)をピーク値PKと比較し、PK≧E(i)であれ
ば、そのままステップF122に進むが、PK<E
(i)であれば、ステップF114以下に進んで、ピー
ク値PKを更新した上で、閾値THを更新する。
【0048】すなわち、まずステップF114で、レベ
ル検出値E(i)をピーク値PKの上限値LimHと比
較し、E(i)>LimHであれば、ステップF114
からステップF115に進んで、上限値LimHをピー
ク値PKとして設定した上で、ステップF117に進
み、E(i)≦LimHであれば、ピーク値PKより大
きいレベル検出値E(i)が新たなピーク値PKとして
検出されたことになるので、ステップF114からステ
ップF116に進んで、レベル検出値E(i)をピーク
値PKとして設定した上で、ステップF117に進む。
【0049】ステップF117では、閾値THを、上記
のように更新したピーク値PKの一定割合の値PK×R
Tに更新する。係数RTで表される割合は、数%〜数1
0%に選定される。ステップF117で閾値THを更新
したら、ステップF122に進む。
【0050】以上は、レベル検出値E(i)が閾値TH
以上の値である場合である。逆に、レベル検出値E
(i)が閾値THより小さい場合には、ステップF10
1からステップF102に進んで、上記のフラグBYを
0にする。
【0051】次に、ステップF103で、そのときのレ
ベル検出値E(i)を直前のレベル検出値E(i−1)
と比較し、E(i)<E(i−1)であれば、音声レベ
ルが減少傾向にあると判断して、ステップF103から
ステップF105に進んで、ダウンフラグDWを確認す
る。
【0052】そして、ダウンフラグDWが1であれば、
それ以前は音声レベルが減少傾向にあった場合、または
減少傾向にあったと見なす場合であるので、このとき、
レベル検出値E(i)が閾値THより小さく、かつ直前
のレベル検出値E(i−1)より小さいことから、連続
音声部分の終端が近づいていると判断して、ステップF
105からステップF106に進んで、制御係数WをW
−d1の値に更新した上で、次回の処理に移行する。
【0053】d1は、制御係数Wを減少させ、減衰量を
増加させる場合のステップ幅である。ただし、図4
(C)に示したように、制御係数Wは0≦W≦1とされ
る。したがって、W=0であったときには、ステップF
106では制御係数Wを更新しない。
【0054】以後、レベル検出値E(i)が連続音声部
分の終端に向けて低下し続けている間は、ステップF1
06で制御係数Wの更新が繰り返されて、図4の時点t
0以降に示したように、振幅抑圧部76の利得レベルが
徐々に低下する。そして、制御係数W(利得レベル)が
0に達すると、次に時点t1で示したように音声レベル
が増加傾向に転じるまでは、制御係数W(利得レベル)
が0の状態が維持される。
【0055】一方、ステップF105でダウンフラグD
Wが0であると判断した場合は、それ以前は音声レベル
が減少傾向になく、レベル検出値E(i)として閾値T
Hより小さい値が最初に入力されたときである。このと
き、音声レベルが減少傾向にあっても、連続音声部分の
終端が近づいていない場合も存在すると考えられる。そ
こで、ステップF105でダウンフラグDWが0である
と判断したときには、ステップF107以下に進んで、
ピーク値PKを更新した上で、閾値THを更新する。
【0056】すなわち、まずステップF107で、レベ
ル検出値E(i)をピーク値PKの下限値LimLと比
較し、E(i)≧LimLであれば、ステップF107
からステップF108に進んで、レベル検出値E(i)
をピーク値PKとして設定した上で、ステップF110
に進み、E(i)<LimLであれば、ステップF10
7からステップF109に進んで、下限値LimLをピ
ーク値PKとして設定した上で、ステップF110に進
む。
【0057】ステップF110では、閾値THを、上記
のように更新したピーク値PKの一定割合の値PK×R
Tに更新する。また、このとき、連続音声部分の終端が
近づいている場合も存在するので、ステップF106と
同様に、制御係数WをW−d1の値に更新する。さら
に、ステップF110では、ダウンフラグDWを1にセ
ットし、音声レベルが減少傾向になったことを示してお
く。
【0058】このようにレベル検出値E(i)として閾
値THより小さい値が最初に入力されたときには、ステ
ップF110で閾値THが更新されることによって、連
続音声部分の終端が近づいているか否かが、より正確に
判定される。すなわち、実際には連続音声部分の終端が
近づいていないときには、次に入力されるレベル検出値
E(i)は更新された閾値TH以上になる確率が高く、
次回の処理ではステップF111以降の処理が実行され
る可能性が高いので、連続音声部分の終端が近づいてい
ると誤判定される確率は低い。
【0059】逆に、実際に連続音声部分の終端が近づい
ているときには、次に入力されるレベル検出値E(i)
が更新された閾値THより小さくなり、かつ直前のレベ
ル検出値E(i−1)より小さくなるので、次回の処理
ではステップF105からステップF106に進んで、
連続音声部分の終端部の振幅を抑圧する処理が実行され
る。
【0060】振幅抑圧後、図4の時点t1で示したよう
に次の連続音声部分の始端が到来すると、制御部75
は、ステップF103で、そのときのレベル検出値E
(i)が直前のレベル検出値E(i−1)以上であると
判断することによって、ステップF103からステップ
F104に進んで、制御係数WをW+d2の値に更新す
るとともに、ダウンフラグDWを0にする。
【0061】以後、レベル検出値E(i)が増加する間
は、レベル検出値E(i)が閾値THより小さいときに
はステップF104で、レベル検出値E(i)が閾値T
H以上の値のときにはステップF123で、制御係数W
の更新が繰り返されて、図4の時点t1以降に示したよ
うに、振幅抑圧部76の利得レベルが徐々に増加する。
【0062】以上のように、図5の処理ルーチンによっ
て、振幅抑圧処理部70の出力音声信号は、隣接する連
続音声部分の間に振幅の小さい期間または無音期間が形
成され、または隣接する連続音声部分の間の無音期間が
広げられたものとなる。
【0063】図6は、話者が日本語の「親譲りの無鉄砲
で子供のときから損ばかりしている」という発音をした
ときの音声信号波形を示し、同図(A)が、振幅抑圧処
理を行う前の波形であり、同図(B)が、上述した振幅
抑圧処理を行った後の波形である。同図(B)の矢印で
示すように、上述した振幅抑圧処理を行った場合には、
それぞれの話音(連続音声部分)の間が振幅の小さい期
間または無音期間によって明確に区切られ、それぞれの
話音を明瞭に認識することができるようになる。
【0064】(振幅抑圧処理の第2の例…図7〜図1
2)図2の例の音声処理部15の振幅抑圧処理部70で
の振幅抑圧処理の他の一つの方法として、特開平7−3
6487号に示された方法を用いることができる。図7
〜図12に、この特開平7−36487号に示された方
法による振幅抑圧処理を示す。
【0065】図7は、振幅抑圧処理部70の構成を示
し、入力端子71には、入力音声信号として上述したM
PEG音声デコーダ14の出力の音声データが供給され
る。この入力音声信号は、遅延回路81で例えば30m
秒遅延されて、振幅抑圧部82に供給される。また、入
力音声信号が、バンドパスフィルタ83に供給されて、
バンドパスフィルタ83から、入力音声信号中のピッチ
成分および第1フォルマント成分のみが抽出される。
【0066】人の会話の音声は、母音の場合、主として
ピッチ成分と第1フォルマント成分、第2フォルマント
成分などのフォルマント成分とに解析することができ
る。すなわち、例えば「あ」と発音したときの音声パワ
ースペクトルは、図9に示すように、周波数が低い方か
ら順に、ピッチ成分P、第1フォルマント成分F1、第
2フォルマント成分F2、第3フォルマント成分F3…
と、エネルギーが集中する箇所が存在する。
【0067】したがって、バンドパスフィルタ83の上
側のカットオフ周波数を第1フォルマント成分F1と第
2フォルマント成分F2との間の周波数に選定すること
によって、ピッチ成分および第1フォルマント成分のみ
を抽出することができる。ただし、発音する音や発音す
る者の違いによって各成分の周波数が変化するので、シ
ステムが扱う音声信号によってバンドパスフィルタ83
の通過帯域を若干変える必要がある。
【0068】このバンドパスフィルタ83からのピッチ
成分および第1フォルマント成分は、レベル検出部84
に供給され、レベル検出部84において、例えば、バン
ドパスフィルタ83の出力が全波整流され、その整流出
力が60Hz以下を通過帯域とするローパスフィルタに
供給され、ローパスフィルタの出力のレベルが検出され
ることによって、入力音声信号の音声レベルが検出さ
れ、レベル検出値Eが得られる。このようにピッチ成分
およびフォルマント成分のみから音声レベルが検出され
ることによって、レベル検出値Eとしてノイズの影響が
少ないものが得られる。
【0069】このレベル検出部84からのレベル検出値
Eは、制御部85で後述のように処理され、振幅抑圧部
82において、後述のように制御部85の制御によって
遅延回路81の出力の音声信号が減衰され、出力端子7
9に振幅抑圧処理後の出力音声信号が得られる。
【0070】図10は、この例の制御部85が実行する
処理ルーチンの一例を示す。この処理ルーチンは、レベ
ル検出部84から制御部85にレベル検出値E(i)が
取り込まれるごとに処理を開始するもので、まずステッ
プS101で、レベル検出値E(i)を音声の途切れを
判断するための閾値Ath1と比較する。閾値Ath1
は、それ以前においてステップS107で後述のように
設定した値である。
【0071】そして、E(i)≧Ath1であれば、ス
テップS101からステップS102に進んで、イネー
ブル値が0であるか否かを判断する。このイネーブル値
は、以前の音声レベルの状態を示す値で、以前に音声レ
ベルが増加している場合には1とされるものである。
【0072】そのため、音声レベルが立ち上がり始めた
ときには、ステップS102ではイネーブル値が0であ
ると判断して、ステップS102からステップS103
に進んで、レベル検出値E(i)を音声の存在を判断す
るための閾値Ath2と比較する。閾値Ath2は、あ
らかじめ設定される。
【0073】そして、E(i)≦Ath2であれば、そ
のまま次回の処理に移行するが、E(i)>Ath2で
あれば、音声が存在すると判断して、ステップS104
に進んで、上記のイネーブル値を1に設定するととも
に、振幅抑圧終了時からのサンプル数を示す変数Soを
0に設定した上で、ステップS105に進む。
【0074】ステップS105では、レベル検出値E
(i)をピーク値PKの上限値LimHと比較し、E
(i)>LimHであれば、ステップS105からステ
ップS106に進んで、上限値LimHをピーク値PK
として設定した上で、ステップS107に進み、E
(i)≦LimHであれば、ステップS105からステ
ップS108に進んで、レベル検出値E(i)をピーク
値PKとして設定した上で、ステップS107に進む。
【0075】ステップS107では、音声の途切れを判
断するための閾値Ath1を、上記のように設定したピ
ーク値PKの一定割合の値PK×Rtに更新する。ステ
ップS107で閾値Ath1を更新したら、次回の処理
に移行する。
【0076】一方、ステップS102でイネーブル値が
1であると判断したときには、ステップS109に進ん
で、レベル検出値E(i)をピーク値PKと比較し、E
(i)≦PKであれば、そのまま次回の処理に移行する
が、E(i)>PKであれば、ステップS105以下に
進んで、上記のようにピーク値PKおよび閾値Ath1
を更新した上で、次回の処理に移行する。
【0077】以上の処理を繰り返している間にレベル検
出値E(i)が低下して、ステップS101でレベル検
出値E(i)が閾値Ath1より小さいと判断したとき
には、ステップS101からステップS110に進ん
で、上記のイネーブル値が1であるか否かを判断する。
【0078】そして、イネーブル値が1であれば、連続
音声部分の終端であると判断して、ステップS110か
らステップS111に進んで、イネーブル値を0に変更
し、振幅抑圧終了時からのサンプル数を示す変数Soを
0に設定するとともに、利得漸減期間(減衰量漸増期
間)および無音期間を形成するように振幅抑圧部82の
利得レベルを制御する。
【0079】すなわち、図11に示すようなサンプル数
Saの期間Taでは、遅延回路81の出力の音声信号に
対する重み係数(振幅抑圧部82の利得レベル)を、最
大値1から最小値0に向けて、係数Waで示すように音
声信号の1サンプルごとに徐々に低下させ、その直後
の、図11に示すようなサンプル数Mの期間Tmでは、
遅延回路81の出力の音声信号に対する重み係数(振幅
抑圧部82の利得レベル)を最小値0にする。利得漸減
期間Taは、例えば10m秒とし、無音期間Tmは、例
えば20m秒とする。
【0080】このようにステップS111で振幅抑圧部
82の利得レベルを制御したら、次回の処理に移行す
る。次回の処理でも、ステップS101でレベル検出値
E(i)が閾値Ath1より小さいと判断するので、ス
テップS101からステップS110に進んで、イネー
ブル値が1であるか否かを判断するが、次回の処理で
は、イネーブル値が0にされているので、ステップS1
10からステップS112に進む。
【0081】そして、ステップS112では、振幅抑圧
終了時からのサンプル数を示す変数Soが、利得漸増期
間(減衰量漸減期間)として定められる期間のサンプル
数Sbより小さいか否かを判断し、So<Sbであれ
ば、次の連続音声部分の始端であると判断して、ステッ
プS112からステップS113に進んで、利得漸増期
間を形成するように振幅抑圧部82の利得レベルを制御
する。
【0082】すなわち、図11に示すような、無音期間
Tmの直後のサンプル数Sbの期間Tbでは、遅延回路
81の出力の音声信号に対する重み係数(振幅抑圧部8
2の利得レベル)を、最小値0から最大値1に向けて、
係数Wbで示すように音声信号の1サンプルごとに徐々
に増加させる。利得漸増期間Tbは、例えば5m秒とす
る。
【0083】このようにステップS113で振幅抑圧部
82の利得レベルを制御したら、次回の処理に移行す
る。ステップS112で変数Soがサンプル数Sb以上
であると判断したときには、そのまま次回の処理に移行
する。
【0084】以上のように、この例の振幅抑圧処理で
は、制御部85の制御によって振幅抑圧部82で音声信
号の振幅が抑圧されるが、振幅抑圧部82に供給される
音声信号は、入力端子71に得られる音声信号に対して
30m秒遅れるので、制御部85で連続音声部分の終端
が検出されたとき、30m秒前に溯って連続音声部分の
終端の30m秒前の信号位置から、利得漸減期間Taお
よび無音期間Tmで示したように音声信号の振幅を抑圧
することができる。
【0085】図12は、話者が日本語の「書いて下さ
い」という発音をしたときの音声信号波形を示し、同図
(A)が、振幅抑圧処理を行う前の波形であり、同図
(B)が、上述した振幅抑圧処理を行った後の波形であ
る。同図(B)に示すように、上述した振幅抑圧処理を
行った場合には、それぞれ「かい」「て」「く」「だ」
「さい」という話音(連続音声部分)の終端の直前に無
音期間M1,M2,M3,M4,M5が形成され、それ
ぞれの話音を明瞭に認識することができるようになる。
【0086】無音期間Tmは、20m秒に限らず、数m
秒〜数10m秒の範囲で適切に設定すればよい。また、
完全な無音状態にしないで、例えば振幅を数10%抑圧
してもよい。
【0087】図8に示すように、図7の遅延回路81お
よび振幅抑圧部82の代わりに、FIFO(first
−in first−out)メモリ86を用いてもよ
い。この場合には、FIFOメモリ86に書き込んだ音
声データを一定時間遅れてFIFOメモリ86から読み
出す際、制御部85によってデータ値を補正することに
よって、出力端子79に振幅抑圧処理後の出力音声信号
を得る。
【0088】〔速度変換処理…図13〜図17〕図2の
例の音声処理部15では、MPEG音声デコーダ14の
出力の音声データにつき、上述したように振幅抑圧処理
部70で連続音声部分の終端部の振幅を抑圧した後、速
度変換(人の会話の場合には話速変換)を実行する。
【0089】MPEG音声デコーダ14の出力の音声デ
ータ、したがって振幅抑圧処理部70の出力の音声デー
タは、上述したように、2倍速再生の場合には60m秒
で2×2880サンプルとなり、3倍速再生の場合には
60m秒で3×2880サンプルとなる。以下では、2
倍速再生の場合を例として速度変換処理を示すが、3倍
速再生などの場合でも同様である。
【0090】図2の例の音声処理部15の処理単位期間
設定部21は、システムコントローラ6からのタイミン
グ信号およびクロックによって、図13に処理単位期間
T1〜T6として示すように、一音素の時間より短い6
0m秒相当(2880サンプル分で、2倍速再生の場合
には絶対時間としては30m秒)の時間間隔で、速度変
換処理のそれぞれの処理単位期間の先頭ないし末尾のタ
イミングを決定する。ただし、処理単位期間設定部21
は、システムコントローラ6の一部、または速度変換処
理部23の一部として、構成することもできる。
【0091】有音無音判定部22は、入力データSi、
すなわち振幅抑圧処理部70の出力の音声データの、有
音部分と無音部分を識別判定するもので、この例では、
図14に示すように、入力データSiの、それぞれ60
m秒相当(2880サンプル)の処理単位期間を、3m
秒相当(144サンプル分で、2倍速再生の場合には絶
対時間としては1.5m秒)ずつの20個の判定単位期
間に分割し、それぞれの判定単位期間につき、144サ
ンプルのデータの絶対値の平均値を算出して、その平均
値が閾値を超えるか否かを判断し、平均値が閾値を超え
るときには、その判定単位期間を有音部分と判定し、平
均値が閾値以下であるときには、その判定単位期間を無
音部分と判定する。
【0092】出力バッファ24は、FIFO構造のリン
グバッファとして機能するものとする。図15に、出力
バッファ24へのデータ書き込み、出力バッファ24か
らのデータ読み出し、および出力バッファ24の入出力
ポインタの動きを示す。
【0093】出力バッファ24にデータが全く書き込ま
れていないときには、図15(A)に示すように、出力
バッファ24には先頭アドレスから順にデータが書き込
まれ、それに応じて入力ポインタも後方に移動する。こ
のとき、出力ポインタは先頭アドレスを指示する。
【0094】図15(B)は、この状態から、さらにデ
ータが書き込まれるとともに、先頭アドレスから順にデ
ータが読み出された状態を示し、出力ポインタも後方に
移動する。
【0095】さらにデータが書き込まれて、入力ポイン
タが末尾アドレスに達すると、図15(C)に示すよう
に、入力ポインタは先頭アドレスに戻る。このとき、新
たなデータが出力済みデータに対してのみ上書きされる
ように、入力ポインタの指示位置が制御される。出力ポ
インタも、末尾アドレスに達したときには、先頭アドレ
スに戻る。
【0096】D/Aコンバータ25は、出力バッファ2
4から出力された音声データをアナログ音声信号に変換
するものであり、音声増幅器26は、そのアナログ音声
信号を増幅するものである。音声増幅器26からのアナ
ログ音声信号は、図1の音声出力装置16に供給され
る。
【0097】速度変換処理部23は、図16に示す速度
変換処理ルーチンによって、振幅抑圧処理部70の出力
の音声データ、すなわち入力データSiを速度変換する
ものである。
【0098】すなわち、この速度変換処理ルーチン30
では、まずステップ31において、有音無音判定部22
の判定結果から、入力データSiのそれぞれの処理単位
期間内に無音部分が倍率相当分以上存在するか否かを判
断する。倍率相当分とは、処理単位時間から、処理単位
時間に再生倍率の逆数を乗じた時間を引いた時間で、上
記のように処理単位時間が60m秒相当(2880サン
プル)で、かつ2倍速再生の場合には、30m秒分(1
440サンプル)である。すなわち、ステップ31で
は、それぞれの処理単位期間内に無音部分が30m秒分
(1440サンプル)以上存在するか否かを判断する。
【0099】そして、処理単位期間内に無音部分が30
m秒分(1440サンプル)以上存在するときには、ス
テップ31からステップ32に進んで、出力バッファ2
4に30m秒分(1440サンプル)以上のデータが蓄
積されているか否かを判断し、出力バッファ24に30
m秒分(1440サンプル)以上のデータが蓄積されて
いるときには、ステップ32からステップ33に進ん
で、その処理単位期間内の無音部分を全て削除し、無音
部分の前後の有音部分を接合して、その処理単位期間内
の有音部分のデータのみを全て、出力バッファ24に書
き込む。
【0100】また、出力バッファ24に30m秒分(1
440サンプル)以上のデータが蓄積されていないとき
には、ステップ32からステップ34に進んで、その処
理単位期間内の30m秒分(1440サンプル)以下の
有音部分の全てに、その処理単位期間の先頭に近い部分
から、その処理単位期間内の無音部分を一部付加して、
その処理単位期間内の30m秒分(1440サンプル)
のデータを、出力バッファ24に書き込む。
【0101】ただし、処理単位期間内に有音部分と無音
部分が、ちょうど30m秒分(1440サンプル)ずつ
存在するときには、ステップ33と同様に、その処理単
位期間内の無音部分を全て削除し、無音部分の前後の有
音部分を接合して、その処理単位期間内の有音部分のデ
ータのみを全て、出力バッファ24に書き込む。
【0102】一方、処理単位期間内に無音部分が30m
秒分(1440サンプル)未満しか存在しないときに
は、すなわち有音部分が30m秒分(1440サンプ
ル)を超えて存在するときには、ステップ31からステ
ップ35に進んで、出力バッファ24に、その処理単位
期間内の30m秒分(1440サンプル)を超える有音
部分のデータを全て蓄えるだけの空きがあるか否かを判
断する。
【0103】そして、出力バッファ24に、その処理単
位期間内の30m秒分(1440サンプル)を超える有
音部分のデータを全て蓄えるだけの空きがあるときに
は、ステップ35からステップ33に進んで、その処理
単位期間内の無音部分を全て削除し、無音部分の前後の
有音部分を接合して、その処理単位期間内の有音部分の
データのみを全て、出力バッファ24に書き込む。
【0104】ただし、その処理単位期間内の60m秒分
(2880サンプル)のデータが全て有音部分であると
きには、その60m秒分(2880サンプル)の有音部
分のデータをそのまま、出力バッファ24に書き込む。
【0105】また、出力バッファ24に、その処理単位
期間内の30m秒分(1440サンプル)を超える有音
部分のデータを全て蓄えるだけの空きがないときには、
ステップ35からステップ36に進んで、有音部分が3
0m秒分(1440サンプル)となるようにデータを圧
縮し、その圧縮後のデータを、出力バッファ24に書き
込む。後述のように、この場合は速聴きとなる。
【0106】この圧縮処理について示すと、例えば、図
17の上段に示すように、その処理単位期間内の60m
秒分(2880サンプル)のデータが全て有音部分であ
るときには、同図の下段に示すように、中間部分の10
40サンプルのデータを削除し、期間の先頭から920
サンプルの前方部データSf中の後寄りの400サンプ
ルのデータと、期間の末尾から920サンプルの後方部
データSb中の前寄りの400サンプルのデータとを、
フェード期間として、前方部データSfと後方部データ
Sbをクロスフェードによって接合する。このようにク
ロスフェードによって接合するのは、接合された部分で
圧縮後のデータにノイズが発生するのを防止するためで
ある。
【0107】処理単位期間内に無音部分が存在するとき
には、その無音部分を含めた1040サンプルのデータ
を削除して、それぞれ920サンプルの有音部分を同様
のクロスフェードによって接合する。無音部分が144
0サンプル未満ではあるが、1040サンプルを超える
ときには、400サンプルのフェード期間が得られ、接
合後のデータとして1440サンプルのデータが得られ
るように、有音部分の一部として無音部分の一部を含ま
せる。
【0108】図13の処理単位期間T1は、入力データ
Si中に破線で囲んだ有音部分と破線で囲まない無音部
分が、ちょうど30m秒分(1440サンプル)ずつ存
在するとともに、再生開始直後であるため、出力バッフ
ァ24にはデータが全く蓄積されていない場合である。
【0109】したがって、処理単位期間T1について
は、ステップ31,32および34によって、図13の
出力データSo中の部分E1に示すように、ちょうど3
0m秒分(1440サンプル)の無音部分が全て削除さ
れ、無音部分の前後の有音部分が接合されて、ちょうど
30m秒分(1440サンプル)の有音部分のデータの
みが全て、出力バッファ24に書き込まれる。
【0110】ただし、図13は入力データSiと出力デ
ータSoのタイミング関係を示すものではなく、タイミ
ング的には出力データSoは入力データSiに対して同
図の位置より遅れる。
【0111】出力バッファ24に書き込まれた処理単位
期間T1内の30m秒分(1440サンプル)の有音部
分のデータは、30m秒の時間に渡って、出力バッファ
24から読み出され、D/Aコンバータ25によってア
ナログ音声信号に変換される。
【0112】図13の処理単位期間T2は、60m秒分
(2880サンプル)のデータが全て有音部分であると
ともに、出力バッファ24に、この60m秒分(288
0サンプル)の有音部分のデータを全て蓄えるだけの空
きがある場合である。
【0113】したがって、処理単位期間T2について
は、ステップ31,35および33によって、図13の
出力データSo中の部分E2に示すように、その60m
秒分(2880サンプル)の有音部分のデータがそのま
ま、出力バッファ24に書き込まれる。
【0114】この出力バッファ24に書き込まれた処理
単位期間T2の60m秒分(2880サンプル)の有音
部分のデータ中の、前半の30m秒分(1440サンプ
ル)のデータが、期間T1内の有音部分のデータが読み
出される30m秒の時間に続く30m秒の時間に渡っ
て、出力バッファ24から読み出され、D/Aコンバー
タ25によってアナログ音声信号に変換される。
【0115】図13の処理単位期間T3は、入力データ
Si中に破線で囲んだ有音部分が30m秒分(1440
サンプル)未満しか存在せず、破線で囲まない無音部分
が30m秒分(1440サンプル)を超えて存在すると
ともに、出力バッファ24に30m秒分(1440サン
プル)以上のデータが蓄積されている場合である。
【0116】したがって、処理単位期間T3について
は、ステップ31,32および33によって、図13の
出力データSo中の部分E3に示すように、その30m
秒分(1440サンプル)を超える無音部分が全て削除
され、無音部分の前後の有音部分が接合されて、30m
秒分(1440サンプル)未満の有音部分のデータのみ
が全て、出力バッファ24に書き込まれる。
【0117】そして、処理単位期間T2の60m秒分
(2880サンプル)の有音部分のデータ中の、出力バ
ッファ24に蓄積されていた後半の30m秒分(144
0サンプル)のデータが、前半のデータが読み出される
30m秒の時間に続く30m秒の時間に渡って、出力バ
ッファ24から読み出され、D/Aコンバータ25によ
ってアナログ音声信号に変換される。
【0118】図13の処理単位期間T4は、60m秒分
(2880サンプル)のデータが全て有音部分であると
ともに、出力バッファ24に、この60m秒分(288
0サンプル)の有音部分のデータを全て蓄えるだけの空
きがある場合である。
【0119】したがって、処理単位期間T4について
は、ステップ31,35および33によって、図13の
出力データSo中の部分E4に示すように、その60m
秒分(2880サンプル)の有音部分のデータがそのま
ま、出力バッファ24に書き込まれる。
【0120】そして、出力バッファ24に蓄積されてい
た処理単位期間T3の30m秒分(1440サンプル)
未満の有音部分のデータと、出力バッファ24に書き込
まれた処理単位期間T4の60m秒分(2880サンプ
ル)の有音部分のデータ中の前半の一部のデータとを合
わせた、30m秒分(1440サンプル)のデータが、
30m秒の時間に渡って、出力バッファ24から読み出
され、D/Aコンバータ25によってアナログ音声信号
に変換される。
【0121】図13の処理単位期間T5は、60m秒分
(2880サンプル)のデータが全て有音部分であると
ともに、出力バッファ24に、この60m秒分(288
0サンプル)の有音部分のデータを全て蓄えるだけの空
きがない場合である。
【0122】したがって、処理単位期間T5について
は、ステップ31,35および36によって、図13の
出力データSo中の部分E5に示し、かつ図17に示し
たように、60m秒分(2880サンプル)の有音部分
のデータが、30m秒分(1440サンプル)に圧縮さ
れて、出力バッファ24に書き込まれる。
【0123】そして、処理単位期間T4の60m秒分
(2880サンプル)の有音部分のデータ中の前半の残
りの部分のデータと、後半の一部のデータとを合わせ
た、30m秒分(1440サンプル)のデータが、30
m秒の時間に渡って、出力バッファ24から読み出さ
れ、D/Aコンバータ25によってアナログ音声信号に
変換される。
【0124】さらに、処理単位期間T4の60m秒分
(2880サンプル)の有音部分のデータ中の後半の残
りの部分のデータと、処理単位期間T5の30m秒分
(1440サンプル)に圧縮された有音部分のデータ中
の一部のデータとを合わせた、30m秒分(1440サ
ンプル)のデータが、30m秒の時間に渡って、出力バ
ッファ24から読み出され、D/Aコンバータ25によ
ってアナログ音声信号に変換される。
【0125】以上のように、図13の例では、処理単位
期間T1〜T4については、入力データSi中の無音部
分のみが全て削除され、有音部分のデータのみが全て出
力バッファ24に書き込まれるとともに、出力バッファ
24からは有音部分のデータのみが全て、60m秒で2
880サンプルの速度で読み出されるので、出力倍率は
1倍となり、有音部分のみが全て定常速度で出力され
る。
【0126】処理単位期間T5については、60m秒分
(2880サンプル)の有音部分のデータが、30m秒
分(1440サンプル)に圧縮されて、出力バッファ2
4に書き込まれ、30m秒の時間で出力バッファ24か
ら読み出されるので、例外的に有音部分が削減されて、
速聴きとなる。
【0127】なお、図16のステップ34で、有音部分
の全てに無音部分を一部付加して、30m秒分(144
0サンプル)のデータを出力バッファ24に書き込む場
合については、図13には示してしないが、例えば、処
理単位期間T2が図13とは異なり、有音部分が30m
秒分(1440サンプル)未満しか存在せず、無音部分
が30m秒分(1440サンプル)を超えて存在する場
合には、図13の処理単位期間T2では、出力バッファ
24に30m秒分(1440サンプル)以上のデータが
蓄積されていないので、その30m秒分(1440サン
プル)未満の有音部分の全てに、期間T2の先頭に近い
部分から、30m秒分(1440サンプル)を超える無
音部分の一部が付加されて、期間T2内の30m秒分
(1440サンプル)のデータが、出力バッファ24に
書き込まれる。
【0128】以上のように、上述した例によれば、出力
バッファ24を効果的に用いることによって、必要最小
限のメモリを用いるだけで、有音部分の削除によって音
声が途切れてしまうことが少なくなり、内容が理解しや
すくなる。
【0129】〔速度変換処理の際の音質向上…図18〜
図21〕 (データ圧縮の際の位置調整…図18、図19)図16
のステップ36で、図13の部分E5および図17の下
段に示したようにクロスフェードによって前方部データ
Sfと後方部データSbを接合する場合、図18(A)
に示すように、フェード期間において前方部データSf
と後方部データSbの位相が一致しているときには、接
合後のデータは接合部分でうなりを生じない。
【0130】しかし、図18(B)に示すように、フェ
ード期間において前方部データSfと後方部データSb
の位相が大きくずれているときには、接合後のデータは
接合部分でうなりを生じ、音質が劣化する。
【0131】そこで、クロスフェードによって前方部デ
ータSfと後方部データSbを接合するに当たっては、
以下のように前方部データSfと後方部データSbの位
置関係を調整する。
【0132】すなわち、図19に示すように、後方部デ
ータSbを、前方部データSfに対して、所定サンプル
数の時間内で、1サンプルまたは数サンプルの時間ず
つ、タイミング的に移動させて、それぞれの移動位置に
おいて、上述した400サンプル分のフェード期間内の
前方部データSfのデータ値と後方部データSbのデー
タ値との差分の絶対値の、接合後のデータとして示す波
形の塗り潰した部分の面積で表されるフェード期間全体
に渡る積分値(和)を算出する。
【0133】そして、この積分値が最小となる移動位置
を、前方部データSfと後方部データSbが最適な位相
関係になる位置として検出し、その移動位置において、
上述したようにクロスフェードによって前方部データS
fと後方部データSbを接合する。
【0134】前方部データSfおよび後方部データSb
のフェード期間におけるデータを、それぞれF[n]お
よびB[n]とし、フェード期間のサンプル数をjとす
ると、接合後のデータの接合部分(フェード期間)にお
けるデータX[n]は、 X[n]=((j−n)*F[n]+n*B[n])/j…(1) で表される。ただし、n=0,1,2…(j−1)であ
る。
【0135】この例によれば、接合後のデータは接合部
分でうなりや違和感の少ないものとなる。
【0136】(無音部分削除の際のノイズ発生防止…図
20、図21)図16のステップ34で、図13の部分
E1に示したように、または図16のステップ33で、
図13の部分E3に示したように、入力データSi中の
無音部分を削除して、前後の有音部分を接合する場合、
無音部分として図20の上段に示すデータ部分Spを削
除したときには、部分Spは無音部分でレベルが低いも
のの、図20の下段左側に示すように、接合後の出力デ
ータSoは接合点の前後で位相が大きく変化するため、
接合点でボツ音と呼ばれるノイズが発生する。また、無
音部分として図20の上段に示すデータ部分Sqを削除
したときには、図20の下段右側に示すように、同様に
接合後の出力データSoには接合点でボツ音と呼ばれる
ノイズが発生する。
【0137】そこで、削除した無音部分の前後の有音部
分を接合するに当たっては、接合点の前後のそれぞれ所
定サンプル数kの有音部分につき、フェードアウト処理
およびフェードイン処理を行う。
【0138】具体的に、図20下段の左側および右側に
示すように、フェードアウト処理前の接合部前半のデー
タをC1[i]、フェードイン処理前の接合部後半のデ
ータをD1[i]とし、図21の左側および右側に示す
ように、フェードアウト処理後の接合部前半のデータを
C2[i]、フェードイン処理後の接合部後半のデータ
をD2[i]とすると、 C2[i]=(k−i)*C1[i]/k …(2) D2[i]=i*D1[i]/k …(3) とする。ただし、i=0,1,2…(k−1)である。
【0139】このようにフェードアウト処理およびフェ
ードイン処理をして、前後の有音部分を接合することに
よって、図21に示すように、接合後の出力データSo
は接合点でボツ音と呼ばれるノイズが発生しなくなる。
【0140】〔速度変換処理の処理単位時間を変化させ
る場合…図22〜図26〕 (音程に応じて処理単位時間を変化させる場合…図2
2、図23)図22は、図1の音声処理部15の他の例
を示し、音声信号の主成分の音程に応じて速度変換処理
の処理単位時間を変化させる場合である。音程に対して
処理単位時間を直線的に変化させることも可能である
が、以下の例は、音程を3段階に分けて処理単位時間を
3段階に変化させる場合である。
【0141】この例では、音程検出部27において、振
幅抑圧処理部70の出力の音声信号の主成分(レベルが
最大の周波数成分)の音程が検出される。音程検出部2
7での音程検出方法には、FFT(高速フーリエ変換)
などの公知の方法を用いることができる。
【0142】そして、この例では、処理単位期間設定部
21は、音程検出部27の検出結果に基づいて、図23
に示す音程対応処理単位期間設定処理ルーチンによっ
て、処理単位時間を決定し、処理単位期間の先頭ないし
末尾のタイミングを決定する。
【0143】すなわち、この音程対応処理単位期間設定
処理ルーチン40では、まずステップ41において、音
程検出部27の検出結果の音程が300Hz以上である
か否かを判断し、300Hz以上であるときには、ステ
ップ41からステップ42に進んで、処理単位時間を最
短の40m秒相当(1920サンプル分で、2倍速再生
の場合には絶対時間としては20m秒)として、当該の
処理単位期間の先頭(直前の処理単位期間の末尾)から
40m秒相当後を当該の処理単位期間の末尾(直後の処
理単位期間の先頭)とする。
【0144】検出結果の音程が300Hz未満であると
きには、ステップ41からステップ43に進んで、検出
結果の音程が100Hz以下であるか否かを判断し、1
00Hz以下であるときには、ステップ43からステッ
プ44に進んで、処理単位時間を最長の60m秒相当
(2880サンプル分で、2倍速再生の場合には絶対時
間としては30m秒)として、当該の処理単位期間の先
頭から60m秒相当後を当該の処理単位期間の末尾とす
る。
【0145】検出結果の音程が100Hz以下でもない
ときには、すなわち100Hzを超え、かつ300Hz
未満であるときには、ステップ43からステップ45に
進んで、処理単位時間を中間の50m秒相当(2400
サンプル分で、2倍速再生の場合には絶対時間としては
25m秒)として、当該の処理単位期間の先頭から50
m秒相当後を当該の処理単位期間の末尾とする。
【0146】図22の速度変換処理部23が行う速度変
換処理は、図13の処理単位期間T1,T2,T3…
が、60m秒相当という固定の時間ではなく、40m秒
相当、50m秒相当または60m秒相当というように変
化し、図16の速度変換処理ルーチン30における倍率
相当分が、処理単位時間の変化に応じて、2倍速再生の
場合には20m秒分(960サンプル)、25m秒分
(1200サンプル)または30m秒分(1440サン
プル)というように変化する点を除いて、上述した例と
同じである。
【0147】この例によれば、音声信号の主成分の音程
が高いときには速度変換処理の処理単位時間が短くな
り、主成分の音程が低いときには速度変換処理の処理単
位時間が長くなるので、音声信号の周波数による歪みや
揺れの少ない出力音声信号を得ることができる。
【0148】(低レベルの点を処理単位期間の区切れ目
とする場合…図24〜図26)図24は、図1の音声処
理部15のさらに他の例を示し、無音部分と有音部分の
境目、または有音部分中の相対的にレベルが低い部分
を、速度変換処理の処理単位期間の区切れ目とする場合
である。
【0149】この例では、処理単位期間設定部21は、
振幅抑圧処理部70の出力の音声信号、および有音無音
判定部22の判定結果を取り込んで、図25に示す音声
レベル対応処理単位期間設定処理ルーチンによって、処
理単位期間の先頭ないし末尾のタイミングを決定する。
【0150】すなわち、この音声レベル対応処理単位期
間設定処理ルーチン50では、まずステップ51におい
て、有音無音判定部22の判定結果から、当該の処理単
位期間の先頭から30m秒相当以上、100m秒相当以
下の時間範囲内に、無音部分と有音部分の切り替わり時
点(無音部分から有音部分に切り替わる時点、または有
音部分から無音部分に切り替わる時点)が存在するか否
かを判断する。
【0151】そして、その時間範囲内に無音部分と有音
部分の切り替わり時点が存在するときには、ステップ5
1からステップ52に進んで、その無音部分と有音部分
の切り替わり時点を当該の処理単位期間の末尾とする。
その時間範囲内に無音部分と有音部分の切り替わり時点
が2点以上存在するときには、最初の時点を当該の処理
単位期間の末尾とする。
【0152】一方、その時間範囲内に無音部分と有音部
分の切り替わり時点が存在しないときには、ステップ5
1からステップ53に進んで、その時間範囲内で音声平
均レベルが最小となる時点を当該の処理単位期間の末尾
とする。音声平均レベルは、図14に示したような判定
単位期間内の各サンプルのデータ値の絶対値の平均値で
あり、その平均値が最小となる判定単位期間の先頭また
は末尾を当該の処理単位期間の末尾とする。
【0153】したがって、この例では、処理単位時間
は、最短で30m秒相当、最長で100m秒相当であ
る。
【0154】図26に「固定長の場合」として示すケー
スは、図2の例のような構成で、処理単位期間T1,T
2,T3…が60m秒相当という固定の時間にされる場
合であり、図26に「可変長の場合」として示すケース
は、この図24の例のような構成で、処理単位期間T1
1,T12,T13…の先頭ないし末尾のタイミングが
決定され、時間が変えられる場合である。ただし、図2
6に示す時間は、絶対時間ではなく、上述したように2
880サンプル分を60m秒相当としたときの時間であ
る。
【0155】すなわち、この例では、時間軸上で0m秒
として示す最初の処理単位期間T11の先頭の時点から
30m秒相当以上、100m秒相当以下の時間範囲内
に、入力データSiが有音部分から無音部分に切り替わ
る時点taが存在するので、その時点taが、処理単位
期間T11の末尾、すなわち次の処理単位期間T12の
先頭となる。
【0156】さらに、処理単位期間T12の先頭の時点
taから30m秒相当以上、100m秒相当以下の時間
範囲内に、入力データSiが無音部分から有音部分に切
り替わる時点tbが存在するので、その時点tbが、処
理単位期間T12の末尾、すなわち次の処理単位期間T
13の先頭となる。
【0157】さらに、処理単位期間T13の先頭の時点
tbから30m秒相当以上、100m秒相当以下の時間
範囲内には、無音部分と有音部分の切り替わり時点が存
在しないので、その時間範囲内で入力データSiの音声
平均レベルが最小となる時点tcが、処理単位期間T1
3の末尾、すなわち次の処理単位期間T14の先頭とな
る。
【0158】この例によれば、無音部分と有音部分の境
目、または有音部分中の相対的にレベルが低い部分が、
速度変換処理の処理単位期間の区切れ目となるので、音
声信号の切り貼りによる音質の劣化を大幅に低減するこ
とができる。
【0159】〔多チャンネル再生の場合…図27、図2
8〕上述した例は、図1の記録媒体1から1チャンネル
の音声信号を再生する場合として示した。しかし、記録
媒体1には多チャンネルの音声信号を記録することがで
き、その多チャンネルの音声信号からユーザの希望する
チャンネルの音声信号を選択して、または多チャンネル
の音声信号を同時に、再生することが可能である。以下
に、その場合の例を示す。
【0160】(第1の例…図27)図27に、ステレオ
音声信号、またはバイリンガルなどの2元音声(主音声
および副音声)中の一方または両方の音声信号を、選択
的に再生する場合の例を示す。
【0161】この例では、システムコントローラ6から
ユーザによって選択された音声モードを示す音声モード
識別信号が得られて、有音無音判定部22および速度変
換処理部23に供給され、ユーザによって選択された音
声モードに応じて、有音無音判定部22での有音無音判
定および速度変換処理部23での速度変換処理が、以下
のように切り換え制御される。
【0162】すなわち、ステレオ音声信号を再生する場
合には、MPEG音声デコーダ14からは左右のチャン
ネルの音声データが交互に得られ、有音無音判定部22
は、図14に示したような判定単位期間のそれぞれにつ
き、左チャンネルのデータと右チャンネルのデータの平
均値を算出して、その平均値が閾値を超えるか否かを判
断し、平均値が閾値を超えるときには、その判定単位期
間を有音部分と判定し、平均値が閾値以下であるときに
は、その判定単位期間を無音部分と判定する。
【0163】速度変換処理部23は、MPEG音声デコ
ーダ14からの左右のチャンネルの音声データを、処理
単位期間設定部21によって設定された処理単位期間ご
とに、一旦、左チャンネルのデータと右チャンネルのデ
ータに分離して、内部バッファ29の左チャンネル用お
よび右チャンネル用として設定した別個のエリアに書き
込む。
【0164】さらに、速度変換処理部23は、その別個
のエリアに書き込んだ左右のチャンネルの音声データ
を、上記の有音無音判定部22の判定結果に基づいて、
それぞれ図16に示した速度変換処理ルーチン30によ
って独立に速度変換処理し、処理後の左右のチャンネル
の音声データを、左チャンネルのデータと右チャンネル
のデータが交互に配列されるように出力バッファ24に
書き込む。
【0165】出力バッファ24からは、速度変換処理後
の左右のチャンネルの音声データを、交互に読み出し
て、D/Aコンバータ25によってアナログ音声信号に
変換し、D/Aコンバータ25からの左右のチャンネル
のアナログ音声信号を、音声増幅器26aおよび26b
に振り分けて出力する。
【0166】一方、主音声と副音声のいずれか一方の音
声信号を再生する場合には、有音無音判定部22は、図
14に示したような判定単位期間のそれぞれにつき、選
択された方の音声の、すなわち主音声が選択されたとき
には主音声の、副音声が選択されたときには副音声の、
音声データの絶対値の平均値を算出して、その平均値が
閾値を超えるか否かによって、有音部分と無音部分を識
別判定する。
【0167】速度変換処理部23は、選択された方の音
声についてのみ、すなわち主音声が選択されたときには
主音声についてのみ、副音声が選択されたときには副音
声についてのみ、MPEG音声デコーダ14の出力の音
声データを、上記の有音無音判定部22の判定結果に基
づいて、図16に示した速度変換処理ルーチン30によ
って速度変換処理し、処理後の音声データを出力バッフ
ァ24に書き込む。
【0168】そして、出力バッファ24から速度変換処
理後の音声データを読み出し、D/Aコンバータ25に
よってアナログ音声信号に変換して、音声増幅器26a
および26bに同時に出力する。
【0169】主音声と副音声の音声信号を同時に再生す
る場合には、ステレオ音声信号を再生する場合と同様
に、有音無音判定部22は、主音声と副音声の音声デー
タの平均値を算出して、その平均値が閾値を超えるか否
かによって、有音部分と無音部分を識別判定し、速度変
換処理部23は、主音声と副音声の音声データを独立に
速度変換処理することによって、音声増幅器26aおよ
び26bから、それぞれ主音声および副音声のアナログ
音声信号を出力する。
【0170】ただし、主音声と副音声の音声信号を同時
に再生する場合、有音無音判定部22で、主音声と副音
声の音声データにつき独立に、有音部分と無音部分の識
別判定を行ってもよい。
【0171】図27の例では、振幅抑圧処理部を省略し
たが、この例でも、振幅抑圧処理部を設けて、MPEG
音声デコーダ14の出力の音声データにつき、連続音声
部分の終端部の振幅を抑圧することができる。この場
合、ステレオ音声信号を再生する場合、または主音声と
副音声の音声信号を同時に再生する場合には、速度変換
処理と同様に、左右のチャンネルの音声データ、または
主音声と副音声の音声データにつき、独立に振幅抑圧処
理する。
【0172】以上は、2チャンネルの場合であるが、3
チャンネル以上の場合も、同様である。
【0173】(第2の例…図28)さらに、一般に2チ
ャンネル以上の多チャンネルの場合、図28の例のよう
に構成することもできる。同図の例は、図1の再生装置
において、デマルチプレクサ7から多チャンネルの音声
データを分離し、それぞれMPEG音声デコーダ14
a,14b,14c…で伸長復号化して、音声処理部1
5a,15b,15c…に供給するもので、音声処理部
15a,15b,15c…は、それぞれ図2、図22ま
たは図24の例の音声処理部15と同様に構成する。
【0174】この例では、例えば、チャンネル1につい
ては、その音声信号を再生するとともに、音声処理部1
5aの速度変換処理部23aで速度変換処理し、チャン
ネル2については、その音声信号を再生するものの、音
声処理部15bの速度変換処理部23bで速度変換処理
しない、というように、チャンネル1,2,3…の各チ
ャンネルの音声信号を、選択的または同時に再生し、選
択的または同時に速度変換処理することができる。
【0175】〔映像信号および音声信号を定常速度で再
生する場合…図29〕図1の再生装置で、記録媒体1か
ら映像信号および音声信号を定常速度で再生する場合、
MPEG音声デコーダ14からは音声データが1倍速で
出力され、音声処理部15の図2または図27などに示
した処理単位期間設定部21、有音無音判定部22およ
び速度変換処理部23は、それぞれの機能を停止して、
音声処理部15が振幅抑圧処理部70を備える場合に
は、振幅抑圧処理部70の出力の音声データがそのま
ま、音声処理部15が振幅抑圧処理部70を備えない場
合には、MPEG音声デコーダ14の出力の音声データ
がそのまま、出力バッファ24に書き込まれ、出力バッ
ファ24から読み出される。
【0176】しかし、MPEG映像デコーダ11では、
映像データの伸長復号化に少なくとも数フレームの時間
を要するので、NTSCエンコーダ12からの映像出力
は、音声処理部15からの音声出力に対して時間遅れを
生じ、映像出力と音声出力の同期が得られなくなる。
【0177】そこで、以下の例では、定常再生時には、
出力バッファ24を利用して、この映像出力の音声出力
に対する遅れを吸収し、映像出力と音声出力を同期させ
る。
【0178】図29は、その例を示し、速度変換処理部
23は、システムコントローラ6によって指示された再
生モードに応じて、出力バッファ24に制御信号を送出
して、出力バッファ24からデータを読み出すタイミン
グを制御する。
【0179】具体的には、図15に示したようにFIF
O構造のリングバッファとして機能する出力バッファ2
4の出力ポインタを制御する。すなわち、出力バッファ
24の出力ポインタと入力ポインタの間に蓄積されるデ
ータ量が、映像出力の音声出力に対する遅れ時間に相当
するように、出力ポインタを制御する。
【0180】例えば、この例によらないときの映像出力
の音声出力に対する遅れ時間をDv(m秒)、音声信号
のサンプリング周波数をFs(kHz)、音声データを
データ幅がBh(ビット)のステレオ(2チャンネル)
音声信号とすると、出力ポインタと入力ポインタの間の
データ蓄積量Ad(バイト)を、 Ad=(Dv×Fs×Bh×2)/8 …(4) とする。
【0181】以上のように、この例によれば、映像信号
と音声信号を定常速度で再生する場合に、出力バッファ
24を利用して映像出力と音声出力を同期させることが
できる。
【0182】〔他の実施形態〕図1の実施形態は、記録
媒体1がディスク状の記録媒体である場合であるが、こ
の発明は、記録媒体(記憶媒体)が磁気テープや半導体
メモリなどである場合にも、同様に適用することができ
る。半導体メモリの場合には、再生ヘッドではなく読み
出し回路によってメモリから、これに書き込まれた音声
信号を読み出すことは言うまでもない。この場合には、
「記録」とは書き込みであり、「再生」とは読み出しで
ある。
【0183】また、この発明は、映像信号および音声信
号を定常速度で再生する場合についての図29のような
例を除いて、記録媒体から音声信号のみを再生する場合
または装置にも、同様に適用することができる。
【0184】
【発明の効果】上述したように、第1の発明によれば、
再生時間を短縮するために定常速度より速い速度で再生
された音声信号を通常の音程で出力する場合に、出力バ
ッファを効果的に用いることによって、必要最小限のメ
モリを用いるだけで、有音部分の削除によって音声が途
切れてしまうことが少なくなり、内容が理解しやすくな
る。第2の発明によれば、さらに、連続音声部分の密着
によって異なる音に聞こえてしまうことが少なくなる。
【図面の簡単な説明】
【図1】この発明の再生装置の一例を示す図である。
【図2】音声処理部の一例を示す図である。
【図3】振幅抑圧処理部の一例を示す図である。
【図4】図3の例の振幅抑圧処理の説明に供する図であ
る。
【図5】図3の例の制御部が行う処理ルーチンの一例を
示す図である。
【図6】図3の例の振幅抑圧処理前と処理後の音声信号
波形の一例を示す図である。
【図7】振幅抑圧処理部の他の例を示す図である。
【図8】振幅抑圧処理部のさらに他の例を示す図であ
る。
【図9】図7および図8の例のバンドパスフィルタの説
明に供する図である。
【図10】図7および図8の例の制御部が行う処理ルー
チンの一例を示す図である。
【図11】図7および図8の例の振幅抑圧処理の説明に
供する図である。
【図12】図7および図8の例の振幅抑圧処理前と処理
後の音声信号波形の一例を示す図である。
【図13】速度変換処理の一例を示す図である。
【図14】有音部分と無音部分の識別判定の一例を示す
図である。
【図15】出力バッファの入出力ポインタの動きを示す
図である。
【図16】速度変換処理ルーチンの一例を示す図であ
る。
【図17】データ圧縮の一例を示す図である。
【図18】データ圧縮の際に位置調整を行わない場合を
示す図である。
【図19】データ圧縮の際に位置調整を行う場合の調整
方法を示す図である。
【図20】無音部分削除の際のノイズの発生を示す図で
ある。
【図21】無音部分削除の際のノイズ発生防止方法を示
す図である。
【図22】音声処理部の他の例を示す図である。
【図23】音程対応処理単位期間設定処理ルーチンの一
例を示す図である。
【図24】音声処理部のさらに他の例を示す図である。
【図25】音声レベル対応処理単位期間設定処理ルーチ
ンの一例を示す図である。
【図26】音声レベルが低い点を速度変換処理の処理単
位期間の区切れ目とする場合の例を示す図である。
【図27】音声処理部のさらに他の例を示す図である。
【図28】多チャンネル再生の場合の再生装置の一例を
示す図である。
【図29】定常再生対応の再生装置の一例を示す図であ
る。
【符号の説明】
主要部については図中に全て記述したので、ここでは省
略する。

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】記録媒体から、これに記録された音声信号
    を定常速度より速い速度で再生することによって得られ
    た再生入力音声信号を、処理単位期間ごとに区切り、 出力バッファから定常速度相当量の再生出力音声信号が
    得られる範囲内で無音部分を削除し、その前後の有音部
    分を接合して、それぞれの処理単位期間の再生入力音声
    信号を、前記出力バッファに書き込むとともに、 処理単位期間の再生入力音声信号中に前記出力バッファ
    に蓄えられない量の有音部分が存在する場合には、一部
    の有音部分を削除し、その前後の有音部分を接合して、
    その処理単位期間の再生入力音声信号を圧縮して、前記
    出力バッファに書き込む音声再生方法。
  2. 【請求項2】請求項1の音声再生方法において、 無音部分を削除し、その前後の有音部分を接合するに当
    たっては、接合点直前の有音部分をフェードアウト処理
    し、接合点直後の有音部分をフェードイン処理すること
    を特徴とする音声再生方法。
  3. 【請求項3】請求項1の音声再生方法において、 処理単位期間の再生入力音声信号を圧縮するに当たって
    は、フェード期間において前後の有音部分を重ね合わせ
    るとともに、そのフェード期間における前後の有音部分
    の差分が最小となるように前後の有音部分の位置関係を
    調整した上で、クロスフェードによって前後の有音部分
    を接合することを特徴とする音声再生方法。
  4. 【請求項4】請求項1の音声再生方法において、 処理単位期間を固定の時間とすることを特徴とする音声
    再生方法。
  5. 【請求項5】請求項1の音声再生方法において、 再生入力音声信号の主成分の音程に応じて処理単位期間
    の時間を変化させることを特徴とする音声再生方法。
  6. 【請求項6】請求項1の音声再生方法において、 再生入力音声信号の無音部分と有音部分の境目、または
    有音部分中の相対的にレベルが低い部分を、処理単位期
    間の区切れ目とすることを特徴とする音声再生方法。
  7. 【請求項7】請求項1の音声再生方法において、 複数チャンネルの音声出力を得る場合に、有音部分と無
    音部分の識別判定は各チャンネルの再生入力音声信号の
    平均値によって行い、有音部分の接合は各チャンネルの
    再生入力音声信号ごとに独立に行うことを特徴とする音
    声再生方法。
  8. 【請求項8】請求項1の音声再生方法において、 定常再生時、前記出力バッファを映像出力と音声出力を
    同期させるための時間調整用に用いることを特徴とする
    音声再生方法。
  9. 【請求項9】記録媒体から、これに記録された音声信号
    を定常速度より速い速度で再生することによって得られ
    た再生入力音声信号につき、連続音声部分の終端部の振
    幅を抑圧し、 その振幅抑圧処理後の再生入力音声信号を、処理単位期
    間ごとに区切り、 出力バッファから定常速度相当量の再生出力音声信号が
    得られる範囲内で無音部分を削除し、その前後の有音部
    分を接合して、それぞれの処理単位期間の再生入力音声
    信号を、前記出力バッファに書き込むとともに、 処理単位期間の再生入力音声信号中に前記出力バッファ
    に蓄えられない量の有音部分が存在する場合には、一部
    の有音部分を削除し、その前後の有音部分を接合して、
    その処理単位期間の再生入力音声信号を圧縮して、前記
    出力バッファに書き込む音声再生方法。
  10. 【請求項10】請求項9の音声再生方法において、 連続音声部分の終端部の振幅を抑圧する処理は、連続音
    声部分の終端を予測し、その予測した点から振幅の抑圧
    を開始するとともに、次の連続音声部分の始端が検出さ
    れたら、振幅の抑圧を解除することを特徴とする音声再
    生方法。
  11. 【請求項11】請求項10の音声再生方法において、 再生入力音声信号の信号レベルが減少傾向にあり、かつ
    再生入力音声信号の信号レベルが閾値より小さくなった
    とき、連続音声部分が終端に至る過程に入ったとして、
    連続音声部分の終端を予測することを特徴とする音声再
    生方法。
  12. 【請求項12】請求項11の音声再生方法において、 再生入力音声信号の信号レベルのピーク値を検出し、そ
    の検出されたピーク値に応じて前記閾値を設定すること
    を特徴とする音声再生方法。
  13. 【請求項13】請求項9の音声再生方法において、 連続音声部分の終端部の振幅を抑圧する処理は、再生入
    力音声信号を遅延させるとともに、遅延前の再生入力音
    声信号から連続音声部分の終端を検出し、その検出結果
    に基づいて遅延後の再生入力音声信号の振幅を抑圧する
    ことを特徴とする音声再生方法。
  14. 【請求項14】記録媒体から、これに記録された音声信
    号を定常速度より速い速度で再生することによって得ら
    れた再生入力音声信号に対する速度変換処理の処理単位
    期間を設定する処理単位期間設定部と、 再生出力音声信号を得るための出力バッファと、 この出力バッファから定常速度相当量の再生出力音声信
    号が得られる範囲内で無音部分を削除し、その前後の有
    音部分を接合して、それぞれの処理単位期間の再生入力
    音声信号を、前記出力バッファに書き込むとともに、処
    理単位期間の再生入力音声信号中に前記出力バッファに
    蓄えられない量の有音部分が存在する場合には、一部の
    有音部分を削除し、その前後の有音部分を接合して、そ
    の処理単位期間の再生入力音声信号を圧縮して、前記出
    力バッファに書き込む速度変換処理部と、 を備える音声再生装置。
  15. 【請求項15】請求項14の音声再生装置において、 前記速度変換処理部は、無音部分を削除し、その前後の
    有音部分を接合するに当たって、接合点直前の有音部分
    をフェードアウト処理し、接合点直後の有音部分をフェ
    ードイン処理することを特徴とする音声再生装置。
  16. 【請求項16】請求項14の音声再生装置において、 前記速度変換処理部は、処理単位期間の再生入力音声信
    号を圧縮するに当たって、フェード期間において前後の
    有音部分を重ね合わせるとともに、そのフェード期間に
    おける前後の有音部分の差分が最小となるように前後の
    有音部分の位置関係を調整した上で、クロスフェードに
    よって前後の有音部分を接合することを特徴とする音声
    再生装置。
  17. 【請求項17】請求項14の音声再生装置において、 前記処理単位期間設定部は、処理単位期間を固定の時間
    とすることを特徴とする音声再生装置。
  18. 【請求項18】請求項14の音声再生装置において、 当該音声再生装置は、さらに再生入力音声信号の主成分
    の音程を検出する音程検出部を備え、 前記処理単位期間設定部は、この音程検出部の検出結果
    に基づいて、再生入力音声信号の主成分の音程に応じて
    処理単位期間の時間を変化させることを特徴とする音声
    再生装置。
  19. 【請求項19】請求項14の音声再生装置において、 前記処理単位期間設定部は、再生入力音声信号の無音部
    分と有音部分の境目、または有音部分中の相対的にレベ
    ルが低い部分を、処理単位期間の区切れ目とすることを
    特徴とする音声再生装置。
  20. 【請求項20】記録媒体から、これに記録された音声信
    号を定常速度より速い速度で再生することによって得ら
    れた再生入力音声信号につき、連続音声部分の終端部の
    振幅を抑圧する振幅抑圧処理部と、 その振幅抑圧処理後の再生入力音声信号に対する速度変
    換処理の処理単位期間を設定する処理単位期間設定部
    と、 再生出力音声信号を得るための出力バッファと、 この出力バッファから定常速度相当量の再生出力音声信
    号が得られる範囲内で無音部分を削除し、その前後の有
    音部分を接合して、それぞれの処理単位期間の再生入力
    音声信号を、前記出力バッファに書き込むとともに、処
    理単位期間の再生入力音声信号中に前記出力バッファに
    蓄えられない量の有音部分が存在する場合には、一部の
    有音部分を削除し、その前後の有音部分を接合して、そ
    の処理単位期間の再生入力音声信号を圧縮して、前記出
    力バッファに書き込む速度変換処理部と、 を備える音声再生装置。
JP2000171556A 1999-08-24 2000-06-08 音声再生方法および音声再生装置 Expired - Fee Related JP4895418B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000171556A JP4895418B2 (ja) 1999-08-24 2000-06-08 音声再生方法および音声再生装置
US09/643,300 US6925340B1 (en) 1999-08-24 2000-08-22 Sound reproduction method and sound reproduction apparatus
KR1020000049195A KR100739355B1 (ko) 1999-08-24 2000-08-24 음성 재생 방법 및 음성 재생 장치

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP1999236412 1999-08-24
JP23641299 1999-08-24
JP11-236412 1999-08-24
JP2000171556A JP4895418B2 (ja) 1999-08-24 2000-06-08 音声再生方法および音声再生装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010010489A Division JP2010191415A (ja) 1999-08-24 2010-01-20 音声再生方法および音声再生装置

Publications (2)

Publication Number Publication Date
JP2001134300A true JP2001134300A (ja) 2001-05-18
JP4895418B2 JP4895418B2 (ja) 2012-03-14

Family

ID=26532667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000171556A Expired - Fee Related JP4895418B2 (ja) 1999-08-24 2000-06-08 音声再生方法および音声再生装置

Country Status (3)

Country Link
US (1) US6925340B1 (ja)
JP (1) JP4895418B2 (ja)
KR (1) KR100739355B1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003001510A1 (fr) * 2001-06-21 2003-01-03 Sony Corporation Appareil et procede de traitement de signaux numeriques et systeme de reproduction/reception de signaux numeriques
JP2004312743A (ja) * 2003-04-04 2004-11-04 Samsung Electronics Co Ltd デジタルデータ複製装置及びその方法
EP1481392A1 (en) * 2002-03-01 2004-12-01 Thomson Licensing S.A. Trick mode audio playback
JP2008072212A (ja) * 2006-09-12 2008-03-27 Toshiba Corp 混合信号分離・抽出装置
JP2008533530A (ja) * 2005-03-11 2008-08-21 クゥアルコム・インコーポレイテッド ボコーダにおけるフレームの位相整合のための方法および装置
JP2009014827A (ja) * 2007-07-02 2009-01-22 Sony Corp 情報処理装置、信号処理方法およびプログラム
US8085678B2 (en) 2004-10-13 2011-12-27 Qualcomm Incorporated Media (voice) playback (de-jitter) buffer adjustments based on air interface
US8155965B2 (en) 2005-03-11 2012-04-10 Qualcomm Incorporated Time warping frames inside the vocoder by modifying the residual
US8331385B2 (en) 2004-08-30 2012-12-11 Qualcomm Incorporated Method and apparatus for flexible packet selection in a wireless communication system

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100469568B1 (ko) * 2001-12-18 2005-02-02 한국전자통신연구원 버퍼 모니터링을 통한 오디오 잡음 감쇄 제어 장치 및 그방법
US7809241B2 (en) * 2002-03-01 2010-10-05 Thomson Licensing Audio frequency scaling during video trick modes utilizing digital signal processing
US7889969B2 (en) * 2002-03-01 2011-02-15 Thomson Licensing Audio frequency shifting during video trick modes
JP4030420B2 (ja) * 2002-12-17 2008-01-09 パイオニア株式会社 情報記録再生装置
KR100835637B1 (ko) * 2004-03-19 2008-06-05 주식회사 현대오토넷 음성 신호 처리 장치 및 그 동작방법
JP4207832B2 (ja) * 2004-04-16 2009-01-14 船井電機株式会社 デジタルデータ再生装置
JP2006145712A (ja) * 2004-11-18 2006-06-08 Pioneer Electronic Corp オーディオデータ補間装置
US7668848B2 (en) * 2005-12-07 2010-02-23 Motorola, Inc. Method and system for selectively decoding audio files in an electronic device
KR101438387B1 (ko) * 2006-07-12 2014-09-05 삼성전자주식회사 서라운드 확장 데이터 부호화 및 복호화 방법 및 장치
US20100057475A1 (en) * 2008-08-26 2010-03-04 Nelson Sollenberger Method and system for digital gain control in an audio codec
JP2010283605A (ja) * 2009-06-04 2010-12-16 Canon Inc 映像処理装置及び方法
JP6079119B2 (ja) 2012-10-10 2017-02-15 ティアック株式会社 録音装置
JP6056356B2 (ja) * 2012-10-10 2017-01-11 ティアック株式会社 録音装置
JP6136218B2 (ja) * 2012-12-03 2017-05-31 富士通株式会社 音響処理装置、方法、及びプログラム
CN103294771A (zh) * 2013-05-09 2013-09-11 四三九九网络股份有限公司 swf文件中声音数据批量压缩的方法及装置
CN112213104B (zh) * 2020-10-22 2022-06-14 中车青岛四方机车车辆股份有限公司 轴承检测方法、装置和系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02259699A (ja) * 1989-03-30 1990-10-22 Sharp Corp 録音再生装置
JPH03205656A (ja) * 1990-01-04 1991-09-09 Sharp Corp 早聞き装置
JPH0555853A (ja) * 1991-08-27 1993-03-05 Nec Corp 音程制御方式とその装置
JPH05297891A (ja) * 1992-04-20 1993-11-12 Mitsubishi Electric Corp ディジタルオーディオ信号のピッチ変換器
JPH0713596A (ja) * 1993-06-21 1995-01-17 Matsushita Electric Ind Co Ltd 音声速度変換方法
JPH0736487A (ja) * 1993-07-21 1995-02-07 Sony Corp 音声信号処理装置
JPH0883096A (ja) * 1994-09-14 1996-03-26 Matsushita Electric Ind Co Ltd 音声時間軸変換装置
JPH08179792A (ja) * 1994-12-22 1996-07-12 Sony Corp 音声処理装置
JPH08241099A (ja) * 1995-03-02 1996-09-17 Mitsubishi Electric Corp ディジタルオーディオ信号の音程変換器
JPH08255000A (ja) * 1995-03-17 1996-10-01 Sanyo Electric Co Ltd 音声信号再生装置
JPH0983673A (ja) * 1995-09-19 1997-03-28 Hitachi Ltd 音声通信システム、音声通信方法および送受信装置
JPH10143193A (ja) * 1996-11-08 1998-05-29 Matsushita Electric Ind Co Ltd 音声信号処理装置
JPH11225309A (ja) * 1998-02-04 1999-08-17 Matsushita Electric Ind Co Ltd 音響信号処理装置及びオーディオ高速再生方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5008835A (en) * 1987-12-28 1991-04-16 Jachmann Emil F Method and apparatus for storing and forwarding voice signals and generating replies
US5157728A (en) * 1990-10-01 1992-10-20 Motorola, Inc. Automatic length-reducing audio delay line
KR0141237B1 (ko) * 1993-07-28 1998-07-15 김광호 음성신호 기록/재생방법 및 그 장치
JP3351905B2 (ja) * 1994-07-28 2002-12-03 ソニー株式会社 音声信号処理装置
KR100201309B1 (ko) * 1995-10-31 1999-06-15 윤종용 3배속이상 변속재생시 음성신호 처리방법
JPH10187199A (ja) * 1996-12-24 1998-07-14 Oki Electric Ind Co Ltd 半導体記憶媒体記録装置及び半導体記憶媒体再生装置
SG65729A1 (en) * 1997-01-31 1999-06-22 Yamaha Corp Tone generating device and method using a time stretch/compression control technique
JP3861362B2 (ja) * 1997-03-19 2006-12-20 ソニー株式会社 ディジタル信号再生方法及び装置
JP3671582B2 (ja) * 1997-03-21 2005-07-13 ミツミ電機株式会社 音声記録再生装置
US20010056353A1 (en) * 1997-05-02 2001-12-27 Gerald Laws Fine-grained synchronization of a decompressed audio stream by skipping or repeating a variable number of samples from a frame
TW385436B (en) * 1997-12-12 2000-03-21 Toshiba Corp Digital recording system using variable recording rate

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02259699A (ja) * 1989-03-30 1990-10-22 Sharp Corp 録音再生装置
JPH03205656A (ja) * 1990-01-04 1991-09-09 Sharp Corp 早聞き装置
JPH0555853A (ja) * 1991-08-27 1993-03-05 Nec Corp 音程制御方式とその装置
JPH05297891A (ja) * 1992-04-20 1993-11-12 Mitsubishi Electric Corp ディジタルオーディオ信号のピッチ変換器
JPH0713596A (ja) * 1993-06-21 1995-01-17 Matsushita Electric Ind Co Ltd 音声速度変換方法
JPH0736487A (ja) * 1993-07-21 1995-02-07 Sony Corp 音声信号処理装置
JPH0883096A (ja) * 1994-09-14 1996-03-26 Matsushita Electric Ind Co Ltd 音声時間軸変換装置
JPH08179792A (ja) * 1994-12-22 1996-07-12 Sony Corp 音声処理装置
JPH08241099A (ja) * 1995-03-02 1996-09-17 Mitsubishi Electric Corp ディジタルオーディオ信号の音程変換器
JPH08255000A (ja) * 1995-03-17 1996-10-01 Sanyo Electric Co Ltd 音声信号再生装置
JPH0983673A (ja) * 1995-09-19 1997-03-28 Hitachi Ltd 音声通信システム、音声通信方法および送受信装置
JPH10143193A (ja) * 1996-11-08 1998-05-29 Matsushita Electric Ind Co Ltd 音声信号処理装置
JPH11225309A (ja) * 1998-02-04 1999-08-17 Matsushita Electric Ind Co Ltd 音響信号処理装置及びオーディオ高速再生方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003001510A1 (fr) * 2001-06-21 2003-01-03 Sony Corporation Appareil et procede de traitement de signaux numeriques et systeme de reproduction/reception de signaux numeriques
EP1481392A1 (en) * 2002-03-01 2004-12-01 Thomson Licensing S.A. Trick mode audio playback
EP1481392A4 (en) * 2002-03-01 2007-02-21 Thomson Licensing SIMPLE MODE AUDIO PLAYBACK
JP2004312743A (ja) * 2003-04-04 2004-11-04 Samsung Electronics Co Ltd デジタルデータ複製装置及びその方法
US8331385B2 (en) 2004-08-30 2012-12-11 Qualcomm Incorporated Method and apparatus for flexible packet selection in a wireless communication system
US8085678B2 (en) 2004-10-13 2011-12-27 Qualcomm Incorporated Media (voice) playback (de-jitter) buffer adjustments based on air interface
JP2008533530A (ja) * 2005-03-11 2008-08-21 クゥアルコム・インコーポレイテッド ボコーダにおけるフレームの位相整合のための方法および装置
US8155965B2 (en) 2005-03-11 2012-04-10 Qualcomm Incorporated Time warping frames inside the vocoder by modifying the residual
US8355907B2 (en) 2005-03-11 2013-01-15 Qualcomm Incorporated Method and apparatus for phase matching frames in vocoders
JP2008072212A (ja) * 2006-09-12 2008-03-27 Toshiba Corp 混合信号分離・抽出装置
JP2009014827A (ja) * 2007-07-02 2009-01-22 Sony Corp 情報処理装置、信号処理方法およびプログラム

Also Published As

Publication number Publication date
US6925340B1 (en) 2005-08-02
KR20010021402A (ko) 2001-03-15
KR100739355B1 (ko) 2007-07-18
JP4895418B2 (ja) 2012-03-14

Similar Documents

Publication Publication Date Title
JP4895418B2 (ja) 音声再生方法および音声再生装置
CA2253749C (en) Method and device for instantly changing the speed of speech
JP4630876B2 (ja) 話速変換方法及び話速変換装置
US20030165321A1 (en) Audio data deletion and silencing during trick mode replay
JP3630609B2 (ja) 音声情報再生方法ならびに装置
JP3378672B2 (ja) 話速変換装置
JP2010191415A (ja) 音声再生方法および音声再生装置
JP3162945B2 (ja) ビデオテープレコーダ
JP2009277277A (ja) 音声処理装置
JP4212253B2 (ja) 話速変換装置
JP3373933B2 (ja) 話速変換装置
JP5325059B2 (ja) 映像音声同期再生装置、映像音声同期処理装置、映像音声同期再生プログラム
JP4580297B2 (ja) 音声再生装置、音声録音再生装置、およびそれらの方法、記録媒体、集積回路
JPH08147874A (ja) 話速変換装置
JPH11167396A (ja) 音声記録再生装置
JP2000243065A (ja) オーディオデータ処理装置
JP4529859B2 (ja) 音声再生装置
WO2010100895A1 (ja) 音声再生装置及び映像音声再生装置
JP2008176110A (ja) オーディオ信号処理装置及びオーディオ信号処理方法
JPH0883096A (ja) 音声時間軸変換装置
JP2007053661A (ja) 音量調整装置、音量調整方法
JP2005166188A (ja) ディジタルオーディオ信号処理装置及びディジタルオーディオ信号処理方法
JPH0944199A (ja) 音声信号再生装置
JPH05303400A (ja) 音声再生装置と音声再生方法
JP2005130388A (ja) オーディオ信号再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070223

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090821

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100826

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100913

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20110121

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111220

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees