JP2003289346A - 移動無線端末装置およびデータ再生装置 - Google Patents

Abstract

(57)【要約】 【課題】 音声データに誤りや消失が生じたり、あるい
は早送り再生やスロー再生など再生速度を可変した場合
でも、聴感上の違和感を軽減して音声再生を行うことが
可能な移動無線端末装置およびデータ再生装置を提供す
る。 【解決手段】 復号処理部１５６１は、音声データを取
り込んで復号処理し、ＰＣＭデータを得るとともに、音
声データに付加されているタイムスタンプ情報を検出す
る。タイムスタンプ比較処理部１５６３は、システムク
ロック値とタイムスタンプ情報との差分値を求める。再
生速度制御部１５６４は、ＰＣＭデータバッファ１５６
２に蓄積されるＰＣＭデータを読み出して、これに、タ
イムスタンプ比較処理部１５６３から通知される差分値
に応じた時間軸圧縮伸張処理を施して、Ｄ／Ａ変換部１
５６５に出力し、アナログ音声信号に変換させるように
したものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えばディジタ
ル無線通信を行う移動通信システムの移動無線端末装置
をはじめ、伝送路を通じて受信した音声データを再生す
るデータ再生装置に関する。

【０００２】

【従来の技術】近時、携帯電話システムをはじめとする
移動通信システムの移動無線端末装置では、映像データ
と音声データからなるマルチメディアデータを再生する
データ再生装置として機能するようになった。

【０００３】上記マルチメディアデータは、映像データ
と音声データの再生タイミングを同期させるために、送
信側で各データにタイムスタンプを付加するのが一般的
である。

【０００４】これに対して、受信側であるデータ再生装
置は、各メディア情報に付加されたタイムスタンプに基
づき、自装置のシステムタイムクロックにしたがって再
生タイミングを制御し、映像データと音声データを同期
させて再生するようにしている。

【０００５】また、データ再生装置は、誤りや消失が生
じるなどして、システムタイムクロック値と異なるタイ
ムスタンプ情報を持つデータが入力された場合には、デ
ータの廃棄（間引き）する制御を行うか、あるいはシス
テムタイムクロックに対応するタイムスタンプが付加さ
れたデータが入力されるまで待機するといった制御を行
い、これらの制御を行う間、無音情報を再生する。

【０００６】一方、早送り再生やスロー再生等を行う場
合には、データ再生装置は、映像データはフレーム周期
を可変にすることにより対応し、音声データについては
全く再生しなかったり、復号した音声データを部分的に
フレーム単位で間引きながら再生したり、ＰＣＭ信号の
サンプリング周波数を変更したりすることで再生する。

【０００７】以上のように、従来のデータ再生装置で
は、タイムスタンプが付加されたデータを再生する場
合、データにエラーが生じると、必要に応じてデータの
廃棄処理や待機処理などを行って、時間的な整合性を保
つようにしている。

【０００８】しかしながら、音声データにおいては、音
声データの処理単位である１フレームでさえ、データエ
ラーが生じると、再生音に途切れが生じて不連続感が知
覚され、耳障りな音となってしまう。

【０００９】また、早送り再生やスロー再生を行う場合
でも、音声データにおいては、データを間引きながら再
生すると、フレームの境界で音声の不連続感が知覚され
て耳障りな音となってしまい、一方、サンプリング周波
数を変更して再生すると、音声の高さが変わってしまっ
て聞き取りにくい音声となってしまう。

【００１０】なお、音声のみの早送り再生（早聞き）、
スロー再生（遅聞き）に関しては、時間軸圧縮伸張方法
策があるが、基本的に外部から指定される速度で制御す
るもので、他メディアと同期を取りながらダイナミック
な速度変化に追従することは難しい。

【００１１】

【発明が解決しようとする課題】従来では、音声データ
に誤りや消失が生じたり、あるいは早送り再生やスロー
再生など再生速度を可変すると、再生される音声が、聴
感上、不自然になって違和感があるという問題があっ
た。

【００１２】この発明は上記の問題を解決すべくなされ
たもので、音声データに誤りや消失が生じたり、あるい
は早送り再生やスロー再生など再生速度を可変した場合
でも、聴感上の違和感を軽減して音声再生を行うことが
可能な移動無線端末装置およびデータ再生装置を提供す
ることを目的とする。

【００１３】

【課題を解決するための手段】上記の目的を達成するた
めに、請求項１に係わる本発明は、ディジタルデータを
用いて音声通信を行うことが可能な移動無線端末装置に
おいて、音声データ毎に付加された時間情報を検出する
時間情報検出手段と、この検出手段にて検出した時間情
報と、音声データの復号に用いる時間情報との差を検出
する差分情報検出手段と、この差分情報検出手段の検出
結果に対応する音声データに対して、この検出結果に応
じた時間軸圧縮伸張処理を施して、再生音声の再生速度
を制御する再生速度制御手段とを具備して構成するよう
にした。

【００１４】また、上記の目的を達成するために、請求
項２に係わる本発明は、ディジタル化された音声データ
をアナログ音声信号に再生するデータ再生装置におい
て、音声データ毎に付加された時間情報を検出する時間
情報検出手段と、この検出手段にて検出した時間情報
と、音声データの復号に用いる時間情報との差を検出す
る差分情報検出手段と、この差分情報検出手段の検出結
果に対応する音声データに対して、この検出結果に応じ
た時間軸圧縮伸張処理を施して、再生音声の再生速度を
制御する再生速度制御手段とを具備して構成するように
した。

【００１５】上記構成の移動無線端末装置およびデータ
再生装置では、音声データに付加された時間情報と、音
声データの復号に用いる時間情報とを比較し、その差分
値に応じた時間軸圧縮伸張処理を音声データ毎に施して
再生速度を制御するようにしている。

【００１６】したがって、上記構成の移動無線端末装置
およびデータ再生装置によれば、音声データに付加され
た時間情報と音声データの復号に用いる時間情報との差
分値に応じた時間軸圧縮伸張処理を、音声データ毎に動
的に行って再生速度を制御できるので、音声データに誤
りや消失が生じたり、あるいは早送り再生やスロー再生
など再生速度を可変した場合でも、聴感上の違和感を軽
減して音声再生を行うことができる。

【００１７】

【発明の実施の形態】以下、図面を参照して、この発明
の一実施形態ついて説明する。図１は、この発明の一実
施形態に関わる移動無線端末装置の構成を示すもので、
基地局ＢＳと無線通信し、移動通信網を通じた通信相手
と音声通信を行う機能を備えるほかに、音声データと映
像データからなるマルチメディアデータを受信して再生
する機能を備えるものである。なお、ここでは、基地局
ＢＳとの無線通信に、ＣＤＭＡ（Code Division Multip
le Access）方式を採用するものを例に挙げて説明す
る。

【００１８】基地局ＢＳから送信され、アンテナ１０１
で受信された無線周波信号は、アンテナ共用器１０２に
入力される。アンテナ共用器１０２は、受信用フィルタ
１０２ａと送信用フィルタ１０２ｂとからなる。

【００１９】アンテナ１０１より入力された無線周波信
号のうち、基地局ＢＳから送信された無線周波信号は、
受信用フィルタ１０２ａを通過して、受信部（ＲＸ）１
０３に出力される。なお、この無線周波信号は送信用フ
ィルタ１０２ｂにより、後述の送信部１０５に入力され
ることはない。

【００２０】受信部１０３では、上記無線周波信号を周
波数シンセサイザ（ＳＹＮ）１０４から入力された受信
局部発振信号とミキシングして中間周波信号に周波数変
換する。

【００２１】なお、上記周波数シンセサイザ１０４にて
発生される受信局部発振信号の周波数は、制御部２００
からの制御信号によって制御される。また、受信部１０
３は、制御部２００から指定される周波数の無線信号の
受信電界強度を検出する機能を備え、この検出した受信
電界強度を制御部２００に通知する。

【００２２】受信部１０３にて得られた中間周波信号
は、ＣＤＭＡ信号処理部１０６において、直交復調処理
が施されたのち、逆拡散処理が施されて、データレート
に応じた所定のフォーマットの受信データに変換され、
この受信データのうち、データレートを示すデータ、電
子メールデータおよびマルチメディアデータについては
制御部２００に出力され、音声通信用の音声データにつ
いては音声符号処理部１０７に出力される。

【００２３】またＣＤＭＡ信号処理部１０６は、上記受
信データから、当該移動無線端末装置宛ての着信の発
生、および着信時に基地局ＢＳから通知される発信元の
電話番号を検出し、これらの検出結果を制御部２００に
通知する。

【００２４】音声符号処理部１０７は、上記ＣＤＭＡ信
号処理部１０６にて得られた受信データに対して、制御
部２００から通知される受信データレートに応じた伸長
処理を施し、この処理結果をＰＣＭ符号処理部１０８に
出力する。

【００２５】ＰＣＭ符号処理部１０８は、音声符号処理
部１０７にて伸張された受信データを復号してアナログ
受話信号を得る。このアナログ受話信号は、増幅器１０
９にて増幅された後スピーカ１１０より拡声出力され
る。

【００２６】一方、話者の入力音声は、マイクロホン
（Ｍ）１１１を通じてアナログ送話信号として入力さ
れ、増幅器１１２で適正レベルまで増幅された後、ＰＣ
Ｍ符号処理部１０８にてＰＣＭ符号化処理が施され、送
信データとして音声符号処理部１０７に出力される。

【００２７】音声符号処理部１０７は、ＰＣＭ符号処理
部１０８から出力される送信データより入力音声のエネ
ルギー量を検出し、この検出結果に基づいてデータレー
トを決定し、制御部２００に通知する。そして、上記送
信データを上記データレートに応じたフォーマットのバ
ースト信号に圧縮し、ＣＤＭＡ信号処理部１０６に出力
する。

【００２８】ＣＤＭＡ信号処理部１０６は、上記音声符
号処理部１０７にて圧縮されたバースト信号、あるいは
制御部２００より入力される送信電子メールデータに対
して、送信チャネルに応じたＰＮ符号を用いて拡散処理
を施す。そしてこの処理結果に対して、直交変調処理を
施し、直交変調信号として送信部（ＴＸ）１０５に出力
する。

【００２９】なお、制御部２００から、例えば着信に対
して応答するなどの指示があった場合には、ＣＤＭＡ信
号処理部１０６は、対応する制御データを上記拡散処理
結果に付加して直交変調処理を実施する。

【００３０】送信部１０５は、上記直交変調信号を送信
局部発振信号と合成して無線周波信号に変換し、制御部
２００により通知される送信データレートに基づいて、
上記無線周波信号の有効部分だけを高周波増幅して、ア
ンテナ共用器１０２に出力する。なお上記送信局部発振
信号は、周波数シンセサイザ１０４にて生成されるもの
で、制御部２００からの制御信号に応じた周波数の発振
信号である。

【００３１】アンテナ共用器１０２に入力された送信部
１０５からの無線周波信号は、送信用フィルタ１０２ｂ
により、送信帯域の無線周波信号のみがアンテナ１０１
に出力されて、上記基地局ＢＳに向けて空間に放射され
る。尚、この送信帯域の無線周波信号は、受信用フィル
タ１０２ａにより、受信部１０３に入力されることはな
い。

【００３２】着信報知部１２０は、当該端末装置宛てに
着信があった場合に、制御部２００の制御によりユーザ
に対して着信を報知するもので、可聴音を発して報知を
行なう発音体１２１と、発光により報知を行なう発光体
１２２と、例えば偏心モータなどにより振動を発生して
報知を行なう振動体１２３とからなる。

【００３３】ユーザインターフェイス部１３０は、表示
部１３１およびキー入力部１３２とからなる。表示部１
３１は、例えばＬＣＤ（Liquid Crystal Display）やＥ
Ｌ（Electro Luminescence）などからなりユーザに対し
て自機の状態（発信／着信、バッテリ残量、受信強度）
や記憶部１４０から読み出したダイヤルデータや電子メ
ールデータ、あるいは動画像を含む種々の画像を視覚的
に示すためのものである。

【００３４】キー入力部１３２は、ダイヤル番号入力を
行なうためのテンキーなど発着信に関わる通常の通話機
能を実施するためのキーの他、着信報知方法（可聴音／
発光／バイブレータ／報知なし）の切り換えなどの各種
設定や種々の機能を利用するためのキーを備えたもので
ある。

【００３５】記憶部１４０は、例えばＲＯＭやＲＡＭな
どの半導体メモリを記憶媒体としたもので、この記憶媒
体には、名前と電話番号、電子メールアドレスなどを対
応づけた電話帳データや、受信電子メール、送信電子メ
ール、マルチメディアデータなどを記憶し、これらは制
御部２００によって読み書きされる。

【００３６】なお、マルチメディアデータとして記憶部
１４０が記憶するデータには、ストリーミング再生を行
うために移動通信網を通じて受信し、一時的に記憶する
マルチメディアデータと、必要に応じて継続的に蓄積す
るマルチメディアデータとがある。

【００３７】データ再生部１５０は、制御部２００から
の指示に応じて、種々の情報を表示部１３１に表示す
る。また、データ再生部１５０は、制御部２００を通じ
て記憶部１４０から読み出されたマルチメディアデータ
を、このデータに付加されたタイムスタンプ情報にした
がい、音声と映像の同期を取って再生するもので、この
うち、再生した音声は増幅器１１３を通じてスピーカ１
１４から拡声出力し、映像は表示部１３１を制御して表
示する。詳細は、後述する。

【００３８】制御部２００は、ＣＰＵ、ＲＯＭおよびＲ
ＡＭなどを有してなるものであり、上記ＣＰＵが上記Ｒ
ＯＭに記憶される制御プログラムや制御データに従っ
て、当該移動無線端末装置の各部を統括して制御するも
のである。

【００３９】その主たる制御としては、受信部１０３、
周波数シンセサイザ１０４、送信部１０５およびＣＤＭ
Ａ信号処理部１０６を制御して、基地局ＢＳとの間にＣ
ＤＭＡ方式の無線通信による通信リンクを開設し、基地
局ＢＳが収容される移動通信網を通じて通信を行なう通
信制御がある。

【００４０】また、制御部２００は、タイムスタンプ情
報を有するマルチメディアデータの再生制御機能とし
て、キー入力部１３２を通じたユーザからの要求に応じ
データ再生部１５０を制御して記憶部１４０に記憶され
るマルチメディアデータを再生させる機能や、移動通信
網からマルチメディアデータを受信しデータ再生部１５
０を制御してストリーミング再生を行わせる機能を備え
る。

【００４１】１８１は電源回路であり、バッテリ１８０
の出力を基に所定の動作電源電圧Ｖccを生成して各回路
に供給する。

【００４２】次に、図２を参照して、データ再生部１５
０について説明する。データ再生部１５０は、多重化デ
ータバッファ１５１と、分離処理部１５２と、映像デー
タバッファ１５３と、音声データバッファ１５４と、映
像処理部１５５と、音声処理部１５６と、ＳＴＣ処理部
１５７とを備える。

【００４３】そして、制御部２００は、キー入力部１３
２を通じた、マルチメディアデータの再生に関わる要求
を検出し、この検出結果に応じて、多重化データバッフ
ァ１５１に対する、記憶部１４０から読み出したマルチ
メディアデータの入出力制御や、分離処理部１５２、映
像処理部１５５、音声処理部１５６、ＳＴＣ処理部１５
７の制御を行う。

【００４４】多重化データバッファ１５１は、制御部２
００により、記憶部１４０から読み出されたマルチメデ
ィアデータが入力制御され、分離処理部１５２、映像処
理部１５５、音声処理部１５６およびＳＴＣ処理部１５
７は、その動作が制御信号を通じて制御部２００により
制御される。

【００４５】多重化データバッファ１５１は、制御部２
００により、記憶部１４０から読み出されたマルチメデ
ィアデータが入力され、これを一時的に蓄積し、分離処
理部１５２に出力する。

【００４６】分離処理部１５２は、制御信号を通じた制
御部２００からの指示に応じて、多重化データバッファ
１５１に蓄積されるマルチメディアデータを取り込み、
これを映像データと音声データとに分離する分離処理を
施す。

【００４７】ここで得られる映像データおよび音声デー
タは、符号化された状態にある。映像データは映像デー
タバッファ１５３に出力され、一方、音声データは音声
データバッファ１５４に出力される。

【００４８】なお、上記分離処理は、映像データバッフ
ァ１５３および音声データバッファ１５４のバッファ容
量の空き状況を確認しながら行われる。また、多重化デ
ータバッファ１５１内のデータ量が、予め設定される閾
値以下になった場合には、分離処理部１５２は、制御部
２００に対してデータの入力を要求する。

【００４９】映像処理部１５５は、映像データバッファ
１５３より映像データを取り込み、これを復号処理した
後、映像データに付加されたタイムスタンプ情報のタイ
ミングで再生されるように、ＳＴＣ処理部１５７から得
られるシステムタイムクロック値に合わせて表示部１３
１に出力する。

【００５０】なお、ＳＴＣ処理部１５７は、制御部２０
０からの指示に応じた周期でカウントアップしたシステ
ムタイムクロック値を、映像処理部１５５および音声処
理部１５６に出力する。

【００５１】音声処理部１５６は、音声データバッファ
１５４から音声データを取り込み、これを復号処理した
後、音声データに付加されたタイムスタンプ情報のタイ
ミングで再生されるように、ＳＴＣ処理部１５７から得
られるシステムタイムクロック値に合わせて増幅器１１
３に出力する。

【００５２】ＳＴＣ処理部１５７は、上記システムタイ
ムクロック値を生成するもので、その周期は、制御部２
００によって制御され、特にマルチメディアデータの早
送り再生やスロー再生などにおいて、可変制御される。

【００５３】次に、図３を参照して、音声処理部１５６
について説明する。音声処理部１５６は、復号処理部１
５６１と、ＰＣＭデータバッファ１５６２と、タイムス
タンプ比較処理部１５６３と、再生速度制御部１５６４
と、Ｄ／Ａ変換部１５６５とを備える。

【００５４】復号処理部１５６１は、後述する再生速度
制御部１５６４からの要求に応じて、音声データバッフ
ァ１５４から音声データを取り込んで復号処理し、この
復号処理によって得られたＰＣＭデータをＰＣＭデータ
バッファ１５６２に記録する。

【００５５】また、復号処理部１５６１は、音声データ
に付加されているタイムスタンプ情報を検出し、これを
タイムスタンプ比較処理部１５６３に通知する。なお、
全ての音声データにタイムスタンプ情報が付加されてい
る必要はなく、タイムスタンプ情報が付加されていない
音声データを復号した際には、復号処理部１５６１は、
前フレームのタイムスタンプ情報にフレーム周期分の時
間を加算したものをタイムスタンプ情報としてタイムス
タンプ比較処理部１５６３に通知する。

【００５６】タイムスタンプ比較処理部１５６３は、復
号処理部１５６１から通知される最新のタイムスタンプ
情報を保持する。そして、タイムスタンプ比較処理部１
５６３は、再生速度制御部１５６４からの要求に応じ
て、その時点のシステムタイムクロック値をＳＴＣ処理
部１５７から取得し、この取得したシステムクロック値
と、保持しているタイムスタンプ情報との差分値を求
め、これを再生速度制御部１５６４に出力する。

【００５７】再生速度制御部１５６４は、制御部２００
からの指示に応じて音声処理部１５６全体を統括して制
御するもので、当該音声処理部１５６の動作時には、Ｐ
ＣＭデータバッファ１５６２に蓄積されるＰＣＭデータ
を読み出して、必要に応じてこれに、タイムスタンプ比
較処理部１５６３から通知される差分値に応じた時間軸
圧縮伸張処理を施して、Ｄ／Ａ変換部１５６５に出力す
る。

【００５８】Ｄ／Ａ変換部１５６５は、再生速度制御部
１５６４からＰＣＭデータが与えられ、これをＤ／Ａ変
換処理してアナログ音声信号に変換して出力する。ま
た、Ｄ／Ａ変換部１５６５は、１フレーム分のＰＣＭデ
ータをＤ／Ａ変換する毎に、この旨を再生速度制御部１
５６４に通知して、再生速度制御部１５６４に対してＰ
ＣＭデータの供給を促す。

【００５９】次に、上記構成の移動無線端末装置の動作
について説明する。なお、以下の説明では、この発明に
係わる音声処理部１５６における音声データの再生処理
について説明し、基地局との間の通信制御など、従来と
同様の他の構成の動作についての説明は省略する。

【００６０】制御部２００は、キー入力部１３２を通じ
てユーザから記憶部１４０に記憶されるマルチメディア
データを再生する要求が生じたり、あるいは移動通信網
から受信したマルチメディアデータをストリーミング再
生する場合、データ再生部１５０に対して上記マルチメ
ディアデータの再生開始の指示を与える。

【００６１】この指示は、音声処理部１５６内の再生速
度制御部１５６４にも与えられ、これにより再生速度制
御部１５６４は、図４に示すような音声データの再生処
理を開始する。

【００６２】まず、ステップ４ａでは、再生速度制御部
１５６４は、再生速度制御に関する初期化処理を行う。
具体的には、時間軸圧縮伸張処理に用いる時間軸圧縮伸
張時間軸圧縮伸張フレームカウンタｃｎｔを予め設定し
たフレームカウンタ規定値ＴＨ１に設定するとともに、
前フレームのタイムスタンプ情報からシステムタイムク
ロック値を減算した値を示す前フレームの時間差分値ｐ
ｒｅｖ_ｄｉｆｆをＭＡＸに設定し、ステップ４ｂに移
行する。

【００６３】ステップ４ｂでは、再生速度制御部１５６
４は、復号処理部１５６１に対して復号処理を行わせ、
ステップ４ｃに移行する。これにより、復号処理部１５
６１は、入力される音声データをＰＣＭデータに復号し
てＰＣＭデータバッファ１５６２に記録するとともに、
上記ＰＣＭデータに付加されていたタイムスタンプ情報
を検出してタイムスタンプ比較処理部１５６３に通知す
る。タイムスタンプ比較処理部１５６３は、通知された
タイムスタンプ情報を保持する。

【００６４】ステップ４ｃでは、再生速度制御部１５６
４は、１フレーム分のＰＣＭデータをＰＣＭデータバッ
ファ１５６２から読み出して、Ｄ／Ａ変換部１５６５に
出力するとともに、タイムスタンプ比較処理部１５６３
に対して、時間差分値ｄｉｆｆを要求し、ステップ４ｄ
に移行する。

【００６５】これに対して、Ｄ／Ａ変換部１５６５は、
再生速度制御部１５６４から与えられたＰＣＭデータを
保持して、再生速度制御部１５６４からＤ／Ａ変換の開
始要求が与えられるのを待機する。

【００６６】一方、タイムスタンプ比較処理部１５６３
は、再生速度制御部１５６４からの要求の時点のシステ
ムタイムクロック値をＳＴＣ処理部１５７から取得し、
この取得したシステムクロック値と、保持しているタイ
ムスタンプ情報との差分値を求め、これを時間差分値ｄ
ｉｆｆとして再生速度制御部１５６４に出力する。

【００６７】ステップ４ｄでは、再生速度制御部１５６
４は、タイムスタンプ比較処理部１５６３から時間差分
値ｄｉｆｆ時間を取得し、この後、上記取得した時間差
分値ｄｉｆｆだけ待機する。

【００６８】なお、この待機中に再生速度制御部１５６
４は、次のフレームの出力データのために再度復号処理
部１５６１に対して復号処理を要求しておく。そして、
上記時間差分値ｄｉｆｆに対応する時間が経過すると、
Ｄ／Ａ変換部１５６５へ動作開始を要求して、ステップ
４ｅに移行する。

【００６９】これにより、Ｄ／Ａ変換部１５６５は、保
持しているＰＣＭデータに対するＤ／Ａ変換処理を開始
してアナログ音声信号に再生して出力する。なお、Ｄ／
Ａ変換部１５６５は、１フレーム分のＰＣＭデータのＤ
／Ａ変換処理が完了すると、この旨を再生速度制御部１
５６４に通知して、ＰＣＭデータの供給を促す。

【００７０】ステップ４ｅでは、再生速度制御部１５６
４は、Ｄ／Ａ変換部１５６５が１フレーム分のＰＣＭデ
ータをＤ／Ａ変換し終わるまで待機（正確には上記Ｄ／
Ａ変換処理に要する時間を考慮した少し前の時間だけ待
機）し、ステップ４ｆに移行する。

【００７１】ステップ４ｆでは、再生速度制御部１５６
４は、次のフレーム以降の制御として、タイムスタンプ
比較処理部１５６３より、新たな時間差分値ｄｉｆｆを
取得し、ステップ４ｇに移行する。

【００７２】ステップ４ｇでは、再生速度制御部１５６
４は、ステップ４ｆにて新たに取得した時間差分値ｄｉ
ｆｆの絶対値と、正常時間差閾値ＴＨ２と比較する。な
お、この正常時間差閾値ＴＨ２は、後述する時間軸圧縮
伸張処理が不要な時間差の範囲を示すものである。

【００７３】そして、再生速度制御部１５６４は、上記
比較の結果、時間差分値ｄｉｆｆの絶対値が、正常時間
差閾値ＴＨ２以内であれば正常範囲と判定し、ステップ
４ｈに移行する。

【００７４】ステップ４ｈでは、再生速度制御部１５６
４は、ＰＣＭデータバッファ１５６２より１フレーム分
のデータを取り込み、これをＤ／Ａ変換部１５６５へ出
力するとともに、Ｄ／Ａ変換の開始要求を与えて、アナ
ログ音声信号に変換させ、ステップ４ｉに移行する。

【００７５】ステップ４ｉでは、再生速度制御部１５６
４は、この時点で時間差分値ｄｉｆｆが正常な範囲内に
あり、時間軸圧縮伸張処理を行う必要がないため、ステ
ップ４ａと同様の再生速度制御に関する初期化処理を行
い、ステップ４ｊに移行する。

【００７６】ステップ４ｊでは、再生速度制御部１５６
４は、ＰＣＭデータバッファ１５６２内に蓄積されるデ
ータ量を検出し、このデータ量が１フレーム分以下か否
かを判定する。

【００７７】この判定の結果、ＰＣＭデータバッファ１
５６２内に蓄積されるデータ量が１フレーム分以下の場
合には、再生速度制御部１５６４は、ステップ４ｋに移
行し、一方、１フレーム分よりも多い場合には、ステッ
プ４ｅに移行して、現在、Ｄ／Ａ変換しているフレーム
の再生処理が終了するのを再び待機する。

【００７８】ステップ４ｋでは、再生速度制御部１５６
４は、復号処理部１５６１に対して復号処理を要求し、
新たなＰＣＭデータ供給を促した後、ステップ４ｅに
て、現在、Ｄ／Ａ変換しているフレームの再生処理が終
了するのを再び待機する。

【００７９】一方、ステップ４ｇの比較の結果、時間差
分値ｄｉｆｆが正常時間差閾値ＴＨ２以上であれば、再
生速度制御部１５６４は、ステップ４ｌに移行して、更
に上記時間差分値ｄｉｆｆと未来側異常時間差閾値ＴＨ
３と比較する。

【００８０】なお、この未来側異常時間差閾値ＴＨ３
は、後述する時間軸圧縮伸張処理による再生（遅聞き再
生）では、所望の再生品質が得られない範囲を示すもの
である。

【００８１】そして、再生速度制御部１５６４は、上記
比較の結果、時間差分値ｄｉｆｆの絶対値が、未来側異
常時間差閾値ＴＨ３以上であれば、時間軸圧縮伸張処理
で補正しきれない異常な未来時間のフレームと判定し、
ステップ４ｍに移行する。

【００８２】ステップ４ｍでは、ＰＣＭデータバッファ
１５６２内に蓄積されるデータ量をタイムスタンプ情報
の時刻まで保持し、この保持したＰＣＭデータに代わっ
て無音データをＤ／Ａ変換部１５６５へ出力するととも
に、Ｄ／Ａ変換の開始要求を与えて、アナログ音声信号
に変換させ、ステップ４ｉに移行する。

【００８３】以後、前述したようなステップ４ｉ以降の
処理で、再生速度制御に関する初期化処理を行い、時間
差分値ｄｉｆｆが正常な時間差範囲内にある場合と同様
の処理を行う。

【００８４】一方、ステップ４ｌの比較の結果、時間差
分値ｄｉｆｆが未来側異常時間差閾値ＴＨ３未満であれ
ば、再生速度制御部１５６４は、ステップ４ｎに移行し
て、更に上記時間差分値ｄｉｆｆと過去側異常時間差閾
値ＴＨ４と比較する。

【００８５】なお、この過去側異常時間差閾値ＴＨ４
は、後述する時間軸圧縮伸張処理による再生（早聞き再
生）では、所望の再生品質が得られない範囲を示すもの
である。

【００８６】そして、再生速度制御部１５６４は、上記
比較の結果、時間差分値ｄｉｆｆの絶対値が、過去側異
常時間差閾値ＴＨ４未満であれば、時間軸圧縮伸張処理
で補正しきれない異常な過去時間のフレームと判定し、
ステップ４ｏに移行する。

【００８７】ステップ４ｏでは、上記フレームに対応す
るＰＣＭデータバッファ１５６２内に蓄積されるデータ
量を廃棄し、正常なタイムスタンプ情報を持つデータが
得られるまで復号処理部１５６１へのデータ要求、デー
タ廃棄を繰り返し、得られた正常データを出力し終わる
と、ステップ４ｆに移行する。

【００８８】一方、ステップ４ｎの比較の結果、時間差
分値ｄｉｆｆが過去側異常時間差閾値ＴＨ４以上であれ
ば、再生速度制御部１５６４は、ステップ４ｐに移行し
て、時間軸圧縮伸張フレームカウンタｃｎｔをフレーム
カウンタ規定値ＴＨ１と比較する。

【００８９】この比較の結果、時間軸圧縮伸張フレーム
カウンタｃｎｔとフレームカウンタ規定値ＴＨ１とが等
しい場合、すなわち、再生速度制御の初期化後の最初の
時間軸圧縮伸張処理を実施する場合、再生速度制御部１
５６４は、ステップ４ｑに移行する。

【００９０】ステップ４ｑでは、再生速度制御部１５６
４は、時間軸圧縮伸張レートｒａｔｅの算出を行い、ス
テップ４ｒに移行する。この時間軸圧縮伸張レートｒａ
ｔｅは、ＴＨ１に相当するフレーム数の処理を行った後
に、時間差分値ｄｉｆｆを吸収するためのレートを示す
もので、時間差分値ｄｉｆｆ、フレームカウンタ規定値
ＴＨ１、通常フレームサイズｆｓｉｚｅに基づいて下式
（１）から算出する。

【数１】

【００９１】ステップ４ｒでは、再生速度制御部１５６
４は、ステップ４ｑで求めた時間軸圧縮伸張レートｒａ
ｔｅで、ＰＣＭデータバッファ１５６２内のデータを操
作することで時間軸圧縮伸張処理を行う。

【００９２】時間軸圧縮伸張処理とは、図５に示すよう
に音声信号をピッチ周期のデータ単位に区切り、連続す
るデータｄａｔａ ｘおよびｄａｔａ ｙを重み付け乗算
した後、加算してデータ（ｄａｔａ ｚ）を生成して、
これを再生倍率に応じた周期でデータとして挿入（遅開
き）、あるいは置き換え（早開き）する処理である。こ
の一例としては、ＰＩＣＯＬＡ（Pointer Interval Con
trol Overlap and ADD）方式等がある。

【００９３】そして、再生速度制御部１５６４は、上記
圧縮伸張処理後のフレームサイズ（ｆｓｉｚｅ／ｒａｔ
ｅ）分のデータがＰＣＭデータバッファ１５６２に準備
された時点で、これを順次Ｄ／Ａ変換部１５６５へとと
もに、Ｄ／Ａ変換の開始要求を与えて、アナログ音声信
号に変換させ、ステップ４ｓに移行する。

【００９４】なお、時間軸圧縮伸張処理の過程でＰＣＭ
データが不足した場合には、再生速度制御部１５６４
は、随時、復号処理部１５６１に対して復号要求を行
い、ＰＣＭデータの供給を促す。

【００９５】ステップ４ｓでは、Ｄ／Ａ変換部１５６５
からのデータ出力後、再生速度制御部１５６４は、次の
フレーム以降の処理のために、時間軸圧縮伸張フレーム
カウンタｃｎｔをデクリメントするとともに、現時点の
フレームの時間差分値ｄｉｆｆの絶対値を前フレームの
時間差分値ｐｒｅｖ_ｄｉｆｆとして保存し、ステップ
４ｊに移行する。

【００９６】一方、ステップ４ｐにて、時間軸圧縮伸張
フレームカウンタｃｎｔとフレームカウンタ規定値ＴＨ
１とが等しくない場合、すなわち、前フレームの処理で
時間軸圧縮伸張処理が行われている場合、再生速度制御
部１５６４は、ステップ４ｔに移行する。

【００９７】ステップ４ｔでは、再生速度制御部１５６
４は、ｃｎｔが「０」、つまり時間差分値ｄｉｆｆを吸
収できていないかの判定する。ここで、ｃｎｔが「０」
である場合には、まだ時間差分値ｄｉｆｆが吸収できて
いないことに相当するため、再生速度制御部１５６４
は、ステップ４ｑに移行して、時間軸圧縮伸張レートｒ
ａｔｅを再度算出し、時間軸圧縮伸張処理をやり直す。

【００９８】一方、ｃｎｔが「０」でない場合には、再
生速度制御部１５６４は、ステップ４ｕに移行して、前
フレームの時間差分値ｐｒｅｖ_ｄｉｆｆと現フレーム
の時間差分値ｄｉｆｆの絶対値とを比較する。

【００９９】ここで、前フレームの時間差分値ｐｒｅｖ
_ｄｉｆｆよりも現フレームの時間差分値ｄｉｆｆの絶
対値が大きければ、再生速度制御部１５６４は、ステッ
プ４ｑに移行して、時間軸圧縮伸張レートｒａｔｅを再
度算出し直す。

【０１００】一方、前フレームの時間差分値ｐｒｅｖ_
ｄｉｆｆよりも現フレームの時間差分値ｄｉｆｆの絶対
値以下の場合には、再生速度制御部１５６４は、前フレ
ームまでの時間軸圧縮伸張処理による時間補正が正常に
働いていると判断し、ステップ４ｖに移行して、現在の
時間軸圧縮伸張レートｒａｔｅで時間軸圧縮伸張処理を
継続し、ｃｎｔおよびｐｒｅｖ_ｄｉｆｆを更新する。

【０１０１】次に、図６に示すようなタイムスタンプ情
報を有する音声データが受信された場合について説明す
る。図６は、タイムスタンプ情報（ＴＳ）とシステムタ
イムクロック値（ＳＴＣ）の関係を示したもので、この
例では、タイムスタンプ情報が４０ｍｓｅｃに相当する
音声データが欠落している。

【０１０２】なお、音声データのフレームサイズは１６
０サンプル、サンプリング周波数８ｋＨｚであり、フレ
ーム周期は２０ｍｓｅｃである。

【０１０３】正常データの場合、フレームに付加される
タイムスタンプ情報の値は、２０，４０，６０，８０…
と２０ｍｓｅｃ毎となり、同様にシステムタイムクロッ
ク値も２０ｍｓｅｃ毎の値をとることになる。

【０１０４】この例では、４０ｍｓｅｃを持つデータが
エラー等により欠落しているため、システムタイムクロ
ック値が４０ｍｓｅｃの時に、タイムスタンプ情報の値
が６０ｍｓｅｃのデータを処理することになる。

【０１０５】前述の図４に示した音声処理部１５６の再
生速度制御により、時間差分値ｄｉｆｆとして２０ｍｓ
ｅｃが検出され、ここでＴＨ１を「５」とすると、ｒａ
ｔｅは０．８３３（＝２０／（２０＋２０／５））倍と
なる。

【０１０６】このため、時間軸圧縮伸張処理後のフレー
ムサイズは、１９２（＝１６０／０．８３３）サンプル
と求められ、５（＝ＴＨ１）フレーム処理後のシステム
タイムクロック値が１６０ｍｓｅｃの時に正常タイミン
グに復帰できる、この間、再生音がなくて再生音が途切
れることはない。

【０１０７】なお、映像と音声が同期した早送り再生、
あるいはスロー再生を行う場合には、制御部２００がＳ
ＴＣ処理部１５７に対してシステムタイムクロックの周
期を変更するよう指示することで、映像処理部１５５
は、フレーム再生間隔を変更し、一方、音声処理部１５
６も再生速度制御部１５６４において定常的に時間軸圧
縮伸張処理が行うことで、映像と音声が同期し、早送り
再生、スロー再生が実現できる。

【０１０８】以上のように、上記構成の移動無線端末装
置では、音声処理部１５６において、音声データに付加
されたタイムスタンプ情報と、システムタイムクロック
の値とを比較し、その差分値に応じた時間軸圧縮伸張処
理を、復号した音声データに施して再生速度を制御し
て、アナログ音声信号に変換するようにしている。

【０１０９】したがって、上記構成の移動無線端末装置
よれば、音声データに付加されたタイムスタンプ情報と
システムタイムクロックの値との差分値に応じた時間軸
圧縮伸張処理を、音声データ毎に動的に行って再生速度
を制御できるので、音声データに誤りや消失が生じた
り、あるいは早送り再生やスロー再生など再生速度を可
変した場合でも、聴感上の違和感を軽減して音声再生を
行うことができる。

【０１１０】尚、この発明は上記実施の形態に限定され
るものではない。上記実施の形態では、通信方式として
ＣＤＭＡ方式を例に挙げて説明したが、ＴＤＭＡ（Time
Division Multiple Access）方式など、他のディジタ
ル通信方式の通信装置においても適用できることはいう
までもない。その他、この発明の要旨を逸脱しない範囲
で種々の変形を施しても同様に実施可能であることはい
うまでもない。

【０１１１】

【発明の効果】以上述べたように、この発明では、音声
データに付加された時間情報と、音声データの復号に用
いる時間情報とを比較し、その差分値に応じた時間軸圧
縮伸張処理を音声データ毎に施して再生速度を制御する
ようにしている。

【０１１２】したがって、この発明によれば、音声デー
タに付加された時間情報と音声データの復号に用いる時
間情報との差分値に応じた時間軸圧縮伸張処理を、音声
データ毎に動的に行って再生速度を制御できるので、音
声データに誤りや消失が生じたり、あるいは早送り再生
やスロー再生など再生速度を可変した場合でも、聴感上
の違和感を軽減して音声再生を行うことが可能な移動無
線端末装置およびデータ再生装置を提供できる。

【図面の簡単な説明】

【図１】この発明に係わる移動無線端末装置の一実施の
形態の構成を示す回路ブロック図。

【図２】図１に示した移動無線端末装置のデータ再生部
の構成を示す回路ブロック図。

【図３】図２に示したデータ再生部の音声処理部の構成
を示す回路ブロック図。

【図４】図１に示した移動無線端末装置の音声データの
再生処理を説明するためのフローチャート。

【図５】時間軸圧縮伸張処理の概念を説明するための
図。

【図６】図３に示した音声処理部により、欠落が生じた
音声データの処理する際の一例を説明するための図。

【符号の説明】

１５１…多重化データバッファ １５２…分離処理部 １５３…映像データバッファ １５４…音声データバッファ １５５…映像処理部 １５６…音声処理部 １５７…ＳＴＣ処理部 １５６１…復号処理部 １５６２…ＰＣＭデータバッファ １５６３…タイムスタンプ比較処理部 １５６４…再生速度制御部 １５６５…Ａ／Ｄ変換部

Claims (12)

【特許請求の範囲】
1. 【請求項１】 ディジタルデータを用いて音声通信を行
   うことが可能な移動無線端末装置において、 音声データ毎に付加された時間情報を検出する時間情報
   検出手段と、 この検出手段にて検出した時間情報と、音声データの復
   号に用いる時間情報との差を検出する差分情報検出手段
   と、 この差分情報検出手段の検出結果に対応する音声データ
   に対して、前記検出結果に応じた時間軸圧縮伸張処理を
   施して、再生音声の再生速度を制御する再生速度制御手
   段とを具備することを特徴とする移動無線端末装置。
2. 【請求項２】 前記音声データは、複数の音声サンプル
   から構成されるフレームを１つの単位とし、各フレーム
   毎に前記時間情報が付加されるものであって、 前記再生速度制御手段は、前記差分情報検出手段の検出
   結果を第１のフレーム数で除算して、これにより得られ
   る１フレーム当たりの差分値に１フレーム周期を加算し
   た値で、前記フレーム周期を除算して得られる割合に相
   当する値で前記時間軸圧縮伸張処理を行うことを特徴と
   する請求項１に記載の移動無線端末装置。
3. 【請求項３】 前記再生速度制御手段は、前記音声デー
   タのうち、前記差分情報検出手段の検出結果が予め設定
   した第２の閾値以上のものに限り、前記時間軸圧縮伸張
   処理を行うことを特徴とする請求項１に記載の移動無線
   端末装置。
4. 【請求項４】 前記再生速度制御手段は、前記音声デー
   タのうち、前記検出手段にて検出した時間情報が、音声
   データの復号に用いる時間情報に比べ、第３の閾値未満
   までの過去を示すものに限り、前記時間軸圧縮伸張処理
   を施すことを特徴とする請求項１に記載の移動無線端末
   装置。
5. 【請求項５】 前記再生速度制御手段は、前記音声デー
   タのうち、前記検出手段にて検出した時間情報が、音声
   データの復号に用いる時間情報に比べ、第４の閾値未満
   までの未来を示すものに限り、前記時間軸圧縮伸張処理
   を施すことを特徴とする請求項１に記載の移動無線端末
   装置。
6. 【請求項６】 前記音声データの復号に用いる時間情報
   の計時周期を制御する再生時間制御手段を備えることを
   特徴とする請求項１に記載の移動無線端末装置。
7. 【請求項７】 ディジタル化された音声データをアナロ
   グ音声信号に再生するデータ再生装置において、 音声データ毎に付加された時間情報を検出する時間情報
   検出手段と、 この検出手段にて検出した時間情報と、音声データの復
   号に用いる時間情報との差を検出する差分情報検出手段
   と、 この差分情報検出手段の検出結果に対応する音声データ
   に対して、前記検出結果に応じた時間軸圧縮伸張処理を
   施して、再生音声の再生速度を制御する再生速度制御手
   段とを具備することを特徴とするデータ再生装置。
8. 【請求項８】 前記音声データは、複数の音声サンプル
   から構成されるフレームを１つの単位とし、各フレーム
   毎に前記時間情報が付加されるものであって、 前記再生速度制御手段は、前記差分情報検出手段の検出
   結果を第１のフレーム数で除算して、これにより得られ
   る１フレーム当たりの差分値に１フレーム周期を加算し
   た値で、前記フレーム周期を除算して得られる割合に相
   当する値で前記時間軸圧縮伸張処理を行うことを特徴と
   する請求項７に記載のデータ再生装置。
9. 【請求項９】 前記再生速度制御手段は、前記音声デー
   タのうち、前記差分情報検出手段の検出結果が予め設定
   した第２の閾値以上のものに限り、前記時間軸圧縮伸張
   処理を行うことを特徴とする請求項７に記載のデータ再
   生装置。
10. 【請求項１０】 前記再生速度制御手段は、前記音声デ
    ータのうち、前記検出手段にて検出した時間情報が、音
    声データの復号に用いる時間情報に比べ、第３の閾値未
    満までの過去を示すものに限り、前記時間軸圧縮伸張処
    理を施すことを特徴とする請求項７に記載のデータ再生
    装置。
11. 【請求項１１】 前記再生速度制御手段は、前記音声デ
    ータのうち、前記検出手段にて検出した時間情報が、音
    声データの復号に用いる時間情報に比べ、第４の閾値未
    満までの未来を示すものに限り、前記時間軸圧縮伸張処
    理を施すことを特徴とする請求項７に記載のデータ再生
    装置。
12. 【請求項１２】 前記音声データの復号に用いる時間情
    報の計時周期を制御する再生時間制御手段を備えること
    を特徴とする請求項７に記載のデータ再生装置。