JP2005043423A - リアルタイムパケット処理装置及びその方法 - Google Patents
リアルタイムパケット処理装置及びその方法 Download PDFInfo
- Publication number
- JP2005043423A JP2005043423A JP2003200000A JP2003200000A JP2005043423A JP 2005043423 A JP2005043423 A JP 2005043423A JP 2003200000 A JP2003200000 A JP 2003200000A JP 2003200000 A JP2003200000 A JP 2003200000A JP 2005043423 A JP2005043423 A JP 2005043423A
- Authority
- JP
- Japan
- Prior art keywords
- frames
- packet
- frame
- decoding
- fade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Detection And Prevention Of Errors In Transmission (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
【課題】音声パケットの到着状況に応じてパケットが消失したときや遅延したときに符号化処理部と復号化処理部の相関データの不一致を最小限に抑えてフレームを適切に補間し、品質劣化を低減して音声再生することができるリアルタイムパケット処理装置及びその方法を提供する。
【解決手段】受信装置は、処理対象となるフレームが連続していないときに、不連続となったフレームからＮ個（Ｎは自然数）のフレームに対して復号化処理部における復号化のみを行い、復号化したＮ個のフレームに対して音声再生処理を施さずにＮ個のフレームの次のフレームから音声再生処理を施し、復号化を行う際に復号化処理部において用いる相関データを、送信装置側の符号化処理部における相関データと一致させ、Ｎ個のフレームの次のフレームから適切な音声再生処理を行う。
【選択図】 図４
【解決手段】受信装置は、処理対象となるフレームが連続していないときに、不連続となったフレームからＮ個（Ｎは自然数）のフレームに対して復号化処理部における復号化のみを行い、復号化したＮ個のフレームに対して音声再生処理を施さずにＮ個のフレームの次のフレームから音声再生処理を施し、復号化を行う際に復号化処理部において用いる相関データを、送信装置側の符号化処理部における相関データと一致させ、Ｎ個のフレームの次のフレームから適切な音声再生処理を行う。
【選択図】 図４
Description
【０００１】
【発明の属する技術分野】
本発明は、受信したパケットに含まれるフレームのデータをリアルタイムで処理するリアルタイムパケット処理装置及びその方法に関するものである。
【０００２】
【従来の技術】
従来、電子機器のディジタル化に伴い、情報通信においては転送対象となる情報をパケット化して転送することが一般的に行われている。例えば、音声信号を転送する場合には、送信側では、所定のサンプリング周波数にてサンプリングした音声データを所定量ずつ別個のパケットに分散して収納し、パケット単位で転送を行っている。受信側においては、受信したパケットから音声データを取りだし、取り出した音声データを繋ぎ合わせて再生処理したりミキシング処理したりする。
【０００３】
即ち、上記のようなパケット通信を行う電子機器では、送信側においては１パケット分のデータが得られた段階でパケットを形成して送信する処理を行い、受信側では受け取ったパケットに収納されているデータの再生に要する時間毎にパケット内のデータを読み出す処理を行っている。これにより、受信側では、例えば音声データのリアルタイム転送の場合、分割して受け取った複数のパケットから連続した音声を再生処理したりミキシング処理したりすることができる。
【０００４】
この様なパケット通信は、ほとんどの場合コンピュータ装置を使用して行っており、例えば、無線通信を利用した携帯型電話機やインターネット等の通信網を利用した周知のＩＰ電話、配信サーバから音楽などのコンテンツをユーザ端末装置に配信するシステム、及び遠隔会議システムなどに用いられている。
【０００５】
例えば、フレーム間予測を用いた音声符号化方式（予測符号化方式）には、ＩＴＵ標準のＧ．７２９、Ｇ．７２３．１、Ｇ．７２２．１等がある。
【０００６】
これらの符号化方式は、送信装置側の符号化処理部の内部バッファに格納されている相関データと、受信装置側の復号化処理部の内部バッファに格納されている相関データが一致していなければ正しい音響信号を復元できないという制約がある。尚、上記相関データとは、上記Ｇ．７２９、Ｇ．７２３．１、Ｇ．７２２．１に記載されている予測符号化方式に用いるデータである。
【０００７】
例えば、送信装置側の復号化処理部で音声フレーム０，１，２，３を符号化して、パケット０，１，２，３に各フレームを含めて送信した場合には、パケットの受信順序に関わらず受信装置側の復号化処理部でも、符号化処理部が符号化したのと同じようにフレーム０，１，２，３の順序で復号化処理を行わなければ、各フレームを符号化した時点の符号化処理部の相関データと、当該フレームを復号化する際の復号化処理部の相関データが一致しなくなり、正しい復号波形を得ることができない。
【０００８】
また、転送中にパケットが消失した場合には受信装置においてパケットの消失補償（ＰＬＣ：Ｐａｕｑｔｔｅ Ｌｏｓｓ Ｃｏｎｃｅａｌｍｅｎｔ）処理が行われる場合がある。
【０００９】
尚、パケット消失補償処理としては、Ｇ．７１１Ａｐｐｅｎｄｉｘ１やＧ．７２９の標準でもたれている方式が知られている。
【００１０】
【特許文献１】
特開２０００−８３０５０号公報
【非特許文献１】
ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｇ．７２９
【非特許文献２】
ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｇ．７２３．１
【非特許文献３】
ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｇ．７２２．１
【非特許文献４】
ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｇ．７１１ Ａｐｐｅｎｄｉｘ １
【００１１】
【発明が解決しようとする課題】
前述した音声符号化方式（予測符号化方式）における制約により、パケットの消失が起こった場合等には、消失したフレームを復号化処理部の入力として復号化処理部の相関データを更新することができないため、消失後正しく受信したパケット内のフレームを復号化する際に、送信装置側の符号化処理部の相関データと、受信装置側の復号化処理部の相関データが不一致となり、音声フレームを正しく復元できない場合がある。
【００１２】
上記の従来方式では、上記のようなパケット消失や遅延に起因する相関データの不一致に関して特に対処を行わないため、再生音声に知覚可能な品質の劣化を生じていた。
【００１３】
また、前述のような予測符号化方式を用いた場合に制約条件があるにもかかわらず、ＶｏＩＰ等のアプリケーションにおいては、送信装置側が送信した全ての音声パケットが正しく受信装置側に到着する保証はない。例えば、通信網等においてパケットが消失した場合には容易に符号化処理部と復号化処理部の相関データの不一致が生じるし、通信セッションの確立に際して、送信装置側が送信した先頭のパケットから正しく受信装置側に到着するとは限らないため、通信の初期の段階から符号化処理部と復号化処理部の相関データが不一致のまま通信が継続してしまうという問題がある。
【００１４】
本発明の目的は上記の問題点に鑑み、音声パケットの到着状況に応じてパケットが消失したときや遅延したときに符号化処理部と復号化処理部の相関データの不一致を最小限に抑えてフレームを適切に補間し、品質劣化を低減して音声再生することができるリアルタイムパケット処理装置及びその方法を提供することである。
【００１５】
【課題を解決するための手段】
一般的に符号化処理部、復号化処理部に用いられる予測は数フレームの間の相関を用いており、符号化処理部と復号化処理部の内部状態が不一致となった時点から数フレームの間は正しい音響信号を復元することができず、再生音声に知覚可能な品質の劣化が生じる。
【００１６】
しかし、符号化処理部と復号化処理部の相関データに不一致が生じた場合にも、受信フレームを正しい順序で数フレーム復号した後には相関データは次第に一致してくるため、結果として復号した波形の品質の劣化は、連続して正しいフレームを復号するに従って次第に収まってくる。
【００１７】
本発明では、符号化処理部、復号化処理部の相関データに不一致が生じた場合に、最初の数フレームの音声をあえて再生しないことによって品質が劣化した音声を再生せず、受聴品質を向上するリアルタイムパケット処理装置及びその方法を提案する。
【００１８】
本発明では、連続した入力音声信号を所定周期毎に切り取り、該切り取った信号を前記周期よりも短い所定のサンプリング時間毎にサンプリングして得られた複数のサンプリングデータを符号化処理部によって符号化してなるフレームを生成すると共に該フレーム毎に該フレームを含むパケットを生成して順次送信する送信装置から通信網を介して受信装置によって前記パケットを受信し、前記受信装置により、前記受信したパケットに含まれる前記フレームを復号化処理部により復号化し、該復号化したフレームに含まれるサンプリングデータに対して音声再生処理を施す予測符号化方式を用いたリアルタイムパケット処理において、前記受信装置は、前記復号化処理部による復号処理を行う際に処理対象となるフレームが連続していないときに、不連続となったフレームからＮ個のフレームに対して前記復号化処理部における復号化のみを行い、復号化したＮ個のフレームに対して前記音声再生処理を施さずに前記Ｎ個のフレームの次のフレームから前記音声再生処理を施す。
【００１９】
本発明によれば、前記復号化処理部による復号処理を行う際に処理対象となるフレームが連続していないときは、不連続となったフレームからＮ個のフレームに対して前記復号化処理部における復号化のみが行われ、復号化したＮ個のフレームに対して前記音声再生処理を施さずに前記Ｎ個のフレームの次のフレームから前記音声再生処理が施される。前記Ｎ個のフレームに対して復号化処理のみが行われることにより、復号化を行う際に復号化処理部において用いる相関データを、送信装置側の符号化処理部における相関データと完全に一致若しくはほぼ一致させることができ、前記Ｎ個のフレームの次のフレームから適切な音声再生処理を行うことができる。
【００２０】
また、本発明では、前記受信装置は、前記Ｎ個のフレームに続くＭ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施す。
【００２１】
本発明によれば、受信装置によって、前記Ｎ個のフレームに続くＭ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理が施されるので、受信装置において音声再生する際に、無音状態から有音状態に遷移する部分で音声波形が不連続となることがないので、この遷移部分で異音が生じることが無く、音声品質の劣化が低減される。
【００２２】
また、本発明では、前記受信装置は、前記復号化処理部による復号処理を行う際に処理対象となるフレームが連続していないときに、不連続となったフレームからＮ個のフレームに対して前記復号化処理部における復号化を行い、復号化した前記Ｎ個のフレームに対して音量を低下させた前記音声再生処理を施す。
【００２３】
本発明によれば、前記復号化処理部による復号処理を行う際に処理対象となるフレームが連続していないときは、不連続となったフレームからＮ個のフレームに対して前記復号化処理部における復号化が行われた後、復号化した前記Ｎ個のフレームに対して音量を低下させた前記音声再生処理が施される。
【００２４】
このとき、上記と同様に、前記Ｎ個のフレームに対して復号化処理が行われることにより、復号化を行う際に復号化処理部において用いる相関データを、送信装置側の符号化処理部における相関データと完全に一致若しくはほぼ一致させることができる。さらに、前記Ｎ個のフレームに対して音量を低下させた音声再生処理が施されるので、この遷移部分で異音が生じることが無く、音声品質の劣化が低減される。
【００２５】
また、本発明では、前記受信装置は、前記Ｎ個のフレーム及びこれに続くＭ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施す。
【００２６】
本発明によれば、受信装置によって、前記Ｎ個のフレーム及びこれに続くＭ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理が施されるので、受信装置において音声再生する際に、無音状態から有音状態に遷移する部分で音声波形が不連続となることがないので、この遷移部分で異音が生じることが無く、音声品質の劣化が低減される。
【００２７】
また、本発明では、前記受信装置は、前記不連続となる前のＭ個のフレーム対して徐々に無音まで音量を低下させるフェードアウト処理を施す。
【００２８】
本発明によれば、受信装置によって、前記不連続となる前のＭ個のフレーム対して徐々に無音まで音量を低下させるフェードアウト処理が施されるので、有音状態から無音状態になる部分の音声レベルが徐々に減少されるため、受信装置において音声再生する際に、有音状態から無音状態に遷移する部分で音声波形が不連続となることがないので、この遷移部分で異音が生じることがなく、音声品質の劣化が低減される。
【００２９】
また、本発明では、前記受信装置は、前記パケットに含まれるシーケンス番号に基づいて、該シーケンス番号が不連続になったときに、前記フレームが不連続となったと判定する。
【００３０】
本発明によれば、受信装置により、前記パケットに含まれるシーケンス番号に基づいて、該シーケンス番号が不連続になったときに、前記フレームが不連続となったと判定される。
【００３１】
また、本発明では、前記受信装置は、前記送信装置から受信したパケットをバッファに格納して、前記バッファから入力したパケットに含まれるフレームを復号化する際に、前記バッファに格納されているパケットの数が所定数を越えたときに、前記バッファに格納されている連続した所定数のパケットを破棄すると共に、前記破棄したパケットのフレームのうちの最後のＮ個のフレームは復号化のみを行い、これに続くＭ個のパケットのフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施し、前記破棄したパケットの前のＭ個のパケットのフレーム対して徐々に無音まで音量を低下させるフェードアウト処理を施す。
【００３２】
本発明によれば、受信装置のバッファに蓄積されたパケットの数が所定数を越えたときは、音声再生処理に遅延が生じるため、バッファに格納されている連続した所定数のパケットが破棄される。
【００３３】
これにより、前記Ｍ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理が施されるので、受信装置において音声再生する際に、無音状態から有音状態に遷移する部分で音声波形が不連続となることがないので、この遷移部分で異音が生じることが無く、音声品質の劣化が低減される。
【００３４】
さらに、不連続となる前のＭ個のフレーム対して徐々に無音まで音量を低下させるフェードアウト処理が施されるので、有音状態から無音状態になる部分の音声レベルが徐々に減少されるため、受信装置において音声再生する際に、有音状態から無音状態に遷移する部分で音声波形が不連続となることがないので、この遷移部分で異音が生じることがなく、音声品質の劣化が低減される。
【００３５】
さらにまた、破棄したパケットのフレームのうちの最後のＮ個のフレームに対して復号化のみが施されるため、送信側の符号化処理部と受信側の復号化処理部において予測符号化方式で用いられる相関データを完全に一致或いはほぼ一致させることができる。
【００３６】
また、本発明では、前記受信装置は、前記フェードアウト処理を施したフレームと前記フェードイン処理を施したフレームとを重ねて音声再生する。
【００３７】
本発明によれば、前記フェードアウト処理を施したフレームと前記フェードイン処理を施したフレームとが重ねられて音声再生されるので、不連続になる部分において無音状態が生じることがなく、音声品質の劣化がさらに低減される。
【００３８】
また、本発明では、前記受信装置は、前記フレームの不連続がパケットの消失によって生じたときに、消失したパケットに対応するフレームを補間し、前記消失したパケットに続くＮ＋Ｍ個のパケットを擬似生成すると共に、前記消失したパケットの後のＮ個のフレームに続くＭ個のフレームに対して無音まで音量を低下させるフェードアウト処理を施した第１音声信号を生成し、受信したパケットのうちの前記消失したパケットの後のＮ個のパケットのフレームに対して前記復号化のみを行い、該Ｎ個のパケットに続くＭ個のパケットのフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施した第２音声信号を生成し、前記第１音声信号と前記第２音声信号とを重ねて音声再生する。
【００３９】
本発明によれば、受信パケットに消失が生じたときは、消失したパケットに対応するフレームが補間される。
【００４０】
さらに、消失したパケットに続くＮ＋Ｍ個のパケットが擬似生成されると共に、消失したパケットの後のＮ個のフレームに続くＭ個のパケットのフレームに対して徐々に無音まで音量を低下させるフェードアウト処理が施された第１音声信号が生成される。
【００４１】
また、受信したパケットのうちの前記消失したパケットの後のＮ個のパケットのフレームに対して前記復号化のみが行われ、該Ｎ個のパケットに続くＭ個のパケットのフレームに対して無音状態から徐々に音量を増加させるフェードイン処理が施された第２音声信号が生成され、前記第１音声信号と第２音声信号が重ねられて音声再生される。
【００４２】
これにより、前記Ｍ個のフレームに対してフェードアウト処理が施された第１音声信号と、フェードイン処理が施された第２音声信号とが生成され、これらの音声信号が重ねられて音声再生されるので、この遷移部分で異音が生じることがなく、音声品質の劣化が低減される。
【００４３】
また、本発明では、前記受信装置は、前記フレームの不連続がパケットの遅延によって生じたときに、遅延したパケットの前の受信パケットに続いてＮ個以上のフレームを擬似生成し、前記擬似生成したフレームのうちの最後のＮ個のフレームに対して無音まで音量を低下させるフェードアウト処理を施した第１音声信号が生成され、前記遅延して受信したパケットの最初のＮ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施した第２音声信号が生成され、前記第１音声信号と前記第２音声信号とを重ねて音声再生する。
【００４４】
本発明によれば、受信パケットに遅延が生じたときは、遅延したパケットの前の受信パケットのフレームに基づいて遅延期間に存在すべきパケットに対応するフレームを含むＮ個のフレームが擬似生成される。
【００４５】
さらに、擬似生成したフレームのうちの最後のＮ個のフレームに対して無音まで音量を低下させるフェードアウト処理を施した第１音声信号が生成され、前記遅延して受信したパケットの最初のＮ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施した第２音声信号が生成され、前記フェードアウト処理を施した第１音声信号と前記フェードイン処理を施した第２音声信号とが重ねられて音声再生される。これにより、前記フェードアウト処理が施された第１音声信号と、フェードイン処理が施された第２音声信号とが重ねられて音声再生されるので、この遷移部分で異音が生じることがなく、音声品質の劣化が低減される。
【００４６】
【発明の実施の形態】
以下、図面に基づいて本発明の一実施形態を説明する。
【００４７】
（第１実施形態）
図１は本発明の第１実施形態におけるリアルタイムパケット処理装置の機能構成を示すブロック図、図２は本発明の第１実施形態における音声パケット送信装置による音声信号のパケット化を説明する図、図３は本発明の第１実施形態において用いているリアルタイム転送プロトコル（以下、ＲＴＰと称する）ヘッダを説明する図である。図において１は音声パケット送信装置（以下、単に送信装置と称する）、２は音声パケット受信装置（以下、単に受信装置と称する）、３はインターネット等の通信網である。本実施形態では、一例として、通信網３を介して送信装置１からＵＤＰ／ＩＰを用いて音声パケットをリアルタイムで受信装置２に転送する装置に関して説明する。
【００４８】
送信装置１は、周知のコンピュータ装置から構成され、予め設定されているプログラムよって動作し、音声入力部１１と、アナログ／ディジタル（Ａ／Ｄ）変換部１２、符号化処理部１３、パケット生成部１４、送信部１５とから構成されている。これらの送信装置１を構成する各部分は、ハードウェア及びソフトウェアの両方によって構成されている。
【００４９】
受信装置２は、周知のコンピュータ装置から構成され、予め設定されているプログラムよって動作し、受信部２１と、パケット解析部２２、復号化処理部２３、ディジタル／アナログ（Ｄ／Ａ）変換部２４、音声出力部２５とから構成されている。これらの受信装置２を構成する各部分は、ハードウェア及びソフトウェアの両方によって構成されている。
【００５０】
音声入力部１１は音声信号を図２に示すようなアナログ電気信号４に変換してＡ／Ｄ変換部１２に出力し、Ａ／Ｄ変換部１２によって所定のサンプリングタイムでディジタル信号に変換された音声データ（サンプル）が符号化処理部１３に備わるデータバッファ（図示せず）に順次格納される。
【００５１】
また、図２に示すように、符号化処理部１３のデータバッファに格納された音声データは、符号化処理部１３によって所定周期Ｔ毎に切り取られ音声データフレーム３１とされ、先頭から順に１フレームずつ順送りにパケット３０が生成されて送信される。
【００５２】
符号化処理部１３は、Ａ／Ｄ変換部１２から入力した符号化対象となる音声データフレームの符号化処理を行うが、符号化処理を行うに際して前のフレームを符号化した結果の内部状態を内部バッファ１３ａに保持し、過去からの予測を行うことで符号化利得を向上させている。
【００５３】
本実施例においては、パケット消失により送信装置１の符号化処理部１３と受信装置２の復号化処理部２３における相関データの不一致による品質劣化を低減するために、無音状態から有音状態に変化した場合に、符号化処理部１３の内部バッファ１３ａをリセットして初期値を用いることにより伝送誤りによる品質低下の発生を低減している。
【００５４】
さらに、符号化処理部１３は、分析結果に基づいて符号化対象となる音声データフレームを符号化してパケット生成部１４に送出する。
【００５５】
パケット生成部１４は、符号化処理部１３から入力した符号化された音声データを含むＲＴＰパケットを生成して送信部１５へ送出する。このときのＲＴＰパケットには図３に示すようなＲＴＰヘッダが付加される。
【００５６】
ＲＴＰヘッダには、周知のように、２ビットのＶｅｒｓｉｏｎ情報Ｖと、１ビットのＰａｄｄｉｎｇ情報Ｐ、１ビットのＥｘｔｅｎｓｉｏｎ情報Ｘ、３ビットのＣＳＲＣ−Ｃｏｕｎｔ情報ＣＣ、１ビットのＭａｒｋｅｒ情報（以下、マーカービットと称する）Ｍ、７ビットのＰａｙｌｏａｄ−Ｔｙｐｅ情報ＰＴ、１６ビットのシーケンス番号（順序番号：Ｓｅｑｕｅｎｃｅ Ｎｕｍｂｅｒ）、３２ビットのタイムスタンプ（Ｔｉｍｅｓｔａｍｐ）、３２ビットの同期信号元（ＳＳＲＣ）識別子、３２ビットの寄与送信元（ＣＳＲＣ）識別子等が含まれている。
【００５７】
また、本実施形態では、無音状態であってパケット送信を停止していた後に有音状態になって最初に送信するパケットのマーカービットＭを「１」に設定し、その他のパケットのマーカービットＭを「０」に設定する。
【００５８】
送信部１５は、パケット生成部１４から入力したＲＴＰパケットを通信網３を介して受信装置２に送信する。
【００５９】
一方、受信装置２の受信部２１は、通信網３を介して送信装置１から送信されたＲＴＰパケットを受信しパケット解析部２２に送出する。
【００６０】
パケット解析部２２は、受信部２１から入力したＲＴＰパケットを解析してヘッダ部と符号化された音声データフレームに分離すると共に、ヘッダ部の内容を解析し、ＲＴＰタイムスタンプに基づいて、送信された順番に符号化された音声データフレームを復号化処理部２３に出力する。さらに、パケット解析部２２は、ＲＴＰヘッダのマーカービットＭの値を復号化処理部２３に通知する。
【００６１】
復号化処理部２３は、パケット解析部２２から入力した符号化された音声データフレームを復号してディジタル音声データに変換し、このディジタル音声データをＤ／Ａ変換部２３に出力する。
【００６２】
また、復号化処理部２３は、復号化を行う際に、符号化された音声データフレームを分析しその分析結果を内部バッファ２３ａに一時記憶すると共に、データ分析を行う際に、内部バッファ２３ａに一時記憶されている分析結果或いは予め設定されている分析初期値を参照してデータ分析を行う。ここで、内部バッファ２３に一時記憶されている１フレーム前の分析結果を用いることにより前後のフレーム間の相関を考慮した最適な分析及び復号を行えるようにしている。
【００６３】
Ｄ／Ａ変換部２３は、復号化処理部２３によって復号して得られたディジタル音声データを入力してアナログ音声信号に変換して音声出力部２４に出力する。
【００６４】
音声出力部２４は、Ｄ／Ａ変換部２３から入力したアナログ音声データを音声に変換して出力する。
【００６５】
次に、上記構成よりなる本実施形態におけるリアルタイムパケット処理装置の動作を説明する。
【００６６】
ＶｏＩＰ通信において、受信装置２側の受け入れ準備が完了する前に送信装置１側が音声パケットの送出を始める場合がある。この様な場合には、受信装置２側では通信開始直後のパケットを正しく受信することができず、先頭の数パケットを取りこぼすことになる。
【００６７】
この場合には、送信装置１側の符号化処理部１３における内部バッファ１３ａに格納されている相関データと、受信装置２側の復号化処理部２３における内部バッファ２３ａに格納されている相関データが不一致となり、正しい音声信号を生成することができない。
【００６８】
本実施形態では、例えば符号化方式として前述したＧ．７２９を用いた場合を一例として説明する。この場合、１フレームが１０ｍｓであるので、１０ｍｓ分の音声１フレームを１パケットとした場合について説明する。また、以降の各実施形態でも同様の条件を例にとって記述する。
【００６９】
ＲＴＰ／ＲＴＣＰを用いてＶｏＩＰ音声パケット通信を行う場合に、送信装置１が最初に送ったパケットのシーケンス番号を知ることができないため、受信装置２側では最初に受け取ったパケットが、送信装置１が最初に送出したパケットであるかどうかわからない。
【００７０】
このため、送信装置１の符号化処理部１３における内部バッファの相関データをリセットした状態で生成した最初の符号化フレームが含まれているかどうか知ることができない。
【００７１】
受信装置２において、送信装置１が送出したパケットのうち、先頭の数パケットを受信できなかったにもかかわらず何も付加的な処理を行わず、受け取ったパケットに含まれる音声フレームをそのまま復号して再生すると、先頭部分で符号化処理部と復号化処理部の相関データの不一致に起因する再生音声の品質劣化が生じる場合がある。
【００７２】
この問題を回避するため、第１実施形態では、通信開始から数パケットについては、復号化処理は行うが、復号化処理したフレームの音声再生は行わず、フレームの信号波形が安定するまで数フレーム復号化処理を行った後でフェードイン処理を用いて再生している。
【００７３】
例えば、図４に示す一例では、送信装置１はシーケンス番号が０番のフレームを含むパケットから順に送信しているが、受信装置２側では受信を開始した後にシーケンス番号が３番のパケットから受信している。この場合、受信装置２は、受信できた最初のＮ個のパケットに含まれるＮ個のフレームについては復号化処理を行うのみとする。これにより、正常に復号化するための相関データを復号化処理部２３の内部バッファ２３ａに蓄積している。ここでは、Ｎ＝２としてシーケンス番号が３番と４番の２つのパケットについて復号化処理を行うのみで、音声再生を行わずに相関データを内部バッファ２３ａに蓄積している。
【００７４】
さらに、受信装置２は、上記シーケンス番号が３番と４番のフレームに続くＭ個のパケットのフレームについては復号化処理を施した後、音声再生する際にフェードイン処理を施す。ここでは、Ｍ＝２としてシーケンス番号が５番と６番のパケットのフレームに関してフェードイン処理を施している。シーケンス番号が７番以降のパケットのフレーム関しては通常通りの復号化処理と音声再生処理を施す。尚、以下の説明においてＮ個及びＭ個はそれぞれ０以上の数であり且つＮ＋Ｍが１以上となる数であればよい。
【００７５】
前述したように本実施形態によれば、先頭の音声パケットを受信できなかったときに、品質劣化を低減して音声再生することができる。
【００７６】
（第２実施形態）
次に、本発明の第２実施形態を説明する。
【００７７】
第２実施形態では、送信装置１の符号化処理部１３における内部バッファ１３ａと受信装置２の復号化処理部２３における内部バッファ２３ａに格納されている相関データの状態不一致が、ネットワーク通信網３におけるパケット消失に起因して生じる場合について説明する。尚、第２実施形態における装置構成は第１実施形態と同様である。
【００７８】
パケットが消失した場合には、消失したパケットに含まれるフレームを復号化処理することができないため、送信装置１側の符号化処理部１３の符号化器の内部バッファ１３ａと受信装置２側の復号化処理部２３の復号化器の内部バッファ２３ａに格納されている相関データに関して状態の不一致が生じる。
【００７９】
このような内部バッファ１３ａ，２３ａに格納されている相関データに関する状態の不一致を生じる場合、本実施形態では、パケット消失の直後のフレームを復号化してすぐに再生するのではなく、パケット消失後に受信した数パケットのフレームについては復号化処理は行うが音声再生は行わず、フレームの信号波形が安定するまで数フレーム符号化処理を行った後でフェードイン処理を行い再生している。
【００８０】
以下に上記の内容を実現するための動作に関して図５を参照して説明する。
【００８１】
受信装置２は、受信部２１及びパケット解析部２２において受信パケットに含まれるシーケンス番号を用いて、シーケンス番号が１番と２番のパケットの消失を知ることができる。
【００８２】
受信装置２は、シーケンス番号が１番と２番のパケットの消失を知った場合に、消失したこれらのパケットのフレーム分の無音を生成して再生する。
【００８３】
さらに、本実施形態では、受信装置２は消失したシーケンス番号が１番と２番のパケットのフレームの次に受信したパケットのフレームを復号化処理する前に、復号化処理部２３の内部バッファ２３ａを初期化（リセット）する。
【００８４】
次に、受信装置２は、受信したシーケンス番号が３番以降のパケットの復号化処理を開始するが、Ｎフレームの間は復号化するのみで再生は行わない。即ち、シーケンス番号が３番と４番の２つのパケットのフレームは復号化するのみで音声再生は行わない。
【００８５】
これに続くＭ個のフレームは復号化処理して得られた音声信号を音量０から次第に音量を増加させるフェードイン処理を施して再生する。即ち、シーケンス番号が３番と４番の２つのパケットのフレームについては、復号化処理して得られた音声信号を音量０から次第に音量を増加させるフェードイン処理を施して再生する。
【００８６】
Ｎ＋Ｍ個のフレームの後、すなわちシーケンス番号が７番のパケット以降のパケットのフレームは、復号化処理して得られた音声信号をそのまま通常通り再生する。
【００８７】
上記第２実施形態によれば、音声パケットの到着状況に応じてパケットが消失したときに、品質劣化を低減して音声再生することができる。
【００８８】
（第３実施形態）
次に、本発明の第３実施形態を説明する。尚、第３実施形態における装置構成は、前述した第１実施形態と同様である。
【００８９】
第３実施形態では、パケット通信において、ＩＰパケットが一度に大量に到着した場合には、受信装置の受信部２１にあるＦＩＦＯバッファ内にパケットが溜まりすぎて、受信パケットの一部を破棄する必要が生じる場合について説明する。
【００９０】
このようなときに受信パケットの一部を破棄し、受信した全てのパケットに含まれる音声フレームを復号処理しない場合には、送信装置１の符号化処理部１３における内部バッファ１３ａに格納されている相関データと受信装置２の復号化処理部２３における内部バッファ２３ａに格納されている相関データとの間に状態の不一致が生じる。
【００９１】
また、破棄する予定のフレームについても全て復号化処理を行うことは演算処理の負荷を考慮した場合には許容できない場合が多い。
【００９２】
第３実施形態では、上記のような場合に全てのフレームを復号化処理しないことに起因する音声品質劣化を低減する例を示す。
【００９３】
また、第３実施形態では、Ｍ個のフレームを境界フレームとして設け、クロスフェードすることで音声波形の不連続性をなくし、品質の劣化を低減している。
【００９４】
ここで、破棄するフレーム数が非常に少ない場合には、破棄するフレームも含めて全てのフレームを復号化処理しても良い。例えば、破棄すべきフレーム数Ｘ＜Ｎとなる場合に全てのフレームを復号化処理するようにすることができる。
【００９５】
次に、上記の処理の具体例について図６を参照して説明する。
【００９６】
図６に示す具体例では、受信部２２のＦＩＦＯバッファに多数のパケットが溜まりすぎたためシーケンス番号が１１番から１４番のパケットを破棄したいときの処理を示す。
【００９７】
このとき、シーケンス番号が１１番と１２番のパケットは破棄する。また、シーケンス番号が９番と１０番のパケットのフレームを境界フレームとして、これらのフレームの復号化処理を行った後、これらの境界フレーム対して徐々に無音まで音量を低下させるフェードアウト処理を施す。
【００９８】
さらに、シーケンス番号が１３番のパケットのフレームを復号化処理する前に、復号化処理部２３の内部バッファ２３ａを初期化（リセット）する。
【００９９】
また、シーケンス番号が１３番と１４番のパケットについては復号化処理を施して、復号化処理部２３の内部バッファ２３ａに格納されている相関データを更新する。しかし、復号化処理されたシーケンス番号が１３番と１４番のパケットのフレームについては音声再生しない。
【０１００】
また、これに続くＭ個のフレームを境界フレームとし、これらのフレームを復号化処理して得られた音声信号を音量０から次第に音量を増加させるフェードイン処理を施して再生する。即ち、シーケンス番号が１５番と１６番のパケットのフレームについては、復号化処理して得られた音声信号を音量０から次第に音量を増加させるフェードイン処理を施す。
【０１０１】
さらに、シーケンス番号が９，１０番のフレームと１５，１６番のフレームとを重ねてクロスフェードした状態で音声再生する。
【０１０２】
シーケンス番号が１７番のパケット以降のパケットのフレームは、復号化処理して得られた音声信号をそのまま通常通り再生する。
【０１０３】
上記第３実施形態によれば、ＩＰパケットが一度に大量に到着し、受信装置２の受信部２１にあるＦＩＦＯバッファ内にパケットが溜まりすぎて、受信パケットの一部を破棄したときにも、品質劣化を低減して音声再生することができる。
【０１０４】
（第４実施形態）
次に、本発明の第４実施形態を説明する。
【０１０５】
図７は本発明の第４実施形態における音声パケット通信システムの機能構成を示すブロック図である。図において、前述した第１実施形態と同一構成部分は同一符号をもって表しその説明を省略する。また、第４実施形態と第１実施形態との相違点は、受信装置２に消失補償処理部２６と混合器２７を設けたことである。
【０１０６】
第４実施形態では、第２実施形態に示したパケットが消失した場合の処理を拡張して、パケット消失補償処理を行う場合の例を説明する。
【０１０７】
パケットが消失した場合には、消失したパケットに含まれるフレームを復号化処理して復号化器の内部状態を更新することができないため、送信装置１側の符号化処理部１３で当該フレームを符号化した時点の相関データと、当該フレームを復号化する復号化処理部２３の内部バッファ２３ａに格納されている相関データとの間に状態の不一致が生じる。
【０１０８】
受信装置２は、受信部２１とパケット解析部２２において受信パケットに含まれるシーケンス番号を用いて、パケットの消失を知ることができる。本実施形態では、シーケンス番号が１番と２番のパケットが消失した場合を一具体例として図８を参照して説明する。
【０１０９】
これらのパケットの消失を知った場合に、受信装置２は、消失補償処理部２６において第１再生処理を行うと共に復号化処理部２４において第２再生処理を行い、消失補償処理部２６からの出力信号と復号化処理部２４からの出力信号を混合機２７によって混合してＤ／Ａ変換部２４に入力する。
【０１１０】
即ち、受信装置２は、パケットの消失を知った場合に、正常に受信した最後のパケットに含まれる最後のフレームを復号化した後の復号化処理部２３の内部バッファ２３ａに格納されている相関データを、消失補償処理部２６の内部バッファ２６ａにコピーする。
【０１１１】
消失補償処理部２６では、第１再生処理を行う。この第１再生処理では、内部バッファ２６ａにコピーされた相関データを用いて、消失したフレームの代わりに再生されるべき音声波形を擬似生成して補間すると共に、補間したフレームに続くＮ個のフレームを擬似生成して復号化処理し、これに続くＭ個のフレームを擬似生成して復号化すると共にフェードアウト処理を施して、混合部２７を介してＤ／Ａ変換部２４に出力する。
【０１１２】
復号化処理部２３では、第２再生処理を行う。この第２再生処理では、消失していない次のパケットのフレームを復号化処理する前に、内部バッファ２３ａを初期化（リセット）する。
【０１１３】
次に、復号化処理部２３は、受信したパケットの復号化処理を開始するが、最初のＮ個のフレームの間は復号化するのみで再生は行わない。このＮ個のフレームに続くＭ個のフレームには復号化処理部２４において復号化処理して得られた音声信号を０から次第に音量を増加させるフェードイン処理を施す。
【０１１４】
復号化処理部２４においてフェードイン処理を施されたものと、消失補償処理部で生成された音声波形をフェードアウト処理したものを合成し（クロスフェード）、再生する。
【０１１５】
また、復号化処理部２３においては、内部バッファ２３ａを初期化（リセット）した後のＮ＋Ｍ個のフレームに続くフレームに対しては、通常通りの復号化処理を施し、この復号化された音声信号はそのまま通常通り再生される。
【０１１６】
次に、上記の処理の具体例について図８を参照して説明する。
【０１１７】
図８に示す具体例では、受信装置２は、シーケンス番号が１番と２番のパケットの消失を知った場合に、正常に受信したシーケンス番号が０番のパケットに含まれるフレームを復号化した後の復号化処理部２３の内部バッファ２３ａに格納されている相関データを、消失補償処理部２６の内部バッファ２６ａにコピーする。
【０１１８】
消失補償処理部２６では、第１再生処理として、内部バッファ２６ａにコピーされた相関データを用いて、消失したシーケンス番号が１番と２番のパケットのフレームの代わりに再生されるべき１’番と２’番のフレーム及びこれに続く３’〜６’番のフレームの音声波形を擬似生成して補間すると共に、補間した１’〜４’番のフレームに対しては復号化処理のみを施し、これに続くシーケンス番号が５’番と６’番のパケットのフレームに対しては復号化すると共にフェードアウト処理を施して音声波形を生成し、混合部２７を介してＤ／Ａ変換部２４に出力する。
【０１１９】
復号化処理部２３では、第２再生処理として、受信したシーケンス番号が３番のパケットのフレームを復号化処理する前に、内部バッファ２３ａを初期化（リセット）する。
【０１２０】
次に、復号化処理部２３は、受信したシーケンス番号が３番と４番のパケットのフレームは復号化するのみで再生は行わない。これにより、復号化処理部２３の内部バッファ２３ａに格納されている相関データが正常なものとなる。
【０１２１】
また、シーケンス番号が５番と６番のパケットのフレームには復号化処理部２４において復号化処理して得られた音声信号を０から次第に音量を増加させるフェードイン処理を施して、混合部２７を介してＤ／Ａ変換部２４に出力する。
【０１２２】
これにより、混合部２７によって復号化処理部２３においてフェードイン処理を施されたものと、消失補償処理部２６においてフェードアウト処理を施されたものが合成（クロスフェード）され、再生される。
【０１２３】
また、復号化処理部２３においては、シーケンス番号が７番以降のパケットのフレームに対しては、通常通りの復号化処理を施す。この復号化された音声信号はそのまま通常通り再生される。
【０１２４】
上記第４実施形態によれば、通信網３においてパケットが消失したときにも、品質劣化を低減して音声再生することができる。
【０１２５】
（第５実施形態）
次に、本発明の第５実施形態を説明する。尚、第５実施形態における装置構成は前述した第４実施形態と同様である。
【０１２６】
第５実施形態では、図９に示すように、シーケンス番号が０番のパケットを受信した後、このパケットに続くシーケンス番号が１番のパケットが遅延したために、消失補償処理部２６において、１’番及び２’番のフレームを擬似生成して再生する場合の処理を説明する。
【０１２７】
受信装置２は、受信部２１、パケット解析部２２において、受信すべきパケットが遅延していることを知ることができる。本実施形態では、シーケンス番号が１番のパケット以降が遅延した場合を一具体例として図９を参照して説明する。
【０１２８】
パケットの遅延を契機に受信装置２は、消失補償処理部２６において第１再生処理を行うと共に復号化処理部２４において第２再生処理を行い、消失補償処理部２６からの出力信号と復号化処理部２４からの出力信号を混合機２７によって混合してＤ／Ａ変換部２４に入力する。
【０１２９】
即ち、受信装置２は、パケットの遅延を知った時に、正常に受信した最後のパケットに含まれる最後のフレームを復号化した後の復号化処理部２３の内部バッファ２３ａに格納されている相関データを、消失補償処理部２６の内部バッファ２６ａにコピーする。
【０１３０】
消失補償処理部２６では、第１再生処理を行う。この第１再生処理では、内部バッファ２６ａにコピーされた相関データを用いて、遅延して受信できていないフレームの代わりに遅延時間内に存在すべきフレームの音声波形を生成して補間すると共に、補間したフレームに続くＮ個のフレームを擬似生成すると共にこれらＮ個のフレームに対してフェードアウト処理を施して、混合部２７を介してＤ／Ａ変換部２４に出力する。
【０１３１】
復号化処理部２３では、第２再生処理を行う。この第２再生処理では、遅延して受信したシーケンス番号が１番以降のパケットの復号化処理を開始する。このとき、先頭のＮ個のパケットのフレームは復号化した後に、復号化処理して得られた音声信号を０から次第に音量を増加させるフェードイン処理を施す。
【０１３２】
さらに、復号化処理部２３においてフェードイン処理を施されたものと、消失補償処理部２６で生成されたフェードアウト処理した音声波形を混合部２７によって合成し（クロスフェード）、再生する。
【０１３３】
また、復号化処理部２３においては、シーケンス番号が３番以降のパケットのフレームに対しては、通常通りの復号化処理を施し、この復号化された音声信号はそのまま通常通り再生される。
【０１３４】
次に、上記の処理の具体例について図９を参照して説明する。
【０１３５】
図９に示す具体例では、受信装置２は、シーケンス番号が１番以降のパケットの遅延を知った場合に、復号化処理部２３によって、正常に受信したシーケンス番号が０番のパケットに含まれるフレームを復号化した後の復号化処理部２３の内部バッファ２３ａに格納されている相関データを、消失補償処理部２６の内部バッファ２６ａにコピーする。
【０１３６】
消失補償処理部２６は、内部バッファ２６ａに格納されている相関データを用いて遅延時間内に存在しなければならないパケットに含まれるフレームの代わりに再生すべきフレーム１’，２’の音声信号を擬似生成する。
【０１３７】
次に、パケット１，２が遅れて到着する。
【０１３８】
復号化処理部２３では、シーケンス番号が０番のパケットに含まれるフレームを復号化処理した直後の内部バッファ２３ａに相関データが保持されているため、この相関データを用いてシーケンス番号が１番と２番のパケットに含まれるフレームを復号化処理すれば、符号化処理部１３の内部バッファ１３ａに格納されている相関データと復号化処理部２３の内部バッファ２３ａに格納されている相関データの不一致は生じない。
【０１３９】
さらに、符号化処理部２３は、シーケンス番号が１番と２番のパケットのフレームを復号化した後に、復号化処理して得られた音声信号を０から次第に音量を増加させるフェードイン処理を施して混合部２７を介してＤ／Ａ変換部２４に出力する。
【０１４０】
一方、消失補償処理部２６では、再生される音声信号波形が不連続になることに起因する音声品質の劣化を避けるために、Ｎ個（ここではＮ＝２）の擬似フレーム３’，４’の音声信号を生成して混合部２７を介してＤ／Ａ変換部２４に出力する。
【０１４１】
これにより、符号化処理部２３から出力されたシーケンス番号が１番と２番のパケットに含まれるフレームを復号した音声信号波形と、消失補償処理部２６から出力された擬似フレーム３’，４’の音声信号とが混合部２７によって混合されてクロスフェード処理が施され、これがＤ／Ａ変換部２４に出力される。
【０１４２】
また、復号化処理部２３においては、シーケンス番号が３番以降のパケットのフレームに対しては、通常通りの復号化処理を施す。この復号化された音声信号はそのまま通常通り再生される。
【０１４３】
上記第５実施形態によれば、通信網３においてパケットが遅延したときにも、品質劣化を低減して音声再生することができる。
【０１４４】
（第６実施形態）
次に、本発明の第６実施形態を図１０を参照して説明する。尚、第６実施形態における装置構成は前述した第４，５実施形態と同様である。
【０１４５】
第６実施形態では、図１０に示すように、前述した第５実施形態の処理に代えて、復号化処理部２３において、シーケンス番号が１番と２番のパケットを破棄し、シーケンス番号が３番と４番のパケットに含まれるフレームを復号化処理してさらにフェードイン処理を施し、このフェードイン処理した音声信号と、消失補償処理部２６によって生成した擬似フレーム３’，４’の音声信号とを混合部２７によって合成することによりクロスフェードして出力するようにした。
【０１４６】
上記第６実施形態によっても第５実施形態と同様に、通信網３においてパケットが遅延したときにも、品質劣化を低減して音声再生することができる。
【０１４７】
（第７実施形態）
次に、本発明の第７実施形態を説明する。
【０１４８】
図１１は本発明の第７実施形態における音声パケット通信システムの受信装置を示すブロック図である。図において、前述した第４実施形態と同一構成部分は同一符号をもって表しその説明を省略する。また、第７実施形態と第４実施形態との相違点は、第４実施形態における消失補償処理部２６に代えて内部バッファ状態保持部２８を設けると共に混合部２８を除去したことである。
【０１４９】
上記構成によっても第５実施形態と同様の処理を行うことができる。即ち、Ｇ．７２９等の場合のように復号化処理部２３と消失補償処理部２６が実質的に同一であるような場合には、復号化処理部２３の内部バッファ２３ａに格納されている相関データを、内部バッファ状態保持部２８に一時的にコピーして保存しておき、遅延してきた次のフレームを復号する場合には、保持しておいた相関データを用いて復号を始めることで、同様の処理を行うことができる。
【０１５０】
この場合にはシーケンス番号が０番のパケットに含まれるフレームを復号化処理した直後に、復号化処理部２３の内部バッファ２３ａに格納されている相関データを内部バッファ状態保持部２８にコピーして保持し、上記消失補償処理部２６の処理と同様に１’番から４’番までの擬似フレームを生成する。
【０１５１】
次いで、遅延して受信したシーケンス番号が１番のパケットに含まれるフレームを復号化処理する場合には、内部バッファ状態保持部２８に保持されている相関データを復号化処理部２６の内部バッファ２３ａにコピーして復帰してから復号化処理を行う。
【０１５２】
上記第７実施形態によっても第５実施形態と同様に、通信網３においてパケットが遅延したときにも、品質劣化を低減して音声再生することができる。
【０１５３】
尚、前述した各実施形態は本発明の一具体例であって、本発明が上記実施形態にのみ限定されることはない。
【０１５４】
また、前後のパケットが入れ替わった状態でパケットを受信し、これらのパケットのフレームを復号化せざるおえない場合にも、本発明の手法を適用可能であることは言うまでもないことである。
【０１５５】
【発明の効果】
以上説明したように本発明のリアルタイムパケット処理装置及びその方法によれば、復号化処理部による復号処理を行う際に処理対象となるフレームが連続していないときは、不連続となったフレームからＮ個のフレームに対して復号化処理部における復号化のみが行われ、復号化したＮ個のフレームに対して音声再生処理を施さずに前記Ｎ個のフレームの次のフレームから音声再生処理が施されるため、前記Ｎ個のフレームに対して復号化処理のみが行われることにより、復号化を行う際に復号化処理部において用いる相関データを、送信装置側の符号化処理部における相関データと一致させることができ、前記Ｎ個のフレームの次のフレームから適切な音声再生処理を行うことができるという非常に優れた効果を奏するものである。
【図面の簡単な説明】
【図１】本発明の第１実施形態におけるリアルタイムパケット処理装置の機能構成を示すブロック図
【図２】本発明の第１実施形態における音声パケット送信装置による音声信号のパケット化を説明する図
【図３】本発明の第１実施形態において用いているリアルタイム転送プロトコルヘッダを説明する図
【図４】本発明の第１実施形態におけるリアルタイムパケット処理装置の処理を説明するタイミングチャート
【図５】本発明の第２実施形態におけるリアルタイムパケット処理装置の処理を説明するタイミングチャート
【図６】本発明の第３実施形態におけるリアルタイムパケット処理装置の処理を説明するタイミングチャート
【図７】本発明の第４実施形態におけるリアルタイムパケット処理装置の機能構成を示すブロック図
【図８】本発明の第４実施形態におけるリアルタイムパケット処理装置の処理を説明するタイミングチャート
【図９】本発明の第５実施形態におけるリアルタイムパケット処理装置の処理を説明するタイミングチャート
【図１０】本発明の第６実施形態におけるリアルタイムパケット処理装置の処理を説明するタイミングチャート
【図１１】本発明の第７実施形態におけるリアルタイムパケット処理装置の受信装置の機能構成を示すブロック図
【符号の説明】
１…送信装置、２…受信装置、３…通信網、１１…音声入力部、１２…アナログ／ディジタル（Ａ／Ｄ）変換部、１３…符号化処理部、１３ａ…内部バッファ、１４…パケット生成部、１５…送信部、２１…受信部、２２…パケット解析部、２３…復号化処理部、２３ａ…内部バッファ、２４…ディジタル／アナログ（Ｄ／Ａ）変換部、２５…音声出力部、２６…消失補償処理部、２６ａ…内部バッファ、２７…混合部、２８…内部バッファ状態保持部。
【発明の属する技術分野】
本発明は、受信したパケットに含まれるフレームのデータをリアルタイムで処理するリアルタイムパケット処理装置及びその方法に関するものである。
【０００２】
【従来の技術】
従来、電子機器のディジタル化に伴い、情報通信においては転送対象となる情報をパケット化して転送することが一般的に行われている。例えば、音声信号を転送する場合には、送信側では、所定のサンプリング周波数にてサンプリングした音声データを所定量ずつ別個のパケットに分散して収納し、パケット単位で転送を行っている。受信側においては、受信したパケットから音声データを取りだし、取り出した音声データを繋ぎ合わせて再生処理したりミキシング処理したりする。
【０００３】
即ち、上記のようなパケット通信を行う電子機器では、送信側においては１パケット分のデータが得られた段階でパケットを形成して送信する処理を行い、受信側では受け取ったパケットに収納されているデータの再生に要する時間毎にパケット内のデータを読み出す処理を行っている。これにより、受信側では、例えば音声データのリアルタイム転送の場合、分割して受け取った複数のパケットから連続した音声を再生処理したりミキシング処理したりすることができる。
【０００４】
この様なパケット通信は、ほとんどの場合コンピュータ装置を使用して行っており、例えば、無線通信を利用した携帯型電話機やインターネット等の通信網を利用した周知のＩＰ電話、配信サーバから音楽などのコンテンツをユーザ端末装置に配信するシステム、及び遠隔会議システムなどに用いられている。
【０００５】
例えば、フレーム間予測を用いた音声符号化方式（予測符号化方式）には、ＩＴＵ標準のＧ．７２９、Ｇ．７２３．１、Ｇ．７２２．１等がある。
【０００６】
これらの符号化方式は、送信装置側の符号化処理部の内部バッファに格納されている相関データと、受信装置側の復号化処理部の内部バッファに格納されている相関データが一致していなければ正しい音響信号を復元できないという制約がある。尚、上記相関データとは、上記Ｇ．７２９、Ｇ．７２３．１、Ｇ．７２２．１に記載されている予測符号化方式に用いるデータである。
【０００７】
例えば、送信装置側の復号化処理部で音声フレーム０，１，２，３を符号化して、パケット０，１，２，３に各フレームを含めて送信した場合には、パケットの受信順序に関わらず受信装置側の復号化処理部でも、符号化処理部が符号化したのと同じようにフレーム０，１，２，３の順序で復号化処理を行わなければ、各フレームを符号化した時点の符号化処理部の相関データと、当該フレームを復号化する際の復号化処理部の相関データが一致しなくなり、正しい復号波形を得ることができない。
【０００８】
また、転送中にパケットが消失した場合には受信装置においてパケットの消失補償（ＰＬＣ：Ｐａｕｑｔｔｅ Ｌｏｓｓ Ｃｏｎｃｅａｌｍｅｎｔ）処理が行われる場合がある。
【０００９】
尚、パケット消失補償処理としては、Ｇ．７１１Ａｐｐｅｎｄｉｘ１やＧ．７２９の標準でもたれている方式が知られている。
【００１０】
【特許文献１】
特開２０００−８３０５０号公報
【非特許文献１】
ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｇ．７２９
【非特許文献２】
ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｇ．７２３．１
【非特許文献３】
ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｇ．７２２．１
【非特許文献４】
ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｇ．７１１ Ａｐｐｅｎｄｉｘ １
【００１１】
【発明が解決しようとする課題】
前述した音声符号化方式（予測符号化方式）における制約により、パケットの消失が起こった場合等には、消失したフレームを復号化処理部の入力として復号化処理部の相関データを更新することができないため、消失後正しく受信したパケット内のフレームを復号化する際に、送信装置側の符号化処理部の相関データと、受信装置側の復号化処理部の相関データが不一致となり、音声フレームを正しく復元できない場合がある。
【００１２】
上記の従来方式では、上記のようなパケット消失や遅延に起因する相関データの不一致に関して特に対処を行わないため、再生音声に知覚可能な品質の劣化を生じていた。
【００１３】
また、前述のような予測符号化方式を用いた場合に制約条件があるにもかかわらず、ＶｏＩＰ等のアプリケーションにおいては、送信装置側が送信した全ての音声パケットが正しく受信装置側に到着する保証はない。例えば、通信網等においてパケットが消失した場合には容易に符号化処理部と復号化処理部の相関データの不一致が生じるし、通信セッションの確立に際して、送信装置側が送信した先頭のパケットから正しく受信装置側に到着するとは限らないため、通信の初期の段階から符号化処理部と復号化処理部の相関データが不一致のまま通信が継続してしまうという問題がある。
【００１４】
本発明の目的は上記の問題点に鑑み、音声パケットの到着状況に応じてパケットが消失したときや遅延したときに符号化処理部と復号化処理部の相関データの不一致を最小限に抑えてフレームを適切に補間し、品質劣化を低減して音声再生することができるリアルタイムパケット処理装置及びその方法を提供することである。
【００１５】
【課題を解決するための手段】
一般的に符号化処理部、復号化処理部に用いられる予測は数フレームの間の相関を用いており、符号化処理部と復号化処理部の内部状態が不一致となった時点から数フレームの間は正しい音響信号を復元することができず、再生音声に知覚可能な品質の劣化が生じる。
【００１６】
しかし、符号化処理部と復号化処理部の相関データに不一致が生じた場合にも、受信フレームを正しい順序で数フレーム復号した後には相関データは次第に一致してくるため、結果として復号した波形の品質の劣化は、連続して正しいフレームを復号するに従って次第に収まってくる。
【００１７】
本発明では、符号化処理部、復号化処理部の相関データに不一致が生じた場合に、最初の数フレームの音声をあえて再生しないことによって品質が劣化した音声を再生せず、受聴品質を向上するリアルタイムパケット処理装置及びその方法を提案する。
【００１８】
本発明では、連続した入力音声信号を所定周期毎に切り取り、該切り取った信号を前記周期よりも短い所定のサンプリング時間毎にサンプリングして得られた複数のサンプリングデータを符号化処理部によって符号化してなるフレームを生成すると共に該フレーム毎に該フレームを含むパケットを生成して順次送信する送信装置から通信網を介して受信装置によって前記パケットを受信し、前記受信装置により、前記受信したパケットに含まれる前記フレームを復号化処理部により復号化し、該復号化したフレームに含まれるサンプリングデータに対して音声再生処理を施す予測符号化方式を用いたリアルタイムパケット処理において、前記受信装置は、前記復号化処理部による復号処理を行う際に処理対象となるフレームが連続していないときに、不連続となったフレームからＮ個のフレームに対して前記復号化処理部における復号化のみを行い、復号化したＮ個のフレームに対して前記音声再生処理を施さずに前記Ｎ個のフレームの次のフレームから前記音声再生処理を施す。
【００１９】
本発明によれば、前記復号化処理部による復号処理を行う際に処理対象となるフレームが連続していないときは、不連続となったフレームからＮ個のフレームに対して前記復号化処理部における復号化のみが行われ、復号化したＮ個のフレームに対して前記音声再生処理を施さずに前記Ｎ個のフレームの次のフレームから前記音声再生処理が施される。前記Ｎ個のフレームに対して復号化処理のみが行われることにより、復号化を行う際に復号化処理部において用いる相関データを、送信装置側の符号化処理部における相関データと完全に一致若しくはほぼ一致させることができ、前記Ｎ個のフレームの次のフレームから適切な音声再生処理を行うことができる。
【００２０】
また、本発明では、前記受信装置は、前記Ｎ個のフレームに続くＭ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施す。
【００２１】
本発明によれば、受信装置によって、前記Ｎ個のフレームに続くＭ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理が施されるので、受信装置において音声再生する際に、無音状態から有音状態に遷移する部分で音声波形が不連続となることがないので、この遷移部分で異音が生じることが無く、音声品質の劣化が低減される。
【００２２】
また、本発明では、前記受信装置は、前記復号化処理部による復号処理を行う際に処理対象となるフレームが連続していないときに、不連続となったフレームからＮ個のフレームに対して前記復号化処理部における復号化を行い、復号化した前記Ｎ個のフレームに対して音量を低下させた前記音声再生処理を施す。
【００２３】
本発明によれば、前記復号化処理部による復号処理を行う際に処理対象となるフレームが連続していないときは、不連続となったフレームからＮ個のフレームに対して前記復号化処理部における復号化が行われた後、復号化した前記Ｎ個のフレームに対して音量を低下させた前記音声再生処理が施される。
【００２４】
このとき、上記と同様に、前記Ｎ個のフレームに対して復号化処理が行われることにより、復号化を行う際に復号化処理部において用いる相関データを、送信装置側の符号化処理部における相関データと完全に一致若しくはほぼ一致させることができる。さらに、前記Ｎ個のフレームに対して音量を低下させた音声再生処理が施されるので、この遷移部分で異音が生じることが無く、音声品質の劣化が低減される。
【００２５】
また、本発明では、前記受信装置は、前記Ｎ個のフレーム及びこれに続くＭ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施す。
【００２６】
本発明によれば、受信装置によって、前記Ｎ個のフレーム及びこれに続くＭ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理が施されるので、受信装置において音声再生する際に、無音状態から有音状態に遷移する部分で音声波形が不連続となることがないので、この遷移部分で異音が生じることが無く、音声品質の劣化が低減される。
【００２７】
また、本発明では、前記受信装置は、前記不連続となる前のＭ個のフレーム対して徐々に無音まで音量を低下させるフェードアウト処理を施す。
【００２８】
本発明によれば、受信装置によって、前記不連続となる前のＭ個のフレーム対して徐々に無音まで音量を低下させるフェードアウト処理が施されるので、有音状態から無音状態になる部分の音声レベルが徐々に減少されるため、受信装置において音声再生する際に、有音状態から無音状態に遷移する部分で音声波形が不連続となることがないので、この遷移部分で異音が生じることがなく、音声品質の劣化が低減される。
【００２９】
また、本発明では、前記受信装置は、前記パケットに含まれるシーケンス番号に基づいて、該シーケンス番号が不連続になったときに、前記フレームが不連続となったと判定する。
【００３０】
本発明によれば、受信装置により、前記パケットに含まれるシーケンス番号に基づいて、該シーケンス番号が不連続になったときに、前記フレームが不連続となったと判定される。
【００３１】
また、本発明では、前記受信装置は、前記送信装置から受信したパケットをバッファに格納して、前記バッファから入力したパケットに含まれるフレームを復号化する際に、前記バッファに格納されているパケットの数が所定数を越えたときに、前記バッファに格納されている連続した所定数のパケットを破棄すると共に、前記破棄したパケットのフレームのうちの最後のＮ個のフレームは復号化のみを行い、これに続くＭ個のパケットのフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施し、前記破棄したパケットの前のＭ個のパケットのフレーム対して徐々に無音まで音量を低下させるフェードアウト処理を施す。
【００３２】
本発明によれば、受信装置のバッファに蓄積されたパケットの数が所定数を越えたときは、音声再生処理に遅延が生じるため、バッファに格納されている連続した所定数のパケットが破棄される。
【００３３】
これにより、前記Ｍ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理が施されるので、受信装置において音声再生する際に、無音状態から有音状態に遷移する部分で音声波形が不連続となることがないので、この遷移部分で異音が生じることが無く、音声品質の劣化が低減される。
【００３４】
さらに、不連続となる前のＭ個のフレーム対して徐々に無音まで音量を低下させるフェードアウト処理が施されるので、有音状態から無音状態になる部分の音声レベルが徐々に減少されるため、受信装置において音声再生する際に、有音状態から無音状態に遷移する部分で音声波形が不連続となることがないので、この遷移部分で異音が生じることがなく、音声品質の劣化が低減される。
【００３５】
さらにまた、破棄したパケットのフレームのうちの最後のＮ個のフレームに対して復号化のみが施されるため、送信側の符号化処理部と受信側の復号化処理部において予測符号化方式で用いられる相関データを完全に一致或いはほぼ一致させることができる。
【００３６】
また、本発明では、前記受信装置は、前記フェードアウト処理を施したフレームと前記フェードイン処理を施したフレームとを重ねて音声再生する。
【００３７】
本発明によれば、前記フェードアウト処理を施したフレームと前記フェードイン処理を施したフレームとが重ねられて音声再生されるので、不連続になる部分において無音状態が生じることがなく、音声品質の劣化がさらに低減される。
【００３８】
また、本発明では、前記受信装置は、前記フレームの不連続がパケットの消失によって生じたときに、消失したパケットに対応するフレームを補間し、前記消失したパケットに続くＮ＋Ｍ個のパケットを擬似生成すると共に、前記消失したパケットの後のＮ個のフレームに続くＭ個のフレームに対して無音まで音量を低下させるフェードアウト処理を施した第１音声信号を生成し、受信したパケットのうちの前記消失したパケットの後のＮ個のパケットのフレームに対して前記復号化のみを行い、該Ｎ個のパケットに続くＭ個のパケットのフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施した第２音声信号を生成し、前記第１音声信号と前記第２音声信号とを重ねて音声再生する。
【００３９】
本発明によれば、受信パケットに消失が生じたときは、消失したパケットに対応するフレームが補間される。
【００４０】
さらに、消失したパケットに続くＮ＋Ｍ個のパケットが擬似生成されると共に、消失したパケットの後のＮ個のフレームに続くＭ個のパケットのフレームに対して徐々に無音まで音量を低下させるフェードアウト処理が施された第１音声信号が生成される。
【００４１】
また、受信したパケットのうちの前記消失したパケットの後のＮ個のパケットのフレームに対して前記復号化のみが行われ、該Ｎ個のパケットに続くＭ個のパケットのフレームに対して無音状態から徐々に音量を増加させるフェードイン処理が施された第２音声信号が生成され、前記第１音声信号と第２音声信号が重ねられて音声再生される。
【００４２】
これにより、前記Ｍ個のフレームに対してフェードアウト処理が施された第１音声信号と、フェードイン処理が施された第２音声信号とが生成され、これらの音声信号が重ねられて音声再生されるので、この遷移部分で異音が生じることがなく、音声品質の劣化が低減される。
【００４３】
また、本発明では、前記受信装置は、前記フレームの不連続がパケットの遅延によって生じたときに、遅延したパケットの前の受信パケットに続いてＮ個以上のフレームを擬似生成し、前記擬似生成したフレームのうちの最後のＮ個のフレームに対して無音まで音量を低下させるフェードアウト処理を施した第１音声信号が生成され、前記遅延して受信したパケットの最初のＮ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施した第２音声信号が生成され、前記第１音声信号と前記第２音声信号とを重ねて音声再生する。
【００４４】
本発明によれば、受信パケットに遅延が生じたときは、遅延したパケットの前の受信パケットのフレームに基づいて遅延期間に存在すべきパケットに対応するフレームを含むＮ個のフレームが擬似生成される。
【００４５】
さらに、擬似生成したフレームのうちの最後のＮ個のフレームに対して無音まで音量を低下させるフェードアウト処理を施した第１音声信号が生成され、前記遅延して受信したパケットの最初のＮ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施した第２音声信号が生成され、前記フェードアウト処理を施した第１音声信号と前記フェードイン処理を施した第２音声信号とが重ねられて音声再生される。これにより、前記フェードアウト処理が施された第１音声信号と、フェードイン処理が施された第２音声信号とが重ねられて音声再生されるので、この遷移部分で異音が生じることがなく、音声品質の劣化が低減される。
【００４６】
【発明の実施の形態】
以下、図面に基づいて本発明の一実施形態を説明する。
【００４７】
（第１実施形態）
図１は本発明の第１実施形態におけるリアルタイムパケット処理装置の機能構成を示すブロック図、図２は本発明の第１実施形態における音声パケット送信装置による音声信号のパケット化を説明する図、図３は本発明の第１実施形態において用いているリアルタイム転送プロトコル（以下、ＲＴＰと称する）ヘッダを説明する図である。図において１は音声パケット送信装置（以下、単に送信装置と称する）、２は音声パケット受信装置（以下、単に受信装置と称する）、３はインターネット等の通信網である。本実施形態では、一例として、通信網３を介して送信装置１からＵＤＰ／ＩＰを用いて音声パケットをリアルタイムで受信装置２に転送する装置に関して説明する。
【００４８】
送信装置１は、周知のコンピュータ装置から構成され、予め設定されているプログラムよって動作し、音声入力部１１と、アナログ／ディジタル（Ａ／Ｄ）変換部１２、符号化処理部１３、パケット生成部１４、送信部１５とから構成されている。これらの送信装置１を構成する各部分は、ハードウェア及びソフトウェアの両方によって構成されている。
【００４９】
受信装置２は、周知のコンピュータ装置から構成され、予め設定されているプログラムよって動作し、受信部２１と、パケット解析部２２、復号化処理部２３、ディジタル／アナログ（Ｄ／Ａ）変換部２４、音声出力部２５とから構成されている。これらの受信装置２を構成する各部分は、ハードウェア及びソフトウェアの両方によって構成されている。
【００５０】
音声入力部１１は音声信号を図２に示すようなアナログ電気信号４に変換してＡ／Ｄ変換部１２に出力し、Ａ／Ｄ変換部１２によって所定のサンプリングタイムでディジタル信号に変換された音声データ（サンプル）が符号化処理部１３に備わるデータバッファ（図示せず）に順次格納される。
【００５１】
また、図２に示すように、符号化処理部１３のデータバッファに格納された音声データは、符号化処理部１３によって所定周期Ｔ毎に切り取られ音声データフレーム３１とされ、先頭から順に１フレームずつ順送りにパケット３０が生成されて送信される。
【００５２】
符号化処理部１３は、Ａ／Ｄ変換部１２から入力した符号化対象となる音声データフレームの符号化処理を行うが、符号化処理を行うに際して前のフレームを符号化した結果の内部状態を内部バッファ１３ａに保持し、過去からの予測を行うことで符号化利得を向上させている。
【００５３】
本実施例においては、パケット消失により送信装置１の符号化処理部１３と受信装置２の復号化処理部２３における相関データの不一致による品質劣化を低減するために、無音状態から有音状態に変化した場合に、符号化処理部１３の内部バッファ１３ａをリセットして初期値を用いることにより伝送誤りによる品質低下の発生を低減している。
【００５４】
さらに、符号化処理部１３は、分析結果に基づいて符号化対象となる音声データフレームを符号化してパケット生成部１４に送出する。
【００５５】
パケット生成部１４は、符号化処理部１３から入力した符号化された音声データを含むＲＴＰパケットを生成して送信部１５へ送出する。このときのＲＴＰパケットには図３に示すようなＲＴＰヘッダが付加される。
【００５６】
ＲＴＰヘッダには、周知のように、２ビットのＶｅｒｓｉｏｎ情報Ｖと、１ビットのＰａｄｄｉｎｇ情報Ｐ、１ビットのＥｘｔｅｎｓｉｏｎ情報Ｘ、３ビットのＣＳＲＣ−Ｃｏｕｎｔ情報ＣＣ、１ビットのＭａｒｋｅｒ情報（以下、マーカービットと称する）Ｍ、７ビットのＰａｙｌｏａｄ−Ｔｙｐｅ情報ＰＴ、１６ビットのシーケンス番号（順序番号：Ｓｅｑｕｅｎｃｅ Ｎｕｍｂｅｒ）、３２ビットのタイムスタンプ（Ｔｉｍｅｓｔａｍｐ）、３２ビットの同期信号元（ＳＳＲＣ）識別子、３２ビットの寄与送信元（ＣＳＲＣ）識別子等が含まれている。
【００５７】
また、本実施形態では、無音状態であってパケット送信を停止していた後に有音状態になって最初に送信するパケットのマーカービットＭを「１」に設定し、その他のパケットのマーカービットＭを「０」に設定する。
【００５８】
送信部１５は、パケット生成部１４から入力したＲＴＰパケットを通信網３を介して受信装置２に送信する。
【００５９】
一方、受信装置２の受信部２１は、通信網３を介して送信装置１から送信されたＲＴＰパケットを受信しパケット解析部２２に送出する。
【００６０】
パケット解析部２２は、受信部２１から入力したＲＴＰパケットを解析してヘッダ部と符号化された音声データフレームに分離すると共に、ヘッダ部の内容を解析し、ＲＴＰタイムスタンプに基づいて、送信された順番に符号化された音声データフレームを復号化処理部２３に出力する。さらに、パケット解析部２２は、ＲＴＰヘッダのマーカービットＭの値を復号化処理部２３に通知する。
【００６１】
復号化処理部２３は、パケット解析部２２から入力した符号化された音声データフレームを復号してディジタル音声データに変換し、このディジタル音声データをＤ／Ａ変換部２３に出力する。
【００６２】
また、復号化処理部２３は、復号化を行う際に、符号化された音声データフレームを分析しその分析結果を内部バッファ２３ａに一時記憶すると共に、データ分析を行う際に、内部バッファ２３ａに一時記憶されている分析結果或いは予め設定されている分析初期値を参照してデータ分析を行う。ここで、内部バッファ２３に一時記憶されている１フレーム前の分析結果を用いることにより前後のフレーム間の相関を考慮した最適な分析及び復号を行えるようにしている。
【００６３】
Ｄ／Ａ変換部２３は、復号化処理部２３によって復号して得られたディジタル音声データを入力してアナログ音声信号に変換して音声出力部２４に出力する。
【００６４】
音声出力部２４は、Ｄ／Ａ変換部２３から入力したアナログ音声データを音声に変換して出力する。
【００６５】
次に、上記構成よりなる本実施形態におけるリアルタイムパケット処理装置の動作を説明する。
【００６６】
ＶｏＩＰ通信において、受信装置２側の受け入れ準備が完了する前に送信装置１側が音声パケットの送出を始める場合がある。この様な場合には、受信装置２側では通信開始直後のパケットを正しく受信することができず、先頭の数パケットを取りこぼすことになる。
【００６７】
この場合には、送信装置１側の符号化処理部１３における内部バッファ１３ａに格納されている相関データと、受信装置２側の復号化処理部２３における内部バッファ２３ａに格納されている相関データが不一致となり、正しい音声信号を生成することができない。
【００６８】
本実施形態では、例えば符号化方式として前述したＧ．７２９を用いた場合を一例として説明する。この場合、１フレームが１０ｍｓであるので、１０ｍｓ分の音声１フレームを１パケットとした場合について説明する。また、以降の各実施形態でも同様の条件を例にとって記述する。
【００６９】
ＲＴＰ／ＲＴＣＰを用いてＶｏＩＰ音声パケット通信を行う場合に、送信装置１が最初に送ったパケットのシーケンス番号を知ることができないため、受信装置２側では最初に受け取ったパケットが、送信装置１が最初に送出したパケットであるかどうかわからない。
【００７０】
このため、送信装置１の符号化処理部１３における内部バッファの相関データをリセットした状態で生成した最初の符号化フレームが含まれているかどうか知ることができない。
【００７１】
受信装置２において、送信装置１が送出したパケットのうち、先頭の数パケットを受信できなかったにもかかわらず何も付加的な処理を行わず、受け取ったパケットに含まれる音声フレームをそのまま復号して再生すると、先頭部分で符号化処理部と復号化処理部の相関データの不一致に起因する再生音声の品質劣化が生じる場合がある。
【００７２】
この問題を回避するため、第１実施形態では、通信開始から数パケットについては、復号化処理は行うが、復号化処理したフレームの音声再生は行わず、フレームの信号波形が安定するまで数フレーム復号化処理を行った後でフェードイン処理を用いて再生している。
【００７３】
例えば、図４に示す一例では、送信装置１はシーケンス番号が０番のフレームを含むパケットから順に送信しているが、受信装置２側では受信を開始した後にシーケンス番号が３番のパケットから受信している。この場合、受信装置２は、受信できた最初のＮ個のパケットに含まれるＮ個のフレームについては復号化処理を行うのみとする。これにより、正常に復号化するための相関データを復号化処理部２３の内部バッファ２３ａに蓄積している。ここでは、Ｎ＝２としてシーケンス番号が３番と４番の２つのパケットについて復号化処理を行うのみで、音声再生を行わずに相関データを内部バッファ２３ａに蓄積している。
【００７４】
さらに、受信装置２は、上記シーケンス番号が３番と４番のフレームに続くＭ個のパケットのフレームについては復号化処理を施した後、音声再生する際にフェードイン処理を施す。ここでは、Ｍ＝２としてシーケンス番号が５番と６番のパケットのフレームに関してフェードイン処理を施している。シーケンス番号が７番以降のパケットのフレーム関しては通常通りの復号化処理と音声再生処理を施す。尚、以下の説明においてＮ個及びＭ個はそれぞれ０以上の数であり且つＮ＋Ｍが１以上となる数であればよい。
【００７５】
前述したように本実施形態によれば、先頭の音声パケットを受信できなかったときに、品質劣化を低減して音声再生することができる。
【００７６】
（第２実施形態）
次に、本発明の第２実施形態を説明する。
【００７７】
第２実施形態では、送信装置１の符号化処理部１３における内部バッファ１３ａと受信装置２の復号化処理部２３における内部バッファ２３ａに格納されている相関データの状態不一致が、ネットワーク通信網３におけるパケット消失に起因して生じる場合について説明する。尚、第２実施形態における装置構成は第１実施形態と同様である。
【００７８】
パケットが消失した場合には、消失したパケットに含まれるフレームを復号化処理することができないため、送信装置１側の符号化処理部１３の符号化器の内部バッファ１３ａと受信装置２側の復号化処理部２３の復号化器の内部バッファ２３ａに格納されている相関データに関して状態の不一致が生じる。
【００７９】
このような内部バッファ１３ａ，２３ａに格納されている相関データに関する状態の不一致を生じる場合、本実施形態では、パケット消失の直後のフレームを復号化してすぐに再生するのではなく、パケット消失後に受信した数パケットのフレームについては復号化処理は行うが音声再生は行わず、フレームの信号波形が安定するまで数フレーム符号化処理を行った後でフェードイン処理を行い再生している。
【００８０】
以下に上記の内容を実現するための動作に関して図５を参照して説明する。
【００８１】
受信装置２は、受信部２１及びパケット解析部２２において受信パケットに含まれるシーケンス番号を用いて、シーケンス番号が１番と２番のパケットの消失を知ることができる。
【００８２】
受信装置２は、シーケンス番号が１番と２番のパケットの消失を知った場合に、消失したこれらのパケットのフレーム分の無音を生成して再生する。
【００８３】
さらに、本実施形態では、受信装置２は消失したシーケンス番号が１番と２番のパケットのフレームの次に受信したパケットのフレームを復号化処理する前に、復号化処理部２３の内部バッファ２３ａを初期化（リセット）する。
【００８４】
次に、受信装置２は、受信したシーケンス番号が３番以降のパケットの復号化処理を開始するが、Ｎフレームの間は復号化するのみで再生は行わない。即ち、シーケンス番号が３番と４番の２つのパケットのフレームは復号化するのみで音声再生は行わない。
【００８５】
これに続くＭ個のフレームは復号化処理して得られた音声信号を音量０から次第に音量を増加させるフェードイン処理を施して再生する。即ち、シーケンス番号が３番と４番の２つのパケットのフレームについては、復号化処理して得られた音声信号を音量０から次第に音量を増加させるフェードイン処理を施して再生する。
【００８６】
Ｎ＋Ｍ個のフレームの後、すなわちシーケンス番号が７番のパケット以降のパケットのフレームは、復号化処理して得られた音声信号をそのまま通常通り再生する。
【００８７】
上記第２実施形態によれば、音声パケットの到着状況に応じてパケットが消失したときに、品質劣化を低減して音声再生することができる。
【００８８】
（第３実施形態）
次に、本発明の第３実施形態を説明する。尚、第３実施形態における装置構成は、前述した第１実施形態と同様である。
【００８９】
第３実施形態では、パケット通信において、ＩＰパケットが一度に大量に到着した場合には、受信装置の受信部２１にあるＦＩＦＯバッファ内にパケットが溜まりすぎて、受信パケットの一部を破棄する必要が生じる場合について説明する。
【００９０】
このようなときに受信パケットの一部を破棄し、受信した全てのパケットに含まれる音声フレームを復号処理しない場合には、送信装置１の符号化処理部１３における内部バッファ１３ａに格納されている相関データと受信装置２の復号化処理部２３における内部バッファ２３ａに格納されている相関データとの間に状態の不一致が生じる。
【００９１】
また、破棄する予定のフレームについても全て復号化処理を行うことは演算処理の負荷を考慮した場合には許容できない場合が多い。
【００９２】
第３実施形態では、上記のような場合に全てのフレームを復号化処理しないことに起因する音声品質劣化を低減する例を示す。
【００９３】
また、第３実施形態では、Ｍ個のフレームを境界フレームとして設け、クロスフェードすることで音声波形の不連続性をなくし、品質の劣化を低減している。
【００９４】
ここで、破棄するフレーム数が非常に少ない場合には、破棄するフレームも含めて全てのフレームを復号化処理しても良い。例えば、破棄すべきフレーム数Ｘ＜Ｎとなる場合に全てのフレームを復号化処理するようにすることができる。
【００９５】
次に、上記の処理の具体例について図６を参照して説明する。
【００９６】
図６に示す具体例では、受信部２２のＦＩＦＯバッファに多数のパケットが溜まりすぎたためシーケンス番号が１１番から１４番のパケットを破棄したいときの処理を示す。
【００９７】
このとき、シーケンス番号が１１番と１２番のパケットは破棄する。また、シーケンス番号が９番と１０番のパケットのフレームを境界フレームとして、これらのフレームの復号化処理を行った後、これらの境界フレーム対して徐々に無音まで音量を低下させるフェードアウト処理を施す。
【００９８】
さらに、シーケンス番号が１３番のパケットのフレームを復号化処理する前に、復号化処理部２３の内部バッファ２３ａを初期化（リセット）する。
【００９９】
また、シーケンス番号が１３番と１４番のパケットについては復号化処理を施して、復号化処理部２３の内部バッファ２３ａに格納されている相関データを更新する。しかし、復号化処理されたシーケンス番号が１３番と１４番のパケットのフレームについては音声再生しない。
【０１００】
また、これに続くＭ個のフレームを境界フレームとし、これらのフレームを復号化処理して得られた音声信号を音量０から次第に音量を増加させるフェードイン処理を施して再生する。即ち、シーケンス番号が１５番と１６番のパケットのフレームについては、復号化処理して得られた音声信号を音量０から次第に音量を増加させるフェードイン処理を施す。
【０１０１】
さらに、シーケンス番号が９，１０番のフレームと１５，１６番のフレームとを重ねてクロスフェードした状態で音声再生する。
【０１０２】
シーケンス番号が１７番のパケット以降のパケットのフレームは、復号化処理して得られた音声信号をそのまま通常通り再生する。
【０１０３】
上記第３実施形態によれば、ＩＰパケットが一度に大量に到着し、受信装置２の受信部２１にあるＦＩＦＯバッファ内にパケットが溜まりすぎて、受信パケットの一部を破棄したときにも、品質劣化を低減して音声再生することができる。
【０１０４】
（第４実施形態）
次に、本発明の第４実施形態を説明する。
【０１０５】
図７は本発明の第４実施形態における音声パケット通信システムの機能構成を示すブロック図である。図において、前述した第１実施形態と同一構成部分は同一符号をもって表しその説明を省略する。また、第４実施形態と第１実施形態との相違点は、受信装置２に消失補償処理部２６と混合器２７を設けたことである。
【０１０６】
第４実施形態では、第２実施形態に示したパケットが消失した場合の処理を拡張して、パケット消失補償処理を行う場合の例を説明する。
【０１０７】
パケットが消失した場合には、消失したパケットに含まれるフレームを復号化処理して復号化器の内部状態を更新することができないため、送信装置１側の符号化処理部１３で当該フレームを符号化した時点の相関データと、当該フレームを復号化する復号化処理部２３の内部バッファ２３ａに格納されている相関データとの間に状態の不一致が生じる。
【０１０８】
受信装置２は、受信部２１とパケット解析部２２において受信パケットに含まれるシーケンス番号を用いて、パケットの消失を知ることができる。本実施形態では、シーケンス番号が１番と２番のパケットが消失した場合を一具体例として図８を参照して説明する。
【０１０９】
これらのパケットの消失を知った場合に、受信装置２は、消失補償処理部２６において第１再生処理を行うと共に復号化処理部２４において第２再生処理を行い、消失補償処理部２６からの出力信号と復号化処理部２４からの出力信号を混合機２７によって混合してＤ／Ａ変換部２４に入力する。
【０１１０】
即ち、受信装置２は、パケットの消失を知った場合に、正常に受信した最後のパケットに含まれる最後のフレームを復号化した後の復号化処理部２３の内部バッファ２３ａに格納されている相関データを、消失補償処理部２６の内部バッファ２６ａにコピーする。
【０１１１】
消失補償処理部２６では、第１再生処理を行う。この第１再生処理では、内部バッファ２６ａにコピーされた相関データを用いて、消失したフレームの代わりに再生されるべき音声波形を擬似生成して補間すると共に、補間したフレームに続くＮ個のフレームを擬似生成して復号化処理し、これに続くＭ個のフレームを擬似生成して復号化すると共にフェードアウト処理を施して、混合部２７を介してＤ／Ａ変換部２４に出力する。
【０１１２】
復号化処理部２３では、第２再生処理を行う。この第２再生処理では、消失していない次のパケットのフレームを復号化処理する前に、内部バッファ２３ａを初期化（リセット）する。
【０１１３】
次に、復号化処理部２３は、受信したパケットの復号化処理を開始するが、最初のＮ個のフレームの間は復号化するのみで再生は行わない。このＮ個のフレームに続くＭ個のフレームには復号化処理部２４において復号化処理して得られた音声信号を０から次第に音量を増加させるフェードイン処理を施す。
【０１１４】
復号化処理部２４においてフェードイン処理を施されたものと、消失補償処理部で生成された音声波形をフェードアウト処理したものを合成し（クロスフェード）、再生する。
【０１１５】
また、復号化処理部２３においては、内部バッファ２３ａを初期化（リセット）した後のＮ＋Ｍ個のフレームに続くフレームに対しては、通常通りの復号化処理を施し、この復号化された音声信号はそのまま通常通り再生される。
【０１１６】
次に、上記の処理の具体例について図８を参照して説明する。
【０１１７】
図８に示す具体例では、受信装置２は、シーケンス番号が１番と２番のパケットの消失を知った場合に、正常に受信したシーケンス番号が０番のパケットに含まれるフレームを復号化した後の復号化処理部２３の内部バッファ２３ａに格納されている相関データを、消失補償処理部２６の内部バッファ２６ａにコピーする。
【０１１８】
消失補償処理部２６では、第１再生処理として、内部バッファ２６ａにコピーされた相関データを用いて、消失したシーケンス番号が１番と２番のパケットのフレームの代わりに再生されるべき１’番と２’番のフレーム及びこれに続く３’〜６’番のフレームの音声波形を擬似生成して補間すると共に、補間した１’〜４’番のフレームに対しては復号化処理のみを施し、これに続くシーケンス番号が５’番と６’番のパケットのフレームに対しては復号化すると共にフェードアウト処理を施して音声波形を生成し、混合部２７を介してＤ／Ａ変換部２４に出力する。
【０１１９】
復号化処理部２３では、第２再生処理として、受信したシーケンス番号が３番のパケットのフレームを復号化処理する前に、内部バッファ２３ａを初期化（リセット）する。
【０１２０】
次に、復号化処理部２３は、受信したシーケンス番号が３番と４番のパケットのフレームは復号化するのみで再生は行わない。これにより、復号化処理部２３の内部バッファ２３ａに格納されている相関データが正常なものとなる。
【０１２１】
また、シーケンス番号が５番と６番のパケットのフレームには復号化処理部２４において復号化処理して得られた音声信号を０から次第に音量を増加させるフェードイン処理を施して、混合部２７を介してＤ／Ａ変換部２４に出力する。
【０１２２】
これにより、混合部２７によって復号化処理部２３においてフェードイン処理を施されたものと、消失補償処理部２６においてフェードアウト処理を施されたものが合成（クロスフェード）され、再生される。
【０１２３】
また、復号化処理部２３においては、シーケンス番号が７番以降のパケットのフレームに対しては、通常通りの復号化処理を施す。この復号化された音声信号はそのまま通常通り再生される。
【０１２４】
上記第４実施形態によれば、通信網３においてパケットが消失したときにも、品質劣化を低減して音声再生することができる。
【０１２５】
（第５実施形態）
次に、本発明の第５実施形態を説明する。尚、第５実施形態における装置構成は前述した第４実施形態と同様である。
【０１２６】
第５実施形態では、図９に示すように、シーケンス番号が０番のパケットを受信した後、このパケットに続くシーケンス番号が１番のパケットが遅延したために、消失補償処理部２６において、１’番及び２’番のフレームを擬似生成して再生する場合の処理を説明する。
【０１２７】
受信装置２は、受信部２１、パケット解析部２２において、受信すべきパケットが遅延していることを知ることができる。本実施形態では、シーケンス番号が１番のパケット以降が遅延した場合を一具体例として図９を参照して説明する。
【０１２８】
パケットの遅延を契機に受信装置２は、消失補償処理部２６において第１再生処理を行うと共に復号化処理部２４において第２再生処理を行い、消失補償処理部２６からの出力信号と復号化処理部２４からの出力信号を混合機２７によって混合してＤ／Ａ変換部２４に入力する。
【０１２９】
即ち、受信装置２は、パケットの遅延を知った時に、正常に受信した最後のパケットに含まれる最後のフレームを復号化した後の復号化処理部２３の内部バッファ２３ａに格納されている相関データを、消失補償処理部２６の内部バッファ２６ａにコピーする。
【０１３０】
消失補償処理部２６では、第１再生処理を行う。この第１再生処理では、内部バッファ２６ａにコピーされた相関データを用いて、遅延して受信できていないフレームの代わりに遅延時間内に存在すべきフレームの音声波形を生成して補間すると共に、補間したフレームに続くＮ個のフレームを擬似生成すると共にこれらＮ個のフレームに対してフェードアウト処理を施して、混合部２７を介してＤ／Ａ変換部２４に出力する。
【０１３１】
復号化処理部２３では、第２再生処理を行う。この第２再生処理では、遅延して受信したシーケンス番号が１番以降のパケットの復号化処理を開始する。このとき、先頭のＮ個のパケットのフレームは復号化した後に、復号化処理して得られた音声信号を０から次第に音量を増加させるフェードイン処理を施す。
【０１３２】
さらに、復号化処理部２３においてフェードイン処理を施されたものと、消失補償処理部２６で生成されたフェードアウト処理した音声波形を混合部２７によって合成し（クロスフェード）、再生する。
【０１３３】
また、復号化処理部２３においては、シーケンス番号が３番以降のパケットのフレームに対しては、通常通りの復号化処理を施し、この復号化された音声信号はそのまま通常通り再生される。
【０１３４】
次に、上記の処理の具体例について図９を参照して説明する。
【０１３５】
図９に示す具体例では、受信装置２は、シーケンス番号が１番以降のパケットの遅延を知った場合に、復号化処理部２３によって、正常に受信したシーケンス番号が０番のパケットに含まれるフレームを復号化した後の復号化処理部２３の内部バッファ２３ａに格納されている相関データを、消失補償処理部２６の内部バッファ２６ａにコピーする。
【０１３６】
消失補償処理部２６は、内部バッファ２６ａに格納されている相関データを用いて遅延時間内に存在しなければならないパケットに含まれるフレームの代わりに再生すべきフレーム１’，２’の音声信号を擬似生成する。
【０１３７】
次に、パケット１，２が遅れて到着する。
【０１３８】
復号化処理部２３では、シーケンス番号が０番のパケットに含まれるフレームを復号化処理した直後の内部バッファ２３ａに相関データが保持されているため、この相関データを用いてシーケンス番号が１番と２番のパケットに含まれるフレームを復号化処理すれば、符号化処理部１３の内部バッファ１３ａに格納されている相関データと復号化処理部２３の内部バッファ２３ａに格納されている相関データの不一致は生じない。
【０１３９】
さらに、符号化処理部２３は、シーケンス番号が１番と２番のパケットのフレームを復号化した後に、復号化処理して得られた音声信号を０から次第に音量を増加させるフェードイン処理を施して混合部２７を介してＤ／Ａ変換部２４に出力する。
【０１４０】
一方、消失補償処理部２６では、再生される音声信号波形が不連続になることに起因する音声品質の劣化を避けるために、Ｎ個（ここではＮ＝２）の擬似フレーム３’，４’の音声信号を生成して混合部２７を介してＤ／Ａ変換部２４に出力する。
【０１４１】
これにより、符号化処理部２３から出力されたシーケンス番号が１番と２番のパケットに含まれるフレームを復号した音声信号波形と、消失補償処理部２６から出力された擬似フレーム３’，４’の音声信号とが混合部２７によって混合されてクロスフェード処理が施され、これがＤ／Ａ変換部２４に出力される。
【０１４２】
また、復号化処理部２３においては、シーケンス番号が３番以降のパケットのフレームに対しては、通常通りの復号化処理を施す。この復号化された音声信号はそのまま通常通り再生される。
【０１４３】
上記第５実施形態によれば、通信網３においてパケットが遅延したときにも、品質劣化を低減して音声再生することができる。
【０１４４】
（第６実施形態）
次に、本発明の第６実施形態を図１０を参照して説明する。尚、第６実施形態における装置構成は前述した第４，５実施形態と同様である。
【０１４５】
第６実施形態では、図１０に示すように、前述した第５実施形態の処理に代えて、復号化処理部２３において、シーケンス番号が１番と２番のパケットを破棄し、シーケンス番号が３番と４番のパケットに含まれるフレームを復号化処理してさらにフェードイン処理を施し、このフェードイン処理した音声信号と、消失補償処理部２６によって生成した擬似フレーム３’，４’の音声信号とを混合部２７によって合成することによりクロスフェードして出力するようにした。
【０１４６】
上記第６実施形態によっても第５実施形態と同様に、通信網３においてパケットが遅延したときにも、品質劣化を低減して音声再生することができる。
【０１４７】
（第７実施形態）
次に、本発明の第７実施形態を説明する。
【０１４８】
図１１は本発明の第７実施形態における音声パケット通信システムの受信装置を示すブロック図である。図において、前述した第４実施形態と同一構成部分は同一符号をもって表しその説明を省略する。また、第７実施形態と第４実施形態との相違点は、第４実施形態における消失補償処理部２６に代えて内部バッファ状態保持部２８を設けると共に混合部２８を除去したことである。
【０１４９】
上記構成によっても第５実施形態と同様の処理を行うことができる。即ち、Ｇ．７２９等の場合のように復号化処理部２３と消失補償処理部２６が実質的に同一であるような場合には、復号化処理部２３の内部バッファ２３ａに格納されている相関データを、内部バッファ状態保持部２８に一時的にコピーして保存しておき、遅延してきた次のフレームを復号する場合には、保持しておいた相関データを用いて復号を始めることで、同様の処理を行うことができる。
【０１５０】
この場合にはシーケンス番号が０番のパケットに含まれるフレームを復号化処理した直後に、復号化処理部２３の内部バッファ２３ａに格納されている相関データを内部バッファ状態保持部２８にコピーして保持し、上記消失補償処理部２６の処理と同様に１’番から４’番までの擬似フレームを生成する。
【０１５１】
次いで、遅延して受信したシーケンス番号が１番のパケットに含まれるフレームを復号化処理する場合には、内部バッファ状態保持部２８に保持されている相関データを復号化処理部２６の内部バッファ２３ａにコピーして復帰してから復号化処理を行う。
【０１５２】
上記第７実施形態によっても第５実施形態と同様に、通信網３においてパケットが遅延したときにも、品質劣化を低減して音声再生することができる。
【０１５３】
尚、前述した各実施形態は本発明の一具体例であって、本発明が上記実施形態にのみ限定されることはない。
【０１５４】
また、前後のパケットが入れ替わった状態でパケットを受信し、これらのパケットのフレームを復号化せざるおえない場合にも、本発明の手法を適用可能であることは言うまでもないことである。
【０１５５】
【発明の効果】
以上説明したように本発明のリアルタイムパケット処理装置及びその方法によれば、復号化処理部による復号処理を行う際に処理対象となるフレームが連続していないときは、不連続となったフレームからＮ個のフレームに対して復号化処理部における復号化のみが行われ、復号化したＮ個のフレームに対して音声再生処理を施さずに前記Ｎ個のフレームの次のフレームから音声再生処理が施されるため、前記Ｎ個のフレームに対して復号化処理のみが行われることにより、復号化を行う際に復号化処理部において用いる相関データを、送信装置側の符号化処理部における相関データと一致させることができ、前記Ｎ個のフレームの次のフレームから適切な音声再生処理を行うことができるという非常に優れた効果を奏するものである。
【図面の簡単な説明】
【図１】本発明の第１実施形態におけるリアルタイムパケット処理装置の機能構成を示すブロック図
【図２】本発明の第１実施形態における音声パケット送信装置による音声信号のパケット化を説明する図
【図３】本発明の第１実施形態において用いているリアルタイム転送プロトコルヘッダを説明する図
【図４】本発明の第１実施形態におけるリアルタイムパケット処理装置の処理を説明するタイミングチャート
【図５】本発明の第２実施形態におけるリアルタイムパケット処理装置の処理を説明するタイミングチャート
【図６】本発明の第３実施形態におけるリアルタイムパケット処理装置の処理を説明するタイミングチャート
【図７】本発明の第４実施形態におけるリアルタイムパケット処理装置の機能構成を示すブロック図
【図８】本発明の第４実施形態におけるリアルタイムパケット処理装置の処理を説明するタイミングチャート
【図９】本発明の第５実施形態におけるリアルタイムパケット処理装置の処理を説明するタイミングチャート
【図１０】本発明の第６実施形態におけるリアルタイムパケット処理装置の処理を説明するタイミングチャート
【図１１】本発明の第７実施形態におけるリアルタイムパケット処理装置の受信装置の機能構成を示すブロック図
【符号の説明】
１…送信装置、２…受信装置、３…通信網、１１…音声入力部、１２…アナログ／ディジタル（Ａ／Ｄ）変換部、１３…符号化処理部、１３ａ…内部バッファ、１４…パケット生成部、１５…送信部、２１…受信部、２２…パケット解析部、２３…復号化処理部、２３ａ…内部バッファ、２４…ディジタル／アナログ（Ｄ／Ａ）変換部、２５…音声出力部、２６…消失補償処理部、２６ａ…内部バッファ、２７…混合部、２８…内部バッファ状態保持部。
Claims (20)
- 連続した入力音声信号を所定周期毎に切り取り、該切り取った信号を前記周期よりも短い所定のサンプリング時間毎にサンプリングして得られた複数のサンプリングデータを符号化処理部によって符号化してなるフレームを生成すると共に該フレーム毎に該フレームを含むパケットを生成して順次送信する送信装置から通信網を介して受信装置によって前記パケットを受信し、前記受信装置により、前記受信したパケットに含まれる前記フレームを復号化処理部により復号化し、該復号化したフレームに含まれるサンプリングデータに対して音声再生処理を施す予測符号化方式を用いたリアルタイムパケット処理装置において、
前記復号化処理部による復号処理を行う際に処理対象となるフレームが連続しているか否かを判定する手段と、
前記判定の結果、前記復号処理対象となるフレームが連続していないときに、不連続となったフレームからＮ個のフレームに対して前記復号化処理部における復号化のみを行い、復号化したＮ個のフレームに対して前記音声再生処理を施さずに前記Ｎ個のフレームの次のフレームから前記音声再生処理を施す手段とを備えた
ことを特徴とするリアルタイムパケット処理装置。 - 連続した入力音声信号を所定周期毎に切り取り、該切り取った信号を前記周期よりも短い所定のサンプリング時間毎にサンプリングして得られた複数のサンプリングデータを符号化処理部によって符号化してなるフレームを生成すると共に該フレーム毎に該フレームを含むパケットを生成して順次送信する送信装置から通信網を介して受信装置によって前記パケットを受信し、前記受信装置により、前記受信したパケットに含まれる前記フレームを復号化処理部により復号化し、該復号化したフレームに含まれるサンプリングデータに対して音声再生処理を施す予測符号化方式を用いたリアルタイムパケット処理装置において、
前記復号化処理部による復号処理を行う際に処理対象となるフレームが連続しているか否かを判定する手段と、
前記判定の結果、前記復号処理対象となるフレームが連続していないときに、不連続となったフレームからＮ個のフレームに対して前記復号化処理部における復号化を行った後、前記復号化した前記Ｎ個のフレームに対して音量を低下させた前記音声再生処理を施す手段とを備えた
ことを特徴とするリアルタイムパケット処理装置。 - 前記Ｎ個のフレームに続くＭ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施す手段を備えた
ことを特徴とする請求項１に記載のリアルタイムパケット処理装置。 - 前記Ｎ個のフレーム及びこれに続くＭ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施す手段を備えた
ことを特徴とする請求項２に記載のリアルタイムパケット処理装置。 - 前記不連続となる前のＭ個のフレーム対して徐々に無音まで音量を低下させるフェードアウト処理を施す手段を備えた
ことを特徴とする請求項１又は請求項２に記載のリアルタイムパケット処理装置。 - 前記判定手段は前記パケットに含まれるシーケンス番号に基づいて、該シーケンス番号が不連続になったときに、前記フレームが不連続となったと判定する手段を有する
ことを特徴とする請求項１又は請求項２に記載のリアルタイムパケット処理装置。 - 前記送信装置から受信したパケットを格納するバッファと、
前記バッファに格納されているパケットの数が所定数を越えたときに、前記バッファに格納されている連続した所定数のパケットを破棄する手段と、
前記復号化処理部は前記バッファから入力したパケットに含まれるフレームを復号化する手段と、
前記破棄したパケットのフレームのうちの最後のＮ個のフレームは復号化のみを行い、これに続くＭ個のパケットのフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施す手段と、
前記破棄したパケットの前のＭ個のパケットのフレーム対して徐々に無音まで音量を低下させるフェードアウト処理を施す手段を備えている
ことを特徴とする請求項１又は請求項２に記載のリアルタイムパケット処理装置。 - 前記フェードアウト処理を施したフレームと前記フェードイン処理を施したフレームとを重ねて音声再生する手段を備えている
ことを特徴とする請求項７に記載のリアルタイムパケット処理装置。 - 前記フレームの不連続がパケットの消失によって生じたときに、消失したパケットに対応するフレームを補間する手段と、
前記消失したパケットに続くＮ＋Ｍ個のパケットを擬似生成すると共に、前記消失したパケットの後のＮ個のフレームに続くＭ個のフレームに対して無音まで音量を低下させるフェードアウト処理を施した音声信号を生成する第１再生手段と、
受信したパケットのうちの前記消失したパケットの後のＮ個のパケットのフレームに対して前記復号化のみを行い、該Ｎ個のパケットに続くＭ個のパケットのフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施した音声信号を生成する第２再生手段と、
前記第１再生手段によって生成した音声信号と前記第２再生手段によって生成した音声信号とを重ねて音声再生する手段を備えている
ことを特徴とする請求項１又は請求項２に記載のリアルタイムパケット処理装置。 - 前記フレームの不連続がパケットの遅延によって生じたときに、遅延したパケットの前の受信パケットに続いてＮ個以上のフレームを擬似生成すると共に、前記擬似生成したフレームのうちの最後のＮ個のフレームに対して無音まで音量を低下させるフェードアウト処理を施した音声信号を生成する第１再生手段と、
前記遅延して受信したパケットの最初のＮ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施した音声信号を生成する第２再生手段と、
前記第１再生手段によって生成した音声信号と前記第２再生手段によって生成した音声信号とを重ねて音声再生する手段を備えている
ことを特徴とする請求項１又は請求項２に記載のリアルタイムパケット処理装置。 - 連続した入力音声信号を所定周期毎に切り取り、該切り取った信号を前記周期よりも短い所定のサンプリング時間毎にサンプリングして得られた複数のサンプリングデータを符号化処理部によって符号化してなるフレームを生成すると共に該フレーム毎に該フレームを含むパケットを生成して順次送信する送信装置から通信網を介して受信装置によって前記パケットを受信し、前記受信装置により、前記受信したパケットに含まれる前記フレームを復号化処理部により復号化し、該復号化したフレームに含まれるサンプリングデータに対して音声再生処理を施す予測符号化方式を用いたリアルタイムパケット処理方法において、
前記受信装置は、前記復号化処理部による復号処理を行う際に処理対象となるフレームが連続していないときに、不連続となったフレームからＮ個のフレームに対して前記復号化処理部における復号化のみを行い、復号化したＮ個のフレームに対して前記音声再生処理を施さずに前記Ｎ個のフレームの次のフレームから前記音声再生処理を施す
ことを特徴とするリアルタイムパケット処理方法。 - 連続した入力音声信号を所定周期毎に切り取り、該切り取った信号を前記周期よりも短い所定のサンプリング時間毎にサンプリングして得られた複数のサンプリングデータを符号化処理部によって符号化してなるフレームを生成すると共に該フレーム毎に該フレームを含むパケットを生成して順次送信する送信装置から通信網を介して受信装置によって前記パケットを受信し、前記受信装置により、前記受信したパケットに含まれる前記フレームを復号化処理部により復号化し、該復号化したフレームに含まれるサンプリングデータに対して音声再生処理を施す予測符号化方式を用いたリアルタイムパケット処理方法において、
前記受信装置は、前記復号化処理部による復号処理を行う際に処理対象となるフレームが連続していないときに、不連続となったフレームからＮ個のフレームに対して前記復号化処理部における復号化を行った後、前記復号化した前記Ｎ個のフレームに対して音量を低下させた前記音声再生処理を施す
ことを特徴とするリアルタイムパケット処理方法。 - 前記受信装置は、前記Ｎ個のフレームに続くＭ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施す
ことを特徴とする請求項１１に記載のリアルタイムパケット処理方法。 - 前記受信装置は、前記Ｎ個のフレーム及びこれに続くＭ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施す
ことを特徴とする請求項１２に記載のリアルタイムパケット処理方法。 - 前記受信装置は、前記不連続となる前のＭ個のフレーム対して徐々に無音まで音量を低下させるフェードアウト処理を施す
ことを特徴とする請求項１１又は請求項１２に記載のリアルタイムパケット処理方法。 - 前記受信装置は、前記パケットに含まれるシーケンス番号に基づいて、該シーケンス番号が不連続になったときに、前記フレームが不連続となったと判定する
ことを特徴とする請求項１１又は請求項１２に記載のリアルタイムパケット処理方法。 - 前記受信装置は、前記送信装置から受信したパケットをバッファに格納して、前記バッファから入力したパケットに含まれるフレームを復号化する際に、
前記バッファに格納されているパケットの数が所定数を越えたときに、前記バッファに格納されている連続した所定数のパケットを破棄すると共に、
前記破棄したパケットのフレームのうちの最後のＮ個のフレームは復号のみを行い、これに続くＭ個のパケットのフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施し、
前記破棄したパケットの前のＭ個のパケットのフレーム対して徐々に無音まで音量を低下させるフェードアウト処理を施す
ことを特徴とする請求項１１又は請求項１２に記載のリアルタイムパケット処理方法。 - 前記受信装置は、前記フェードアウト処理を施したフレームと前記フェードイン処理を施したフレームとを重ねて音声再生する
ことを特徴とする請求項１７に記載のリアルタイムパケット処理方法。 - 前記受信装置は、前記フレームの不連続がパケットの消失によって生じたときに、消失したパケットに対応するフレームを補間し、
前記消失したパケットに続くＮ＋Ｍ個のパケットを擬似生成すると共に、前記消失したパケットの後のＮ個のフレームに続くＭ個のフレームに対して無音まで音量を低下させるフェードアウト処理を施した第１音声信号を生成し、
受信したパケットのうちの前記消失したパケットの後のＮ個のパケットのフレームに対して前記復号化のみを行い、該Ｎ個のパケットに続くＭ個のパケットのフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施した第２音声信号を生成し、
前記第１音声信号と前記第２音声信号とを重ねて音声再生する
ことを特徴とする請求項１１又は請求項１２に記載のリアルタイムパケット処理方法。 - 前記受信装置は、前記フレームの不連続がパケットの遅延によって生じたときに、遅延したパケットの前の受信パケットに続いてＮ個以上のフレームを擬似生成し、
前記擬似生成したフレームのうちの最後のＮ個のフレームに対して無音まで音量を低下させるフェードアウト処理を施した第１音声信号を生成し、
前記遅延して受信したパケットの最初のＮ個のフレームに対して無音状態から徐々に音量を増加させるフェードイン処理を施した第２音声信号を生成し、
前記第１音声信号と前記第２音声信号とを重ねて音声再生する
ことを特徴とする請求項１１又は請求項１２に記載のリアルタイムパケット処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003200000A JP3977784B2 (ja) | 2003-07-22 | 2003-07-22 | リアルタイムパケット処理装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003200000A JP3977784B2 (ja) | 2003-07-22 | 2003-07-22 | リアルタイムパケット処理装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005043423A true JP2005043423A (ja) | 2005-02-17 |
| JP3977784B2 JP3977784B2 (ja) | 2007-09-19 |
Family
ID=34260583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003200000A Expired - Lifetime JP3977784B2 (ja) | 2003-07-22 | 2003-07-22 | リアルタイムパケット処理装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3977784B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008033232A (ja) * | 2007-02-16 | 2008-02-14 | Nec Corp | 音声データ復号装置及び音声データ変換装置 |
| JP2009272906A (ja) * | 2008-05-08 | 2009-11-19 | Mitsubishi Electric Corp | メッセージ中継装置 |
| JP2009542142A (ja) * | 2006-07-03 | 2009-11-26 | トムソン ライセンシング | データ送信方法及び該方法を行うための装置 |
| JP2013519920A (ja) * | 2010-02-11 | 2013-05-30 | クゥアルコム・インコーポレイテッド | サブ帯域コード化復号器における損失パケットの隠蔽 |
| WO2016104178A1 (ja) * | 2014-12-26 | 2016-06-30 | ソニー株式会社 | 信号処理装置、および信号処理方法、並びにプログラム |
-
2003
- 2003-07-22 JP JP2003200000A patent/JP3977784B2/ja not_active Expired - Lifetime
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009542142A (ja) * | 2006-07-03 | 2009-11-26 | トムソン ライセンシング | データ送信方法及び該方法を行うための装置 |
| JP2008033232A (ja) * | 2007-02-16 | 2008-02-14 | Nec Corp | 音声データ復号装置及び音声データ変換装置 |
| JP2009272906A (ja) * | 2008-05-08 | 2009-11-19 | Mitsubishi Electric Corp | メッセージ中継装置 |
| JP4629126B2 (ja) * | 2008-05-08 | 2011-02-09 | 三菱電機株式会社 | メッセージ中継装置 |
| JP2013519920A (ja) * | 2010-02-11 | 2013-05-30 | クゥアルコム・インコーポレイテッド | サブ帯域コード化復号器における損失パケットの隠蔽 |
| WO2016104178A1 (ja) * | 2014-12-26 | 2016-06-30 | ソニー株式会社 | 信号処理装置、および信号処理方法、並びにプログラム |
| US10089996B2 (en) | 2014-12-26 | 2018-10-02 | Sony Corporation | Signal processing apparatus, signal processing method, and program |
| US10319388B2 (en) | 2014-12-26 | 2019-06-11 | Sony Corporation | Signal processing apparatus, signal processing method, and program |
| US10522162B2 (en) | 2014-12-26 | 2019-12-31 | Sony Corporation | Signal processing apparatus, signal processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3977784B2 (ja) | 2007-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7453897B2 (en) | Network media playout | |
| JP4367657B2 (ja) | 音声通信方法及び装置 | |
| US8208460B2 (en) | Method and system for in-band signaling of multiple media streams | |
| US20080117901A1 (en) | Method of conducting an audio communications session using incorrect timestamps | |
| US8566108B2 (en) | Synchronization of multiple real-time transport protocol sessions | |
| EP1959432A1 (en) | Transmission of a digital message interspersed throughout a compressed information signal | |
| US8514945B2 (en) | IP stream tramsmitting/receiving system, IP stream receiving device and receiving process timing synchronization method used for the same | |
| US7769054B2 (en) | Method of conducting a communications session using incorrect timestamps | |
| JP3977784B2 (ja) | リアルタイムパケット処理装置及びその方法 | |
| JP4042396B2 (ja) | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム | |
| JP4218456B2 (ja) | 通話装置、通話方法及び通話システム | |
| US7894486B2 (en) | Method for depacketization of multimedia packet data | |
| US6525253B1 (en) | Transmission of musical tone information | |
| JP3906678B2 (ja) | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム | |
| JP4454255B2 (ja) | 音声／ｆａｘ通信システム、音声／ｆａｘ受信装置および揺らぎ吸収バッファ量制御方法 | |
| JP4050961B2 (ja) | パケット型音声通信端末 | |
| US20060259618A1 (en) | Method and apparatus of processing audio of multimedia playback terminal | |
| JP2005045739A (ja) | 通話装置、通話方法及び通話システム | |
| KR100875936B1 (ko) | 가변대역 멀티코덱 음성 품질 측정 구간 일치를 위한 방법및 그 장치 | |
| US8117029B2 (en) | Method and apparatus for matching sound quality measurement sections of variable bandwidth multi-codec | |
| JP2006279809A (ja) | 音声再生装置および音声再生方法 | |
| KR100939128B1 (ko) | 영상 통화를 위한 단말 및 방법 | |
| JP4820877B2 (ja) | 情報データ受信装置、情報データ受信方法、情報データ受信プログラムおよび情報データ受信プログラムを格納した記録媒体 | |
| JP4911579B2 (ja) | 解析のためにストリームを保存又は再生する端末、プログラム及び方法 | |
| JP4679502B2 (ja) | クロック補正機能を有する音声パケット再生装置、通信端末及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070619 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070621 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3977784 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140629 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |