JP2004080625A - パケット型音声通信端末 - Google Patents
パケット型音声通信端末 Download PDFInfo
- Publication number
- JP2004080625A JP2004080625A JP2002240821A JP2002240821A JP2004080625A JP 2004080625 A JP2004080625 A JP 2004080625A JP 2002240821 A JP2002240821 A JP 2002240821A JP 2002240821 A JP2002240821 A JP 2002240821A JP 2004080625 A JP2004080625 A JP 2004080625A
- Authority
- JP
- Japan
- Prior art keywords
- encoded data
- multiplexing
- unit
- voice
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Detection And Prevention Of Errors In Transmission (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】回線状態に応じて、音質劣化を抑制しかつ音声の遅延をスムーズに動的制御すること。
【解決手段】送信側では、有音無音判定部１０３にて、入力音声を分析して有音か無音かが判定される。音声符号化部１０４では、入力音声を有音無音判定部１０３の判定結果に従って符号化する。多重化部１０６では、送信バッファ部１０５に蓄積された符号化データから多重化する符号化データを選択する際に、回線状態と有音無音判定部１０３の判定結果と従って多重化数と多重化深度を切り替える。受信側では、ＩＰ網から受信されたパケットから取り出された符号化データが受信バッファ部１１４に蓄積される。遅延調整フレーム選択部１１５では、受信バッファに蓄積された符号化データに含まれている有音無音情報を利用して最適な遅延を与える符号化データを選択し、音声復号化部１１６に渡す。
【選択図】 図１
【解決手段】送信側では、有音無音判定部１０３にて、入力音声を分析して有音か無音かが判定される。音声符号化部１０４では、入力音声を有音無音判定部１０３の判定結果に従って符号化する。多重化部１０６では、送信バッファ部１０５に蓄積された符号化データから多重化する符号化データを選択する際に、回線状態と有音無音判定部１０３の判定結果と従って多重化数と多重化深度を切り替える。受信側では、ＩＰ網から受信されたパケットから取り出された符号化データが受信バッファ部１１４に蓄積される。遅延調整フレーム選択部１１５では、受信バッファに蓄積された符号化データに含まれている有音無音情報を利用して最適な遅延を与える符号化データを選択し、音声復号化部１１６に渡す。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は，音声を圧縮し、圧縮した符号化データをパケット化してインターネット網を伝送し、インターネット網から受信された符号化データを復号して音声通話を行うパケット型音声通信端末に関する。
【０００２】
【従来の技術】
近年、インターネット技術の急速な発展／普及により、インターネットによるデータ伝送コストが急速に低下してきている。その一方で有線電話網は、通話品質（音質、安定性、低遅延）では勝るものの、高コスト性及び他サービスとの融合性の低さが問題となっている。そのため、電話サービスもインターネット上でサービスを行おうという機運が高まってきており、ＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）の研究が盛んになってきている。既に音声等のリアルタイムサービス向けのプロトコル（ＲＴＰ、ＲＴＣＰ、ＲＳＶＰ等）がＩＥＴＦ（Ｔｈｅ Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ）のＲＦＣ（Ｒｅｑｕｅｓｔ ｆｏｒ Ｃｏｍｍｅｎｔｓ）として規定されている。また、ＩＴＵ−Ｔの規格としても、Ｈ．３２３という規格があり、徐々に普及してきている。
【０００３】
ところが、インターネット網（以下「ＩＰ網」という）は、ＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ：サービス品質）が保証されないシステムであり、伝送パケットの到着時間の揺らぎや、伝送パケットの消失等の問題が頻繁に起こる。通常のデータであれば、パケットの到着時間の揺らぎは問題とはならない。その理由は、パケットの消失に関してもＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ ）やアプリケーションレベルでの再送制御を用いれば目的のデータを受信することができるからである。
【０００４】
しかしながら、音声通話やテレビ電話等のサービスは、大幅な遅延が許されないサービスである。これらのサービスには、通常、再送制御は遅延が大きすぎるために用いることはない。これらのサービス実現に向けてＩＰ網に対してＱｏＳを確保する手法に対する取り組みがなされ、また現状のＩＰ網を用いた場合のパケット消失対策として、ＦＥＣ（Ｆｅｅｄ−ｆｏｒｗｏｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ）手法が研究されている。
【０００５】
以下に、図７を参照して、ＦＥＣ手法を用いた従来のＶｏＩＰについて簡単に説明する。なお、図７は、従来のパケット型音声通信端末の構成を示すブロック図である。図７に示す従来のパケット型音声通信端末７０１は、符号化送信部７０２と復号化受信部７０９とを備えている。
【０００６】
符号化送信部７０２は、音声を圧縮符号化する音声符号化部７０３と、音声符号化部７０３にて符号化されたデータや正規の符号化データを受信できなかったときに補間に使用する補間用データを蓄積する送信バッファ部７０４と、回線状態に合わせて送信バッファ部７０４から送信する符号化データを選択し多重化する多重化部７０５と、多重化データをＩＰパケット化するパケット化部７０６と、パケット化部７０６にてパケット化されたデータをＩＰ網に送信する送信部７０７と、復号化受信部７０９にて生成された回線品質を多重化部７０５に通知する回線状態通知部７０８とを備えている。
【０００７】
復号化受信部７０９は、ＩＰ網からＩＰパケットを受信する受信部７１０と、受信部７１０にて受信されたＩＰパケットを展開するパケット展開部７１１と、パケット展開部７１１から多重化音声情報を受け取り、各フレーム毎に音声符号化データを分離する分離化部７１２と、分離化部７１２にて分離化された音声符号化データを蓄積する受信バッファ部７１３と、受信バッファ部７１３に蓄積された音声符号化データから復号に使用する音声符号化データを選択するフレーム選択部７１４と、フレーム選択部７１４にて選択された音声符号化データを復号する音声復号化部７１５と、受信されたＩＰパケットの連続性等を分離化部７１２にて分離化された音声符号化データに基づき確認等することによって回線品質を分析し送信側に通知する回線状態分析部７１６とを備えている。
【０００８】
以上のように構成される従来のパケット型音声通信端末７０１の主な動作について説明する。符号化送信部７０２の音声符号化部７０３では、Ｇ．７２６，Ｇ．７２８，Ｇ．７２９，ＡＭＲといった音声圧縮アルゴリズムを用いて圧縮を行い、符号化データｆ（ｎ）を生成する。なお、ｆ（ｎ）は、時刻Ｎにおける第ｎフレームの符号化データを表している。この符号化データｆ（ｎ）は、送信バッファ部７０４に蓄積される。
【０００９】
送信バッファ部７０４では、このように生成された符号化データが、過去Ｍフレーム分蓄積されるとする。送信バッファ部７０４に蓄積される符号化データのうち、ｆ（ｎ）を除く過去の符号化データ［ｆ２（ｎ−１）、ｆ３（ｎ−２）、・・、ｆＭ（ｎ−Ｍ＋１）］は、ＦＥＣデータとして用いられる。
【００１０】
つまり、次の動作ブロックである多重化部７０５では、ある時刻Ｎでは、処理中の符号化データｆ（ｎ）と例えば１つ前の符号化データｆ（ｎ−１）とがｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−１）と多重化され、次の時刻Ｎ＋１では、処理中の符号化データｆ（ｎ）と次の符号化データｆ（ｎ＋１）とがｇ（ｎ＋１）＝ｆ（ｎ＋１）＋ｆ（ｎ）と多重化される。送信側がこのように多重化することによって、受信側では、多重化された符号化データｇ（ｎ）が受信できなかった時でも、次の符号化データｇ（ｎ＋１）が受信できれば、送信側での符号化データｆ（ｎ）を得ることができるので、第ｎフレームを補間することなく再生することができる。
【００１１】
ここで、送信バッファ部７０４及び受信バッファ部７１３に蓄積されＦＥＣデータとして用いられる過去の符号化データは、音声符号化部７０３にて符号化されたデータそのものである必要はなく、伝送帯域を節約するため、例えば、さらに高圧縮した符号化データを用いたり、重要なデータだけにしたりすることができる。つまり、過去の符号化データは、単なるコピーでない可能性がある。
【００１２】
そのため、図７では、現在処理中のフレーム（第ｎフレーム）の１つ前のフレームのデータは、ｆ２（ｎ−１）と表している。また、現フレームを含めてＭフレーム分を蓄積する場合は、一番古い符号化データは、ｆＭ（ｎ−Ｍ＋１）と表している。
【００１３】
過去の符号化データが単なるコピーでない場合は、当然、受信側では、受信された符号化データに対応した動作をすることが必要となる。但し、以後の説明においては、理解を容易にするため、過去のＦＥＣ用の符号化データは、符号化データのコピーであるものとして説明する。
【００１４】
さて、３ＧＰＰ ＴＳ２６．２３５では、ｆ（ｎ）とｆ（ｎ−１）とで多重化する方法が示されている。しかしながら、この方法では、ＩＰ網でのパケット消失状況が一定でなく、例えば２パケット連続で消失することが多いような場合には、対策効果が非常に薄い。
【００１５】
そのため、例えば文献「Ａ Ｎｅｗ Ａｄａｐｔｉｖｅ ＦＥＣ Ｌｏｓｓ Ｃｏｎｔｒｏｌ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｖｏｉｃｅ Ｏｖｅｒ ＩＰ Ａｐｐｌｉｃａｔｉｏｎｓ（Ｐａｄｈｙｅ Ｃ．；Ｃｈｒｉｓｔｅｎｓｅｎ Ｋ．Ｊ．；Ｍｏｒｅｎｏ Ｗ．；Ｐｅｒｆｏｒｍａｎｃｅ，Ｃｏｍｐｕｔｉｎｇ，ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｃｏｎｆｅｒｅｎｃｅ，２０００．ＩＰＣＣＣ，’００．Ｃｏｎｆｅｒｅｎｃｅ Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ，２０００；Ｐａｇｅ（ｓ）：３０７−３１３）」では、ＩＰ網の状態に合わせて動的にＦＥＣ用符号化データを多重化制御を行う方法が提案されている。この方法に従えば、ＩＰ網に対する帯域負荷と音声品質に与える影響とのバランスを配慮したサービスが可能となる。
【００１６】
すなわち、図７において、回線状態通知部７０８は、受信側の回線状態分析部７１６を通じて回線の状態を取得し、または、制御用コマンドを通じてＩＰ網から直接回線の状態を取得し、その取得した回線状態を多重化部７０５に通知する。多重化部７０５では、通知された回線状態に応じて多重化数と多重化深度（ここでは、何フレーム前のデータを多重化するかという意味で用いる）を動的に制御する。以下に、動的制御を行う際の一例を示す。
【００１７】
（Ａ）連続パケット消失が多く、回線に帯域上余裕がない場合には、式（１）のように、多重化深度を増加する。
ｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−１）→ｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−２） ・・（１）
【００１８】
（Ｂ）連続パケット消失は多いが、回線に帯域上余裕がある場合には、式（２）のように、多重化数と多重化深度を共に増加する。
ｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−１）→ｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−１）＋ｆ（ｎ−２） ・・（２）
【００１９】
（Ｃ）連続パケット消失からランダム性消失に変化し、回線の帯域上余裕がさらに低下した場合は、式（３）に示すように、多重化数と多重化深度を共に減少する。
ｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−１）＋ｆ（ｎ−２）→ｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−１） ・・（３）
【００２０】
（Ｄ）パケット消失が殆ど発生しない場合は、式（４）に示すように、多重化数と多重化深度を共に減少する。
ｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−１）＋ｆ（ｎ−２）→ｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−１） ・・（４）
【００２１】
【発明が解決しようとする課題】
しかしながら、従来のパケット型音声通信端末では、多重化数や多重化深度の動的制御はできるが、再生における遅延を制御することができない。つまり、そのシステムにおいて、多重化深度を最大Ｍとしたならば、常に受信側では最初の符号化データｆ（ｎ）を受け取ってから、その最初の符号化データｆ（ｎ）含むＭ個分のパケットを受信した後でなければ、符号化データｆ（ｎ）を復号することができず、遅延が固定されてしまう、つまり設計自由度が小さいという問題がある。
【００２２】
図８を参照して説明する。なお、図８は、図７に示す従来のパケット型音声通信端末において実施される多重化数と多重化深度の動的制御を説明する図である。図８において、横軸は時間軸であり、縦軸は多重化するパケットを表しおり、図８（１）の四角内の数字は、フレーム番号を表している。また、図８では、最大深度Ｐ＝４とし、パケット番号ｐ＝０からｐ＝６までが、多重化数＝４、多重化深度＝４となっている。パケット番号ｐ＝７からｐ＝１２までが、多重化数＝２、多重化深度＝２となっている。パケット番号ｐ＝１３からｐ＝２０までが、多重化数＝２、多重化深度＝４となっている。
【００２３】
パケット番号ｐ＝０からｐ＝６までは、パケット番号ｐ＝３の時、フレーム番号３，２，１，０の符号化データがｇ（３）＝ｆ（３）＋ｆ（２）＋ｆ（１）＋ｆ（０）というように多重化されて伝送される。パケット番号ｐ＝０からｐ＝６までは、多重化数が４、多重化深度が４であるので、符号化データｆ（３）を復号するためには、最後の符号化データｆ（３）が受信されるパケット番号ｐ＝６まで待つ必要がある。
【００２４】
次に、パケット番号ｐ＝７からｐ＝１２までは、多重化数が２、多重化深度が２である。符号化データｆ（９）を復号するためには、本来最後の符号化データｆ（９）が受信されるパケット番号ｐ＝１０において復号が可能である。しかしながら、その場合にはそれ以前のフレームを廃棄しなければならず、不自然な再生音声となってしまう。そのため、最大深度Ｐ＝４にしたがってパケット番号ｐ＝１２で符号化データｆ（９）を再生しなければならない。
【００２５】
かりに、最大深度を無視し、送信してきた多重化深度に合わせて復号した場合には、多重化深度が大きくなると、今度はその差分の分だけフレーム補間が必要であるので、この場合も不自然な再生音声となってしまう。
【００２６】
以上のことから、パケットの消失が少なく、回線状態が良好な場合であっても、遅延を少なくすると、回線の劣化に十分に対応できないので、回線が劣化するワーストケースを考慮して遅延を多めに取らなければならない。したがって、上記のように、設計上多重化する一番過去の符号化データによって遅延が決定されるという問題がある。
【００２７】
本発明は、かかる点に鑑みてなされたものであり、回線状態に応じて動的に制御する多重化深度に合わせて、復号する音声の遅延をスムーズに制御することができるパケット型音声通信端末を提供することを目的とする。
【００２８】
【課題を解決するための手段】
本発明のパケット型音声通信端末は、入力音声を分析して有音か無音かを判定する有音無音判定手段と、前記入力音声を前記有音無音判定手段の判定結果に従って符号化する音声符号化手段と、前記音声符号化手段が出力する符号化データを蓄積する送信バッファと、ＩＰ網に送出する多重化した符号化データを前記送信バッファに蓄積された符号化データを用いて生成する多重化手段であって、回線状態と前記有音無音判定手段の判定結果とに従って多重化数と多重化深度を切り替える多重化手段と、を具備する構成を採る。
【００２９】
この構成によれば、送信側において、回線状態に加えて、無音時や有音と無音の切替時に多重化数と多重化深度を変更することができる。
【００３０】
本発明のパケット型音声通信端末は、ＩＰ網から受信されたパケットから取り出された符号化データの多重化数と多重化深度が回線状態の他に有音時と無音時とで切替制御されている場合において、前記多重化数と多重化深度が切替制御されている符号化データを蓄積する受信バッファと、前記受信バッファに蓄積された符号化データから復号化する符号化データを選択するフレーム選択手段であって、前記受信バッファに蓄積された符号化データに含まれている有音無音情報を利用して最適な遅延を与える符号化データを選択するフレーム選択手段と、を具備する構成を採る。
【００３１】
この構成によれば、受信側において、無音期間に多重化数・多重化深度の変化を検知し、有音が始まる際に無音フレームの廃棄、補間を行い、送信側が指定する多重化深度に復号する音声の遅延を合わせることができる。
【００３２】
本発明のパケット型音声通信端末は、ＩＰ網から受信されたパケットから取り出された符号化データの多重化数と多重化深度が回線状態に応じて切替制御されている場合において、前記多重化数と多重化深度が切替制御されている符号化データを蓄積する受信バッファと、復号化する符号化データを選択するフレーム選択手段であって、運用遅延と連続フレーム消失数を使って最適な遅延を与える符号化データを選択するフレーム選択手段と、を具備する構成を採る。
【００３３】
この構成によれば、送信側において、任意のタイミングで多重化数・多重化深度の変更を行っている場合に、受信側では、多重化数・多重化深度の変更を検知し、現在の運用遅延と多重化深度の差以上連続でパケットの受信に失敗した場合に、補間フレームの廃棄・追加を行うことで多重化深度に合わせてスムーズに復号する音声の遅延を制御することができる。
【００３４】
【発明の実施の形態】
本発明の骨子は、回線状態に応じて動的に多重化数と多重化深度を変更制御する場合に、多重化深度に合わせて復号する音声の遅延を制御することにより、パケットの消失が少ないときは、極力遅延を減らすことで通話のインタラクティブ性を高め、また回線状態が悪くパケットが消失しやすい回線状態のときは、遅延を増やすというデメリットを受け入れることでパケット消失によるフレーム補間を回避して復号音声の劣化を抑え、通話内容を極力確実に伝えることができるようにすることである。
【００３５】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００３６】
（実施の形態１）
図１は、本発明の実施の形態１に係るパケット型音声通信端末の構成を示すブロック図である。図１に示すパケット型音声通信端末１０１は、符号化送信部１０２と復号化受信部１１０とを備えている。
【００３７】
符号化送信部１０２は、有音無音判定部１０３と、音声符号化部１０４と、送信バッファ部１０５と、多重化部１０６と、パケット化部１０７と、送信部１０８とを備えている。復号化受信部１１０は、受信部１１１と、パケット展開部１１２と、分離化部１１３と、受信バッファ部１１４と、遅延調整フレーム選択部１１５と、音声復号化部１１６と回線状態分析部１１７とを備えている。
【００３８】
まず、符号化送信部１０２の動作について説明する。マイクロホン等によって入力された音声信号は、Ａ／Ｄ変換され、フレーム単位で有音無音判定部１０３と音声符号化部１０４とに入力される。
【００３９】
有音無音判定部１０３では、例えば、ＬＰＣ（線形予測係数）分析やピッチ分析、振幅の変化等を用いて入力されたフレームが有音フレームか、無音フレームであるかを判定を行い、その判定結果を音声符号化部１０４と多重化部１０６とに出力する。
【００４０】
音声符号化部１０４では、入力されたフレームを、有音無音判定部１０３からの判定結果が無音フレームであれば無音用に符号化を行い、有音無音判定部１０３からの判定結果が有音フレームであれば有音用に符号化を行い、圧縮した符号化データｆ（ｎ）を送信バッファ部１０５に出力する。
【００４１】
符号化データｆ（ｎ）は、送信バッファ部１０５に蓄積される。ここで、多重化深度を最大Ｍとすると、送信バッファ部１０５には、ｆ（ｎ−Ｍ＋１）までの符号化データが蓄積される。但し、前述したように、あるフレームｎの時に送信バッファ部１０５に蓄積されている過去の符号化データｆ（ｎ−１）、ｆ（ｎ−２）、…ｆ（ｎ−Ｍ＋１）は、符号化データの完全なコピーである必要はない。
【００４２】
回線状態通知部１０９は、復号化受信部１１０から例えばパケット消失数等の回線状況を受け取ると、その回線状況を多重化部１０６に通知する。
【００４３】
多重化部１０６は、回線状態通知部１０９から通知されるＩＰ網の劣化具合に関する情報に基づき送信バッファ部１０５に蓄積されている、現フレームの符号化データｆ（ｎ）に対し、ＦＥＣ用のデータとして過去の符号化データを選択して多重化した符号化データｇ（ｎ）を出力する処理を行う。その際に多重化情報も併せて例えばヘッダ情報としてパッキングする。
【００４４】
ここで、前述したように、有音時に単に多重化数や多重化深度を変化させたのでは、伝送帯域の無駄や遅延を大きくさせてしまう。そこで、多重化部１０６では、有音無音判定部１０３からの判定結果に従い、フレームが無音フレームである時もしくは無音フレームから有音フレームになった時に多重化数と多重化深度を変更するようになっている。
【００４５】
パケット化部１０７では、多重化部１０６にて多重化されたデータを例えばＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）にパケット化し、さらにＵＤＰ（Ｕｓｅｒ Ｄｉａｇｒａｍ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）に変換する。このようにＩＰパケット化されたデータは、送信部１０８からＩＰ網に送信される。
【００４６】
次に、復号化受信部１１０の動作について説明する。受信部１１１は、ＩＰ網から関係するＩＰパケットを受信し、パケット展開部１１２に送る。パケット展開部１１２は、受信されたＩＰパケットを展開して多重化された符号化データを取り出し、分離化部１１３に渡す。
【００４７】
分離化部１１３は、パケット展開部１１２から受け取った多重化音声情報を各フレーム毎の符号化データに分離し、受信バッファ部１１４と回線状態分析部１１７とに渡す。なお、復号時間に間に合わないデータ等は、この分離化部１１３にて廃棄される。回線状態分析部１１７は、例えばＲＴＰを用いて消失パケット数等の回線状態を分析し、送信側の回線状態通知部１０９に渡す。
【００４８】
受信バッファ部１１４では、分離化部１１３から受け取った符号化データが蓄積される。遅延調整フレーム選択部１１５は、例えば図２と図３に示す手順で、受信バッファ部１１４に蓄積された符号化データの中から有音フレームと無音フレームの情報を利用して最適な遅延調整フレームの符号化データを選択する。音声復号化部１１６は、遅延調整フレーム選択部１１５から受け取った符号化データを再生し、復号音声を出力する。
【００４９】
図２と図３を参照して、遅延調整フレーム選択部１１５の動作を具体的に説明する。なお、図２は、多重化数と多重化深度がそれぞれ「４」から「２」に減少する場合の動作例を示し、図３は、多重化数と多重化深度がそれぞれ「２」から「４」に増加する場合の動作例を示している。
【００５０】
まず、多重化深度が減少する場合の動作を説明する。図２において、図２（４）：パケット番号ｐは、「０」〜「２３」までが示されている。そのうち、パケット番号ｐ＝０〜ｐ＝９までが、多重化数および多重化深度が４のフレームであり、パケット番号ｐ＝１４〜ｐ＝２３までが、多重化数および多重化深度が２のフレームである。
【００５１】
図２（１）：送信側で生成される各符号化フレームｆ（ｎ）は、識別情報としてフレーム番号の他に、有音フレームであるか無音フレームであるかを示す有音無音情報を持っている。ここでは、符号化フレームｆ（０）からｆ（６）までが有音フレームで、符号化フレームｆ（７）からｆ（１３）までが無音フレームで、符号化フレームｆ（１４）からｆ（２３）までが有音フレームであるとしている。
【００５２】
なお、無音フレームの区間に関しては、音声符号化方式により符号化データを送り続けるものや、無音区間を補間するのに十分な情報を間欠的に送り無音時に全く情報を送らないものもある。図２（１）では、無音情報を送り続けるようにしているが、もちろん間欠的に送るものでも構わない。
【００５３】
図２（２）：受信バッファ１１４には、多重化深度に応じた符号化データｇ（ｎ）が受信蓄積されることが示されている。すなわち、受信バッファ１１４には、パケット番号ｐ＝０〜ｐ＝９まで多重化深度＝４の符号化データｇ（ｎ）が受信蓄積され、パケット番号ｐ＝１０〜ｐ＝１３まで無音フレームのデータが格納され、パケット番号ｐ＝１４以降は、多重化深度＝２の符号化データｇ（ｎ）が受信蓄積される。また、無音時には、多重化していないことが示されている。勿論、有音時の多重化情報のまま多重化していても構わない。
【００５４】
図２（３）：遅延制御フレーム選択部１１５のフレーム選択動作を説明している。すなわち、パケット番号ｐ＝０からｐ＝９までは、多重化深度が４であるので、最低でも４つのフレームを受信しなければ復号することができない。そのため、パケット番号ｐ＝０，１，２では音声を復号せず、パケット番号ｐ＝３で初めて符号化データｆ（０）を全部受信できたため、その中から最も状態のいいものを選択して次の音声復号化部１１６に符号化データｆ（０）を送ることができる。以降パケット番号ｐ＝９で符号化データｆ（６）が再生されるまでは同様に動作する。
【００５５】
パケット番号ｐ＝１０からｐ＝１３までの無音時では、受信した無音フレームを復号したり、もしくは、それ以前に受けたデータを元に補間動作を行う。パケット番号ｐ＝１４からｐ＝２３までは、多重化深度が４から２に減少する。従来例であれば、多重化深度は最高値４に固定しなければならないため、符号化データｆ（１４）を復号するためには、パケット番号ｐ＝１７まで待たなければならなかったが、今の例ではパケット番号ｐ＝１５で受信が完了しているので、パケット番号ｐ＝１５で復号が可能である。
【００５６】
これを実現するためには、従来例ではパケット番号ｐ＝１５で再生するはずだった符号化データｆ（１２）を復号せずに廃棄する必要がある。ところが、この符号化データｆ（１２）は、今の例では無音フレームであるので、復号せずに廃棄しても聴感上の劣化は無い。この例では、多重化深度が４から２へと変化したため、パケット番号ｐ＝１６のときに符号化データｆ（１３）も廃棄され、代わりに有音フレームｆ（１５）が選択される。以後そのままの遅延で復号されていく。
【００５７】
次に、多重化深度が増加する場合の動作を説明する。図３において、図３（４）：パケット番号ｐは、図２（４）と同様に「０」〜「２３」までが示されている。そのうち、パケット番号ｐ＝０〜ｐ＝７までが、多重化数および多重化深度が２のフレームであり、パケット番号ｐ＝１４〜ｐ＝２３までが、多重化数および多重化深度が４のフレームである。図３（１）：符号化フレームｆ（ｎ）は、図２（１）と同内容である。
【００５８】
図３（２）：受信バッファ１１４には、パケット番号ｐ＝０〜ｐ＝７まで多重化深度＝２の符号化データｇ（ｎ）が受信蓄積され、パケット番号ｐ＝８〜ｐ＝１３まで無音フレームのデータが格納され、パケット番号ｐ＝１４以降多重化深度＝４の符号化データｇ（ｎ）が受信蓄積される。
【００５９】
図３（３）：遅延調整フレーム選択部１１５のフレーム選択動作を説明している。すなわち、今度は、パケット番号ｐ＝０〜ｐ＝７までは、多重化深度が２であるので、パケット番号ｐ＝０では復号されず、パケット番号ｐ＝１で符号化データｆ（０）が復号される。以後、パケット番号ｐ＝７のときに符号化データｆ（６）が復号されるまで同様である。パケット番号ｐ＝８からｐ＝１３までは、無音フレームであり、図２（３）と同様の動作を行う。
【００６０】
次のパケット番号ｐ＝１４で多重化深度が２から４に変化する。パケット番号ｐ＝１４では、変化以前の多重化深度２であれば、パケット番号ｐ＝１５で符号化データｆ（１４）が再生されるはずであるが、多重化深度が４であるため、この段階では後２フレーム待たねば符号化データｆ（１４）を受信することができない。
【００６１】
そのため、パケット番号ｐ＝１５、１６では、無音フレームを補間することで多重化深度に遅延を合わせる。このように有音フレームが始まる前に無音フレームを補間してもほとんど劣化を感じることはないため、スムーズに運用遅延を変化させることができる。
【００６２】
以上のように，実施の形態１では、多重化深度をＩＰ網の状態に合わせて過去の符号化データをＦＥＣ用に多重化して伝送するパケット型音声通信端末において、パケット消失対策として、符号化データを多重化して送信する場合に、有音無音情報を利用して多重化数、多重化深度を変更し、受信側で無音から有音へと変化する際に多重化方法に合わせて無音フレームの廃棄、補間を行うことによって復号する音声の遅延を切替制御できるようにしたので、異音を発生することなくスムーズに遅延を切り替えることができる。
【００６３】
これにより、パケット消失が少ない時は低遅延で、パケット消失が多い場合は、多重化深度を深くすることで遅延を増やして即時性を犠牲にしてでも確実に話の内容が伝わるようにするといった幅広い運用ができるようになる。
【００６４】
（実施の形態２）
図４は、本発明の実施の形態２に係るパケット型音声通信端末の構成を示すブロック図である。図４に示すパケット型音声通信端末４０１は、符号化送信部４０２と復号化受信部４０９とを備えている。
【００６５】
符号化送信部４０２は、音声符号化部４０３と、送信バッファ部４０４と、多重化部４０５と、パケット化部４０６と、送信部４０７と、回線状態通知部４０８とを備えている。復号化受信部４０９は、受信部４１０と、パケット展開部４１１と、分離化部４１２と、受信バッファ部４１３と、フレーム選択部４１４と、音声復号化部４１５と回線状態分析部４１６とを備えている。ここで、フレーム選択部４１４は、運用遅延記憶部４１７と、連続フレーム消失カウント部４１８と、遅延制御判定部４１９と、遅延調整フレーム選択部４２０とで構成されている。
【００６６】
まず、符号化送信部４０２の動作について説明する。マイクロホン等によって入力された音声信号は、Ａ／Ｄ変換され、フレーム単位で音声符号化部４０３に入力される。
【００６７】
音声符号化部４０３では、入力されたフレームを符号化し、圧縮した符号化データｆ（ｎ）を送信バッファ部４０４に出力する。符号化データｆ（ｎ）は、送信バッファ部４０４に蓄積される。ここで、多重化深度を最大Ｍとすると、送信バッファ部４０４には、ｆ（ｎ−Ｍ＋１）までの符号化データが蓄積される。但し、前述したように、あるフレームｎの時に送信バッファ部４０４に蓄積されている過去の符号化データｆ（ｎ−１）、ｆ（ｎ−２）、…ｆ（ｎ−Ｍ＋１）は、符号化データの完全なコピーである必要はない。
【００６８】
回線状態通知部４０８は、復号化受信部４０９から例えばパケット消失数等の回線状況を受け取ると、その回線状況を多重化部４０５に通知する。
【００６９】
多重化部４０５は、回線状態通知部４０８から通知されるＩＰ網の劣化具合に関する情報に基づき送信バッファ部４０４に蓄積されている、現フレームの符号化データｆ（ｎ）に対し、ＦＥＣ用のデータとして過去の符号化データを選択して多重化した符号化データｇ（ｎ）を出力する処理を行う。その際に多重化情報も併せて例えばヘッダ情報としてパッキングする。
【００７０】
パケット化部４０６では、多重化部４０５にて多重化されたデータを例えばＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）にパケット化し、さらにＵＤＰ（Ｕｓｅｒ Ｄｉａｇｒａｍ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）に変換する。このようにＩＰパケット化されたデータは、送信部４０７からＩＰ網に送信される。
【００７１】
次に、復号化受信部４０９の動作について説明する。受信部４１０は、ＩＰ網から関係するＩＰパケットを受信し、パケット展開部４１１に送る。パケット展開部４１１は、受信されたＩＰパケットを展開して多重化された符号化データｇ（ｎ）を取り出し、分離化部４１２に渡す。
【００７２】
分離化部４１２は、パケット展開部４１１から受け取った多重化音声情報を各フレーム毎の符号化データに分離し、受信バッファ部４１３と回線状態分析部４１６とに渡す。なお、復号時間に間に合わないデータ等は、この分離化部４１２にて廃棄される。回線状態分析部４１６は、例えばＲＴＰを用いて消失パケット数等の回線状態を分析し、送信側の回線状態通知部４０８に渡す。
【００７３】
受信バッファ部４１３では、分離化部４１２から受け取った符号化データが蓄積される。フレーム選択部４１４は、運用遅延と連続フレーム消失数と使って遅延制御を行い、受信バッファ部４１３に蓄積された符号化データの中から最適な遅延調整フレームの符号化データを選択する。音声復号化部４１５は、フレーム選択部４１４から受け取った符号化データｆ（ｎ）を再生し、復号音声を出力する。
【００７４】
ここで、フレーム選択部４１４では、運用遅延記憶部４１７が、現在運用している遅延を記憶している。但し、この運用遅延は、送信側から送られてくる多重化深度とは必ずしも一致しない。連続フレーム消失カウント部４１８は、運用遅延と多重化深度が違う場合に機能し、受信フレームが連続で何フレーム消失したかをカウントする。このカウント値は、音声復号化部４１５において何フレーム連続フレーム消失補償するかと同値である。遅延制御判定部４１９は、運用遅延、受信フレームの多重化深度及び連続フレーム消失カウントを受取り、フレーム消失が連続で発生した時を利用してスムーズに運用遅延を変更できるように判定を行い、遅延調整フレーム選択部４２０に遅延制御の可否を伝える。遅延調整フレーム選択部４２０は、遅延制御を行うという判定を受けると、フレーム消失補償フレームの廃棄もしくは追加を行ったうえで、運用遅延を多重化深度にあわせるように動作する。
【００７５】
以下、図５と図６を参照して、フレーム選択部４１４の動作を具体的に説明する。なお、図５は、多重化数、多重化深度及び運用遅延がそれぞれ「４」から「２」に減少する場合の動作例を示し、図６は、多重化数、多重化深度及び運用遅延がそれぞれ「２」から「４」に増加する場合の動作例を示している。
【００７６】
まず、運用遅延が減少する場合の動作を説明する。図５において、図５（４）：パケット番号ｐは、「０」〜「２３」までが示されている。そのうち、パケット番号ｐ＝０〜ｐ＝７までが、多重化数、多重化深度及び運用遅延がそれぞれ「４」のフレームであり、パケット番号ｐ＝８〜ｐ＝２３までが、多重化数、多重化深度及び運用遅延が「２」のフレームである。
【００７７】
図５（１）：受信パケットｇ（ｎ）の受信状態（正常に受信できたか消失したかの状態）を示している。図５（１）では、受信パケットｇ（０）からｇ（９）までは正常に受信できたことを示している。受信パケットｇ（１０）からｇ（１３）まではフレーム消失による受信失敗を示している。受信パケットｇ（１４）からｇ（２３）までは正常に受信できたことを示している。
【００７８】
図５（２）：受信バッファ部４１３には、多重化深度に応じた符号化データｇ（ｎ）が受信蓄積されることが示されている。すなわち、受信バッファ部４１３には、パケット番号ｐ＝０〜ｐ＝７まで多重化深度＝４の符号化データｇ（ｎ）が受信蓄積され、パケット番号ｐ＝８以降多重化深度＝２の符号化データｇ（ｎ）が受信蓄積される。
【００７９】
図５（３）：フレーム選択部４１４のフレーム選択動作を説明している。すなわち、最初に受信したフレームの多重化深度で運用遅延を決めるとすると、運用遅延は４となる。従来例であればこのまま運用遅延は変更できない。今の例では、多重化深度が４から２に変更になった後に、パケット番号ｐ＝１０からｐ＝１３のパケットを消失している。従来例であれば、符号化データｆ（１０），ｆ（１１），ｆ（１２）に相当するフレームについて音声復号化部４１５にてフレーム消失補償が行われ、パケット番号ｐ＝１６から符号化データｆ（１３）が運用遅延４のまま再生される。
【００８０】
それに対し、本発明によるフレーム選択部４１４では、次のようにして運用遅延の切り替えを行うようになっている。すなわち、符号化データｆ（１０）からｆ（１２）は、受信できなかったためフレーム消失補償を行う。このとき、多重化深度は２であるので、パケット番号ｐ＝１４の段階で、符号化データｆ（１３）のデータを再生することが可能である。そして、パケット番号ｐ＝１４、１５では、符号化データｆ（１１），ｆ（１２）に相当する補償フレームを廃棄することで、パケット番号ｐ＝１４で符号化データｆ（１３）を復号することが可能となり、以後運用遅延を２に切り替えて運用することができる。この場合、少なくとも、パケット番号ｐ＝１３でフレーム消失補償が行われているので、運用遅延の変更が音質に大きな影響を与えことはない。
【００８１】
但し、連続フレーム消失数が多重化深度の変化数よりも短いと、フレーム廃棄が行われると、フレーム消失補償フレームが間に入らない状態となるので、復号音声は不自然になってしまう。また、間にフレーム消失補償フレームがあったとしても、ある程度以上の長さの補償フレームがあった方が自然に聞こえる可能性があるので、実運用にあたっては、システムに合わせて遅延制御判定部４１９の判定アルゴリズムやパラメータを調整する必要がある。
【００８２】
次に、運用遅延が増加する場合の動作を説明する。図６において、図６（４）：パケット番号ｐは、「０」〜「２３」までが示されている。そのうち、パケット番号ｐ＝０〜ｐ＝７までが、多重化数、多重化深度及び運用遅延がそれぞれ「２」のフレームであり、パケット番号ｐ＝８〜ｐ＝２３までが、多重化数、多重化深度及び運用遅延が「４」のフレームである。
【００８３】
図６（１）：受信パケットｇ（ｎ）の受信状態は、図５（１）と同様に、受信パケットｇ（０）からｇ（９）までは正常に受信できたことを示している。受信パケットｇ（１０）からｇ（１３）まではフレーム消失による受信失敗を示している。受信パケットｇ（１４）からｇ（２３）までは正常に受信できたことを示している。
【００８４】
図６（２）：受信バッファ部４１３には、多重化深度に応じた符号化データｇ（ｎ）が受信蓄積されることが示されている。すなわち、受信バッファ部４１３には、パケット番号ｐ＝０〜ｐ＝７まで多重化深度＝２の符号化データｇ（ｎ）が受信蓄積され、パケット番号ｐ＝８以降多重化深度＝４の符号化データｇ（ｎ）が受信蓄積される。
【００８５】
図６（３）：フレーム選択部４１４のフレーム選択動作を説明している。すなわち、最初に受信したフレームの多重化深度で運用遅延を決めるとすると、運用遅延は２となる。従来例であればこのまま運用遅延は変更できないので、パケット番号ｐ＝８以降では、多重化深度が増えたにもかかわらず、全ての符号化データが到着するのを待つことなく復号を開始している。今の例では、多重化深度が２から４に変更になった後に、パケット番号ｐ＝１０からｐ＝１３のパケットを消失している。従来例であれば、符号化データｆ（１０），ｆ（１１），ｆ（１２）に相当するフレームについて音声復号化部４１５にてフレーム消失補償が行われ、パケット番号ｐ＝１４から符号化データｆ（１３）が運用遅延２のまま再生される。
【００８６】
それに対し、本発明によるフレーム選択部４１４では、次のようにして運用遅延の切り替えを行うようになっている。すなわち、符号化データｆ（１０）に関しては、完全に受信できなかったため、フレーム消失補償しなければならないが、符号化データｆ（１１）、ｆ（１２）に関しては、パケット番号ｐ＝１４で受信できているため運用遅延を４に変更すれば復号が可能である。そこで、パケット番号ｐ＝１２、１３では、符号化データｆ（１１）、ｆ（１２）に相当するフレーム消失補償を行いつつ、パケット番号ｐ＝１４から符号化データｆ（１１）を復号するようにしている。このようにすれば、スムーズに運用遅延を増やすことができる。
【００８７】
以上のように、実施の形態２では，多重化深度をＩＰ網の状態に合わせて過去の符号化データをＦＥＣ用に多重化して伝送するパケット型音声通信端末において、パケット消失対策として、多重化された符号化データを受信する場合に、多重化深度の動的な変化に合わせて運用遅延を、連続フレーム消失期間を利用して切替制御するようにしたので、パケット消失が少ない時は低遅延で、パケット消失が多い場合は、多重化深度を深くすることで遅延を増やして即時性を犠牲にしてでも確実に話の内容が伝わるようにするといった幅広い運用ができるようになる。
【００８８】
【発明の効果】
以上説明したように、本発明によれば、ＩＰ網の状態に合わせて過去の符号化データをＦＥＣ用に多重化して伝送するパケット型音声通信端末において、有音無音情報や連続フレーム消失情報を使用して復号する音声の遅延をスムーズに切り替えることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係るパケット型音声通信端末の構成を示すブロック図
【図２】図１に示す遅延調整フレーム選択部が有音フレームと無音フレームの情報を利用して最適な遅延調整フレームを選択する動作を説明する図（多重化深度が減少する場合）
【図３】図１に示す遅延調整フレーム選択部が有音フレームと無音フレームの情報を利用して最適な遅延調整フレームを選択する動作を説明する図（多重化深度が増加する場合）
【図４】本発明の実施の形態２に係るパケット型音声通信端末の構成を示すブロック図
【図５】図４に示すフレーム選択部が連続フレーム消失を利用して最適な遅延調整フレームを選択する動作を説明する図（運用遅延が減少する場合）
【図６】図４に示すフレーム選択部が連続フレーム消失を利用して最適な遅延調整フレームを選択する動作を説明する図（運用遅延が増加する場合）
【図７】従来のパケット型音声通信端末の構成を示すブロック図
【図８】図７に示す従来のパケット型音声通信端末において実施される多重化数と多重化深度の動的制御を説明する図
【符号の説明】
１０１、４０１ パケット型音声通信端末
１０２、４０２ 符号化送信部
１０３ 有音無音判定部
１０４、４０３ 音声符号化部
１０５、４０４ 送信バッファ部
１０６、４０５ 多重化部
１０７、４０６ パケット化部
１０８、４０７ 送信部
１０９、４０８ 回線状態通知部
１１０、４０９ 復号化受信部
１１１、４１０ 受信部
１１２、４１１ パケット展開部
１１３、４１２ 分離化部
１１４、４１３ 受信バッファ部
１１５ 遅延調整フレーム選択部
１１６、４１５ 音声復号化部
１１７、４１６ 回線状態分析部
４１４ フレーム選択部
４１７ 運用遅延記憶部
４１８ 連続フレーム消失カウント部
４１９ 遅延制御判定部
４２０ 遅延調整フレーム選択部
【発明の属する技術分野】
本発明は，音声を圧縮し、圧縮した符号化データをパケット化してインターネット網を伝送し、インターネット網から受信された符号化データを復号して音声通話を行うパケット型音声通信端末に関する。
【０００２】
【従来の技術】
近年、インターネット技術の急速な発展／普及により、インターネットによるデータ伝送コストが急速に低下してきている。その一方で有線電話網は、通話品質（音質、安定性、低遅延）では勝るものの、高コスト性及び他サービスとの融合性の低さが問題となっている。そのため、電話サービスもインターネット上でサービスを行おうという機運が高まってきており、ＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）の研究が盛んになってきている。既に音声等のリアルタイムサービス向けのプロトコル（ＲＴＰ、ＲＴＣＰ、ＲＳＶＰ等）がＩＥＴＦ（Ｔｈｅ Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ）のＲＦＣ（Ｒｅｑｕｅｓｔ ｆｏｒ Ｃｏｍｍｅｎｔｓ）として規定されている。また、ＩＴＵ−Ｔの規格としても、Ｈ．３２３という規格があり、徐々に普及してきている。
【０００３】
ところが、インターネット網（以下「ＩＰ網」という）は、ＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ：サービス品質）が保証されないシステムであり、伝送パケットの到着時間の揺らぎや、伝送パケットの消失等の問題が頻繁に起こる。通常のデータであれば、パケットの到着時間の揺らぎは問題とはならない。その理由は、パケットの消失に関してもＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ ）やアプリケーションレベルでの再送制御を用いれば目的のデータを受信することができるからである。
【０００４】
しかしながら、音声通話やテレビ電話等のサービスは、大幅な遅延が許されないサービスである。これらのサービスには、通常、再送制御は遅延が大きすぎるために用いることはない。これらのサービス実現に向けてＩＰ網に対してＱｏＳを確保する手法に対する取り組みがなされ、また現状のＩＰ網を用いた場合のパケット消失対策として、ＦＥＣ（Ｆｅｅｄ−ｆｏｒｗｏｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ）手法が研究されている。
【０００５】
以下に、図７を参照して、ＦＥＣ手法を用いた従来のＶｏＩＰについて簡単に説明する。なお、図７は、従来のパケット型音声通信端末の構成を示すブロック図である。図７に示す従来のパケット型音声通信端末７０１は、符号化送信部７０２と復号化受信部７０９とを備えている。
【０００６】
符号化送信部７０２は、音声を圧縮符号化する音声符号化部７０３と、音声符号化部７０３にて符号化されたデータや正規の符号化データを受信できなかったときに補間に使用する補間用データを蓄積する送信バッファ部７０４と、回線状態に合わせて送信バッファ部７０４から送信する符号化データを選択し多重化する多重化部７０５と、多重化データをＩＰパケット化するパケット化部７０６と、パケット化部７０６にてパケット化されたデータをＩＰ網に送信する送信部７０７と、復号化受信部７０９にて生成された回線品質を多重化部７０５に通知する回線状態通知部７０８とを備えている。
【０００７】
復号化受信部７０９は、ＩＰ網からＩＰパケットを受信する受信部７１０と、受信部７１０にて受信されたＩＰパケットを展開するパケット展開部７１１と、パケット展開部７１１から多重化音声情報を受け取り、各フレーム毎に音声符号化データを分離する分離化部７１２と、分離化部７１２にて分離化された音声符号化データを蓄積する受信バッファ部７１３と、受信バッファ部７１３に蓄積された音声符号化データから復号に使用する音声符号化データを選択するフレーム選択部７１４と、フレーム選択部７１４にて選択された音声符号化データを復号する音声復号化部７１５と、受信されたＩＰパケットの連続性等を分離化部７１２にて分離化された音声符号化データに基づき確認等することによって回線品質を分析し送信側に通知する回線状態分析部７１６とを備えている。
【０００８】
以上のように構成される従来のパケット型音声通信端末７０１の主な動作について説明する。符号化送信部７０２の音声符号化部７０３では、Ｇ．７２６，Ｇ．７２８，Ｇ．７２９，ＡＭＲといった音声圧縮アルゴリズムを用いて圧縮を行い、符号化データｆ（ｎ）を生成する。なお、ｆ（ｎ）は、時刻Ｎにおける第ｎフレームの符号化データを表している。この符号化データｆ（ｎ）は、送信バッファ部７０４に蓄積される。
【０００９】
送信バッファ部７０４では、このように生成された符号化データが、過去Ｍフレーム分蓄積されるとする。送信バッファ部７０４に蓄積される符号化データのうち、ｆ（ｎ）を除く過去の符号化データ［ｆ２（ｎ−１）、ｆ３（ｎ−２）、・・、ｆＭ（ｎ−Ｍ＋１）］は、ＦＥＣデータとして用いられる。
【００１０】
つまり、次の動作ブロックである多重化部７０５では、ある時刻Ｎでは、処理中の符号化データｆ（ｎ）と例えば１つ前の符号化データｆ（ｎ−１）とがｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−１）と多重化され、次の時刻Ｎ＋１では、処理中の符号化データｆ（ｎ）と次の符号化データｆ（ｎ＋１）とがｇ（ｎ＋１）＝ｆ（ｎ＋１）＋ｆ（ｎ）と多重化される。送信側がこのように多重化することによって、受信側では、多重化された符号化データｇ（ｎ）が受信できなかった時でも、次の符号化データｇ（ｎ＋１）が受信できれば、送信側での符号化データｆ（ｎ）を得ることができるので、第ｎフレームを補間することなく再生することができる。
【００１１】
ここで、送信バッファ部７０４及び受信バッファ部７１３に蓄積されＦＥＣデータとして用いられる過去の符号化データは、音声符号化部７０３にて符号化されたデータそのものである必要はなく、伝送帯域を節約するため、例えば、さらに高圧縮した符号化データを用いたり、重要なデータだけにしたりすることができる。つまり、過去の符号化データは、単なるコピーでない可能性がある。
【００１２】
そのため、図７では、現在処理中のフレーム（第ｎフレーム）の１つ前のフレームのデータは、ｆ２（ｎ−１）と表している。また、現フレームを含めてＭフレーム分を蓄積する場合は、一番古い符号化データは、ｆＭ（ｎ−Ｍ＋１）と表している。
【００１３】
過去の符号化データが単なるコピーでない場合は、当然、受信側では、受信された符号化データに対応した動作をすることが必要となる。但し、以後の説明においては、理解を容易にするため、過去のＦＥＣ用の符号化データは、符号化データのコピーであるものとして説明する。
【００１４】
さて、３ＧＰＰ ＴＳ２６．２３５では、ｆ（ｎ）とｆ（ｎ−１）とで多重化する方法が示されている。しかしながら、この方法では、ＩＰ網でのパケット消失状況が一定でなく、例えば２パケット連続で消失することが多いような場合には、対策効果が非常に薄い。
【００１５】
そのため、例えば文献「Ａ Ｎｅｗ Ａｄａｐｔｉｖｅ ＦＥＣ Ｌｏｓｓ Ｃｏｎｔｒｏｌ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｖｏｉｃｅ Ｏｖｅｒ ＩＰ Ａｐｐｌｉｃａｔｉｏｎｓ（Ｐａｄｈｙｅ Ｃ．；Ｃｈｒｉｓｔｅｎｓｅｎ Ｋ．Ｊ．；Ｍｏｒｅｎｏ Ｗ．；Ｐｅｒｆｏｒｍａｎｃｅ，Ｃｏｍｐｕｔｉｎｇ，ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｃｏｎｆｅｒｅｎｃｅ，２０００．ＩＰＣＣＣ，’００．Ｃｏｎｆｅｒｅｎｃｅ Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ，２０００；Ｐａｇｅ（ｓ）：３０７−３１３）」では、ＩＰ網の状態に合わせて動的にＦＥＣ用符号化データを多重化制御を行う方法が提案されている。この方法に従えば、ＩＰ網に対する帯域負荷と音声品質に与える影響とのバランスを配慮したサービスが可能となる。
【００１６】
すなわち、図７において、回線状態通知部７０８は、受信側の回線状態分析部７１６を通じて回線の状態を取得し、または、制御用コマンドを通じてＩＰ網から直接回線の状態を取得し、その取得した回線状態を多重化部７０５に通知する。多重化部７０５では、通知された回線状態に応じて多重化数と多重化深度（ここでは、何フレーム前のデータを多重化するかという意味で用いる）を動的に制御する。以下に、動的制御を行う際の一例を示す。
【００１７】
（Ａ）連続パケット消失が多く、回線に帯域上余裕がない場合には、式（１）のように、多重化深度を増加する。
ｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−１）→ｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−２） ・・（１）
【００１８】
（Ｂ）連続パケット消失は多いが、回線に帯域上余裕がある場合には、式（２）のように、多重化数と多重化深度を共に増加する。
ｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−１）→ｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−１）＋ｆ（ｎ−２） ・・（２）
【００１９】
（Ｃ）連続パケット消失からランダム性消失に変化し、回線の帯域上余裕がさらに低下した場合は、式（３）に示すように、多重化数と多重化深度を共に減少する。
ｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−１）＋ｆ（ｎ−２）→ｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−１） ・・（３）
【００２０】
（Ｄ）パケット消失が殆ど発生しない場合は、式（４）に示すように、多重化数と多重化深度を共に減少する。
ｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−１）＋ｆ（ｎ−２）→ｇ（ｎ）＝ｆ（ｎ）＋ｆ（ｎ−１） ・・（４）
【００２１】
【発明が解決しようとする課題】
しかしながら、従来のパケット型音声通信端末では、多重化数や多重化深度の動的制御はできるが、再生における遅延を制御することができない。つまり、そのシステムにおいて、多重化深度を最大Ｍとしたならば、常に受信側では最初の符号化データｆ（ｎ）を受け取ってから、その最初の符号化データｆ（ｎ）含むＭ個分のパケットを受信した後でなければ、符号化データｆ（ｎ）を復号することができず、遅延が固定されてしまう、つまり設計自由度が小さいという問題がある。
【００２２】
図８を参照して説明する。なお、図８は、図７に示す従来のパケット型音声通信端末において実施される多重化数と多重化深度の動的制御を説明する図である。図８において、横軸は時間軸であり、縦軸は多重化するパケットを表しおり、図８（１）の四角内の数字は、フレーム番号を表している。また、図８では、最大深度Ｐ＝４とし、パケット番号ｐ＝０からｐ＝６までが、多重化数＝４、多重化深度＝４となっている。パケット番号ｐ＝７からｐ＝１２までが、多重化数＝２、多重化深度＝２となっている。パケット番号ｐ＝１３からｐ＝２０までが、多重化数＝２、多重化深度＝４となっている。
【００２３】
パケット番号ｐ＝０からｐ＝６までは、パケット番号ｐ＝３の時、フレーム番号３，２，１，０の符号化データがｇ（３）＝ｆ（３）＋ｆ（２）＋ｆ（１）＋ｆ（０）というように多重化されて伝送される。パケット番号ｐ＝０からｐ＝６までは、多重化数が４、多重化深度が４であるので、符号化データｆ（３）を復号するためには、最後の符号化データｆ（３）が受信されるパケット番号ｐ＝６まで待つ必要がある。
【００２４】
次に、パケット番号ｐ＝７からｐ＝１２までは、多重化数が２、多重化深度が２である。符号化データｆ（９）を復号するためには、本来最後の符号化データｆ（９）が受信されるパケット番号ｐ＝１０において復号が可能である。しかしながら、その場合にはそれ以前のフレームを廃棄しなければならず、不自然な再生音声となってしまう。そのため、最大深度Ｐ＝４にしたがってパケット番号ｐ＝１２で符号化データｆ（９）を再生しなければならない。
【００２５】
かりに、最大深度を無視し、送信してきた多重化深度に合わせて復号した場合には、多重化深度が大きくなると、今度はその差分の分だけフレーム補間が必要であるので、この場合も不自然な再生音声となってしまう。
【００２６】
以上のことから、パケットの消失が少なく、回線状態が良好な場合であっても、遅延を少なくすると、回線の劣化に十分に対応できないので、回線が劣化するワーストケースを考慮して遅延を多めに取らなければならない。したがって、上記のように、設計上多重化する一番過去の符号化データによって遅延が決定されるという問題がある。
【００２７】
本発明は、かかる点に鑑みてなされたものであり、回線状態に応じて動的に制御する多重化深度に合わせて、復号する音声の遅延をスムーズに制御することができるパケット型音声通信端末を提供することを目的とする。
【００２８】
【課題を解決するための手段】
本発明のパケット型音声通信端末は、入力音声を分析して有音か無音かを判定する有音無音判定手段と、前記入力音声を前記有音無音判定手段の判定結果に従って符号化する音声符号化手段と、前記音声符号化手段が出力する符号化データを蓄積する送信バッファと、ＩＰ網に送出する多重化した符号化データを前記送信バッファに蓄積された符号化データを用いて生成する多重化手段であって、回線状態と前記有音無音判定手段の判定結果とに従って多重化数と多重化深度を切り替える多重化手段と、を具備する構成を採る。
【００２９】
この構成によれば、送信側において、回線状態に加えて、無音時や有音と無音の切替時に多重化数と多重化深度を変更することができる。
【００３０】
本発明のパケット型音声通信端末は、ＩＰ網から受信されたパケットから取り出された符号化データの多重化数と多重化深度が回線状態の他に有音時と無音時とで切替制御されている場合において、前記多重化数と多重化深度が切替制御されている符号化データを蓄積する受信バッファと、前記受信バッファに蓄積された符号化データから復号化する符号化データを選択するフレーム選択手段であって、前記受信バッファに蓄積された符号化データに含まれている有音無音情報を利用して最適な遅延を与える符号化データを選択するフレーム選択手段と、を具備する構成を採る。
【００３１】
この構成によれば、受信側において、無音期間に多重化数・多重化深度の変化を検知し、有音が始まる際に無音フレームの廃棄、補間を行い、送信側が指定する多重化深度に復号する音声の遅延を合わせることができる。
【００３２】
本発明のパケット型音声通信端末は、ＩＰ網から受信されたパケットから取り出された符号化データの多重化数と多重化深度が回線状態に応じて切替制御されている場合において、前記多重化数と多重化深度が切替制御されている符号化データを蓄積する受信バッファと、復号化する符号化データを選択するフレーム選択手段であって、運用遅延と連続フレーム消失数を使って最適な遅延を与える符号化データを選択するフレーム選択手段と、を具備する構成を採る。
【００３３】
この構成によれば、送信側において、任意のタイミングで多重化数・多重化深度の変更を行っている場合に、受信側では、多重化数・多重化深度の変更を検知し、現在の運用遅延と多重化深度の差以上連続でパケットの受信に失敗した場合に、補間フレームの廃棄・追加を行うことで多重化深度に合わせてスムーズに復号する音声の遅延を制御することができる。
【００３４】
【発明の実施の形態】
本発明の骨子は、回線状態に応じて動的に多重化数と多重化深度を変更制御する場合に、多重化深度に合わせて復号する音声の遅延を制御することにより、パケットの消失が少ないときは、極力遅延を減らすことで通話のインタラクティブ性を高め、また回線状態が悪くパケットが消失しやすい回線状態のときは、遅延を増やすというデメリットを受け入れることでパケット消失によるフレーム補間を回避して復号音声の劣化を抑え、通話内容を極力確実に伝えることができるようにすることである。
【００３５】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００３６】
（実施の形態１）
図１は、本発明の実施の形態１に係るパケット型音声通信端末の構成を示すブロック図である。図１に示すパケット型音声通信端末１０１は、符号化送信部１０２と復号化受信部１１０とを備えている。
【００３７】
符号化送信部１０２は、有音無音判定部１０３と、音声符号化部１０４と、送信バッファ部１０５と、多重化部１０６と、パケット化部１０７と、送信部１０８とを備えている。復号化受信部１１０は、受信部１１１と、パケット展開部１１２と、分離化部１１３と、受信バッファ部１１４と、遅延調整フレーム選択部１１５と、音声復号化部１１６と回線状態分析部１１７とを備えている。
【００３８】
まず、符号化送信部１０２の動作について説明する。マイクロホン等によって入力された音声信号は、Ａ／Ｄ変換され、フレーム単位で有音無音判定部１０３と音声符号化部１０４とに入力される。
【００３９】
有音無音判定部１０３では、例えば、ＬＰＣ（線形予測係数）分析やピッチ分析、振幅の変化等を用いて入力されたフレームが有音フレームか、無音フレームであるかを判定を行い、その判定結果を音声符号化部１０４と多重化部１０６とに出力する。
【００４０】
音声符号化部１０４では、入力されたフレームを、有音無音判定部１０３からの判定結果が無音フレームであれば無音用に符号化を行い、有音無音判定部１０３からの判定結果が有音フレームであれば有音用に符号化を行い、圧縮した符号化データｆ（ｎ）を送信バッファ部１０５に出力する。
【００４１】
符号化データｆ（ｎ）は、送信バッファ部１０５に蓄積される。ここで、多重化深度を最大Ｍとすると、送信バッファ部１０５には、ｆ（ｎ−Ｍ＋１）までの符号化データが蓄積される。但し、前述したように、あるフレームｎの時に送信バッファ部１０５に蓄積されている過去の符号化データｆ（ｎ−１）、ｆ（ｎ−２）、…ｆ（ｎ−Ｍ＋１）は、符号化データの完全なコピーである必要はない。
【００４２】
回線状態通知部１０９は、復号化受信部１１０から例えばパケット消失数等の回線状況を受け取ると、その回線状況を多重化部１０６に通知する。
【００４３】
多重化部１０６は、回線状態通知部１０９から通知されるＩＰ網の劣化具合に関する情報に基づき送信バッファ部１０５に蓄積されている、現フレームの符号化データｆ（ｎ）に対し、ＦＥＣ用のデータとして過去の符号化データを選択して多重化した符号化データｇ（ｎ）を出力する処理を行う。その際に多重化情報も併せて例えばヘッダ情報としてパッキングする。
【００４４】
ここで、前述したように、有音時に単に多重化数や多重化深度を変化させたのでは、伝送帯域の無駄や遅延を大きくさせてしまう。そこで、多重化部１０６では、有音無音判定部１０３からの判定結果に従い、フレームが無音フレームである時もしくは無音フレームから有音フレームになった時に多重化数と多重化深度を変更するようになっている。
【００４５】
パケット化部１０７では、多重化部１０６にて多重化されたデータを例えばＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）にパケット化し、さらにＵＤＰ（Ｕｓｅｒ Ｄｉａｇｒａｍ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）に変換する。このようにＩＰパケット化されたデータは、送信部１０８からＩＰ網に送信される。
【００４６】
次に、復号化受信部１１０の動作について説明する。受信部１１１は、ＩＰ網から関係するＩＰパケットを受信し、パケット展開部１１２に送る。パケット展開部１１２は、受信されたＩＰパケットを展開して多重化された符号化データを取り出し、分離化部１１３に渡す。
【００４７】
分離化部１１３は、パケット展開部１１２から受け取った多重化音声情報を各フレーム毎の符号化データに分離し、受信バッファ部１１４と回線状態分析部１１７とに渡す。なお、復号時間に間に合わないデータ等は、この分離化部１１３にて廃棄される。回線状態分析部１１７は、例えばＲＴＰを用いて消失パケット数等の回線状態を分析し、送信側の回線状態通知部１０９に渡す。
【００４８】
受信バッファ部１１４では、分離化部１１３から受け取った符号化データが蓄積される。遅延調整フレーム選択部１１５は、例えば図２と図３に示す手順で、受信バッファ部１１４に蓄積された符号化データの中から有音フレームと無音フレームの情報を利用して最適な遅延調整フレームの符号化データを選択する。音声復号化部１１６は、遅延調整フレーム選択部１１５から受け取った符号化データを再生し、復号音声を出力する。
【００４９】
図２と図３を参照して、遅延調整フレーム選択部１１５の動作を具体的に説明する。なお、図２は、多重化数と多重化深度がそれぞれ「４」から「２」に減少する場合の動作例を示し、図３は、多重化数と多重化深度がそれぞれ「２」から「４」に増加する場合の動作例を示している。
【００５０】
まず、多重化深度が減少する場合の動作を説明する。図２において、図２（４）：パケット番号ｐは、「０」〜「２３」までが示されている。そのうち、パケット番号ｐ＝０〜ｐ＝９までが、多重化数および多重化深度が４のフレームであり、パケット番号ｐ＝１４〜ｐ＝２３までが、多重化数および多重化深度が２のフレームである。
【００５１】
図２（１）：送信側で生成される各符号化フレームｆ（ｎ）は、識別情報としてフレーム番号の他に、有音フレームであるか無音フレームであるかを示す有音無音情報を持っている。ここでは、符号化フレームｆ（０）からｆ（６）までが有音フレームで、符号化フレームｆ（７）からｆ（１３）までが無音フレームで、符号化フレームｆ（１４）からｆ（２３）までが有音フレームであるとしている。
【００５２】
なお、無音フレームの区間に関しては、音声符号化方式により符号化データを送り続けるものや、無音区間を補間するのに十分な情報を間欠的に送り無音時に全く情報を送らないものもある。図２（１）では、無音情報を送り続けるようにしているが、もちろん間欠的に送るものでも構わない。
【００５３】
図２（２）：受信バッファ１１４には、多重化深度に応じた符号化データｇ（ｎ）が受信蓄積されることが示されている。すなわち、受信バッファ１１４には、パケット番号ｐ＝０〜ｐ＝９まで多重化深度＝４の符号化データｇ（ｎ）が受信蓄積され、パケット番号ｐ＝１０〜ｐ＝１３まで無音フレームのデータが格納され、パケット番号ｐ＝１４以降は、多重化深度＝２の符号化データｇ（ｎ）が受信蓄積される。また、無音時には、多重化していないことが示されている。勿論、有音時の多重化情報のまま多重化していても構わない。
【００５４】
図２（３）：遅延制御フレーム選択部１１５のフレーム選択動作を説明している。すなわち、パケット番号ｐ＝０からｐ＝９までは、多重化深度が４であるので、最低でも４つのフレームを受信しなければ復号することができない。そのため、パケット番号ｐ＝０，１，２では音声を復号せず、パケット番号ｐ＝３で初めて符号化データｆ（０）を全部受信できたため、その中から最も状態のいいものを選択して次の音声復号化部１１６に符号化データｆ（０）を送ることができる。以降パケット番号ｐ＝９で符号化データｆ（６）が再生されるまでは同様に動作する。
【００５５】
パケット番号ｐ＝１０からｐ＝１３までの無音時では、受信した無音フレームを復号したり、もしくは、それ以前に受けたデータを元に補間動作を行う。パケット番号ｐ＝１４からｐ＝２３までは、多重化深度が４から２に減少する。従来例であれば、多重化深度は最高値４に固定しなければならないため、符号化データｆ（１４）を復号するためには、パケット番号ｐ＝１７まで待たなければならなかったが、今の例ではパケット番号ｐ＝１５で受信が完了しているので、パケット番号ｐ＝１５で復号が可能である。
【００５６】
これを実現するためには、従来例ではパケット番号ｐ＝１５で再生するはずだった符号化データｆ（１２）を復号せずに廃棄する必要がある。ところが、この符号化データｆ（１２）は、今の例では無音フレームであるので、復号せずに廃棄しても聴感上の劣化は無い。この例では、多重化深度が４から２へと変化したため、パケット番号ｐ＝１６のときに符号化データｆ（１３）も廃棄され、代わりに有音フレームｆ（１５）が選択される。以後そのままの遅延で復号されていく。
【００５７】
次に、多重化深度が増加する場合の動作を説明する。図３において、図３（４）：パケット番号ｐは、図２（４）と同様に「０」〜「２３」までが示されている。そのうち、パケット番号ｐ＝０〜ｐ＝７までが、多重化数および多重化深度が２のフレームであり、パケット番号ｐ＝１４〜ｐ＝２３までが、多重化数および多重化深度が４のフレームである。図３（１）：符号化フレームｆ（ｎ）は、図２（１）と同内容である。
【００５８】
図３（２）：受信バッファ１１４には、パケット番号ｐ＝０〜ｐ＝７まで多重化深度＝２の符号化データｇ（ｎ）が受信蓄積され、パケット番号ｐ＝８〜ｐ＝１３まで無音フレームのデータが格納され、パケット番号ｐ＝１４以降多重化深度＝４の符号化データｇ（ｎ）が受信蓄積される。
【００５９】
図３（３）：遅延調整フレーム選択部１１５のフレーム選択動作を説明している。すなわち、今度は、パケット番号ｐ＝０〜ｐ＝７までは、多重化深度が２であるので、パケット番号ｐ＝０では復号されず、パケット番号ｐ＝１で符号化データｆ（０）が復号される。以後、パケット番号ｐ＝７のときに符号化データｆ（６）が復号されるまで同様である。パケット番号ｐ＝８からｐ＝１３までは、無音フレームであり、図２（３）と同様の動作を行う。
【００６０】
次のパケット番号ｐ＝１４で多重化深度が２から４に変化する。パケット番号ｐ＝１４では、変化以前の多重化深度２であれば、パケット番号ｐ＝１５で符号化データｆ（１４）が再生されるはずであるが、多重化深度が４であるため、この段階では後２フレーム待たねば符号化データｆ（１４）を受信することができない。
【００６１】
そのため、パケット番号ｐ＝１５、１６では、無音フレームを補間することで多重化深度に遅延を合わせる。このように有音フレームが始まる前に無音フレームを補間してもほとんど劣化を感じることはないため、スムーズに運用遅延を変化させることができる。
【００６２】
以上のように，実施の形態１では、多重化深度をＩＰ網の状態に合わせて過去の符号化データをＦＥＣ用に多重化して伝送するパケット型音声通信端末において、パケット消失対策として、符号化データを多重化して送信する場合に、有音無音情報を利用して多重化数、多重化深度を変更し、受信側で無音から有音へと変化する際に多重化方法に合わせて無音フレームの廃棄、補間を行うことによって復号する音声の遅延を切替制御できるようにしたので、異音を発生することなくスムーズに遅延を切り替えることができる。
【００６３】
これにより、パケット消失が少ない時は低遅延で、パケット消失が多い場合は、多重化深度を深くすることで遅延を増やして即時性を犠牲にしてでも確実に話の内容が伝わるようにするといった幅広い運用ができるようになる。
【００６４】
（実施の形態２）
図４は、本発明の実施の形態２に係るパケット型音声通信端末の構成を示すブロック図である。図４に示すパケット型音声通信端末４０１は、符号化送信部４０２と復号化受信部４０９とを備えている。
【００６５】
符号化送信部４０２は、音声符号化部４０３と、送信バッファ部４０４と、多重化部４０５と、パケット化部４０６と、送信部４０７と、回線状態通知部４０８とを備えている。復号化受信部４０９は、受信部４１０と、パケット展開部４１１と、分離化部４１２と、受信バッファ部４１３と、フレーム選択部４１４と、音声復号化部４１５と回線状態分析部４１６とを備えている。ここで、フレーム選択部４１４は、運用遅延記憶部４１７と、連続フレーム消失カウント部４１８と、遅延制御判定部４１９と、遅延調整フレーム選択部４２０とで構成されている。
【００６６】
まず、符号化送信部４０２の動作について説明する。マイクロホン等によって入力された音声信号は、Ａ／Ｄ変換され、フレーム単位で音声符号化部４０３に入力される。
【００６７】
音声符号化部４０３では、入力されたフレームを符号化し、圧縮した符号化データｆ（ｎ）を送信バッファ部４０４に出力する。符号化データｆ（ｎ）は、送信バッファ部４０４に蓄積される。ここで、多重化深度を最大Ｍとすると、送信バッファ部４０４には、ｆ（ｎ−Ｍ＋１）までの符号化データが蓄積される。但し、前述したように、あるフレームｎの時に送信バッファ部４０４に蓄積されている過去の符号化データｆ（ｎ−１）、ｆ（ｎ−２）、…ｆ（ｎ−Ｍ＋１）は、符号化データの完全なコピーである必要はない。
【００６８】
回線状態通知部４０８は、復号化受信部４０９から例えばパケット消失数等の回線状況を受け取ると、その回線状況を多重化部４０５に通知する。
【００６９】
多重化部４０５は、回線状態通知部４０８から通知されるＩＰ網の劣化具合に関する情報に基づき送信バッファ部４０４に蓄積されている、現フレームの符号化データｆ（ｎ）に対し、ＦＥＣ用のデータとして過去の符号化データを選択して多重化した符号化データｇ（ｎ）を出力する処理を行う。その際に多重化情報も併せて例えばヘッダ情報としてパッキングする。
【００７０】
パケット化部４０６では、多重化部４０５にて多重化されたデータを例えばＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）にパケット化し、さらにＵＤＰ（Ｕｓｅｒ Ｄｉａｇｒａｍ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）に変換する。このようにＩＰパケット化されたデータは、送信部４０７からＩＰ網に送信される。
【００７１】
次に、復号化受信部４０９の動作について説明する。受信部４１０は、ＩＰ網から関係するＩＰパケットを受信し、パケット展開部４１１に送る。パケット展開部４１１は、受信されたＩＰパケットを展開して多重化された符号化データｇ（ｎ）を取り出し、分離化部４１２に渡す。
【００７２】
分離化部４１２は、パケット展開部４１１から受け取った多重化音声情報を各フレーム毎の符号化データに分離し、受信バッファ部４１３と回線状態分析部４１６とに渡す。なお、復号時間に間に合わないデータ等は、この分離化部４１２にて廃棄される。回線状態分析部４１６は、例えばＲＴＰを用いて消失パケット数等の回線状態を分析し、送信側の回線状態通知部４０８に渡す。
【００７３】
受信バッファ部４１３では、分離化部４１２から受け取った符号化データが蓄積される。フレーム選択部４１４は、運用遅延と連続フレーム消失数と使って遅延制御を行い、受信バッファ部４１３に蓄積された符号化データの中から最適な遅延調整フレームの符号化データを選択する。音声復号化部４１５は、フレーム選択部４１４から受け取った符号化データｆ（ｎ）を再生し、復号音声を出力する。
【００７４】
ここで、フレーム選択部４１４では、運用遅延記憶部４１７が、現在運用している遅延を記憶している。但し、この運用遅延は、送信側から送られてくる多重化深度とは必ずしも一致しない。連続フレーム消失カウント部４１８は、運用遅延と多重化深度が違う場合に機能し、受信フレームが連続で何フレーム消失したかをカウントする。このカウント値は、音声復号化部４１５において何フレーム連続フレーム消失補償するかと同値である。遅延制御判定部４１９は、運用遅延、受信フレームの多重化深度及び連続フレーム消失カウントを受取り、フレーム消失が連続で発生した時を利用してスムーズに運用遅延を変更できるように判定を行い、遅延調整フレーム選択部４２０に遅延制御の可否を伝える。遅延調整フレーム選択部４２０は、遅延制御を行うという判定を受けると、フレーム消失補償フレームの廃棄もしくは追加を行ったうえで、運用遅延を多重化深度にあわせるように動作する。
【００７５】
以下、図５と図６を参照して、フレーム選択部４１４の動作を具体的に説明する。なお、図５は、多重化数、多重化深度及び運用遅延がそれぞれ「４」から「２」に減少する場合の動作例を示し、図６は、多重化数、多重化深度及び運用遅延がそれぞれ「２」から「４」に増加する場合の動作例を示している。
【００７６】
まず、運用遅延が減少する場合の動作を説明する。図５において、図５（４）：パケット番号ｐは、「０」〜「２３」までが示されている。そのうち、パケット番号ｐ＝０〜ｐ＝７までが、多重化数、多重化深度及び運用遅延がそれぞれ「４」のフレームであり、パケット番号ｐ＝８〜ｐ＝２３までが、多重化数、多重化深度及び運用遅延が「２」のフレームである。
【００７７】
図５（１）：受信パケットｇ（ｎ）の受信状態（正常に受信できたか消失したかの状態）を示している。図５（１）では、受信パケットｇ（０）からｇ（９）までは正常に受信できたことを示している。受信パケットｇ（１０）からｇ（１３）まではフレーム消失による受信失敗を示している。受信パケットｇ（１４）からｇ（２３）までは正常に受信できたことを示している。
【００７８】
図５（２）：受信バッファ部４１３には、多重化深度に応じた符号化データｇ（ｎ）が受信蓄積されることが示されている。すなわち、受信バッファ部４１３には、パケット番号ｐ＝０〜ｐ＝７まで多重化深度＝４の符号化データｇ（ｎ）が受信蓄積され、パケット番号ｐ＝８以降多重化深度＝２の符号化データｇ（ｎ）が受信蓄積される。
【００７９】
図５（３）：フレーム選択部４１４のフレーム選択動作を説明している。すなわち、最初に受信したフレームの多重化深度で運用遅延を決めるとすると、運用遅延は４となる。従来例であればこのまま運用遅延は変更できない。今の例では、多重化深度が４から２に変更になった後に、パケット番号ｐ＝１０からｐ＝１３のパケットを消失している。従来例であれば、符号化データｆ（１０），ｆ（１１），ｆ（１２）に相当するフレームについて音声復号化部４１５にてフレーム消失補償が行われ、パケット番号ｐ＝１６から符号化データｆ（１３）が運用遅延４のまま再生される。
【００８０】
それに対し、本発明によるフレーム選択部４１４では、次のようにして運用遅延の切り替えを行うようになっている。すなわち、符号化データｆ（１０）からｆ（１２）は、受信できなかったためフレーム消失補償を行う。このとき、多重化深度は２であるので、パケット番号ｐ＝１４の段階で、符号化データｆ（１３）のデータを再生することが可能である。そして、パケット番号ｐ＝１４、１５では、符号化データｆ（１１），ｆ（１２）に相当する補償フレームを廃棄することで、パケット番号ｐ＝１４で符号化データｆ（１３）を復号することが可能となり、以後運用遅延を２に切り替えて運用することができる。この場合、少なくとも、パケット番号ｐ＝１３でフレーム消失補償が行われているので、運用遅延の変更が音質に大きな影響を与えことはない。
【００８１】
但し、連続フレーム消失数が多重化深度の変化数よりも短いと、フレーム廃棄が行われると、フレーム消失補償フレームが間に入らない状態となるので、復号音声は不自然になってしまう。また、間にフレーム消失補償フレームがあったとしても、ある程度以上の長さの補償フレームがあった方が自然に聞こえる可能性があるので、実運用にあたっては、システムに合わせて遅延制御判定部４１９の判定アルゴリズムやパラメータを調整する必要がある。
【００８２】
次に、運用遅延が増加する場合の動作を説明する。図６において、図６（４）：パケット番号ｐは、「０」〜「２３」までが示されている。そのうち、パケット番号ｐ＝０〜ｐ＝７までが、多重化数、多重化深度及び運用遅延がそれぞれ「２」のフレームであり、パケット番号ｐ＝８〜ｐ＝２３までが、多重化数、多重化深度及び運用遅延が「４」のフレームである。
【００８３】
図６（１）：受信パケットｇ（ｎ）の受信状態は、図５（１）と同様に、受信パケットｇ（０）からｇ（９）までは正常に受信できたことを示している。受信パケットｇ（１０）からｇ（１３）まではフレーム消失による受信失敗を示している。受信パケットｇ（１４）からｇ（２３）までは正常に受信できたことを示している。
【００８４】
図６（２）：受信バッファ部４１３には、多重化深度に応じた符号化データｇ（ｎ）が受信蓄積されることが示されている。すなわち、受信バッファ部４１３には、パケット番号ｐ＝０〜ｐ＝７まで多重化深度＝２の符号化データｇ（ｎ）が受信蓄積され、パケット番号ｐ＝８以降多重化深度＝４の符号化データｇ（ｎ）が受信蓄積される。
【００８５】
図６（３）：フレーム選択部４１４のフレーム選択動作を説明している。すなわち、最初に受信したフレームの多重化深度で運用遅延を決めるとすると、運用遅延は２となる。従来例であればこのまま運用遅延は変更できないので、パケット番号ｐ＝８以降では、多重化深度が増えたにもかかわらず、全ての符号化データが到着するのを待つことなく復号を開始している。今の例では、多重化深度が２から４に変更になった後に、パケット番号ｐ＝１０からｐ＝１３のパケットを消失している。従来例であれば、符号化データｆ（１０），ｆ（１１），ｆ（１２）に相当するフレームについて音声復号化部４１５にてフレーム消失補償が行われ、パケット番号ｐ＝１４から符号化データｆ（１３）が運用遅延２のまま再生される。
【００８６】
それに対し、本発明によるフレーム選択部４１４では、次のようにして運用遅延の切り替えを行うようになっている。すなわち、符号化データｆ（１０）に関しては、完全に受信できなかったため、フレーム消失補償しなければならないが、符号化データｆ（１１）、ｆ（１２）に関しては、パケット番号ｐ＝１４で受信できているため運用遅延を４に変更すれば復号が可能である。そこで、パケット番号ｐ＝１２、１３では、符号化データｆ（１１）、ｆ（１２）に相当するフレーム消失補償を行いつつ、パケット番号ｐ＝１４から符号化データｆ（１１）を復号するようにしている。このようにすれば、スムーズに運用遅延を増やすことができる。
【００８７】
以上のように、実施の形態２では，多重化深度をＩＰ網の状態に合わせて過去の符号化データをＦＥＣ用に多重化して伝送するパケット型音声通信端末において、パケット消失対策として、多重化された符号化データを受信する場合に、多重化深度の動的な変化に合わせて運用遅延を、連続フレーム消失期間を利用して切替制御するようにしたので、パケット消失が少ない時は低遅延で、パケット消失が多い場合は、多重化深度を深くすることで遅延を増やして即時性を犠牲にしてでも確実に話の内容が伝わるようにするといった幅広い運用ができるようになる。
【００８８】
【発明の効果】
以上説明したように、本発明によれば、ＩＰ網の状態に合わせて過去の符号化データをＦＥＣ用に多重化して伝送するパケット型音声通信端末において、有音無音情報や連続フレーム消失情報を使用して復号する音声の遅延をスムーズに切り替えることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係るパケット型音声通信端末の構成を示すブロック図
【図２】図１に示す遅延調整フレーム選択部が有音フレームと無音フレームの情報を利用して最適な遅延調整フレームを選択する動作を説明する図（多重化深度が減少する場合）
【図３】図１に示す遅延調整フレーム選択部が有音フレームと無音フレームの情報を利用して最適な遅延調整フレームを選択する動作を説明する図（多重化深度が増加する場合）
【図４】本発明の実施の形態２に係るパケット型音声通信端末の構成を示すブロック図
【図５】図４に示すフレーム選択部が連続フレーム消失を利用して最適な遅延調整フレームを選択する動作を説明する図（運用遅延が減少する場合）
【図６】図４に示すフレーム選択部が連続フレーム消失を利用して最適な遅延調整フレームを選択する動作を説明する図（運用遅延が増加する場合）
【図７】従来のパケット型音声通信端末の構成を示すブロック図
【図８】図７に示す従来のパケット型音声通信端末において実施される多重化数と多重化深度の動的制御を説明する図
【符号の説明】
１０１、４０１ パケット型音声通信端末
１０２、４０２ 符号化送信部
１０３ 有音無音判定部
１０４、４０３ 音声符号化部
１０５、４０４ 送信バッファ部
１０６、４０５ 多重化部
１０７、４０６ パケット化部
１０８、４０７ 送信部
１０９、４０８ 回線状態通知部
１１０、４０９ 復号化受信部
１１１、４１０ 受信部
１１２、４１１ パケット展開部
１１３、４１２ 分離化部
１１４、４１３ 受信バッファ部
１１５ 遅延調整フレーム選択部
１１６、４１５ 音声復号化部
１１７、４１６ 回線状態分析部
４１４ フレーム選択部
４１７ 運用遅延記憶部
４１８ 連続フレーム消失カウント部
４１９ 遅延制御判定部
４２０ 遅延調整フレーム選択部
Claims (3)
- 入力音声を分析して有音か無音かを判定する有音無音判定手段と、前記入力音声を前記有音無音判定手段の判定結果に従って符号化する音声符号化手段と、前記音声符号化手段が出力する符号化データを蓄積する送信バッファと、ＩＰ網に送出する多重化した符号化データを前記送信バッファに蓄積された符号化データを用いて生成する多重化手段であって、回線状態と前記有音無音判定手段の判定結果とに従って多重化数と多重化深度を切り替える多重化手段と、を具備することを特徴とするパケット型音声通信端末。
- ＩＰ網から受信されたパケットから取り出された符号化データの多重化数と多重化深度が回線状態の他に有音時と無音時とで切替制御されている場合において、前記多重化数と多重化深度が切替制御されている符号化データを蓄積する受信バッファと、前記受信バッファに蓄積された符号化データから復号化する符号化データを選択するフレーム選択手段であって、前記受信バッファに蓄積された符号化データに含まれている有音無音情報を利用して最適な遅延を与える符号化データを選択するフレーム選択手段と、を具備することを特徴とするパケット型音声通信端末。
- ＩＰ網から受信されたパケットから取り出された符号化データの多重化数と多重化深度が回線状態に応じて切替制御されている場合において、前記多重化数と多重化深度が切替制御されている符号化データを蓄積する受信バッファと、復号化する符号化データを選択するフレーム選択手段であって、運用遅延と連続フレーム消失数を使って最適な遅延を与える符号化データを選択するフレーム選択手段と、を具備することを特徴とするパケット型音声通信端末。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002240821A JP4050961B2 (ja) | 2002-08-21 | 2002-08-21 | パケット型音声通信端末 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002240821A JP4050961B2 (ja) | 2002-08-21 | 2002-08-21 | パケット型音声通信端末 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004080625A true JP2004080625A (ja) | 2004-03-11 |
| JP4050961B2 JP4050961B2 (ja) | 2008-02-20 |
Family
ID=32023505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002240821A Expired - Fee Related JP4050961B2 (ja) | 2002-08-21 | 2002-08-21 | パケット型音声通信端末 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4050961B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005109401A1 (ja) * | 2004-05-10 | 2005-11-17 | Nippon Telegraph And Telephone Corporation | 音響信号のパケット通信方法、送信方法、受信方法、これらの装置およびプログラム |
| JP2007114471A (ja) * | 2005-10-20 | 2007-05-10 | Nec Corp | 通話音声録音装置及びプログラム |
| US7711554B2 (en) | 2004-05-11 | 2010-05-04 | Nippon Telegraph And Telephone Corporation | Sound packet transmitting method, sound packet transmitting apparatus, sound packet transmitting program, and recording medium in which that program has been recorded |
| WO2010150767A1 (ja) * | 2009-06-23 | 2010-12-29 | 日本電信電話株式会社 | 符号化方法、復号方法、それらの方法を用いた装置、プログラム |
| US7881284B2 (en) | 2006-03-10 | 2011-02-01 | Industrial Technology Research Institute | Method and apparatus for dynamically adjusting the playout delay of audio signals |
-
2002
- 2002-08-21 JP JP2002240821A patent/JP4050961B2/ja not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005109401A1 (ja) * | 2004-05-10 | 2005-11-17 | Nippon Telegraph And Telephone Corporation | 音響信号のパケット通信方法、送信方法、受信方法、これらの装置およびプログラム |
| EP1746580A1 (en) * | 2004-05-10 | 2007-01-24 | Nippon Telegraph and Telephone Corporation | Acoustic signal packet communication method, transmission method, reception method, and device and program thereof |
| EP1746580A4 (en) * | 2004-05-10 | 2008-05-28 | Nippon Telegraph & Telephone | ACOUSTIC SIGNAL PACKET COMMUNICATION METHOD, TRANSMISSION METHOD, RECEIVING METHOD, AND DEVICE AND PROGRAM THEREOF |
| US8320391B2 (en) | 2004-05-10 | 2012-11-27 | Nippon Telegraph And Telephone Corporation | Acoustic signal packet communication method, transmission method, reception method, and device and program thereof |
| US7711554B2 (en) | 2004-05-11 | 2010-05-04 | Nippon Telegraph And Telephone Corporation | Sound packet transmitting method, sound packet transmitting apparatus, sound packet transmitting program, and recording medium in which that program has been recorded |
| JP2007114471A (ja) * | 2005-10-20 | 2007-05-10 | Nec Corp | 通話音声録音装置及びプログラム |
| US7881284B2 (en) | 2006-03-10 | 2011-02-01 | Industrial Technology Research Institute | Method and apparatus for dynamically adjusting the playout delay of audio signals |
| WO2010150767A1 (ja) * | 2009-06-23 | 2010-12-29 | 日本電信電話株式会社 | 符号化方法、復号方法、それらの方法を用いた装置、プログラム |
| JP5400880B2 (ja) * | 2009-06-23 | 2014-01-29 | 日本電信電話株式会社 | 符号化方法、復号方法、それらの方法を用いた装置、プログラム、記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4050961B2 (ja) | 2008-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4367657B2 (ja) | 音声通信方法及び装置 | |
| JP4426454B2 (ja) | 通信リンク間の遅延トレードオフ | |
| US7680099B2 (en) | Jitter buffer adjustment | |
| JP4504429B2 (ja) | 端末間のボイスオーバインターネットプロトコルのメディアの待ち時間を管理する方法および装置 | |
| JP5442771B2 (ja) | 通信システムにおけるデータ送信方法 | |
| US7283585B2 (en) | Multiple data rate communication system | |
| EP1696628A2 (en) | A system and method for modifying speech playout to compensate for transmission delay jitter in a voice over Internet Protocol (VolP) network | |
| EP1845691B1 (en) | Media stream relay device and method | |
| US8457182B2 (en) | Multiple data rate communication system | |
| JP3734946B2 (ja) | データ送出装置、データ受信装置及びデータ伝送装置 | |
| JP2009076952A (ja) | Ｔｖ会議装置およびｔｖ会議方法 | |
| JPWO2005122455A1 (ja) | 双方向通信方法と装置、システムならびにプログラム | |
| JP4050961B2 (ja) | パケット型音声通信端末 | |
| US7606330B2 (en) | Dual-rate single band communication system | |
| JP4218456B2 (ja) | 通話装置、通話方法及び通話システム | |
| JP4400571B2 (ja) | 異種通信網間接続における符号化データの処理方法及びゲートウェイ装置 | |
| JP4454255B2 (ja) | 音声／ｆａｘ通信システム、音声／ｆａｘ受信装置および揺らぎ吸収バッファ量制御方法 | |
| JP2005045739A (ja) | 通話装置、通話方法及び通話システム | |
| JP2001308919A (ja) | 通信装置 | |
| JP2004194232A (ja) | パケット通信装置 | |
| JP2005045740A (ja) | 通話装置、通話方法及び通話システム | |
| JP2005321548A (ja) | 音声ストリーム再生装置及び音声ストリーム再生方法 | |
| JP2005151082A (ja) | 音声データ通信装置および音声データ伝送システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050704 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070424 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070622 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071130 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |