JP2005233993A

JP2005233993A - 音声伝送システム

Info

Publication number: JP2005233993A
Application number: JP2004039372A
Authority: JP
Inventors: Koji Yamazaki; 晃司山崎; Takeshi Miyahara; 毅宮原
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-02-17
Filing date: 2004-02-17
Publication date: 2005-09-02

Abstract

【課題】伝送経路で音声パケットのロスが発生しても音声品質低下を抑えることができる音声伝送システムを提供する。
【解決手段】送信するデータの処理単位であるペイロードをパケット構成する前に各パケットに分散して構成し、誤り訂正データをそのデータに対して作成し、誤り訂正パケットとして付加する。その構成としては、１パケットを構成するペイロードの個数Ｎ（２以上の整数）、最大バースト欠落耐性値Ｐ（２以上の整数）及びデータ補正ブロックに対応するパケットの個数Ｑ（２以上の整数）からＰ・Ｑ個のパケットになるが、このとき元のデータがそれぞれのパケットに分散させるように並べ替える。さらに欠落補正パケットとしてＰ個のパケットを構成し、これはパケットでＱ個分のうち１個の欠落を訂正できるパケットである。また、ここで構成されたパケットが伝送路上で失われたことが検出できるように、これらのパケットに通し番号を付加する。
【選択図】図１

Description

本発明は、ネットワークを介してデジタル音声パケットの送受信を行う音声伝送システムに関する。

従来、パケットスイッチングネットワークを使用した音声伝送が行われている。音声伝送にパケットスイッチングネットワークを使用する場合、ネットワーク自体の信頼性が必ずしも完全ではないため、伝送路上でデータの欠落が発生すると、それが音声の欠落につながって聞き苦しい音声となってしまう。この欠点を解決するための方法として、常にインタリーブすることによって、伝送路上での欠落に対する復元を行う方法が提案されている（特許文献１参照）。

また、欠落したパケットに含まれていた音声を推定する方法として、音声パケットを一時的に記憶しておいて、その記憶しておいた音声パケットからデータブロックナンバーを検出することで欠落した音声パケットを検出し、欠落した音声パケットの１つ前の音声パケットを基に欠落した音声パケットの補間データを生成する方法が提案されている（特許文献２参照）。

特開２００３−８７２２５号公報（第８頁、第９頁、図１）特開平８−２５６１３１号公報（第７頁〜第９頁、図１）

しかしながら、従来のパケットスイッチングネットワークを使用した音声伝送システムにおける音声パケット欠落対策においては、次のような問題がある。即ち、特許文献１で開示されたデータ転送方法においては、連続したデータ補正に際してその長さに限界がある。また、音声データの場合には完全な復元でなくともある程度の復元ですむ場合もあり、復元不能になった場合に欠落のあった付近のデータ一帯が欠落した状態となって何も対策を施さない場合よりも状態が悪化することがある。

また、特許文献２で開示された音声パケット補間装置においては、未来から過去の予測をするため、遅延の発生がある。また、推定に必要なクロック位相情報をパケット中で送らなければならず、そのための手段が必要となる。

本発明は、かかる点に鑑みてなされたものであり、伝送経路で音声パケットのロスが発生しても音声品質低下を抑えることができる音声伝送システムを提供することを目的とする。

本発明の音声送信装置は、デジタル化された音声データを所定の音声ファイル形式で符号化し、符号化したサンプル値を所定数まとめてペイロードを生成し、このペイロードを１単位とするデータ列を出力する音声符号化手段と、１パケットを構成するペイロードの個数Ｎ（２以上の整数）、最大バースト欠落耐性値Ｐ（２以上の整数）及びデータ補正ブロックに対応するパケットの個数Ｑ（２以上の整数）からＰ・Ｑ個のパケットを構成する過程において各パケットにペイロードを分散させる並べ替えを行う並べ替え手段と、前記並べ替え手段にてデータの並べ替えが行われたＰ・Ｑ個のパケットからＰ個の欠落訂正パケットを生成する欠落パケット生成手段と、前記データの並べ替えが行われたＰ・Ｑ個のパケットに通し番号を付加してネットワークに伝送するためのパケットを構成するパケット構成手段と、を備えている。

この構成によれば、パケットの欠落を補正する欠落補正パケットとして、訂正能力の限界を超えて音声データの欠落が発生した場合でも、受信後の欠落音声の推定方法に適した構成になるようにしたので、実効的な欠落耐性の向上が図れ、音声品質低下を抑えることができる。

本発明の音声送信装置は、前記並べ替え手段が、１番目のパケットを１，Ｑ・Ｐ＋１，２・Ｑ・Ｐ＋１，…，（Ｎ−１）・Ｑ・Ｐ＋１番目のデータ、２番目のパケットを２，Ｑ・Ｐ＋２，２・Ｑ・Ｐ＋２，…，（Ｎ−１）・Ｑ・Ｐ＋２番目のデータ、Ｐ番目のパケットをＰ，Ｑ・Ｐ＋Ｐ，２・Ｑ・Ｐ＋Ｐ，…，（Ｎ−１）・Ｑ・Ｐ＋Ｐ番目のデータ、Ｑ・Ｐ番目のパケットをＱ・Ｐ，２・Ｑ・Ｐ，３・Ｑ・Ｐ，…，Ｎ・Ｑ・Ｐ番目のデータとするデータ構造を持つものを含み、前記欠落パケット生成手段が、誤り訂正１番目の欠落補正パケットに１番目のデータとして、１，Ｐ＋１，２・Ｐ＋１，…，（Ｑ−１）・Ｐ＋１番目のデータのパリティ、誤り訂正１番目の欠落補正パケットに２番目のデータとして、Ｑ・Ｐ＋１，Ｑ・Ｐ＋Ｐ＋１，…，（２・Ｑ−１）・Ｐ＋１番目のデータのパリティ、・・・誤り訂正２番目の欠落補正パケットに１番目のデータとして、２，Ｐ＋２，２・Ｐ＋２，…，（Ｑ−１）・Ｐ＋２番目のデータのパリティ、誤り訂正２番目の欠落補正パケットに２番目のデータとして、Ｑ・Ｐ＋２，Ｑ・Ｐ＋Ｐ＋２，…，（２・Ｑ−１）・Ｐ＋２番目のデータのパリティ・・・というデータ構造を持つものを含む。

本発明の音声受信装置は、ネットワーク上のパケットを受信し音声データと欠落補正データを区別して受信するパケット受信手段と、前記パケット受信手段で受信された音声データのパケットの通し番号を使用して、欠落部を検出する欠落検出手段と、前記欠落部の欠落位置と前記欠落補正データとを用いて欠落補正を行う欠落補正手段と、前記欠落補正された音声データのパケットを含む前記パケット受信手段で受信された音声データの各パケットを構成データの並べ替えを元の状態に復元する並べ替え復元手段と、元の並び順に復元された音声データをサンプル値に戻す音声復号化手段と、前記欠落補正手段による欠落補正が行われなかった欠落部を推定する推定補正手段と、を備えている。

この構成によれば、音声を送信する装置側で並べ替えられたデータを本来のデータ順に並べ替え、復号化した後に、欠落音声推定にて欠落部を補正するので、実効的な欠落耐性の向上が図れ、音声品質低下を抑えることができる。

本発明の音声受信装置は、前記推定補正手段が、過去のサンプルデータを記憶する記憶手段と、最終サンプル値に近いサンプル値を検索する検索手段と、過去のサンプルデータの一部を音声データと置き換えるデータ置き換え手段と、連続欠落を検出して１以下の値を掛ける乗算手段と、推定データの一部と実データの一部を連続的に接続する接続手段と、を備えている。

本発明の音声伝送システムは、前述した本発明の音声送信装置のいずれかと、前述した本発明の音声受信装置のいずれかと、を備えている。

この構成によれば、伝送経路で音声パケットのロスが発生しても音声品質低下を抑えることができる音声伝送システムを提供することができる。

本発明の音声送信方法は、送信するデータの処理単位であるペイロードをパケット構成する前に、１パケットを構成するペイロードの個数Ｎ（２以上の整数）、最大バースト欠落耐性値Ｐ（２以上の整数）及びデータ補正ブロックに対応するパケットの個数Ｑ（２以上の整数）からＰ・Ｑ個のパケット構成過程において各パケットにペイロードを分散させる並べ替えを行う並べ替えステップと、前記並べ替えステップにより得られたＰ・Ｑ個のパケットから欠落補正データを作成して欠落補正パケットとして付加してパケットを構成するパケット構成ステップと、構成した各パケットが伝送路上で失われたことを検出できるようにこれらのパケットに通し番号を付加する通し番号付加ステップと、を備えている。

この方法によれば、パケットの欠落を補正する欠落補正パケットとして、訂正能力の限界を超えて音声データの欠落が発生した場合でも、受信後の欠落音声の推定方法に適した構成になるようにしたので、実効的な欠落耐性の向上が図れ、音声品質低下を抑えることができる。

本発明の音声受信方法は、受信したパケットを音声データと欠落補正データに区別し、音声データのパケットの通し番号を確認する確認ステップと、欠落を検出できた場合には前記欠落補正データを使用して欠落部を補正し、前記補正データをもってしても欠落部をすべて補正できなかった音声データについては、残った欠落部の位置を欠落情報として保持し、正常な音声データ、欠落補正した音声データ、欠落補正が不能な音声データを元のデータ順に並べ替え、復号化した後に欠落音声推定にて欠落部を補正する補正ステップと、この補正に際して推定データと非欠落データの結合部をクロスフェードにて不連続にならないように処理する処理ステップと、を備えている。

この方法によれば、音声を送信する装置側で並べ替えられたデータを本来のデータ順に並べ替え、復号化した後に、欠落音声推定にて欠落部を補正するので、実効的な欠落耐性の向上が図れ、音声品質低下を抑えることができる。

本発明によれば、パケットスイッチングネットワークで音声をパケット化して伝送する音声伝送システムにおいて、伝送経路でパケットロスが発生しても音声品質低下を抑えることができる。

以下、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。図１は、本発明の一実施の形態に係る音声伝送システムの構成を示すブロック図である。

この一実施の形態の音声伝送システムは、音声送信装置１００と音声受信装置２００とを備えて構成される。以下、音声送信装置１００、音声受信装置２００の順で説明する。

〔音声送信装置１００の構成〕
音声送信装置１００は、Ａ／Ｄ処理部１０１と、コーデック部１０２と、並べ替え処理部１０３と、メモリ１０４と、欠落補正データ発生部１０５と、パケット構成部１０６とを備えている。Ａ／Ｄ処理部１０１は、マイク等の音声入力装置１０から入力されたアナログ音声信号をデジタル変換してコーデック部１０２に入力する。

コーデック部１０２は、入力されたデジタル音声信号に対して符号化（サブバンドＡＤＰＣＭ、ＭＰＥＧ２−ＡＡＣ、ＭＰ３など）し、その符号をまとめてペイロードと呼ばれる単位にする。このまとめるサイズは特に規定はしていないが、具体的な例として、２４ｋＨｚのサンプリング周波数を使用し、サブバンドＡＤＰＣＭ（Adaptive Differential Pulse Code Modulation）符号化し、１サンプル４ビット時、２５６〜５１２サンプルのまとまりでペイロードとすると、その時間は１０〜２０ｍｓ、データ長は１２８〜２５６バイトとなる。

次にパケットサイズを規定する。まずパケット自体のオーバーヘッドを減らすために、ペイロードを幾つかまとめてパケットとなるサイズを決める。例えばパケット中のデータを１０２４バイトとすると、ペイロード長２５６バイトのときは４個分をまとめることができる。この値を「Ｎ」とする。次に、ともに「２」以上の整数ＰとＱを定める。この場合、「Ｐ」は完全回復限界値となる最大バースト欠落耐性値、「Ｑ」はデータ補正ブロックの対応するパケットの個数とする。

並べ替え処理部１０３は、Ｎ・Ｐ・Ｑ個のペイロードをひとまとまりとして、連続したペイロードが異なるパケットになるように分散させる。並べ替え処理部１０３はこの処理においてメモリ１０４を用いる。欠落補正データ発生部１０５は、欠落したパケット（以下欠落パケット）を補正するための欠落補正パケットを生成する。生成する欠落補正パケットは、Ｑ個のうち１個の、通し番号（以下で説明）との対応関係を持ち、欠落パケットを修正できるように生成する。欠落補正パケットの例としては、送信側がパケット生成の際にＱ個の対象となるパケットのパリティをとることで実現できる。この方法で欠落部がわかれば、残りのデータとこの補正パケットで再度パリティ計算することで、欠落したデータを復旧することができる。

パケット構成部１０６は、並べ替え処理部１０３で並べ替えられたパケットから音声データパケットを生成する。この際、音声データパケットには通し番号を付加し、音声データパケットの中のいずれかが欠落した場合に欠落部分を識別できるようにしている。以上の通し番号を付加した音声データと、欠落補正パケットをそれぞれネットワーク１１へ送信する。なお、通し番号生成には、ＲＴＰ（Real-time Transport Protocol）のシーケンス番号を利用して受信側で検出する。また、音声パケットと欠落補正パケットはＵＤＰ（User Datagram Protocol）パケットで構成され、これらの区別には、ポート番号を変えることで対応している。

ここで、図２を用いて並べ替え処理と欠落補正データ発生処理の具体例を説明する。図２は、Ｎ＝５、Ｐ＝４、Ｑ＝２の例である。コーデック部１０２（図１参照）から出力されるオリジナルのデータ列（ストリーム）は、「ペイロード」という単位長で構成される（実際にはペイロード長は１２８〜５１２バイトである）。この図に向かって左側の四角の枠が、各ペイロードの順序番号を示しており、データに相当するものである。１，２，３，…の順にデータが出てくる。

変換手順の第１ステップとして、Ｐ・Ｑ個（この場合は４・２＝８である）のペイロードで一種のインタリーブを行って並び替えを行う。これが、この図に向かって右側の上から８段の各ブロックになる。なお、この１段分（５個のペイロード分）が１パケットになる。ここまでが並べ替え処理部１０３の処理である。

並べ替え処理部１０３で得られた８段分のパケットに欠落補正データが付加される。この例では、Ｐ個即ち４個のパケットが付加される。その中身は、図２に向かって右側の縦の列、Ｐ間隔でＱ個のペイロードのパリティを取ることで生成される。

例えば、ペイロード長が１６ビットで中身が、
「１」：「１０００１０００１０００１０００」
「２」：「１１００１１００１１００１１００」
「３」：「１１１０１１１０１１１０１１１０」
「４」：「１１１１１１１１１１１１１１１１」
「５」：「１０１０１０１０１０１０１０１０」
「６」：「１１１０１１１０１１１０１１１０」
「７」：「１００１１００１１００１１００１」
「８」：「０１０００１０００１０００１００」
のとき、
Ｐ１，５は「００１０００１０００１０００１０」
Ｐ２，６は「００１０００１０００１０００１０」
Ｐ３，７は「０１１１０１１１０１１１０１１１」
Ｐ４，８は「１０１１１０１１１０１１１０１１」
となる。このようにして欠落補正データが生成される。

図３は、音声送信装置１００の処理を示すフローチャートである。まず音声入力を行い（ステップＳ３０１）、次いでデジタル変換を行う（ステップＳ３０２）。そして、データの入れ替えを行い（ステップＳ３０３）、さらに連番付加処理を行う（ステップＳ３０４）。その後、欠落補正データを生成して（ステップＳ３０５）、パケットを構成するパケット化処理を行う（ステップＳ３０６）。そして、構成したパケットをネットワーク１１へ出力する（ステップＳ３０７）。

〔音声受信装置２００の構成〕
図１において、音声受信装置２００は、パケット受信部２０１と、欠落検出部２０２と、欠落補正部２０３と、並べ替え復元部２０４と、メモリ２０５と、コーデック部２０６と、推定補正部２０７と、Ｄ／Ａ処理部２０８とを備えている。パケット受信部２０１は、ネットワーク１１からパケットを受け取り、音声パケットと欠落補正パケットに分ける。欠落検出部２０２は、音声パケットについて通し番号の欠落を検出し、欠落パケットの位置を確定する。

欠落補正部２０３は、パケット受信部２０１で欠落補正パケットが受信された場合、その欠落補正パケットが対象としているパケットが全て揃っている場合は何もしない。対象パケットのうち１つのみが欠落している場合には、その欠落パケットを補正して入れ替える。２つ以上が欠落している場合は補正することはできないので、欠落情報をそのままにする。また、欠落補正パケットが欠落する場合もあるが、この場合も何もしない。

並べ替え復元部２０４は、パケットをほどいてペイロード単位の連続したデータに変換する。このときに欠落した部分に関してもその欠落情報は保持し、どこのペイロードが欠落しているかを保ったままのデータとする。並べ替え復元部２０４はこの処理を行うに際してメモリ２０５を用いる。コーデック部２０６は、並べ替え復元部２０４で復元されたデータを復号する。この際、欠落している部分については、復号した時点ではまだ無音となったままである。推定補正部２０７は、欠落情報に基づき、欠落箇所に対して推定補間を行う。

推定補間方法は、欠落位置からそれ以前の複数のデータを元に補間し、欠落データと入れ替える。推定補正部２０７は、図示せぬ、過去のサンプルデータを記憶する記憶手段と、最終サンプル値に近いサンプル値を検索する検索手段と、過去のサンプルデータの一部を音声データと置き換えるデータ置き換え手段と、連続欠落を検出して１以下の値を掛ける乗算手段と、推定データの一部と実データの一部を連続的に接続する接続手段とを備える。

これらの手段により、予め欠落の発生がなく再生している間にそれまでのサンプルデータを保持しておいて、欠落発生時に、ある失われそうな長さ(ペイロード長)＋クロスフェード長以前で、最後にとぎれた部分の値と比較して、その部分に近い値となっているサンプルを検索し、そこからペイロード長分を欠落した部分と置き換える。また、補間後データが復旧した部分と不連続になるのを防ぐため、復旧後幾らかのサンプル数は補間データと本来のデータをクロスフェード（以下で説明する）する。この実施の形態では６４サンプルとしているが、この値は他の条件によって変動する。また、連続して欠落した場合には２回目以降は出力に対して０．７倍すなわち３ｄＢから０．５倍すなわち６ｄＢの間で一定率で音量を下げる。

この処置は、本装置を使用する実ネットワークである専用線の傾向的特徴として、パケットロスの発生するときは単独であるか、ある程度（例えば１００ｍｓ程度）まとめて欠落するかのいずれかという傾向がある。前者に対しては上記欠落補正パケットの効果があるが、後者の場合に本方式の効果がある。この場合、上記欠落補正パケットだけでは対応しきれないので、この推定補間が用いられる。

また、保持するデータ量は、４０９６サンプル(約１７０ｍｓ)としているが、これは実際のネットワークにて発生するバーストロスが１００ｍｓとみていることによる。なお、近い値を検索するには、ずれがある閾値を定めそれ以下の値の場所とし、その値がない場合ずれが最小の値の場所と識別する。

また、ここでは推定単位長をペイロード長としているが、データ変換方式を変更することによって、複数ペイロードがまとめて失われる可能性が事前にわかっている場合には、推定単位長に複数ペイロード長を指定してもよい。ただし、この場合失われたペイロード長が想定長より短い場合には推定品質の低下の原因となるので、この値は欠落の起こる単位長とする。

２ペイロード分以上が連続して失われた時には、この置き換え処理を繰り返し行い、最後のみクロスフェードで接続するが、この場合クロスフェードの前に２ペイロード目以降の振幅を低くしてもよい。本実施の形態では、７０％〜５０％の間を選択的に使用している。これは、連続してロスが発生する場合には、２つのみならずそれ以上のロスが発生する可能性があるため、補正の限界となる前に音量を小さくすることによって雑音の発生を抑制することが目的である。不自然に大きい欠落が１００ｍｓとすると、ペイロード長が２５６サンプルのとき、約１０ペイロード、ペイロード長が５１２サンプルのとき約５ペイロードとなり、それぞれの場合で、最終時点で略無音化できるレベルとなる。上述したクロスフェードとは、音声の接合部を重ね合わせ、徐々に重み付けを線形に変えて接続することによって連続的にすることである。

ここで、図４〜図８を用いて上記した欠落補正処理と逆並べ替え処理を具体的に説明する。図４及び図５は、Ｐ＝４、Ｑ＝２で補正を行う例である。これらの図において、１つの長い四角がパケットを意味する。図４が実際に送られて来るパケットであり、１〜１２の「音声パケット」と、Ｐ１，５，９、Ｐ２，６，１０、Ｐ３，７，１１、Ｐ４，８，１２の４個の「欠落補正データ」とが送られてきた場合を想定している。これらのうち、５〜９のパケットが欠落した場合を考える。データを処理して行く際に、Ｐ・（Ｑ＋１）個のパケット単位で処理することになるが、連番確認により５〜９が欠落していることが判定される。

次に、欠落している番号それぞれについて「補正」可能であるかどうかを判定する。「５」のパケットについては、欠落補正データが「１」，「５」，「９」からなっているので、「９」のパケットが存在しないことにより補正不能と判断する。「６」のパケットについては、欠落補正データが「２」，「６」，「１０」からなっているので、「２」と「１０」のパケットが全て存在することにより補正可能と判断する。同様に「７」と「８」についても補正可能と判断し、「９」については補正不能と判断する。したがって、「６」，「７」，「８」については補正を行い、欠落状態のままのものは「５」と「９」になる。次に、逆並べ替え処理でデータを本来通りの順序に戻すことになるが、５番目のペイロードと、９番目のペイロード、１７番目のペイロード、２１番目のペイロードが失われた状態になる。この失われたペイロードに対して欠落推定を行う。

図６は、推定対象が１つの場合（即ち連続していない場合）である。欠落直線の値を、推定単位幅＋クロスフェード幅で、近い値になっている部分を検索する。つまり、推定した部分が連続的になるような場所を探すことである。欠落した部分は、そのまま上記の切り出し部分のものを用いるが、欠落が回復した後、不連続になるのを防ぐためにクロスフェード接続を行う。この幅は予め決めておく。ここで、クロスフェード接続とは、接続の両側で連続になるようにするためのものであり、クロスフェード部の先頭は補正部が１００％、最後は元々のデータが１００％になるようにして、その間のそれぞれの割合は線形にしている。

次に、図７及び図８は連続した推定を行う場合である。基本的には上述した図６のものと同様であるが、連続した２つ目以降はそれぞれ推定したものの、振幅に１以下の値を掛けて振幅を縮小する。実際は０．７〜０．５の間の値を掛けている。

〔欠落補正処理手順〕
次に、図９〜図１１に示すフローチャートを参照して音声受信装置２００における欠落補正処理の手順について説明する。なお、説明上必要な場合には図１を参照する。

ネットワーク１１からパケットを受信し（ステップＳ９０１）、受信したパケットの種類が音声データか欠落補正データであるかを判定する（ステップＳ９０２）。この判定処理において、受信したパケットが音声データであれば、それをバッファ（図示略）に追加し（ステップＳ９０３）、連番に欠番があるかどうかを確認する（ステップＳ９０４）。一方、欠落補正データである場合はその補正対象としている音声データが既に処理済みであるかどうかを判定し（ステップＳ９０５）、処理済みであればその欠落補正データは不要であるので破棄する（ステップＳ９０６）。これに対して未処理であれば、欠落補正データ用バッファ（図示略）に追加する（ステップＳ９０７）。

ステップＳ９０４の処理において、連番に欠落が検出された場合又はステップＳ９０７の処理において欠落補正データをバッファに追加した場合は、現有バッファの内容で欠落補正が可能な範囲であるかどうかを判定する（ステップＳ９０８）。現有バッファの内容で欠落補正が可能であれば補正処理を行う（ステップＳ９０９）。ステップＳ９０４の処理で欠落が無かった場合又はステップＳ９０９で補正処理を行った場合、ステップＳ９１０で再生処理を行う。

〔再生処理手順〕
図１０は、上記再生処理の手順を示すフローチャートである。この再生処理では、変換された音声データを復元し、ペイロード単位で処理する。

まず、再生すべきデータの読み出しを行う（ステップＳ１００１）。このとき、該当データが存在するかどうかを判定し（ステップＳ１００２）、存在する場合は圧縮解除（即ち復号化）する（ステップＳ１００３）。そして、その内容を履歴バッファ（図示略）に追加する（ステップＳ１００５）。一方、読み出しデータが存在しなかった場合には推定処理を行う（ステップＳ１００４）。履歴バッファへの追加後はＤ／Ａ変換（ステップＳ１００６）を行い、音声出力する（ステップＳ１００７）。

〔推定処理手順〕
図１１は、上記推定処理の手順を示すフローチャートである。まず、履歴バッファから直前の有効なデータの最終の値に近い値の音声サンプルを検索する（ステップＳ１１０１）。次に、推定すべき幅であるペイロード長に接続部の幅を加えた大きさで切り出す（ステップＳ１１０２）。そして、推定結果を欠落部分と入れ替える（ステップＳ１１０３）。さらに次の部分も欠落しているかどうかを調べ（ステップＳ１１０４）、そうであるならば履歴バッファに「１」以下の値を掛け（ステップＳ１１０５）、再度ステップＳ１１０２からの処理を繰り返す。欠落が続かないのであれば、ステップＳ１１０６で非欠落部分とクロスフェード接続して推定処理を完了する。

このように、本実施の形態に係る音声伝送システムによれば、音声送信装置１００では、送信するデータの処理単位であるペイロードをパケット構成する前に各パケットに分散して構成し、さらにそれらのパケットから欠落補正訂正データを作成し、欠落補正パケットとして付加する。その構成として、１パケットを構成するペイロードの個数Ｎ（２以上の整数）、最大バースト欠落耐性値Ｐ（２以上の整数）及びデータ補正ブロックに対応するパケットの個数Ｑ（２以上の整数）からＰ・Ｑ個のパケットになるのであるが、このとき元のデータがそれぞれのパケットに分散させるように並べ替える。さらに、欠落補正パケットとしてＰ個のパケットを構成し、これはパケットでＱ個分のうち１個の欠落を訂正できるパケットである。また、ここで構成されたパケットが伝送路上で失われたことが検出できるように、これらのパケットに通し番号を付加する。

一方、音声受信装置２００では、受信したパケットを音声データと欠落補正データに区別し、音声データのパケットの通し番号を確認し、欠落を検出できた場合には欠落補正データを使用して欠落部を補正し、欠落補正データをもってしても欠落部をすべて補正できなかった音声データについては、残った欠落部の位置を欠落情報として保持し、正常な音声データ、欠落補正した音声データ、欠落補正が不能な音声データを元のデータ順に並べ替え、復号化した後に欠落音声推定にて欠落部を補正し、さらに、この補正に際して推定データと非欠落データの結合部をクロスフェードにて不連続にならないように処理する。

このような構成を採ることで、パケットの欠落を補正する欠落補正パケットとして、訂正能力の限界を超えて音声データの欠落が発生した場合でも、音声受信装置２００側で、欠落音声推定にて欠落部を補正するので、実効的な欠落耐性の向上が図れ、音声品質低下を抑えることができる。

なお、上記実施の形態の音声送信装置１００におけるデータ入れ替え処理、連番付加処理、欠落補正データ生成処理は、専用のハードウェアで構成しても良いし、ＣＰＵを用いてソフトウェア的に行うようにしても良い。因みに、図１２は、データ入れ替え処理、連番付加処理及び欠落補正データ生成処理をＣＰＵ１１０で行うようにした場合の構成例である。ＣＰＵ１１０は、プログラムメモリ１１１に記憶されたプログラムに従い、作業用メモリ１１２を使用しながら上記各処理を行う。なお、パケット化処理はネットワークＩ／Ｆ（インタフェース）部１１３で行われる。

また、上記実施の形態の音声受信装置２００における欠落補正処理と逆並べ替え処理は、専用のハードウェアで構成しても良いし、ＣＰＵを用いてソフトウェア的に行うようにしても良い。因みに、図１３は、欠落補正処理と逆並べ替え処理をＣＰＵ２１１で行うようにした場合の構成例である。この図において、ネットワークＩ／Ｆ部２１０は、ネットワーク１１からパケットを受け取り、その種類を識別する。ＣＰＵ２１１は、プログラムメモリ２１２に書き込まれている制御プログラムに従い、ネットワークＩ／Ｆ部２１０からパケット及びパケットの種類を取り込み、それらを作業用メモリ２１３に展開して欠落補正を行い、その結果をＣＰＵ２１４に渡す。

ＣＰＵ２１４は、プログラムメモリ２１５に書き込まれている制御プログラムに従い、ＣＰＵ２１１から受け取ったデータをコーデック部２１６で復号化させ、作業用メモリ２１７に展開して推定補正を行った上で、Ｄ／Ａ処理部２１８に渡してアナログ変換させる。Ｄ／Ａ変換部２１８からのアナログ音声信号がスピーカ等の音声出力装置１２に入力される。

また、上記実施の形態では、全ての機能が有効な場合であるが、使用するネットワークの品質によっては、欠落補正データと、並べ替えとを選択的に使用しないという形態をとることもできる。例えば、図１４は、欠落補正を行わない音声伝送システムの構成を示すブロック図である。なお、この図において、前述した図１と共通する部分には同一の符号を付けている。この図に示すように、欠落補正を行わない分、ネットワーク上の要求帯域が減少し、最低限のコストでネットワークを確保することもでき、ネットワークの有効利用が可能となる。また、ネットワークの品質が低い場合であっても、パケットロス発生で副次的な被害を防ぐこともできる。そしてさらに、欠落補正を行わないことから、欠落補正データ発生部１０５と、欠落補正部２０３がそれぞれ不要になり、その分、コストダウンが図れる。

また、図１５は、並べ替え処理を行わない音声伝送システムの構成を示すブロック図である。なお、この図において、前述した図１と共通する部分には同一の符号を付けている。この図に示すように、並べ替え処理を行わない分、並べ替え処理のための並べ替え処理部１０３及びメモリ１０４と、並べ替えを復元するための並べ替え復元部２０４及びメモリ２０５がそれぞれ不要になり、その分、コストダウンが図れる。

本発明は、伝送経路でパケットロスが発生しても音声品質低下を抑えることができるといった効果を有し、パケットスイッチングネットワークを使用した音声伝送を行う用途に適用可能である。

本発明の一実施の形態に係る音声伝送システムの構成を示すブロック図図１の音声送信装置における並べ替え処理を説明するための図図１の音声送信装置の処理を示すフローチャート図１の音声送信装置における欠落補正データ生成処理を説明するための図図１の音声送信装置における欠落補正データ生成処理を説明するための図図１の音声受信装置における推定補間処理の具体例であり、パケットロスが１回だけ発生した場合を示す図図１の音声受信装置における推定補間処理の具体例であり、パケットロスが連続して発生した場合を示す図図１の音声受信装置における推定補間処理の具体例であり、パケットロスが連続して発生した場合を示す図図１の音声受信装置における欠落補正処理の手順を示すフローチャート図１の音声受信装置における再生処理の手順を示すフローチャート図１の音声受信装置における推定処理の手順を示すフローチャート図１の音声送信装置をＣＰＵで実現した一例の構成を示すブロック図図１の音声受信装置をＣＰＵで実現した一例の構成を示すブロック図図１の音声伝送システムの応用例を示すブロック図図１４とは異なる図１の音声伝送システムの応用例を示すブロック図

符号の説明

１０音声入力装置
１１ネットワーク
１２音声出力装置
１００、１００Ａ、１００Ｂ音声送信装置
１０１Ａ／Ｄ処理部
１０２コーデック部
１０３並べ替え処理部
１０４メモリ
１０５欠落補正データ発生部
１０６パケット構成部
２００、２００Ａ、２００Ｂ音声受信装置
２０１パケット受信部
２０２欠落検出部
２０３欠落補正部
２０４並べ替え復元部
２０５メモリ
２０６コーデック部
２０７推定補正部
２０８Ｄ／Ａ処理部

Claims

デジタル化された音声データを所定の音声ファイル形式で符号化し、符号化したサンプル値を所定数まとめてペイロードを生成し、このペイロードを１単位とするデータ列を出力する音声符号化手段と、
１パケットを構成するペイロードの個数Ｎ（２以上の整数）、最大バースト欠落耐性値Ｐ（２以上の整数）及びデータ補正ブロックに対応するパケットの個数Ｑ（２以上の整数）からＰ・Ｑ個のパケットを構成する過程において各パケットにペイロードを分散させる並べ替えを行う並べ替え手段と、
前記並べ替え手段にてデータの並べ替えが行われたＰ・Ｑ個のパケットからＰ個の欠落訂正パケットを生成する欠落パケット生成手段と、
前記データの並べ替えが行われたＰ・Ｑ個のパケットに通し番号を付加してネットワークに伝送するためのパケットを構成するパケット構成手段と、
を備えた音声送信装置。
前記並べ替え手段は、
１番目のパケットを１，Ｑ・Ｐ＋１，２・Ｑ・Ｐ＋１，…，（Ｎ−１）・Ｑ・Ｐ＋１番目のデータ、
２番目のパケットを２，Ｑ・Ｐ＋２，２・Ｑ・Ｐ＋２，…，（Ｎ−１）・Ｑ・Ｐ＋２番目のデータ、
Ｐ番目のパケットをＰ，Ｑ・Ｐ＋Ｐ，２・Ｑ・Ｐ＋Ｐ，…，（Ｎ−１）・Ｑ・Ｐ＋Ｐ番目のデータ、
Ｑ・Ｐ番目のパケットをＱ・Ｐ，２・Ｑ・Ｐ，３・Ｑ・Ｐ，…，Ｎ・Ｑ・Ｐ番目のデータ
とするデータ構造を持ち、
前記欠落パケット生成手段は、
誤り訂正１番目の欠落補正パケットに１番目のデータとして、１，Ｐ＋１，２・Ｐ＋１，…，（Ｑ−１）・Ｐ＋１番目のデータのパリティ、
誤り訂正１番目の欠落補正パケットに２番目のデータとして、Ｑ・Ｐ＋１，Ｑ・Ｐ＋Ｐ＋１，…，（２・Ｑ−１）・Ｐ＋１番目のデータのパリティ、
・・・
誤り訂正２番目の欠落補正パケットに１番目のデータとして、２，Ｐ＋２，２・Ｐ＋２，…，（Ｑ−１）・Ｐ＋２番目のデータのパリティ、
誤り訂正２番目の欠落補正パケットに２番目のデータとして、Ｑ・Ｐ＋２，Ｑ・Ｐ＋Ｐ＋２，…，（２・Ｑ−１）・Ｐ＋２番目のデータのパリティ
・・・
というデータ構造を持つ請求項１に記載の音声送信装置。
ネットワーク上のパケットを受信し音声データと欠落補正データを区別して受信するパケット受信手段と、
前記パケット受信手段で受信された音声データのパケットの通し番号を使用して、欠落部を検出する欠落検出手段と、
前記欠落部の欠落位置と前記欠落補正データとを用いて欠落補正を行う欠落補正手段と、
前記欠落補正された音声データのパケットを含む前記パケット受信手段で受信された音声データの各パケットを構成データの並べ替えを元の状態に復元する並べ替え復元手段と、
元の並び順に復元された音声データをサンプル値に戻す音声復号化手段と、
前記欠落補正手段による欠落補正が行われなかった欠落部を推定する推定補正手段と、
を備えた音声受信装置。
前記推定補正手段は、
過去のサンプルデータを記憶する記憶手段と、
最終サンプル値に近いサンプル値を検索する検索手段と、
過去のサンプルデータの一部を音声データと置き換えるデータ置き換え手段と、
連続欠落を検出して１以下の値を掛ける乗算手段と、
推定データの一部と実データの一部を連続的に接続する接続手段と、
を備えた請求項３に記載の音声受信装置。
請求項１又は請求項２に記載の音声送信装置と、請求項３又は請求項４に記載の音声受信装置と、を備えた音声伝送システム。
送信するデータの処理単位であるペイロードをパケット構成する前に、１パケットを構成するペイロードの個数Ｎ（２以上の整数）、最大バースト欠落耐性値Ｐ（２以上の整数）及びデータ補正ブロックに対応するパケットの個数Ｑ（２以上の整数）からＰ・Ｑ個のパケット構成過程において各パケットにペイロードを分散させる並べ替えを行う並べ替えステップと、
前記並べ替えステップにより得られたＰ・Ｑ個のパケットから欠落補正データを作成して欠落補正パケットとして付加してパケットを構成するパケット構成ステップと、
構成した各パケットが伝送路上で失われたことを検出できるようにこれらのパケットに通し番号を付加する通し番号付加ステップと、
を備えた音声送信方法。
受信したパケットを音声データと欠落補正データに区別し、音声データのパケットの通し番号を確認する確認ステップと、
欠落を検出できた場合には前記欠落補正データを使用して欠落部を補正し、前記補正データをもってしても欠落部をすべて補正できなかった音声データについては、残った欠落部の位置を欠落情報として保持し、正常な音声データ、欠落補正した音声データ、欠落補正が不能な音声データを元のデータ順に並べ替え、復号化した後に欠落音声推定にて欠落部を補正する補正ステップと、
この補正に際して推定データと非欠落データの結合部をクロスフェードにて不連続にならないように処理する処理ステップと、
を備えた音声受信方法。