JP2003316670A - エラー隠蔽方法、エラー隠蔽プログラム及びエラー隠蔽装置 - Google Patents

Abstract

(57)【要約】 【課題】 送信側と受信側のハイブリッド手法を採用
し、ステガノグラフィ技術を用いた補助情報を埋め込み
伝送することで、ＶｏＩＰにおけるパケットの消失や遅
延等のエラーを隠蔽する。 【解決手段】 それぞれのパケットごとに、エラー隠蔽
のための補助情報を計算し、これを直後の隣接するパケ
ットに埋め込む（Ｓ１０５〜S１１５）。最下位ビット
置換法により、８ビットで表現される音声データの最下
位ビットに補助情報を埋め込む。あるパケットが消失す
る等のエラーが生じた場合であっても、直後のパケット
から補助情報を取り出すことで、エラー隠蔽処理を行う
ことができる。さらに、振幅情報を補助情報に埋め込む
ことで、波形補間の際のエコー感に対処する（S１０７
〜S１１５）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、エラー隠蔽方法、
エラー隠蔽プログラム及びエラー隠蔽装置に係り、特
に、ステガノグラフィを用いたＶｏＩＰ（Voice Over
Internet Protocol）におけるパケット消失又は遅延
等のエラーを除去するためのエラー隠蔽方法、エラー隠
蔽プログラム及びエラー隠蔽装置に関する。

【０００２】

【従来の技術】従来の電話サービスが距離や時間に比例
した通話料金体系になっていることに対して、定額制の
ＩＰネットワーク網を利用するＶｏＩＰは、特に国際電
話のような長距離通話の場合、より安い通話料金を実現
できるため、近年急速に実用化が進んでいる（文献７参
照）。図１４に、ＶｏＩＰによる音声通話とデータ通信
の統合の背景についての説明図を示す。

【０００３】ＶｏＩＰ普及の背景には、ＩＰネットワー
ク網のブロードバンド化に伴い、データ通信のトラフィ
ックが音声通話のそれを上回りつつあるという事情があ
る。図示のように、２０００年にはデータ通信のトラフ
ィックが音声通話のそれを上回り、２００３年には１：
４の割合になると電気通信審議会では予想している（文
献３，８参照）。ＩＰネットワーク網によって伝送され
る大量のテキストや画像データと同時に、ＶｏＩＰによ
るリアルタイムの音声通話を可能とすることでマルチメ
ディアを駆使したコミュニケーションが可能となり、コ
ールセンター等において新たなサービスを提供すること
ができるようになると期待されている（文献１７参
照）。つぎに、ＶｏＩＰによる音声通話について説明す
る。図１５に、ＶｏＩＰにおける音声通話の手順の説明
図を示す。

【０００４】ＶｏＩＰは、図のような手順で音声通話を
実現する（文献７参照）。すなわち、送信側では、アナ
ログ音声をＡＤ変換し、ディジタル化した音声データに
対して圧縮処理をおこなう。次に、圧縮音声データをペ
イロードに搭載したＩＰパケットを一定時間ごとに作成
し、ＩＰネットワーク網により受信側に伝送する。ＩＰ
ネットワーク網では、ルータを適宜介してデータが宛先
の装置へ伝送される。受信側では、ＩＰパケットの分解
（デパケット）、圧縮音声データの伸張、ＤＡ変換によ
りアナログ音声を再生する。つぎに、図１６及び図１７
に、ＶｏＩＰにおけるＩＰデータグラムの構造について
の説明図（１）及び（２）を示す。

【０００５】ＶｏＩＰではＩＰネットワーク網を利用し
て音声通話を実現するが、パケットの消失や遅延といっ
たエラーが生じても当該パケットの再送を行わないリア
ルタイム通信を実現するため、図１６に示すように、ト
ランスポート層のプロトコルとしてＵＤＰ（User Datag
ram Protocol）を使用する。さらにパケットを順序どお
りに処理するために必要なタイムスタンプを伝送するた
めにセッション層のプロトコルとしてＲＴＰ（Real Tim
e Protocol）プロトコルを使用する。このようなＩＰデ
ータグラムにおけるペイロードには図１７のように圧縮
音声データが格納されることになるが、ＶｏＩＰでは様
々な音声圧縮フォーマットに対応しており、代表的なコ
ーデックとしてＩＴＵ（International Telecommunicat
ion Union）勧告のＧ．７１１、Ｇ．７２３、Ｇ．７２
９が使用される（文献５，１６参照）。なお、圧縮音声
データの標準的なフレーム長は２０ｍｓとされている。

【０００６】

【発明が解決しようとする課題】近年、ＩＰネットワー
ク網を利用して音声通話を実現するＶｏＩＰ（Voice ov
er IP）が注目を集めており、次世代の電話サービスと
して期待されているが、ＶｏＩＰは本来リアルタイム通
信に不向きなベストエフォート型のパケット通信により
音声通話を実現するため、パケットの消失や遅延といっ
たエラーが通話品質を低下させる場合があるという原理
的な課題を抱えている（文献７，８，１２参照）。こう
したエラーが生じると、受信側で再生される音声が途切
れるため、ＶｏＩＰによる音声通話を実現するにあたっ
ては一定時間のうちに確実にパケットが受信されるよう
にネットワークを整備する必要がある（文献１８参
照）。また、エラーが生じてもできるだけ通話品質の低
下を抑制するための対策を講じておくことも必要であ
る。通常、非リアルタイム通信ではパケットが消失した
場合、当該パケットを再送することでエラーに対応する
が、リアルタイム性が要求されるＶｏＩＰではパケット
を再送する時間的余裕はないため、他の方法でエラーを
隠蔽する必要がある。

【０００７】本発明では、以上の点に鑑み、送信側（se
nder-based）および受信側（receiver-based）のエラー
隠蔽手法をハイブリッド化することでより効果的にエラ
ー隠蔽を行う方法を提供することを目的とする。例え
ば、本発明では、データ隠蔽技術として近年注目を集め
ているステガノグラフィ技術を用いた補助情報の伝送を
採用している。

【０００８】従来の送信側のエラー隠蔽手法では、音声
データ以外に別途エラー隠蔽のための補助情報を伝送す
ることになるため伝送量が増加してしまい、できるだけ
伝送量を抑えたいリアルタイム通信を実現する上で不利
であった。また、従来の受信側のエラー隠蔽手法では、
正常に受信された音声データのみから補助情報を推定し
てエラー隠蔽処理を行うため、その精度が十分ではなか
った。

【０００９】本発明はＶｏＩＰ方式によって音声通信を
行うシステムに適用でき、ＶｏＩＰの原理的な課題であ
るパケットの消失や遅延等といったエラーによる通話品
質の低下を抑制できるエラー隠蔽方法、エラー隠蔽プロ
グラム及びエラー隠蔽装置を提供することを目的とす
る。また、通常、送信側のエラー隠蔽手法では補助情報
の伝送により全体の伝送量が増加してしまうという課題
があるが、本発明は、送信側のエラー隠蔽手法でありな
がら補助情報を別途伝送する必要をなくし、より効果的
にエラー隠蔽を行うことを目的とする。

【００１０】さらに、従来でも位置情報だけであれば、
本発明よりも性能は劣るとはいえ、受信側において得る
ことが可能であるが、振幅情報は受信側で推定すること
が非常に困難である。もし、振幅情報が適切でないと、
音声の開始部や終了部でのエラーが起きた場合、エコー
感がつくような補間処理がなされてしまうという課題が
これまでにも指摘されている。そこで、本発明は、あら
かじめ送信側でフレーム単位の振幅情報を抽出した後、
これを補助情報として受信側に伝送することで、こうし
た課題にも対処し、補完処理（隠蔽処理）によるエコー
感を排除することを目的とする。

【００１１】

【課題を解決するための手段】上述のようなエラーの隠
蔽に関して、これまでにも様々な方法が提案されてい
る。大別すると、送信側でエラー隠蔽に関する対策を行
う方法と、受信側でエラー隠蔽に関する対策を行う方法
の２種類がある。両者はこれまで個々に研究されてきた
が、本発明では両者のハイブリッド化によって効果的に
エラー隠蔽を行う方法を提供する。

【００１２】本発明では、送信側で類似の音声データの
位置を検出して、その位置情報ｎを補助情報として埋め
込む処理を実行する。このように、送信側においてあら
かじめ置換に用いる音声データを検出しておくと、受信
側で推定するよりも正確な置換が可能になる。従来の波
形置換法（ＷＳ（Waveform Substitution）法）は、あ
くまでも受信側における方法であるが、本発明は、特に
補助情報を送信してこれを利用する点で異なり、この意
味では、送信側の方法の要素を兼ね備えた手法であると
いえる。

【００１３】後述のように、位置情報ｎは相互相関関数
Ｃ（ｎ）の最大値を与える位置であるが、本発明では、
これを送信側で計算する。従来ではこれを受信側で推定
するが、送信側ではパケット消失以前の全ての音声デー
タが使えるため、位置情報ｎの正確さが受信側よりも向
上する。

【００１４】また、本発明では、一例として、データ隠
蔽技術として近年注目を集めているステガノグラフィ技
術を用いた補助情報の伝送を採用している（文献１１，
１３参照）。すなわち、送信側は、得られた位置情報ｎ
を聴覚的には問題のないレベルで音声データとミキシン
グして伝送する。これがステガノグラフィ処理である。
受信側では、まず音声データと位置情報ｎとを分離し、
もしパケットが消失していたら、直前のパケットから得
られた位置情報ｎを利用して音声データの置換個所を取
り出し置換処理を行う。

【００１５】なお、実施の形態では、一例として、音声
データは８ｂｉｔ量子化されたものを想定しているが、
本実施の形態では６ビットで表現される位置情報ｎを、
音声データの最下位の１ｂｉｔにそのまま書き込んでい
る。聴覚的には最下位ｂｉｔが多少変更してもまったく
違いがわからないので、本発明のようなデータ伝送に利
用することができる。これがステガノグラフィ、あるい
は用途は異なるが、電子透かし技術の本質であって、こ
れまでの音声通信ではこうしたステガノグラフィを積極
的に利用するという発想はなかったが、特に、ＶｏＩＰ
のように伝送時に細かいパケットに分割して伝送するよ
うなシステムの場合、なんらかのエラー対策が必要とな
り、そのために必要な補助情報の伝送量をできるだけ少
なく抑えることができると、リアルタイム通信には大変
好都合である。

【００１６】したがって、音声データと補助情報を分離
して伝送するよりも、両者をまとめて伝送するといった
技術がこれからいろいろと提案される可能性がある。本
実施の形態は、あくまでもエラー対策のための補助情報
の埋め込みに留まっているが、目的に応じて、テキスト
によるチャットや画像通信など、補助情報のかわりに別
のデータを埋め込むことも可能である。

【００１７】さらに、本発明では、振幅情報も送信側で
計算し、これを受信側に伝送するようにしてもよい。一
般に、音声波形の開始部分や終了部分では、波形置換法
によりエコー感が生じるという課題があるが、本発明で
は、あらかじめ送信側でフレーム単位の振幅情報を抽出
した後、これを補助情報として受信側に伝送することで
対処している。通常の送信側のエラー隠蔽手法では、こ
うした補助情報を別途伝送することでエラー隠蔽を行う
が、伝送量の増加を伴う伝送フォーマットの変更が必要
となり汎用性を欠く。本発明では音声データに別のデー
タを知覚できないようにして埋め込むステガノグラフィ
を適用することで、通話品質をほぼ同等に保ちつつ音声
データと同時に補助情報の伝送を行う方法について検討
した（文献２参照）。

【００１８】本発明の第１の解決手段によると、送信装
置で、データの欠損又は遅延を含むエラーを隠蔽するた
めの補助情報を音声データに埋め込み送信し、受信装置
で、受信した音声データに埋め込まれた補助情報に従い
該エラーを隠蔽するためのエラー隠蔽方法であって、前
記送信装置において、送信すべき音声データを伝送フレ
ームに分割し、且つ、各フレームを複数のサブフレーム
に分割するステップと、第１のフレーム中の各サブフレ
ームと予め定められたサーチ範囲における音声データと
の相互相関を計算し、相関度の高い音声データである置
換波形の位置情報を含む補助情報を各サブフレーム毎に
得るステップと、第１のフレーム中の複数のサブフレー
ムについての補助情報をその後の第２のフレームの音声
データに、知覚されない又は知覚されにくいように埋め
込むステップと、埋め込まれた音声データをフレーム毎
にパケット化して伝送するステップと、を含む処理を実
行するエラー隠蔽方法が提供される。

【００１９】本発明の第２の解決手段によると、送信装
置で、データの欠損又は遅延を含むエラーを隠蔽するた
めの補助情報を音声データに埋め込み送信し、受信装置
で、受信した音声データに埋め込まれた補助情報に従い
該エラーを隠蔽するためのエラー隠蔽方法であって、前
記受信装置において、送信側で補助情報が知覚されない
又は知覚されにくいように埋め込まれた音声データか
ら、埋め込まれた補助情報を抽出するステップと、音声
データを監視し、第１のフレームの音声データに損失又
は遅延を含むエラーがあるか否か判定するステップと、
エラーがあると判定される場合、第１のフレームの後に
受信した第２のフレームの補助情報を用いて、第１のフ
レーム中の各サブフレームについて、エラーの音声デー
タと相関度の高い置換波形を生成し、生成された複数の
置換波形を第１のフレームに組み込み、複数のサブフレ
ーム及び隣接するフレームの音声データを連結するステ
ップと、一方、前記判定するステップでエラーがあると
判定されない場合、隣接するフレームの音声データを連
結するステップと、連結された音声データにより音声を
再生して出力するステップとを含む処理を実行するエラ
ー隠蔽方法が提供される。

【００２０】本発明の第３の解決手段によると、送信装
置で、データの欠損又は遅延を含むエラーを隠蔽するた
めの補助情報を音声データに埋め込み送信し、受信装置
で、受信した音声データに埋め込まれた補助情報に従い
該エラーを隠蔽するためのエラー隠蔽方法であって、前
記送信装置において、送信すべき音声データを伝送フレ
ームに分割し、且つ、各フレームを複数のサブフレーム
に分割するステップと、第１のフレーム中の各サブフレ
ームと予め定められたサーチ範囲における音声データと
の相互相関を計算し、相関度の高い音声データである置
換波形の位置情報を含む補助情報を各サブフレーム毎に
得るステップと、第１のフレーム中の複数のサブフレー
ムについての補助情報をその後の第２のフレームの音声
データに、知覚されない又は知覚されにくいように埋め
込むステップと、埋め込まれた音声データをフレーム毎
にパケット化して伝送するステップと、を含む処理を実
行し、前記受信装置において、送信側で補助情報が知覚
されない又は知覚されにくいように埋め込まれた音声デ
ータから、埋め込まれた補助情報を抽出するステップ
と、音声データを監視し、第１のフレームの音声データ
に損失又は遅延を含むエラーがあるか否か判定するステ
ップと、エラーがあると判定される場合、第１のフレー
ムの後に受信した第２のフレームの補助情報を用いて、
第１のフレーム中の各サブフレームについて、エラーの
音声データと相関度の高い置換波形を生成し、生成され
た複数の置換波形を第１のフレームに組み込み、複数の
サブフレーム及び隣接するフレームの音声データを連結
するステップと、一方、前記判定するステップでエラー
があると判定されない場合、隣接するフレームの音声デ
ータを連結するステップと、連結された音声データによ
り音声を再生して出力するステップとを含む処理を実行
するエラー隠蔽方法が提供される。

【００２１】本発明の第４の解決手段によると、送信処
理部で、データの欠損又は遅延を含むエラーを隠蔽する
ための補助情報を音声データに埋め込み送信し、受信処
理部で、受信した音声データに埋め込まれた補助情報に
従い該エラーを隠蔽するためのエラー隠蔽プログラムで
あって、前記送信処理部に、送信すべき音声データを伝
送フレームに分割し、且つ、各フレームを複数のサブフ
レームに分割するステップと、第１のフレーム中の各サ
ブフレームと予め定められたサーチ範囲における音声デ
ータとの相互相関を計算し、相関度の高い音声データで
ある置換波形の位置情報を含む補助情報を各サブフレー
ム毎に得るステップと、第１のフレーム中の複数のサブ
フレームについての補助情報をその後の第２のフレーム
の音声データに、知覚されない又は知覚されにくいよう
に埋め込むステップと、埋め込まれた音声データをフレ
ーム毎にパケット化して伝送するステップと、を含む処
理を実行させ、前記受信処理部に、送信側で補助情報が
知覚されない又は知覚されにくいように埋め込まれた音
声データから、埋め込まれた補助情報を抽出するステッ
プと、音声データを監視し、第１のフレームの音声デー
タに損失又は遅延を含むエラーがあるか否か判定するス
テップと、エラーがあると判定される場合、第１のフレ
ームの後に受信した第２のフレームの補助情報を用い
て、第１のフレーム中の各サブフレームについて、エラ
ーの音声データと相関度の高い置換波形を生成し、生成
された複数の置換波形を第１のフレームに組み込み、複
数のサブフレーム及び隣接するフレームの音声データを
連結するステップと、一方、前記判定するステップでエ
ラーがあると判定されない場合、隣接するフレームの音
声データを連結するステップと、連結された音声データ
により音声を再生して出力するステップとを含む処理を
実行させるためのエラー隠蔽プログラムが提供される。

【００２２】本発明の第５の解決手段によると、送信装
置が、データの欠損又は遅延を含むエラーを隠蔽するた
めの補助情報を音声データに埋め込み送信し、受信装置
が、受信した音声データに埋め込まれた補助情報に従い
該エラーを隠蔽するためのエラー隠蔽装置であって、前
記送信装置は、入力された音声を音声データに変換する
Ａ／Ｄ変換部と、前記Ａ／Ｄ変換部からの音声データ
に、エラー隠蔽のための補助情報を隠蔽処理により埋め
込むための送信処理部と、前記送信処理部からの音声デ
ータをパケット化して出力するパケット部とを備え、前
記送信処理部は、前記Ａ／Ｄ変換部からの送信すべき音
声データを伝送フレームに分割し、且つ、各フレームを
複数のサブフレームに分割する手段と、第１のフレーム
中の各サブフレームと予め定められたサーチ範囲におけ
る音声データとの相互相関を計算し、相関度の高い音声
データである置換波形の位置情報を含む補助情報を各サ
ブフレーム毎に得る手段と、第１のフレーム中の複数の
サブフレームについての補助情報をその後の第２のフレ
ームの音声データに、知覚されない又は知覚されにくい
ように埋め込む手段と、埋め込まれた音声データをフレ
ーム毎にパケット化して伝送する手段とを有する前記エ
ラー隠蔽装置が提供される。

【０００２３】本発明の第６の解決手段によると、送信
装置が、データの欠損又は遅延を含むエラーを隠蔽する
ための補助情報を音声データに埋め込み送信し、受信装
置が、受信した音声データに埋め込まれた補助情報に従
い該エラーを隠蔽するためのエラー隠蔽装置であって、
前記受信装置は、パケットを受信し、デパケット化して
音声データを取得するデパケット部と、前記デパケット
部からの音声データに埋め込まれたエラー隠蔽のための
補助情報を抽出するための受信処理部と、前記受信処理
部からの音声データを再生して音声を出力するＤ／Ａ変
換部とを備え、前記受信処理部は、前記デパケット部か
ら受信した、送信側で補助情報が知覚されない又は知覚
されにくいように埋め込まれた音声データから、埋め込
まれた補助情報を抽出する手段と、音声データを監視
し、第１のフレームの音声データに損失又は遅延を含む
エラーがあるか否か判定する手段と、エラーがあると判
定される場合、第１のフレームの後に受信した第２のフ
レームの補助情報を用いて、第１のフレーム中の各サブ
フレームについて、エラーの音声データと相関度の高い
置換波形を生成し、生成された複数の置換波形を第１の
フレームに組み込み、複数のサブフレーム及び隣接する
フレームの音声データを連結する手段と、一方、前記判
定する手段でエラーがあると判定されない場合、隣接す
るフレームの音声データを連結する手段と、連結された
音声データにより音声を再生して出力する手段とを有す
る前記エラー隠蔽装置が提供される。

【００２４】本発明の第７の解決手段によると、送信装
置が、データの欠損又は遅延を含むエラーを隠蔽するた
めの補助情報を音声データに埋め込み送信し、受信装置
が、受信した音声データに埋め込まれた補助情報に従い
該エラーを隠蔽するためのエラー隠蔽装置であって、前
記送信装置は、入力された音声を音声データに変換する
Ａ／Ｄ変換部と、前記Ａ／Ｄ変換部からの音声データ
に、エラー隠蔽のための補助情報を隠蔽処理により埋め
込むための送信処理部と、前記送信処理部からの音声デ
ータをパケット化して出力するパケット部とを備え、前
記送信処理部は、さらに、前記Ａ／Ｄ変換部からの送信
すべき音声データを伝送フレームに分割し、且つ、各フ
レームを複数のサブフレームに分割する手段と、第１の
フレーム中の各サブフレームと予め定められたサーチ範
囲における音声データとの相互相関を計算し、相関度の
高い音声データである置換波形の位置情報を含む補助情
報を各サブフレーム毎に得る手段と、第１のフレーム中
の複数のサブフレームについての補助情報をその後の第
２のフレームの音声データに、知覚されない又は知覚さ
れにくいように埋め込む手段と、埋め込まれた音声デー
タをフレーム毎にパケット化して伝送する手段とを有
し、前記受信装置は、パケットを受信し、デパケット化
して音声データを取得するデパケット部と、前記デパケ
ット部からの音声データに埋め込まれたエラー隠蔽のた
めの補助情報を抽出するための受信処理部と、前記受信
処理部からの音声データを再生して音声を出力するＤ／
Ａ変換部とを備え、前記受信処理部は、さらに、前記デ
パケット部から受信した、送信側で補助情報が知覚され
ない又は知覚されにくいように埋め込まれた音声データ
から、埋め込まれた補助情報を抽出する手段と、音声デ
ータを監視し、第１のフレームの音声データに損失又は
遅延を含むエラーがあるか否か判定する手段と、エラー
があると判定される場合、第１のフレームの後に受信し
た第２のフレームの補助情報を用いて、第１のフレーム
中の各サブフレームについて、エラーの音声データと相
関度の高い置換波形を生成し、生成された複数の置換波
形を第１のフレームに組み込み、複数のサブフレーム及
び隣接するフレームの音声データを連結する手段と、一
方、前記判定する手段でエラーがあると判定されない場
合、隣接するフレームの音声データを連結する手段と、
連結された音声データにより音声を再生して出力する手
段とを有する前記エラー隠蔽装置が提供される。

【００２５】

【発明の実施の形態】１．能動的・受動的なエラー隠蔽
手法 ＶｏＩＰはパケットの消失、欠損、遅延等といったエラ
ーが通話品質を低下させるという原理的な課題を抱えて
いるため、これまでにもエラーを隠蔽する方法が種々提
案されてきている（文献７，８参照）。これまでに提案
された手法は、送信側の方法と受信側の方法の２種類に
大別できる（文献１４参照）。それぞれ、送信側あるい
は受信側のみでエラー隠蔽に関する対策を行う。

【００２６】１．１ 送信側のエラー隠蔽手法 図１に、送信側のエラー隠蔽手法の説明図を示す。図に
示すように、送信側のエラー隠蔽手法はアクティブな方
法（能動的方法）とパッシブな方法（受動的方法）の２
種類に分類できる。アクティブな方法としてはパケット
の再送が挙げられる。しかしながら、この方法はリアル
タイム通信にとっては実用的ではない。パッシブな方法
としては、一つのパケットに格納されるはずの圧縮音声
データをインターリーブにより複数のパケットに分散し
て伝送する方法や、エラー隠蔽のための補助情報を別途
伝送する、あらかじめエラーを想定したエラー訂正の方
法（Forward Error Correction）がある。そのなかで、
例えば伝送するデータの特性によらない方法（Media In
dependentな方法）は、エラー訂正符号をエンコードし
たパケットを伝送することでエラー隠蔽を行う。この方
法はペイロードに格納されるデータの性質によらず適用
できるという利点がある。一方、伝送するデータの特性
に基いた方法（Media Specificな方法）はペイロードに
格納されるデータの性質を利用する。音声データを扱う
ＶｏＩＰの場合、ペイロードに格納される圧縮音声デー
タよりもさらに圧縮率を高くした圧縮音声データを他の
パケットのペイロードに格納しておくことで、エラーが
生じた際の当該パケットにおける音声データの復元に利
用している。

【００２７】１．２ 受信側のエラー隠蔽手法 図２に、受信側のエラー隠蔽手法の説明図を示す。この
図はＶｏＩＰにおける受信側のエラー隠蔽手法をまとめ
ている。図示されているように、受信側のエラー隠蔽手
法はデータの挿入（Insertion）、データの補間（Inter
polation）、再合成（Regeneration）の３種類に分類で
きる。データの挿入には、直前のフレームを繰り返すこ
とで欠損したフレームのエラー隠蔽を行う繰り返し法
（Repetition）や、単純に雑音を挿入することでエラー
隠蔽を行う雑音挿入法（Noise Substitution）が含まれ
る。

【００２８】図３に、受信側の各エラー隠蔽手法を適用
した際の計算コストと得られる音声品質の関係図を示
す。この図はエラー隠蔽手法の計算コストと得られる音
声品質を示したものであるが、データの挿入のアルゴリ
ズムは計算コストの観点からは非常に有利であることが
わかる。しかしながら、特にスプライシング（Splicin
g）、無音挿入（Silence Substitution）、雑音挿入（N
oise Substitution）の各方法では得られる音声品質が
低いためエラー隠蔽の方法としては必ずしも有効とはい
えないことが見て取れる。一方、データの補間には、欠
損したフレームをその前後の音声データを用いて補間す
ることでエラー隠蔽を行う波形置換法（Waveform Subst
itution）や、補間処理をピッチ同期で行うピッチ波形
の波形置換法（Pitch Waveform Substitution）が含ま
れる（文献６，１５参照）。これらのアルゴリズムは計
算コストがそれほど大きくないわりに、比較的高い音声
品質を実現できるという特徴がある。再合成（Regenera
tion）は音声データを単純な補間によらず復元する方法
であるが、例えば線形予測に基づく音声合成を行って欠
損したフレームのエラー隠蔽を行うモデルベースの音声
合成法（Model-Based Recovery）が提案されている。再
合成法（Regeneration）は最も高い音声品質を実現でき
るが、反面計算コストが大きくなるという課題がある。

【００２９】１．３ 本発明のエラー隠蔽処理 本発明では、これまでに提案された受信側のエラー隠蔽
手法のうち、波形置換法（以下ＷＳ法と略記）に着目し
た（文献１，２参照）。短時間の音声データはおおよそ
定常と見なせるため、１０ｍｓ程度のフレームを仮定す
ると、隣接する区間中に当該フレームとの相関が大きい
部分を見つけることができる。したがって、当該フレー
ムが消失しても、隣接する区間中の相関が大きい部分と
置き換えることでエラー隠蔽を行うことができる。これ
がＷＳ法の原理である。まず、本発明に関連して、比較
のために従来のＷＳ法について説明する。

【００３０】図４に、従来法の波形置換法によるエラー
隠蔽方法の説明図を示す。ＷＳ法では、図（ａ）に示す
ように、受信装置は、消失フレームの直前の音声データ
をテンプレートとして、正常に受信された音声データか
ら適切な置換部分を見つけ、さらに、図（ｂ）に示すよ
うに、これを欠損した等のエラーのフレームと置き換え
ることでエラー隠蔽処理を行っている。このとき、テン
プレートｘ（ｍ），（１≦ｍ≦Ｍ）と探索部分（サーチ
ウィンドウ）における音声データｙ（ｍ），（１≦ｍ≦
Ｍ）の相互相関関数を計算し、最大値を与える位置（又
は、時刻、サンプル番号等）ｎを求めることで置換部分
を決定する。相互相関関数は以下のように定義される
（文献１０参照）。相互相関関数は、これ以外にも、適
宜の関数を用いることができる。

【数１】

【００３１】一般に、ＷＳ法ではフレームが短いほど良
好な結果が得られるため、一般に２０ｍｓのフレームが
使用されるＶｏＩＰでは、ＷＳ法をそのまま適用するこ
とで品質上の問題が生じる可能性がある。そこで、本実
施の形態では、送信側においてあらかじめ２０ｍｓより
も短いサブフレームでＷＳ法を行うための位置情報を推
定した後、これを補助情報として受信側に伝送する送信
側の手法を組み合わせたハイブリッド型のＷＳ法を提供
する。従来のＷＳ法ではあくまでも正常に受信された音
声データから推定により置換部分を決定することになる
が、本実施の形態では消失前の音声データを利用できる
ため、より精度良く置換部分を決定できるという利点が
ある。

【００３２】図５に、本発明の波形置換法によるエラー
隠蔽方法の説明図を示す。本実施の形態では、図（ａ）
のように、送信側において各サブフレームの音声データ
をテンプレートとして置換部分を決定する。一方、図
（ｂ）のように、受信側では、ベストマッチのデータを
欠損した等のエラーのサブフレームと置き換えてエラー
隠蔽処理を行う。

【００３３】２．振幅情報によるエコー対策処理 さらに、本発明では、波形置換法によりエコー感が生じ
る場合に対処するため、振幅情報も送信側で計算して音
声データに埋め込み、これを受信側に伝送するようにし
てもよい。振幅情報についての具体的な処理について
は、次の通りである。

【００３４】たとえば、本来は音声のパワーがほとんど
ない区間（ｂ）が、有音区間（ａ）（すなわちパワーが
ある区間）に後続している場合を考える。このとき、区
間（ｂ）の音声データを格納したパケットが消失する
と、本実施の形態では区間（ａ）から最も形状が似てい
る波形を置換することで区間（ｂ）のエラー隠蔽をおこ
なうことになる。しかし、その結果、区間（ｂ）のパワ
ーが大きくなってしまい、（なぜなら区間（ａ）のパワ
ーは本来の区間（ｂ）のパワーよりも大きいから）主観
的には区間（ａ）がエコーしているような効果が生じる
場合がある。

【００３５】こうした場合については振幅情報を使うこ
とで対処することができる。すなわち、本実施の形態で
は、一例として、区間（ｂ）のパワーがほとんどない無
音区間（あるいはパワーが設定した閾値よりも小さい準
無音区間）のとき０、有音区間のとき１として振幅情報
を定義している。送信側では、これを位置情報と同様に
当該パケットの一つ前のパケットの音声データに埋め込
んで伝送する。受信側では、損失パケットの音声データ
が有音区間であるときは、波形置換をそのまま実行し、
一方、損失パケットの音声データが無音区間であるなら
ば、波形置換をおこなった後にパワーを小さくする処理
をおこなう。ここでは、一例として、瞬間的なパワーの
減少が音質の劣化につながることをふまえ、指数関数的
にパワーの減少をおこなうようにしている。

【００３６】なお、本実施の形態では、一例としてＧ．
７１１により符号化された音声データに対して、最下位
ビット置換法により補助情報の埋め込みを行っている。
ここで、振幅情報はフレームあたり１ｂｉｔとした。

【００３７】３． ステガノグラフィによる情報伝送 通常の送信側のエラー隠蔽手法と同様、置換部分の位置
情報を補助情報として別途伝送することでエラー隠蔽を
行うことは可能である。しかしながら、これでは伝送量
が増加してしまうため、できるだけ伝送量を抑えたいリ
アルタイム通信を実現する上で不利である。そこで、本
実施の形態では音声データに別のデータを知覚できない
ようにして埋め込むステガノグラフィを適用すること
で、通話品質をほぼ同等に保ちつつ音声データと同時に
補助情報の伝送を行う方法について検討した（文献１
１，１３参照）。このような方法で補助情報の伝送を行
うと、重複伝送方式における冗長データの伝送を行う必
要がなく（文献４参照）、さらに、従来方式の伝送フォ
ーマットとの互換性を保てるという利点がある。図６
に、ステガノグラフィによる補助情報の伝送についての
説明図を示す。また、図７に、最下位ビット置換法によ
る補助情報のステガノグラフィ処理についての説明図を
示す。

【００３８】本実施の形態ではコーデックとして、一例
として、ＶｏＩＰでは最も基本的なＧ．７１１を採用し
ている。Ｇ．７１１は圧縮率が低いため、冗長度が高
く、ステガノグラフィによる補助情報の伝送が容易に行
える。図６に示すように、それぞれのパケットごとに、
エラー隠蔽のための補助情報を計算し、これを直後の隣
接するパケット（フレーム）に埋め込む。なお、本実施
の形態では図７に示す最下位ビット置換法により、８ビ
ットで表現される音声データの最下位ビットに補助情報
を埋め込んでいる（文献１３参照）。図（ａ）は、０を
埋め込む場合、図（ｂ）は、１を埋め込む場合をそれぞ
れ示す。このような処理を施すと、当該パケット（フレ
ーム）が消失した場合であっても、直前のパケット（フ
レーム）から補助情報を取り出すことで、エラー隠蔽処
理を行うことができる。例えば、図６のように、受信側
では、第３フレームの損失等のエラーを検出すると、第
４フレームに埋め込まれた補助情報を用いて、第３フレ
ームに含まれる４つのサブフレームの各々の置換波形を
求め、４つのサブフレームの置換波形と第２及び第４フ
レームとを連結する。

【００３９】なお、送信側では、補助情報を隣接するパ
ケット以外にも、予め定められたフレーム又はサブフレ
ーム数離れたパケットに埋め込むようにしても良い。そ
の場合、受信側では、予め定められた位置のパケットに
埋め込まれた補助情報を読み込み、その補助情報に従
い、同様のエラー隠蔽処理を実行することができる。

【００４０】補助情報は、現行方式では、全部で２４ビ
ットの位置情報と１ビットの振幅情報、あわせて２５ビ
ットの情報を２０ｍｓの音声サンプル（すなわち８ｋＨ
ｚサンプリングでは１６０サンプル）の中から任意に選
んだ２５サンプルの最下位ビットに埋め込んでいる。ど
のサンプルに埋め込むかについては、送信側も受信側も
あらかじめわかっているものとする。例えば、１６０サ
ンプルのはじめの２５サンプルの最下位ビットに位置情
報と振幅情報を埋め込むとか、又は、１６０サンプルの
なかからランダムに選んだ２５サンプルの最下位ビット
に位置情報と振幅情報を埋め込むようにすればよい。

【００４１】４．システム構成 図８に、送受信システムに関する構成図を示す。この送
受信システムは、送信装置１０、受信装置２０、ネット
ワーク３０を備える。送信装置１０は、音声入力部１
１、Ａ／Ｄ変換部１２、送信処理部１３、パケット部１
４、送信補助情報メモリ１５を備える。受信装置２０
は、デパケット部２１、受信処理部２２、Ｄ／Ａ変換部
２３、音声出力部２４、受信補助情報メモリ２５、音声
データメモリ２６を備える。ネットワーク３０は、例え
ば、有線及び／又は無線の適宜の通信回線又は通信網を
用いることができる。

【００４２】５．動作 図９に、送信装置の処理についてのフローチャートを示
す。送信装置１０では、次のように音声データが処理さ
れる。

【００４３】送信装置１０の音声入力部１１から入力さ
れた音声は、Ａ／Ｄ変換部１２により音声データに変換
され、送信処理部１３は、その音声データを取得する
（Ｓ１０１）。つぎに、送信処理部１３は、取得した音
声データのフレーム分割処理を実行する（Ｓ１０３）。
送信処理部１３は、例えば、２０ｍｓのフレームを４分
割したサブフレームを形成する。送信処理部１３は、上
述の（１）式等の相関関数に従い、サブフレームとサー
チ範囲の音声データとの相互相関関数を計算し、計算結
果に従い、置換波形の位置情報を得る（Ｓ１０５）。送
信処理部１３は、例えば、２０ｍｓのフレームを４分割
した各サブフレームについて、サーチ範囲の音声データ
との相互相関関数を計算し、相互相関関数の最大値を与
える位置を補助情報とする。ここでは、一例として、位
置情報は６ｂｉｔで表現する。４個のサブフレームがあ
るため位置情報を表現するには２４ｂｉｔ必要になる。
位置情報は、ここでは、置換波形が何サンプル数前であ
るかの相対的位置を示すものとすることができるが、そ
れ以外にも、サブフレーム数、フレーム数、時刻等の相
対的位置を示す情報、又は、それらの絶対的位置を識別
するための情報を適宜用いることができる。

【００４４】さらに、送信処理部１３は、処理対象のフ
レームの音声データの最大値を前のフレームの音声デー
タの最大値と比較して、フレームの振幅情報を得る（Ｓ
１０７）。送信処理部１３は、例えば、当該フレームの
音声データの最大値を調べ、前のフレームの音声データ
の最大値と比較し、設定した閾値よりも当該フレームの
音声データの最大値が小さい場合は０、それよりも大き
い場合は１とする振幅情報を、もうひとつの補助情報と
する。あるいは、無音区間（又は準無音区間）のとき
０、有音区間のとき１として振幅情報を定義してもよ
い。振幅情報は１ｂｉｔで表現することができる。送信
処理部１３は、ステップＳ１０５及びＳ１０７で得られ
た位置情報及び振幅情報を補助情報として、フレームの
識別情報に対応して送信補助情報メモリ１５に蓄積する
（Ｓ１０９）。

【００４５】また、送信処理部１３は、音声データを圧
縮する（Ｓ１１１）。送信処理部１３は、送信補助情報
メモリ１５から１フレーム前のフレームの補助情報を読
み出し（Ｓ１１３）、圧縮された音声データに読み出し
た補助情報を、音声データに影響のない又は少ないよう
なデータ隠蔽手法により埋め込む（Ｓ１１５）。この
際、送信処理部１３は、補助情報をステガノグラフィ処
理により音声データに埋め込むことができる。送信処理
部１３は、例えば、８ｂｉｔで量子化された音声データ
の最下位ｂｉｔに直接補助情報を書き込む。標本化周波
数が８ｋＨｚでは２０ｍｓの音声データのサンプル数は
１６０となり、したがって埋め込むことが可能な最下位
ｂｉｔの数は１６０となり、ここに上述のように２５ｂ
ｉｔの補助情報を埋め込んでいる。パケット部１４は、
圧縮音声データをパケット化し（Ｓ１１７）、ネットワ
ーク３０によりそのパケットを伝送する（Ｓ１１９）。

【００４６】図１０に、ペイロードのフレーム構成図を
示す。ひとつのパケット（フレーム）について、サブフ
レーム毎の置換波形の位置情報（この例では、サブフレ
ーム１〜４に対応して、４つの位置情報）及び振幅情報
を含む。２５ビットの補助情報は、予め定められた各サ
ンプル１〜１６０の適宜の最下位ビットの位置に含ま
れ、それに用いられない最下位ビットは、音声データ又
は他の情報のために用いられる。この例では、２５ビッ
トは、６ビットのサブフレーム１〜４の位置情報と、１
ビットの振幅情報から構成される。

【００４７】図１１に、受信装置の処理についてのフロ
ーチャートを示す。受信装置２０では、次のように音声
データが処理される。

【００４８】受信装置２０のデパケット部２１は、ネッ
トワーク３０を経てパケットを受信し（Ｓ２０１）、デ
パケット化して、圧縮音声データを取得する（Ｓ２０
３）。受信処理部２２は、圧縮音声データから、送信側
で音声データに影響のない又は少ないようなデータ隠蔽
手法により埋め込まれた補助情報を抽出する（Ｓ２０
５）。ここで、受信処理部２２は、例えば、最下位ｂｉ
ｔから補助情報をそのまま読み取るだけでよい。受信処
理部２２は、抽出された補助情報をフレームを特定する
識別情報に対応して受信補助情報メモリ２５に記憶する
（Ｓ２０７）。

【００４９】また、受信処理部２２は、圧縮音声データ
を伸張処理し、求めた音声データを音声データメモリ２
６に記憶する（Ｓ２０９）。なお、音声データメモリ２
６は、エラー隠蔽に必要とされる予め定められた所定期
間の音声データを先入れ先出し（ＦＩＦＯ）で記憶（バ
ッファ）することができる。受信処理部２２は、処理対
象フレームの音声データを監視し、直前のパケットが損
失又は遅延等のエラーがあるか否か判定する（Ｓ２１
１）。受信処理部２２は、直前又は前のパケットに損失
等のエラーがあると判断すると、受信補助情報メモリ２
５から対応するフレームの補助情報を読み出し、補助情
報が指示する位置情報と振幅情報を使って、音声データ
２６を参照して、エラーの音声データに替わる置換波形
を生成する（Ｓ２１３）。さらに、受信処理部２２は、
生成された置換波形を音声データに組み込み、音声デー
タのサブフレーム及びフレームの連結処理を実行する
（Ｓ２１５）。例えば、図６のように、受信処理部２２
は、エラーフレームの直後のフレームに埋め込まれた補
助情報を用いて、エラーフレームに含まれる４つのサブ
フレームの各々の置換波形の位置情報からその置換波形
を求め、さらに、４つのサブフレームの置換波形と第２
及び第４フレームとを連結する。

【００５０】一方、受信処理部２２は、ステップＳ２１
１で直前のパケットに損失等のエラーがあると判断され
ない場合、ステップＳ２０９で得られた音声データのフ
レーム連結処理を実行する（Ｓ２１７）。Ｄ／Ａ変換部
２３は、連結されたデータにより音声データを再生し
て、音声出力部２４は再生された音声を出力する（Ｓ２
１９）。

【００５１】 なお、以上の説明では、補助情報とし
て、位置情報と振幅情報の両方を用いたが、位置情報の
みを用いるようにしてもよい。また、音声データを圧縮
した後に（Ｓ１１１）、補助情報を埋め込むようにした
が（Ｓ１１５）、逆に、ステップＳ１１５による補助情
報の埋め込み処理後に、ステップＳ１１１の圧縮処理を
実行するようにしてもよい。この場合、受信側では、ス
テップＳ２０９の音声データの伸張処理を実行した後
に、ステップＳ２０５の補助情報の抽出処理が実行され
るようにすることができる。

【００５２】また、送信側では、ステップＳ１１３、Ｓ
１１５において、補助情報を隣接するパケット以外に
も、予め定められたフレーム又はサブフレーム数離れた
パケットに埋め込むようにしても良い。その場合、受信
側では、ステップＳ２１３、Ｓ２１５において、予め定
められた位置のパケットに埋め込まれた補助情報を読み
込み、その補助情報に従い、同様のエラー隠蔽処理を実
行することができる。

【００５３】また、本実施の形態では、例えば、フレー
ムを４分割した５ｍｓのサブフレームに対し、置換部分
の探索区間をそれよりも過去の８ｍｓとすることができ
る。受信側ではオーバーラップによる線形ブレンディン
グ処理を行うことで、なめらかな波形接続を行っている
（文献９参照）。この例で、８ｍｓと定めたのは、８ｋ
Ｈｚのサンプリングでは８ｍｓは６４サンプルに相当す
るため位置情報ｎを６ビットで表現することができるか
らである。これらの値は一例であり、ビット数、サンプ
リング周波数、探索区間は、必要に応じて適宜設定する
ことができる。

【００５４】６． 評価実験 本発明の有効性を確認するために評価実験を行った。図
１２に、補助情報として位置情報のみを使用した場合
（振幅情報を使用せず）の評価実験の結果の図を示す。
横軸はフレーム消失の連続数（パケット損失率）、縦軸
はＳＮ比を示す。

【００５５】ここでは、擬似的にエラーを生じさせた音
声資料を作成し、（１）本発明、（２）従来法のそれぞ
れによりエラー隠蔽を行った場合と、（３）エラー隠蔽
を行わなかった場合について、それぞれＳＮ比による客
観的な品質評価を行った。図示されているように、エラ
ー隠蔽を行った場合であっても、パケット消失確率の増
加に伴いＳＮ比は低下していく。ただし、本発明のこの
例では、パケット消失確率が０の場合はステガノグラフ
ィによるＳＮ比の低下が不可避であるが、それ以外では
従来法と比較してＳＮ比の低下量を小さく抑えることが
できることがわかった。なお、従来法と比較して、本発
明では主観的にも歪を低減できることが試聴の結果わか
った。

【００５６】図１３に、補助情報として位置情報と振幅
情報の両方を使用した場合と位置情報のみを使用した場
合の評価実験の結果の図を示す。

【００５７】この例では、８ｋＨｚ、１６ｂｉｔの音声
データをＧ．７１１により符号化し，復号時に擬似的に
エラーを生じさせ、（１）従来例、（２）本発明１（振
幅情報あり）、（３）本発明２（振幅情報なし）につい
て、符号化前の音声データとのＳＮ比による客観的評価
を行った。図示のように、位置情報と振幅情報のどちら
も利用した場合（本発明１）では、パケット消失率が０
％の場合，ステガノグラフィによるＳＮ比の低下が見ら
れるが、それ以外では、従来のＷＳ法を適用した場合
（従来）および位置情報のみを利用した場合（本発明
２）と比較してＳＮ比の低下量を低減できることがわか
った。

【００５８】７．補足 本実施の形態では、最下位ビット置換法という最も簡単
なデータ埋め込みの方法を用いたが、マスキング効果等
の音声信号の特徴を利用したさらに高度な方法等の他の
データ埋め込み方法を適宜用いてもよい。また、本実施
の形態ではＧ．７１１をコーデックとした場合のエラー
隠蔽の可能性について検討したが、本発明は適切なステ
ガノグラフィ手法を適用することで、Ｇ．７２９等のさ
らに高度なコーデックやその他のコーディクを利用した
際のエラー隠蔽についても適用することができる。Ｖｏ
ＩＰではＧ．７２３やＧ．７２９といった高能率なコー
デックが採用されることが多いが、ＶｏＩＰを規定して
いるＨ．３２３ではＧ．７１１を必須コーデックとして
いる。評価実験の結果として、ＶｏＩＰのコーデックと
してＧ．７１１を採用した場合、本発明を適用すること
で、従来法と同じ伝送フォーマットにもかかわらず、よ
り精度の高いエラー隠蔽処理を実現できる可能性がある
ことが推察される。

【００５９】本発明のエラー隠蔽方法又はエラー隠蔽装
置・システムは、その各手順をコンピュータに実行させ
るためのエラー隠蔽プログラム、エラー隠蔽プログラム
を記録したコンピュータ読み取り可能な記録媒体、エラ
ー隠蔽プログラムを含みコンピュータの内部メモリにロ
ード可能なプログラム製品、そのプログラムを含むサー
バ等のコンピュータ、等により提供されることができ
る。

【００６０】８．参考文献・ 文献1: 青木 直史, 山本 強, 青木 由直, “ステカ゛ノク゛ラフ
ィを用いた音声テ゛ータのフレーム消失隠蔽法,” 信学ソ大, Sept
ember 2001.・ 文献2: 青木 直史, 山本 強, 青木 由直, “ステカ゛ノク゛ラフ
ィを用いたVoIPにおけるハ゜ケット消失隠蔽に関する一考察”
信学技報, vol.IN2001-107, 2001.・ 文献3: 池田 信夫, フ゛ロート゛ハ゛ント゛戦略勝敗の分かれ目,
日本経済新聞社, 2001.・文献4: 伊藤 博紀, 芹沢 昌宏
“AMR音声テ゛ータのRTP伝送におけるハ゜ケット損失対策法の性
能評価” 信学ソ大, September 2001.・ 文献5: J. Davidson and J. Peters, VoIP基本カ゛イト゛,
ソフトハ゛ンク, 2001.・ 文献6: D.J. Goodman, G.B. Lockhart, O.J. Wasem, a
nd W.-C. Wong, “Waveform substitution techniques
for recovering missing speech segments in packet v
oice communications,” IEEE Trans. Acoustics, Spee
ch, and Signal Processing, vol.ASSP-34, pp.1440--1
448, 1986.・ 文献7: G. Held, 音声＆テ゛ータ統合技術カ゛イト゛, インフ゜レス,
2000.・ 文献8: 今井 恵一, “VoIP実現上の課題” 信学会誌,
vol.83, no.4, pp.295--301, 2001.・ 文献9: D.L. Jones and T.W. Parks, “Generation an
d combination of grains for music synthesis,” Com
puter Music Journal, vol.12, no.2, 1988.・ 文献10: ISO/IEC14496, Information Technology, Cod
ing of Audio-Visual Objects, 1999.・ 文献11: 松井 甲子雄, 電子透かしの基礎, 森北出版,
1998.・ 文献12: 長渕 裕実,“VoIP品質上の諸問題,” 信学技
報, vol.IN2000-128, 2000.・ 文献13: 小野 束, 電子透かしとコンテンツ保護, オーム社, 20
01.・ 文献14: C. Perkins, O. Hodson, V. Hardman, “A su
rvey of packet loss recovery techniques for stream
ing audio”, IEEE Network Magazine, pp.40--48, Sep
tember/October 1998.・ 文献15: H. Sanneck, A. Stenger, K.B. Younes, and
B. Girod, “A new technique for audio packet loss
concealment”, IEEE Global Internet, pp.48--52, 19
96.・ 文献16: 佐々木 良一, 吉浦 裕, 手塚 悟, 三島 久典,
インターネット時代の情報セキュリティ, 共立出版, 2000.・ 文献17: ソフトフロント, http://www.softfront.co.jp・ 文献18: 戸田 巌, 詳解ネットワークQoS技術, オーム社, 2001.

【００６１】

【発明の効果】本発明は音声データの特性を利用した送
信側のエラー隠蔽手法であり、メディアスペシフィック
（Media Specific）な方法の一つであると考えられる。
ただし、本発明はステガノグラフィ技術を適用している
ため、送信側のエラー隠蔽手法でありながら、音声デー
タ以外の補助情報を別途伝送する必要はなく、従来のフ
ォーマットとの互換性を保てるという利点がある。通
常、送信側のエラー隠蔽手法では伝送量が増加してしま
うことによってネットワークに負荷をかけることになる
が、ステガノグラフィ技術を用いた本発明では通話品質
をほぼ同等に保ちつつ音声データと同時に補助情報の伝
送を行うことが可能となるため、効率的に送信側のエラ
ー隠蔽手法を実現することができるという効果がある。
また、通常のＷＳ法では、正常に受信された音声データ
のみからエラー隠蔽処理を行うため、置換部分の推定は
あくまでも消失フレーム以外の音声データによって行わ
れる。一方、本発明では送信側において消失する前の全
ての音声データを利用して置換部分を計算しておくこと
が可能であるため、より高精度に波形置換法を実行する
ことができるという効果がある。

【図面の簡単な説明】

【図１】送信側のエラー隠蔽手法の説明図。

【図２】受信側のエラー隠蔽手法の説明図。

【図３】受信側の各エラー隠蔽手法を適用した際の計算
コストと得られる音声品質の関係図。

【図４】従来法の波形置換法によるエラー隠蔽方法の説
明図。

【図５】本発明の波形置換法によるエラー隠蔽方法の説
明図。

【図６】ステガノグラフィによる補助情報の伝送につい
ての説明図。

【図７】最下位ビット置換法による補助情報のステガノ
グラフィ処理についての説明図。

【図８】送受信システムに関する構成図。

【図９】送信装置の処理についてのフローチャート。

【図１０】ペイロードのフレーム構成図。

【図１１】受信装置の処理についてのフローチャート。

【図１２】情報として位置情報のみを使用した場合（振
幅情報を使用せず）の評価実験の結果の図。

【図１３】補助情報として位置情報と振幅情報の両方を
使用した場合と位置情報のみを使用した場合の評価実験
の結果の図。

【図１４】ＶｏＩＰによる音声通話とデータ通信の統合
の背景についての説明図。

【図１５】ＶｏＩＰにおける音声通話の手順の説明図。

【図１６】ＶｏＩＰにおけるＩＰデータグラムの構造に
ついての説明図（１）。

【図１７】ＶｏＩＰにおけるＩＰデータグラムの構造に
ついての説明図（２）。

【符号の説明】

１１ 音声入力部 １２ Ａ／Ｄ変換部 １３ 送信処理部 １４ パケット部 １５ 送信補助情報メモリ ２１ デパッケト部 ２２ 受信処理部 ２３ Ｄ／Ａ変換部 ２４ 音声出口部 ２５ ２６ 音声データメモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 青木 由直 北海道札幌市西区西野６条10丁目10−27 Ｆターム(参考） 5B089 GB02 KA12 KH14 ME01 5K014 AA01 CA02 GA02 5K051 AA02 CC02 HH27 JJ05 JJ13

Claims (12)

【特許請求の範囲】
1. 【請求項１】送信装置で、データの欠損又は遅延を含む
   エラーを隠蔽するための補助情報を音声データに埋め込
   み送信し、受信装置で、受信した音声データに埋め込ま
   れた補助情報に従い該エラーを隠蔽するためのエラー隠
   蔽方法であって、前記送信装置において、 送信すべき音声データを伝送フレームに分割し、且つ、
   各フレームを複数のサブフレームに分割するステップ
   と、 第１のフレーム中の各サブフレームと予め定められたサ
   ーチ範囲における音声データとの相互相関を計算し、相
   関度の高い音声データである置換波形の位置情報を含む
   補助情報を各サブフレーム毎に得るステップと、 第１のフレーム中の複数のサブフレームについての補助
   情報をその後の第２のフレームの音声データに、知覚さ
   れない又は知覚されにくいように埋め込むステップと、 埋め込まれた音声データをフレーム毎にパケット化して
   伝送するステップと、を含む処理を実行するエラー隠蔽
   方法。
2. 【請求項２】送信装置で、データの欠損又は遅延を含む
   エラーを隠蔽するための補助情報を音声データに埋め込
   み送信し、受信装置で、受信した音声データに埋め込ま
   れた補助情報に従い該エラーを隠蔽するためのエラー隠
   蔽方法であって、前記受信装置において、 送信側で補助情報が知覚されない又は知覚されにくいよ
   うに埋め込まれた音声データから、埋め込まれた補助情
   報を抽出するステップと、 音声データを監視し、第１のフレームの音声データに損
   失又は遅延を含むエラーがあるか否か判定するステップ
   と、 エラーがあると判定される場合、第１のフレームの後に
   受信した第２のフレームの補助情報を用いて、第１のフ
   レーム中の各サブフレームについて、エラーの音声デー
   タと相関度の高い置換波形を生成し、生成された複数の
   置換波形を第１のフレームに組み込み、複数のサブフレ
   ーム及び隣接するフレームの音声データを連結するステ
   ップと、 一方、前記判定するステップでエラーがあると判定され
   ない場合、隣接するフレームの音声データを連結するス
   テップと、 連結された音声データにより音声を再生して出力するス
   テップとを含む処理を実行するエラー隠蔽方法。
3. 【請求項３】送信装置で、データの欠損又は遅延を含む
   エラーを隠蔽するための補助情報を音声データに埋め込
   み送信し、受信装置で、受信した音声データに埋め込ま
   れた補助情報に従い該エラーを隠蔽するためのエラー隠
   蔽方法であって、 前記送信装置において、 送信すべき音声データを伝送フレームに分割し、且つ、
   各フレームを複数のサブフレームに分割するステップ
   と、 第１のフレーム中の各サブフレームと予め定められたサ
   ーチ範囲における音声データとの相互相関を計算し、相
   関度の高い音声データである置換波形の位置情報を含む
   補助情報を各サブフレーム毎に得るステップと、 第１のフレーム中の複数のサブフレームについての補助
   情報をその後の第２のフレームの音声データに、知覚さ
   れない又は知覚されにくいように埋め込むステップと、 埋め込まれた音声データをフレーム毎にパケット化して
   伝送するステップと、を含む処理を実行し、 前記受信装置において、 送信側で補助情報が知覚されない又は知覚されにくいよ
   うに埋め込まれた音声データから、埋め込まれた補助情
   報を抽出するステップと、 音声データを監視し、第１のフレームの音声データに損
   失又は遅延を含むエラーがあるか否か判定するステップ
   と、 エラーがあると判定される場合、第１のフレームの後に
   受信した第２のフレームの補助情報を用いて、第１のフ
   レーム中の各サブフレームについて、エラーの音声デー
   タと相関度の高い置換波形を生成し、生成された複数の
   置換波形を第１のフレームに組み込み、複数のサブフレ
   ーム及び隣接するフレームの音声データを連結するステ
   ップと、 一方、前記判定するステップでエラーがあると判定され
   ない場合、隣接するフレームの音声データを連結するス
   テップと、 連結された音声データにより音声を再生して出力するス
   テップとを含む処理を実行するエラー隠蔽方法。
4. 【請求項４】送信装置において、 前記第１のフレームの音声データが無音・準無音区間か
   有音区間かに基づき、又は、前記第１のフレームと隣接
   するフレームの音声データの大きさの比較に基づき、フ
   レームの振幅情報を求めるステップと、 得られた振幅情報を補助情報に含めて埋め込まれるよう
   にするためのステップをさらに含む請求項１又は３のい
   ずれかに記載のエラー隠蔽方法。
5. 【請求項５】受信装置において、 補助情報に含まれる振幅情報を抽出するステップと、 抽出された振幅情報に従い、波形置換が実行された前記
   第１のフレームの音声のパワーを調整するステップとさ
   らに含む請求項２乃至４のいずれかに記載のエラー隠蔽
   方法。
6. 【請求項６】前記補助情報は各サンプルの最下位ビット
   に埋め込まれることを特徴とする請求項１乃至５のいず
   れかに記載のエラー隠蔽方法。
7. 【請求項７】前記補助情報は、前記第1のフレームの直
   後のフレーム又は予め定められたフレーム数、サブフレ
   ーム数若しくはサンプル数離れたパケットに埋め込まれ
   ることを特徴とする請求項１乃至５のいずれかに記載の
   エラー隠蔽方法。
8. 【請求項８】送信装置において、 補助情報を求めた後に、音声データを圧縮するステップ
   と、 圧縮された音声データに対して、前記補助情報を埋め込
   むステップとさらに含み、 受信装置において、 補助情報を抽出した後に、圧縮された音声データを伸張
   するステップと、 伸張された音声データに対して、前記補助情報に従い波
   形置換を実行するステップとさらに含む請求項３乃至５
   のいずれかに記載のエラー隠蔽方法。
9. 【請求項９】送信処理部で、データの欠損又は遅延を含
   むエラーを隠蔽するための補助情報を音声データに埋め
   込み送信し、受信処理部で、受信した音声データに埋め
   込まれた補助情報に従い該エラーを隠蔽するためのエラ
   ー隠蔽プログラムであって、 前記送信処理部に、 送信すべき音声データを伝送フレームに分割し、且つ、
   各フレームを複数のサブフレームに分割するステップ
   と、 第１のフレーム中の各サブフレームと予め定められたサ
   ーチ範囲における音声データとの相互相関を計算し、相
   関度の高い音声データである置換波形の位置情報を含む
   補助情報を各サブフレーム毎に得るステップと、 第１のフレーム中の複数のサブフレームについての補助
   情報をその後の第２のフレームの音声データに、知覚さ
   れない又は知覚されにくいように埋め込むステップと、 埋め込まれた音声データをフレーム毎にパケット化して
   伝送するステップと、を含む処理を実行させ、 前記受信処理部に、 送信側で補助情報が知覚されない又は知覚されにくいよ
   うに埋め込まれた音声データから、埋め込まれた補助情
   報を抽出するステップと、 音声データを監視し、第１のフレームの音声データに損
   失又は遅延を含むエラーがあるか否か判定するステップ
   と、 エラーがあると判定される場合、第１のフレームの後に
   受信した第２のフレームの補助情報を用いて、第１のフ
   レーム中の各サブフレームについて、エラーの音声デー
   タと相関度の高い置換波形を生成し、生成された複数の
   置換波形を第１のフレームに組み込み、複数のサブフレ
   ーム及び隣接するフレームの音声データを連結するステ
   ップと、 一方、前記判定するステップでエラーがあると判定され
   ない場合、隣接するフレームの音声データを連結するス
   テップと、 連結された音声データにより音声を再生して出力するス
   テップとを含む処理を実行させるためのエラー隠蔽プロ
   グラム。
10. 【請求項１０】送信装置が、データの欠損又は遅延を含
    むエラーを隠蔽するための補助情報を音声データに埋め
    込み送信し、受信装置が、受信した音声データに埋め込
    まれた補助情報に従い該エラーを隠蔽するためのエラー
    隠蔽装置であって、 前記送信装置は、 入力された音声を音声データに変換するＡ／Ｄ変換部
    と、 前記Ａ／Ｄ変換部からの音声データに、エラー隠蔽のた
    めの補助情報を隠蔽処理により埋め込むための送信処理
    部と、 前記送信処理部からの音声データをパケット化して出力
    するパケット部とを備え、 前記送信処理部は、 前記Ａ／Ｄ変換部からの送信すべき音声データを伝送フ
    レームに分割し、且つ、各フレームを複数のサブフレー
    ムに分割する手段と、 第１のフレーム中の各サブフレームと予め定められたサ
    ーチ範囲における音声データとの相互相関を計算し、相
    関度の高い音声データである置換波形の位置情報を含む
    補助情報を各サブフレーム毎に得る手段と、 第１のフレーム中の複数のサブフレームについての補助
    情報をその後の第２のフレームの音声データに、知覚さ
    れない又は知覚されにくいように埋め込む手段と、 埋め込まれた音声データをフレーム毎にパケット化して
    伝送する手段とを有する前記エラー隠蔽装置。
11. 【請求項１１】送信装置が、データの欠損又は遅延を含
    むエラーを隠蔽するための補助情報を音声データに埋め
    込み送信し、受信装置が、受信した音声データに埋め込
    まれた補助情報に従い該エラーを隠蔽するためのエラー
    隠蔽装置であって、 前記受信装置は、 パケットを受信し、デパケット化して音声データを取得
    するデパケット部と、 前記デパケット部からの音声データに埋め込まれたエラ
    ー隠蔽のための補助情報を抽出するための受信処理部
    と、 前記受信処理部からの音声データを再生して音声を出力
    するＤ／Ａ変換部とを備え、 前記受信処理部は、 前記デパケット部から受信した、送信側で補助情報が知
    覚されない又は知覚されにくいように埋め込まれた音声
    データから、埋め込まれた補助情報を抽出する手段と、 音声データを監視し、第１のフレームの音声データに損
    失又は遅延を含むエラーがあるか否か判定する手段と、 エラーがあると判定される場合、第１のフレームの後に
    受信した第２のフレームの補助情報を用いて、第１のフ
    レーム中の各サブフレームについて、エラーの音声デー
    タと相関度の高い置換波形を生成し、生成された複数の
    置換波形を第１のフレームに組み込み、複数のサブフレ
    ーム及び隣接するフレームの音声データを連結する手段
    と、 一方、前記判定する手段でエラーがあると判定されない
    場合、隣接するフレームの音声データを連結する手段
    と、 連結された音声データにより音声を再生して出力する手
    段とを有する前記エラー隠蔽装置。
12. 【請求項１２】送信装置が、データの欠損又は遅延を含
    むエラーを隠蔽するための補助情報を音声データに埋め
    込み送信し、受信装置が、受信した音声データに埋め込
    まれた補助情報に従い該エラーを隠蔽するためのエラー
    隠蔽装置であって、 前記送信装置は、 入力された音声を音声データに変換するＡ／Ｄ変換部
    と、 前記Ａ／Ｄ変換部からの音声データに、エラー隠蔽のた
    めの補助情報を隠蔽処理により埋め込むための送信処理
    部と、 前記送信処理部からの音声データをパケット化して出力
    するパケット部とを備え、 前記送信処理部は、さらに、 前記Ａ／Ｄ変換部からの送信すべき音声データを伝送フ
    レームに分割し、且つ、各フレームを複数のサブフレー
    ムに分割する手段と、 第１のフレーム中の各サブフレームと予め定められたサ
    ーチ範囲における音声データとの相互相関を計算し、相
    関度の高い音声データである置換波形の位置情報を含む
    補助情報を各サブフレーム毎に得る手段と、 第１のフレーム中の複数のサブフレームについての補助
    情報をその後の第２のフレームの音声データに、知覚さ
    れない又は知覚されにくいように埋め込む手段と、 埋め込まれた音声データをフレーム毎にパケット化して
    伝送する手段とを有し、 前記受信装置は、 パケットを受信し、デパケット化して音声データを取得
    するデパケット部と、 前記デパケット部からの音声データに埋め込まれたエラ
    ー隠蔽のための補助情報を抽出するための受信処理部
    と、 前記受信処理部からの音声データを再生して音声を出力
    するＤ／Ａ変換部とを備え、 前記受信処理部は、さらに、 前記デパケット部から受信した、送信側で補助情報が知
    覚されない又は知覚されにくいように埋め込まれた音声
    データから、埋め込まれた補助情報を抽出する手段と、 音声データを監視し、第１のフレームの音声データに損
    失又は遅延を含むエラーがあるか否か判定する手段と、 エラーがあると判定される場合、第１のフレームの後に
    受信した第２のフレームの補助情報を用いて、第１のフ
    レーム中の各サブフレームについて、エラーの音声デー
    タと相関度の高い置換波形を生成し、生成された複数の
    置換波形を第１のフレームに組み込み、複数のサブフレ
    ーム及び隣接するフレームの音声データを連結する手段
    と、 一方、前記判定する手段でエラーがあると判定されない
    場合、隣接するフレームの音声データを連結する手段
    と、 連結された音声データにより音声を再生して出力する手
    段とを有する前記エラー隠蔽装置。