JP2004274495A - 画像音声通信装置 - Google Patents

Abstract

【課題】無線区間でデータの誤りが発生した場合に、誤り耐性の向上を図り、画質と音質の劣化を押えることが可能となる画像音声通信装置を提供する。
【解決手段】無線部１８では、通信中の無線状態の良し悪しにあわせて、基地局から通信端末に対して送信パワーの増加または削減を指示する命令が送られてくる。この命令により発生した送信パワーの変化を制御部１９は確認する。制御部１９は、データ分離誤り検出部１７と、画像誤り検出部１３、音声誤り検出部１５の検出結果を確認することで、データ受信の良し悪し、誤り発生の有無を判定することができる。制御部１９は誤り検出の情報を元に通信に、最適な多重化フレーム長を設定する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、無線部を持ち、無線環境化で画像音声の通信を行う画像音声通信装置に関し、特に画像音声の符号復号化部と、データ多重分離化部とに誤り耐性手段を持つことにより、無線区間でデータの誤りが発生した場合に、見た目の画質、音質の劣化を押えることが可能となる画像音声通信装置に関する。
【０００２】
【従来の技術】
従来より、画像音声の通信を行う端末での誤り耐性について、種々の提案がなされている。例えば、後述する特許文献１には、通信中にビデオコーデック部にて誤りが検出された場合、訂正不可能な誤りであった場合、あるいは誤りを検出した場合のいずれかにおいて、相手端末に画像のリフレッシュ要求信号を発信することにより、誤差の蓄積を解消するなどして画質を良好化する誤り耐性技術の開示がなされている。
【０００３】
【特許文献１】
特開平５−３４６７号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１に開示された技術では、誤りの検出がビデオコーデック部でのみで行われており、他の処理部すなわち、無線部やデータ多重分離化部等で誤りを検出した場合の対処手段がない。
【０００５】
本発明の目的は、無線区間でデータの誤りが発生した場合に、誤り耐性の向上を図り、画質と音質の劣化を押えることが可能となる画像音声通信装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明は、上述した事情に鑑み提案されたもので、データを無線で送受信する無線部と、画像及び音声のデータを符号・復号化する符号復号化部と、該符号復号化部による受信画像及び音声の復号データに含まれる誤りを検出する復号誤り検出部と、画像及び音声のデータを多重化あるいは分離化するデータ多重分離化部と、該データ多重分離化部による受信画像・音声の分離データに含まれる誤りを検出する分離誤り検出部と、前記復号誤り検出部や分離誤り検出部により検出された誤りに基づいて無線通信状態に適した多重・分離化を行うように前記データ多重分離化部を制御する制御部とを備えたことを特徴とするものである。
【０００７】
また、本発明は、データ多重分離化部が、１つの画像符号化パケットデータと１つの音声符号化パケットデータを１つの多重化フレームに収めることを特徴するものである。
【０００８】
また、本発明は、前記制御部が、前記データ多重分離化部の多重化フレーム長を設定することを特徴とするものである。
【０００９】
また、本発明は、データ多重分離化部が、同期検出処理において、ある同期フラグＰＮ（ｍ）を検出した場合、多重化フレームデータの長さ情報を見て、次の同期フラグＰＮ（ｍ＋１）を探し、ＰＮ（ｍ＋１）が化けていた場合でも、次の多重化フレームデータのヘッダの長さ情報よりＰＮ（ｍ＋２）を探索し、それが正しければ、１つの多重化フレームを切り出すことを特徴とするものである。
【００１０】
また、本発明は、前記制御部が、データ多重分離化部の同期検出処理において、探索する同期フラグの段数を選択できることを特徴とするものである。
【００１１】
本発明において、分離誤り手段と復号誤り検出部とにより検出した誤りに基づいて、制御部は無線通信状態に適した多重・分離化を行うので、ユーザーから見た場合の画像、音声の品質を向上させることが可能となる。
【００１２】
【発明の実施の形態】
以下、本発明に係るの画像音声通信装置の実施形態を、図面を参照しながら説明する。
【００１３】
図１は、本発明に係る画像音声通信装置の構成を示すブロック図である。
テロップ同期表示システムの通信端末である画像音声通信装置は、端末操作用ＧＵＩおよび画像音声の入出力ＩＦを持つアプリケーション１１と、画像データの符号・復号化を行う画像符号復号化部１２と、復号化された受信画像データの誤りを検出する復号画像誤り検出部１３と、音声データの符号・復号化を行う音声符号復号化部１４と、復号化された受信音声データの誤りを検出する復号音声誤り検出部１５と、画像音声のデータを多重化あるいは分離化するデータ多重分離化部１６と、該データ多重分離化部による画像音声の分離データに含まれる誤りを検出する分離誤り検出部１７と、データを無線で送受信する無線部１８と、検出された誤りに対して耐性を有するように制御する制御部１９とから成る。
【００１４】
ここで、画像音声通信装置において、操作者がアプリケーション１１を操作して画像音声の送信を行う際の誤り耐性制御の処理の手順を図２に示すフローチャートを用いて説明する。この画像音声通信装置は、常に受信した無線状態を検出しながら送信を制御する。
【００１５】
ステップＳ２１にて操作者はアプリケーション１１を使用して任意の接続可能な通信装置対して、接続を開始する。例えば、ＴＶ電話アプリケーションを使用して、ＴＶ電話通話が可能な装置に接続するという方法である。
【００１６】
ステップＳ２２で、制御部１９はアプリケーションが指定した通信ビットレートの値を判定し、データ多重分離化部１６において、データ多重化処理を行う際の多重化フレーム長の初期値を設定する。
ここで、多重化フレームとは、画像符号化パケットデータと音声符号化パケットデータを一つに統合した状態のデータを指す。
【００１７】
ステップＳ２３で、制御部１９は１つの多重化フレームに１つの画像符号化パケットデータと、１つの音声符号化パケットデータが収まるようなパケットサイズ、すなわちバイト数をそれぞれ設定する。
ここで、音声符号化パケットデータサイズはほぼ固定長であり、予め求められる為、画像符号化パケットデータのサイズを調整することになる。
【００１８】
ステップＳ２４で画像符号復号化部１２および、音声符号復号化部１４は、それぞれ画像符号化パケットデータと音声符号化パケットデータを生成する。そして、ステップＳ２５でデータ多重分離化部１６は、画像符号化パケットデータと音声符号化パケットデータとから、多重化フレームデータを生成し、ステップＳ２６で多重化フレームデータを無線部１８へ転送する。
【００１９】
図４に画像、音声の符号化パケットデータと、多重化フレームの関係を示す。
１つの多重化フレーム４５には、１つの画像符号化パケットデータ４１と１つの音声符号化パケットデータ４２および、ヘッダ部４４とから構成される。
【００２０】
ヘッダ部４４には、多重化フレーム４５の長さと、画像符号化パケットデータ４１と音声符号化パケットデータ４２部分の境界を示す情報が入っている。そして、各多重化フレーム４５の境界には同期フラグ４３が挿入されている。
【００２１】
ここでは、同期フラグのことをＰＮと呼称することとする。また、画像符号化パケットデータと音声符号化パケットデータとから多重化フレームを作成し、同期フラグを挿入した一連のデータを生成することをデータ多重処理と呼称する。
【００２２】
また、一連の多重化フレームデータから、一つの多重化フレームを特定することを同期検出処理と呼称し、画像、音声符号化パケットデータを抽出することをデータ分離処理と呼称する。同期探索処理については後述する。
【００２３】
ステップＳ２７で無線部１８により多重化フレームデータを通信相手の端末に送信する。制御部１９はステップＳ２８で通信が継続されるか否かを判定する。通信を継続する場合はステップＳ２９へ進む。
【００２４】
ここで、制御部１９は、無線部１８が発揮している送信パワーの増減の判定、データ多重分離化部１６でのデータ分離処理において誤りが検出されたか否かの判定、画像符号復号化部１２、音声符号復号化部１４の復号化処理において誤りが検出されたか否かの判定を行う。
【００２５】
各判定の内容を説明する。
無線部１８では、通信中の無線状態の良し悪しにあわせて、基地局から通信端末に対して送信パワーの増加または削減を指示する命令が送られてくる。この命令により発生した送信パワーの変化を制御部１９は確認する。
【００２６】
データ多重分離化部１６では、相手通信端末から送られてきた多重化フレームデータを、画像と音声のそれぞれの符号化パケットデータに分離する処理を行う。この後、相手端末からの画像と音声の受信データを画像符号復号化部１２、音声符号復号化部１４が復号化処理することにより、相手端末からの画像、音声を再生することが出来る。
【００２７】
ここで、多重化フレームデータを正しく画像と音声の符号化パケットデータに分離することが出来なかった場合、誤りが発生したとする。データ分離誤り検出部１７は、データ分離処理で誤りが発生したか否かを検出し、記録する。
【００２８】
画像符号復号化部１２、音声符号復号化部１４は前述の通り、それぞれ画像符号化パケットデータと音声符号化パケットデータの復号化を行う。ここで、無線通信状態により、各符号化パケットデータに化けがあった場合、正しく復号化を行うことが出来ない。画像誤り検出部１３と音声誤り検出部１５は、正しく復号化が出来たか否かを検出し、記録する。
【００２９】
制御部１９は、データ分離誤り検出部１７と、画像誤り検出部１３、音声誤り検出部１５の検出結果を確認することで、データ受信の良し悪し、誤り発生の有無を判定することができる。
【００３０】
ステップＳ３０で、制御部１９は誤り検出の情報を元に通信に、最適な多重化フレーム長を設定する。すなわち、無線部の送信パワーが上がった場合、および前述の各処理で誤りが発生した場合は、無線通信状態が悪化している為、多重化フレーム長を小さくする。無線部の送信パワーが下がった場合は、無線通信状態が良好となった為、多重化フレーム長を大きくする。
【００３１】
多重化フレーム長のサイズが小さい場合、そこに含まれる画像と音声の符号化パケットデータも小さくなり、オーバーヘッドが増えるが、データに化けが発生した場合、相手端末上で誤りとして処理できない、すなわち再生することができない画像、音声データのサイズを小さく抑えることができる。これはユーザーから見た場合の画像、音声の品質に影響する。
【００３２】
多重化フレーム長のサイズが大きい場合は、逆にオーバーヘッドを抑えることが出来る。
多重化フレーム長のサイズの設定については、例えば、誤り発生率と多重化フレーム長のサイズとを関係づけるテーブルデータを予め記憶しておき、制御部１９はこれを参照することで、最適な多重化フレーム長のサイズを設定することが可能である。
【００３３】
次にステップＳ２３に戻り、制御部１９は１つの多重化フレームに１つの画像符号化パケットデータと、１つの音声符号化パケットデータが収まるようなパケットサイズ、すなわちバイト数をそれぞれ設定する。以降、通信が継続中の間、通信端末はＳ２３からＳ３０の処理を繰り返す。
【００３４】
ステップＳ２８にて、操作者からの通信終了命令、または相手端末からの通信終了命令の発信が確認できた場合、ステップＳ３１に進み、通信端末は通信終了処理を行う。
【００３５】
次に、データ多重分離化部１８における同期検出処理について、図３のフローチャートを使用して説明する。
【００３６】
ステップＳ３１にて操作者はアプリケーション１１を使用して任意の接続可能な通信端末対して、接続を開始する。例えば、ＴＶ電話アプリケーションを使用して、ＴＶ電話通話が可能な端末に接続するという方法である。
【００３７】
ステップＳ３２で制御部１９は、同期検出処理において探索する同期フラグ（ＰＮ）の段数ｎを設定する。
【００３８】
例えば、通信端末上に存在する通信アプリケーションの種別、ＣＰＵ処理負荷の状態、無線状態の良否等と段数ｎの関係を予めテーブルデータ化しておき、これを参照することで、段数ｎの設定が可能となる。
【００３９】
ステップＳ３３で、データ多重分離化部１６が相手通信端末からの一連の多重化フレームデータを受信すると、ステップＳ３４で、まず、ある正しい同期フラグＰＮ（ｍ）を検出する。
【００４０】
ステップＳ３５でデータ多重分離化部１６はＰＮ（ｍ）５１が検出された場合、それに続く多重化フレーム５２のヘッダ部に含まれている多重化フレームの長さ情報を参照し、次のＰＮ（ｍ＋１）５３を探索する。
【００４１】
ステップＳ３６でデータ多重分離化部１６はＰＮ（ｍ＋１）５５の内容が正しいか否かを判定する。
内容が正しければ、ステップＳ３８へ進み、正しくなければステップＳ３７へ進む。
【００４２】
ステップＳ３７に進んだ場合、データ多重分離化部１６は、ステップＳ３５と同様の手法により、ＰＮ（ｍ＋２）を探索し、その内容が正しいか否かを判断する。もしこの時、内容が正しくなければ、ステップＳ３５と同様の手法を繰り返し、設定された段数ｎを満たすＰＮ（ｍ＋ｎ）まで探索し、それらの内容を確認する。
【００４３】
ＰＮ（ｍ＋ｎ）までの中で、正しい同期フラグが検出された場合、ステップＳ３８へ進み、検出することができなかった場合、ステップＳ３３に戻る。
【００４４】
ステップＳ３７で、データ多重分離化部１６は設定された段数ｎの値に基づいて、同期フラグＰＮ（ｍ＋ｎ）を探索する際の手法を説明する。図５に同期フラグと段数をｎ＝２とした場合の関係を示す。
【００４５】
一つの正しいＰＮ（ｍ）５１が検出された場合、それに続く多重化フレーム５２のヘッダ部に含まれている多重化フレームの長さ情報を参照し、次のＰＮ（ｍ＋１）５３を探索する。ここで、データの化けによりＰＮ（ｍ＋１）の内容が正しくない場合があるが、ＰＮ（ｍ＋１）に続く多重化フレーム５４のヘッダ部を参照し、ＰＮ（ｍ＋２）５５を探索する。
【００４６】
ステップＳ３６でデータ誤り検出部１７はＰＮ（ｍ＋２）５５の内容が正しいか否かを判定する。内容が正しければ、ステップＳ３８へ進み、正しくなければステップＳ３７へ進む。
【００４７】
ステップＳ３８に進んだ場合、データ多重分離化部１６は同期フラグＰＮ（ｍ）５１に続く多重化フレーム５２を画像、音声の符号化パケットデータが含まれるデータとして切り出し、それぞれの符号復号化部１２，１４へ転送する。ステップＳ３９で画像、音声の符号復号化部１２，１４は復号化処理を行い、画像、音声の再生を行う。
【００４８】
ステップＳ４０で制御部１９は通信が継続中か否かを判定し、継続中の場合、ステップＳ３３に戻り、同期フラグの探索および、多重化フレームデータの切り出し処理に戻る。操作者からの通信終了命令、または相手端末からの通信終了命令の発信が確認できた場合、ステップＳ４１に進み、通信端末は通信終了処理を行う。
【００４９】
【発明の効果】
以上説明したように、本発明の画像音声通信装置によれば、無線部の送信パワー、データ多重分離化処理部、画像音声符号復号化処理部からの誤り検出結果により、制御部が無線通信状態に適した多重分離化を行うので、無線区間でデータの誤りが発生した場合に、見た目の画質、音質の劣化を押えることが可能となる。
【００５０】
また、制御部が１つの多重化フレームに１つの画像符号化パケットデータと、１つの音声符号化パケットデータが収まるようなパケットサイズ、すなわちバイト数をそれぞれ設定し、それに基づいて画像、音声符号復号化部が符号化パケットデータを生成、多重化フレームを構成したり、多重化フレーム長を設定することにより、相手通信端末で１つの多重化フレームを受信した際に、誤りが含まれていた場合でも、影響を受ける画像、音声符号化パケットデータの範囲をそれぞれ１つづつに限定させることができる。
【００５１】
データ多重分離化部での同期検出処理において、あらかじめ段数ｎを選択し、同期フラグの探索でＰＮ（ｍ＋ｎ）までの中で正しい内容のものが見つかった場合、１つの多重化フレームを切り出すことにより、同期フラグＰＮ（ｍ）のみの検出結果から多重化フレームを切り出す手法と比較し、画像、音声符号復号化部へ転送することができる多重化フレーム数を向上させることが出来る。また、段数ｎを選択することにより、ＣＰＵ処理能力、無線状態の良否に適した同期検出処理を行うことが出来る。
以上の効果により、ユーザーから見た場合の画像、音声の品質を向上させることが可能となる。
【図面の簡単な説明】
【図１】本発明に係る画像音声通信装置の構成を示すブロック図である。
【図２】操作者がアプリケーション１１を操作して画像音声の送信を行う際の誤り耐性制御の処理の手順を示すフローチャートである。
【図３】データ多重分離化部における同期検出処理の手順を示すフローチャートである。
【図４】画像、音声の符号化パケットデータと、多重化フレームの関係を示す説明図である。
【図５】同期フラグと多重化フレームとの関係を示す説明図である。
【符号の説明】
１１ アプリケーション
１２ 画像符号復号化部
１３ 画像誤り検出部
１４ 音声符号復号化部
１５ 音声誤り検出部
１６ データ多重分離化部
１７ データ誤り検出部
１８ 無線部
１９ 制御部
４１ 画像符号化パケットデータ
４２ 音声符号化パケットデータ
４３ 同期フラグ
４４ ヘッダ部
４５ 多重化フレーム（ヘッダ部）
４６ 多重化フレーム（画像、音声符号化データ部）
５１ 同期フラグＰＮ（ｍ）
５２ 多重化フレーム
５３ 同期フラグＰＮ（ｍ＋１）
５４ 多重化フレーム
５５ 同期フラグＰＮ（ｍ＋２）

Claims (5)

1. データを無線で送受信する無線部と、
   画像及び音声のデータを符号・復号化する符号復号化部と、
   該符号復号化部による受信画像及び音声の復号データに含まれる誤りを検出する復号誤り検出部と、
   画像及び音声のデータを多重化あるいは分離化するデータ多重分離化部と、
   該データ多重分離化部による受信画像・音声の分離データに含まれる誤りを検出する分離誤り検出部と、
   前記復号誤り検出部や分離誤り検出部により検出された誤りに基づいて無線通信状態に適した多重・分離化を行うように前記データ多重分離化部を制御する制御部とを備えたことを特徴とする画像音声通信装置。
2. データ多重分離化部は、１つの画像符号化パケットデータと１つの音声符号化パケットデータを１つの多重化フレームに収めることを特徴する請求項１記載の画像音声通信装置。
3. 前記制御部は、前記データ多重分離化部の多重化フレーム長を設定することを特徴とする請求項１記載の画像音声通信装置。
4. データ多重分離化部は、同期検出処理において、ある同期フラグＰＮ（ｍ）を検出した場合、多重化フレームデータの長さ情報を見て、次の同期フラグＰＮ（ｍ＋１）を探し、ＰＮ（ｍ＋１）が化けていた場合でも、次の多重化フレームデータのヘッダの長さ情報よりＰＮ（ｍ＋２）を探索し、それが正しければ、１つの多重化フレームを切り出すことを特徴とする請求項１記載の画像音声通信装置。
5. 前記制御部は、データ多重分離化部の同期検出処理において、探索する同期フラグの段数を選択できることを特徴とする請求項４記載の画像音声通信装置。

Images