JP2007311948A - 通信装置、通信方法、通信送受信装置、通信送受信方法、およびプログラム - Google Patents

Abstract

【課題】ラインブロック毎に適切に欠落データの補間処理行うことができるようにする。
【解決手段】受信データ解析部４１は、受信データ分離部２１からの受信データを解析し、受信データが画面のどのラインで、かつ、どのサブバンドに位置するかを把握するとともに、受信データ復号部２５からのデコード情報に基づいて、受信データのうちの欠落データが閾値を超えているかを確認する。補間データ蓄積部４２は、受信データを受信データ解析部４１が受信するのと同時に蓄積し、受信データに欠落がないと判断できた場合には、１フィールド分のデータとして待避させておく。画像データ入力切替部４４は、画像データ出力管理部４３の管理の元、受信データ解析部４１から供給される受信データまたは補間データ蓄積部４２から読み出される補間データを適宜選択してデコーダに出力する。本発明はコーデックを行うことが可能な機器に適用することができる。
【選択図】図３

Description

本発明は、通信装置、通信方法、通信送受信装置、通信送受信方法、およびプログラムに関し、特に、ラインブロック毎に画像圧縮を行う場合に用いて好適な通信装置、通信方法、通信送受信装置、通信送受信方法、およびプログラムに関する。

現在、インターネット通信など、様々な通信媒体を介してデータ転送が行なわれおり、中でも、画像データのネットワークを介した転送が盛んに行なわれている。画像データ（特に動画データ）は、送信側での符号化（圧縮）処理によりデータ量を減少されてネットワーク上に送出され、受信側で符号化された受信データが復号（伸長）処理され、再生されるといった処理が一般的に行われている。

画像圧縮処理の最も知られた手法にMPEG（Moving Pictures Experts Group）圧縮技術がある。近年、MPEG圧縮により生成されるMPEGストリームをIP（Internet Protocol）に従ったIPパケットに格納してインターネット上を転送させて、パーソナルコンピュータやPDA（Personal Digital Assistant）、携帯電話機等の各通信端末において受信するシステム、あるいはこのようなシステムにおける画像データ転送方法に関する技術開発が盛んに行なわれている。

ビデオオンデマンドやライブ映像のストリーミング配信、あるいはビデオ会議やテレビ電話などのリアルタイム通信においては、異なる能力を持つ端末を受信端末としてデータ送受信が行われることを想定する必要がある。

例えば、１つの情報送信ソースからの送信データは、携帯電話機などのような解像度の低いディスプレイと処理能力の低いCPUを有する受信端末によって受信されて表示処理が実行され、かつ、デスクトップパソコンのように高解像度のモニタと高い処理能力のCPUを有する受信端末によって受信されて表示処理が実行される。このように、処理能力の異なる様々な受信端末を通信相手として、画面サイズを適宜変更することが可能な通信が行なわれ始めている。

このように、様々な受信端末において処理能力等に応じた受信処理および表示処理を実行させる１つの手法として、送受信するデータの符号化を階層化させて実行する方法、すなわち、階層符号化を利用した通信システムが考えられている。階層符号化によるデータ通信は、例えば、高解像度のディスプレイを有する受信端末においてのみ処理する符号化データと、低解像度のディスプレイを有する受信端末において処理する符号化データとを選別して、画像サイズや画質を変更できるようにしたものである。

階層符号化が可能な圧縮・伸張方式としては、例えばMPEG4とJPEG2000によるビデオストリームをあげることができる。MPEG4ではFine Granularity Scalability技術を規格に取り込みプロファイル化する予定であり、この階層符号化技術によりスケーラブルに低いビットレートから高いビットレートまで配信することが可能と言われている。また、ウェーブレット（Wavelet）変換をベースとするJPEG2000は、ウェーブレット変換の特徴を生かして、空間解像度をベースにパケット化することや、あるいは画質をベースに階層的にパケット化することが可能である。

ここで、図１を参照して、MPEGやJPEG2000で補間処理を行う場合の従来の通信端末装置の構成例について説明する。図中、点線矢印は制御信号の流れを示し、実線矢印はデータの流れを示している。

画像アプリ管理部１１は、画像ソース等のアプリケーションから伝送要求を受け、経路制御やQoSによる無線回線に関する制御、またはアプリケーションとの間でデータの送受信の管理を行う。なお、画像アプリ管理部１１では、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）センサ等の画像入力装置の制御も含むようにしてもよい。送信データ画像圧縮部１２は、画像アプリ管理部１１から供給された画像データを圧縮してデータ量を削減した後、送信メモリ１３に出力する。

送信メモリ１３は、送信データ画像圧縮部１２から受け取ったデータを蓄積する。また送信メモリ１３は、ネットワーク環境にも対応しており、ルーティング情報に応じて他の端末へ転送するデータを保存する機能も有する。さらに送信メモリ１３は、受信データの蓄積を行うようにしてもよい。

送受信制御部１４は、TDMA（Time Division Multiple Access）やCSMA（Carrier Sense Multiple Access）等のMACプロトコルを制御している。また送受信制御部１４は、CSMAに似た方式であり、キャリアではなくプリアンブルの相関によってパケットを識別するPSMA（Preamble Sense Multiple Access）と呼ばれるメディアアクセス制御も含む。送信データ生成部１５は、送受信制御部１４の要求に基づいてエンコード動作を開始し、送信メモリ１３に蓄積されているデータを読み出して送信パケットを生成する。

物理層コントロール部１６は、送受信制御部１４または送信データ生成部１５からの制御に基づいて物理層を制御する。物理層Tx１７は、物理層コントロール部１６の要求に基づいて動作を開始し、送信データ生成部１５から供給された送信パケットを送受信切替部１８に出力する。

送受信切替部１８は、データの送信または受信を切り替える機能を有し、物理層Tx１７から送信パケットが供給されてきた場合、それをアンテナ１９を介して送信し、アンテナ１９を介してパケットを受信した場合、それを物理層Rx２０に供給する。

物理層Rx２０は、物理層コントロール部１６の要求に基づいて動作を開始し、受信パケットを受信データ分離部２１に供給する。受信データ分離部２１は、物理Rx２０から供給された受信パケットを解析し、画像アプリ管理部１１で必要なデータ、またはルーティングにより他の端末へ送信が必要なデータを分離する。

画像復号部２２は、受信データ分離部２１で分離された受信データを解析し、フィールド単位または複数フィールド単位で、フィールド番号などにより、再生位置を把握する。補間データ蓄積部２３は、受信データ分離部２１で分離された複数のフレーム単位またはフィールド単位の画像データを蓄積する。画像データ入力切替部２４は、受信データ分離部２１の管理情報を元に、画像復号部２２から供給される受信データまたは補間データ蓄積部２３からの補間用データを適宜選択し、受信データ復号部２５に供給する。

次に、図１に示した通信端末装置の基本動作について説明する。

受信時、通信相手である送信局から送信されてきたデータは、アンテナ１９、送受信切替部１８、および物理層Tx１７を介して受信され、受信データ分離部２１により画像データが分離される。分離された画像データは、画像復号部２２により復号され、ディスプレイなどの表示部（図示せず）に再生される。

送信時、送信データ画像圧縮部１２により画像データが圧縮され、送信メモリ１３に蓄積される。蓄積された画像データは、送信データ生成部１５により読み出されて送信パケットが生成され、物理層Tx１７、送受信切替部１８およびアンテナ１９を介して通信相手である送信局に送信される。

ところでJPEG2000は、静止画だけでなく動画を扱えるMotion JPEG2000（Part 3）規格により、階層化したデータをファイルフォーマットで保存することも可能である。さらに、階層符号化を適用したデータ通信の具体案として、DCT（Discrete Cosine Transform）ベースの技術を用いたものが提案されている。これは、例えば通信情報となる画像データをDCT処理し、DCT処理により高域と低域とを区別した階層化を実現し、高域と低域との階層で区分したパケットを生成してデータ通信を実行する方法である。

このような階層符号化された画像データを配信する場合、リアルタイム性が要求されることが多く、そのためインターネット上での通信プロトコルとしてUDP（User Datagram Protocol）が用いられる。さらに、UDPの上のレイヤにおいてはRTP（Real-time Transport Protocol）が用いられ、通信パケットに格納されるデータフォーマットは、各アプリケーション毎、すなわち符号化方式毎に定義されたフォーマットに従うことになる。

また、通信媒体としては、Ethernet（登録商標）に代表されるLAN（Local Area Network）や光ファイバー、xDSL、電力線通信、Co-axといった様々な媒体を使った通信環境が開発され普及している。また、無線LANの市場は急激に拡大しており、オフィスだけでなく家庭内でもニーズが高くなっている。無線通信の代表例としては、IEEE(Institute of Electrical and Electronics Engineers)802.11やBluetooth、UWB(Ultra Wide Band)などがあげられ、それぞれの通信方式は、年々、高速化しているが、それを送信する画像コンテンツも高画質化しており、非圧縮データとして送信するためには障壁も大きい。例えば、ディジタルコンテンツの伝送媒体として注目されているHDMI(High-Definition Multimedia Interface)Type-Aでは、4Gbps程度(165MHzクロックx24bitデータ幅)のデータ転送速度をサポートしており、アプリケーション層のスループットでこれだけの帯域を確保できる方式は少ない。
特開平６−３１１４９４号公報

現在主流になっているMPEGやJPEG2000のような画像圧縮方式はコード遅延(エンコード遅延＋デコード遅延)が１フィールド（１秒間に６０フィールド存在するシステムでは、プログレッシブで１６ms程度、インターレースで３３ms程度）以上と非常に大きい。「撮影した画像をリアルタイムに表示する」というアナログ時代には当たり前であった事が、ディジタル時代になり、大画面・高画質が求められるようになるにつれ、軽視されているのが現状である。

しかしながら、ディジタル時代であっても、リアルタイム性を要求したいという要望はあり、放送業界やゲーム、電化製品でも応答性の向上といったリアルタイム性に対する要求は高い。そこで、近年、１フィールドをＮ（Ｎは１以上）複数のラインの集合に分割して、その集合（以下、ラインブロックという)毎に画像圧縮を行い、遅延時間を短くする画像圧縮方式（以下、ラインベース・コーデックという）が注目され始めている。ラインベース・コーデックの利点は、低遅延のほかにも、取り扱う情報が少ないことによる高速処理、小規模なハードウェア等などが挙げられる。しかし、ラインベース・コーデックを利用することを前提としたシステム上の問題が山積みである。

例えば、通信システムでの利用がその１つであり、以下に、通信システムで使用する上での問題を示す。

第１に、通信媒体を介してラインベース・コーデックにより圧縮された画像転送を行う場合、通信でのデータ欠落を想定して、欠落データの補間を行う必要があるが、今までのMPEGやJPEG2000のように、１フィールド以上のデータを処理用メモリで保持することを基本思想にしたコーデックとは異なり、ラインベース・コーデックでは、通常、ライン単位でのデータ復号が実行されるため、データを復号するため復号された画像データを１フィールド分保持する必要がない。このため、コーデック内に前フィールド分の復号画像データが保持されておらず、データの補間をどのように行うかが問題となる。

第２に、通信環境の悪化への対応である。無線システムでラインベース・コーデックを用いた画像転送を行うと、今までのような大規模なフィールド用メモリを持つ必要がないため、環境の悪化が画質に顕著に現れてしまう。環境の悪化の影響を軽減させるためには、今までのようなメモリによる軽減といったアプローチではなく、コーデック・レートを下げることで通信環境の悪化をユーザに感じさせないアプローチを取る必要がある。

第３に、コーデック・レートを変更する場合、ユーザにストレスを感じさせないために、レート変更処理を高速に行う必要があるが、画質を一時的に上下させるような対応により、コーデックを動作させるときに入力するクロックが変わる可能性がある。従って、可変クロックにおいても、ユーザにレート変更の処理を見えにくくするような方法が望まれる。

第４として、補間用メモリの削減がある。ラインベース・コーデックを使用することによって、画像圧縮処理に必要なメモリ量が格段に減る。しかし、システムの安定性の視点から補間用メモリが必要になるが、追加のメモリは極力削減することが望まれる。

第５として、画像の補間処理を行っている場合における音声処理方法である。補間処理を行っている最中の伝送環境は悪くなっているはずであり、その時の音声データの処理においても適切な対応をとる必要がある。

第６として、動画のシーン・チェンジのような画質が大きく変化する場合にも適切な対応をとる必要がある。ラインベース・コーデックは、MPEG2のようにフレーム間の情報を効率的に行うコーデックであるため、フレーム間でやり取りする設定パラメータが少ない。そのため，動画のシーン変更やチャネル切替のような比較的時間軸で大きく画質が変化する環境においては、見た目の画質が悪く感じる恐れがある。

本発明はこのような状況に鑑みてなされたものであり、ラインブロック毎に適切に欠落データの補間処理行うことができるようにするものである。

本発明の一側面の通信装置は、画像の１フィールドをＮ（Ｎは１以上）ラインの集合に分割し、その集合毎にコーデックを行う通信装置において、受信データから画像データを分離する分離手段と、前記分離手段により分離された前記画像データのエラーを判定する判定手段と、前記判定手段により前記画像データにエラーがないと判定された場合、前記画像データを補間データとして蓄積する蓄積手段と、前記画像データを復号する復号手段と、前記判定手段により前記画像データにエラーがあると判定され、かつ、前記画像データのうちの欠落データが閾値を超えていると判定された場合、前記画像データのデコード位置、および、前記蓄積手段に蓄積されている前記補間データの該当位置を検出する第１の検出手段と、前記第１の検出手段により検出された前記デコード位置および前記蓄積手段の該当位置に基づいて、前記蓄積手段に蓄積されている前記補間データを読み出す読み出し手段とを備える。

前記判定手段には、前記復号手段からのデコード情報を取得させ、前記画像データのうちの欠落データが閾値を超えているか否かを判定させることができる。

前記蓄積手段には、予め決められたサブバンドの画像データのみを蓄積させることができる。

前記画像データまたは前記読み出し手段により読み出された前記補間データを選択して前記復号手段へ転送する画像入力切替手段をさらに設けることができる。

前記復号手段には、再コンフィグレーションをさらに行わせ、前記画像入力切替手段には、前記再コンフィグレーション中、前記読み出し手段により読み出される前記補間データを選択させることができる。

前記蓄積手段にそれ以上蓄積できない場合、蓄積されている補間データのうち最も古い補間データを削除する削除手段をさら設けることができる。

前記判定手段により前記欠落データが閾値を超えていると判定された場合、通信相手にレート変更を要求する要求手段をさらに設けることができる。

通信相手から要求されたエンコード・レートに変更して画像圧縮を行なう圧縮手段と、前記圧縮手段により画像圧縮された画像データを送信する送信手段とをさらに設けることができる。

前記分離手段には、前記受信データから音声データをさらに分離させ、前記判定手段には、前記分離手段により分離された前記音声データが閾値を超えているか否かをさらに判定させ、前記判定手段により前記音声データが閾値を超えていると判定された場合、前記音声データにミュートデータを挿入する挿入手段をさらに設けることができる。

前記画像データのシーンチェンジを検出する第２の検出手段をさらに設け、前記第２の検出手段によりシーンチェンジが検出された場合、前記第１の検出手段には、前記デコード位置および前記蓄積手段の該当位置に基づいて、前記蓄積手段に蓄積されている前記補間データを読み出させることができる。

前記第２の検出手段によりシーンチェンジが検出された場合、通信相手にフレーム間パラメータの再コンフィグレーションを要求する要求手段をさらに設けることができる。

前記判定手段には、前記画像データに付加されたパリティ情報、または、前記復号手段におけるデコードデータ量に基づいて、前記画像データのエラーを判定させることができる。

前記蓄積手段には、複数のサブバンドの画像データを蓄積させ、前記第１の検出手段には、前記蓄積手段に存在しないサブバンドのデータにはダミーデータを挿入させることができる。

前記復号手段が行う前記画像データのデコード位置、および、前記蓄積手段における前記補間データの読み出し位置をリンクさせるとともに、閾値に基づいて前記画像データまたは前記補間データの選択を切り替える管理手段をさらに設けることができる。

前記管理手段には、閾値を超えない場合、前記画像データの欠落部分にダミーデータを挿入させることができる。

前記ダミーデータは、前後のラインブロックの相関性が高いデータまたは中間色のデータであるようにすることができる。

前記管理手段には、一度ダミーデータを挿入すると、同フィールドまたは予め決められたフィールド内の全てのＮ（Ｎは１以上）ラインの集合に対し、同サブバンドの正常なデータを削除して同等のダミーデータを挿入させることができる。

本発明の一側面の通信方法またはプログラムは、画像の１フィールドをＮ（Ｎは１以上）ラインの集合に分割し、その集合毎にコーデックを行う通信装置の通信方法、またはその通信処理をコンピュータに実行させるプログラムにおいて、受信データから画像データを分離し、分離された前記画像データのエラーを判定し、前記画像データにエラーがないと判定された場合、前記画像データを補間データとして蓄積し、前記画像データを復号し、前記画像データにエラーがあると判定され、かつ、前記画像データのうちの欠落データが閾値を超えていると判定された場合、前記画像データのデコード位置、および、蓄積されている前記補間データの該当位置を検出し、検出された前記デコード位置および前記該当位置に基づいて、蓄積されている前記補間データを読み出すステップを含む。

本発明の他の側面の通信送受信装置は、画像の１フィールドをＮ（Ｎは１以上）ラインの集合に分割し、その集合毎にコーデックを行う通信送受信装置において、受信データから画像データを分離する分離手段と、前記分離手段により分離された前記画像データのエラーを判定する判定手段と、前記判定手段により前記画像データにエラーがないと判定された場合、前記画像データを補間データとして蓄積する蓄積手段と、前記画像データを復号する復号手段と、前記判定手段により前記画像データにエラーがあると判定され、かつ、前記画像データのうちの欠落データが閾値を超えていると判定された場合、前記画像データのデコード位置、および、前記蓄積手段に蓄積されている前記補間データの該当位置を検出する検出手段と、前記検出手段により検出された前記デコード位置および前記蓄積手段の該当位置に基づいて、前記蓄積手段に蓄積されている前記補間データを読み出す読み出し手段と、通信相手にレート変更を要求する要求手段と、前記通信相手からレート変更に関する情報が送信されてきた場合、その情報に含まれるエンコード・レートに変更して画像圧縮を行なう圧縮手段と、前記圧縮手段により画像圧縮された画像データを送信する送信手段とを備える。

本発明の他の側面の通信送受信方法またはプログラムは、画像の１フィールドをＮ（Ｎは１以上）ラインの集合に分割し、その集合毎にコーデックを行う通信送受信装置の通信送受信方法、またはその通信送受信処理をコンピュータに実行させるプログラムにおいて、受信データから画像データを分離し、分離された前記画像データのエラーを判定し、前記画像データにエラーがないと判定された場合、前記画像データを補間データとして蓄積し、前記画像データを復号し、前記画像データにエラーがあると判定され、かつ、前記画像データのうちの欠落データが閾値を超えていると判定された場合、前記画像データのデコード位置、および、前記蓄積手段に蓄積されている前記補間データの該当位置を検出し、検出された前記デコード位置および前記蓄積手段の該当位置に基づいて、蓄積されている前記補間データを読み出し、通信相手にレート変更を要求し、前記通信相手からレート変更に関する情報が送信されてきた場合、その情報に含まれるエンコード・レートに変更して画像圧縮を行ない、前記画像圧縮された画像データを送信するステップを含む。

本発明の一側面においては、受信データから画像データが分離され、分離された画像データにエラーがないと判定された場合、画像データが補間データとして蓄積される。また画像データが復号され、画像データのうちの欠落データが閾値を超えていると判定された場合、画像データのデコード位置および蓄積されている補間データの該当位置が検出され、検出されたデコード位置および該当位置に基づいて、蓄積されている補間データが読み出される。

本発明の他の側面においては、受信データから画像データが分離され、分離された画像データにエラーがないと判定された場合、画像データが補間データとして蓄積される。また画像データが復号され、画像データのうちの欠落データが閾値を超えていると判定された場合、画像データのデコード位置および蓄積されている補間データの該当位置が検出され、検出されたデコード位置および該当位置に基づいて、蓄積されている補間データが読み出される。さらに通信相手にレート変更が要求され、通信相手からレート変更に関する情報が送信されてきた場合、その情報に含まれるエンコード・レートに変更して画像圧縮が行なわれ、画像圧縮された画像データが送信される。

本発明の一側面によれば、ラインブロック毎に適切に欠落データの補間処理行うことができる。

また本発明の他の側面によれば、ラインブロック毎に適切に欠落データの補間処理を行うことができるとともに、通信相手から要求されたエンコード・レートを元に画像圧縮した画像データを送信することができる。

以下、本発明の実施の形態について図を参照して説明する。

図２は、本発明の一実施形態に係る通信端末装置１の構成例を示すブロック図である。なお、従来と対応する構成については同一の符号を付してあり、その説明は適宜省略する。

ラインベース補間部３１は、ラインベース・コーデックに特化した補間処理を行う。ここで、ラインベース・コーデックとは、画像の１フィールドをＮ（ただしＮは１以上）ラインの集合に分割して、その集合（以下、ラインブロックという）毎に画像圧縮を行い、遅延時間を短くする画像圧縮方式である。

受信データ復号部２５は、画像データ入力切替部２４から供給されたデータを復号するとともに、画像データ入力切替部２４の制御に基づいて再コンフィグレーションを行う。

図３は、ラインベース補間部３１の詳細な構成例を示すブロック図である。図中、点線矢印は制御信号の流れを示し、実線矢印はデータの流れを示している。

受信データ解析部４１は、受信データ分離部２１からの受信データを解析し、受信データが画面のどのラインで、かつ、どのサブバンドに位置するかを把握する。

図４は、送信局と受信局で送受信される画像データの圧縮後のデータフォーマットを示している。同図に示されるように、送受信される画像データには、ラインブロック番号やサブバンド番号を判断するための情報が含まれている。つまり、受信データ解析部４１は、受信データに含まれるラインブロック番号およびサブバンド番号を監視して、受信データが画面のどのラインで、かつ、どのサブバンドに位置するかを把握する。なお、図４に示したデータフォーマットはあくまでも一例であり、ラインブロックおよびサブバンドの情報が分かる方法であればどのようなフォーマットでも構わない。

また受信データ解析部４１は、受信データ復号部２５からのデコード情報に基づいて、受信データのうち欠落したデータ量が閾値を超えているかを確認する。

補間データ蓄積部４２は、受信データ分離部２１からの受信データを受信データ解析部４１が受信するのと同時に蓄積し、受信データに欠落がないと判断できた場合には、１フィールド分のデータとして待避させておくことができる。補間データ蓄積部４２のメモリ領域は、例えば、２フィールド分のデータ容量とされる。

補間データ蓄積部４２に蓄積される画像データは、１フィールド分の画像データのうち、低域成分から数サブバンド分の画像データのみを蓄積する方法でもよいものとする。なぜなら、本実施の形態において、画像データを周波数成分に分解することを前提にしているためである。画像データを周波数成分に分解するアルゴリズムとして、ウェーブレット（Wavelet）変換が用いられる。その原理について次に説明する。

図５は、ウェーブレット変換を実行するエンコーダの構成例を示すブロック図である。これは、いくつかあるウェーブレット変換手法の中で、最も一般的なウェーブレット変換であるオクターブ分割を複数レベルにわたり行った例を示している。

図５の例のエンコーダの場合、レベル数が３（レベル１乃至レベル３）であり、画像信号を低域と高域に分割し、かつ、低域成分のみを階層的に分割する構成が採られている。また、便宜上、１次元の画像信号（例えば画像の水平成分）についてのウェーブレット変換を示しているが、これを２次元に拡張することで２次元の画像信号（画像の垂直成分と水平成分）に対応することができる。

レベル１の回路部５１は、ローパスフィルタ６１、ダウンサンプラ６２、ハイパスフィルタ６３、およびダウンサンプラ６４から構成されている。レベル２の回路部５２は、ローパスフィルタ７１、ダウンサンプラ７２、ハイパスフィルタ７３、およびダウンサンプラ７４から構成されている。レベル３の回路部５３は、ローパスフィルタ８１、ダウンサンプラ８２、ハイパスフィルタ８３、およびダウンサンプラ８４から構成されている。

入力画像信号は、回路部５１のローパスフィルタ６１（伝達関数Ｈ０（ｚ））とハイパスフィルタ６３（伝達関数Ｈ１（ｚ））によって帯域分割される。帯域分割により得られた低域成分と高域成分は、それぞれ対応するダウンサンプラ６２，６４によって、解像度がそれぞれ２分の１倍に間引かれる。

ダウンサンプラ６２で間引かれた低域成分（図中におけるＬ（Low）成分）の信号が、回路部５２のローパスフィルタ７１（伝達関数Ｈ０（ｚ））とハイパスフィルタ７３（伝達関数Ｈ１（ｚ））によってさらに帯域分割される。帯域分割により得られた低域成分（図中におけるLL成分）と高域成分（図中におけるLＨ成分）は、それぞれ対応するダウンサンプラ７２，７４によって、解像度がそれぞれ２分の１倍に間引かれる。

またダウンサンプラ７２で間引かれた低域成分（図中におけるLL成分）の信号は、回路部５３のローパスフィルタ８１（伝達関数Ｈ０（ｚ））とハイパスフィルタ８３（伝達関数Ｈ１（ｚ））によってさらに帯域分割される。帯域分割により得られた低域成分と高域成分は、それぞれ対応するダウンサンプラ８２，８４によって、解像度がそれぞれ２分の１倍に間引かれる

このように、所定のレベルまで行うことで、低域成分を階層的に帯域分割した帯域成分が順次生成されていくことになる。つまり、図５の例の場合、レベル３まで帯域分割した結果、ダウンサンプラ６４で間引かれた高域成分（図中におけるH（High）成分）、ダウンサンプラ７４で間引かれた高域成分（図中におけるLH成分）、ダウンサンプラ８４で間引かれた高域成分（図中におけるLLH成分）、ダウンサンプラ８２で間引かれた低域成分（図中におけるLLL成分）が生成される。

図６は、レベル３まで２次元画像を帯域分割した結果得られる帯域成分を示す図である。

図６に示すＬおよびＨの表記法は、１次元信号を扱った図５でのＬおよびＨの表記法とは異なる。すなわち図６の例では、まずレベル１の帯域分割（水平・垂直方向）により４つの成分ＬＬ、ＬＨ、ＨＬ、ＨＨに分割される。ここでＬＬは水平・垂直成分が共にＬであることを意味し、ＬＨは水平成分がＨで垂直成分がＬであることを意味している。次に、ＬＬ成分は再度帯域分割されて、ＬＬＬＬ、ＬＬＨＬ、ＬＬＬＨ、ＬＬＨＨが生成される。さらに、ＬＬＬＬ成分は再度帯域分割されて、ＬＬＬＬＬＬ、ＬＬＬＬＨＬ、ＬＬＬＬＬＨ、ＬＬＬＬＨＨが生成される。この帯域分割された１つの成分をサブバンドという。

このように、補間データ蓄積部４２には、帯域分割した結果得られる帯域成分のうちの低域成分から数サブバンド分の画像データのみが蓄積されるようにしてもよい。また予め決められたサブバンドの画像データのみが蓄積されるようにしてもよい。

なお、ウェーブレット変換処理においては、プログレッシブ順序でのプログレッション符号化処理が実行可能である。より詳細には、空間解像度によるプログレッシブ、ＳＮＲ（Signal to Noise Ratio）、すなわち画質によるプログレッシブ、あるいはカラー成分（ＲＧＢやＹＣｂＣｒ）によるプログレッシブ等、様々なプロックレッション態様に応じた階層符号化処理が可能である。

プログレッション符号化とは、インターネットの画像配信等において多用される符号化処理であり、データ受信端末側では、例えば粗い画像データを先に出力し、順次、細かい画像を出力して表示するなどの段階的な復号表示処理を可能とするものである。プログレッション符号化の一例として、粗い画像に対応する低周波画像データの符号化データから精細な画像に対応する高周波画像データの符号化データを生成する。データの復号、表示を実行する端末では、低周波画像データの符号化データの復号、表示処理をまず実行することで、短時間でディスプレイに粗い概略画像を表示することが可能となり、その後、高周波領域の符号化データを復号し、表示することで、徐々に精細な画像を表示することが可能となる。

プログレッション符号化としては、異なる解像度の段階的処理構成の他に、ＳＮＲすなわち画質を複数段に設定した構成として、低ＳＮＲ（低画質）の符号化データから高ＳＮＲ（高画質）を区別して符号化する構成、さらにカラー成分（ＲＧＢやＹＣｂＣｒ）によるプログレッション、すなわち、カラー成分（ＲＧＢやＹＣｂＣｒ）毎の符号化を実行する構成等がある。

図３の説明に戻る。画像データ出力管理部４３は、画像データ入力切替部４４での入力切替を短時間で行うことができるようにするために、受信データ解析部４１と補間データ蓄積部４２の読み出しポインタを管理情報として管理する。入力切替の判断は、予め設定された閾値により行われ、閾値を超えない場合には、受信データの欠落部分にダミーデータが挿入される。このダミーデータは、前後のラインブロックの相関性が高いデータや中間色のデータとされる。本ブロックにより、フィールドの途中で受信データが欠落しても、１フィールド前の同じラインから画像再生をすることにより、画像の安定性を増すことができる。また画像データ出力管理部４３は、補間データ蓄積部４２に存在しないサブバンドの情報にはダミーデータを挿入する機能を有する。

また画像データ出力管理部４３は、一度ダミーデータを挿入すると、同フィールドまたは予め決められたフィールド内は全てのＮ（ただしＮは１以上）ラインの集合に対し、同サブバンドの正常なデータを削除して同等のダミーデータを挿入する。つまり、ライン・コーデックの場合、ラインまたはラインブロックごとにダミーデータを挿入し、他のラインまたはラインブロックには受信したデータを挿入すると、帯状のノイズがはいったように人間の目には映ることがある。従って、１フィールドにおいて、あるラインまたはラインブロックごとにダミーデータを挿入した場合、１フィールド内または予め決められたフィールド内、それ以降が正常に受信可能なデータ量が揃っていても、同等のダミーデータ数を入れることで、より劣化の見えにくい画像を生成することができる。

画像データ入力切替部４４は、画像データ出力管理部４３または受信データ分離部２１から供給される管理情報に基づいて、受信データ解析部４１から供給される受信データ、または補間データ蓄積部４２から読み出される補間データを適宜選択して受信データ復号部２５に出力する。

画像レート変更要求部４５は、受信データ復号部２５によってデコードする画像ソースが補間データ蓄積部４２から読み出された補間データであった場合、送信局へエンコード・レートの変更要求を開始する。本ブロックは、画像データ入力切替部４４が補間データ蓄積部４２を選択した時点でエンコード・レートの変更要求をすばやく開始することにより、次のフィールドではエンコード・レートを低くすることで伝搬環境が一時的に悪化した場合も安定した画像を再生することができる。また画像レート変更要求部４５は、エンコード・レートだけでなく、例えば、送信局の送信データ生成部１５を制御し、無線回線をレートコントロールすることもできる。

次に、図７のフローチャートを参照して、通信端末装置１が実行する蓄積処理について説明する。

ステップＳ１において、受信データ分離部２１は、アンテナ１９、送受信切替部１８、および物理層Rx２０を介して受信されたデータから画像データを分離する。ステップＳ２において、受信データ分離部２１は、画像データに付加されたRSなどの訂正不能情報やCRCなどのパリティチェックにより１フィールド分の画像データにエラーがないかを確認する。また、受信データ分離部２１でエラー判断せずに、受信データ復号部２５において、データ不足によるダミーデータ挿入（すなわちデコードデータ量）によって、データが欠落したことを判断するようにしてもよい。

ステップＳ３において、受信データ分離部２１は、ステップＳ２の処理による確認の結果、画像データにエラーがあるか否かを判定し、エラーがないと判定した場合、ステップＳ４に進む。ステップＳ４において、受信データ分離部２１は、ステップＳ１の処理で分離した１フィールド分の画像データを補間データ蓄積部４２に待避させ、そこに補間データとして蓄積させる。

ステップＳ５において、画像データ出力管理部４３は、補間データ蓄積部４２に待避されている補間データが２フィールド分あるか否かを判定し、２フィールド分の補間データがあると判定した場合、ステップＳ６に進む。ステップＳ６において、画像データ出力管理部４３は、補間データ蓄積部４２に待避されている２フィールド分の補間データのうち、古いフィールドの補間データを削除する。

ステップＳ５において、補間データ蓄積部４２に待避されている補間データが２フィールド分ないと判定された場合、すなわち、１フィールド目または２フィールド目の蓄積処理であると判定された場合、ステップＳ６の処理はスキップされる。

ステップＳ３において、受信データにエラーがあると判定された場合、ステップＳ７に進み、受信データ分離部２１は、ステップＳ１の処理で分離した１フィールド分の画像データを補間データ蓄積部４２に蓄積させるが、ただちに、画像データ出力管理部４３が、補間データ蓄積部４２に蓄積された補間データを削除する。実際の処理としては、メモリのライトポインタを戻す程度で済む。

このような蓄積処理によって、１フィールド分の画像データが補間データとして補間データ蓄積部４２に待避される。なお、補間データ蓄積部４２が２フィールド分のメモリ領域を有するのは、次に説明する図８の読み出し処理を同時に実行する（以下、ダブル・バッファ処理という）ことができるようにするためである。

なお、ステップＳ３において画像データにエラーがないと判定された場合に、ステップＳ４において１フィールド分の画像データが待避されるようにしたが、エラーの有無による判断に限定されるものではなく、例えば、エラーの度合いが予め設定される閾値を超えたか否かにより判断するようにしてもよい。

また補間データ蓄積部４２に待避される補間データの蓄積領域を２フィールドとしたが、これに限定されるものではない。つまり、フィールドやフレームの相関を用いて、動き保証や予想符号化といった補間情報を類推するアルゴリズムは多く存在し、本実施の形態ではそれらのアルゴリズムを使用することもできる。フィールドやフレームの相関を用いる場合、複数フィールド分のデータを待避する必要があるため、その分のデータを蓄積することが可能なメモリを用意してもよい。さらに、ダブル・バッファ処理を想定したが、メモリ処理を容易に行うための１つの手段であって、この処理方法に限定されるものではなく、その他のメモリ制御方式でもよい。

次に、図８のフローチャートを参照して、通信端末装置１が実行する読み出し処理について説明する。

ステップＳ１１において、受信データ解析部４１は、受信データ復号部２５からデコード情報を受信し、デコード状態を把握する。より具体的には、例えば、受信データ復号部２５で強制デコードの発生頻度を把握する方法がある。強制デコードとは、受信データの一部が受信データ分離部２１でエラーと判断された場合、エラーデータが受信データ復号部２５へ転送されずに削除されるが、その削除されたデータの変わりに挿入するためのダミーデータであって、受信データ復号部２５のデコードに必要なデータ量の辻褄あわせである。他には、受信データ分離部２１のパリティチェック結果を用いてデコード状態を把握するようにしてもよい。

ステップＳ１２において、受信データ解析部４１は、ステップＳ１１の処理で受信したデコード情報に基づいて、受信した画像データのうち、欠落したデータ量が閾値を超えていないかを確認する。ステップＳ１３において、受信データ解析部４１は、ステップＳ１２の処理による確認の結果、欠落したデータが閾値を超えているか否かを判定し、閾値を超えていると判定した場合、ステップＳ１４に進む。

ステップＳ１４において、画像データ出力管理部４３は、受信データのエラーにより、欠落した分のデータを補間するため、受信データ復号部２５でデコード中のデータを元に、画像中のどの位置までデコードしたかのデコード位置を検出する。なお、デコード位置とは、フィールド内のどのラインまたはラインブロックかを判別する情報を持ち、その情報によって判断される位置である。ステップＳ１５において、画像データ出力管理部４３は、ステップＳ１４の処理で得た位置情報を元に、１フィールド前にエラーがない状態で補間データ蓄積部４２の待避領域へ蓄積した補間データの中から、該当する位置を検出する。

ステップＳ１６において、画像データ出力管理部４３は、ステップＳ１５の処理で検出した補間データ蓄積部４２の該当位置から補間データを読み出させ、画像データ入力切替部４４を介して受信データ復号部２５に転送させる。つまり、受信データ復号部２５に入力される画像データは、１フィールドの途中から画像が以前のものになる画像戻りが発生するが、フィールドまたはフレーム間隔が２４ピクチャ以上の動画であれば見た目に問題はない。

ステップＳ１３において、ステップＳ１２の処理による確認の結果、受信した画像データのうち、欠落したデータが閾値を超えていないと判定された場合、ステップＳ１４乃至Ｓ１６の処理はスキップされる。

このような読み出し処理によって、受信データのうちの欠落データが閾値を超えた場合、補間データ蓄積部４２に待避されていた画像データが読み出される。

なお、ステップＳ１２における欠落データの判断を図７のステップＳ２の処理で行わせるようにすれば、ステップＳ１３における処理を行わなくてよい。またステップＳ１５において、データの区切りを１フィールド前としているが、１フィールドの区切りはHSYNCに相当する画面の区切りでなくてもよい。つまり、補間データ蓄積部４２には、１フィールド分に相当するデータを蓄積させるようにすればよい。さらに、ステップＳ１６において、フレーム間隔を２４ピクチャ以上としたが、フレーム間隔はアプリケーション次第であって、特に限定しない。

以上の図７に示した蓄積処理および図８に示した読み出し処理は、同時に行われる。

以上においては、エラー発生頻度が高い無線環境を想定して説明を行ったが、例えば、電話線（ADSLを含む）やLAN（Local Area Network）、電力線、Co-ax、光ファイバといった有線環境でもよい。

また補間データ蓄積部４２では１フィールド分のデータを蓄積するようにしたが、補間データの大きさは特に限定しない。例えば、複数フィールド毎に蓄積することにより、画像データ入力切替部４４の切替時間を長くすることで、より安定した画像再生を行うことができる。さらに補間データ蓄積部４２には、低域の画像から数サブバンド分の画像データを蓄積することでメモリ量を減らし、かつ、見た目にはロスが見えにくい動画を実現することも可能である。

また、補間データとして、テレビジョン受像機やLCD等の最終段にある表示装置に実装されるバッファがあることを想定してもよい。通常、表示装置には数フィールドまたはフレーム分のデータを蓄積するメモリが設けられている。このメモリに、表示装置に実装されるバッファを停止させる停止機能を設け、補間データ蓄積部４２の代用を表示装置のバッファに行わせることもできる。この場合、補間データ蓄積部４２からの画像ソース入力が必要と判断された場合、補間データ蓄積部４２の制御によって、表示装置のバッファを一時的に停止させる。

次に、ラインベース・コーデックを用いた通信端末装置１において、画像圧縮レート（伝送レート）を変更する場合の処理について説明する。

まず、図９のフローチャートを参照して、通信端末装置１の送信局が実行する送信処理について説明する。

ステップＳ２１において、送信データ生成部１５は、エンコードのコンフィグレーションを行い、エンコードを開始する。ステップＳ２２において、受信データ分離部２１は、送受信局間にシステム制御を行うためのコマンド制御を利用して、通信相手から送信されてきたエンコード設定値に関するレート変更要求をアンテナ１９、送受信切替部１８、および物理層Rx２０を介して受信する。

ステップＳ２３において、画像レート変更要求部４５は、ステップＳ２２の処理で受信したエンコードに関する設定変更要求に基づいて、エンコード・レートの変更を行なうため再コンフィグレーションを行うとともに、通信相手が要望するエンコード・レート変更用パラメータを送信データ生成部１５に設定させる。ただし、レート変更はコーデックに関するものに限らず、例えば、エンコード・レートの再コンフィグレーションと通信用コンフィグレーションを行うようにしても良い。

ステップＳ２４において、送信データ生成部１５は、入力クロックが変更された等の動作不確定要素が発生するため、ここでリセットする。ステップＳ２５において、送信データ生成部１５は、ステップＳ２３の処理で設定されたエンコード・レート変更用パラメータを元にエンコードし、物理層Tｘ１７、送受信切替部１８、およびアンテナ１９を介して通信相手へ送信する。

このような送信処理によって、通信相手から要求のあったエンコード・レートに設定を変更し、変更された伝送レートでデータを送信することができる。

次に、図１０のフローチャートを参照して、通信端末装置１の受信局が実行する受信処理について説明する。

ステップＳ３１において、受信データ分離部２１は、受信データ解析部４１の復号ラインと補間データ蓄積部４２の読み出しリンクを開始する。受信データ分離部２１は、アンテナ１９、送受信切替部１８、および物理層Rx２０を介して受信した伝送データから画像データのみを抽出し、受信データ解析部４１および補間データ蓄積部４２に供給する。

補間データ蓄積部４２には、１フィールド以上前で、かつ、伝送エラーがない画像が蓄積されている。そのため、受信データ解析部４１に入力される画像データ情報が不足している、つまり、伝送路でのパケット損出による原因等の理由により、デコード側で、予め設定してある閾値以上にエラーが発生していることが確認された場合、画像データ入力切替部４４は、受信データ復号部２５へ入力する画像ソースを受信データ解析部４１から補間データ蓄積部４２へ変更する。本画像ソースの変更は、従来のようなフィールドまたはフレーム単位ではなく、ライン単位または受信データ復号部２５のデコード処理単位であるラインブロック単位（例えば、１６ラインを１ラインブロックとする）で行えるようにするため、受信データ分離部２１から受信するパケットには、図４に示したように、ラインブロック番号やサブバンド番号を判断するための情報が含まれている。

画像データ出力管理部４３は、受信データ解析部４１または補間データ蓄積部４２へ入力されるラインブロック番号またはサブバンド番号を監視して、それらのリンクを取ることにより、受信データ復号部２５に入力される画像をよりエラーの少ない状態で挿入している。

ステップＳ３２において、受信データ分離部２１は、受信データの欠落率と予め設定してある閾値とを比較し、受信データの欠落率（またはエラー発生率）が閾値を超えたと判定した場合、ステップＳ３３に進む。ステップＳ３３において、画像データ入力切替部４４は、読み出し元を受信データ解析部４１から補間データ蓄積部４２へ変更する。

ステップＳ３４において、画像レート変更要求部４５は、通信相手へエンコード・レートを変更したい旨を送信データ生成部１５、物理層Tx１７、送受信切替部１８、およびアンテナ１９を介してコマンド送信によって要求する。

ステップＳ３５において、受信データ復号部２５は、入力クロックが変更された等の動作不確定要素が発生するため、ここでリセットし、次のフィールドのデコードを準備する。ステップＳ３６において、受信データ分離部２１は、通信相手によって変更されたエンコード・レートでデータの受信を開始し、そのレートでの受信データ欠落を監視し、受信データの欠落率が閾値を下回ったか否かを判定し、受信データの欠落率が閾値を下回っていないと判定した場合、ステップＳ３４に戻り、それ以降の処理を繰り返す。

ステップＳ３６において、受信データの欠落率が閾値を下回ったと判定された場合、ステップＳ３７に進み、画像データ入力切替部４４は、ステップＳ３５の処理で受信データの安定性が確認されたため、デコードするデータの読み出し元を、補間データ蓄積部４２から受信データ解析部４１へ変更する。なお、最下段のエンコード・レートでも閾値を下回っている場合、通信悪化状況に関する情報を表示装置（図示せず）に転送し、表示させるようにしてもよい。

ステップＳ３２において、受信データの欠落率が閾値を超えていないと判定された場合、ステップＳ３８に進み、受信データ分離部２１は、受信データの欠落があるか否かを判定する。ステップＳ３２において、受信データの欠落があると判定された場合、ステップＳ３９に進み、受信データ解析部４１は、例えば、画像フィルタを用いた前後左右の画像情報からの推測などを行ってダミーデータを挿入することにより、エラーが閾値内である受信データの簡易的な補間処理を行う。得られた補間データは、画像データ入力切替部４４を介して受信データ復号部２５に出力される。

一方、ステップＳ３８において、受信データの欠落があると判定された場合、ステップＳ３９の処理はスキップされ、この受信処理は終了される。

このような受信処理によって、受信データの欠落率が閾値を超えた場合、待避してある補間データをデコードに用いることができる。また、そのとき、エンコード・レートの変更要求を通信相手に送信することにより、次に送信されてくるデータのエンコード・レートを低くさせ、伝搬環境を良好にすることができる。

以上においては、エンコード・レートを下げる場合の例を説明したが、これに限らず、エンコード・レートを上げる場合にも同様に適用することが可能である。

なお、ステップＳ３１において、受信データ復号部２５のデコード処理単位であるラインブロックのライン数を１６ラインとしたが、そのライン数は特に限定しない。また補間データ蓄積部４２に蓄積する画像データは、伝送エラーがない画像データとしたが、１フィールド分のデータを全て蓄積する必要はない。さらに補間データ蓄積部４２には、低域の画像から数サブバンド分の画像データを蓄積することでメモリ量を減らし、かつ、見た目にはロスが見えづらい動画を実現することも可能とする。

またステップＳ３５において、受信データ復号部２５を一度リセットしているが、次のフレームから画像サイズの異なるデータを受信することが可能な場合にはリセットする必要はない。一般的に、画像サイズが途中から変わってしまうとデコードする動作タイミングが変わってしまうため、動作タイミング（特に動作クロック）が変更された場合の動作保証が大変なため、途中での動作不具合を解決させるために画像圧縮ブロックのみを部分的にリセット処理を行うのが普通である。

ところで、上述したような画像データの補間処理を行っている際には、伝送環境が悪くなっており、その時の音声データの処理においても適切な対応をとる必要がある。次に、ラインベース・コーデックを用いた通信端末装置１において、画像データと音声データがリンクされている場合の音声データの受信処理について説明する。

図１１は、画像データと音声データがリンクされているラインベース補間部３１の他の詳細な構成例を示すブロック図である。

図１１において、点線矢印は制御信号の流れを示し、実線矢印はデータの流れを示している。また図３と対応する構成については同一の符号を付してあり、その説明は適宜省略する。ただし、図２の送信データ圧縮部１２および受信データ復号部２５は、画像処理だけでなく、音声処理も行うものとする。音声処理方法に関しては、例えば、MP3（MPEG Audio Layer-3）、WMA（Windows（登録商標）Media Audio）、RealAudio、ATＲAC（Advanced TRansform Acoustic Coding）のような圧縮方式、あるいはPCM（Pulse code modulation）のようなAD変換後のデータ等が含まれる。

受信データ解析部１０１は、受信データ分離部２１からの受信データを解析し、受信データが画面のどのラインに対応する音声データであるかを把握する。本ブロックは、ライン単位でなく、ラインベース・コーデックが１フィールドよりも小さな複数ライン単位で処理を行う場合、そのラインの集合単位でもよい。

低周波検出・ミュート生成部１０２は、過去の音声データを蓄積するのではなく、無音状態を作り出すデータ（以下、ミュートデータという）を生成する機能と、高周波音を出力しないようにするために音声データをミュートデータに置き換える最適なポイントを検索する機能を有する。

音声データ出力管理部１０３は、音声データ入力切替部１０４での入力切替を短時間に行えるようにするために、受信データ解析部１０１と低周波検出・ミュート生成部１０２の読み出しポインタを管理情報として管理する。本ブロックにより、フィールドの途中で受信データが欠落しても、ラインベース・コーデックに適した安定性のある音声を得ることができる。

音声データ入力切替部１０４は、音声データ出力管理部１０３または受信データ分離部２１からの管理情報に基づいて、受信データ解析部１０１から供給される受信データまたは低周波検出・ミュート生成部１０２から供給されるミュートデータを適宜選択して受信データ復号部２５に出力する。

次に、図１２のフローチャートを参照して、図１１に示した通信端末装置１の受信局が実行する受信処理について説明する。

ステップＳ５１およびステップＳ５２の処理は、図８のフローチャートを用いて説明したステップＳ１１およびステップＳ１２の処理と同様であるため、その説明は省略する。

ステップＳ５３において、低周波検出・ミュート生成部１０２は、音声データのエラーが閾値を超えたか否かを判定し、閾値を超えたと判定するまで処理を繰り返す。そして、音声データのエラーが閾値を超えたと判定された場合、ステップＳ５４に進み、低周波検出・ミュート生成部１０２は、音声をミュートするか否かを判定する。この処理では、音声が低周波用データになるまで繰り返し判定が行われる。

ステップＳ５４において、音声をミュートすると判定された場合、すなわち、音声が低周波用データになったと判定された場合、ステップＳ５５に進み、低周波検出・ミュート生成部１０２は、音声にミュートデータを挿入する。このミュートデータは、例えば、周波数成分が０のデータなどが生成されて挿入される。

ステップＳ５６において、受信データ分離部２１は、パリティ・チェックの情報などにより受信環境が回復したか否かを判定し、受信環境が回復したと判定するまで処理を繰り返す。そして、受信環境が回復したと判定された場合、ステップＳ５７に進み、音声データ入力切替部１０４は、音声データを受信データ解析部１０１から受信する受信データに戻す。その後、この受信処理は終了される。

このような受信処理によって、画像データの補間処理を行っている際に音声データを適切にミュートすることで、画像データと音声データをリンクさせることができる。また、ステップＳ５６において、エンコード・レートの変更要求を通信相手に送信することにより、次に送信されてくるデータのエンコード・レートを低くさせ、伝搬環境を良好にするようにしてもよい。

さらに、動画のシーン・チェンジのような画質が大きく変化する場合においても適切な対応をとる必要がある。すなわち、上述したコーデックでは、フレーム間でやりとりする情報がMPEGやJPEG2000といったコーデックほどではないにしても、少量のパラメータ情報を時間軸方向で受け渡した方が、画質が良くなっている。しかしながら、シーン・チェンジやチャンネル切替のような状況下での使用方法が問題になる。そこで、ラインベース・コーデックを用いた図２の通信端末装置１において、動画のシーン・チェンジが起きた場合の再生処理について、図１３のフローチャートを参照して説明する。

ステップＳ６１において、画像データ出力管理４３は、シーン・チェンジを把握する。ステップＳ６２において、画像データ出力管理部４３は、受信データ復号部２５でデコード中のデータを元に、画像中のどの位置までデコードしたかを検出する。ステップＳ６３において、画像データ出力管理部４３は、ステップＳ６２の処理で得た位置情報を元に、１フィールド前にエラーがない状態で補間データ蓄積部４２の待避領域へ蓄積した補間データの中から、該当する位置を検出する。

ステップＳ６４において、画像データ出力管理部４３は、ステップＳ６３の処理で検出した補間データ蓄積部４２の該当位置から補間データを読み出させ、画像データ入力切替部４４を介して受信データ復号部２５に転送させる。つまり、シーン・チェンジが発生した場合、補間データ蓄積部４２に蓄積されている１つ前のフィールドが再生される。また、受信データ復号部２５は、シーン・チェンジにおけるフレーム間で必要なパラメータ情報を収集し、画像レート変更要求部４５は、通信相手にフレーム間パラメータの再コンフィグレーションを要求する。

ステップＳ６５において、受信データ復号部２５は、シーン・チェンジにおける１フィールド分のパラメータ情報を収集して蓄積する間、補間データ蓄積部４２から読み出された補間データを復号し、再生する。なお、パラメータ情報は、過去の情報を参照することで収集される。

ステップＳ６６において、受信データ復号部２５は、２フィールド目のパラメータ収集であるか否かを判定し、まだ２フィールド目でない、すなわち１フィールド目のパラメータ収集中であると判定した場合、ステップＳ６５に戻り、上述した処理を繰り返す。

ステップＳ６６において、２フィールド目のパラメータ収集であると判定された場合、ステップＳ６７に進み、画像データ入力切替部４４は、再生するデータの読み出し元を、補間データ蓄積部４２から受信データ解析部４１へ変更する。その後、この再生処理は終了される。

このような再生処理によって、動画のシーン・チェンジが起きた場合にも画質を悪化させることなく再生させることができる。また、ステップＳ６５において、シーン・チェンジにおける１フィールド分のパラメータ情報を補間データ再生の間に収集するようにしているが、これに限らず、１フレーム分のパラメータ情報を収集するようにしたり、あるいは、放送チャネル切替を行ってもよい。放送チャネル切替を行った場合、チューナが周波数切替を行うために黒のフィールドを表示させることが多い。その黒のフィールドを再生中にパラメータ情報を収集してもよい。さらに、パラメータ情報は、過去の情報を参照することで収集されるが、シーン・チェンジや放送チャネル切替時にはパラメータに相関がない可能性が高いため、設定を初期化するようにしてもよい。

以上においては、ラインベース・コーデックを使用することによって、画像データを1フィールド分持つ必要がないため画像補間が困難になるが、受信局の受信データ復号部２５の前段に、データ欠落のない圧縮された画像データを保持し、事前に設定した閾値を超えた場合には、受信データと補間データを切り替える機能を有するラインベース補間部３１を設けるようにしたので、画像補間を小規模のメモリで実現することが可能となる。

また、通信環境が悪化した場合、補間用メモリを用いた高速なエンコード・レート変更方法により良好にすることができる。コーデックレートの変更により、入力クロックが変わる可能性があるが、補間用メモリを利用してコーデックを再コンフィグレーションすることで対応することが可能である。

また、ラインベース・コーディックで使用するウェーブレット変換の特徴を活かし、補間データ蓄積部４２に蓄積するサブバンド数を削減することにより、メモリ削減を実現することが可能である。

また、ラインベース・コーデックで補間処理を行っている場合の音声データのミュートのタイミングは、画像データと音声データをリンクさせることにより最適に制御することができる。

さらに、シーン・チェンジが起きた場合、補間用メモリを用いて、ラインベース・コーディック独自の問題となる設定パラメータの誤差を調整する時間を作り出すことで、最適なパラメータで画像を再生することが可能となる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１４は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。

CPU(Central Processing Unit)２０１は、ROM(Read Only Memory)２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)２０３には、CPU２０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。

CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。

入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１４に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１、または、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

従来の通信端末装置の構成例を示すブロック図である。 本発明の一実施形態に係る通信端末装置の構成例を示すブロック図である。 図２のラインベース補間部の詳細な構成例を示すブロック図である。 画像データの圧縮後のデータフォーマットを示す図である。 ウェーブレット変換を実行するエンコーダの構成例を示すブロック図である。 レベル３まで２次元画像を帯域分割した結果得られる帯域成分を示す図である。 蓄積処理を説明するフローチャートである。 読み出し処理を説明するフローチャートである。 送信処理を説明するフローチャートである。 受信処理を説明するフローチャートである。 画像データと音声データがリンクされているラインベース補間部の他の詳細な構成例を示すブロック図である。 受信処理を説明するフローチャートである。 再生処理を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ 通信端末装置，１５ 送信データ生成部， ２１ 受信データ分離部， ２５ 受信データ復号部， ３１ ラインベース補間部， ４１ 受信データ解析部， ４２ 補間データ蓄積部， ４３ 画像データ出力管理部， ４４ 画像データ入力切替部， ４５ 画像レート変更要求部， １０１ 受信データ解析部， １０２ 低周波検出・ミュート生成部， １０３ 音声データ出力管理部， １０４ 音声データ入力切替部

Claims (22)

1. 画像の１フィールドをＮ（Ｎは１以上）ラインの集合に分割し、その集合毎にコーデックを行う通信装置において、
   受信データから画像データを分離する分離手段と、
   前記分離手段により分離された前記画像データのエラーを判定する判定手段と、
   前記判定手段により前記画像データにエラーがないと判定された場合、前記画像データを補間データとして蓄積する蓄積手段と、
   前記画像データを復号する復号手段と、
   前記判定手段により前記画像データにエラーがあると判定され、かつ、前記画像データのうちの欠落データが閾値を超えていると判定された場合、前記画像データのデコード位置、および、前記蓄積手段に蓄積されている前記補間データの該当位置を検出する第１の検出手段と、
   前記第１の検出手段により検出された前記デコード位置および前記蓄積手段の該当位置に基づいて、前記蓄積手段に蓄積されている前記補間データを読み出す読み出し手段と
   を備える通信装置。
2. 前記判定手段は、前記復号手段からのデコード情報を取得し、前記画像データのうちの欠落データが閾値を超えているか否かを判定する
   請求項１に記載の通信装置。
3. 前記蓄積手段は、予め決められたサブバンドの画像データのみを蓄積する
   請求項１に記載の通信装置。
4. 前記画像データまたは前記読み出し手段により読み出された前記補間データを選択して前記復号手段へ転送する画像入力切替手段をさらに備える
   請求項１に記載の通信装置。
5. 前記復号手段は、再コンフィグレーションをさらに行い、
   前記画像入力切替手段は、前記再コンフィグレーション中、前記読み出し手段により読み出される前記補間データを選択する
   請求項４に記載の通信装置。
6. 前記蓄積手段にそれ以上蓄積できない場合、蓄積されている補間データのうち最も古い補間データを削除する削除手段をさらに備える
   請求項１に記載の通信装置。
7. 前記判定手段により前記欠落データが閾値を超えていると判定された場合、通信相手にレート変更を要求する要求手段をさらに備える
   請求項１に記載の通信装置。
8. 通信相手から要求されたエンコード・レートに変更して画像圧縮を行なう圧縮手段と、
   前記圧縮手段により画像圧縮された画像データを送信する送信手段と
   をさらに備える請求項１に記載の通信装置。
9. 前記分離手段は、前記受信データから音声データをさらに分離し、
   前記判定手段は、前記分離手段により分離された前記音声データが閾値を超えているか否かをさらに判定し、
   前記判定手段により前記音声データが閾値を超えていると判定された場合、前記音声データにミュートデータを挿入する挿入手段をさらに備える
   請求項１に記載の通信装置。
10. 前記画像データのシーンチェンジを検出する第２の検出手段をさらに備え、
    前記第２の検出手段によりシーンチェンジが検出された場合、前記第１の検出手段は、前記デコード位置および前記蓄積手段の該当位置に基づいて、前記蓄積手段に蓄積されている前記補間データを読み出す
    請求項１に記載の通信装置。
11. 前記第２の検出手段によりシーンチェンジが検出された場合、通信相手にフレーム間パラメータの再コンフィグレーションを要求する要求手段をさらに備える
    請求項１０に記載の通信装置。
12. 前記判定手段は、前記画像データに付加されたパリティ情報、または、前記復号手段におけるデコードデータ量に基づいて、前記画像データのエラーを判定する
    請求項１に記載の通信装置。
13. 前記蓄積手段は、複数のサブバンドの画像データを蓄積し、
    前記第１の検出手段は、前記蓄積手段に存在しないサブバンドのデータにはダミーデータを挿入する
    請求項１に記載の通信装置。
14. 前記復号手段が行う前記画像データのデコード位置、および、前記蓄積手段における前記補間データの読み出し位置をリンクさせるとともに、閾値に基づいて前記画像データまたは前記補間データの選択を切り替える管理手段をさらに備える
    請求項１に記載の通信装置。
15. 前記管理手段は、閾値を超えない場合、前記画像データの欠落部分にダミーデータを挿入する
    請求項１４に記載の通信装置。
16. 前記ダミーデータは、前後のラインブロックの相関性が高いデータまたは中間色のデータである
    請求項１５に記載の通信装置。
17. 前記管理手段は、一度ダミーデータを挿入すると、同フィールドまたは予め決められたフィールド内の全てのＮ（Ｎは１以上）ラインの集合に対し、同サブバンドの正常なデータを削除して同等のダミーデータを挿入する
    請求項１５に記載の通信装置。
18. 画像の１フィールドをＮ（Ｎは１以上）ラインの集合に分割し、その集合毎にコーデックを行う通信装置の通信方法において、
    受信データから画像データを分離し、
    分離された前記画像データのエラーを判定し、
    前記画像データにエラーがないと判定された場合、前記画像データを補間データとして蓄積し、
    前記画像データを復号し、
    前記画像データにエラーがあると判定され、かつ、前記画像データのうちの欠落データが閾値を超えていると判定された場合、前記画像データのデコード位置、および、蓄積されている前記補間データの該当位置を検出し、
    検出された前記デコード位置および前記該当位置に基づいて、蓄積されている前記補間データを読み出す
    ステップを含む通信方法。
19. 画像の１フィールドをＮ（Ｎは１以上）ラインの集合に分割し、その集合毎にコーデックを行う通信装置の通信処理をコンピュータに実行させるプログラムにおいて、
    受信データから画像データを分離し、
    分離された前記画像データのエラーを判定し、
    前記画像データにエラーがないと判定された場合、前記画像データを補間データとして蓄積し、
    前記画像データを復号し、
    前記画像データにエラーがあると判定され、かつ、前記画像データのうちの欠落データが閾値を超えていると判定された場合、前記画像データのデコード位置、および、蓄積されている前記補間データの該当位置を検出し、
    検出された前記デコード位置および前記該当位置に基づいて、蓄積されている前記補間データを読み出す
    ステップを含む処理をコンピュータに実行させるプログラム。
20. 画像の１フィールドをＮ（Ｎは１以上）ラインの集合に分割し、その集合毎にコーデックを行う通信送受信装置において、
    受信データから画像データを分離する分離手段と、
    前記分離手段により分離された前記画像データのエラーを判定する判定手段と、
    前記判定手段により前記画像データにエラーがないと判定された場合、前記画像データを補間データとして蓄積する蓄積手段と、
    前記画像データを復号する復号手段と、
    前記判定手段により前記画像データにエラーがあると判定され、かつ、前記画像データのうちの欠落データが閾値を超えていると判定された場合、前記画像データのデコード位置、および、前記蓄積手段に蓄積されている前記補間データの該当位置を検出する検出手段と、
    前記検出手段により検出された前記デコード位置および前記蓄積手段の該当位置に基づいて、前記蓄積手段に蓄積されている前記補間データを読み出す読み出し手段と、
    通信相手にレート変更を要求する要求手段と、
    前記通信相手からレート変更に関する情報が送信されてきた場合、その情報に含まれるエンコード・レートに変更して画像圧縮を行なう圧縮手段と、
    前記圧縮手段により画像圧縮された画像データを送信する送信手段と
    を備える通信送受信装置。
21. 画像の１フィールドをＮ（Ｎは１以上）ラインの集合に分割し、その集合毎にコーデックを行う通信送受信装置の通信送受信方法において、
    受信データから画像データを分離し、
    分離された前記画像データのエラーを判定し、
    前記画像データにエラーがないと判定された場合、前記画像データを補間データとして蓄積し、
    前記画像データを復号し、
    前記画像データにエラーがあると判定され、かつ、前記画像データのうちの欠落データが閾値を超えていると判定された場合、前記画像データのデコード位置、および、前記蓄積手段に蓄積されている前記補間データの該当位置を検出し、
    検出された前記デコード位置および前記蓄積手段の該当位置に基づいて、蓄積されている前記補間データを読み出し、
    通信相手にレート変更を要求し、
    前記通信相手からレート変更に関する情報が送信されてきた場合、その情報に含まれるエンコード・レートに変更して画像圧縮を行ない、
    前記画像圧縮された画像データを送信する
    ステップを含む通信送受信方法。
22. 画像の１フィールドをＮ（Ｎは１以上）ラインの集合に分割し、その集合毎にコーデックを行う通信送受信装置の通信送受信処理をコンピュータに実行させるプログラムにおいて、
    受信データから画像データを分離し、
    分離された前記画像データのエラーを判定し、
    前記画像データにエラーがないと判定された場合、前記画像データを補間データとして蓄積し、
    前記画像データを復号し、
    前記画像データにエラーがあると判定され、かつ、前記画像データのうちの欠落データが閾値を超えていると判定された場合、前記画像データのデコード位置、および、前記蓄積手段に蓄積されている前記補間データの該当位置を検出し、
    検出された前記デコード位置および前記蓄積手段の該当位置に基づいて、蓄積されている前記補間データを読み出し、
    通信相手にレート変更を要求し、
    前記通信相手からレート変更に関する情報が送信されてきた場合、その情報に含まれるエンコード・レートに変更して画像圧縮を行ない、
    前記画像圧縮された画像データを送信する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images