JP2008028541A - 情報処理装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】画像データを低遅延かつ効率よく伝送する。
【解決手段】制御部３１は、並び替え処理部３３を制御して、ラインベース・ウェーブレット変換されたプレシンクト単位の画像データを、その周波数成分ごとに記憶領域をまとめるように並び替えバッファ３４に蓄積させる。また、制御部３１は、パケタイズ部３５を制御して、並び替えバッファ３４に蓄積された画像データを周波数成分毎に読み出させてパケット化させ、ネットワークインタフェース３６を制御して、そのパケットを順次ネットワークに出力させる。本発明は、ビデオカメラに適用することができる。
【選択図】図４

Description

本発明は、情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、画質劣化を最小限に抑え、しかも低遅延かつ効率よく処理することができるようにした情報処理装置および方法、プログラム、並びに記録媒体に関する。

従来、通信路として有線を使用する有線通信と、無線を使用する無線通信とがある。WLAN（Wireless Local Area Network），Bluetooth，UWB（Ultra Wide Band），WiMax（Worldwide Interoperability for Microwave Access）などの無線通信路は、有線通信路に比べて帯域が限られているため、無線通信路で動画像を伝送するには圧縮してデータ量を減らす必要がある。

動画像コーデックとして、例えば、MPEG（Moving Picture Experts Group）-2，MPEG-4，AVC（Advanced Video Coding）などがあるが、ピクチャ間相関を取ったり、動き補償を行ったりするために、０．１秒乃至０．５秒程度のコーデック遅延が生じる恐れがあった。また、別の問題として、圧縮されたビットストリームにピクチャ間の相関があるため、あるピクチャでロスが発生すると後続するピクチャにロスが伝播する問題があり、ロスによる画質劣化の影響が大きくなってしまう恐れがあった。

これらの問題を回避するために、低遅延かつロス耐性を満足するコーデックとして、DV (Digital Video)，JPEG（Joint Photographic Experts Group），JPEG2000などがある。これらのコーデックはピクチャ内圧縮であるため、コーデック遅延が１ピクチャと短いうえ、ロスによる影響もそのピクチャ内に閉じたものになるので、無線通信路での低遅延伝送を実現するコーデックとして適している。

例えばJPEG2000においてはウェーブレット変換が用いられる。離散ウェーブレット変換において、原画像は、各水平画素列に対して一次元ウェーブレット畳み込み(one-dimensional wavelet convolution)が行われ、低周波数情報を含む副画像と高周波数情報を含む副画像との２つの副画像に分割される。さらに、各副画像は、それぞれ、各垂直画素行に対して同様の畳み込みが行われ、低周波数情報及び高周波数情報の２つの副画像に分割される。

つまり、図１に示されるように、原画像であるベースバンド信号１は、４つのサブバンド即ち副画像（ＨＨ，ＨＬ，ＬＨ，ＬＬ）に分解される。ＬＬ副画像は、垂直及び水平双方のウェーブレット畳み込みからの低周波数情報を含むものである。ＬＨ副画像は、水平ウェーブレット畳み込みからの低周波数画像情報と、垂直ウェーブレット畳み込みからの高周波数画像情報とを含むものである。ＨＬ副画像は、水平ウェーブレット畳み込みからの高周波数情報と、垂直ウェーブレット畳み込みからの低周波数画像情報とを含むものである。ＨＨ副画像は、垂直及び水平双方のウェーブレット畳み込みからの高周波数情報を含むものである。各副画像は、原画像の１／４のサイズであり、原画像の１／４のデータ点数を含む。

このようなウェーブレット変換は、得られたＬＬ副画像に対して繰り返し行われる。つまり、図１に示されるように、原画像をウェーブレット変換して得られた第１分解レベルの副画像を、それぞれ、１ＨＨ，１ＨＬ，１ＬＨ、および１ＬＬ（図示せず）とすると、１ＬＬ副画像に対してさらにウェーブレット変換が行われ、第２分解レベルの副画像である、２ＨＨ，２ＨＬ，２ＬＨ、および２ＬＬ（図示せず）に分割され、その２ＬＬ副画像に対してさらにウェーブレット変換がなされ、第３レベルの副画像である、３ＨＨ，３ＨＬ，３ＬＨ、および３ＬＬに分割される。このように、ウェーブレット変換が繰り返し行われ、変換後信号２においては、副画像が階層構造を形成する。

このような、ウェーブレット変換を用いて圧縮された画像データを伝送させる際に、単一分解レベルにおける単一行のデータ全てを（サブバンド（例えば、３ＨＬ，３ＬＨ，および３ＨＨ）の同一行を隣接行ブロックとして）共に伝送させることにより、転送中に前もって画像を視認可能とすると共に、画像が所望のものでないことがわかった場合早い時期に転送を終了させられる方法がある（例えば、特許文献１参照）。

この方法の場合、例えば、ウェーブレット変換された、図２に示されるような階層構造を有する変換後信号２は、まず、２ＬＬ副画像の各行が上から、２ＬＬ−１、２ＬＬ−２，・・・の順で伝送される。次に、２ＨＬ副画像、２ＬＨ副画像、および２ＨＨ副画像の各行が、上から順に伝送される。例えば、２ＨＬ−１，２ＬＨ−１，２ＨＨ−１，２ＨＬ−２，２ＬＨ−２，２ＨＨ−２，・・・・の順で伝送される。そして、次に、１ＨＬ副画像、１ＬＨ副画像、および１ＨＨ副画像の各行が、上から順に伝送される。例えば、１ＨＬ−１，１ＬＨ−１，１ＨＨ−１，１ＨＬ−２，１ＬＨ−２，１ＨＨ−２，・・・・の順で伝送される。

また、さらに低遅延を実現するコーデックとして、JPEG2000をタイル分割して符号化する低遅延符号化方式が提案されている（例えば、非特許文献１参照）。これは、JPEG2000のタイル構造を利用し、１つの画面を複数のタイルに分割し、各タイルについて並列にエンコード処理を行う方法である。１つのタイルは１枚のJPEG2000画像と同じように圧縮され、ピクチャより細かい粒度で処理を行えるため、コーデック遅延を１ピクチャ以下に抑えることができる。

さらに、ラインベース・ウェーブレット変換を用いたコーデック技術がある。これは、原画像のベースバンド信号の１ラインをスキャンするごとに横方向のウェーブレット変換を行い、一定ライン読み込みごとに縦方向のウェーブレット変換を行っていく。例えば、ベースバンド８ラインごとに縦方向のウェーブレット変換を行うとすると、ウェーブレット３分解の場合、その８ラインに対して、最低域３ＬＬ副画像の１ライン、その次のレベルのサブバンド３Ｈ（３ＨＬ，３ＬＨ，３ＨＨ）が各１ライン、さらに次のレベルのサブバンド２Ｈ（２ＨＬ，２ＬＨ，２ＨＨ）が各２ライン、さらに最高域１Ｈ（１ＨＬ，１ＬＨ，１ＨＨ）が各４ライン生成される。

なお、この各サブバンドのラインの集合をプレシンクトと称する。つまり、１プレシンクトは、ラインベース・ウェーブレット変換の処理単位となるライン数を示す。また、プレシンクトにおける各レベルのサブバンド（３ＬＬ以外は３つのサブバンドから構成）のラインの集合をアラインユニットと称する。すなわち、１つのプレシンクトのサブバンドは、４つのアラインユニット（３ＬＬ，３Ｈ，２Ｈ，１Ｈ）から構成される。

つまり、例えば、図３の左側に示されるベースバンド信号１において８ラインであったプレシンクト（図中斜線部分）は、図３の右側に示されるように、ラインベース・ウェーブレット変換された変換後信号２の１Ｈにおいて、１ＨＬ，１ＬＨ、および１ＨＨのそれぞれの４ライン（図中斜線部分）、２Ｈにおいて、２ＨＬ，２ＬＨ、および２ＨＨのそれぞれの２ライン（図中斜線部分）、３ＬＬ、３ＨＬ、３ＨＬ、および３ＨＨのそれぞれの１ライン（図中斜線部分）として構成される。

このようなラインベース・ウェーブレット変換処理は、JPEG2000のタイル分割と同様、１枚のピクチャをより細かい粒度に分解して処理を行うことができ、この変換処理を利用することにより低遅延化を図ることができる。ただし、ラインベース・ウェーブレット変換の場合、JPEG2000のタイル分割とは異なり、ベースバンド信号１での分割ではなく、ウェーブレット係数での分割であるため、さらに、タイル境界でのブロックノイズ的な画質劣化が発生しないという特徴も有する。

このようなラインベース・ウェーブレット変換を用いて圧縮されたデータを無線通信路で伝送する場合、ロス耐性を上げる方法として、既存の階層符号化データ（JPEG2000 codestreamなど）の伝送と同様に、低域から順番に送ることができる。

特開平８−２４２３７９号公報 KDDI研究所、「JH-3000N」製品カタログ、April,2006

しかしながら、１つのプレシンクトのデータ量がかなり小さく、幅1920ピクセル、高さ1080ピクセル、60fps（Frame Per Second）のHD（High-Definition）映像においては、１つのプレシンクトのデータ量は、１つのピクチャのデータ量の約1/135（＝8/1080）になり、エンコードレート35Mbps（Bit Per Second）の場合、１つのプレシンクトのデータサイズは、約1080バイト（＝35*1000*1000/8/30/135）となるが、この１つのプレシンクトのデータを１つのパケットとしてパケタイズし、伝送するとパケットロスが発生した場合、ベースバンド信号８ラインに相当するデータが帯状に欠落するため、画質劣化を認識しやすい恐れがあった。

また、ウェーブレットの特長を活かすには、３ＬＬ，３Ｈ，２Ｈ、および１Ｈを別パケットで伝送する必要があるが、パケットサイズが小さいと、無線における物理層やMAC（Media Access Control）層（PHY/MAC）のヘッダやペイロードヘッダ（プレシンクト番号の情報、３ＬＬ／３Ｈ／２Ｈ／１Ｈの区別、Ｙ／Ｃの情報などを含む）のオーバヘッドが大きくなってしまう恐れがあった。また、パケット数が増えることで、IFS（Inter Frame Space）、RTS(Request To Send)、CTS(Clear To Send)が多く発生し、伝送効率が悪くなってしまう恐れもあった。

従って、画質劣化を最小限に抑え、しかも低遅延かつ効率よく伝送するためには、それらのバランスを考えたアーキテクチャが必要である。

なお、特許文献１の方法は、比較的低速の通信チャネル上でウェーブレット変換を用いて圧縮された画像データを伝送する方法であり、この方法における隣接行ブロックは、原画像１全体に対するウェーブレット変換により生成された各サブバンドの同一レベルの同一ラインをまとめたものであり、ラインベースでウェーブレット変換を行うラインベース・ウェーブレット変換を用いて圧縮された画像データに対して、この伝送方法を適用しても、特に低周波成分（３ＬＬ等）において、データ量が少なく、伝送効率が低下する恐れがあった。すなわち、特許文献１に記載の伝送方法を、ラインベース・ウェーブレット変換を用いて圧縮された画像データに適用しても、データ量が少なくて伝送効率が低下するという問題は解決されない。

本発明は、このような状況に鑑みてなされたものであり、画質劣化を最小限に抑え、しかも低遅延かつ効率よく処理し、伝送または再生することができるようにするものである。

本発明の一側面は、ラインベース・ウェーブレット変換された画像データを他の装置に送信する情報処理装置であって、ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される画像データを、周波数成分毎に分けて複数プレシンクト分蓄積する蓄積手段と、蓄積手段により蓄積された複数プレシンクト分の画像データを、周波数成分毎に読み出してパケット化するパケタイズ手段と、パケタイズ手段によりパケット化された周波数成分毎の複数プレシンクト分の画像データを他の装置に送信する送信手段とを備える。

前記プレシンクトの単位で供給される画像データを取得する取得手段と、取得手段により取得された画像データを周波数成分毎に分離する周波数成分分離手段をさらに備え、蓄積手段は、周波数成分分離手段により周波数成分毎に分離された画像データを蓄積することができる。

前記パケタイズ手段は、画像データを、低域成分から高域成分に向かうように周波数成分毎に読み出してパケット化し、送信手段は、画像データを、低域成分から高域成分に向かうように周波数成分毎に送信することができる。

前記送信手段は、通信路でのパケットのロスに対して再送を行い、送信した画像データが他の装置からの応答を確認してから、次のレベルの周波数成分を送信することができる。

前記蓄積手段は、それぞれ、画像データを周波数成分毎に分けて複数プレシンクト分蓄積する複数の蓄積部を有し、複数の蓄積部のそれぞれの入出力を切り替える切り替え手段をさらに備えることができる。

１つの蓄積部に蓄積させた画像データのデータ量をカウントするデータ量カウント手段をさらに備え、切り替え手段は、データ量カウント手段によるカウント値に基づいて、蓄積手段の各蓄積部の入出力を切り替えるとともに、送信手段による送信が未完了のパケットを破棄させることができる。

時間を計測する計時手段をさらに備え、切り替え手段は、計時手段により計測される時間に基づくタイミングで、蓄積手段の各蓄積部の入出力を切り替えるとともに、送信手段による送信が未完了のパケットを破棄させることができる。

本発明の一側面は、ラインベース・ウェーブレット変換された画像データを他の装置に送信する情報処理装置の情報処理方法であって、ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される画像データを、周波数成分毎に分けて複数プレシンクト分蓄積し、蓄積された複数プレシンクト分の画像データを、周波数成分毎に読み出してパケット化し、パケット化された周波数成分毎の複数プレシンクト分の画像データを他の装置に送信するステップを含む。

本発明の一側面は、ラインベース・ウェーブレット変換された画像データを他の装置に送信する情報処理装置の処理をコンピュータに行わせるプログラムであって、ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される画像データを、周波数成分毎に分けて複数プレシンクト分蓄積し、蓄積された複数プレシンクト分の画像データを、周波数成分毎に読み出してパケット化し、パケット化された周波数成分毎の複数プレシンクト分の画像データを他の装置に送信するステップを含む。

本発明の一側面においては、ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される画像データが、周波数成分毎に分けて複数プレシンクト分蓄積され、その蓄積された複数プレシンクト分の画像データが、周波数成分毎に読み出されてパケット化され、そのパケット化された周波数成分毎の複数プレシンクト分の画像データが他の装置に送信される。

本発明の他の側面は、ラインベース・ウェーブレット変換された画像データを再生する情報処理装置であって、ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される画像データを、周波数成分毎に分けて複数プレシンクト分蓄積する蓄積手段と、蓄積手段により蓄積された複数プレシンクト分の画像データを、周波数成分毎に読み出してデコードするデコード手段と、デコード手段によりデコードされた周波数成分毎の複数プレシンクト分の画像データを出力する出力手段とを備える。

本発明の他の側面は、ラインベース・ウェーブレット変換された画像データを再生する情報処理装置の情報処理方法であって、ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される画像データを、周波数成分毎に分けて複数プレシンクト分蓄積し、蓄積された複数プレシンクト分の画像データを、周波数成分毎に読み出してデコードし、デコードされた周波数成分毎の複数プレシンクト分の画像データを出力するステップを含む。

本発明の他の側面は、ラインベース・ウェーブレット変換された画像データを再生する情報処理装置の処理をコンピュータに行わせるプログラムであって、ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される画像データを、周波数成分毎に分けて複数プレシンクト分蓄積し、蓄積された複数プレシンクト分の画像データを、周波数成分毎に読み出してデコードし、デコードされた周波数成分毎の複数プレシンクト分の画像データを出力するステップを含む。

本発明の他の側面においては、ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される画像データが、周波数成分毎に分けて複数プレシンクト分蓄積され、その蓄積された複数プレシンクト分の画像データが、周波数成分毎に読み出されてデコードされ、そのデコードされた周波数成分毎の複数プレシンクト分の画像データが出力される。

本発明の側面によれば、画像データを処理することができる。特に、画質劣化を最小限に抑え、しかも低遅延かつ効率よくデータを処理し、伝送または再生することができる。

本発明では、ラインベース・ウェーブレット変換で圧縮された画像データを伝送するときに、転送効率に適したデータ量に達するまで複数ブロック（複数のプレシンクト）のデータを蓄積し、それらをまとめてパケタイズし、伝送する。その際、無線通信路のような比較的通信エラーの発生しやすい通信路で伝送した場合においても、受信画像品質を向上させるために、リアルタイム性を持った再送メカニズムを用いるとともに、より低い周波数成分（画質改善への寄与度が高い成分）が確実に届くような優先制御を行って伝送する。

図４は、本発明を適用した送信装置の一実施形態に係る構成例を示す図である。

送信装置１１は、コーデック２１においてラインベース・ウェーブレット変換された画像データをパケタイズ（パケット化）し、そのパケットをLAN（Local Area Network）やインターネット等に代表されるネットワーク（図示せず）を介して他の装置（図示せず）に送信する装置である。

送信装置１１は、送信装置１１の各部の動作を制御する制御部３１、コーデック２１からプレシンクト単位で画像データを取得するコーデックインタフェース（I/F）３２、コーデックインタフェース３２により取得された画像データを、その周波数成分、つまり、同じ周波数レベルのブロック（副画像）ごとに並び替えながら並び替えバッファ３４の所定のメモリ位置に蓄積させる並び替え処理部３３、並び替え処理部３３により並び替えられたデータを蓄積する並び替えバッファ３４、並び替えバッファ３４より並び替えられたデータを低周波成分から取得し、順番にパケット化していくパケタイズ部３５、パケタイズ部３５においてパケタイズされたデータ（パケット）を、ネットワークへ送出するネットワークインタフェース（I/F）３６を有している。

制御部３１は、コーデックインタフェース３２を制御して、コーデック２１においてラインベース・ウェーブレット変換された画像データをプレシンクト単位で取得させ、並び替え処理部３３を制御して、その取得した画像データを、周波数成分ごとに並び替えて並び替えバッファ３４に蓄積させる。つまり、並び替えバッファ３４には、複数のプレシンクトのデータが、周波数成分毎にまとめられて（記憶領域が分けられて）蓄積される。

より具体的に説明すると、例えば、並び替えずに蓄積した場合、並び替えバッファ３４の記憶領域のアドレス順に対して、各データは、その蓄積順に並べられている。これに対して、制御部３１が並び替え処理部３３を上述したように制御した場合、各データは、アドレス順に対して、蓄積順と異なる順番で（周波数成分毎にまとめて）並べられている。

また、制御部３１は、パケタイズ部３５を制御して、並び替えバッファ３４に蓄積された画像データを、並び替えられた順番に（複数のプレシンクトを低域成分から高域成分に向けて周波数成分毎に）読み出させてパケット化させ、ネットワークインタフェース３６を制御して、そのパケットを順次ネットワークに出力させる。また、制御部３１は、受信側よりACKが来ない場合など、必要に応じて、パケタイズ部３５およびネットワークインタフェース３６を制御して、再度並び替えバッファ３４よりデータを読み出してパケット化して伝送させる（パケットの再送を実行させる）。

制御部３１は、並び替えバッファ３４に蓄積させた画像データのデータ量をカウントするデータ量カウンタ４１を内蔵しており、そのカウント値に基づいて各部を制御する。

並び替えバッファ３４は第１バッファ５１および第２バッファ５２の２つのバッファを有しており、一方のバッファにデータを書き込みながら、他方のバッファに蓄積されたデータを読み出すことができるようになされている。

制御部３１は、データ量カウンタ４１のカウント値に基づいて、第１バッファ５１および第２バッファ５２の入出力の切り替えを制御し、並び替え処理部３３に一方のバッファに対して画像データを蓄積させながら、パケタイズ部３５に他方のバッファより画像データを取得させる。

制御部３１は、並び替え処理部３３が所定のデータ量（例えば、そのバッファが蓄積可能な最大データ量）の画像データを一方のバッファに蓄積させると、入力を切り替え、他方のバッファに蓄積が行われるようにする。また、その時、制御部３１は、同時に、出力も切り替え、パケタイズ部３５が、画像データが所定のデータ量蓄積されたバッファ（切り替え前まで、データの蓄積が行われていたバッファ）より画像データを読み出すようにする。

制御部３１は、以上のような並び替えバッファ３４の入出力の切り替えを繰り返し行い、データの蓄積を行いながら同時にデータのパケタイズを行わせる。

なお、制御部３１は、この切り替えのとき、さらに、パケタイズ部３５が切り替え前のバッファのデータに対して行っていたパケタイズ処理、並びに、ネットワークインタフェース３６が行っていたそのパケットの出力を中止させ、新たなバッファのデータに対する処理に切り替えさせる。

このようにすることにより、複数のプレシンクトをまとめて処理し、周波数成分毎にパケット化して伝送することができるので、送信装置１１は、１パケットのデータ量（パケットサイズ）を確保することにより、伝送効率の悪化を抑制するとともに、低域から順番に伝送させ、さらにパケットの再送も行うことにより、パケットロスの耐性を向上させることができる。

これにより、送信装置１１は、画質劣化を最小限に抑え、しかも低遅延かつ効率よく伝送することができる。

次に、具体的な処理の流れについて説明する。

最初に、制御部３１により実行される送信制御処理の流れの例を、図５のフローチャートを参照して説明する。

送信制御処理が開始されると、制御部３１は、ステップＳ１において、データ量カウンタ４１のカウント値を初期化し、ステップＳ２において、並び替え処理部３３を制御し、コーデックインタフェース３２が取得した、コーデック２１においてラインベース・ウェーブレット変換された画像データを、周波数成分毎に並び替えて並び替えバッファ３４の第１バッファ５１または第２バッファ５２に蓄積させるデータ蓄積処理を開始させる。データ蓄積処理の詳細については後述する。

ステップＳ３において、制御部３１は、データ量カウンタ４１を用いて、データ蓄積処理により蓄積したデータ量をカウントする。制御部３１は、ステップＳ４において、そのデータ量カウンタ４１のカウント値に基づいて、並び替えバッファ３４の第１バッファ５１または第２バッファ５２に所定のデータ量が蓄積されたか否かを判定する。

第１バッファ５１および第２バッファ５２は、それぞれ、画像データを複数のプレシンクト蓄積することができる程度の記憶領域を有している。例えば、１プレシンクトが８ラインで、ｎプレシンクト（ｎは２以上の整数）分のデータを蓄積することが出来る場合、第１バッファ５１および第２バッファ５２は、それぞれ、８×ｎライン分のデータを蓄積可能な程度の記憶領域を有している。

ステップＳ４において、制御部３１は、データ量カウンタ４１のカウント値に基づいて、データを蓄積しているバッファにまだ所定のデータ量が蓄積されておらず、さらに画像データを蓄積可能であると判定した場合、処理をステップＳ２に戻し、それ以降の処理を繰り返す。また、ステップＳ４において、バッファに画像データが、その蓄積可能な最大のデータ量分（複数プレシンクト分）蓄積され、これ以上蓄積することが出来ないと判定した場合、制御部３１は、処理をステップＳ５に進める。

ステップＳ５において、制御部３１は、パケタイズ部３５を制御して実行中のパケタイズ処理を終了させる。さらに、制御部３１は、ステップＳ６において、実行中のパケット送信処理を終了させる。

そして、ステップＳ７において、制御部３１は、並び替えバッファ３４の入出力を切り替える。例えば、並び替え処理部３３に第１バッファ５１に対してデータを蓄積させ、パケタイズ部３５に第２バッファ５２に蓄積されたデータを読み出させているとき、制御部３１は、並び替え処理部３３に第２バッファ５２に対してデータを蓄積させ、パケタイズ部３５に第１バッファ５１に蓄積されたデータを読み出させるようにする。逆の場合も同様に切り替える。

バッファの入出力の切り替えが終了すると、制御部３１は、ステップＳ８において、パケタイズ部３５を制御し、切り替え後の新たなバッファに蓄積されたデータに対するパケタイズ処理を開始させ、ステップＳ９において、ネットワークインタフェース３６を制御し、そのパケタイズされたパケットを送信するパケット送信処理を開始させる。

ステップＳ１０において、制御部３１は、コーデック２１からのデータの供給が終了したか否かを判定し、終了していないと判定した場合、処理をステップＳ１に戻し、それ以降の処理を繰り返す。また、ステップＳ１０において、コーデック２１からのデータの供給が終了したと判定した場合、制御部３１は、送信制御処理を終了する。

次に、図６のフローチャートを参照して、図５のステップＳ２において開始されるデータ蓄積処理の流れの例を説明する。

ステップＳ３１において、並び替え処理部３３は、制御部３１に制御され、コーデックインタフェース（I/F）３２より、コーデック２１より取得されたデータをプレシンクト単位で取得し、ステップＳ３２において、プレシンクト毎のデータを周波数成分に分離し、ステップＳ３３において、そのデータを、周波数成分毎に、第１バッファ５１または第２バッファ５２の所定のメモリ領域に書き込み、データ蓄積処理を終了する。

コーデック２１は、ラインベース・ウェーブレット変換を行う度に、つまりプレシンクト単位で、その変換後のデータを送信装置１１に供給する。コーデックインタフェース３２は、そのデータを供給順に（つまりプレシンクト単位で）取得する。このプレシンクト単位のデータには、各周波数成分が含まれる。例えば、コーデック２１がデータを３分解する場合、コーデックインタフェース３２が取得するデータには、最低域を含めて全部で４つの周波数成分（各周波数レベルの副画像１Ｈ，２Ｈ，３Ｈ、および３ＬＬ）が含まれる。

並び替え処理部３３は、各プレシンクトのデータを周波数成分毎、つまり、各周波数レベルの副画像３ＬＬ，３Ｈ，２Ｈ、および１Ｈに分離し、後述するパケタイズ処理において、容易に、複数プレシンクトの同周波数領域をまとめてパケタイズすることができるように、各周波数成分をそれぞれ、並び替えバッファ３４の互いに異なる領域に格納させる（例えば、第１バッファ５１の記憶領域内において各周波数成分をそれぞれ互いに異なる領域に格納させる。第２バッファ５２に格納する場合も同様である）。

図７は、並び替えバッファ３４（第１バッファ５１および第２バッファ５２）におけるデータの記憶の様子の例を説明する図である。

図７に示されるように、並び替え処理部３３は、データを、プレシンクトｋ、プレシンクトｋ＋１、プレシンクトｋ＋２、プレシンクトｋ＋３、プレシンクトｋ＋４、・・・のように、コーデックインタフェース３２が取得する順に、プレシンクト毎に並び替えバッファ３４の第１バッファ５１または第２バッファ５２に蓄積させる。ただし、このとき、並び替え処理部３３は、各プレシンクトの周波数成分を互いに異なる領域に記憶させる。つまり、並び替え処理部３３は、各プレシンクトの１Ｈ、２Ｈ、３Ｈ、３ＬＬをそれぞれまとめるように、周波数成分毎にその記憶領域を区別して記憶させる。

このようにマトリクス状に管理される複数プレシンクトのデータは、パケタイズ部３５により、図８に示されるように、例えば低域成分から、周波数成分毎に（３ＬＬ，３Ｈ，２Ｈ，１Ｈの順で）読み出される。つまり、複数のプレシンクト単位で、パケタイズ処理および送信処理が行われる。

次に、図９のフローチャートを参照して、図５のステップＳ８において開始されるパケタイズ処理の流れの例を説明する。

制御部３１に制御されてパケタイズ処理が開始されると、パケタイズ部３５は、並び替えバッファ３４（第１バッファ５１または第２バッファ５２）より複数プレシンクト分のデータを低域成分から順番に読み出しパケタイズを行う。つまり、パケタイズ部３５は、ステップＳ５１において、３ＬＬをパケタイズし、ステップＳ５２において、３Ｈをパケタイズし、ステップＳ５３において、２Ｈをパケタイズし、ステップＳ５４において１Ｈをパケタイズし、バッファに蓄積されたデータに対するパケタイズ処理を終了する。

ステップＳ５１において実行される３ＬＬ用パケタイズ処理について、図１０のフローチャートを参照して説明する。

ステップＳ７１において、パケタイズ部３５は、変数ｋに、並び替えバッファ３４の第１バッファ５１または第２バッファ５２に蓄積されているデータの、先頭のプレシンクト番号をセットする。

パケタイズ部３５は、ステップＳ７２において、プレシンクト番号ｋの３ＬＬをパケット化し、ステップＳ７３において、変数ｋの値を「＋１」インクリメントし、ステップＳ７４において、バッファ内の全てのプレシンクトの３ＬＬを処理したか否かを判定する。未処理のデータが存在すると判定した場合、パケタイズ部３５は、処理をステップＳ７２に戻し、次のプレシンクトについて処理を繰り返す。すなわち、パケタイズ部３５は、ステップＳ７４において、全ての３ＬＬを処理したと判定するまで、ステップＳ７２乃至ステップＳ７４の処理を繰り返す。

ステップＳ７４において、全ての３ＬＬを処理したと判定した場合、パケタイズ部３５は、３ＬＬ用パケタイズ処理を終了し、処理を図９のステップＳ５１に戻し、ステップＳ５２以降の処理を実行させる。パケタイズ部３５は、３Ｈ、２Ｈ、および１Ｈの各周波数成分に対して、３ＬＬ用パケタイズ処理と同様のパケタイズ処理を行う。従って、ステップＳ５２乃至ステップＳ５４において実行されるパケタイズ処理の詳細な流れは図１０のフローチャートと同様であるので、それらの説明は省略する。

以上のような各処理により、コーデック２１より出力されたとき、図１１Ａに示されるように、プレシンクト毎にまとめられた構成であったデータは、パケタイズ後においては、図１１Ｂに示されるように、複数のプレシンクトのデータが周波数成分毎にパケット化される。つまり、コーデック後においては、図１１Ａに示されるように、それぞれにアラインユニットヘッダが付加された各プレシンクトの各周波数成分は、プレシンクトヘッダによって、プレシンクト毎にまとめられている。これに対して、パケタイズ後においては、図１１Ｂに示されるように、複数のプレシンクトのデータが周波数成分毎にパケットヘッダによってまとめられている（パケット化されている）。

図１２は、５プレシンクト毎にデータがパケタイズされる場合のパケットの構成例を示す図である。図１２に示されるように、パケット６１は、パケットヘッダ７１、各プレシンクトのデータであるデータ８１乃至データ８５、並びに、各プレシンクトのデータに付加されるサブヘッダ９１乃至サブヘッダ９５により構成される。つまり、この場合、第１バッファ５１または第２バッファ５２に蓄積された複数のプレシンクト分のデータは、図１２に示されるように、その周波数成分毎に、１つのパケットとしてまとめられる（すなわち、３分解の場合４つのパケットが生成される）。

なお、図１３乃至図１５に示されるように、パケタイズ部３５が、第１バッファ５１または第２バッファ５２に蓄積された複数のプレシンクト分のデータの各周波数成分より、複数のパケットを生成するようにしてもよい。

図１３の例の場合、データ８１乃至データ８３がパケット６１−１としてパケット化され、データ８４およびデータ８５がパケット６１−２としてパケット化されている。この分割位置は、どこでもよく、例えば、データ８１とデータ８２乃至データ８５とに分割するようにしてもよい。また、図１４に示されるように、パケタイズ部３５が、データ８３を前半のデータ８３−１と後半のデータ８３−２に２分割し、データ８１、データ８２、およびデータ（前半）８３−１を含むパケット６１−１と、データ（後半）８３−２、データ８４、およびデータ８５を含むパケット６１−２を生成するようにしてもよい。さらに、図１５に示されるように、データ８１乃至データ８５をそれぞれ互いに異なるパケット（パケット６１−１乃至パケット６１−５）としてパケット化するようにしてももちろんよい。

さらに、上述した以外のパターンでパケット化してもよいし、複数のパターンを組み合わせてももちろんよい。例えば、各周波数成分で、互いに異なるパターンでパケット化してもよい。

次に、図１６のフローチャートを参照して、図５のステップＳ９の処理により開始されるパケット送信処理の流れを説明する。

ネットワークインタフェース３６は、制御部３１に制御され、パケタイズ部３５においてパケタイズされる順番に、すなわち、低域成分から順番に、周波数成分毎にパケットを送信する。つまり、ネットワークインタフェース３６は、ステップＳ９１において、３ＬＬのパケットを送信し、ステップＳ９２において、３Ｈのパケットを送信し、ステップＳ９３において、２Ｈのパケットを送信し、ステップＳ９４において、１Ｈのパケットを送信する。ステップＳ９４の処理を終了すると、ネットワークインタフェース３６は、パケット送信処理を終了する。

図１７のフローチャートを参照して、図１６のステップＳ９１において実行される３ＬＬ用パケット送信処理の流れの例を説明する。

３ＬＬ用パケット送信処理が開始されると、ネットワークインタフェース３６は、ステップＳ１１１において、パケタイズ部３５より３ＬＬのパケットを取得し、ステップＳ１１２において、その取得した３ＬＬのパケットを、ネットワークに送信する。

ステップＳ１１３において、ネットワークインタフェース３６は、制御部３１より送信キューのフラッシュ要求を取得したか否かを判定する。制御部３１は、並び替えバッファ３４の第１バッファ５１または第２バッファ５２のうち、並び替え処理部３３がデータを蓄積させている側のバッファに所定のデータ量が蓄積されると、図５のステップＳ６において、ネットワークインタフェース３６に対して送信キューのフラッシュ要求を供給することにより、ネットワークインタフェース３６の送信キューの内容を消去（フラッシュ）させ、送信が未完了のパケットを破棄させるように要求する。

ネットワークインタフェース３６は、ステップＳ１１３において、その制御部３１からのフラッシュ要求を取得したか否かを判定する。フラッシュ要求を取得していないと判定した場合、ネットワークインタフェース３６は、処理をステップＳ１１４に進め、パケットの送信先である受信機よりACK信号（応答）を取得したか否かを判定し、例えば所定時間経過してもACKを取得していないと判定した場合、処理をステップＳ１１５に進め、３ＬＬのパケットを再送する。

パケットの再送を行うとネットワークインタフェース３６は、処理をステップＳ１１６に進める。なお、ステップＳ１１４において、受信機よりACKを取得したと判定した場合、ネットワークインタフェース３６は、ステップＳ１１５の処理を省略し、ステップＳ１１６に処理を進める。

ステップＳ１１６において、ネットワークインタフェース３６は、３ＬＬの全てのパケットの送信が完了したか否かを判定し、完了していないと判定した場合、処理をステップＳ１１１に戻し、次のパケットに対してそれ以降の処理を繰り返す。また、ステップＳ１１６において、３ＬＬの全てのパケットの送信が完了したと判定した場合、ネットワークインタフェース３６は、３ＬＬ用パケット送信処理を終了し、図１６のステップＳ９１に処理を戻し、ステップＳ９２以降の処理を実行させる。

つまり、ネットワーク伝送においては、ＡＲＱ（Automatic Repeat reQuest）（自動再送要求）を用いて、ロスしたパケットの回復が行われる。ＡＲＱの制御においては、ネットワークインタフェース３６は、低域たとえば３ＬＬのデータが受信側に届かなければ（ＡＣＫを受信できなければ）、同じパケットの再送を繰り返し、３ＬＬの全てのパケットが受信機に届いてから、次の周波数成分である３Ｈのパケットの送出（図１６のステップＳ９２）を行う。

また、ステップＳ１１３において、フラッシュ要求を取得したと判定した場合、ネットワークインタフェース３６は、処理をステップＳ１１７に進め、図１６のフローチャートに示されるパケット送信処理を、その時点で終了させる。つまり、ネットワークインタフェース３６は、図５のステップＳ６において、制御部３１よりフラッシュ要求を取得すると、その要求に基づいて送信キューを消去（フラッシュ）し、現在処理対象とされるプレシンクト群に対する送信処理が終了される。つまり、この場合、図１６のステップＳ９２以降の処理は省略される。制御部３１は、図５のステップＳ７以降の処理を実行し、並び替えバッファ３４の入出力を切り替え、新たなバッファよりデータを読み出してパケット化して送信するように、パケタイズ部３５およびネットワークインタフェース３６を制御する。

３ＬＬに対して以上のようなパケット送信処理を終了すると、ネットワークインタフェース３６は、制御部３１に制御されて、３Ｈ、２Ｈ、および１Ｈの各データに対して順に、図１７のフローチャートに示される３ＬＬ用パケット送信処理と同様の処理を行う。つまり、図１６に示されるステップＳ９１乃至ステップＳ９４のそれぞれについて、図１７に示される処理と同様の（各副画像用の）パケット送信処理が実行されるが、それらについての説明は省略する。なお、図１７のステップＳ１１７の処理により、パケット送信処理が強制終了される場合、図１６のそれ以降のステップの処理が省略されることになる。例えば、図１６のステップＳ９３において２Ｈのパケットを送信する処理として図１７の処理が実行されている場合に、ステップＳ１１７の処理によりパケット送信処理が終了された場合、図１６のパケット送信処理が強制終了され、ステップＳ９４の処理が省略されることになる。

ネットワークインタフェース３６に以上のようなパケット送信処理を全周波数領域のデータに対して実行させると、制御部３１は、パケット送信処理を強制的に終了させた場合と同様に、図１６に示されるパケット送信処理を終了させ、所定のタイミングで、他のバッファに蓄積されている次のプレシンクト群のデータに対して新たにパケット送信処理を開始させる（図５のステップＳ９）。

つまり、図１８に示されるように、ネットワークインタフェース３６は、各周波数成分のパケットを、３ＬＬ、３Ｈ、２Ｈ、１Ｈの順に送信させる。このときネットワークインタフェース３６は、各パケットについて必要に応じて再送も行う。

図１８の例においては、ネットワークインタフェース３６は、３ＬＬのパケットを送信した後、３ＬＬのパケットの再送を行い、３Ｈのパケットを送信した後、３Ｈのパケットの再送を行い、２Ｈのパケットを送信した後、２Ｈのパケットの再送を行い、その後、１Ｈの送信を行っている。そして、１Ｈのパケットを送信中の時刻Ｔにおいて、並び替えバッファ３４へのデータ蓄積が完了すると、ネットワークインタフェース３６は、制御部３１より送信キューのフラッシュ要求を取得し、１Ｈの残りのデータは送信せずに破棄し、次のプレシンクト群のデータに対する処理を開始する。

このように、所定のタイミング毎にキューをフラッシュ、すなわち再送制御を打ち切ることで、画像データ全体の送信処理のリアルタイム性が保証される。また、ウェーブレット変換されたデータは、低域ほど画質への寄与度が高い。従って、低域成分から順番に受信機に送信することにより、低域成分が広域成分よりも優先的に送信されることになり、受信機において受信されたパケットの量に応じて画質が改善される。

なお、以上においては、コーデック２１が、ラインベース・ウェーブレット変換したデータをプレシンクト単位で送信装置１１に供給するように説明したが、例えば、コーデック２１が、データを周波数成分単位で複数回にわたって入力する場合、並び替え処理部３３は、図６のステップＳ３２の処理を省略することができる。

また、以上においては、並び替えバッファ３４が、第１バッファ５１および第２バッファ５２の２つのバッファを有するように説明したが、並び替えバッファ３４が３つ以上のバッファを有するようにしてももちろんよいし、１つのバッファにより構成されるようにしてもよい。ただし、制御部３１は、そのバッファの個数に合わせて、各バッファの入出力を制御する必要がある。また、ラインベース・ウェーブレット変換された画像データをリアルタイムに送信する場合には、複数のバッファが必要になる。なお、この複数のバッファの記憶容量は、互いに同一であってもよいし、互いに異なるようにしてもよい。

さらに、以上においては、並び替え処理部３３が、第１バッファ５１または第２バッファ５２に、所定量のデータを蓄積すると、制御部３１が送信キューのフラッシュ要求を行うように説明したが、これに限らず、例えば、タイマを用いて要求のタイミングを制御するようにしてもよい。

図１９は、本発明を適用した送信装置１１の他の実施の形態を示す図である。図１９の例の場合、制御部３１は、データ量カウンタ４１の代わりに、時間を計測する機能を有するタイミング管理部１０１を有している。タイミング管理部１０１は、予め定められた所定の時間を計測し、制御部３１は、その計測された時間に従って各部を制御する。すなわち、この場合、並び替えバッファ３４の入出力の切り替えや、送信キューのフラッシュは、一定の時間毎に繰り返されることになる。

なお、タイミング管理部１０１が、データ量に応じて送信キューをフラッシュするタイミングを案分計算したり、画面上の位置（Precinct番号で簡単に識別可能）による重要度に応じて送信キューをフラッシュするタイミングを案分計算したりするようにしてもよい。画面上の位置の重要度による案分計算とは、例えば、映画のようなコンテンツの場合、キャプションが含まれている可能性の高い画面下部の送信時間を長く設定することである。

ただし、１つのプレシンクトを生成するのに必要なベースバンドのライン数が、定常状態において８ライン（ウェーブレット分解レベル３の場合）である場合も、画面の上端では例外処理のため３７ライン必要になったり、下端付近では８ライン以下で生成することができたりする場合もあり、プレシンクトのライン数は必ずしも一定ではない。従って、タイマによる送信キューのフラッシュタイミングの制御では、パケット送出時間を十分に確保することができない恐れがある。そのため、図４に示されるように、送信キューのフラッシュ要求を出すタイミングを、次の並び替えバッファへのデータ蓄積が完了したというイベントをトリガとして制御するようにする方法が最も効率がよい。

以上のように、ラインベース・ウェーブレット変換を用いたコーデックからの出力を遅延要求の許す範囲（あるいはバッファ容量の許す範囲）で蓄積し、並び替えを行い、複数のプレシンクトのデータをまとめて伝送することで、伝送効率を維持することができる。さらに、データを低域成分より送信することにより、ロスに対して画質劣化を最小限に抑制することができる。

また、以上のような送信装置１１を用いることにより、例えば無線通信路においてスループットを維持しつつ、低遅延で画質劣化を最小限で伝送できるようになることで、ＴＶ映像をリアルタイム圧縮し、無線で別の端末で視聴する製品や、高品質かつ超低遅延なテレビ電話の実現が可能になる。さらに、以上のような送信装置１１を、カメラ製品に応用した場合には、低遅延なワイヤレスカメラシステム（撮影した映像を無線通信路で伝送して離れた場所にあるモニターで見るようなシステム）を実現することができる。特に即時性が重要なファクターであるセキュリティカメラの分野において大きな効果が期待される。

なお、以上においては、本発明を、画像データをパケットとして送信する送信装置に適用する場合について説明したが、本発明は、これに限らず、例えば、デジタルスチルカメラやデジタルビデオカメラにおけるプレビュー画面への表示のように、リアルタイムに、圧縮された画像を再生する簡易再生器においても適用可能である。

図２０は、本発明を適用した再生装置の実施の形態を示す図である。図２０に示される再生装置１１１は、基本的に図４の送信装置１１と同様の構成を有するが、送信装置１１と異なり、パケタイズ部３５の代わりにデコード１３５を有し、ネットワークインタフェース３６の代わりに出力インタフェース（I/F）１３６を有する。

デコード１３５は、パケタイズ部３５と同様に並び替えバッファ３４よりデータを読み出し、パケット化する代わりに、読み出したデータをデコード（復号）する。つまり、デコード１３５は、複数のプレシンクトのデータをまとめて低域成分から順番にデコードする。出力インタフェース１３６は、そのようにデコードされた画像データを表示部１４１に表示させる。

例えば、撮影した映像について構図が満足のいくものになっているか、動きのある被写体を追った場合（たとえば高速で移動する自動車，動物など）に被写体をちゃんと追えているかなどの確認することは、ユーザにとって大変重要である。そのような簡易再生器においては、表示された画像の画質はユーザにとってあまり重要ではなく、大まかな輪郭がわかればよいので高周波成分（１Ｈ）は不要な場合があるし、デコード処理をソフトウェアで行う場合、CPU（Central Processing Unit）の処理速度によっては、デコードが実時間内に終わらない場合がある。

そこで、再生装置１１１は、上述したように、複数のプレシンクトのデータをまとめて低域成分から順番にデコードし、CPU処理が実時間で終わらないとなったときには、高域成分についてのデコード処理を行わずに、次の複数プレシンクトのデータのデコードを開始する。このようにすることにより、表示部１４１に表示される画像は、広域成分についてのデコードが省略された場合、画質が低下するものの、その画像表示のリアルタイム性は確保することができ、早いタイミングで画像を表示したり、動画像におけるコマ落ち等を抑制したりすることができる。

なお、このようなデコード処理の時間制約（フラッシュ要求タイミング）をプレシンクト単位で行うと、時間粒度が細かくなるため（例えば画像が1080/60iの場合、１プレシンクト当たり474us）、CPUでの時間精度が追いつかない恐れがある。そこで複数プレシンクト単位で時間制約を設けることにより、制御部３１は、容易に時間制御を行うことができる。逆に、画像全体のプレシンクトをまとめるようにすると、表示開始までの遅延が長くなり、簡易再生の利点が幾分損なわれてしまうため、５プレシンクト乃至８プレシンクト程度を単位としてまとめるのが望ましい。

以上のように、プレシンクトを５乃至８程度でまとめることにより、画面上部からデコードと表示が行われることになり、ユーザは、画面上部の画像を見ただけで満足のいく撮影ができたか判断することができる。従って、ユーザのプレビュー画像を参照する時間の短縮が図られるので、プレビュー画像の表示時間を削減することができ、消費電力を抑制することも可能になる。

なお、図２０においては、再生装置１１１が、コーデック２１より出力されるデータを取得して再生するように説明したが、例えば、コーデックインタフェース３２の代わりにネットワークインタフェースを用いるようにして、送信装置より供給されるデータを取得して再生することができるようにしてもよい。その場合、再生装置１１１は、その送信装置に対応する受信装置としても機能することになる。つまり、本発明は、受信装置にも適用することができる。もちろん、本発明は、上述した装置以外にも、例えば通信装置、撮像装置、記録装置、または画像処理装置等、ラインベース・ウェーブレット変換された画像データを処理する装置であればどのような情報処理装置にも適用することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図２１に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図２１において、パーソナルコンピュータ２００のCPU２０１は、ROM（Read Only Memory）２０２に記憶されているプログラム、または記憶部２１３からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２１０も接続されている。

入出力インタフェース２１０には、キーボード、マウスなどよりなる入力部２１１、CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部２１２、ハードディスクなどより構成される記憶部２１３、モデムなどより構成される通信部２１４が接続されている。通信部２１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース２１０にはまた、必要に応じてドライブ２１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２１３にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２１に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM２０２や、記憶部２１３に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

なお、以上において、１つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて１つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明は、例えばビデオカメラに適用することが可能である。

ウェーブレット変換の様子を説明する図である。 ウェーブレット変換されたデータを、単一分解レベルにおける単一行のデータ全てを共に伝送させる様子を説明する図である。 ラインベース・ウェーブレット変換の様子の例を説明する図である。 本発明を適用した送信装置の一実施形態に係る構成例を示す図である。 送信制御処理の流れの例を示すフローチャートである。 データ蓄積処理の流れの例を示すフローチャートである。 並び替えバッファへのデータの書き込みの様子を説明する模式図である。 並び替えバッファからのデータの読み出しの様子を説明する模式図である。 パケタイズ処理の流れの例を示すフローチャートである。 ３ＬＬ用パケタイズ処理の流れの例を示すフローチャートである。 データ構成の変換の様子を説明する模式図である。 パケットの構成例を説明する模式図である。 パケットの他の構成例を説明する模式図である。 パケットの、さらに他の構成例を説明する模式図である。 パケットの、さらに他の構成例を説明する模式図である。 パケット送信処理の流れの例を示すフローチャートである。 ３ＬＬ用パケット送信処理の流れの例を示すフローチャートである。 送信キューのフラッシュの発生の様子を説明する図である。 本発明を適用した送信装置の他の構成例を示す図である。 本発明を適用した再生装置の構成例を示す図である。 本発明を適用したパーソナルコンピュータの構成例を示す図である。

符号の説明

１１ 送信装置， ２１ コーデック， ３１ 制御部， ３２ コーデックインタフェース， ３３ 並び替え処理部， ３４ 並び替えバッファ， ３５ パケタイズ部， ３６ ネットワークインタフェース， ４１ データ量カウンタ， ５１ 第１バッファ， ５２ 第２バッファ， １０１ タイミング管理部， １１１ 再生装置， １３５ デコード， １３６ 出力インタフェース， １４１ 表示部

Claims (13)

1. ラインベース・ウェーブレット変換された画像データを他の装置に送信する情報処理装置であって、
   前記ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される前記画像データを、周波数成分毎に分けて複数プレシンクト分蓄積する蓄積手段と、
   前記蓄積手段により蓄積された前記複数プレシンクト分の画像データを、前記周波数成分毎に読み出してパケット化するパケタイズ手段と、
   前記パケタイズ手段によりパケット化された前記周波数成分毎の複数プレシンクト分の画像データを前記他の装置に送信する送信手段と
   を備える情報処理装置。
2. 前記プレシンクトの単位で供給される前記画像データを取得する取得手段と、
   前記取得手段により取得された前記画像データを周波数成分毎に分離する周波数成分分離手段をさらに備え、
   前記蓄積手段は、前記周波数成分分離手段により周波数成分毎に分離された前記画像データを蓄積する
   請求項１に記載の情報処理装置。
3. 前記パケタイズ手段は、前記画像データを、低域成分から高域成分に向かうように前記周波数成分毎に読み出してパケット化し、
   前記送信手段は、前記画像データを、低域成分から高域成分に向かうように前記周波数成分毎に送信する
   請求項１に記載の情報処理装置。
4. 前記送信手段は、通信路でのパケットのロスに対して再送を行い、送信した前記画像データが前記他の装置からの応答を確認してから、次のレベルの周波数成分を送信する
   請求項１に記載の情報処理装置。
5. 前記蓄積手段は、それぞれ、前記画像データを周波数成分毎に分けて複数プレシンクト分蓄積する複数の蓄積部を有し、
   前記複数の蓄積部のそれぞれの入出力を切り替える切り替え手段をさらに備える
   請求項１に記載の情報処理装置。
6. １つの前記蓄積部に蓄積させた前記画像データのデータ量をカウントするデータ量カウント手段をさらに備え、
   前記切り替え手段は、前記データ量カウント手段によるカウント値に基づいて、前記蓄積手段の各蓄積部の入出力を切り替えるとともに、前記送信手段による送信が未完了のパケットを破棄させる
   請求項５に記載の情報処理装置。
7. 時間を計測する計時手段をさらに備え、
   前記切り替え手段は、前記計時手段により計測される時間に基づくタイミングで、前記蓄積手段の各蓄積部の入出力を切り替えるとともに、前記送信手段による送信が未完了のパケットを破棄させる
   請求項５に記載の情報処理装置。
8. ラインベース・ウェーブレット変換された画像データを他の装置に送信する情報処理装置の情報処理方法であって、
   前記ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される前記画像データを、周波数成分毎に分けて複数プレシンクト分蓄積し、
   蓄積された前記複数プレシンクト分の画像データを、前記周波数成分毎に読み出してパケット化し、
   パケット化された前記周波数成分毎の複数プレシンクト分の画像データを前記他の装置に送信する
   ステップを実行する情報処理方法。
9. ラインベース・ウェーブレット変換された画像データを他の装置に送信する情報処理装置の処理をコンピュータに行わせるプログラムであって、
   前記ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される前記画像データを、周波数成分毎に分けて複数プレシンクト分蓄積し、
   蓄積された前記複数プレシンクト分の画像データを、前記周波数成分毎に読み出してパケット化し、
   パケット化された前記周波数成分毎の複数プレシンクト分の画像データを前記他の装置に送信する
   ステップを含むプログラム。
10. ラインベース・ウェーブレット変換された画像データを再生する情報処理装置であって、
    前記ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される前記画像データを、周波数成分毎に分けて複数プレシンクト分蓄積する蓄積手段と、
    前記蓄積手段により蓄積された前記複数プレシンクト分の画像データを、前記周波数成分毎に読み出してデコードするデコード手段と、
    前記デコード手段によりデコードされた前記周波数成分毎の複数プレシンクト分の画像データを出力する出力手段と
    を備える情報処理装置。
11. ラインベース・ウェーブレット変換された画像データを再生する情報処理装置の情報処理方法であって、
    前記ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される前記画像データを、周波数成分毎に分けて複数プレシンクト分蓄積し、
    蓄積された前記複数プレシンクト分の画像データを、前記周波数成分毎に読み出してデコードし、
    デコードされた前記周波数成分毎の複数プレシンクト分の画像データを出力する
    ステップを実行する情報処理方法。
12. ラインベース・ウェーブレット変換された画像データを再生する情報処理装置の処理をコンピュータに行わせるプログラムであって、
    前記ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される前記画像データを、周波数成分毎に分けて複数プレシンクト分蓄積し、
    蓄積された前記複数プレシンクト分の画像データを、前記周波数成分毎に読み出してデコードし、
    デコードされた前記周波数成分毎の複数プレシンクト分の画像データを出力する
    ステップを含むプログラム。
13. 請求項９または請求項１２に記載のプログラムが記録されている記録媒体。

Images