JP2007524286A - 画像データを処理するシステムおよび方法 - Google Patents

Abstract

通信チャネルを通じて表示画像ソースから表示装置に画像データの複数のフレームを送信する方法が開示される。前記画像データの複数のフレームは、所定時間間隔でフレームごとに送信される。本方法は、階層的に符号化された画像データ階層の組を形成するために、階層的符号化を通じて画像データの選択されたフレームの少なくとも一部を符号化すること、および前記通信チャネルを通じて前記画像データ階層の組の部分集合だけを送信することを含み、前記画像データ階層の部分集合は、前記画像データ階層の組よりも少ない数の画像データ階層を含んでいる。
【選択図】 図１

Description

本開示は、概して、データを処理する装置、システム、および方法に関し、特に、画像データの複数のフレームを通信チャネルを通じて表示画像ソースから表示装置に送信する装置、システム、および方法に関する。

本出願は、2003年12月16日に出願された米国仮特許出願第60/530,469号から優先権を主張するものであり、参照によってその全体をすべての目的のために援用する。

本開示は、添附図面の図における限定としてではなく、例示として示され、同様の参照符号は、同様の要素を示している。

図１は、概して10で示す、本発明の第１の実施の形態にかかる画像処理システムの模式図である。画像処理システム10は、表示面14上に画像を表示するように構成された表示装置12を備えている。表示装置12は、表示装置の任意の適切な種類であることが可能である。本例は、液晶表示装置（LCD）およびデジタル光処理技術（DLP）プロジェクタ、テレビジョン・システム、コンピュータ・モニタなどを含んでいるが、これらに限定されるものではない。

さらに、画像処理システム10は、表示装置12に関連付けられた画像レンダリング装置16と、画像レンダリング装置16と電気通信する一又は複数の画像ソース18とを備えている。画像レンダリング装置16は、画像ソース18によって送信される画像データを受信し、表示装置12による表示用の受信画像データを処理するように構成されている。画像レンダリング装置16は、表示装置12と一体化するか、あるいは、表示装置に接続可能な個別の構成要素として提供されることが可能である。適切な画像レンダリング装置の一例は、2003年6月2日に出願された米国特許出願第10/453,905号において開示されており、それは参照によってここに援用される。

典型的には、画像データは、ラップトップもしくはデスクトップ・コンピュータ、携帯情報端末（PDA）、または他の演算装置のような画像ソースを介して表示装置に提供される。或る表示装置は、たとえば、802.11b（あるいは、他の802.11プロトコル）、Bluetoothなどのような通信プロトコルを介して、画像ソースから無線で画像データを受信するように構成される。これらの表示装置は、画像ソースが、会議室内のほとんど任意の場所から高速に接続されることを可能にし、したがって、単一の表示装置での複数の画像ソースの使用を容易にすることが可能である。

しかしながら、単一の表示装置での複数の画像ソースの使用をサポートすることは、様々な障害を引き起こす場合がある。たとえば、異なる画像ソースが、異なるフォーマットの画像ファイルを生成および／または表示する異なるソフトウェアを利用することがある。この場合には、複数の画像ソースをサポートする表示装置は、多くの異なる種類の画像ファイルを解凍し、レンダリングし、および／または表示する適切なソフトウェアを備えている必要がある場合がある。多くの場合には、このソフトウェアは、表示装置のメーカ以外の会社によって提供されることがある。したがって、そのようなソフトウェアのインストールおよび更新は、表示装置をソフトウェア・ウィルス、プログラム・バグ、およびその表示装置のメーカがコントロールできない他の問題に晒すことがある。さらに、比較的大容量のメモリおよび処理能力は、所望する画像データのフォーマットをすべて表示するために必要とされる複数のソフトウエア・プログラムを記憶および実行するために要求されることがある。

表示装置上で必要とされるソフトウェアの容量を低減する可能な１つの方法は、フォーマットされた画像データ・ファイルではなく、各画像ソースから表示装置に生のデータ・ファイルだけを送信することである。この場合には、表示装置は、単一の画像データのフォーマットをサポートすることだけが必要となり、それは、表示装置のソフトウェア要求を単純化することが可能であるしかしながら、そのような生のデータ・ファイルは、フォーマットされた画像ファイルと比較して大きい場合があり、したがって、使用される通信チャネルの帯域幅に依存して、画像ソースから表示装置に送信するのに比較的長い時間が必要とされることがある。それが、そのような表示装置でリアルタイムに動画を表示することが希望される場合には、通信チャネルの帯域幅は、生の画像データ・ファイルを典型的な動画データのフレーム・レートで送信するには小さ過ぎることがある（典型的には、約20フレーム／秒以上）。

図１を参照して、画像ソース18は、画像データを画像レンダリング装置16に供給することができる任意の適切な装置を備えることが可能である。本例は、デスクトップ・コンピュータおよび／またはサーバ18a、ラップトップ・コンピュータ18b、携帯情報端末（PDA）18c、携帯電話機18dなどを含んでいるが、これらに限定されるものではない。加えて、画像ソース18は、任意の方法で画像レンダリング装置16と電気的に通信することが可能である。図示された実施の形態においては、各画像ソース18は、無線ネットワーク20を通じて画像レンダリング装置16と電気的に通信する。しかしながら、画像ソース18は、有線ネットワークを通じて、無線もしくは有線直接接続など、またはその任意の組み合わせを通じて、画像レンダリング装置16と通信することも可能である。

画像ソース18が複数のフォーマットで画像データを処理するように構成されている場合には、画像レンダリング装置16は、それぞれの所望する画像データのフォーマットでデータを復号するように構成されることが可能である。しかしながら、上述したように、これは、それぞれの所望するフォーマットを復号化する個別のソフトウエア・プログラムを記憶するために十分なメモリを有することを画像レンダリング装置16に要求することがある。加えて、これらのソフトウエア・プログラムの多くは、画像レンダリング装置16のメーカ以外のソースによって提供されることがある。したがって、そのようなソフトウェアの使用は、画像レンダリング装置16のメーカが有する、画像レンダリング装置および／または表示装置12上にインストールされたソフトウエア・プログラムを通じたコントロールを低下させることがある。これは、ソフトウェアのインストール、アップデート、および同種のものの間、外部のソフトウェアから取り込まれるウィルス、バグ、および他の問題に対してこれらの表示装置をオープンにすることがある。

画像レンダリング装置16の動作、および画像レンダリング装置16に対するソフトウェア要求を単純化するために、各画像ソース18は、ディスプレイ22上に画像のビットマップを生成し、その後、ビットマップを表示装置12による表示のために画像レンダリング装置16に送信するように構成されたソフトウェアを含むことが可能である。これには、画像レンダリング装置16が単一のフォーマットの画像データを受信および復号するソフトウェアを含むことだけが必要であるという利点があり、したがって、ソフトウェアのインストールおよび／またはアップデート中に画像レンダリング装置16上にウィルス、バグおよび他の問題を取り込むのを防ぐのを助ける。しかしながら、上述したように、非圧縮のビットマップ・ファイルは、かなり大きいことがあり、したがって、使用される通信チャネルの帯域幅に依存して、画像レンダリング装置16に送信するには比較的長い時間が掛かることがある。これは、XGAおよびそれよりも上の比較的高解像度のフォーマットの画像に特に当てはまる。データが動画データである場合には、新しいデータ・フレームが画像レンダリング装置16に送信される速度は、約20フレーム／秒以上であることがある。この場合には、フレーム・レートは、ビットマップ全体が生成され、画像レンダリング装置16に送信されることができる速度よりも速いことがあり、動画像の送信および表示におけるエラーに恐らく帰着する。

送信および表示エラーを回避するために、画像ソース18のうちの１つに表示された画像から生成されるビットマップは、送信前に処理して、画像データの各フレームに対して送信されるデータ量を低減することが可能である。図２は、概して100で示す、画像ソース18のうちの１つの表示装置22から生成されたビットマップ画像データを処理する方法の典型的な実施の形態である。方法100は、画像ソース18上のメモリに典型的には記憶され、各画像ソース上のプロセッサによって実行可能なソフトウェア・コードによって典型的には実行される。

画像レンダリング装置16に送信されるデータ量を低減するために、方法100は、現在のフレームの直前に送信された画像データの組またはフレームとは異なる画像データの組またはフレームのそれらの部分だけを送信する。したがって、方法100は、まず、102で、先に送信された画像データの組またはフレームNを、ディスプレイ22上に現在表示されている画像データの組またはフレームN+1と比較し、その後、104で、フレームNとは異なるフレームN+1の部分を判断する。

102での画像データの２つのフレームの比較と、104での変更された領域の判断とは、任意の適切な方法で実行されることが可能である。たとえば、フレームNおよびN+1のそれぞれは、バッファに記憶されることが可能であり、その後、N+1バッファに記憶された画像データの各画素は、Nバッファに記憶された画像データの各画素と比較されることが可能である。

変更の位置が特定された場合には、変更された領域は、任意の方法で圧縮のために定義されることが可能である。たとえば、或る実施の形態においては、検出された変更のすべてが、画像データのフレームN+1の変更されたすべての領域を包含するように描かれたサイズ可変の単一の矩形領域によって定義されることが可能である。しかしながら、変更された領域を定義するそのようなスキームが、先に送信されたフレームから実際に不変である著しい量のデータの圧縮および送信に導く状況が存在することがある。たとえば、図３を参照して、ラップトップ・コンピュータ上の表示から生成されたスライド・ショー中などの静止画像200の表示中に、表示の右下角に位置する時計表示204が更新されるのと同時に、ユーザは、表示の左上角のプルダウン・メニュー202をアクティブにすることが場合がある。この状況においては、変更された領域を単一の矩形境界によって定義することは、本質的にスクリーン全体が境界によって包含されるという結果になる場合がある。これは、多量の変更されていないデータの圧縮および送信に帰着することになり、したがって、画像データの圧縮および送信の効率を低下させることがある。

すべての変更された領域を単一の境界によって定義するのに代えて、方法100は、106で、変更された部分をm個の異なる領域に分割することによって画像データ・フレームNの変更された部分を定義することを含んでいる。これらの領域は、図３において206で模式的に示されている。領域206は、典型的には、１組の、等しいサイズのものであり、任意の適切なサイズであることが可能である。図示された実施の形態においては、プルダウン・メニューは、４つの領域206によってカバーされ、時計アイコンは、１つの領域によってカバーされている。しかしながら、変更されたデータと共に圧縮および送信される変更されていないデータの量を低減するために、比較的小さいサイズの領域206を利用することは望ましい場合がある。

図２を再び参照して、画像200の変更された部分を領域206に分割する前に、同時に、あるいは後で、方法100は、108で、符号化および送信される画像のカラー・パレットを判断すること、および、110で、圧縮画像データの解凍を助けるために画像レンダリング装置16にカラー・パレットに関するアップデートを送信することを含むことが可能である。これは、２４ビットの色が、カラー・パレット中の８ビットのルックアップ値によって省略されることが可能であるからである。色が繰り返し使用されるときに、８ビットの省略は、より少ない送信データに帰着する。

次に、方法100は、112で、ループ・カウンタj=1を初期化し、その後、114で、合計m個の領域の各領域を階層的に符号化することを含んでいる。112で初期化されたループ・カウンタは、階層的に符号化された領域206の個数をカウントする。階層的符号化の一例は、ピラミッド状符号化である。ピラミッド状符号化は、複数の詳細層として画像（あるいは画像の一部）を符号化することを含んでいる。各階層は、次に高位の層として、画像の領域の外観を表わす４倍の「画素」あるいはデータ点を含んでおり、各階層内の各画素は、次に低位の層内の４つの隣接する画素の平均である。各階層内のデータは、実際の値あるいは次に高位の層において符号化された平均値からの差として表現されることが可能である。図示された実施の形態は、ピラミッド状符号化を利用するように記述されているが、当然のことながら、他の適切な階層的符号化の方法が使用されることも可能である。

各領域のピラミッド状符号化は、図４において模式的に示されている。画像レンダリング装置16に送信される各画像領域206は、図４の最上部に沿って示されており、各領域のピラミッド状階層の組208の模式的表現が、その領域の下に示されている。各階層は、符号Lmnでラベル付けされ、下付き文字mは、その階層がどの領域206に関連付けられているかを示し、また、下付き文字nは、その階層の組208における階層の「深さ」を示している。たとえば、左端の領域206aに対する最も詳細な階層（「最低位の」階層）は、210で示され、L1nでラベル付けされている。「１」の下付き文字は、階層が第１の領域（m=1）に対するデータを含んでいることを示し、nは、階層が最低位の「n」階層であることを表わしている。nの最大値は、いくつのピラミッド状階層が構築されているかに依存し、典型的にはソフトウェアに設定される。左端の領域206aに対する３番目に詳細な階層（「第３の階層」）L13、２番目に詳細な階層（「第２の階層」）L12、および最も詳細でない階層（「第１の階層」または「最高位の階層」）L11のピラミッド状階層は、それぞれ、図４において212、214、および216で示されている。

第１の階層216、第２の階層214、および第３の階層212の値間の関係は、図４において破線でも示されている。第１の階層216の値220は、第２の階層214の４つの隣接する値222の平均を表わし、また、第２の階層の各値222は、第３の階層212の４つの値224の平均を表わしている。

各領域をn階層にピラミッド状に符号化した後で、各ピラミッド状階層内の画像データは、通信チャネルを通じて送信されるデータ量をさらに低減する一又は複数の圧縮ステップを通じて圧縮されることが可能である。画像データの各階層Lmnの圧縮形態は、図４において符号Cmnで示されている。各ピラミッド状階層内の画像データは、任意の適切な方法で圧縮されることが可能である。図２の実施の形態においては、各ピラミッド状階層内の画像データは、圧縮技術のうちのいずれかを単独で利用して可能な圧縮程度よりも大きな圧縮程度を達成する複数の圧縮ステップを通じて圧縮される。

ピラミッド状に符号化された領域に対する各ピラミッド状階層の圧縮は、116で開始し、圧縮されたピラミッド状階層数をカウントするカウンタkが初期化される。次に、各ピラミッド状階層内の画像データは、118で、輝度／クロミナンス色空間に随意に変換される。適切な輝度／クロミナンス色空間の例は、YCrCb色空間のような装置に依存した色空間のみならず、CIE XYZおよびCIE L*a*b*色空間のような装置に依存しない色空間を含んでいる。適切な装置に依存しない色空間の別の例は、次のようなものである。色空間は、輝度値rおよびクロミナンス値sおよびtを含んでおり、次の数式によってCIE L*a*b*色空間が導かれる。

（1）r= （L*-L*min）（rmax／（L*max-L*min））
（2）s= （a*-a*min）（smax／（a*max-a*min））
（3）t= （b*-b*min）（tmax／（b*max-b*min））
これらの数式から演算されたr、s、およびt値は、浮動小数点から整数の形式に数字の形態を変更され、したがって、色空間における値に関する演算を単純化するために、最も近い整数値に丸められるか、あるいは切り捨てられることが可能である。これらの数式においては、値L*max、L*min、a*max、a*min、b*max、およびb*minは、L*、a*、およびb*色空間座標の各々の実際の範囲に対応することが可能であるか、または、CIE L*a*b*色空間上にマップされたときに、選択された画像装置18の色空間のような別の色空間の最大値および最小値にに対応することが可能である。値rmax、smax、およびtmaxは、r、s、およびt色座標のそれぞれに対する最大の整数値に対応し、座標のそれぞれを指定するのに使用されるビット数に依存する。たとえば、６ビットが各座標を表現するのに使用される場合には、各座標（０〜６３）に対して６４の可能な整数値が存在し、また、rmax、smaxおよび、tmaxの各々は、値６３を有している。

各ピラミッド状階層内の画像データを輝度／クロミナンス色空間に変換した後で、低変化データは、120でフィルタリングされ、非コンピュータ・グラフィックス・データ（「非CGデータ」）をコンピュータ・グラフィックス・データ（「CGデータ」）により似せるようにすることが可能である。動画ゲーム、デジタルのスライド表示ファイルなどのようなCGデータを有している画像は、映画、スチール写真などのような非CGデータを有している画像よりも高周波数な画像データを備えたよりシャープな色境界を有する傾向にある。色境界でのこれらのデータの種類の異なる特性により、異なる圧縮アルゴリズムが、非CGデータよりもCGデータに対してうまく作用する傾向にある。いくつかの公知の画像データ処理システムは、データがCGデータであるか、あるいは非CGデータであるか否かを判断し、次に、各データの種類に対して異なる圧縮器を利用することを試みる。しかしながら、非CGデータとしてCGデータを誤認すること、あるいはこの逆は、これらのシステムの圧縮効率の損失に導くことがある。したがって、低変化データ120のフィルタリングは、あらかじめ選択された閾値変化よりも小さい変化を有する隣接した画像データ値を特定し（それは同系色間の移行を示すことがある）、次に、変化を低減するために画像データ値のうちのいくつかを変更し、それによって、CGデータにより似ている色境界を生成することを含むことが可能である。したがって、低変化データのフィルタリングは、非CGデータおよびCGデータが同じ圧縮器で適切に圧縮されることを可能にする。非CGデータに加えられた変更は、典型的には、認知可能な閾値よりも小さい変化を有する隣接した値にのみ加えられるが、その変更は、随意的に、認知可能な閾値よりも大きい変化を有する値に加えられることも可能である。

いずれの適切な方法も、画像データ階層内の画像データから低変化データをフィルタリングするのに使用されることが可能である。適切な方法の一例は、低変化データを平滑化するための単純なノッチ・ノイズ除去フィルタを利用することである。ノッチ・ノイズ除去フィルタは、次のように使用されることが可能である。pcで現在の画素、plで現在の画素の左側の画素、そして、prで現在の画素の右側の画素を表現する。最初に、pcとplとの間の差dl、およびpcとprとの間の差drが演算される。次に、dlおよびdrが比較される。dlおよびdrの絶対値が等しくなく、且つ、dlおよびdrのうちの小さい方の絶対値があらかじめ選択された認知可能な閾値よりも小さい場合には、pcは、dlおよびdrのうちの小さい方を０に変更するために、plまたはprと等しくリセットされることが可能である。これに代えて、同じ結果を達成するために、plおよびprのうちのいずれかが、等しいpcに変更されることも可能である。

dlおよびdrの絶対値が等しい場合には、pcを等しいplに変更することは、pcを等しいprに変更することと等価であるかも知れない。この場合には、dlおよびdrの絶対値が所定の認知可能な閾値よりも小さい場合には、pcは、plおよびprのうちのいずれかと等しく変更されることが可能である。さらに、dlおよびdrの絶対値が両方ともあらかじめ選択された認知可能な閾値よりも大きい場合には、pc、pl、またはprのいずれも変更されない。当然のことながら、上記フィルタリング方法は、単に典型例であり、非CGをCGデータにより近似させるために低変化データをフィルタリングする他の適切な方法が使用されることも可能である。たとえば、dlおよびdrの絶対値が、あらかじめ選択された認知可能な閾値以下である場合には、判断関数が、右または左、あるいは上または下に隣接する画素と一致するように現在の画素を変更するべきか否かを判断するために利用されることが可能である。

非CGデータをよりCGデータに近似させるために低変化データをフィルタリングすることに加えて、方法100は、122で、各ピラミッド状階層内の画像データのクロミナンス値の副標本を抽出することをさらに含むことが可能である。一般に、副標本抽出は、少なくとも１つの色空間成分を少なくとも１つの他の色空間成分よりも低い空間周波数でサンプリングすることを含む圧縮技術である。解凍装置は、欠落成分を再演算する。輝度／クロミナンス色空間のための共通の副標本抽出データのフォーマットは、クロミナンス成分が水平方向において輝度成分の空間周波数の２分の１で、且つ、垂直方向において同じ空間周波数でサンプリングされる4:2:2副標本抽出と、クロミナンス成分が垂直および水平方向の両方向に沿って輝度成分の空間周波数の２分の１でサンプリングされる4:2:0副標本抽出とを含んでいる。これらの副標本抽出フォーマット、あるいは任意の他の適切な副標本抽出フォーマットのいずれかが、各ピラミッド状階層内の画像データのクロミナンス成分を副標本抽出するのに使用される。

120で低変化データをフィルタリングし、そして、122でクロミナンスデータを副標本抽出した後で、方法100は、次に、124で、送信データ量をさらに低減するために一又は複数の他の圧縮技術を採用する。典型的には、CGデータに対して良い圧縮を提供する圧縮方法が利用される。図示された実施の形態においては、方法100は、126でデルタ変調圧縮ステップと、128でLZO圧縮ステップとを採用している。LZOは、圧縮比に対して速度が有利であるリアルタイム、ポータブル、非損失なデータ圧縮ライブラリであり、特に、CGデータのリアルタイム圧縮に適している。LZOには、同様に、他の利点がある。たとえば、LZO解凍には、最低限のメモリしか必要でなく、圧縮にはたった６４キロバイトのメモリが必要なだけである。データの各ピラミッド状階層が圧縮された後で、階層Cmnは、130で、画像レンダリング装置16への送信を待つために出力バッファに出力される。次に、方法100は、132で、領域206に対するn個のピラミッド状画像データ階層の組全体208が、カウンタkを階層数nと比較して圧縮されたか否かを判断するためにチェックする。kがnと等しくない場合には、134でkは増加され、次のピラミッド状階層の圧縮は、118で開始される。一旦すべてのピラミッド状画像データ階層が領域206に対して圧縮されたならば、方法100は、k=nであることを確認し、その後、136で、カウンタがj=mであるか否かを判断することによって、すべてのm個の領域206がピラミッド状に符号化されたか否かを判断し始める。jがmと等しくない場合には、jは、138で１つ増加され、方法100は、次の領域206のピラミッド状符号化を開始するために114に戻る。このように、方法100は、ピラミッド状画像データ階層の対応する組208を形成するために、画像200の各領域206をピラミッド状に符号化し、さらに、各領域の各ピラミッド状階層を圧縮する。

一旦各領域206がピラミッド状に符号化および圧縮されたならば、圧縮およびピラミッド状に符号化された画像データは、画像レンダリング装置16に送信されることが可能である。動画データの送信においては、選択されたフレームを表わすピラミッド状に符号化および圧縮された画像データの組のサイズは、フレーム期間中に通信チャネルを通じて送信することができる最大データ量よりも大きいことがある。この場合には、画像ソース18は、次のフレームの圧縮および送信が開始される前に、画像データの１つのフレームに対して送信することができるのと同じ量のデータだけを送信するように構成されることが可能である。

何層を送信すべきかの判断は、任意の適切な方法で実行されることが可能である。たとえば、１つの領域206に対するピラミッド状階層の組全体208は、次の領域206に対する任意の層を送信する前に、送信されることが可能である。これに代えて、図５に示されるように、各領域206に対するピラミッド状に符号化されたデータの第１の層230は、最初に送信され、その後に、第２のピラミッド状に符号化された層232、次に、第３の層234と、フレーム期間中に送信することができる最大データ量が送信されるまで続けることも可能である。任意の領域に対する次に最も詳細な層Cmn+1の送信を開始する前にすべてのm個の領域206に対する選択された画像データ階層Cmnの送信には、画像データが部分的にだけ送信される場合であっても、少なくともいくつかのデータがすべての領域206に対して送信されることに利点がある。

図５は、画像データの組全体の送信を示している。これは、画像データの選択されたフレームが直前の画像データのフレームから部分的にだけ変更される場合に生じることがある。動画の表示では、たとえば、単一のシーン表示を構成するすべての画像フレームは、画像表示などの背景色、色設定、出演者の衣類の色のような共通要素を含んでいることがある。したがって、単一のシーン中に、フレーム間の変化は、典型的には、共通要素の位置ずれによって生じ、比較的少数の領域で符号化されることが可能である。この場合には、符号化された領域数は、単一のフレーム期間中にピラミッド状に符号化された圧縮画像データの完全な組の送信を許容するのに十分小さいことがある。

図６は、画像200の各領域に対してピラミッド状に符号化されたデータの組全体208のプログレッシブ・レンダリングおよび表示を示している。参照符号200'は、図６中の画像が画像ソース18のうちの１つに表示されるのではなく表示装置12によって投影されることを示すのに使用されている。同様に、参照符号206'は、画像200の圧縮および符号化された領域206に対応する画像200'の領域を示すのに使用されている。

まず、250で示されるように、符号C11〜C51で表わされる圧縮画像データの第１のピラミッド状階層が、送信され、解凍され、そして、表示される。次に、252で示されるように、符号C12〜C52で表わされる圧縮画像データの第２のピラミッド状階層が、送信され、解凍され、そして、表示され、それは、表示された画像の領域206'により多くの詳細を取り入れる。圧縮データの第３のピラミッド状階層の解凍および表示は、254で示されるように、領域206'にさらなる詳細を取り入れる。したがって、詳細の規模は、画像データの各ピラミッド状階層の解凍および表示で、各領域206'の水平および垂直方向の両方において２倍ずつ変更される。画像データC1n〜C5nの中で最も詳細な層の解凍および表示では、256で示されるように、不可逆圧縮ステップで失われていない元画像200の詳細のすべてが画像200'に組み入れられる。当然のことながら、図６に示されている変更は、表示装置12によって実際には表示されないことがあるが、その代りに、画像データのフレームに対する送信データのすべての符号化／解凍が完了したときにだけ、バッファ内に保持され、且つ、表示されるデータとされることが可能である。

他方、ある場合には、領域206の大多数が、動画表示における画像データのいくつかのフレーム間の変更を符号化するために要求されることがある。たとえば、背景、衣類、および他の要素が完全に変更されるシーン変更で見られるフレームは、共通の画素をほとんど持たないことがある。したがって、これらのフレームにおける変化の符号化は、本質的にフレーム全体を符号化用に領域206に分割することを要求することがある。画像データの選択されたフレームが領域206の大多数を持つ場合には、単一のフレーム期間中に画像データのフレームに対してすべてのピラミッド状階層を送信することは可能ではない場合がある。これは、図７において模式的に示されている。この場合には、画像データの送信は、送信することができる最後の全画像層236が送信された後で、停止することが可能であるか、または、たとえば線240で示された位置で、次の最も詳細な画像データ階層238内の中間位置で停止することが可能である。

図８は、変更された領域206"がイメージ全体を本質的に占める画像データのフレームの解凍を示している。図６の例のように、画像データの第１の層、第２の層、および第３の層の解凍および表示は、260、262、および264でそれぞれ示され、増加する詳細レベルを画像に取り入れていく。しかしながら、図６の例とは異なり、画像データ階層の送信は、ある中間点で停止され、266で示されるように、画像から、色間の境界近傍での繊細な色移行のようないくつかの繊細な詳細を省いてしまう。そのような詳細の損失は、ビューアにとっては認知可能ではないことがある。たとえば、画像データのいくつかの階層だけの送信は、大きな領域の変更および速い動きの期間中に発生する可能性が最も大きく、それは、人間の認知可能な系がその詳細の損失に気づく可能性が最も小さい。さらに、後に送信されたフレームは、画像中の認知可能なエラーを最小化あるいは除去するのに十分に速く画像に詳細を加えることが可能である。

様々な特徴が解凍性能を改善することを支援する解凍プロセスにおいて実施されることが可能であり、したがって、動画画像を示すときに表示装置12および画像レンダリング装置16の性能を改善する。たとえば、副標本抽出された画像データの解凍を支援するために、画像レンダリング装置16は、解凍演算を実行するプロセッサに関連付けられたキャッシュ・メモリよりも小さい解凍中の画像データを記憶する解凍バッファを備えることが可能である。

副標本抽出された画像データを解凍する公知の解凍システムは、典型的には、欠落クロミナンス値を演算する前に解凍バッファに圧縮画像データの組全体を読み込む。頻繁に、圧縮画像データは、それがバッファに読み込まれるように、キャッシュ・メモリにコピーされ、それは、キャッシュに記憶された値が解凍演算のためにより高速にアクセスされることを可能にする。しかしながら、圧縮画像ファイルのサイズがキャッシュ・メモリよりも大きいことがあるので、キャッシュ・メモリ中のいくつかの画像データは、圧縮画像データがバッファにコピーされるように他の画像データによって上書きされる場合がある。キャッシュ・メモリ中の画像データの上書きは、画像データを解凍しているプロセッサがキャッシュ・メモリ中の上書きされたデータを捜すときに、キャッシュミスを引き起こすことがある。あまりにも多くのキャッシュ・メモリの発生は、不利益な程度まで画像解凍を遅くすることがある。

キャッシュ・メモリよりも小さい解凍バッファの使用は、キャッシュミスの発生を回避することを支援することが可能である。キャッシュ・メモリが典型的には比較的小さなメモリであるので、そのような解凍バッファもまた、ほとんどの画像ファイルよりも小さいこある。換言すれば、画像データがA×B画素配列を有する画像を表わす場合には、解凍バッファは、画像データのA×C配列（ここで、CはBよりも小さい）を保持するように構成されることが可能である。そのようなバッファは、バッファおよびキャッシュ・メモリに副標本抽出された画像データの組を、画像データの一連のより小さな部分集合として読むことによってその副標本抽出された画像データの組を解凍するのに使用されることが可能である。各画像データの部分集合は、圧縮画像データの新しい部分集合が解凍バッファに読み込まれる前に、解凍およびバッファから出力されることが可能である。解凍バッファがキャッシュ・メモリよりも小さいので、キャッシュ・メモリ中のいずれの画像データも解凍演算に使用される間、上書きされる可能性は低い。

解凍バッファは、任意の適切なサイズを有していることが可能である。一般には、解凍バッファがキャッシュ・メモリに対して小さければ小さいほど、著しい数のキャッシュ・ミスの発生の可能性は低くなる。さらに、解凍バッファにおいて解凍される副標本抽出された画像データの種類と、圧縮画像データを解凍するのに使用される演算の種類とは、解凍バッファのサイズに影響を及ぼすことがある。たとえば、4:2:0画像データ中の欠落クロミナンス成分は、副標本抽出されたクロミナンス値が同位置にあるか、あるいは非同位置にあるかに依存して異なって演算されることが可能である。同位置のクロミナンス値は、選択された輝度値として画像上の同じ物理的位置に配置される一方、非同位置のクロミナンス値は、いくつかの関連している輝度値間で間質的に配置される。4:2:0同位置画像データのの欠落クロミナンス値は、演算される欠落クロミナンス値の物理的位置に依存して、欠落値と同じ行、または隣接する行のいずれかの副標本抽出されたクロミナンス値から演算されることが可能である。したがって、クロミナンス値が無いデータ行を有している4:2:0同位置の画像データを解凍するための解凍バッファは、欠落クロミナンス値が垂直方向に隣接するクロミナンス値から演算されることを可能にする複数行の画像データを保持するように構成されることが可能である。

任意の適切な方法が、単一のフレーム期間中に画像ソース18から画像レンダリング装置16に何個の画像データ階層が送信されることがあるかを判断するのに使用されることが可能である。たとえば、簡単な方法は、送信がアクティブな画像ソース18の上の画像データのフレームがいつ変更されるかを検出し、その検出された変更を、新しい圧縮および送信プロセスを開始するトリガとして使用することが可能である。このように、ピラミッド状に符号化および圧縮された画像データの送信は、先の画像フレームに対するデータ送信が終了するときに（まだ完了してなければ）、選択された画像ソース上に表示された画像中に変更が検出されるまで続行される。

何個の画像データ階層が単一のフレーム期間中に送信されることがあるかを判断する適切な方法の別の例は、通信チャネルの帯域幅を判断し、その後、検出された帯域幅および画像データの公知のフレーム・レートから、どの程度の画像データが単一のフレーム期間中に通信チャネルを通じて送信されることができるかを演算することを含んでいる。帯域幅は、圧縮画像データの送信の前、あるいは送信中に一度判断されるか、または周期的に検出および更新されることが可能である。

単一のフレーム期間中に送信することができるのと同じくらい多くのピラミッド状に符号化および圧縮された画像データだけを送信するのに適した方法の典型的な１つの実施の形態が図９において概して300で示されている。方法300は、まず、302で、画像レンダリング装置16に送信されるべきピラミッド状に符号化および圧縮された画像データが通る通信チャネルの利用可能な帯域幅を判断することを含んでいる。ピラミッド状に符号化および圧縮された画像データの測定された帯域幅および既知のフレーム・レートから、画像データの個々のフレームのサンプリング中に通信チャネルを通じて送信することができる最大データ量は、304で判断される。

一旦フレーム期間中に送信することができる最大データ量が判断されたならば、方法300は、データ送信を開始する。まず、方法300は、306で、カウンタkおよびトラッキング変数「合計」の初期化を含んでいる。カウンタkは、送信された完全な層数をトラッキングするのに使用される。次に、方法300は、308で、カウンタkに対応するループに入り、ここで、カウンタjが初期化される。カウンタjは、単一のデータ階層の送信の進捗をトラッキングするのに使用される。

次に、方法300は、画像データの送信を開始する。データCjkの層の送信の前に、次の層Cjkのサイズは、312で変数「合計」の値に加えられ、その後、「合計」の値は、314で、単一のフレーム期間中に送信することができる最大データ量と比較される。次のデータ階層Cjkのサイズの後で「合計」の値が単一のフレーム期間中に送信することができる最大データ量よりも大きくなった場合には、次のデータ階層Cjkは、送信されず、データ送信は終了する。

他方、「合計」の値が単一のフレーム期間中に送信することができる最大データ量よりも小さい場合には、次のデータ階層Cjkは、316で送信される。次に、方法300は、318で、カウントしている変数jがmと等しいか否かを判断する。それは、選択された画像データ階層がすべてのm個の領域206に送信されたことを示している。jがmと等しくない場合には、方法300は、320で、カウントしている変数jに値「１」を加え、312に戻る。このループは、固定値kに対してすべてのデータ階層Cjkがすべてのm個の領域206に対して送信されるまで継続する。

一旦固定値kに対してすべてのデータ階層Cjkがすべてのm個の領域に対して送信されたならば、方法300は、322で、カウントしている変数kを層数nと比較することによって未だ送信されていない画像データの任意の階層があるか否かを判断する。kがnよりも小さい場合には、kは、324で値「１」増加され、方法300は、次に最も詳細な階層からの画像データの送信を開始するために308に戻る。

方法100および300の様々な圧縮および送信操作を実施するソフトウェアは、単一のスレッド、単一のプロセスとして動作することが可能であり、あるいは、複数のスレッド、または複数のプロセス、またはそれらの任意の組み合わせとして動作することが可能である。複数のスレッドあるいは複数のプロセスのアプローチは、送信帯域幅のようなシステム10のリソースが単一のスレッドあるいは単一のプロセスのアプローチよりも効率的に利用されることを可能にすることがある。様々な動作が、異なるスレッドまたはプロセスの任意の適切な個数で実行されることが可能である。たとえば、１つの実施の形態においては、３つの別個のスレッドが方法100および300の動作を実行するのに使用される。これらのスレッドは、受信器、プロセッサ、および送信器と呼ばれることがある。受信器スレッドは、画像ソース18のスクリーン上の画像から生成されたビットマップ・データを得ることが可能である。プロセッサ・スレッドは、比較、ピラミッド状符号化、および方法100の他の圧縮ステップを実行することが可能である。送信器スレッドは、方法300の帯域幅モニタリングおよび送信ステップを実行することが可能である。当然のことながら、これが、単に典型的なソフトウェア・アーキテクチャであって、他の適切なソフトウェア・アーキテクチャが使用されることも可能である。

したがって、或る実施の形態においては、通信チャネルを通じて表示画像ソースから表示装置に画像データの複数のフレームを送信する方法が開示されており、ここでは、画像データの複数のフレームは、所定時間間隔でフレームごとに送信される。本方法は、階層的に符号化された画像データ階層の組を形成するために階層的符号化を通じて画像データの選択されたフレームの少なくとも一部を符号化すること、および、通信チャネルを通じて画像データ階層の組の部分集合だけを送信することを含むことが可能であり、ここでは、画像データ階層の部分集合は、画像データ階層の組よりも少ない数の画像データ階層を含んでいる。

他の実施の形態は、通信チャネルを通じて画像データの複数のフレームを送信する方法を提供し、ここでは、画像データの複数のフレームは、固定期間で通信チャネルを通じてフレームごとに送信される。本方法は、直前の画像データのフレームと比較して変更された画素を有する画像データの選択されたフレームの部分の位置を特定すること、変更された画素を有する部分を符号化用に複数の領域に分割すること、および各領域に対して画像データ階層の組を形成するために各領域をピラミッド状に符号化することを含み、画像データ階層の各組は、最小量の詳細を有している画像データ階層符号化情報と、最大量の詳細を有している画像データ階層符号化情報と、中間量の詳細を有している画像データ階層符号化情報を含むことが可能である。さらに、本方法は、各領域に対して最小量の詳細を有している画像データ階層符号化情報を送信すること、および固定期間の終了まで少なくとも各領域に対して他の画像データ階層のうちのいくつかを送信することを含むことが可能である。

さらに別の実施の形態は、通信チャネルを通じて画像データの複数のフレームを送信する方法を提供し、ここでは、複数のフレームは、直前に送信されたフレームに対して、より少ない変更数を有する第１のフレームと、より多い変更を有する第２のフレームとを含んでいる。本方法は、前記変更を有する第１のフレームおよび第２のフレームの一部を符号化用に複数の領域に分割すること、各領域に対して画像データ階層の組を形成するために各領域をピラミッド状に符号化し、第１のフレームのすべての領域に対して画像データ階層のすべてを送信すること、および第２のフレームのすべての領域に対して画像データ階層の一部だけを送信することを含んでいる。

さらに、本開示は、特定の実施の形態を含んでいるが、特定の実施の形態は、多数の変形が可能であるので、限定された意味で考慮されるべきではない。本開示の主題は、ここに開示された種々の要素、特徴、機能、および／または特性の新規且つ非自明なコンビネーションおよびサブコンビネーションをすべて含んでいる。請求項は、新規且つ非自明であると見なされた或るコンビネーションおよびサブコンビネーションを特に指し示している。これらの請求項は、「１つの」要素もしくは「第１」要素、またはその均等物を参照することがある。そのような請求項は、一又は複数のそのような要素の援用を、複数のそのような要素を除外することも要求することもなく含むと解釈されるべきである。特徴、機能、要素、および／または特性の他のコンビネーションおよびサブコンビネーションは、現在の請求項の補正を通じて、あるいはこれもしくは関連する出願において新しい請求項を提示することを通じて請求されることが可能である。そのような請求項は、元の請求項の範囲よりも広く、より狭く、等しく、あるいは異なっても、本開示の主題に含まれると見なされる。

本発明の実施の形態にかかる画像データ処理システムの模式図である。 本発明の実施の形態にかかる画像データを処理する典型的な方法のフローチャートである。 画像ソース・ディスプレイ上に表示された典型的な画像の図であり、符号化用に領域に分割された前記画像の変更された部分を示している。 図３の各分割領域のピラミッド状符号化および圧縮の模式図である。 画像ソースから表示装置への、ピラミッド状に符号化および圧縮された画像データのすべての組の送信の模式図である。 いくつかの典型的な画像データ階層の受信および解凍中の時間の関数としての、図３の画像表示の変化の図である。 画像ソースから表示装置への、ピラミッド状に符号化および圧縮された画像データの部分集合だけの送信の模式図である。 いくつかの典型的な画像データ階層の受信および解凍中の時間の関数としての、図７の画像データ表示の変化の図である。 本発明にかかる、画像ソースから表示装置に画像データを送信する方法の典型的な実施の形態のフローチャートである。

符号の説明

10 画像処理システム
12 表示装置
16 画像レンダリング装置
18 画像ソース
18a サーバ（デスクトップ・コンピュータ）
18b ラップトップ・コンピュータ
18c 携帯情報端末（PDA）
18d 携帯電話機
20 無線ネットワーク
22 ディスプレイ
100，300 方法
200 静止画像
206 分割領域
208 階層組

Claims (35)

1. 通信チャネルを通じて表示画像ソースから表示装置に画像データの複数のフレームを送信する方法であって、
   前記画像データの複数のフレームは、所定時間間隔でフレームごとに送信され、
   階層的に符号化された画像データ階層の組を形成するために、階層的符号化を通じて画像データの選択されたフレームの少なくとも一部を符号化すること、および
   前記通信チャネルを通じて前記画像データ階層の組の部分集合だけを送信することを含み、
   前記画像データ階層の部分集合は、前記画像データ階層の組よりも少ない数の画像データ階層を含んでいる方法。
2. 前記画像データ階層の部分集合は、前記所定時間間隔で送信されることができるのと同じ数の画像データ階層だけを含んでいる請求項１記載の方法。
3. 前記画像データ階層の組の部分集合を送信する前に、前記所定時間間隔で前記通信チャネルを通じてどれだけの画像データ階層を送信することができるかを判断することをさらに含む請求項１記載の方法。
4. 前記画像データの選択されたフレームの少なくとも一部の符号化は、
   前記画像データの選択されたフレームを先に送信された画像データのフレームと比較すること、
   前記先に送信された画像データのフレームと比較して変更がある前記画像データの選択されたフレームの部分を識別すること、および
   前記変更された画素を有する部分を符号化用に複数の領域に分割することを含んでいる請求項１記載の方法。
5. 画像データ階層の複数組を形成するために、階層的符号化によって個別に各領域を符号化することをさらに含む請求項４記載の方法。
6. 前記画像データ階層の複数組のうちの画像データ階層の各組は、最小量の詳細を有している層符号化情報と、最大量の詳細を有している層符号化情報と、中間量の詳細を有している層符号化情報とを含んでいる請求項５記載の方法。
7. 前記最小量の詳細を有している層符号化情報は、最初に送信され、そして、漸増的により大きな詳細の層が後に続く請求項６記載の方法。
8. 前記領域は、同一サイズである請求項４記載の方法。
9. 前記画像データの選択されたフレームは、画像データの第１のフレームであり、前記画像データ階層の組は、第１の組の画像データ階層であり、第２の組の画像データ階層を形成するために、階層的符号化によって画像データの第２のフレームの少なくとも一部の符号化し、その後、前記第２の組の画像データ階層の、すべての画像データ階層を送信することをさらに含む請求項１記載の方法。
10. 前記画像データの第２のフレームは、前記画像データの第１のフレームよりも先の画像データのフレームに関するより少ない変更を含んでいる請求項９記載の方法。
11. 前記画像データ階層を送信する前に、各画像データ階層を圧縮することをさらに含む請求項１記載の方法。
12. 前記各画像データ階層は、副標本抽出、色空間変換、デルタ変調、およびLZO圧縮から構成されるグループから選択された少なくとも１つの手法によって圧縮される請求項１１記載の方法。
13. 階層的に符号化された画像データ階層の組を形成するために、階層的符号化を通じて前記画像データの選択されたフレームの少なくとも一部を符号化することは、前記画像データ階層の選択されたフレームの少なくとも一部をピラミッド状に符号化することを含んでいる請求項１記載の方法。
14. 前記表示装置は、投影装置である請求項１記載の方法。
15. 通信チャネルを通じて投影装置に画像データの複数のフレームを送信する方法であって、
    前記画像データの複数のフレームは、固定期間で、通信チャネルを通じてフレームごとに送信され、
    直前の画像データのフレームと比較して、変更された画素を有する画像データの選択されたフレームの部分を見つけること、
    前記変更された画素を有する部分を符号化用に複数の領域に分割すること、
    各領域に対して画像データの組を形成するために各領域のピラミッド状に符号化すること、
    各領域に対して最小量の詳細を有している画像データ階層符号化情報を送信すること、および
    固定期間の終了まで各領域に対して他の画像データ階層のうちの少なくともいくつかを送信することを含み、
    画像データ階層の各組は、最小量の詳細を有している画像データ階層符号化情報と、最大量の詳細を有している画像データ階層符号化情報と、中間量の詳細を有している画像データ階層符号化情報とを含んでいる方法。
16. 前記他の画像データ階層は、漸増的に詳細を増加して送信される請求項１５記載の方法。
17. 選択された詳細レベルのすべての画像データ階層は、漸増的により詳細な画像データ階層が任意の領域に対して送信される前に、すべての領域に対して送信される請求項１６記載の方法。
18. 前記固定期間中に前記通信チャネルを通じて送信することができる最大データ量を演算することをさらに含む請求項１５記載の方法。
19. 前記固定期間中に前記通信チャネルを通じて送信することができる前記最大データ量から、前記固定期間中に前記通信チャネルを通じて送信することができる層数を演算することをさらに含む請求項１８記載の方法。
20. 前記データ階層を送信する前に各画像データ階層を圧縮することをさらに含む請求項１５記載の方法。
21. 各画像データ階層は、副標本抽出、色空間変換、デルタ変調、およびLZO圧縮から構成されるグループから選択された少なくとも１つの手法によって圧縮される請求項２０記載の方法。
22. 画像データの異なるフレームは、異なる数の変更された画素を有しており、画像データ階層の異なる数は、異なる数の変更された画素を有する画像データの選択された異なるフレームに対して送信される請求項１５記載の方法。
23. 通信チャネルを通じて画像データの複数のフレームを送信する方法であって、
    前記複数のフレームは、直前に送信されたフレームに対して、より少ない変更数を有する第１のフレームと、より多い変更を有する第２のフレームとを含んでおり、
    前記変更を有する第１のフレームおよび第２のフレームの部分を符号化用に複数の領域に分割すること、
    各領域に対して画像データ階層の組を形成するために各領域をピラミッド状に符号化すること、
    前記第１のフレームのすべての領域に対してすべての画像データ階層を送信すること、および
    前記第２のフレームのすべての領域に対して画像データ階層の一部だけを送信することを含む方法。
24. 画像データ階層の各組は、最小量の詳細を有している画像データ階層符号化情報と、最大量の詳細を有している画像データ階層符号化情報と、中間量の詳細を有している画像データ階層符号化情報とを含んでおり、前記最小量の詳細を有している画像データ階層符号化情報は、前記他の画像データ階層の前に送信される請求項２３記載の方法。
25. 前記画像データの複数のフレームは、通信チャネルを通じてフレームごとに固定期間で周期的に送信される請求項２３記載の方法。
26. 前記第１のフレームまたは第２のフレームに対して前記画像データ階層を送信する前に、どれだけの画像データ階層を前記通信チャネルを通じて前記固定期間中に送信することができるかを判断することをさらに含む請求項２５記載の方法。
27. どれだけの画像データ階層を前記固定期間中に送信することができるかを判断することは、前記通信チャネルを通じて前記固定期間中に送信することができる最大データ量を周期的に判断することを含んでいる請求項２６記載の方法。
28. 送信される前記第２のフレームの前記画像データ階層の部分は、前記通信チャネルを通じて前記固定期間中に送信することができる画像データ階層の最大層数である請求項２５記載の方法。
29. 前記画像データ階層を送信する前に、送信される各画像データ階層を圧縮することをさらに含む請求項２３記載の方法。
30. 前記画像データ階層は、副標本抽出、色空間変換、デルタ変調、およびLZO圧縮から構成されるグループから選択された少なくとも１つの手法によって圧縮される請求項２９記載の方法。
31. コンピュータが読み取り可能な記憶媒体上の、画像表示装置に画像を送信する演算装置によって実行可能な命令であって、
    階層的に符号化された画像データ階層の組を形成するために、階層的符号化を通じて画像データの選択されたフレームの少なくとも一部を符号化するためのコードと、
    通信チャネルを通じて前記画像データ階層の組の部分集合だけを送信するためのコードとを含み、
    前記画像データ階層の部分集合は、前記画像データ階層の組よりも少ない数の画像データ階層を含んでいる媒体。
32. 前記画像データ階層の部分集合は、所定時間間隔で送信することができるのと同じだけの数の画像データ階層を含んでいる請求項３１記載の記憶媒体。
33. 表示用の画像を送信する装置であって、
    直前の画像データのフレームと比較して、変更された画素を有する画像データの選択されたフレームの部分の位置を特定する手段と、
    前記変更された画素を有する部分を符号化用に複数の領域に分割する手段と、
    各領域に対する画像データ階層の組を形成するために、ピラミッド状に符号化する手段と、
    各領域に対して最小量の詳細を有している画像データ階層符号化情報を送信する手段と、
    固定期間の終了まで、各領域に対する他の画像データ階層のうちの少なくともいくつかを送信する手段とを備え、
    画像データ階層の各組は、最小量の詳細を有している画像データ階層符号化情報と、最大量の詳細を有している画像データ階層符号化情報と、中間量の詳細を有している画像データ階層符号化情報とを含んでいる装置。
34. 前記他の画像データ階層は、漸増的に詳細を増加して送信される請求項３３記載の装置。
35. 前記データ階層を送信する前に各画像データ階層を圧縮する手段をさらに備える請求項３３記載の装置

Images