JP2004523178A - 映像を符号化ビットストリームに処理する方法 - Google Patents
映像を符号化ビットストリームに処理する方法 Download PDFInfo
- Publication number
- JP2004523178A JP2004523178A JP2002570538A JP2002570538A JP2004523178A JP 2004523178 A JP2004523178 A JP 2004523178A JP 2002570538 A JP2002570538 A JP 2002570538A JP 2002570538 A JP2002570538 A JP 2002570538A JP 2004523178 A JP2004523178 A JP 2004523178A
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- quality
- bit stream
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
映像を符号化ビットストリームに処理する方法であって、符号化ビットストリームはＷＡＮを介してデバイスに送信されるべきものであり、その映像処理により、ビットストリームが導かれるが、このビットストリームは、（ａ）映像を、画質ラベルを付した、デバイスに依存しないベクトルグラフィック形式で表わしたものであり、また、（ｂ）そのデバイスのリソース制約によって決定される画質で、ベクトルグラフィクスベースの表現で映像を表示するために、そのデバイスにおいて復号可能である。
Description
【技術分野】
【０００１】
本発明は、映像（ビデオ）を符号化ビット列に処理する方法に関する。この方法は、限られたリソースのディスプレイデバイスが利用するために静止画或いは映像をベクトルグラフィクスフォーマットのインストラクションに処理する際に行なうことができる。
【背景技術】
【０００２】
スケーラブルなフォーマットの静止画または映像を取り扱い、配信するシステムにおいては、その素材画像のクライアントは、抱えているタスクに応じた、或いは、配信システムまたは復号システムの能力に応じた、画質設定を要求できる。そして、ローカルメモリに特定の画質で画像表現を記憶することにより、そのようなシステムにおいては、そのクライアントが、さらによい画像品質を獲得するため、その画像表現を時間をかけて磨き上げることができる。来は、そのようなシステムは以下のようなアプローチを取っていた。つまり、メディアを符号化するため、幾分「粗い」レベルに設定されたパラメータ(例えば量子化レベル)を有するアルゴリズムを適用しなければならなかった。その結果は、オリジナル画像に比べて低い画質ではあるが、復号可能なビット列および完全に再構築できるメディアである。そして、その入力に対するさらに符号化するためには、さらに「よりよい画質」となるパラメータ設定が必要であり、所望の画質に再構築するためには、先の符号化と組み合わせることができる。
【０００３】
そのようなシステムは、画像データを圧縮されたレイヤー形式に処理する方法を含むが、ここでそのレイヤーは、画像の品質を形成するために時間をかけてデータを符号化する手段を提供する。その１例がTelemedia Limited.の特許文献１に記載されている。ここでは、ウェーブレット係数をその重要性に応じて順序づけることと関連して、スケールスペースでのウェーブレット符号化の進歩的な性質を用いて、多くの次元でスケーラブルなビットストリームを得ている。
【特許文献１】
PCT/GB00/01614
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、そのようなシステムでは、クライアントデバイス、特に、ディスプレイハードウェアがある程度の能力を有することが前提となっている。即ち、ビデオ更新速度でマルチビット画素値をフレームストアにレンダリングする能力が通常必要とされる。しかしながら、モバイルコンピューティングネットワークの終端では、マルチビットの奥行きのあるフレームストアは利用不可能かもしれず、もし利用可能としても、限定された通信能力、ＣＰＵ、メモリ、およびバッテリ寿命といった制約条件によって、最低画質の映像のレンダリングすら、レソースの深刻な浪費となる。この問題を解決するため、クライアントデバイスの能力にデータを合わせる方法が求められている。これは、従前のように、映像が、四角いグリッド上に抽出された所定数のビットをもつ輝度値として、装置に依存する低レベルな方法で表されている状況では、困難な問題である。概して、ローカルな制約に合わせるためには、そのような素材を完全に符号化し、その後でより適した形式に再処理しなければならない。
【０００５】
よりフレキシブルなメディアフォーマットは、画像を、より高いレベルで、より汎用的な、装置に依存しない方法で記述し、広い範囲の如何なるディスプレイフォーマットへの効果的な処理も可能である。コンピュータグラフィックの分野では、画像が最初にコンピュータスクリーンに現れて以来、ベクトルフォーマットはよく知られており、今も使用されている。このフィーマットでは、一般的に、ストローク、ポリゴン、カーブ、フィルエリアなどとして画像を表現する。そして、標準的な画像の画素フォーマットで可能なものに比べて、より高いレベルで、かつより広い範囲の描写的な要素を利用する。そのようなベクトルファイルフォーマットの１例として、スケーラブルベクトルグラフィクス（ＳＶＧ）が挙げられる。画像の意味または意図を保持（または、強調さえ）しつつ、ベクトルフォーマットに画像を変換することができれば、そして、画素値（または、その変形）よりむしろこれらのベクトルを描くための指示を装置に送信することができれば、通信、ＣＰＵ、及びレンダリングの潜在的な必要条件のすべてを、劇的に減少させることができる。
【課題を解決するための手段】
【０００６】
第１の態様では、映像を符号化ビットストリームに処理する映像処理方法が提供されるが、その符号化ビットストリームはデバイスへＷＡＮを介して送信されるべきものであり、
前記映像の処理により、
（ａ）デバイスに依存しないクオリティラベルを有するベクトルグラフィックフォーマットで映像を表わし、
（ｂ）そのデバイスのリソース制約によって決定された画質で、ベクトルグラフィックスベースの映像表示を行なうために、そのデバイスにおいて復号可能な、
前記ビットストリームを生成することを特徴とする。
【０００７】
前記クオリティラベルは、そのデバイスにおいても、そして、異なる表示能力を有する異なるデバイスにおいても、スケーラブルな映像再生を可能とする。この方法は特に、リソースが制約された、携帯電話やハンドヘルドコンピュータなどに有用である。
【０００８】
クオリティラベルの有するベクトルグラフィクスフォーマットへの映像処理方法の一部として、
（ａ）ベクトルベースのグラフィクスプリミティブで前記映像を記述するステップと、
（ｂ）前記グラフィクスプリミティブを複数の特徴部分にグループ化するステップと、
（ｃ）前記グラフィクスプリミティブ及び/又は前記特徴部分に対して、知覚的重要度を割り当てるステップと、
（ｄ）前記知覚的重要度からクオリティラベルを導出するステップと、
を含んでもよい。
【０００９】
矩形のグリッド上の輝度サンプルがとして従来の方法で表現された画像は、グラフィカルな形式に変換され、１連の形状の符号化として表現される。この符号化は、画像を粗いスケールで表現するものではあるが、そのエッジ情報は保持されている。また、それはベースレベル画像として保持され、そのベースレベル画像から、１つ以上の符号化方法を用いて、より高画質の符号化を行なうことができる。１つの実現方法としては、映像は、映像圧縮アルゴリズムのヒエラルキーを用いて符号化される。このアルゴリズムのそれぞれは、特に、与えられたクオリティレベルでの符号化映像の生成に好適である。
【００１０】
第２の態様においては、符号化ビットストリームに処理された映像を復号する映像復号方法が提供され、符号化ビットストリームは、ＷＡＮを介してデバイスに送信されたものであり、
前記符号化ビットストリームの復号ステップは、
（ｉ）デバイスに依存しないクオリティラベルを抽出するステップと、（ｉｉ）デバイスがベクトルグラフィックスベースの映像表現を表示できるようにするステップと、を含み、デバイスに表示される映像品質は、そのデバイスのリソース制約によって決定されることを特徴とする。
【００１１】
第３の態様においては、映像を符号化ビットストリームに符号化する装置が提供され、前記符号化ビットストリームは、ＷＡＮを介してデバイスに送信されるべきものであって、
前記装置は、前記映像を前記符号化ビットストリームに処理可能であり、前記ビットストリームは、
（ａ）前記映像を、デバイスに依存しないクオリティラベル付きのベクトルグラフィックフォーマットで表現したものであり、
（ｂ）前記デバイスのリソース制約によって決定された画質で、前記映像のベクトルグラフィックスベースの画像表現を表示するために、前記デバイスで復号されることを特徴とする。
【００１２】
第４の態様においては、符号化ビットストリームに処理された映像を復号する映像復号装置が提供され、前記符号化ビットストリームは、ＷＡＮを介してデバイスに送信されたものであり、
前記装置は、（ｉ）デバイスに依存しないクオリティラベルを解凍するステップと、（ｉｉ）デバイスが前記映像をベクトルグラフィックスベースで表現したものを表示できるようにするステップと、を含み、デバイスに表示される映像品質は、そのデバイスのリソースの制約によって決定されることを特徴とする。
【００１３】
第５の態様においては、オリジナル映像を符号化ビットストリームに処理するステップを含む処理によって符号化された映像ファイルビットストリームが提供され、前記符号化ビットストリームはＷＡＮを介してデバイスに送信しようとするものであり、
前記映像を処理するステップは、
（ａ）前記映像を、デバイスに依存しないクオリティラベルを付したベクトルグラフィックフォーマットで表現した符号化ビットストリームであって、
（ｂ）前記ベクトルグラフィックスベースの映像表現を、前記デバイスのリソース制約によって決定される画質で、表示するために、前記デバイスにおいて復号されうる符号化ビットストリームを、生成することを特徴とする。
【００１４】
簡単に言えば、本発明は、以下のように実現される。
【００１５】
グレースケール画像が、１セットの領域に変換される。好適な実施形態では、その１セットの領域は１セットの２値画像に対応しており、各２値画像は、オリジナル画像を所定の閾値を用いて２値化したものである。まず、量子化レベル数max_levelsを選択し、入力画像のヒストグラムをそのレベル数に均等分割する。即ち、各量子化レベルは、等しい画素数に関連づけられる。閾値ｔ（１）、ｔ（２）．．．ｔ（max_levels）は、均等化ステップで導き出され、画像を、前景領域（１）と背景（０）からなるmax_levels個の２値画像に量子化するために用いられる。ここでｔは、グレースケールの最低値と最高値の間の値である。max_levels個の画像のそれぞれについて、以下のステップが取られる。
すなわち、その領域は、小さなホールを埋めるために拡大され、それにより、いわゆる「ノイズ」を除去する。そして、その領域の全周を検知する間に、その領域中に「ギャップ」が全く存在しないように、前景領域中の連続した８画素の背景を取り除き、８つの連続した前景領域を、最低３画素幅以上にする。
【００１６】
他の実施形態では、その領域は、「モーフォロジカルスケールスペースプロセッサ」を用いて抽出される。これは、画像のような多次元信号を処理するために形状分析と形状操作を用いる非線形画像処理技術である。そのようなプロセッサからの出力は、通常、益々大きなスケールの細部を有する領域を含む連続した画像からなる。それらの領域は、その画像の認識可能な特徴部分を、増加するスケールで表わすことができ、簡便に、スケールスペースツリーに表わされる。そのスケールスペースツリーでは、ノードは、領域情報（位置、形状、輪郭）を所定のスケールで保持し、エッジは、スケールスペース挙動（どのようにして多くのファインスケールの領域から粗いスケール領域が形成されるか）を表わす。
【００１７】
それらの領域は、その領域の形状、色彩、位置、視覚的優先度及びその他の如何なる特徴であっても、コンパクトに示す記述（形状記述）に処理することができる。この記述は、特徴情報を提供するために処理される。ここで、特徴とは、画像の外観的な性質である。この情報は、以下の何れかを含むことができる。すなわち、この輪郭によって表わされる、その特徴部分の輝度勾配（すなわち、輪郭が、フィル（中実）領域の周囲を表わすものかまたはホール（中空部分）の周囲を表わすものか）、その特徴部分の平均輝度、及び、その特徴部分の「重要性」の信号である。
【００１８】
好適な実施形態においては、その領域の外周部が抽出され、ユニークなラベルが各輪郭に割り当てられ、ラベル付けされたそれぞれの輪郭から、座標リストが生成される。max_levels個のイメージレベルのそれぞれに対し、そして、そのレベル内の各輪郭に対し、その輪郭が境界（バウンダリ）或いはホールのいずれを表わしているのかが、スキャンラインパリティチェックルーティン（Theo Pavlidis "Algorithms for Graphics and Image Processing", Springer-Verlag, P.174）を用いることによって確立される。そして、グレースケール輝度が測定され、その輪郭周辺のグレースケール輝度の平均値が、この輪郭に割り当てられる。
【００１９】
最後に、その輪郭は、その輪郭を、関連する輪郭のファミリーに並べることにより、特徴部分毎にグループ分けされる。そして各特徴部分には、その特徴部分の輝度勾配から算出された視覚的重要度が割り当てられる。また、その特徴部分中の各輪郭には、その輪郭の位置における輝度勾配から算出された視覚的重要度が個別に割り当てられる。そして、クオリティヒエラルキーにおける位置を決定可能とするために、輪郭と特徴部分の両方に対する視覚的重要度の値からクオリティラベルが導かれる。
【００２０】
輪郭座標は、フィッティングステップにおいて適正な曲線群をモデル化するため、画素が隣接する順番となるようにソートされ得る。
【００２１】
本発明の好適な実施形態においては、輪郭は、独立変数ｘに関する一価関数である１セットのシンプルなカーブ群に分割される。このカーブ群はそれら自身上に引き返さず、したがって、縦座標ｘのポイントは縦座標ｘ＋１のポイントに隣接している。
【００２２】
そして、パラメトリック曲線をそれらの輪郭に合わせることができる。
【００２３】
好適な実施の形態では、区分的３次ベジェカーブフィッティングアルゴリズムを用いる。このアルゴリズムは、Andrew S.Glassner(ed)によるGraphics Gems Volume1、P612の「Algorithm for Automatically Fitting Digitised Curves」に記載されている。カーブ群には、ベクトルグラフィックスフォーマットのグラフィックス指示のリストを形成するため、優先順位がつけられる。このベクトルグラフィクスフォーマットによりオリジナル画像の表示をクライアント装置に再構築可能となる。
【００２４】
最低のレベルから開始して、レベル毎に、そして、フィル領域を表わす輪郭ごとに、カーブが、ＳＶＧフォーマットでファイルに書き出される。次に、最高レベルから開始して、レベルごとに、そして、ホールを表す輪郭ごとに、カーブがＳＶＧフォーマットでファイルに書き出される。この手順は、その領域の適正な視覚優先度を取得するために周知の「ペインタアルゴリズム」を適合させる。ＳＶＧクライアントは、ファイルに書かれている順番で領域をレンダリングする。輝度が増加する順序「バックからフロントへ」の順番で領域をレンダリングし、それから輝度が減少する順序「フロントからバックへ」の順序で領域をレンダリングすることにより、所望の入力画像の近似画像が再構築される。
【００２５】
その領域記述子を、「ベース」となるクオリティレベルにビデオフレームを復号して、再構築するクライアントに送信してもよい。次に、第２符号化アルゴリズムを用いて、再構築された画像の品質を改善するエンハンス情報を生成する。
【００２６】
好適な実施の形態では、分割され、ベクトル化された画像が、エンコーダにおいて、４分木分解の「ルート」象限に同等な解像度で再構築される。実際のルートデータ値への近似、或いは予測子としてこれが用いられる。エンコーダは実際のルート象限から予測値を差し引いて、エントロピ符号化方式を用いてその差を符号化し、結果を送信する。デコーダは、再構築されたルートにそのルート差を追加し、逆変換でのスタートポイントとして、これを用いる。
【発明を実施するための最良の形態】
【００２７】
（キーコンセプト）
＜スケーラブルベクトルグラフィクス＞
スケーラブルなベクトルファイルフォーマットの１例として、スケーラブルベクトルグラフィクス（Scalable Vector Graphics (SVG) 1.0 Specification, W3C Candidate Recommendation,２０００年８月２日）が挙げられる。ＳＶＧはベクトルグラフィックスのために提案されたスタンダードなフォーマットであり、ＸＭＬのネームスペースであって、複数のプラットホーム、出力解像度、色空間、およびさまざまな利用可能な帯域幅に亘ってうまく動作するように設計されている。
【００２８】
＜ウェーブレット変換＞
ウェーブレット変換は、比較的最近になって、画像の解析及び圧縮のためのツールとして完成されてきた。参考文献としては、例えばMallat, Stephane G.による「A Theory for Multiresolution Signal Decomposition:The Wavelet Representation」IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.11, No.7, pp 674-692 (Jul 1989) があり、ここに、高速ウェーブレット変換（ＦＷＴ）が記載されている。ＦＷＴは２画像のパワー或いはサブバンドのヒエラルキーを生成するものであり、その各ステップでは、空間的な標本周波数−表わされる細部の「細かさ」−が、ｘとｙにおいて１／２に減少する。この処理は、画像サンプル同士の相関性を無くす。その結果、そのエネルギーの大部分は、サブバンド内で少ない数の高マグニチュード係数に圧縮され、その残りは、主にゼロまたは低い値となる。つまり、かなりの圧縮を行なうことができる。
【００２９】
各サブバンドは、空間成分／周波数成分の特定の組合せによって画像を記述する。ヒエラルキーのベースでは、、１つのサブバンドは、画像の平均輝度情報を含む「ルート」であり、入力画像をローパスフィルタリングしたバージョンである。スケーラブル画像伝送システムでは、入力画像に対する粗いスケール近似としてこのサブバンドを使用することができる。しかしながら、エッジ解像度は不明瞭で悪いものとなる。
【００３０】
＜スケールスペースフィルタリング＞
スケールスペースのアイデアは、コンピュータビジョン調査において用いるために開発されたものであり、例えば、AP WitkinのScale space filtering-A new approach to multi-scale description, Ullman, Richards (Eds.), Image Understanding, Ablex, Norwood, NJ, 79-95, 1984.に記述がある。マルチスケール表示では、粗いスケールの構造は、より細かいスケールの対応構造を簡素化した表現となる。画像のマルチスケール表現は、上述したようなウェーブレット変換か或いは、ガウスカーネルを使用する畳み込みによって得ることができる。しかしながら、そのようなリニアフィルタによれば、上述したように、ウェーブレットルート象限の場合には、粗いスケールでエッジが不明瞭になる。
【００３１】
＜ブラウズクオリティ＞
アプリケーションに、構造及び動きの意味を高速に獲得する能力があれば、それほど正確に画像を展開する必要はない。そのような状況は、映像配送システムのユーザが、例えば編集セッションの間にビデオシーケンス中の特定のイベントを見つけたい場合に、起こる。この場合、その画像が、現実に近似したものと評価することが優先されるのではなく、ある決定のために何が起こっているのか見つけ出すことが優先される。そのような状況では、望んだときにより高画質のバージョンが利用可能であれば、様式化された、簡易化された、漫画のような表示こそが、正確な表示と同じぐらい或いはおそらくはそれより有用である。
【００３２】
＜セグメンテーション＞
エッジ解像力を保存しつつ細部を簡素化したまたは取り除いた、スケールスペース表示を得るため、画像簡素化の問題に対し更なる方法を取る必要がある。セグメンテーションとは、何らかの関係に従って、「似通った」領域を認識して、ラベリングするプロセスである。セグメンテーション（分割）された画像は、なめらかな輝度勾配を、一定輝度のシャープに定義されたエリアに置きかえつつも、視覚的に重要な特徴部分は保存して、画像に不可欠の構造を保持する。これを実現する簡単で単純な手法として、一定の輝度領域を得るために一連の閾値を画素に適用して、それらのスケール（これは、内部画素をカウントすること、または、周辺部のサイズと形状を考慮に入れた幾何学的な方法によって得られる）に係るこれらの領域をソートする方法がある。これらの領域は、通常、オリジナル画像中の視覚的に重要な特徴部分とあまり関連しないが、様式化された方法でオリジナル画像を表すことはできる。
【００３３】
画像の特徴部分と分割された領域との間のより強い相関関係を得るため、例えば、P. Salembier and J. Serra.による "Flat zones filtering, connected operators and filters by reconstruction", IEEE Transactions on Image Processing, 3(8):1153-1160, 1995年８月,に、形態分割技術（Morphological segmentation technique）として記載されているような非線形画像処理技術を採用することができる。
【００３４】
形態分割は形状ベースの画像処理方法であり、これは、接続されたオペレータ（ここでオペレータは近傍周辺画素を変換するものである）を用いて、内部領域の類似性が増加していき、外部領域の類似性が減少していくように、領域を取り除いたり、結合したりする。これにより、画像はいわゆる「フラットゾーン」、つまり、特定の色及びスケールを有する領域から構成されることになる。最も重要なのは、これらのフラットゾーンのエッジが明確であって、オリジナル画像のエッジに対応していることである。
【００３５】
本発明の特定の実施の形態について、以下に例示的に示す。
【００３６】
＜領域を示す一連の２値画像への入力画像の変換＞
図１のコードフラグメントを参照すると、量子化レベル数max_levelsを選択し、入力画像のヒストグラムをそのレベル数に均等分割する。次に、この均等化変換マトリクスを用いて閾値のベクトルを導き出す。そして、このベクトルを用いて、入力画像をmax_levels個のレベルに量子化する。量子化された画像のヒストグラムはフラットになる（すなわち、各量子化レベルは、同じ画素数に関連づけられる）。次に、max_levels個のレベルのそれぞれについて、画像を、レベルＬの閾値と比較し、前景領域（１）と背景（０）からなる２値画像に変換する。
【００３７】
＜２値画像の輪郭を表わす座標リストへの変換＞
再度、図１のコードフラグメントを参照すると、max_levels個の２値画像のそれぞれについて、次のステップが取られる。すなわち、その領域は、小さなホールを埋めるために拡大され、それにより、いわゆる「ノイズ」を除去する。この「拡大」処理は、ある注目画素の３×３周辺画素のうち５画素以上が１であれば、その注目画素を１にし、その他の場合には０にするというステップを含む。
【００３８】
次に、続く処理中において領域内にギャップが生じないように、８つ連続した背景を対角埋め（diagonal fill）を用いて削除し、８つ連続した前面領域を、領域の外側に画素を加える拡大処理により最低３画素幅以上にする。
その結果生成された領域の周辺部を抽出し、その周辺部を表わす画素によって新たな２値画像を生成する。次に各８連続画素群を抽出し、ユニークなラベルを付す。そして、特定のラベルを付されたすべての連続画素を抽出し、画素座標のリストを生成する。
【００３９】
＜輪郭色及びタイプの決定＞
図２のコードフラグメントを参照すると、max_levels個のイメージレベルのそれぞれに対し、そして、そのレベル内の各輪郭に対し、その輪郭が境界或いはホールのいずれを表わしているのかが、スキャンラインパリティチェックルーティン（Theo Pavlidis "Algorithms for Graphics and Image Processing", Springer-Verlag, P.174）を用いることによって確立される。次に、図３のコードフラグメントを参照すると、各輪郭についてグレースケール輝度を測定し、その輪郭周辺のグレースケール輝度の平均を、この輪郭に割り当てる。
【００４０】
＜輪郭からの特徴部分抽出とクオリティラベル付加＞
輪郭は、特徴部分にグループ分けされる。ここで各特徴部分には、その特徴部分の輝度勾配から算出した視覚的重要度が割り当てられる。また、その特徴部分中の各輪郭にも、その輪郭の位置における輝度勾配から算出された視覚的重要度がそれぞれ割り当てられる。これは以下のように行なう。図４のコードフラグメント及び図８のフローチャートを参照すると、（ホール輪郭よりもむしろ）最も高い輝度のフィル（fill）輪郭から始めて、レベルＬの各輪郭を、再度スキャンラインパリティチェックを用いて、その輪郭を次に取り囲むレベルＬ−１の輪郭に関連づける。全ての輪郭をその「親」輪郭に関連づけ、関連リストを生成する。これにより、１つの特徴部分を表わす輪郭のグループを認識可能となる。その特徴部分にはＩＤが割り当てられ、特徴部分テーブルに、その輪郭リストへの参照が設けられる。この処理は、次に、ホール輪郭に対しても繰り返される。この場合には、最も輝度の低い輪郭から始める。
【００４１】
図５のコードフラグメントと図９のフローチャートを参照すると、視覚的優先度は、次に、以下の方法により特徴部分及び輪郭に割り当てられる。ある特徴部分に含まれる最も高い輝度のフィル輪郭から始めて、この輪郭の周りの所定数のポイント（フォールラインと呼ばれる）のそれぞれにおいて、親の輪郭との距離を判定することにより輝度勾配が算出される。これらの勾配はメディアンフィルタによってフィルタリングされて、平均化される。そして、このようにして得られた値（pscontour）がその輪郭の視覚的重要性（如何に目立って見えるか）の合理的な指標となる。上述の関連性リストは、外側にある残りの輪郭全てについてこの処理を行なうために用いられる。次にその特徴部分のすべての輪郭について勾配が算出されて、メディアンフィルタによってフィルタリングされ、平均される。そして、このようにして得られた値（psfeature）はその特徴部分全体の視覚的重要性を示す合理的な指標となる。
【００４２】
最後に、クオリティヒエラルキーにおけるポジションを決定できるように、その輪郭及び特徴部分の視覚的重要性の値から、クオリティラベルを導き出す。図１０のフローチャートを参照すると、それぞれの輪郭についての２つの指標QlとQｇ（ローカルクオリティとグローバルクオリティ）からなるクオリティラベルが初期化される。次に、特徴部分を、psfeatureの順に並べる。１番目（最も重要な（目立つ））特徴部分が見つかると、その輪郭リストの全ての輪郭識別子のQlを１にセットする。そして、次に重要な特徴部分が見つかると、その輪郭識別子のQlを２にセットする。以下、同様に処理を行なう。これにより、１つの特徴部分に含まれる輪郭は、全て同じ値をQlとしてもち、異なる特徴部分に含まれる輪郭は、異なる値をQlとしてもつことになる。
【００４３】
第２のステップとしては、全ての輪郭を、pscontourの順に並べ、１から始めて順番に増加する値をその輪郭識別子のQgに書き込む。このようにして、１つの画面内の全ての輪郭はユニークな値をQgとしてもつ。
【００４４】
このように、クオリティラベルを用いてデータを２通りに並べることができる。Qlは、重要性に応じて局所的な画像の特徴部分を順序付け、Qgは、大局的な重要性に応じて、輪郭を順序づける。これにより、デコーダは、画像を再構築する方法を選ぶことができる。つまり、まず最も中実にそれぞれの局部的な特徴を再構築したほうが望ましいのか、或いは、まず画像全体に対して大局的に近似したものを取得したいのかを選択できる。
【００４５】
図１１は、クオリティラベルを輪郭に付す際のデータ構造を概略的に示す図である。ここで図示された特徴部分は３つの輪郭を含んでいる。局部的及び大局的な勾配は、図中の８つのフォールラインを持ちて算出され、psfeature、pscontour、Qg及びQlがテーブルに書き込まれる。
【００４６】
＜輪郭の並び替え及びフィルタリング＞
上記処理が完了すると、各リストの座標は、スキャン順、つまり、検出された順番に並んでいる。そこで、カーブフィッティングを行なうため、各座標が、画像内ですぐ隣りの８画素群と連続する画素を表わすように、リストを再度並び替える必要がある。図６のコードフラグメントを参照すると、各輪郭は、独立変数の一価関数で表わされる、即ち、増加することに関して方向を決して変えない単純なカーブに分割される。これは以下のように行なわれる。輪郭は複雑で何度も方向を変えるものあってもよいが、それ自体に交差することができないし、または複数の経路を有することもできない。このアルゴリズムは、一価関数のスキャン番号（または、ｘ値）である、より簡単なカーブ群のリストに、輪郭を分割する。これらのカーブ群において、独立変数ｘの各値はただ一つの点を指す。このため、ｘ（ｎ）のポイントとｘ（ｎ＋１）のポイントは間違いなく隣接している。これらのカーブ群の始点と終点を見つけ、どのカーブがどのカーブに接続しているかを判定するために、各カーブについて、全ての他のカーブに対してこれらのポイントがテストされる。最終的には、カーブ群を連結する順序に並べて、隣接順序で画素座標のリストを生成する。再整理プロセスの１部として、同じスキャンライン上の画素のランが検出され、フィッティングプロセスで扱われるデータのサイズを減らすため、単一のポイントに置きかえられる
＜ベジエカーブフィッティング＞
本発明の好適な実施形態に用いられる区分的３次ベジェカーブフィッティングアルゴリズムが、Andrew S. Glassner (ed), Graphics Gems Volume 1, P612, "An Algorithm for Automatically Fitting Digitised Curves"に記載されている。
【００４７】
＜視覚的優先順位＞
図７のコードを参照すると、最低レベルから開始して、レベル毎に、フィル領域を表わす各輪郭について、カーブが、ＳＶＧフォーマットでファイルに書き込まれる。そして、最高レベルから開始して、隠れベルについて、そしてホールを表わす各輪郭について、カーブがＳＶＧフォーマットでファイルに書き込まれる。領域の正確な視覚的優先度を得るため、この処理には、既知の「ペインターアルゴリズム」を適用する。ＳＶＧクライアントは、その領域がファイルに書き込まれた順番で、その領域をレンダリングする。つまり、輝度が増える順序「バック・トゥ・フロント」でその領域をレンダリングし、その後、輝度が減る順序「フロント・トゥ・バック」でその領域をレンダリングすれば、入力画像に近似した所望の画像が再構築される。
【００４８】
＜ベクトルグラフィクスベースのレベル符号化を用いたスケーラブル符号化＞
スケーラブルエンコーダ及びスケーラブルデコーダを示すブロック図（図１５及び図１６）を参照すると、エンコーダでは、入力画像が分割され、形状符号化され、ベクトルグラフィクスに変換されて、低ビットレートのベースレベル画像として送信される。また、ウェーブレットルート象限解像度でレンダリングされ、ルート象限データのプレディクタとして用いられる。この予測でのエラーは、エントロピ符号化され、圧縮されたウェーブレット詳細係数と共に送信される。この圧縮はTelemedia Limited.によるPCT/GB00/01614に記載されるように、空間的な方向性のあるツリーの原理に基づいて行なってもよい。
デコーダは、逆の機能を実行する。つまり、ルート画像をレンダリングして、ベールレベル画像として表わす。また、ルート差にこの画像を加え、逆ウェーブレット変換においてスタートポイントとして使用される真のルート象限データを得る。
【００４９】
＜産業上の利用可能性＞
本発明を利用する簡単な例として、空間的なグレースケール解像度を有する（或いは白黒出力のみが可能な）ディスプレイを有する、様々なポータブルデバイスにおいて、画像蓄積部に存在する素材（画像）を、利用できるようにしたいという状況が考えられる。
本発明の方法を用いれば、そのような素材は、ＳＶＧフォーマットの単一ファイルに処理される。そのポータブルデバイスには、個々のクライアント装置の能力の如何にかかわらず画像データを再構成できるＳＶＧビューアソフトウェアを実装すればよい。
【図面の簡単な説明】
【００５０】
注：図中、コードフラグメントに用いられた言語はMATLABmコードである。
【図１】図１は、輪郭生成機能のコードフラグメントを示す図である。
【図２】図２は、輪郭タイプ機能のコードフラグメントを示す図である。
【図３】図３は、輪郭カラー機能のコードフラグメントを示す図である。
【図４】図４は、輪郭関連づけ機能のコードフラグメントを示す図である。
【図５】図５は、輪郭グラデーション機能のコードフラグメントを示す図である。
【図６Ａ】図６Ａは、順番調整機能のコードフラグメントを示す図である。
【図６Ｂ】図６Ｂは、順番調整機能のコードフラグメントを示す図である。
【図６Ｃ】図６Ｃは、順番調整機能のコードフラグメントを示す図である。
【図６Ｄ】図６Ｄは、順番調整機能のコードフラグメントを示す図である。
【図６Ｅ】図６Ｅは、順番調整機能のコードフラグメントを示す図である。
【図６Ｆ】図６Ｆは、順番調整機能のコードフラグメントを示す図である。
【図７Ａ】図７Ａは、ベジエ書込み機能のコードフラグメントを示す図である。
【図７Ｂ】図７Ｂは、ベジエ書込み機能のコードフラグメントを示す図である。
【図８】図８は、輪郭を特徴部分毎にグループ分けする処理を表すフローチャートである。
【図９】図９は、視覚的重要性を特徴部分と輪郭に割り当てる処理を表すフローチャートである。
【図１０】図１０は、クオリティラベルを輪郭に割り当てる処理を表すフローチャートである。
【図１１】図１１は、用いられるデータ構造を示す図である。
【図１２】図１２は、オリジナルのモノクロ土星画像を示す図である。
【図１３】図１３は、図１２の画像の輪郭をレベル１で表した図である。
【図１４】図１４は、図１２の画像の輪郭をレベル２で表した図である。
【図１５】図１５は、図１２の画像の輪郭をレベル３で表した図である。
【図１６】図１６は、図１２の画像の輪郭をレベル４で表した図である。
【図１７】図１７は、全てのレベルの輪郭を重畳表示した図である。
【図１８】図１８は、レンダリングされたＳＶＧ画像を示す図である。
【図１９】図１９は、スケーラブルエンコーダーを示す図である。
【図２０】図２０は、スケーラブルデコーダーを示す図である。
【０００１】
本発明は、映像（ビデオ）を符号化ビット列に処理する方法に関する。この方法は、限られたリソースのディスプレイデバイスが利用するために静止画或いは映像をベクトルグラフィクスフォーマットのインストラクションに処理する際に行なうことができる。
【背景技術】
【０００２】
スケーラブルなフォーマットの静止画または映像を取り扱い、配信するシステムにおいては、その素材画像のクライアントは、抱えているタスクに応じた、或いは、配信システムまたは復号システムの能力に応じた、画質設定を要求できる。そして、ローカルメモリに特定の画質で画像表現を記憶することにより、そのようなシステムにおいては、そのクライアントが、さらによい画像品質を獲得するため、その画像表現を時間をかけて磨き上げることができる。来は、そのようなシステムは以下のようなアプローチを取っていた。つまり、メディアを符号化するため、幾分「粗い」レベルに設定されたパラメータ(例えば量子化レベル)を有するアルゴリズムを適用しなければならなかった。その結果は、オリジナル画像に比べて低い画質ではあるが、復号可能なビット列および完全に再構築できるメディアである。そして、その入力に対するさらに符号化するためには、さらに「よりよい画質」となるパラメータ設定が必要であり、所望の画質に再構築するためには、先の符号化と組み合わせることができる。
【０００３】
そのようなシステムは、画像データを圧縮されたレイヤー形式に処理する方法を含むが、ここでそのレイヤーは、画像の品質を形成するために時間をかけてデータを符号化する手段を提供する。その１例がTelemedia Limited.の特許文献１に記載されている。ここでは、ウェーブレット係数をその重要性に応じて順序づけることと関連して、スケールスペースでのウェーブレット符号化の進歩的な性質を用いて、多くの次元でスケーラブルなビットストリームを得ている。
【特許文献１】
PCT/GB00/01614
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、そのようなシステムでは、クライアントデバイス、特に、ディスプレイハードウェアがある程度の能力を有することが前提となっている。即ち、ビデオ更新速度でマルチビット画素値をフレームストアにレンダリングする能力が通常必要とされる。しかしながら、モバイルコンピューティングネットワークの終端では、マルチビットの奥行きのあるフレームストアは利用不可能かもしれず、もし利用可能としても、限定された通信能力、ＣＰＵ、メモリ、およびバッテリ寿命といった制約条件によって、最低画質の映像のレンダリングすら、レソースの深刻な浪費となる。この問題を解決するため、クライアントデバイスの能力にデータを合わせる方法が求められている。これは、従前のように、映像が、四角いグリッド上に抽出された所定数のビットをもつ輝度値として、装置に依存する低レベルな方法で表されている状況では、困難な問題である。概して、ローカルな制約に合わせるためには、そのような素材を完全に符号化し、その後でより適した形式に再処理しなければならない。
【０００５】
よりフレキシブルなメディアフォーマットは、画像を、より高いレベルで、より汎用的な、装置に依存しない方法で記述し、広い範囲の如何なるディスプレイフォーマットへの効果的な処理も可能である。コンピュータグラフィックの分野では、画像が最初にコンピュータスクリーンに現れて以来、ベクトルフォーマットはよく知られており、今も使用されている。このフィーマットでは、一般的に、ストローク、ポリゴン、カーブ、フィルエリアなどとして画像を表現する。そして、標準的な画像の画素フォーマットで可能なものに比べて、より高いレベルで、かつより広い範囲の描写的な要素を利用する。そのようなベクトルファイルフォーマットの１例として、スケーラブルベクトルグラフィクス（ＳＶＧ）が挙げられる。画像の意味または意図を保持（または、強調さえ）しつつ、ベクトルフォーマットに画像を変換することができれば、そして、画素値（または、その変形）よりむしろこれらのベクトルを描くための指示を装置に送信することができれば、通信、ＣＰＵ、及びレンダリングの潜在的な必要条件のすべてを、劇的に減少させることができる。
【課題を解決するための手段】
【０００６】
第１の態様では、映像を符号化ビットストリームに処理する映像処理方法が提供されるが、その符号化ビットストリームはデバイスへＷＡＮを介して送信されるべきものであり、
前記映像の処理により、
（ａ）デバイスに依存しないクオリティラベルを有するベクトルグラフィックフォーマットで映像を表わし、
（ｂ）そのデバイスのリソース制約によって決定された画質で、ベクトルグラフィックスベースの映像表示を行なうために、そのデバイスにおいて復号可能な、
前記ビットストリームを生成することを特徴とする。
【０００７】
前記クオリティラベルは、そのデバイスにおいても、そして、異なる表示能力を有する異なるデバイスにおいても、スケーラブルな映像再生を可能とする。この方法は特に、リソースが制約された、携帯電話やハンドヘルドコンピュータなどに有用である。
【０００８】
クオリティラベルの有するベクトルグラフィクスフォーマットへの映像処理方法の一部として、
（ａ）ベクトルベースのグラフィクスプリミティブで前記映像を記述するステップと、
（ｂ）前記グラフィクスプリミティブを複数の特徴部分にグループ化するステップと、
（ｃ）前記グラフィクスプリミティブ及び/又は前記特徴部分に対して、知覚的重要度を割り当てるステップと、
（ｄ）前記知覚的重要度からクオリティラベルを導出するステップと、
を含んでもよい。
【０００９】
矩形のグリッド上の輝度サンプルがとして従来の方法で表現された画像は、グラフィカルな形式に変換され、１連の形状の符号化として表現される。この符号化は、画像を粗いスケールで表現するものではあるが、そのエッジ情報は保持されている。また、それはベースレベル画像として保持され、そのベースレベル画像から、１つ以上の符号化方法を用いて、より高画質の符号化を行なうことができる。１つの実現方法としては、映像は、映像圧縮アルゴリズムのヒエラルキーを用いて符号化される。このアルゴリズムのそれぞれは、特に、与えられたクオリティレベルでの符号化映像の生成に好適である。
【００１０】
第２の態様においては、符号化ビットストリームに処理された映像を復号する映像復号方法が提供され、符号化ビットストリームは、ＷＡＮを介してデバイスに送信されたものであり、
前記符号化ビットストリームの復号ステップは、
（ｉ）デバイスに依存しないクオリティラベルを抽出するステップと、（ｉｉ）デバイスがベクトルグラフィックスベースの映像表現を表示できるようにするステップと、を含み、デバイスに表示される映像品質は、そのデバイスのリソース制約によって決定されることを特徴とする。
【００１１】
第３の態様においては、映像を符号化ビットストリームに符号化する装置が提供され、前記符号化ビットストリームは、ＷＡＮを介してデバイスに送信されるべきものであって、
前記装置は、前記映像を前記符号化ビットストリームに処理可能であり、前記ビットストリームは、
（ａ）前記映像を、デバイスに依存しないクオリティラベル付きのベクトルグラフィックフォーマットで表現したものであり、
（ｂ）前記デバイスのリソース制約によって決定された画質で、前記映像のベクトルグラフィックスベースの画像表現を表示するために、前記デバイスで復号されることを特徴とする。
【００１２】
第４の態様においては、符号化ビットストリームに処理された映像を復号する映像復号装置が提供され、前記符号化ビットストリームは、ＷＡＮを介してデバイスに送信されたものであり、
前記装置は、（ｉ）デバイスに依存しないクオリティラベルを解凍するステップと、（ｉｉ）デバイスが前記映像をベクトルグラフィックスベースで表現したものを表示できるようにするステップと、を含み、デバイスに表示される映像品質は、そのデバイスのリソースの制約によって決定されることを特徴とする。
【００１３】
第５の態様においては、オリジナル映像を符号化ビットストリームに処理するステップを含む処理によって符号化された映像ファイルビットストリームが提供され、前記符号化ビットストリームはＷＡＮを介してデバイスに送信しようとするものであり、
前記映像を処理するステップは、
（ａ）前記映像を、デバイスに依存しないクオリティラベルを付したベクトルグラフィックフォーマットで表現した符号化ビットストリームであって、
（ｂ）前記ベクトルグラフィックスベースの映像表現を、前記デバイスのリソース制約によって決定される画質で、表示するために、前記デバイスにおいて復号されうる符号化ビットストリームを、生成することを特徴とする。
【００１４】
簡単に言えば、本発明は、以下のように実現される。
【００１５】
グレースケール画像が、１セットの領域に変換される。好適な実施形態では、その１セットの領域は１セットの２値画像に対応しており、各２値画像は、オリジナル画像を所定の閾値を用いて２値化したものである。まず、量子化レベル数max_levelsを選択し、入力画像のヒストグラムをそのレベル数に均等分割する。即ち、各量子化レベルは、等しい画素数に関連づけられる。閾値ｔ（１）、ｔ（２）．．．ｔ（max_levels）は、均等化ステップで導き出され、画像を、前景領域（１）と背景（０）からなるmax_levels個の２値画像に量子化するために用いられる。ここでｔは、グレースケールの最低値と最高値の間の値である。max_levels個の画像のそれぞれについて、以下のステップが取られる。
すなわち、その領域は、小さなホールを埋めるために拡大され、それにより、いわゆる「ノイズ」を除去する。そして、その領域の全周を検知する間に、その領域中に「ギャップ」が全く存在しないように、前景領域中の連続した８画素の背景を取り除き、８つの連続した前景領域を、最低３画素幅以上にする。
【００１６】
他の実施形態では、その領域は、「モーフォロジカルスケールスペースプロセッサ」を用いて抽出される。これは、画像のような多次元信号を処理するために形状分析と形状操作を用いる非線形画像処理技術である。そのようなプロセッサからの出力は、通常、益々大きなスケールの細部を有する領域を含む連続した画像からなる。それらの領域は、その画像の認識可能な特徴部分を、増加するスケールで表わすことができ、簡便に、スケールスペースツリーに表わされる。そのスケールスペースツリーでは、ノードは、領域情報（位置、形状、輪郭）を所定のスケールで保持し、エッジは、スケールスペース挙動（どのようにして多くのファインスケールの領域から粗いスケール領域が形成されるか）を表わす。
【００１７】
それらの領域は、その領域の形状、色彩、位置、視覚的優先度及びその他の如何なる特徴であっても、コンパクトに示す記述（形状記述）に処理することができる。この記述は、特徴情報を提供するために処理される。ここで、特徴とは、画像の外観的な性質である。この情報は、以下の何れかを含むことができる。すなわち、この輪郭によって表わされる、その特徴部分の輝度勾配（すなわち、輪郭が、フィル（中実）領域の周囲を表わすものかまたはホール（中空部分）の周囲を表わすものか）、その特徴部分の平均輝度、及び、その特徴部分の「重要性」の信号である。
【００１８】
好適な実施形態においては、その領域の外周部が抽出され、ユニークなラベルが各輪郭に割り当てられ、ラベル付けされたそれぞれの輪郭から、座標リストが生成される。max_levels個のイメージレベルのそれぞれに対し、そして、そのレベル内の各輪郭に対し、その輪郭が境界（バウンダリ）或いはホールのいずれを表わしているのかが、スキャンラインパリティチェックルーティン（Theo Pavlidis "Algorithms for Graphics and Image Processing", Springer-Verlag, P.174）を用いることによって確立される。そして、グレースケール輝度が測定され、その輪郭周辺のグレースケール輝度の平均値が、この輪郭に割り当てられる。
【００１９】
最後に、その輪郭は、その輪郭を、関連する輪郭のファミリーに並べることにより、特徴部分毎にグループ分けされる。そして各特徴部分には、その特徴部分の輝度勾配から算出された視覚的重要度が割り当てられる。また、その特徴部分中の各輪郭には、その輪郭の位置における輝度勾配から算出された視覚的重要度が個別に割り当てられる。そして、クオリティヒエラルキーにおける位置を決定可能とするために、輪郭と特徴部分の両方に対する視覚的重要度の値からクオリティラベルが導かれる。
【００２０】
輪郭座標は、フィッティングステップにおいて適正な曲線群をモデル化するため、画素が隣接する順番となるようにソートされ得る。
【００２１】
本発明の好適な実施形態においては、輪郭は、独立変数ｘに関する一価関数である１セットのシンプルなカーブ群に分割される。このカーブ群はそれら自身上に引き返さず、したがって、縦座標ｘのポイントは縦座標ｘ＋１のポイントに隣接している。
【００２２】
そして、パラメトリック曲線をそれらの輪郭に合わせることができる。
【００２３】
好適な実施の形態では、区分的３次ベジェカーブフィッティングアルゴリズムを用いる。このアルゴリズムは、Andrew S.Glassner(ed)によるGraphics Gems Volume1、P612の「Algorithm for Automatically Fitting Digitised Curves」に記載されている。カーブ群には、ベクトルグラフィックスフォーマットのグラフィックス指示のリストを形成するため、優先順位がつけられる。このベクトルグラフィクスフォーマットによりオリジナル画像の表示をクライアント装置に再構築可能となる。
【００２４】
最低のレベルから開始して、レベル毎に、そして、フィル領域を表わす輪郭ごとに、カーブが、ＳＶＧフォーマットでファイルに書き出される。次に、最高レベルから開始して、レベルごとに、そして、ホールを表す輪郭ごとに、カーブがＳＶＧフォーマットでファイルに書き出される。この手順は、その領域の適正な視覚優先度を取得するために周知の「ペインタアルゴリズム」を適合させる。ＳＶＧクライアントは、ファイルに書かれている順番で領域をレンダリングする。輝度が増加する順序「バックからフロントへ」の順番で領域をレンダリングし、それから輝度が減少する順序「フロントからバックへ」の順序で領域をレンダリングすることにより、所望の入力画像の近似画像が再構築される。
【００２５】
その領域記述子を、「ベース」となるクオリティレベルにビデオフレームを復号して、再構築するクライアントに送信してもよい。次に、第２符号化アルゴリズムを用いて、再構築された画像の品質を改善するエンハンス情報を生成する。
【００２６】
好適な実施の形態では、分割され、ベクトル化された画像が、エンコーダにおいて、４分木分解の「ルート」象限に同等な解像度で再構築される。実際のルートデータ値への近似、或いは予測子としてこれが用いられる。エンコーダは実際のルート象限から予測値を差し引いて、エントロピ符号化方式を用いてその差を符号化し、結果を送信する。デコーダは、再構築されたルートにそのルート差を追加し、逆変換でのスタートポイントとして、これを用いる。
【発明を実施するための最良の形態】
【００２７】
（キーコンセプト）
＜スケーラブルベクトルグラフィクス＞
スケーラブルなベクトルファイルフォーマットの１例として、スケーラブルベクトルグラフィクス（Scalable Vector Graphics (SVG) 1.0 Specification, W3C Candidate Recommendation,２０００年８月２日）が挙げられる。ＳＶＧはベクトルグラフィックスのために提案されたスタンダードなフォーマットであり、ＸＭＬのネームスペースであって、複数のプラットホーム、出力解像度、色空間、およびさまざまな利用可能な帯域幅に亘ってうまく動作するように設計されている。
【００２８】
＜ウェーブレット変換＞
ウェーブレット変換は、比較的最近になって、画像の解析及び圧縮のためのツールとして完成されてきた。参考文献としては、例えばMallat, Stephane G.による「A Theory for Multiresolution Signal Decomposition:The Wavelet Representation」IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.11, No.7, pp 674-692 (Jul 1989) があり、ここに、高速ウェーブレット変換（ＦＷＴ）が記載されている。ＦＷＴは２画像のパワー或いはサブバンドのヒエラルキーを生成するものであり、その各ステップでは、空間的な標本周波数−表わされる細部の「細かさ」−が、ｘとｙにおいて１／２に減少する。この処理は、画像サンプル同士の相関性を無くす。その結果、そのエネルギーの大部分は、サブバンド内で少ない数の高マグニチュード係数に圧縮され、その残りは、主にゼロまたは低い値となる。つまり、かなりの圧縮を行なうことができる。
【００２９】
各サブバンドは、空間成分／周波数成分の特定の組合せによって画像を記述する。ヒエラルキーのベースでは、、１つのサブバンドは、画像の平均輝度情報を含む「ルート」であり、入力画像をローパスフィルタリングしたバージョンである。スケーラブル画像伝送システムでは、入力画像に対する粗いスケール近似としてこのサブバンドを使用することができる。しかしながら、エッジ解像度は不明瞭で悪いものとなる。
【００３０】
＜スケールスペースフィルタリング＞
スケールスペースのアイデアは、コンピュータビジョン調査において用いるために開発されたものであり、例えば、AP WitkinのScale space filtering-A new approach to multi-scale description, Ullman, Richards (Eds.), Image Understanding, Ablex, Norwood, NJ, 79-95, 1984.に記述がある。マルチスケール表示では、粗いスケールの構造は、より細かいスケールの対応構造を簡素化した表現となる。画像のマルチスケール表現は、上述したようなウェーブレット変換か或いは、ガウスカーネルを使用する畳み込みによって得ることができる。しかしながら、そのようなリニアフィルタによれば、上述したように、ウェーブレットルート象限の場合には、粗いスケールでエッジが不明瞭になる。
【００３１】
＜ブラウズクオリティ＞
アプリケーションに、構造及び動きの意味を高速に獲得する能力があれば、それほど正確に画像を展開する必要はない。そのような状況は、映像配送システムのユーザが、例えば編集セッションの間にビデオシーケンス中の特定のイベントを見つけたい場合に、起こる。この場合、その画像が、現実に近似したものと評価することが優先されるのではなく、ある決定のために何が起こっているのか見つけ出すことが優先される。そのような状況では、望んだときにより高画質のバージョンが利用可能であれば、様式化された、簡易化された、漫画のような表示こそが、正確な表示と同じぐらい或いはおそらくはそれより有用である。
【００３２】
＜セグメンテーション＞
エッジ解像力を保存しつつ細部を簡素化したまたは取り除いた、スケールスペース表示を得るため、画像簡素化の問題に対し更なる方法を取る必要がある。セグメンテーションとは、何らかの関係に従って、「似通った」領域を認識して、ラベリングするプロセスである。セグメンテーション（分割）された画像は、なめらかな輝度勾配を、一定輝度のシャープに定義されたエリアに置きかえつつも、視覚的に重要な特徴部分は保存して、画像に不可欠の構造を保持する。これを実現する簡単で単純な手法として、一定の輝度領域を得るために一連の閾値を画素に適用して、それらのスケール（これは、内部画素をカウントすること、または、周辺部のサイズと形状を考慮に入れた幾何学的な方法によって得られる）に係るこれらの領域をソートする方法がある。これらの領域は、通常、オリジナル画像中の視覚的に重要な特徴部分とあまり関連しないが、様式化された方法でオリジナル画像を表すことはできる。
【００３３】
画像の特徴部分と分割された領域との間のより強い相関関係を得るため、例えば、P. Salembier and J. Serra.による "Flat zones filtering, connected operators and filters by reconstruction", IEEE Transactions on Image Processing, 3(8):1153-1160, 1995年８月,に、形態分割技術（Morphological segmentation technique）として記載されているような非線形画像処理技術を採用することができる。
【００３４】
形態分割は形状ベースの画像処理方法であり、これは、接続されたオペレータ（ここでオペレータは近傍周辺画素を変換するものである）を用いて、内部領域の類似性が増加していき、外部領域の類似性が減少していくように、領域を取り除いたり、結合したりする。これにより、画像はいわゆる「フラットゾーン」、つまり、特定の色及びスケールを有する領域から構成されることになる。最も重要なのは、これらのフラットゾーンのエッジが明確であって、オリジナル画像のエッジに対応していることである。
【００３５】
本発明の特定の実施の形態について、以下に例示的に示す。
【００３６】
＜領域を示す一連の２値画像への入力画像の変換＞
図１のコードフラグメントを参照すると、量子化レベル数max_levelsを選択し、入力画像のヒストグラムをそのレベル数に均等分割する。次に、この均等化変換マトリクスを用いて閾値のベクトルを導き出す。そして、このベクトルを用いて、入力画像をmax_levels個のレベルに量子化する。量子化された画像のヒストグラムはフラットになる（すなわち、各量子化レベルは、同じ画素数に関連づけられる）。次に、max_levels個のレベルのそれぞれについて、画像を、レベルＬの閾値と比較し、前景領域（１）と背景（０）からなる２値画像に変換する。
【００３７】
＜２値画像の輪郭を表わす座標リストへの変換＞
再度、図１のコードフラグメントを参照すると、max_levels個の２値画像のそれぞれについて、次のステップが取られる。すなわち、その領域は、小さなホールを埋めるために拡大され、それにより、いわゆる「ノイズ」を除去する。この「拡大」処理は、ある注目画素の３×３周辺画素のうち５画素以上が１であれば、その注目画素を１にし、その他の場合には０にするというステップを含む。
【００３８】
次に、続く処理中において領域内にギャップが生じないように、８つ連続した背景を対角埋め（diagonal fill）を用いて削除し、８つ連続した前面領域を、領域の外側に画素を加える拡大処理により最低３画素幅以上にする。
その結果生成された領域の周辺部を抽出し、その周辺部を表わす画素によって新たな２値画像を生成する。次に各８連続画素群を抽出し、ユニークなラベルを付す。そして、特定のラベルを付されたすべての連続画素を抽出し、画素座標のリストを生成する。
【００３９】
＜輪郭色及びタイプの決定＞
図２のコードフラグメントを参照すると、max_levels個のイメージレベルのそれぞれに対し、そして、そのレベル内の各輪郭に対し、その輪郭が境界或いはホールのいずれを表わしているのかが、スキャンラインパリティチェックルーティン（Theo Pavlidis "Algorithms for Graphics and Image Processing", Springer-Verlag, P.174）を用いることによって確立される。次に、図３のコードフラグメントを参照すると、各輪郭についてグレースケール輝度を測定し、その輪郭周辺のグレースケール輝度の平均を、この輪郭に割り当てる。
【００４０】
＜輪郭からの特徴部分抽出とクオリティラベル付加＞
輪郭は、特徴部分にグループ分けされる。ここで各特徴部分には、その特徴部分の輝度勾配から算出した視覚的重要度が割り当てられる。また、その特徴部分中の各輪郭にも、その輪郭の位置における輝度勾配から算出された視覚的重要度がそれぞれ割り当てられる。これは以下のように行なう。図４のコードフラグメント及び図８のフローチャートを参照すると、（ホール輪郭よりもむしろ）最も高い輝度のフィル（fill）輪郭から始めて、レベルＬの各輪郭を、再度スキャンラインパリティチェックを用いて、その輪郭を次に取り囲むレベルＬ−１の輪郭に関連づける。全ての輪郭をその「親」輪郭に関連づけ、関連リストを生成する。これにより、１つの特徴部分を表わす輪郭のグループを認識可能となる。その特徴部分にはＩＤが割り当てられ、特徴部分テーブルに、その輪郭リストへの参照が設けられる。この処理は、次に、ホール輪郭に対しても繰り返される。この場合には、最も輝度の低い輪郭から始める。
【００４１】
図５のコードフラグメントと図９のフローチャートを参照すると、視覚的優先度は、次に、以下の方法により特徴部分及び輪郭に割り当てられる。ある特徴部分に含まれる最も高い輝度のフィル輪郭から始めて、この輪郭の周りの所定数のポイント（フォールラインと呼ばれる）のそれぞれにおいて、親の輪郭との距離を判定することにより輝度勾配が算出される。これらの勾配はメディアンフィルタによってフィルタリングされて、平均化される。そして、このようにして得られた値（pscontour）がその輪郭の視覚的重要性（如何に目立って見えるか）の合理的な指標となる。上述の関連性リストは、外側にある残りの輪郭全てについてこの処理を行なうために用いられる。次にその特徴部分のすべての輪郭について勾配が算出されて、メディアンフィルタによってフィルタリングされ、平均される。そして、このようにして得られた値（psfeature）はその特徴部分全体の視覚的重要性を示す合理的な指標となる。
【００４２】
最後に、クオリティヒエラルキーにおけるポジションを決定できるように、その輪郭及び特徴部分の視覚的重要性の値から、クオリティラベルを導き出す。図１０のフローチャートを参照すると、それぞれの輪郭についての２つの指標QlとQｇ（ローカルクオリティとグローバルクオリティ）からなるクオリティラベルが初期化される。次に、特徴部分を、psfeatureの順に並べる。１番目（最も重要な（目立つ））特徴部分が見つかると、その輪郭リストの全ての輪郭識別子のQlを１にセットする。そして、次に重要な特徴部分が見つかると、その輪郭識別子のQlを２にセットする。以下、同様に処理を行なう。これにより、１つの特徴部分に含まれる輪郭は、全て同じ値をQlとしてもち、異なる特徴部分に含まれる輪郭は、異なる値をQlとしてもつことになる。
【００４３】
第２のステップとしては、全ての輪郭を、pscontourの順に並べ、１から始めて順番に増加する値をその輪郭識別子のQgに書き込む。このようにして、１つの画面内の全ての輪郭はユニークな値をQgとしてもつ。
【００４４】
このように、クオリティラベルを用いてデータを２通りに並べることができる。Qlは、重要性に応じて局所的な画像の特徴部分を順序付け、Qgは、大局的な重要性に応じて、輪郭を順序づける。これにより、デコーダは、画像を再構築する方法を選ぶことができる。つまり、まず最も中実にそれぞれの局部的な特徴を再構築したほうが望ましいのか、或いは、まず画像全体に対して大局的に近似したものを取得したいのかを選択できる。
【００４５】
図１１は、クオリティラベルを輪郭に付す際のデータ構造を概略的に示す図である。ここで図示された特徴部分は３つの輪郭を含んでいる。局部的及び大局的な勾配は、図中の８つのフォールラインを持ちて算出され、psfeature、pscontour、Qg及びQlがテーブルに書き込まれる。
【００４６】
＜輪郭の並び替え及びフィルタリング＞
上記処理が完了すると、各リストの座標は、スキャン順、つまり、検出された順番に並んでいる。そこで、カーブフィッティングを行なうため、各座標が、画像内ですぐ隣りの８画素群と連続する画素を表わすように、リストを再度並び替える必要がある。図６のコードフラグメントを参照すると、各輪郭は、独立変数の一価関数で表わされる、即ち、増加することに関して方向を決して変えない単純なカーブに分割される。これは以下のように行なわれる。輪郭は複雑で何度も方向を変えるものあってもよいが、それ自体に交差することができないし、または複数の経路を有することもできない。このアルゴリズムは、一価関数のスキャン番号（または、ｘ値）である、より簡単なカーブ群のリストに、輪郭を分割する。これらのカーブ群において、独立変数ｘの各値はただ一つの点を指す。このため、ｘ（ｎ）のポイントとｘ（ｎ＋１）のポイントは間違いなく隣接している。これらのカーブ群の始点と終点を見つけ、どのカーブがどのカーブに接続しているかを判定するために、各カーブについて、全ての他のカーブに対してこれらのポイントがテストされる。最終的には、カーブ群を連結する順序に並べて、隣接順序で画素座標のリストを生成する。再整理プロセスの１部として、同じスキャンライン上の画素のランが検出され、フィッティングプロセスで扱われるデータのサイズを減らすため、単一のポイントに置きかえられる
＜ベジエカーブフィッティング＞
本発明の好適な実施形態に用いられる区分的３次ベジェカーブフィッティングアルゴリズムが、Andrew S. Glassner (ed), Graphics Gems Volume 1, P612, "An Algorithm for Automatically Fitting Digitised Curves"に記載されている。
【００４７】
＜視覚的優先順位＞
図７のコードを参照すると、最低レベルから開始して、レベル毎に、フィル領域を表わす各輪郭について、カーブが、ＳＶＧフォーマットでファイルに書き込まれる。そして、最高レベルから開始して、隠れベルについて、そしてホールを表わす各輪郭について、カーブがＳＶＧフォーマットでファイルに書き込まれる。領域の正確な視覚的優先度を得るため、この処理には、既知の「ペインターアルゴリズム」を適用する。ＳＶＧクライアントは、その領域がファイルに書き込まれた順番で、その領域をレンダリングする。つまり、輝度が増える順序「バック・トゥ・フロント」でその領域をレンダリングし、その後、輝度が減る順序「フロント・トゥ・バック」でその領域をレンダリングすれば、入力画像に近似した所望の画像が再構築される。
【００４８】
＜ベクトルグラフィクスベースのレベル符号化を用いたスケーラブル符号化＞
スケーラブルエンコーダ及びスケーラブルデコーダを示すブロック図（図１５及び図１６）を参照すると、エンコーダでは、入力画像が分割され、形状符号化され、ベクトルグラフィクスに変換されて、低ビットレートのベースレベル画像として送信される。また、ウェーブレットルート象限解像度でレンダリングされ、ルート象限データのプレディクタとして用いられる。この予測でのエラーは、エントロピ符号化され、圧縮されたウェーブレット詳細係数と共に送信される。この圧縮はTelemedia Limited.によるPCT/GB00/01614に記載されるように、空間的な方向性のあるツリーの原理に基づいて行なってもよい。
デコーダは、逆の機能を実行する。つまり、ルート画像をレンダリングして、ベールレベル画像として表わす。また、ルート差にこの画像を加え、逆ウェーブレット変換においてスタートポイントとして使用される真のルート象限データを得る。
【００４９】
＜産業上の利用可能性＞
本発明を利用する簡単な例として、空間的なグレースケール解像度を有する（或いは白黒出力のみが可能な）ディスプレイを有する、様々なポータブルデバイスにおいて、画像蓄積部に存在する素材（画像）を、利用できるようにしたいという状況が考えられる。
本発明の方法を用いれば、そのような素材は、ＳＶＧフォーマットの単一ファイルに処理される。そのポータブルデバイスには、個々のクライアント装置の能力の如何にかかわらず画像データを再構成できるＳＶＧビューアソフトウェアを実装すればよい。
【図面の簡単な説明】
【００５０】
注：図中、コードフラグメントに用いられた言語はMATLABmコードである。
【図１】図１は、輪郭生成機能のコードフラグメントを示す図である。
【図２】図２は、輪郭タイプ機能のコードフラグメントを示す図である。
【図３】図３は、輪郭カラー機能のコードフラグメントを示す図である。
【図４】図４は、輪郭関連づけ機能のコードフラグメントを示す図である。
【図５】図５は、輪郭グラデーション機能のコードフラグメントを示す図である。
【図６Ａ】図６Ａは、順番調整機能のコードフラグメントを示す図である。
【図６Ｂ】図６Ｂは、順番調整機能のコードフラグメントを示す図である。
【図６Ｃ】図６Ｃは、順番調整機能のコードフラグメントを示す図である。
【図６Ｄ】図６Ｄは、順番調整機能のコードフラグメントを示す図である。
【図６Ｅ】図６Ｅは、順番調整機能のコードフラグメントを示す図である。
【図６Ｆ】図６Ｆは、順番調整機能のコードフラグメントを示す図である。
【図７Ａ】図７Ａは、ベジエ書込み機能のコードフラグメントを示す図である。
【図７Ｂ】図７Ｂは、ベジエ書込み機能のコードフラグメントを示す図である。
【図８】図８は、輪郭を特徴部分毎にグループ分けする処理を表すフローチャートである。
【図９】図９は、視覚的重要性を特徴部分と輪郭に割り当てる処理を表すフローチャートである。
【図１０】図１０は、クオリティラベルを輪郭に割り当てる処理を表すフローチャートである。
【図１１】図１１は、用いられるデータ構造を示す図である。
【図１２】図１２は、オリジナルのモノクロ土星画像を示す図である。
【図１３】図１３は、図１２の画像の輪郭をレベル１で表した図である。
【図１４】図１４は、図１２の画像の輪郭をレベル２で表した図である。
【図１５】図１５は、図１２の画像の輪郭をレベル３で表した図である。
【図１６】図１６は、図１２の画像の輪郭をレベル４で表した図である。
【図１７】図１７は、全てのレベルの輪郭を重畳表示した図である。
【図１８】図１８は、レンダリングされたＳＶＧ画像を示す図である。
【図１９】図１９は、スケーラブルエンコーダーを示す図である。
【図２０】図２０は、スケーラブルデコーダーを示す図である。
Claims (20)
- 映像を符号化ビットストリームに処理する映像処理方法であって、その符号化ビットストリームはデバイスへＷＡＮを介して送信されるべきものであり、
前記映像の処理により、
（ａ）デバイスに依存しないクオリティラベルを有するベクトルグラフィックフォーマットで映像を表わし、
（ｂ）そのデバイスのリソース制約によって決定された画質で、ベクトルグラフィックスベースの映像表示を行なうために、そのデバイスにおいて復号可能な、
前記ビットストリームを生成することを特徴とする映像処理方法。 - 前記クオリティラベルは、そのデバイスにおいても、そして、異なる表示能力を有する異なるデバイスにおいても、スケーラブルな映像再生を可能とすることを特徴とする請求項１に記載の映像処理方法。
- クオリティラベルを有するベクトルグラフィクスフォーマットへの映像処理方法の一部として、
（ａ）ベクトルベースのグラフィクスプリミティブで前記映像を記述するステップと、
（ｂ）前記グラフィクスプリミティブを複数の特徴部分にグループ化するステップと、
（ｃ）前記グラフィクスプリミティブ及び/又は前記特徴部分に対して、知覚的重要度を割り当てるステップと、
（ｄ）前記知覚的重要度からクオリティラベルを導出するステップと、
を含むことを特徴とする請求項１に記載の映像処理方法。 - それぞれの処理ステップが異なる画質特性で符号化ビットストリームを処理するような、複数の処理ステップを前記映像に適用することを特徴とする請求項１に記載の映像処理方法。
- 前記ベクトルベースのグラフィックスプリミティブは、（ａ）直線または（ｂ）曲線を含むグループから選択されることを特徴とする請求項３に記載の映像処理方法。
- 前記知覚的重要度は、（ａ）個々の局所的な特徴部分または（ｂ）その映像中の全シーンに対する大局的な近似、のうち１つ以上に関連することを特徴とする請求項３に記載の映像処理方法。
- 前記知覚的重要度は、（ａ）エッジのシャープネス（ｂ）エッジのサイズ（ｃ）形状のタイプ（ｄ）色の均一性、のうち１つ以上に関連することを特徴とする請求項３に記載の映像処理方法。
- 前記映像は、１つの画像と１つの画像列の少なくとも何れか一方であることを特徴とする請求項１の映像処理方法。
- 前記映像はスケーラブルな画像の配信システムにおいてベースレベルを構成し、前記映像のグラフィクスプリミティブによって表される特徴は、簡易化された、或いは様式化された外観を有し、適正に定義されたエッジを有することを特徴とする請求項３に記載の映像処理方法。
- グレースケール画像を、閾値比較によって得られた一連の２値画像に変換するステップを含むことを特徴とする請求項９に記載の映像処理方法。
- グレースケール画像を、形態的処理によって得られた１連の領域に変換するステップを含むことを特徴とする請求項９に記載の映像処理方法。
- 更に、領域における細部の削除処理ステップ、周長測定ステップ、および、座標リスト処理ステップを含むことを特徴とする請求項９または１０に記載の映像処理方法。
- 更に、グラフィクスプリミティブ及び特徴部分の両方について、クオリティヒエラルキーにおける位置を決定可能なクオリティラベルを導き出すために用いられる、知覚的重要度情報を生成する生成ステップを含むことを特徴とする請求項１２に記載の映像処理方法。
- 各座標が、周囲の８画素に隣接する１画素を示すように、リストを並べ替えるステップを含むことを特徴とする請求項１３に記載の方法。
- パラメトリックなカーブを前記輪郭に合わせるステップを更に含むことを特徴とする請求項１４に記載の方法。
- クライアントデバイスで原稿の画像表現を再構築できるようなベクトルグラフィックフォーマットでのグラフィックス指示のリストを形成するために、フィル領域を表す輪郭カーブを、フロントトゥーバックで優先順序付けし、ホールを表す輪郭カーブをバックトゥーフロントで優先順序付けするステップを更に有することを特徴とする請求項１５に記載の方法。
- 符号化ビットストリームに処理された映像を復号する映像復号方法であって、符号化ビットストリームは、ＷＡＮを介してデバイスに送信されたものであり、
前記符号化ビットストリームの復号ステップは、
（ｉ）デバイスに依存しないクオリティラベルを抽出するステップと、（ｉｉ）デバイスがベクトルグラフィックスベースの映像表現を表示できるようにするステップと、を含み、デバイスに表示される映像品質は、そのデバイスのリソース制約によって決定されることを特徴とする映像復号方法。 - 映像を符号化ビットストリームに符号化する装置であって、前記符号化ビットストリームは、ＷＡＮを介してデバイスに送信されるべきものであって、
前記装置は、前記映像を前記符号化ビットストリームに処理可能であり、前記ビットストリームは、
（ａ）前記映像を、デバイスに依存しないクオリティラベル付きのベクトルグラフィックフォーマットで表現したものであり、
（ｂ）前記デバイスのリソース制約によって決定された画質で、前記映像のベクトルグラフィックスベースの画像表現を表示するために、前記デバイスで復号されることを特徴とする映像符号化装置。 - 符号化ビットストリームに処理された映像を復号する映像復号装置であって、前記符号化ビットストリームは、ＷＡＮを介してデバイスに送信されたものであり、
前記装置は、（ｉ）デバイスに依存しないクオリティラベルを解凍するステップと、（ｉｉ）デバイスが前記映像をベクトルグラフィックスベースで表現したものを表示できるようにするステップと、を含み、デバイスに表示される映像品質は、そのデバイスのリソースの制約によって決定されることを特徴とする映像復号方法。 - オリジナル映像を符号化ビットストリームに処理するステップを含む処理によって符号化された映像ファイルビットストリームであって、前記符号化ビットストリームはＷＡＮを介してデバイスに送信しようとするものであり、
前記映像を処理するステップは、
（ａ）前記映像を、デバイスに依存しないクオリティラベルを付したベクトルグラフィックフォーマットで表現した符号化ビットストリームであって、
（ｂ）前記ベクトルグラフィックスベースの映像表現を、前記デバイスのリソース制約によって決定される画質で、表示するために、前記デバイスにおいて復号されうる符号化ビットストリームを、生成することを特徴とする映像ファイルビットストリーム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB0105518A GB0105518D0 (en) | 2001-03-07 | 2001-03-07 | Scalable video library to a limited resource client device using a vector graphic representation |
| GB0128995A GB2373122A (en) | 2001-03-07 | 2001-12-04 | Scalable shape coding of video |
| PCT/GB2002/000881 WO2002071757A2 (en) | 2001-03-07 | 2002-02-28 | Scalable video coding using vector graphics |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004523178A true JP2004523178A (ja) | 2004-07-29 |
Family
ID=26245788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002570538A Withdrawn JP2004523178A (ja) | 2001-03-07 | 2002-02-28 | 映像を符号化ビットストリームに処理する方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20040101204A1 (ja) |
| EP (1) | EP1368972A2 (ja) |
| JP (1) | JP2004523178A (ja) |
| AU (1) | AU2002233556A1 (ja) |
| WO (1) | WO2002071757A2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7639842B2 (en) | 2002-05-03 | 2009-12-29 | Imagetree Corp. | Remote sensing and probabilistic sampling based forest inventory method |
| US7212670B1 (en) * | 2002-05-03 | 2007-05-01 | Imagetree Corp. | Method of feature identification and analysis |
| GB2400780B (en) | 2003-04-17 | 2006-07-12 | Research In Motion Ltd | System and method of converting edge record based graphics to polygon based graphics |
| US7580461B2 (en) | 2004-02-27 | 2009-08-25 | Microsoft Corporation | Barbell lifting for wavelet coding |
| US9332274B2 (en) * | 2006-07-07 | 2016-05-03 | Microsoft Technology Licensing, Llc | Spatially scalable video coding |
| DE102007032812A1 (de) * | 2007-07-13 | 2009-01-22 | Siemens Ag | Verfahren und Vorrichtung zum Erstellen eines Komplexitätsvektors für zumindest eines Teils einer SVG Szene, sowie Verfahren und Prüfvorrichtung zum Überprüfen einer Abspieltauglichkeit zumindest eines Teils einer SVG-Szene auf einem Gerät |
| WO2010077325A2 (en) * | 2008-12-29 | 2010-07-08 | Thomson Licensing | Method and apparatus for adaptive quantization of subband/wavelet coefficients |
| EP4057215A1 (en) * | 2013-10-22 | 2022-09-14 | Eyenuk, Inc. | Systems and methods for automated analysis of retinal images |
| US10091553B1 (en) * | 2014-01-10 | 2018-10-02 | Sprint Communications Company L.P. | Video content distribution system and method |
| EP3635679B1 (en) * | 2017-06-08 | 2021-05-05 | The Procter & Gamble Company | Method and device for holistic evaluation of subtle irregularities in digital image |
| EP4076761A1 (en) | 2019-12-16 | 2022-10-26 | The Procter & Gamble Company | Liquid dispensing system comprising an unitary dispensing nozzle |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NL8300872A (nl) * | 1983-03-10 | 1984-10-01 | Philips Nv | Multiprocessor-rekenmachinesysteem voor het tot een gekleurde afbeelding verwerken van in een hierarchische datastruktuur gedefinieerde objekt-elementen. |
| US5864342A (en) * | 1995-08-04 | 1999-01-26 | Microsoft Corporation | Method and system for rendering graphical objects to image chunks |
| US5963210A (en) * | 1996-03-29 | 1999-10-05 | Stellar Semiconductor, Inc. | Graphics processor, system and method for generating screen pixels in raster order utilizing a single interpolator |
| US5805228A (en) * | 1996-08-09 | 1998-09-08 | U.S. Robotics Access Corp. | Video encoder/decoder system |
| US5838830A (en) * | 1996-09-18 | 1998-11-17 | Sharp Laboratories Of America, Inc. | Vertex-based hierarchical shape representation and coding method and apparatus |
| US6011872A (en) * | 1996-11-08 | 2000-01-04 | Sharp Laboratories Of America, Inc. | Method of generalized content-scalable shape representation and coding |
| US6002803A (en) * | 1997-03-11 | 1999-12-14 | Sharp Laboratories Of America, Inc. | Methods of coding the order information for multiple-layer vertices |
| US6069633A (en) * | 1997-09-18 | 2000-05-30 | Netscape Communications Corporation | Sprite engine |
| JP2000013777A (ja) * | 1998-06-26 | 2000-01-14 | Matsushita Electric Ind Co Ltd | 映像再生装置及び映像蓄積装置 |
| GB9909605D0 (en) * | 1999-04-26 | 1999-06-23 | Telemedia Systems Ltd | Networked delivery of media files to clients |
-
2002
- 2002-02-28 US US10/471,114 patent/US20040101204A1/en not_active Abandoned
- 2002-02-28 WO PCT/GB2002/000881 patent/WO2002071757A2/en not_active Application Discontinuation
- 2002-02-28 EP EP02700486A patent/EP1368972A2/en not_active Withdrawn
- 2002-02-28 AU AU2002233556A patent/AU2002233556A1/en not_active Abandoned
- 2002-02-28 JP JP2002570538A patent/JP2004523178A/ja not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| AU2002233556A1 (en) | 2002-09-19 |
| WO2002071757A2 (en) | 2002-09-12 |
| EP1368972A2 (en) | 2003-12-10 |
| WO2002071757A3 (en) | 2003-01-03 |
| US20040101204A1 (en) | 2004-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gilge et al. | Coding of arbitrarily shaped image segments based on a generalized orthogonal transform | |
| EP1012788B1 (en) | Method of generalized content-scalable shape representation and coding | |
| KR100437187B1 (ko) | 화상 부호화장치, 화상 복호화장치, 화상 부호화방법,화상 복호화방법 및 매체 | |
| US7065530B2 (en) | Data structure for efficient access to variable-size data objects | |
| JP2968582B2 (ja) | デジタルデータを処理するための方法および装置 | |
| US6334001B2 (en) | Iterative smoothing technique for pre-processing mixed raster content planes to improve the quality of a decompressed image and increase document compression ratios | |
| CN102637302B (zh) | 一种图像编码方法 | |
| KR102165078B1 (ko) | 공간적으로 스케일러블한 비디오 코딩을 위한 적응적 업샘플링 | |
| Cheng et al. | Document compression using rate-distortion optimized segmentation | |
| WO2022074515A1 (en) | Video based mesh compression | |
| JP2004523178A (ja) | 映像を符号化ビットストリームに処理する方法 | |
| Wang et al. | Image representation using block pattern models and its image processing applications | |
| US6633677B1 (en) | Method and apparatus for processing an image in an image compression/decompression system that uses hierachical coding | |
| Li et al. | End-to-end optimized 360° image compression | |
| Said | Compression of compound images and video for enabling rich media in embedded systems | |
| Chung et al. | New progressive image transmission based on quadtree and shading approach with resolution control | |
| GB2373122A (en) | Scalable shape coding of video | |
| KR20020055864A (ko) | 칼라 정지영상의 부호화 및 복호화 방법 | |
| US11727536B2 (en) | Method and apparatus for geometric smoothing | |
| WO2024074122A1 (en) | Method, apparatus, and medium for point cloud coding | |
| WO2024074121A1 (en) | Method, apparatus, and medium for point cloud coding | |
| Lin | Region-based image modeling and coding | |
| Siddeq | Novel methods of image compression for 3D reconstruction | |
| Kopylov | Processing and compression of raster map images | |
| Itoh | Inter-chrominance up-sampling algorithm for color post-processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050228 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20050621 |