JP2001514822A - マルチプルレイヤの頂点の順番情報を符号化する方法 - Google Patents

マルチプルレイヤの頂点の順番情報を符号化する方法

Info

Publication number
JP2001514822A
JP2001514822A JP53943098A JP53943098A JP2001514822A JP 2001514822 A JP2001514822 A JP 2001514822A JP 53943098 A JP53943098 A JP 53943098A JP 53943098 A JP53943098 A JP 53943098A JP 2001514822 A JP2001514822 A JP 2001514822A
Authority
JP
Japan
Prior art keywords
vertex
layer
vertices
encoding
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP53943098A
Other languages
English (en)
Inventor
ユンイャン キアン,リチャード
イブラヒム セザン,ムハメッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US08/825,646 external-priority patent/US5838830A/en
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2001514822A publication Critical patent/JP2001514822A/ja
Ceased legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 マルチプルレイヤ,頂点ベースによる形状表現及びビットストリーム・スケーラブル形状を符号化する本発明の方法は、階層的スキームで頂点を選択すること、頂点のマルチプルレイヤを定義すること、最も鋭角なレイヤから最も鈍角なレイヤへM個の頂点のレイヤを順番に並べること、各レイヤ内で画像輪郭に沿って自然な順番で頂点を配置すること、及び頂点の各レイヤで各頂点の頂点順番情報を記録することを備えている。マルチプルレイヤ頂点表現及び符号化の方法を4つ開示するが、ここでは、正しい順番情報が形状情報の正しい再構築のために符号化される。

Description

【発明の詳細な説明】 マルチプルレイヤの頂点の順番情報を符号化する方法 関連出願 本願は、1997年4月3日に提出した米国特許出願第08/825,646 号「頂点ベースによる階層的形状表現及び符号化方法並びに装置」の継続出願で ある。 発明の分野 本発明は、マルチプルレイヤ頂点ベースによる形状表現方法及び、オブジェク トベースによる画像符号化或いは動画符号化のフレームワーク、例えばMPEG 標準、特にMPEG−4以降の標準におけるビットストリーム・スケーラブル形 状符号化へのその方法の応用に関する。 発明の背景 コンテンツベースによる符号化及び操作は、MPEG標準の制定によって支持 された機能性の核心の一つである。この機能性は、任意に形状化した画像オブジ ェクトの表現と符号化を要求する。符号化の問題は、テクスチャと形状(輪郭) の符号化に分けることができる。 マルチプルレイヤ形状表現は、ビットストリーム・スケーラブル形状符号化が 簡単になるので、オブジェクトベースによる画像符号化及び動画符号化のコンテ キストにおいて重要であり、この符号化の際に、異なる階層的なレイヤに属する 符号化ビットストリームは分離される。チャネルの帯域幅が厳しく制限されてい る場合は、ベースレイヤに属するビットストリームのみが伝送され得る。追加の レイヤは、チャネル帯域幅が充分になったときに伝送される。従って、ビットス トリーム・スケーラビリティは、例えばインターネットのような帯域幅が保証さ れていないチャネルの場合にはかなり重要である。 全体の形状情報が伝送され或いは蓄積される場合は、ビットストリーム・スケ ーラビリティにより、復号器において、(1)計算上及び表示上の要求事項に合 致する或る数のレイヤを復号すること、又は(2)ベースレイヤのみを用いて、 例えば画像及び動画データベースの低遅延,高速ブラウジングを要求するアプリ ケーションで高速復号の実行をすること、が可能になる。その復号器では、形状 情報を順次復号し再構築することができる。 ビットストリーム・スケーラビリティは、異なるレイヤに属する頂点が別々に 蓄積され、或る選択されたレイヤとその前のレイヤに属する頂点のみを用いて形 状の再構築がなされることを要求する。マルチプルレイヤの頂点ベースによる形 状表現に関する問題の一つは、頂点の順番情報を保存することであり、全部の頂 点が単一のリストにおいて自然な順番で使用不可能となる時に、形状は曖昧さ無 しで再構築される。 本発明の概要 マルチプルレイヤの頂点ベースによる形状表現及びビットストリーム・スケー ラブル形状を符号化する本発明の方法は、階層的スキームで頂点を選択すること 、頂点のマルチプルレイヤを定義すること、最も鋭角な頂点レイヤから最も鈍角 な頂点レイヤへM個の頂点のレイヤを順番に並べること、各レイヤ内でその画像 輪郭に沿って自然な順番で頂点を配置すること、各レイヤから頂点を別々に蓄積 すること、及び頂点の各レイヤにおいて各頂点のための頂点順番情報を記録する ことを備えている。本発明の焦点は、オブジェト形状表現及び符号化である。マ ルチプルレイヤの頂点表現及び符号化のための方法を4つ開示するが、ここでは 形状情報の正しい再構築のために正しい順番情報が符号化される。 本発明の一つの目的は、復号の際に順番の曖昧さを全て取り除くことである。 本発明の他の目的は、頂点の階層的なセットに基づくマルチプルレイヤの形状 表現方法を提供することである。 本発明の他の目的は、その順番情報を蓄積するためのビット消費を最小にする ことである。 本発明の他の目的は、真にスケーラブルなビットストリームを提供することで ある。 更に本発明の他の目的は、順番情報を回復するための計算上のコストを低くす ることである。 本発明におけるこれら及び也の目的及び利点は、以下の説明を図面と関連させ て読むことによって、より明らかになる。 図面の簡単な説明 図1は、動画オブジェクトへの動画入力の動画分析を示すブロック図である。 図2は、本発明の方法を容易にするオブジェクトベースによる動画符号化器/ 復号器の構成を示すブロック図である。 図3は、1次元頂点リスト及び多層の階層的頂点スキームの模式図である。 図4は、本発明の方法のステップのブロック図である。 図5は、本発明の第1の実施形態の模式図である。 図6は、本発明の第1の実施形態の方法を用いるマルチプルレイヤ頂点符号化 の例を示す模式図である。 図7は、本発明の第2の実施形態の模式図である。 図8は、本発明の第2の実施形態の方法を用いるマルチプルレイヤ頂点符号化 の例を示す図である。 図9は、本発明の第3の実施形態の模式図である。 図10は、本発明の第3の実施形態の方法を用いるマルチプルレイヤ頂点符号 化の例を示す図である。 本発明の実施形態の詳細な説明 図1について見ると、オブジェクトベースによる符号化においては、動画入力 20はブロック22で解析され、異なる動画オブジェクトVO1(24),VO 2(26)及びVOn(28)に分けられ、この構成が動画シーケンスとなる。 動画オブジェクトは、それらの形状,テクスチャ及び動きの軌跡で表現される。 動画オブジェクトは、これらの3つの特性の表現を符号化することによって符号 化される。 オブジェクトベースによる動画符号化器及び復号器の主な成分は、図2に示し てある。前述のように、動画入力は解析され、動画オブジェクト(VO)になる 。各VO(纏めてオブジェクト30で表す)は、その形状成分32,テクスチャ 成分34及び動き成分36で定義される。符号化器機構38は形状符号化器40 を含み、そこでは形状、例えば頂点ベースによる表現の特別な表現を符号化する 。テクスチャ符号化器42は、VOの色又はテクスチャの表現を符号化し、一方 、動き符号化器44は、VOの動きの表現を符号化する。形状符号化器で生成さ れたビットストリームにおいて、異なる階層的なレイヤに属する頂点は単一のビ ットストリームに包含され、一緒に符号化される。その代わりとして、各レイヤ の頂点は別々のビットストリームに包含され、各階層的なレイヤが別々に符号化 される。異なる階層的なレイヤに対応する異なるセットが別々のビットストリー ムに配置された場合は、選択したレイヤの頂点のセットは、より粗いレイヤから の頂点を用いて予測符号化される。 符号化された形状,テクスチャ及び動きを表す信号46は、多重化器48へ伝 送され、多重化分離器52へ適切なタイプの伝送機構50で再伝送され、そして 復号器54へ再伝送される。復号器54には、特定の形状復号器56、テクスチ ャ復号器58及び動き復号器60が含まれる。上記VOは、再構築機構62によ り動画像に再形成され、動画出力64により動画像として出力される。信号が一 度符号化されると、多重化器48へ伝送されるか又は今後の使用例えばデータベ ース中の画像の高速ブラウジングの提供のために多重化器48の代わりに又は、 多重化器48に加えてデータベースに蓄積されることがある。蓄積された信号は 、後々画像に再構築される。本発明の焦点はオブジェト形状表現及び符号化にあ る。 動画シーケンスにおける或る特定の瞬間のオブジェクト形状は、形状輪郭上の 頂点によって表現される。この頂点は、輪郭点が使用可能なように準備されてい なければ、バイナリ形状マップに適用される輪郭トレースの結果として取得され た全ての点から選択される。本発明では階層的選択法が用いられ、ここでは異な る階層的なレイヤにおいて頂点が選ばれる。ベースレイヤ(レイヤ0)には、最 小数の頂点が含まれており、この頂点は形状を記述する際に最も有意である。こ れに続く各レイヤには、より有意性が低い頂点の追加セットが加えられる。頂点 の目に見える鋭角度の観点から階層性が定義される階層的頂点選択方法は、以前 の特許出願:1997年4月3日提出の米国特許出願第08/825,646号 ,「頂点ベースによる階層的形状表現及び符号化方法並びに装置」で論議されて いる。他の階層的な方法例えば反復精錬法を拡張したものも利用可能である。 ビットストリーム・スケーラビリティには、異なるレイヤに属する頂点が別々 に蓄積され、或る選択レイヤとその前のレイヤに属する頂点のみを用いて形状の 再構築がなされることが必要である。マルチプルレイヤの頂点ベースによる形状 表現に関する問題の一つは頂点の順番情報を保存することであり、全部の頂点が 単一のリストにおいて自然な順番で使用不可能となる時に、形状は曖昧さ無しで 再構築される。図3では、復号の曖昧さの問題が説明されている。図3の上部は 頂点リスト66を示し、3つの階層的なレイヤからの頂点が自然な順番で単一の リストにリスティングされている。3つのレイヤから得た頂点は、レイヤ0(6 8)、レイヤ1(70)及びレイヤ2(72)として認定される。頂点がその自 然な順番でリスト化され符号化されると、曖昧さの問題はなくなる。マルチプル レイヤ表現では、頂点が68,70,72で示すようにマルチプルレイヤに分離 されており、復号器は上位レイヤの頂点が下位レイヤの頂点に関連して順番に配 置されていることがわかっていなければならない。 本発明の目的は、マルチプルレイヤの頂点の順番情報を符号化する方法及びそ の応用を提供することである。マルチプルレイヤ形状表現では、異なる階層的な レイヤに属する頂点は別々に蓄積される。或るレイヤ(m≧0)における形状の 再構築は、そのレイヤ及びその前のレイヤ(m−1,…,0)に属する頂点のみ を用いて、順次実行される。 本出願人による上記先行出願で開示し引用したように、空間スケーラビリティ 及び品質スケーラビリティ並びにほかの同時係属出願「一般化した内容スケーラ ブルな形状表現及び符号化方法」(米国特許出願第08/856,387号,1 997年5月14日出願)で引用されたコンテンツ・スケーラビリティが、本発 明で提案されたマルチプルレイヤの形状表現及び符号化の方法の一つを用いたビ ットストリーム・スケーラブルな方法で実行される。 本発明の一般的な方法 マルチプルレイヤの頂点の順番情報の符号化方法を設計するときには、主とし て(1)復号の際の順番の曖昧さを全て除去すること、(2)最小ビット消費で 順番情報を蓄積すること、の2つの目的がある。也の目的には、(1)真にスケ ーラブルなビットストリームを提供すること、(2)計算上のコストを低くして 順番情報を回復することが含まれる。 方法74のビットストリーム・スケーラブルな形状符号化の主なステップは図 4に示してある。このステップには、(1)階層的頂点の選択76,これには階 層的なスキームで頂点を選択することを含む、(2)マルチプルレイヤ形状表現 78,これは、最鋭角から最鈍角の順番に並べた頂点のマルチプルレイヤを定義 し、且つこの頂点を各レイヤ内で画像輪郭に沿った自然な順番で配置する、(3 )マルチプルレイヤスケーラブル形状符号化80,これは頂点及び頂点順番情報 をビットストリーム・スケーラブルな方法で符号化し、後述する応用例の一つを 用いて頂点順番情報を符号化する、(4)スケーラブル形状ビットストリーム生 成82、が含まれる。復号は符号化処理の逆処理である。 以下の材料は、本発明の方法の応用例を4つ開示しており、その全てが順番情 報を正確に回復させることができる、すなわち順番の曖昧さはない。これらの応 用例は、ビット消費,ビットストリーム・スケーラビリティの程度及び消費コス トの意味で異なる。4つの応用例全てで、ビットストリームにおいて異なるレイ ヤからの頂点は別々に、即ちレイヤ毎に最鋭角レイヤから最鈍角レイヤに配置さ れるものと仮定する。各レイヤ内では、頂点はこれらが表現する輪郭に沿って自 然な順番に配置される。 第1の実施形態 図5及び図6において、M>0でM個の頂点のレイヤがあり、レイヤ0,1, …,(M−1)には、各々N0,N1,…,N(M-1)個の頂点があるものと仮定する。 この実施形態では、頂点順番情報がベースレイヤ(即ちレイヤ0)を除き各レイ ヤの始めに記録される。この方法では、ベースレイヤのみを復号する必要がある 復号器は順番情報の付加を処理する必要がない。与えられたどのレイヤm(m> 0)の場合でも、順番情報はバイナリリストで特定され、このバイナリリストは 現在及び前のレイヤ(m,m−1,…,0)の頂点において各頂点に対し1ビッ トを割り当てる。バイナリリストで、対応する頂点が前のレイヤからである場合 は1つの“0”が蓄積され、頂点が現在のレイヤからである場合は、1っの“1 ”が蓄積される。図5において、レイヤ0(84)は○印で表現される頂点を含 み、△印で表現する頂点はレイヤm(86)に含まれる。バイナリ頂点順番リス ト88は、レイヤ0,1…(m)におけるN0+N1+…N(m)個の頂点の順番情 報を表現している。 図6において、3レイヤ頂点リストが符号90で示されている。レイヤ0(9 2)は○印で表した5つの頂点を含み、レイヤ1(94)はバイナリリスト96 及び×印で表した4つの頂点98を含んでいる。バイナリリストで、対応する頂 点がレイヤ0からである場合は1つの“0”が蓄積され、頂点がレイヤ1からで ある場合は一つの“1”が蓄積される。復号器は、先ずレイヤ0での頂点の自然 な符号化の順番に従ってレイヤ0の順番を回復する。そして、必要であれば、レ イヤ1の始めに蓄積したバイナリリストを読み取ることによって、復号器は最初 の2つのレイヤの順番を回復する。上記リストからの“0”に出会った場合、復 号器はレイヤ0から順次対応する位置へ頂点を置く。“1”に出会った場合、復 号器は順番リストの後で符号化された頂点をレイヤ1から順次置く。レイヤ0及 び1からの全頂点の完全な順番は回復され、それら頂点はソートされてアレイと なる。 レイヤ2(100)が必要な場合、復号器はこのレイヤの始めに蓄積した順番 リスト102を読み取ることができる。“0”が読まれた場合は、復号器はレイ ヤ0及び1からの全頂点を含むソート済みアレイからの頂点を順番に配する。“ 1”が読まれた場合は、復号器は△印(104)で表されたレイヤ2からの頂点 を順次に配置する。ついで、レイヤ0,1,2の全頂点の順番をリストア(復元 )する。上記処理は、さらなるレイヤが使用可能且つ必要であれば続けることが できる。 バイナリ順番リスト及び頂点位置は、各種方法を使って効率的に符号化される 。例えば、バイナリ順番リストは、ランレングス符号化方法を用いて符号化する ことができる。レイヤmの頂点の位置は、レイヤm,m−1,…,1,0からの頂点 の位置と関連させて予測符号化することができる。 第2の実施形態 図7において、M個の頂点のレイヤがあり、それぞれのレイヤ0,1,…,(M −1)について順番にN0,N1,…,N(M-1)個の頂点があるものと仮定する。この 実施形態では、各頂点の頂点順番情報を、同じレイヤにおいて現在の頂点と先ん じる頂点との間にある前レイヤからの頂点の数を記録することによって蓄積する 。0<m≦(M−1)のときレイヤmの始めで、Nm×mの数が記録されるが、 これはレイヤ0,…,(m−1)からの頂点の数であって、レイヤmでのある頂点 とその先んじる頂点との問に位置する。レイヤmの第1の頂点の場合、対応する 数は、その頂点の前に位置するレイヤ0,…,(m−1)の頂点の数である。ベー スレイヤ106は、○印で表したN0個の頂点を含んでいる。レイヤmは、△印 で表したNm個の頂点を含み、Nm×m個の数108、P00…P0m-1…P10…P1m -1 …で表した頂点順番情報がこれより先にある。 図8において、頂点リスト112は3つのレイヤの頂点のリストを含んでおり 、レイヤ0(114)は○印で表した5つの頂点を含む。レイヤ1(116)の 始めには、N1×1=4つの数(118)が記録されており、これはレイヤ1で の頂点とその頂点の先んじる頂点との間に位置するレイヤ0での頂点の数である 。レイヤ1(120)の頂点は×印で表している。レイヤ1の頂点の場合は、対 応する数は、その頂点の前のレイヤ0内の頂点の数である。復号器は、先ず、そ のレイヤ内の頂点の自然な符号化順番に従って、レイヤ0の順番を回復する。次 いで、必要であれば、レイヤ1の始めに蓄積されたレイヤ0の頂点情報を読み取 ることによって、最初の2レイヤの順番を回復することができる。より詳しくは 、復号器は、レイヤ1からの各頂点の前にレイヤ0から順次記録した頂点の数を 挿入する。レイヤ0及び1からの全頂点の完全な順番は、次いで回復され、それ ら頂点はソートされてアレイとなる。 レイヤ2(122)が必要であれば、復号器は、レイヤ2の始めに蓄積された レイヤ0及び1の頂点情報124を読み取る。レイヤ2の頂点は△印126で表 してある。復号器は、レイヤ2の各頂点の前にレイヤ0及び1のソートしたアレ イから順次記録した頂点の数を挿入する。これは、レイヤ0,1及び2内の全頂 点の順番を再び蓄積することになる。上記処理は、さらなるレイヤが使用可能且 つ必要であれば続けることができる。 前述のように、順番リスト及び頂点位置は、各種方法を用いて効率的に符号化 することができる。例えば、バイナリ順番リストはランレングス符号化方法を用 いて符号化することができ、レイヤmにおける頂点位置はレイヤm,m−1,…, 1,0からの頂点位置を参照して予測符号化することができる。 第3の実施形態 図9において、M個の頂点のレイヤがあり、それぞれのレイヤ0,1,…,( M−1)について順番にN0,N1,…,N(M-1)個の頂点があるものと仮定する。こ の実施形態では、各頂点の頂点順番情報を、最終レイヤ即ちレイヤ(M−1)を 除いて各レイヤ内の各頂点の子頂点情報を記録することによって蓄積する。0< m≦(M−1)のときレイヤmの始めで、(N0+…+N(m-1))の数が記録され るが、これは、前のm個のレイヤのそれぞれで各頂点に属するレイヤm内の子頂 点の数である。ベースレイヤ0(128)は、○印で表したN0個の頂点を含ん でいる。レイヤm(130)は、△印で表したNm個の頂点を含み、子頂点情報 132がこれより先にあり、この情報はC00…C(N0-1)…C01…C(N1-1)1…で あって、N0+N1+…+N(m-1)の数を含んでいる。各頂点について、その子頂 点情報は一連の数であり、それぞれの数は連続するレイヤの一つにおける子頂点 の数である。 図10において、頂点の3レイヤの頂点リストが符号134で示されている。 べースレイヤ0(136)は、○印で表した5つの頂点を含んでいる。レイヤ1 (138)の始めには、N0=5つの数(140)が記録されており、これはレ イヤ0中のN0個の頂点のそれぞれに属するレイヤ1内の子頂点(×印,142 で表す)の数である。復号器は、先ずそのレイヤ内での頂点の自然な符号化順番 に従って、レイヤ0の順番を回復する。次いで、必要があれば、復号器はレイヤ 1の始めに蓄積されたレイヤ0の関連する子頂点情報を読み取ることによって、 最初の2つのレイヤの順番を回復する。より詳細には、復号器は、レイヤ0から の各頂点の後に、レイヤ1から順次頂点の記録された数を挿入する。レイヤ0及 び1からの全頂点の完全な順番は回復し、これらの頂点はソートされてアレイと なる。 レイヤ2(144)が必要であれば、復号器は、そのレイヤの始めに蓄積され た子頂点情報146を読み取る。復号器は、レイヤ0及びレイヤ1の各頂点の後 に、レイヤ2から順次頂点の記録された数(△印、148)を挿入する。これは 、次いでレイヤ0,1及び2内の全頂点の順番を復元する。さらなる使用可能且 つ必要なレイヤがあれば、上記処理は継続することができる。 前述のように、順番情報及び頂点位置は、各種方法を用いて効率的に符号化す ることができる。例えば、バイナリ順番リストは、ランレングス符号化方法を用 いて符号化することができ、またレイヤmにおける頂点の位置は、レイヤm,m −1,…,1,0からの頂点の位置を参照して予測符号化することができる。 第4の実施形態 M個の頂点のレイヤがあり、レイヤ0,1,…,(M−1)にはそれぞれN0,N1 ,…,N(M-1)個の頂点があると仮定する。この応用例では、頂点順番情報を、全 レイヤ中の各頂点のための次の頂点のレイヤ数を記録することによって蓄積する 。レイヤ1の始めに、N0個の数が記録されるが、これはレイヤ0でのN0個の頂 点のそれぞれに続く頂点のレイヤ数である。0<m<(M−1)のときレイヤm の始めでは、N(m-1)個の数が記録されるが、これはレイヤ(m−1)でのN(m- 1) 個の頂点のそれぞれに続く頂点のレイヤ数である。復号器は、先ず、そのレイ ヤでの自然な符号化順番に従ってレイヤ0の順番を回復する。次いで必要があれ ば、復号器は、レイヤ1の始めに蓄積されたレイヤ数情報を読み取ることによっ てM個のレイヤ全ての順番を回復する。復号器は、レイヤ0から最初の頂点(V(0,0) とする)を除去することによって、及びそれをグローバル順番リストに付 け加えることによって、スタートする。次いで、V(0,0)に続く頂点のレイヤ数 を読み取る。そのレイヤ数がkであれば、復号器は、レイヤkから1つの頂点( V(k,0)とする)を除去し、これをグローバル順番リストに載せる。復号器は、 次い でそのV(k,0)に続く頂点のレイヤ数を読み取り、全レイヤからの全頂点がグロ ーバル順番リストに載せられるまで上記処理を続ける。従って、全頂点の完全な 順番が復元する。 前述のように、順番情報及び頂点位置は、各種方法を用いて効率的に符号化す ることができる。例えば、バイナリ順番リストは、ランレングス符号化方法を用 いて符号化することができ、またレイヤmにおける頂点の位置は、レイヤm,m −1,…,1,0からの頂点の位置を参照して予測符号化することができる。 動作 本発明で開示された方法は、各種方法でビットストリーム・スケーラブル,オ ブジェクトベースによる画像及び動画符号化フレームワークでの実行が可能であ る。以下は、ビットストリーム・スケーラブル,マルチプルレイヤ形状符号化の シンタックスの例であるが、この符号化はノンスケーラブル形状符号化方法を拡 張するもので、現在は、MPEG−4,国際標準化機構「MPEG−4動画形状 符号化の核心実験」ISO/IEC JTC1/SC29/WG11 N1382で検討中である。以下のシン タックスは、第1の実施形態の方法を実行する。なお、現在のノンスケーラブル ・シンタックスは、実施形態1,2,3又は4の方法を用いて各種方法で、ビッ トストリーム・スケーラブルなマルチプルレイヤ形状符号化の実行を拡張するこ とができる。 意味について hierarchical_vertex_representation:このフラグは、スケーラビリテイを提供 するために、頂点が階層的方法で符号化されるかどうかを示す。このフラグが“ 1”であれば、階層的表現は頂点に使用され、そうでない場合は、頂点には非階 層的表現が使用される。 number_of_vertex_layers:このコードは、現在のVOPの頂点の階層的表現に おいてレイヤ数を示す。頂点レイヤの数は、この2ビットコード+1の値に等し い。 number_of_all_vertices:この変数は、全レイヤでの頂点の総数を表現する 。符号化器においてのみ使用可能であり、使用される。 layer_number_of_vertex(i):この変数は頂点iの頂点レイヤIDを示す。 シンタックス 別々のビットストリームでのスケーラブル形状符号化を裏付ける拡張シンタッ クスは、MPEG−4標準で以下のようにリストされている。このシンタックス は、MPEG−4標準では変更される可能性がある。 こうして、マルチプルレイヤ,頂点ベースによる形状表現の符号化方法を開示 したが、これには、本発明のステップの一つの4つの応用例を含む。本発明の応 用例を幾つか開示したが、以下のクレームで定義された本発明の範囲から離れる ことなく、本発明の方法の更なる応用及び変更が可能である。
───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 08/916,972 (32)優先日 平成9年8月19日(1997.8.19) (33)優先権主張国 米国(US) (81)指定国 EP(AT,BE,CH,DE, DK,ES,FI,FR,GB,GR,IE,IT,L U,MC,NL,PT,SE),JP,KR

Claims (1)

  1. 【特許請求の範囲】 1.マルチプルレイヤ,頂点ベースによる形状表現及びビットストリーム・スケ ーラブル形状の符号化方法において、 階層的スキームにおいて頂点を選択し、 頂点のマルチプルレイヤを定義し、 M個の頂点のレイヤを、最鋭角レイヤから最鈍角レイヤへ順番に並べ、 各レイヤ内で、頂点の画像輪郭に沿って自然な順番に頂点を配し、 各レイヤからの頂点を別々に蓄積し、 頂点の各レイヤ内の各頂点の頂点順番情報を記録することを特徴とする符号化 方法。 2.請求項1記載の符号化方法において、前記記録は、レイヤ1で始まる各レイ ヤの始めにバイナリ頂点順番リストを記録することによって各頂点の頂点順番情 報を記録することを含み、対応する頂点がその前のレイヤからである場合は“0 ”が記録され、対応する頂点が現在のレイヤからである場合は“1”が記録され ることを特徴とする符号化方法。 3.請求項1記載の符号化の方法において、前記記録は、同一のレイヤ内での現 在の頂点と前の頂点との間にある全ての前の更に鋭角なレイヤからの頂点の数を 記録することによって各頂点の頂点順番情報を記録することを含むことを特徴と する符号化方法。 4.請求項1記載の符号化方法において、前記記録は、レイヤ0乃至レイヤ(M −2)の各レイヤにおける各頂点の子頂点情報を記録することを含むことを特徴 とする符号化方法。 5.請求項1記載の符号化方法において、前記記録は、全てのレイヤにおける各 頂点の次の頂点のレイヤ数を記録することを含むことを特徴とする符号化方法。 6.マルチプルレイヤ,頂点ベースによる形状表現及びビットストリーム・スケ ーラブル形状の符号化及び復号化方法において、 階層的スキームにおいて頂点を選択し、 頂点のマルチプルレイヤを定義し、 M個の頂点のレイヤを、最鋭角レイヤから最鈍角レイヤへ順番に並べ、 各レイヤ内で、頂点の画像輪郭に沿って自然な順番に頂点を配し、 各レイヤからの頂点を別々に蓄積し、 頂点の各レイヤ内の各頂点の頂点順番情報を記録し、 前記最鋭角レイヤから頂点情報を読み取り、 次の最鋭角レイヤから頂点順番情報及び頂点情報を読み取り、 前記頂点順番情報に従って、マルチプルレイヤからの頂点を順番にすることを 特徴とする符号化及び復号化方法。 7.請求項6記載の符号化及び復号化方法において、前記記録は、レイヤ1で始 まる各レイヤの始めにバイナリ頂点順番リストを記録することによって各頂点の 頂点順番情報を記録することを含み、対応する頂点がその前のレイヤからである 場合は“0”が記録され、対応する頂点が現在のレイヤからである場合は“1” が記録されることを特徴とする符号化及び復号化方法。 8.請求項6記載の符号化及び復号化方法において、前記記録は、同一のレイヤ 内での現在の頂点と前の頂点との間にある全ての前の更に鋭角なレイヤからの頂 点の数を記録することによって各頂点の頂点順番情報を記録することを含むこと を特徴とする符号化及び復号化方法。 9.請求項6記載の符号化及び復号化方法において、前記記録は、レイヤ0乃至 レイヤ(M−2)の各レイヤにおける各頂点の子頂点情報を記録することを含む ことを特徴とする符号化及び復号化方法。 10.請求項6記載の符号化及び復号化方法において、前記記録は、全てのレイ ヤにおける各頂点の次の頂点のレイヤ数を記録することを含むことを特徴とする 符号化及び復号化方法。 11.請求項6記載の符号化及び復号化方法において、第1の位置から第2の位 置へ前記頂点情報及び前記頂点順番情報を伝送することを含むことを特徴とする 符号化及び復号化方法。 12.請求項6記載の符号化及び復号化方法において、第1の時点で前記頂点情 報及び前記頂点順番情報を蓄積し、第2の時点で前記頂点情報及び前記頂点順番 情報を復号化することを特徴とする符号化及び復号化方法。
JP53943098A 1997-03-11 1998-03-10 マルチプルレイヤの頂点の順番情報を符号化する方法 Ceased JP2001514822A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US4017897P 1997-03-11 1997-03-11
US60/040,178 1997-03-11
US08/825,646 US5838830A (en) 1996-09-18 1997-04-03 Vertex-based hierarchical shape representation and coding method and apparatus
US08/825,646 1997-04-03
US08/916,972 US6002803A (en) 1997-03-11 1997-08-19 Methods of coding the order information for multiple-layer vertices
US08/916,972 1997-08-19
PCT/JP1998/000972 WO1998041023A1 (en) 1997-03-11 1998-03-10 Methods of coding the order information for multiple-layer vertices

Publications (1)

Publication Number Publication Date
JP2001514822A true JP2001514822A (ja) 2001-09-11

Family

ID=27365675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP53943098A Ceased JP2001514822A (ja) 1997-03-11 1998-03-10 マルチプルレイヤの頂点の順番情報を符号化する方法

Country Status (6)

Country Link
US (1) US6002803A (ja)
EP (1) EP0966840B1 (ja)
JP (1) JP2001514822A (ja)
KR (1) KR100309664B1 (ja)
DE (1) DE69810597T2 (ja)
WO (1) WO1998041023A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100373331B1 (ko) * 1997-07-02 2003-04-21 주식회사 팬택앤큐리텔 스캔 인터리빙 방법을 이용한 신축형 모양정보 부호화/복호화장치 및 방법
DE69721847T2 (de) * 1997-10-23 2004-03-11 Mitsubishi Denki K.K. Bilddekoder, bildenkoder und bildkommunikationssystem
US6195088B1 (en) * 1998-12-04 2001-02-27 France Telecom Method and system for controlling multimedia streams using dynamic prototypes
US6396490B1 (en) * 1998-12-04 2002-05-28 Intel Corporation Efficient representation of connectivity information in progressive mesh update record
US6483874B1 (en) * 1999-01-27 2002-11-19 General Instrument Corporation Efficient motion estimation for an arbitrarily-shaped object
US6400846B1 (en) * 1999-06-04 2002-06-04 Mitsubishi Electric Research Laboratories, Inc. Method for ordering image spaces to search for object surfaces
US6307964B1 (en) * 1999-06-04 2001-10-23 Mitsubishi Electric Research Laboratories, Inc. Method for ordering image spaces to represent object shapes
JP4697500B2 (ja) * 1999-08-09 2011-06-08 ソニー株式会社 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
CN101106708B (zh) * 1999-08-09 2010-11-03 索尼公司 发送设备及方法
US7383504B1 (en) * 1999-08-30 2008-06-03 Mitsubishi Electric Research Laboratories Method for representing and comparing multimedia content according to rank
AU2002233556A1 (en) * 2001-03-07 2002-09-19 Internet Pro Video Limited Scalable video coding using vector graphics
GB0105518D0 (en) * 2001-03-07 2001-04-25 Telemedia Systems Ltd Scalable video library to a limited resource client device using a vector graphic representation
JP3702244B2 (ja) * 2001-03-30 2005-10-05 株式会社東芝 ポリゴンデータ生成装置、描画システムおよびポリゴンデータ生成方法
GB2377604B (en) * 2001-07-09 2005-09-28 Superscape Plc Mesh compression
WO2003021970A1 (en) * 2001-09-04 2003-03-13 Faroudja Cognition Systems, Inc. Low bandwidth video compression
US7929606B2 (en) 2005-01-21 2011-04-19 Lg Electronics Inc. Method and apparatus for encoding/decoding video signal using block prediction information
KR100913088B1 (ko) * 2005-01-21 2009-08-21 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR100883591B1 (ko) * 2005-01-21 2009-02-13 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR100747489B1 (ko) 2005-04-13 2007-08-08 한국전자통신연구원 3차원 메쉬 정보의 부호화/복호화 방법 및 장치
WO2006110002A1 (en) * 2005-04-13 2006-10-19 Electronics And Telecommunications Research Intitute Method and apparatus for encoding/decoding 3d mesh information
US8798383B1 (en) * 2011-03-28 2014-08-05 UtopiaCompression Corp. Method of adaptive structure-driven compression for image transmission over ultra-low bandwidth data links

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4771469A (en) * 1986-06-30 1988-09-13 Honeywell Inc. Means and method of representing an object shape by hierarchical boundary decomposition
US4870497A (en) * 1988-01-22 1989-09-26 American Telephone And Telegraph Company Progressive transmission of high resolution two-tone facsimile images
US5634113A (en) * 1994-12-13 1997-05-27 Unisys Corporation Method for generating a preferred processing order and for detecting cycles in a directed graph used to represent system component connectivity
KR0181059B1 (ko) * 1995-03-18 1999-05-01 배순훈 물체의 윤곽을 나타내기 위한 윤곽 근사장치
US5764808A (en) * 1995-10-26 1998-06-09 Motorola, Inc. Method and device for compact representation of a discrete region contour
US5963209A (en) * 1996-01-11 1999-10-05 Microsoft Corporation Encoding and progressive transmission of progressive meshes
US5825369A (en) * 1996-01-16 1998-10-20 International Business Machines Corporation Compression of simple geometric models using spanning trees

Also Published As

Publication number Publication date
WO1998041023A1 (en) 1998-09-17
KR20000076444A (ko) 2000-12-26
US6002803A (en) 1999-12-14
EP0966840A1 (en) 1999-12-29
KR100309664B1 (ko) 2001-11-03
DE69810597T2 (de) 2003-11-13
EP0966840B1 (en) 2003-01-08
DE69810597D1 (de) 2003-02-13

Similar Documents

Publication Publication Date Title
JP2001514822A (ja) マルチプルレイヤの頂点の順番情報を符号化する方法
US6130913A (en) Video coding and video decoding apparatus for enlarging a decoded alpha-map signal in accordance with a reduction ratio setting information signal
EP1575032B1 (en) Lossless audio coding/decoding method and apparatus
JP2001504296A (ja) 一般化された内容・スケーラブルな形状表現及び符号化方法
US8036475B2 (en) Compression for segmented images and other types of sideband information
JP3597025B2 (ja) 頂点群をデータベースとする階層的形状符号化/復号方法並びに装置
KR101334173B1 (ko) 그래픽 데이터 부호화 및 복호화 방법과 장치
US20040114814A1 (en) Layout objects as image layers
US20070194975A1 (en) Method of progressively coding/decoding 3-D mesh information and apparatus thereof
EP1569203A2 (en) Lossless audio decoding/encoding method and apparatus
US6128041A (en) Method and apparatus for binary shape encoding
EP0888011B1 (en) Scalable predictive contour coding method and apparatus
US20090110007A1 (en) Seamless multiplexing of embedded bitstreams
JPH01215182A (ja) ファクシミリ蓄積・伝送方法及びその装置
US7577301B1 (en) Multiple page descriptions for the same page
US6731808B2 (en) Compressed storage of data items
US20060206509A1 (en) Mesh compression
US5995672A (en) Method for reducing alpha plane bit mask size
JPH08223569A (ja) デジタル画像伝送方法及び復号化合成装置
Yu et al. Hierarchical multirate vector quantization for image coding
JP2003274406A (ja) 画像符号化装置およびこれを利用した動画像符号化装置
US6996279B2 (en) Compressed storage of data items
Liu et al. A Java-based MPEG-4 like video codec
JPH11196416A (ja) 符号化装置及び方法、復号装置及び方法並びに記録媒体
AU2002319414A1 (en) Mesh compression

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050329

A313 Final decision of rejection without a dissenting response from the applicant

Free format text: JAPANESE INTERMEDIATE CODE: A313

Effective date: 20050711

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050816