JP2002527014A - 3次元メッシュネットワークの圧縮およびコーディング - Google Patents

3次元メッシュネットワークの圧縮およびコーディング

Info

Publication number
JP2002527014A
JP2002527014A JP2000575086A JP2000575086A JP2002527014A JP 2002527014 A JP2002527014 A JP 2002527014A JP 2000575086 A JP2000575086 A JP 2000575086A JP 2000575086 A JP2000575086 A JP 2000575086A JP 2002527014 A JP2002527014 A JP 2002527014A
Authority
JP
Japan
Prior art keywords
meshing
image
mesh
hierarchical
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000575086A
Other languages
English (en)
Other versions
JP2002527014A5 (ja
JP4638037B2 (ja
Inventor
ロラン,ナタリー
ルシャ,パトリク
サンソン,アンリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of JP2002527014A publication Critical patent/JP2002527014A/ja
Publication of JP2002527014A5 publication Critical patent/JP2002527014A5/ja
Application granted granted Critical
Publication of JP4638037B2 publication Critical patent/JP4638037B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/005Statistical coding, e.g. Huffman, run length coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Color Television Systems (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 本発明はデジタル画像をコード化し、前記画像を表現するビットストリームを生成し、ビットストリームの長さは所望の表現の品質に依存する方法において、a) コード化される画像領域に、メッシュピークが前記画像のピクセルである複数のネストメッシュを含む階層メッシングを規定し、b)前記階層メッシングの各メッシュに対して、コード化される画像と、該メッシュが属するネストメッシングのピークから得られる補間画像との間の輝度変数を決定し、c) 輝度変数が閾値変数より大きいメッシュのピークの位置、輝度およびクロミナンスの値をビットストリーム位置に挿入することから成ることを特徴とする方法に関するものである。本発明は減速(圧縮)によって静止画または動画をコード化するのに有用である。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】
本発明は、フローレイトの削減(圧縮)による静止画または動画のコーディン
グ分野に関する。
【0002】
【従来の技術】
画像を圧縮する技術は従来、ビデオ数値信号のフローレイトを削減し、それら
を伝送または記憶するのに用いられている。第1の応用において提案されるコー
ディング法は特に、低いフローレイトの伝送およびフローレイトの保証が全くな
い伝送、例えばIPプロトコル(インターネットプロトコル)によって行われる伝
送に適合している。 静止画または動画をフローレイトを削減してコーディングする方法は多数あり
、最もよく知られている方法は規格、例えばISO-JPEGまたはISO-MPEGとなった方
法である。
【0003】 これらのコーディング法は静止画(JPEG)では画像内の空間的冗長性、隣接す
る点と点との相関および細部に対する目の感度の低さを利用し、動画(MPEG)で
は連続する画像間の時間的冗長性を利用する一般的な圧縮原理を用いている。 この種の方法ではまず、画像の複数のブロックに離散コサイン変換(DCT)を
適用するか、または画像全体にウェーブレット変換を適用して画像を変換する。
次に、得られた信号を定量化して信号のとりうる値の数を制限し、次に、定量化
した信号の統計的冗長性を用いるエントロピーコーディングを用いてコード化し
、伝送または記憶されるデータの量を減少させる。
【0004】
【発明が解決しようとする課題】
しかし、これらの従来の方法には主として画像の内容およびそれらの純粋に数
値的な性格を考慮しない方法の使用によって生じるいくつかの制限がある: ・離散コサイン変換の場合に画像の輪郭近くに現れるブロック効果に起因するリ
ンギング、これらのリンギングは低いフローレイトのウェーブレットの場合にも
現れる; ・これらの方法は動画(MPEG)の場合には2つの画像間の動きの補償を決定した
り、合成画像を自然の背景に合成するのに従来用いられる幾何学的処理(相似変
換等)に十分に適合していない。
【0005】 さらに、画像の空間的領域において直接作用する方法もあり、この方法は画像
に特有のピクセルを直接選択して画像の各色彩成分を特徴付ける光度測定表面を
生成し、画像の残りのピクセルを画像に特有のピクセルを補間して得ることから
構成される。 幾何学的処理に関係する多くの可能性が提供されているが、これらの方法はや
はり圧縮に関して全くあてにならないということがわかっている。さらに、これ
らの方法はウェーブレットによるコーディングを用いる場合とは違って、画像の
複雑さおよび表現の所望の品質に適合したデータの量をコーディング終了時に得
ることができない。特に、これらの方法は特にフローレイトが低い場合に、許容
可能な品質を有する画像を得ることができない。
【0006】
【課題を解決する手段】
本発明の方法の目的は上記の従来技術の欠点を減らすことにある。 本発明の目的は数値画像をコード化し、前記画像を表す2進列を生成し、2進
列の長さが表現の所望の品質に依存する方法において、 a) コード化される画像領域に、メッシュトップが前記画像のピクセルである複
数のネストメッシングを含む階層メッシングを規定し、 b)前記階層メッシングの各メッシュに対して、コード化される画像と、該メッシ
ュが属するネストメッシングのトップから得られる補間画像との間の輝度偏差を
決定し、 c)輝度偏差が閾値偏差より大きいメッシュのトップの位置、輝度およびクロミナ
ンスの値を2進列に導入する ステップを含むことを特徴とする方法に関するものである。
【0007】
【発明の実施の形態】
階層メッシングはより粗いベースを用いるメッシングのメッシュを規則的かつ
連続的に細分化して得られるのが好ましい。 メッシュのトップのクロミナンス値、輝度値および位置の値をより容易に処理
するために、本発明の方法は前記階層メッシングと組み合わされるツリー構造を
具体化するステップをさらに含むのが有利である。 本発明の一実施例では、ステップc)は数回繰り返され、閾値偏差がだんだん小
さくなり、各繰り返しにおいてビットのグループが生成され、表現の品質が向上
する。
【0008】 2進列のサイズを減らすためにまず、2進列に導入される値を定量化および圧
縮操作する。 最後に、別の実施例では、多重メッシングのトップの位置および対応するクロ
ミナンスおよび輝度の値を最適化し、2進列の表現の品質をさらに高めることも
できる。 本発明の他の特性および利点は、添付図面を参照して下記の詳細な説明を読め
ば明らかになるであろう。
【0009】
【実施例】
以下の説明では、コード化される画像のピクセルが横座標xおよび縦座標yによ
って空間内に指定されると考える。輝度成分Yおよび2つの色彩成分UおよびVが
各ピクセルと組み合わされている。成分Y、UおよびVの代わりに比色成分RVB、HS
Vを用いることも可能である。
【0010】 本発明の方法の第1ステップa)ではまず、コード化される画像領域に、複数の
ネストメッシングを含む1つの階層メッシングが定義される。前記メッシングの
メッシュのトップはコード化される画像のピクセルである。この階層メッシング
は例えばより粗いベースメッシングのメッシュを規則的に連続して細分化するこ
とによって得られる。前記メッシングと組み合わされるツリーのノードと混同し
ないように、メッシング「ノード」という用語は使用しない点に注意しなくては
ならない。
【0011】 3個のネストメッシュを含む三角形階層メッシュの例が図1Aに図示されてい
る。このメッシュは、10個のメッシュと8個のメッシュトップを有する。 図1Aの太い実線で表されたベースメッシングはそのメッシュトップの規則的
なスタガー分布を示している。規則的なトポロジーによって三角形を画像上にう
まく配置することができる。このトポロジーは演繹的にコード化される画像の内
容が知られていないときに最も適している。このベースメッシングで規定された
三角形はレベル0の三角形に対応する。
【0012】 図1Aのメッシングの例では、レベル0の三角形は4個の同一の三角形、レベ
ル1に細分化される。この細分化は図の細い実線で示されている。 図1Bには、親の三角形T1がより高いレベルの4個の子の三角形T11、T12、T1 3 、T14に細分化されるのが示されている。 最後に、レベル1の三角形は4個の三角形、レベル2に細分化される。この新
たな細分化は図1Aの破線で表されている。この階層メッシングによって高い精
度を有する、したがってネストメッシングの数に比例して向上する品質を有する
画像を表すことができよう。各ネストメッシングは階層メッシングの1つのメッ
シングレベルに対応する。
【0013】 あるメッシュトップは複数のメッシングレベルに属し、これは例えば画像の左
上側ピクセルが3つのメッシングレベルに対して1つの三角形の頂点を構成する
場合である。一方では、各三角形は唯一のメッシングレベル(唯一のネストメッ
シング)にリンクされる。メッシングの各トップは画像のマークに1つの位置を
有し、輝度YおよびクロミナンスU、V情報の中心である。
【0014】 生成されたメッシングによって、メッシングレベルで単一の三角形を画像の各
ピクセルと組み合わせることができる。画像のピクセルの輝度およびクロミナン
スの値の近似値は組み合わされる三角形の頂点の対応する値から補間することに
よって得ることができる。 本明細書で用いる補間モデルはラグランジュモデルである。これは以下の式で
定義される細分基底関数を含む:
【0015】
【式3】 (ここで、eは頂点i、j、kを有する三角形である)
【0016】 座標(x,y)の点をpおよび点pの補間された輝度VYおよびクロミナンスVUおよび
VVの値を含むベクトル
【式4】 で示す場合、ベクトル
【外1】 は以下の式で定義される:
【式5】
【0017】 本発明(細分補間)の場合は、値Ψi e(x,y)、Ψj e(x,y)およびΨk e(x,y)は
三角形eにおける点pの重心座標を表す。これらの座標は以下の式で表される:
【式6】 Ψj e(x,y)およびΨk e(x,y)は式Ψi e(x,y)において指数i、j、kを環状に置
換して得られる。
【0018】 メッシングステップ終了時に、ツリー構造を前記階層メッシングと組み合わせ
て構成し、メッシュトップの値を操作するのが有利である。ツリーはメッシング
レベル(またはネストメッシング)の数と同じ数のレベルを有する。ツリーの各
レベルは対応するメッシングレベルにおける三角形の数と同じ数のノードを有す
る。ツリーの各ノードは階層メッシングの単一の三角形に関連する。したがって
、三角形T1およびその4個の子の三角形T11、T12、T13、T14に関連するツリーの
部分は図2に示されている。三角形T1が多重メッシングのレベルnに属する場合
は、ツリーのレベルnに対応する1つのノードおよび、各ノードが子の三角形T11 、T12、T13、T14の1つに関連するレベルn+1に対応する4つの子のノードが形成
される。
【0019】 三角形T1、T11、T12、T13およびT14の頂点はそれぞれABC、AEF、BEG、FGCおよ
びEFGである。三角形T1に関連するノードは点A、BまたはCの1つを頂点として有
する他の三角形と、頂点A、BおよびCの位置、輝度およびクロミナンスの値を共
有し、冗長値を記憶しないようにする。同様に、点E、F、Gの値は三角形T11、T1 2 、T13、T14に関連するノードに分配される。
【0020】 階層メッシングの全ての三角形に対して1つのノードが同じ方法で形成される
場合は、図3に示すように1つのツリーが得られ、このツリーのルートはベース
メッシングの三角形の数と同じ数の複数のノードを含んでいる。 ツリーが構成されると、残るは画像の2進列の代表に導入されるツリーのデー
タを決定することである。この決定は表現の所望の品質に依存する。この決定を
実施するためには、ステップb)にしたがって階層メッシングの各三角形に対して
、コード化される画像と、そのメッシュが属するネストメッシングのトップから
得られる補間画像との間の輝度偏差を計算する。 ステップc)では、次にこの偏差を各三角形に対する閾値偏差と比較する。閾値
偏差の値は表現の所望の品質に依存する。次に、輝度偏差が閾値偏差より大きい
三角形に関連するツリーの部分を2進列に導入する。
【0021】 実際には、決定は以下のように実施される:ツリーの各ノードに対して、対応
する三角形の輝度偏差を計算し、次にこのノードと組み合わされる三角形の輝度
偏差が閾値偏差より小さいか、大きいかに応じて値0または1をそれらに加える
。図4はこのステップを示している。最初に、2進列に導入されるツリーの部分
をデコーダによって再構成することを可能にするシーケンス、すなわちシーケン
ス11101110000000011が2進列に導入され、次に上記シーケンスにおいて1を有
するノードに含まれる値が2進列に導入される。
【0022】 この方法の過程で閾値が減少し、コーディングを段階的に進行させることがで
きるのが有利である。したがって、好ましい実施例では、ステップc)は数回繰り
返され、閾値偏差がだんだん小さくなり、各繰り返しにおいてビットの追加のグ
ループが生成され、表現の品質が向上する。冗長度の全くない最終2進列を構築
するために、基準テーブルが用いられ、このテーブルではノードの値が既にビッ
ト列に導入されたか否かを示す値0または1がツリーの各ノードと組み合わされ
る。テーブルの値はノードの値がビット列に導入されると更新される。したがっ
て、閾値偏差が減少するとき、ビット列に導入されることが求められるノード値
が既にそこにはないことを確かめるための検査が行われる。これによって、閾値
偏差の低減に対応するツリーの追加部分のみをビット列に導入することができる
【0023】 したがって、高品質の表現が要求されないときは、最も高い閾値偏差で得られ
た2進列の第1の部分のみを利用することができる。ある程度の品質の表現を得
るためには、2進列のより大きな部分を利用する必要があろう。
【0024】 改良実施例では、トップの値を2進列に導入する前に定量化および圧縮して2
進列のサイズを制限することができる。定量化は不均一になるように選択するの
が好ましい。定量化は例えば輝度値(それぞれクロミナンスおよび位置)の統計
分布を利用することができる。このために、処理される画像の輝度値のヒストグ
ラム(グレーのレベル)をモデル化する。このヒストグラムは一般にほとんど拡
張されず、一般化されたガウスと同化させることができる。平均値および標準偏
差を計算し、不規則な区間の数を固定した後で、各区間Iiに対して最適な定量化
値Viを計算する。この値は基準Dを最小化して得られる。この基準Dは以下の式で
定義される:
【0025】
【式7】 (ここで、p(x)は一般化されたガウスで得られた点xの周辺確率密度を示し、Lは
不規則な区間の数である)。
【0026】 定量化ステップの最後に、定量化微分値にデータ圧縮操作を行い、2進列の長
さを制限する。圧縮は本発明の場合は最良の圧縮率を有する算術および適応コー
ダによって実施されるのが有利である。 算術コーディング(または算術圧縮)の一般法則は以下の通り:記号で形成さ
れる各メッセージは0〜1の実数の区間で表される。記号の出現の可能性が高け
れば高いほど、その表現区間は大きくなる。算術コーディングはPascal Plumeに
よる「Data Compression」(出版元:Eyrolles)pp 111-168という文献に詳細に
説明されている。
【0027】 さらに、適応コーディングは圧縮ステップ中に記号のコーディングを、その出
現頻度にしたがって徐々に適合させることで構成されている。したがって、記号
が圧縮開始時に5ビットでコード化される場合は、圧縮の別のステップで、この
同じ記号をその出現頻度が高いか、低いかに応じて1または8ビットでコード化
することができる。圧縮のどの時点においても、最も頻度の高い記号が最低の数
のビットでコード化される。当然、この方法では圧縮を実施するコーダの部分お
よび解凍を実施するデコーダの部分が並行にかつ均一に機能する必要がある。こ
の種のコーディングでは、コーダおよびデコーダは全ての記号が同程度に確から
しい所定の統計テーブルから始まる。圧縮中に徐々に、コーダはテーブルを更新
する。実際には、デコーダは解凍中にそのテーブルを用いて同じことを行う。更
新するアルゴリズムがコーダおよびデコーダで同一である限り、この種のコーデ
ィングは完全に機能するので、統計テーブルを伝送する必要がない。
【0028】 輝度、クロミナンスおよび位置の値の統計分布は互いに異なるので、これらの
値は別々にコード化するのが好ましい。また、これらの3つの値のタイプを別々
に処理するために適応算術コーダが備えられている。 2進列のサイズを減らすために、一改良実施例では、ベースメッシングを除い
て、ネストメッシングのメッシュトップの正確な輝度、クロミナンスおよび位置
の微分値以外の値を2進列に導入しないことが決められている。各微分値はコー
ド化される画像の対応する正確な値と、より低いレベルのネスト階層メッシング
の隣接するトップの対応する正確な値から得られる補間値との間の差を表す。
【0029】 図5には微分値を決定する実施例が示されている。この図には三角形、レベル
0が示され、その頂点A、B、Cはそれぞれ輝度値が210、150および132である。こ
の三角形は4個の同一のレベル1の三角形に細分化され、3個の新しい頂点E、F
およびGが現れ、それぞれレベル0の三角形の辺AB、ACおよびBCの中間に位置し
ている。頂点E、FおよびGの輝度値はそれぞれ182、170および143である。頂点E
、FおよびGの輝度値を隣接する頂点の値を補間することによって計算する場合は
、値180、171および141が得られる。2進列に導入した値はこの場合、正確な値
と補間値との間の差に対応して+2、-1および+2である。しかし、これらの値は事
前に定量化されており、とりうる値の数が制限されるので、次のデータ圧縮操作
の性能が高まる。
【0030】 さらに、定量化誤差が累積しないように、低いレベルの定量化値から微分値の
計算を行う。 好ましい一実施例では、メッシング(トップの位置および値Y、U、V)はさら
にそれらのコーディングポテンシャルをできるだけ完全に利用するように画像の
内容に適合している。この適合は3つのレベルで行うことができる:
【0031】 ・メッシングのトップの位置の最適化:ノードの位置は画像を局所的に表現する
それらの効果にしたがって変更される; ・メッシングのトップの輝度およびクロミナンスの値の最適化:値Y、U、Vは元
の画像をできるだけ完全に表現するように最適化される; ・メッシングのトポロジーの最適化:メッシングのトポロジーは対角線反転操作
を用いて画像を局所的に表現するメッシングの能力をさらに高めることによって
変更される。
【0032】 先に選択したメッシング構造は規則的な構造を有する。したがって、その内容
に不一致があり、特に均一領域と、トップでより高い密度を必要とするテクスチ
ャ領域とを混合する画像を表現するのに適合しないようにみえることがある。メ
ッシングのトップの位置を最適化することによって、メッシングトップの集中を
それを必要とするトップの領域に移動させることができよう。 この最適化の最も早い視覚的効果はメッシングのトップが一緒に画像の物体の
物理的輪郭へ向かって運ばれることによって示される。
【0033】 この操作はベースメッシングに対応するレベル(レベル0)から始まるレベル
ごとに実施される。レベル0での最適化の結果を次にレベルn+1に伝送し、レベ
ルnのトップの新しい位置からレベルn+1の追加トップの位置が得られる。各レ
ベルでの位置の最適化およびツリーの各種レベルへのその伝播は図7に示されて
いる。
【0034】 位置の最適化はコード化される画像と補間された画像との間の輝度偏差に対応
する基準Eを最小化して実施される。Eを計算するためには、座標(x,y,z)でz=Y
(輝度成分)の
【外2】 の点qを考慮する。基準Eは以下の式で定義される:
【式8】 ここで、Fはqが元の画像の点qから形成される表面と、補間された画像の点qか
ら形成される表面との間にある場合は値が1であり、それ以外の場合は値が0の
特性関数である。
【0035】 偏差Eの最小化は適応ステップ傾斜降下アルゴリズムを用いて実施される。こ
の最小化には
【外3】 (ここでEは最小である、すなわち∇E(X)=0) の点のベクトルXを探すことが含まれる。
【0036】 要するに、この最小化は以下の非線形方程式システムを解く点にある:
【式9】
【0037】 このシステムはニュートン法によって直接解くことができる。しかし、この方
法は、繰り返しの開始点が解からあまりに遠いときには集束しないことがある。
また、繰り返し処理を用いて、Eの局所的最適へ向かって集束する一組の中間位
置q1,q2を生成するのが好ましい。 この種の繰り返し処理は以下のように行われる:トップSoの最適位置を決定す
るために、その開始位置qSoから始め、この点でEの勾配を計算する。∇E(qSo
がEの最大増加方向を示すとき、量α0は反対方向に移動し、トップS0は新しい位
置を有する。
【0038】
【式10】 繰り返し処理によって中間位置q2、q3、…qkが生成され、
【式11】 になる。
【0039】 適応ステップαkは集束を加速するように選択されるのが有利である。適応ス
テップ傾斜降下法は偏差Eが増加(減少)するときに、ステップαkを減少(増加
)させることで構成されているが、αk∈[αminmax]を目指すステップにサ
イズの制約がみられる。連続する偏差E間の差が最小閾値偏差より低いときに最
終位置qn=qSoが得られる。同様に、メッシングの残りのトップの最適位置が計
算される。
【0040】 既に述べたように、偏差Eは実際の画像に対して計算される。改良例では、メ
ッシングレベルで「頻繁な」内容に関して類似している特定の基準画像Iに対し
て各メッシングレベルで偏差Eが計算される。したがって、ベースメッシング(
レベル0)は画像の低い頻度のアスペクトのみを表し、このレベルのトップの位
置を最適化するのに用いる基準画像も低い頻度の「頻繁な」内容を有する。この
基準画像は実際の画像をフィルタリングして得られる。
【0041】 同様に、各メッシングレベルには「頻繁な」内容がそのメッシングに適合した
基準画像が組み合わされる。この基準画像は最高のメッシングレベルに組み合わ
され、実際の画像に対応する(フィルタリングなし)。これらの基準画像を生成
するために、無限パルスレスポンスハーフバンドローパスフィルタの近似値が用
いられる:
【式12】 (ここで、Lは二段抽出ファクタである)。
【0042】 したがって、値Eを計算するために各メッシングレベルで異なる基準画像が用
いられる。 メッシングトップと組み合わされる輝度およびクロミナンスの値の最適化によ
って本発明の方法の別の可能な改良が与えられる。 値Y、U、Vの最適化は最少誤差二乗法によって行われ、画像の領域Ωで以下の
式で定義される基準Eを最小化することから成る:
【0043】
【式13】 (ここで、 ・Snは前記階層メッシングの指数トップnであり、 ・Mは前記階層メッシングのトップの合計数であり、 ・I(x,y)はコード化される画像の座標(x,y)のピクセルの輝度値(それぞれ
クロミナンス値UまたはV)を表し、 ・ΨSnはトップSnと組み合わされる補間関数であり、 ・V(Sn)はトップSnと組み合わされる最適化輝度値(それぞれクロミナンス)
である)。
【0044】 この式が演繹される場合、最適化値はM個の式の以下の線形システムを解いて
て得られる:
【式14】
【0045】 関数ΨSmのコンパクト支持関数によって、式のこのシステムは以下の式で表す
こともできる:
【式15】 (ここで、 ・supp(Sm)はトップまたは頂点がSmである三角形またはメッシュを示し、 ・ver(e)は三角形eのトップを示す)。
【0046】 方程式の上記のシステムを解くことは AX=B (ここで、 ・Aは規定された正の対称行列であり、 ・Xはm∈[1..M]を有する最適化値V(Sm)の列行列であり、 ・Bはシステム(1)の右の項の値の列行列である) のタイプの行列システムを解くことと同じである。
【0047】 行列Aは正として規定された対称行列であるので、行列Aは唯一のA=LDL t因数
分解を有し、Lは単位対角線を有するより低い三角行列を示し、Dは全ての対角係
数が厳密に正である対角行列を示す。さらに隣接する行列Aの調整は単位値を有
する。 LおよびDの係数の決定は行列のより低い三角部分に位置した係数を識別して行
うことができる:
【0048】
【式16】 さらに、以下の式が得られる:
【式17】
【0049】
【式18】 次に、最適化値のマトリクスXの項を以下の式で求める:
【式19】
【0050】 一改良実施例では、Aの分解中にメモリサイズを制限するためにAX=Bシステム
を分解するのにプロフィール法を用いることができる。プロフィール法はテーブ
ルM×Mの形での従来の行列の表現の代わりに、2つのベクトルの形での表現を用
いる。実際には、行列Aは中空である(多くのゼロを有する)ので、従来の形で
のその表現は不適当である。 最近の改良例では、メッシングのトポロジーを改良することもできる。実際に
は、メッシングの局所的構造は画像の特定の特性に適合していない。適合する階
層メッシングが得られるまでメッシングを細分することは可能であるが、対角線
反転操作を実施する方が簡単であることはわかる。
【0051】 この対角線反転操作は最後のメッシングレベルで実施され、この操作は変更し
たメッシングが画像を再構築するためにより良い品質を与える場合は、前記メッ
シングレベルの2個の隣接する三角形で形成される凸状不等辺四辺形において対
角線を反転させることから成る。 この対角線反転操作は凸状不等辺四辺形にのみ関与するものである。図8Aに
は対角線反転操作が可能でない非凸状の不等辺四辺形の例が示されている。
【0052】 図8Bには2個の三角形T1とT2とで形成される凸状不等辺四辺形Qでの対角線
反転操作が示されている。この操作は2個の三角形T1とT2とに共通する辺を表す
対角線を反転させることから成る。反転後、不等辺四辺形Qは2個の新しい三角
形T1およびT2を含む。 トポロジーを最適化する操作は次に下記ステップを含む: ・最高のメッシングレベルの2個の隣接する三角形T1、T2で形成される各凸状不
等辺四辺形Qで輝度偏差Eを計算し、この輝度偏差はT1およびT2の輝度偏差の合計
の合計に等しい、E(Q)=E(T1)+E(T2)、 ・2個の三角形T1とT2とに共通する辺を表す対角線を反転させて2個の新しい三
角形T1およびT2を形成し、 ・新しい三角形T1およびT2の輝度偏差を計算し、E(Q)=E(T1)+E(T2)を加え、 ・輝度偏差の合計が最低である2個の三角形を保持する。
【図面の簡単な説明】
【図1A】 3つのレベルの多重メッシングを示す。
【図1B】 1つの三角形T1の4つの低いレベルの三角形への細分化を示す。
【図2】 図1Bの三角形T1と組み合わされたツリー部分を示す。
【図3】 多重メッシングと組み合わされたツリー構造を示す。
【図4】 2進列に導入されるツリーの部分を示す。
【図5】 定量化の後に2進列に導入される微分値の決定を示す。
【図6】 算術圧縮操作を示す。
【図7】 メッシングレベルのトップの位置の最適化およびより高いメッシングレベルで
のその伝播を示す。
【図8A】 対角線反転操作が除外される場合を示す。
【図8B】 対角線反転操作が可能な場合を示す。
【手続補正書】特許協力条約第34条補正の翻訳文提出書
【提出日】平成12年9月14日(2000.9.14)
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正内容】
【発明の名称】 3次元メッシュネットワークの圧縮およびコーディング
【特許請求の範囲】
【式1】 (ここで、 ・Snは前記階層メッシングの指数トップnであり、 ・Mは前記階層メッシングのトップの合計数であり、 ・I(x,y)はコード化される画像の座標(x,y)のピクセルの輝度値(それぞれ
クロミナンス値UまたはV)を表し、 ・ΨSnはトップSnと組み合わされる補間関数であり、 ・V(Sn)はトップSnと組み合わされる最適化輝度値(それぞれクロミナンス)
である)。
【式2】 (ここで、 ・supp(Sm)はトップがSmであるメッシュを示し、 ・ver(e)はメッシュeのトップを示す)。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】 本発明は、フローレイトの削減(圧縮)による静止画または動画のコーディン
グ分野に関する。
【0002】
【従来の技術】 画像を圧縮する技術は従来、ビデオ数値信号のフローレイトを削減し、それら
を伝送または記憶するのに用いられている。第1の応用において提案されるコー
ディング法は特に、低いフローレイトの伝送およびフローレイトの保証が全くな
い伝送、例えばIPプロトコル(インターネットプロトコル)によって行われる伝
送に適合している。 静止画または動画をフローレイトを削減してコーディングする方法は多数あり
、最もよく知られている方法は規格、例えばISO-JPEGまたはISO-MPEGとなった方
法である。
【0003】 これらのコーディング法は静止画(JPEG)では画像内の空間的冗長性、隣接す
る点と点との相関および細部に対する目の感度の低さを利用し、動画(MPEG)で
は連続する画像間の時間的冗長性を利用する一般的な圧縮原理を用いている。 この種の方法ではまず、画像の複数のブロックに離散コサイン変換(DCT)を
適用するか、または画像全体にウェーブレット変換を適用して画像を変換する。
次に、得られた信号を定量化して信号のとりうる値の数を制限し、次に、定量化
した信号の統計的冗長性を用いるエントロピーコーディングを用いてコード化し
、伝送または記憶されるデータの量を減少させる。
【0004】
【発明が解決しようとする課題】 しかし、これらの従来の方法には主として画像の内容およびそれらの純粋に数
値的な性格を考慮しない方法の使用によって生じるいくつかの制限がある: ・離散コサイン変換の場合に画像の輪郭近くに現れるブロック効果に起因するリ
ンギング、これらのリンギングは低いフローレイトのウェーブレットの場合にも
現れる; ・これらの方法は動画(MPEG)の場合には2つの画像間の動きの補償を決定した
り、合成画像を自然の背景に合成するのに従来用いられる幾何学的処理(相似変
換等)に十分に適合していない。
【0005】 さらに、画像の空間的領域において直接作用する方法もあり、この方法は画像
に特有のピクセルを直接選択して画像の各色彩成分を特徴付ける光度測定表面を
生成し、画像の残りのピクセルを画像に特有のピクセルを補間して得ることから
構成される。 幾何学的処理に関係する多くの可能性が提供されているが、これらの方法はや
はり圧縮に関して全くあてにならないということがわかっている。さらに、これ
らの方法はウェーブレットによるコーディングを用いる場合とは違って、画像の
複雑さおよび表現の所望の品質に適合したデータの量をコーディング終了時に得
ることができない。特に、これらの方法は特にフローレイトが低い場合に、許容
可能な品質を有する画像を得ることができない。
【0006】 さらに、「Progressive coding of 3-D graphic models」(IEEEの会報、1998
年6月、第86版、第6号、1052-1053頁)という文献に記載されているように複数
のネストメッシングを含む階層メッシングを用いるコーディング法がある。この
方法は近傍基準に基づくもので、近傍と同一平面上の重要ではない辺と、近傍と
はかなり異なる視覚的に重要な辺とを区別する。位置の値は辺の属性としてコー
ド化される。コーディング法の終了時のビットの数を制限するために、メッシン
グの構造データおよびメッシングのトップの属性はテーブルを参照してコード化
される。本発明の一目的は上記の欠点を減らす別のコーディング法を提供するこ
とにある。
【0007】
【課題を解決する手段】 本発明の目的は数値画像をコード化し、前記画像を表す2進列を生成し、2進
列の長さが表現の所望の品質に依存する方法において、 a) コード化される画像領域に、メッシュトップが前記画像のピクセルである複
数のネストメッシングを含む階層メッシングを規定し、 b)前記階層メッシングの各メッシュに対して、コード化される画像と、該メッシ
ュが属するネストメッシングのトップから得られる補間画像との間の輝度偏差を
決定し、 c)輝度偏差が閾値偏差より大きいメッシュのトップの位置、輝度およびクロミナ
ンスの値を2進列に導入する ステップを含むことを特徴とする方法にある。
【0008】
【発明の実施の形態】 階層メッシングはより粗いベースを用いるメッシングのメッシュを規則的かつ
連続的に細分化して得られるのが好ましい。 メッシュのトップのクロミナンス値、輝度値および位置の値をより容易に処理
するために、本発明の方法は前記階層メッシングと組み合わされるツリー構造を
具体化するステップをさらに含むのが有利である。 本発明の一実施例では、ステップc)は数回繰り返され、閾値偏差がだんだん小
さくなり、各繰り返しにおいてビットのグループが生成され、表現の品質が向上
する。
【0009】 2進列のサイズを減らすためにまず、2進列に導入される値を定量化および圧
縮操作する。 最後に、別の実施例では、多重メッシングのトップの位置および対応するクロ
ミナンスおよび輝度の値を最適化し、2進列の表現の品質をさらに高めることも
できる。 本発明の他の特性および利点は、添付図面を参照して下記の詳細な説明を読め
ば明らかになるであろう。
【0010】
【実施例】 以下の説明では、コード化される画像のピクセルが横座標xおよび縦座標yによ
って空間内に指定されると考える。輝度成分Yおよび2つの色彩成分UおよびVが
各ピクセルと組み合わされている。成分Y、UおよびVの代わりに比色成分RVB、HS
Vを用いることも可能である。
【0011】 本発明の方法の第1ステップa)ではまず、コード化される画像領域に、複数の
ネストメッシングを含む1つの階層メッシングが定義される。前記メッシングの
メッシュのトップはコード化される画像のピクセルである。この階層メッシング
は例えばより粗いベースメッシングのメッシュを規則的に連続して細分化するこ
とによって得られる。前記メッシングと組み合わされるツリーのノードと混同し
ないように、メッシング「ノード」という用語は使用しない点に注意しなくては
ならない。
【0012】 3個のネストメッシュを含む三角形階層メッシュの例が図1Aに図示されてい
る。このメッシュは、10個のメッシュと8個のメッシュトップを有する。 図1Aの太い実線で表されたベースメッシングはそのメッシュトップの規則的
なスタガー分布を示している。規則的なトポロジーによって三角形を画像上にう
まく配置することができる。このトポロジーは演繹的にコード化される画像の内
容が知られていないときに最も適している。このベースメッシングで規定された
三角形はレベル0の三角形に対応する。
【0013】 図1Aのメッシングの例では、レベル0の三角形は4個の同一の三角形、レベ
ル1に細分化される。この細分化は図の細い実線で示されている。 図1Bには、親の三角形T1がより高いレベルの4個の子の三角形T11、T12、T1 3 、T14に細分化されるのが示されている。 最後に、レベル1の三角形は4個の三角形、レベル2に細分化される。この新
たな細分化は図1Aの破線で表されている。この階層メッシングによって高い精
度を有する、したがってネストメッシングの数に比例して向上する品質を有する
画像を表すことができよう。各ネストメッシングは階層メッシングの1つのメッ
シングレベルに対応する。
【0014】 あるメッシュトップは複数のメッシングレベルに属し、これは例えば画像の左
上側ピクセルが3つのメッシングレベルに対して1つの三角形の頂点を構成する
場合である。一方では、各三角形は唯一のメッシングレベル(唯一のネストメッ
シング)にリンクされる。メッシングの各トップは画像のマークに1つの位置を
有し、輝度YおよびクロミナンスU、V情報の中心である。
【0015】 生成されたメッシングによって、メッシングレベルで単一の三角形を画像の各
ピクセルと組み合わせることができる。画像のピクセルの輝度およびクロミナン
スの値の近似値は組み合わされる三角形の頂点の対応する値から補間することに
よって得ることができる。 本明細書で用いる補間モデルはラグランジュモデルである。これは以下の式で
定義される細分基底関数を含む:
【0016】
【式3】 (ここで、eは頂点i、j、kを有する三角形である)
【0017】 座標(x,y)の点をpおよび点pの補間された輝度VYおよびクロミナンスVUおよび
VVの値を含むベクトル
【式4】 で示す場合、ベクトル
【外1】 は以下の式で定義される:
【式5】
【0018】 本発明(細分補間)の場合は、値Ψi e(x,y)、Ψj e(x,y)およびΨk e(x,y)は
三角形eにおける点pの重心座標を表す。これらの座標は以下の式で表される:
【式6】 Ψj e(x,y)およびΨk e(x,y)は式Ψi e(x,y)において指数i、j、kを環状に置
換して得られる。
【0019】 メッシングステップ終了時に、ツリー構造を前記階層メッシングと組み合わせ
て構成し、メッシュトップの値を操作するのが有利である。ツリーはメッシング
レベル(またはネストメッシング)の数と同じ数のレベルを有する。ツリーの各
レベルは対応するメッシングレベルにおける三角形の数と同じ数のノードを有す
る。ツリーの各ノードは階層メッシングの単一の三角形に関連する。したがって
、三角形T1およびその4個の子の三角形T11、T12、T13、T14に関連するツリーの
部分は図2に示されている。三角形T1が多重メッシングのレベルnに属する場合
は、ツリーのレベルnに対応する1つのノードおよび、各ノードが子の三角形T11 、T12、T13、T14の1つに関連するレベルn+1に対応する4つの子のノードが形成
される。
【0020】 三角形T1、T11、T12、T13およびT14の頂点はそれぞれABC、AEF、BEG、FGCおよ
びEFGである。三角形T1に関連するノードは点A、BまたはCの1つを頂点として有
する他の三角形と、頂点A、BおよびCの位置、輝度およびクロミナンスの値を共
有し、冗長値を記憶しないようにする。同様に、点E、F、Gの値は三角形T11、T1 2 、T13、T14に関連するノードに分布される。
【0021】 階層メッシングの全ての三角形に対して1つのノードが同じ方法で形成される
場合は、図3に示すように1つのツリーが得られ、このツリーのルートはベース
メッシングの三角形の数と同じ数の複数のノードを含んでいる。 ツリーが構成されると、残るは画像の2進列の代表に導入されるツリーのデー
タを決定することである。この決定は表現の所望の品質に依存する。この決定を
実施するためには、ステップb)にしたがって階層メッシングの各三角形に対して
、コード化される画像と、そのメッシュが属するネストメッシングのトップから
得られる補間画像との間の輝度偏差を計算する。 ステップc)では、次にこの偏差を各三角形に対する閾値偏差と比較する。閾値
偏差の値は表現の所望の品質に依存する。次に、輝度偏差が閾値偏差より大きい
三角形に関連するツリーの部分を2進列に導入する。
【0022】 実際には、決定は以下のように実施される:ツリーの各ノードに対して、対応
する三角形の輝度偏差を計算し、次にこのノードと組み合わされる三角形の輝度
偏差が閾値偏差より小さいか、大きいかに応じて値0または1をそれらに加える
。図4はこのステップを示している。最初に、2進列に導入されるツリーの部分
をデコーダによって再構成することを可能にするシーケンス、すなわちシーケン
ス11101110000000011が2進列に導入され、次に上記シーケンスにおいて1を有
するノードに含まれる値が2進列に導入される。
【0023】 この方法の過程で閾値が減少し、コーディングを段階的に進行させることがで
きるのが有利である。したがって、好ましい実施例では、ステップc)は数回繰り
返され、閾値偏差がだんだん小さくなり、各繰り返しにおいてビットの追加のグ
ループが生成され、表現の品質が向上する。冗長度の全くない最終2進列を構築
するために、基準テーブルが用いられ、このテーブルではノードの値が既にビッ
ト列に導入されたか否かを示す値0または1がツリーの各ノードと組み合わされ
る。テーブルの値はノードの値がビット列に導入されると更新される。したがっ
て、閾値偏差が減少するとき、ビット列に導入されることが求められるノード値
が既にそこにはないことを確かめるための検査が行われる。これによって、閾値
偏差の低減に対応するツリーの追加部分のみをビット列に導入することができる
【0024】 したがって、高品質の表現が要求されないときは、最も高い閾値偏差で得られ
た2進列の第1の部分のみを利用することができる。ある程度の品質の表現を得
るためには、2進列のより大きな部分を利用する必要があろう。
【0025】 改良実施例では、トップの値を2進列に導入する前に定量化および圧縮して2
進列のサイズを制限することができる。定量化は不均一になるように選択するの
が好ましい。定量化は例えば輝度値(それぞれクロミナンスおよび位置)の統計
分布を利用することができる。このために、処理される画像の輝度値のヒストグ
ラム(グレーのレベル)をモデル化する。このヒストグラムは一般にほとんど拡
張されず、一般化されたガウスと同化させることができる。平均値および標準偏
差を計算し、不規則な区間の数を固定した後で、各区間Iiに対して最適な定量化
値Viを計算する。この値は基準Dを最小化して得られる。この基準Dは以下の式で
定義される:
【0026】
【式7】 (ここで、p(x)は一般化されたガウスで得られた点xの周辺確率密度を示し、Lは
不規則な区間の数である)。
【0027】 定量化ステップの最後に、定量化微分値にデータ圧縮操作を行い、2進列の長
さを制限する。圧縮は本発明の場合は最良の圧縮率を有する算術および適応コー
ダによって実施されるのが有利である。 算術コーディング(または算術圧縮)の一般法則は以下の通り:記号で形成さ
れる各メッセージは0〜1の実数の区間で表される。記号の出現の可能性が高け
れば高いほど、その表現区間は大きくなる。算術コーディングはPascal Plumeに
よる「Data Compression」(出版元:Eyrolles)pp 111-168という文献に詳細に
説明されている。
【0028】 さらに、適応コーディングは圧縮ステップ中に記号のコーディングを、その出
現頻度にしたがって徐々に適合させることで構成されている。したがって、記号
が圧縮開始時に5ビットでコード化される場合は、圧縮の別のステップで、この
同じ記号をその出現頻度が高いか、低いかに応じて1または8ビットでコード化
することができる。圧縮のどの時点においても、最も頻度の高い記号が最低の数
のビットでコード化される。当然、この方法では圧縮を実施するコーダの部分お
よび解凍を実施するデコーダの部分が並行にかつ均一に機能する必要がある。こ
の種のコーディングでは、コーダおよびデコーダは全ての記号が同程度に確から
しい所定の統計テーブルから始まる。圧縮中に徐々に、コーダはテーブルを更新
する。実際には、デコーダは解凍中にそのテーブルを用いて同じことを行う。更
新するアルゴリズムがコーダおよびデコーダで同一である限り、この種のコーデ
ィングは完全に機能するので、統計テーブルを伝送する必要がない。
【0029】 輝度、クロミナンスおよび位置の値の統計分布は互いに異なるので、これらの
値は別々にコード化するのが好ましい。また、これらの3つの値のタイプを別々
に処理するために適応算術コーダが備えられている。 2進列のサイズを減らすために、一改良実施例では、ベースメッシングを除い
て、ネストメッシングのメッシュトップの正確な輝度、クロミナンスおよび位置
の微分値以外の値を2進列に導入しないことが決められている。各微分値はコー
ド化される画像の対応する正確な値と、より低いレベルのネスト階層メッシング
の隣接するトップの対応する正確な値から得られる補間値との間の差を表す。
【0030】 図5には微分値を決定する実施例が示されている。この図には三角形、レベル
0が示され、その頂点A、B、Cはそれぞれ輝度値が210、150および132である。こ
の三角形は4個の同一のレベル1の三角形に細分化され、3個の新しい頂点E、F
およびGが現れ、それぞれレベル0の三角形の辺AB、ACおよびBCの中間に位置し
ている。頂点E、FおよびGの輝度値はそれぞれ182、170および143である。頂点E
、FおよびGの輝度値を隣接する頂点の値を補間することによって計算する場合は
、値180、171および141が得られる。2進列に導入した値はこの場合、正確な値
と補間値との間の差に対応して+2、-1および+2である。しかし、これらの値は事
前に定量化されており、とりうる値の数が制限されるので、次のデータ圧縮操作
の性能が高まる。
【0031】 さらに、定量化誤差が累積しないように、低いレベルの定量化値から微分値の
計算を行う。 好ましい一実施例では、メッシング(トップの位置および値Y、U、V)はさら
にそれらのコーディングポテンシャルをできるだけ完全に利用するように画像の
内容に適合している。この適合は3つのレベルで行うことができる:
【0032】 ・メッシングのトップの位置の最適化:ノードの位置は画像を局所的に表現する
それらの効果にしたがって変更される; ・メッシングのトップの輝度およびクロミナンスの値の最適化:値Y、U、Vは元
の画像をできるだけ完全に表現するように最適化される; ・メッシングのトポロジーの最適化:メッシングのトポロジーは対角線反転操作
を用いて画像を局所的に表現するメッシングの能力をさらに高めることによって
変更される。
【0033】 先に選択したメッシング構造は規則的な構造を有する。したがって、その内容
に不一致があり、特に均一領域と、トップでより高い密度を必要とするテクスチ
ャ領域とを混合する画像を表現するのに適合しないようにみえることがある。メ
ッシングのトップの位置を最適化することによって、メッシングトップの集中を
それを必要とするトップの領域に移動させることができよう。 この最適化の最も早い視覚的効果はメッシングのトップが一緒に画像の物体の
物理的輪郭へ向かって運ばれることによって示される。
【0034】 この操作はベースメッシングに対応するレベル(レベル0)から始まるレベル
ごとに実施される。レベル0での最適化の結果を次にレベルn+1に伝送し、レベ
ルnのトップの新しい位置からレベルn+1の追加トップの位置が得られる。各レ
ベルでの位置の最適化およびツリーの各種レベルへのその伝播は図7に示されて
いる。
【0035】 位置の最適化はコード化される画像と補間された画像との間の輝度偏差に対応
する基準Eを最小化して実施される。Eを計算するためには、座標(x,y,z)でz=Y
(輝度成分)の
【外2】 の点qを考慮する。基準Eは以下の式で定義される:
【式8】 ここで、Fはqが元の画像の点qから形成される表面と、補間された画像の点qか
ら形成される表面との間にある場合は値が1であり、それ以外の場合は値が0の
特性関数である。
【0036】 偏差Eの最小化は適応ステップ傾斜降下アルゴリズムを用いて実施される。こ
の最小化には
【外3】 (ここでEは最小である、すなわち∇E(X)=0) の点のベクトルXを探すことが含まれる。
【0037】 要するに、この最小化は以下の非線形方程式システムを解く点にある:
【式9】
【0038】 このシステムはニュートン法によって直接解くことができる。しかし、この方
法は、繰り返しの開始点が解からあまりに遠いときには集束しないことがある。
また、繰り返し処理を用いて、Eの局所的最適へ向かって集束する一組の中間位
置q1,q2を生成するのが好ましい。 この種の繰り返し処理は以下のように行われる:トップSoの最適位置を決定す
るために、その開始位置qSoから始め、この点でEの勾配を計算する。∇E(qSo
がEの最大増加方向を示すとき、量α0は反対方向に移動し、トップS0は新しい位
置を有する。
【0039】
【式10】 繰り返し処理によって中間位置q2、q3、…qkが生成され、
【式11】 になる。
【0040】 適応ステップαkは集束を加速するように選択されるのが有利である。適応ス
テップ傾斜降下法は偏差Eが増加(減少)するときに、ステップαkを減少(増加
)させることで構成されているが、αk∈[αminmax]を目指すステップにサ
イズの制約がみられる。連続する偏差E間の差が最小閾値偏差より低いときに最
終位置qn=qSoが得られる。同様に、メッシングの残りのトップの最適位置が計
算される。
【0041】 既に述べたように、偏差Eは実際の画像に対して計算される。改良例では、メ
ッシングレベルで「頻繁な」内容に関して類似している特定の基準画像Iに対し
て各メッシングレベルで偏差Eが計算される。したがって、ベースメッシング(
レベル0)は画像の低い頻度のアスペクトのみを表すので、このレベルのトップ
の位置を最適化するのに用いる基準画像も低い頻度の「頻繁な」内容を有する。
この基準画像は実際の画像をフィルタリングして得られる。
【0042】 同様に、各メッシングレベルには「頻繁な」内容が該メッシングに適合した基
準画像が組み合わされる。最高のメッシングレベルに組み合わされるこの基準画
像は実際の画像に対応する(フィルタリングなし)。これらの基準画像を生成す
るために、無限パルスレスポンスハーフバンドローパスフィルタの近似値が用い
られる:
【式12】 (ここで、Lは二段抽出ファクタである)。
【0043】 したがって、値Eを計算するために各メッシングレベルで異なる基準画像が用
いられる。 メッシングトップと組み合わされる輝度およびクロミナンスの値の最適化によ
って本発明の方法の別の可能な改良が与えられる。 値Y、U、Vの最適化は最少誤差二乗法によって行われ、画像の領域Ωで以下の
式で定義される基準Eを最小化することから成る:
【0044】
【式13】 (ここで、 ・Snは前記階層メッシングの指数トップnであり、 ・Mは前記階層メッシングのトップの合計数であり、 ・I(x,y)はコード化される画像の座標(x,y)のピクセルの輝度値(それぞれ
クロミナンス値UまたはV)を表し、 ・ΨSnはトップSnと組み合わされる補間関数であり、 ・V(Sn)はトップSnと組み合わされる最適化輝度値(それぞれクロミナンス)
である)。
【0045】 この式が演繹される場合、最適化値はM個の式の以下の線形システムを解いて
て得られる:
【式14】
【0046】 関数ΨSmのコンパクト支持関数によって、式のこのシステムは以下の式で表す
こともできる:
【式15】 (ここで、 ・supp(Sm)はトップまたは頂点がSmである三角形またはメッシュを示し、 ・ver(e)は三角形eのトップを示す)。
【0047】 方程式の上記のシステムを解くことは AX=B (ここで、 ・Aは規定された正の対称行列であり、 ・Xはm∈[1..M]を有する最適化値V(Sm)の列行列であり、 ・Bはシステム(1)の右の項の値の列行列である) のタイプの行列システムを解くことと同じである。
【0048】 行列Aは正として規定された対称行列であるので、行列Aは唯一のA=LDL t因数
分解を有し、Lは単位対角線を有するより低い三角行列を示し、Dは全ての対角係
数が厳密に正である対角行列を示す。さらに隣接する行列Aの調整は単位値を有
する。 LおよびDの係数の決定は行列のより低い三角部分に位置した係数を識別して行
うことができる:
【0049】
【式16】 さらに、以下の式が得られる:
【式17】
【0050】
【式18】 次に、最適化値のマトリクスXの項を以下の式で求める:
【式19】
【0051】 一改良実施例では、Aの分解中にメモリサイズを制限するためにAX=Bシステム
を分解するのにプロフィール法を用いることができる。プロフィール法はテーブ
ルM×Mの形での従来の行列の表現の代わりに、2つのベクトルの形での表現を用
いる。実際には、行列Aは中空である(多くのゼロを有する)ので、従来の形で
のその表現は不適当である。 最近の改良例では、メッシングのトポロジーを改良することもできる。実際に
は、メッシングの局所的構造は画像の特定の特性に適合していない。適合する階
層メッシングが得られるまでメッシングを細分することは可能であるが、対角線
反転操作を実施する方が簡単であることはわかる。
【0052】 この対角線反転操作は最後のメッシングレベルで実施され、この操作は変更し
たメッシングが画像を再構築するためにより良い品質を与える場合は、前記メッ
シングレベルの2個の隣接する三角形で形成される凸状不等辺四辺形において対
角線を反転させることから成る。 この対角線反転操作は凸状不等辺四辺形にのみ関与するものである。図8Aに
は対角線反転操作が可能でない非凸状の不等辺四辺形の例が示されている。
【0053】 図8Bには2個の三角形T1とT2とで形成される凸状不等辺四辺形Qでの対角線
反転操作が示されている。この操作は2個の三角形T1とT2とに共通する辺を表す
対角線を反転させることから成る。反転後、不等辺四辺形Qは2個の新しい三角
形T1およびT2を含む。 トポロジーを最適化する操作は次に下記ステップを含む: ・最高のメッシングレベルの2個の隣接する三角形T1、T2で形成される各凸状不
等辺四辺形Qで輝度偏差Eを計算し、この輝度偏差はT1およびT2の輝度偏差の合計
の合計に等しい、E(Q)=E(T1)+E(T2)、 ・2個の三角形T1とT2とに共通する辺を表す対角線を反転させて2個の新しい三
角形T1およびT2を形成し、 ・新しい三角形T1およびT2の輝度偏差を計算し、E(Q)=E(T1)+E(T2)を加え、 ・輝度偏差の合計が最低である2個の三角形を保持する。
【図面の簡単な説明】
【図1A】 3つのレベルの多重メッシングを示す。
【図1B】 1つの三角形T1の4つの低いレベルの三角形への細分化を示す。
【図2】 図1Bの三角形T1と組み合わされたツリー部分を示す。
【図3】 多重メッシングと組み合わされたツリー構造を示す。
【図4】 2進列に導入されるツリーの部分を示す。
【図5】 定量化の後に2進列に導入される微分値の決定を示す。
【図6】 算術圧縮操作を示す。
【図7】 メッシングレベルのトップの位置の最適化およびより高いメッシングレベルで
のその伝播を示す。
【図8A】 対角線反転操作が除外される場合を示す。
【図8B】 対角線反転操作が可能な場合を示す。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ルシャ,パトリク フランス国 35000 レンヌ リュ マル セル プラニオル 9 (72)発明者 サンソン,アンリ フランス国 35690 アシニュ アレ デ ロゾ 12 Fターム(参考) 5C057 AA03 AA13 BA01 BA16 DA03 EA02 ED09 EL01 FB03 5C059 KK04 LC01 LC03 MA31 MB18 ME11 UA02 5C078 AA04 BA64 CA27 DA22

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】 数値画像をコード化し、前記画像を表す2進列を生成し、2進
    列の長さが表現の所望の品質に依存する方法において、 a) コード化される画像領域に、メッシュトップが前記画像のピクセルである複
    数のネストメッシングを含む階層メッシングを規定し、 b)前記階層メッシングの各メッシュに対して、コード化される画像と、該メッシ
    ュが属するネストメッシングのトップから得られる補間画像との間の輝度偏差を
    決定し、 c)輝度偏差が閾値偏差より大きいメッシュのトップの位置、輝度およびクロミナ
    ンスの値を2進列に導入する ステップを含むことを特徴とする方法。
  2. 【請求項2】 前記階層メッシングが、より粗いベースメッシングのメッシュ
    を規則的かつ連続的に細分化して得られることを特徴とする請求項1に記載のコ
    ーディング法。
  3. 【請求項3】 ベースメッシングが、そのメッシュトップの規則的なスタガー
    分布を有することを特徴とする請求項2に記載のコーディング法。
  4. 【請求項4】 前記階層メッシングと組み合わされるツリー構造を具体化する
    ステップをさらに含むことを特徴とする請求項1〜3のいずれか一項に記載のコ
    ーディング法。
  5. 【請求項5】 前記ステップc)が繰り返され、閾値偏差がだんだん小さくなり
    、各繰り返しにおいてビットのグループが生成され、表現の品質が向上すること
    を特徴とする請求項1〜4のいずれか一項に記載のコーディング法。
  6. 【請求項6】 2進列に導入されるメッシュのトップの位置、輝度およびクロ
    ミナンスの値が事前に定量化操作されることを特徴とする請求項1〜5のいずれ
    か一項に記載のコーディング法。
  7. 【請求項7】 前記定量化操作が不均一であることを特徴とする請求項6に記
    載のコーディング法。
  8. 【請求項8】 定量化値がデータ圧縮操作された後、2進列に導入されること
    を特徴とする請求項6または7に記載のコーディング法。
  9. 【請求項9】 前記データ圧縮操作が適応算術コーダによって実施されること
    を特徴とする請求項8に記載のコーディング法。
  10. 【請求項10】 ベースメッシングに関する値を除いて、2進列に導入される
    ネストメッシングのメッシュトップの輝度、クロミナンスおよび位置の値が、コ
    ード化される画像の対応する正確な値と、より低いレベルのネスト階層メッシン
    グの隣接するトップの対応する正確な値から得られる補間値との間の差をそれぞ
    れ表す「微分」値であることを特徴とする請求項2〜5のいずれか一項に記載の
    コーディング法。
  11. 【請求項11】 前記ステップb)の前に、前記階層メッシングの各ネストメッ
    シングに対して、コード化される画像と、そのメッシュトップから得られる補間
    画像との間の輝度偏差を最小にしてそのメッシュトップの位置を最適化すること
    を特徴とする請求項1〜10のいずれか一項に記載のコーディング法。
  12. 【請求項12】 前記ステップb)の前に、基準画像を前記階層メッシングの各
    メッシングと組み合わせ、各ネストメッシングに対して、それと組み合わされる
    基準画像と、そのメッシュトップから得られる補間画像との間の輝度偏差を最小
    にしてそのメッシュトップの位置を最適化することを特徴とする請求項1〜11
    のいずれか一項に記載のコーディング法。
  13. 【請求項13】 階層メッシングの各種メッシングと組み合わされる基準画像
    がコード化される画像をフィルタリングして得られることを特徴とする請求項1
    2に記載のコーディング法。
  14. 【請求項14】 輝度偏差の最小化が適応ステップ傾斜降下アルゴリズムによ
    って行われることを特徴とする請求項11〜13のいずれか一項に記載のコーデ
    ィング法。
  15. 【請求項15】 ステップb)の前に、ネストメッシングのメッシュのトップの
    輝度およびクロミナンスの値が以下の基準Eで最適化されることを特徴とする請
    求項1〜14のいずれか一項に記載のコーディング法: 【式1】 (ここで、 ・Snは前記階層メッシングの指数トップnであり、 ・Mは前記階層メッシングのトップの合計数であり、 ・I(x,y)はコード化される画像の座標(x,y)のピクセルの輝度値(それぞれ
    クロミナンス値UまたはV)を表し、 ・ΨSnはトップSnと組み合わされる補間関数であり、 ・V(Sn)はトップSnと組み合わされる最適化輝度値(それぞれクロミナンス)
    である)。
  16. 【請求項16】 基準Eの最小化がM個の式の以下の線形システムを解いて実施
    されることを特徴とする請求項15に記載のコーディング法: 【式2】 (ここで、 ・supp(Sm)はトップがSmであるメッシュを示し、 ・ver(e)はメッシュeのトップを示す)。
  17. 【請求項17】 M個の式を有する前記線形システムがプロフィールLDLt因数
    分解法によって分解され、前記線形システムがM個の成分を有する2個のベクト
    ルの形で示されることを特徴とする請求項12に記載のコーディング法。
  18. 【請求項18】 階層メッシングが三角形メッシングであり、ステップb)の前
    に、 ・最高レベルの階層メッシングに属する2個の隣接する三角形で形成される各凸
    状不等辺四辺形に対して2個の三角形と組み合わされる輝度偏差の合計を計算し
    、 ・2個の三角形に共通する辺を表す不等辺四辺形の対角線を反転させ、2個の新
    しい三角形を規定し、 ・この2つの新しい三角形のそれぞれの輝度偏差を計算してそれらを加え、 ・輝度偏差の合計が最低である2個の三角形を前記メッシング内に保持する ステップを実施することを特徴とする請求項1〜17のいずれか一項に記載のコ
    ーディング法。
JP2000575086A 1998-10-02 1999-09-30 3次元メッシュネットワークの圧縮およびコーディング Expired - Fee Related JP4638037B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR9812525A FR2784211B1 (fr) 1998-10-02 1998-10-02 Procede de codage d'images fixes ou animees avec reduction et adaptation du debit
FR98/12525 1998-10-02
PCT/FR1999/002323 WO2000021035A1 (fr) 1998-10-02 1999-09-30 Compression et codage de reseau maille tridimensionnel

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010157309A Division JP5414121B2 (ja) 1998-10-02 2010-07-09 3次元メッシュネットワークの圧縮およびコーディング

Publications (3)

Publication Number Publication Date
JP2002527014A true JP2002527014A (ja) 2002-08-20
JP2002527014A5 JP2002527014A5 (ja) 2010-09-30
JP4638037B2 JP4638037B2 (ja) 2011-02-23

Family

ID=9531269

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2000575086A Expired - Fee Related JP4638037B2 (ja) 1998-10-02 1999-09-30 3次元メッシュネットワークの圧縮およびコーディング
JP2010157309A Expired - Fee Related JP5414121B2 (ja) 1998-10-02 2010-07-09 3次元メッシュネットワークの圧縮およびコーディング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010157309A Expired - Fee Related JP5414121B2 (ja) 1998-10-02 2010-07-09 3次元メッシュネットワークの圧縮およびコーディング

Country Status (8)

Country Link
US (1) US6795070B1 (ja)
EP (1) EP1116185B1 (ja)
JP (2) JP4638037B2 (ja)
AT (1) ATE230869T1 (ja)
CA (1) CA2346342C (ja)
DE (1) DE69904843T2 (ja)
FR (1) FR2784211B1 (ja)
WO (1) WO2000021035A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014529950A (ja) * 2011-08-25 2014-11-13 トムソン ライセンシングThomson Licensing 階層的なエントロピー符号化および復号
US8928660B2 (en) 2009-04-15 2015-01-06 Samsung Electronics Co., Ltd. Progressive mesh decoding apparatus and method

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2794269B1 (fr) * 1999-05-26 2001-08-17 France Telecom Procede de codage d'images, a partition triangulaire et transformation reversible, et procede de decodage correspondant
FR2794329B1 (fr) * 1999-05-26 2001-08-17 France Telecom Procede de codage d'images hierarchique, a mise en oeuvre selective d'un codage a base transformation reversible, et procede de decodage correspondant
US6995761B1 (en) * 2000-01-14 2006-02-07 California Institute Of Technology Compression of 3D surfaces using progressive geometry
FR2811112B1 (fr) * 2000-06-28 2003-01-03 France Telecom Procede de codage d'une image source a visualisation adaptative, procede de decodage et decodeur correspondant
FR2813485B1 (fr) * 2000-08-24 2003-12-26 France Telecom Procede de construction d'au moins une image interpolee entre deux images d'une sequence animee, procedes de codage et de decodage, signal et support de donnees correspondant
US7167174B2 (en) * 2002-12-19 2007-01-23 Mental Images Gmbh Computer graphic system and method for efficiently encoding subdivision triangular surfaces of a triangular surface element and for recovering their coordinates
DE10331431B4 (de) * 2003-07-10 2005-12-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Datenkompression von Simulationsergebnissen
US20080281182A1 (en) * 2007-05-07 2008-11-13 General Electric Company Method and apparatus for improving and/or validating 3D segmentations
JP5080406B2 (ja) * 2008-09-05 2012-11-21 株式会社エヌ・ティ・ティ・ドコモ 配信装置、端末装置及びシステム並びに方法
JP5112229B2 (ja) * 2008-09-05 2013-01-09 株式会社エヌ・ティ・ティ・ドコモ 配信装置、端末装置及びシステム並びに方法
US20140176661A1 (en) 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07298261A (ja) * 1994-04-25 1995-11-10 Sony Corp 画像信号符号化方法
WO1997032281A1 (en) * 1996-02-27 1997-09-04 Interval Research Corporation Wavelet based data compression
WO1997042766A1 (en) * 1996-05-06 1997-11-13 Philips Electronics N.V. Segmented video coding and decoding method and system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5691768A (en) * 1995-07-07 1997-11-25 Lucent Technologies, Inc. Multiple resolution, multi-stream video system using a single standard decoder
US6208997B1 (en) * 1997-10-17 2001-03-27 The Regents Of The University Of California Rapid production of optimal-quality reduced-resolution representations of very large databases
US6262737B1 (en) 1998-01-30 2001-07-17 University Of Southern California 3D mesh compression and coding
US6614428B1 (en) * 1998-06-08 2003-09-02 Microsoft Corporation Compression of animated geometry using a hierarchical level of detail coder

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07298261A (ja) * 1994-04-25 1995-11-10 Sony Corp 画像信号符号化方法
WO1997032281A1 (en) * 1996-02-27 1997-09-04 Interval Research Corporation Wavelet based data compression
WO1997042766A1 (en) * 1996-05-06 1997-11-13 Philips Electronics N.V. Segmented video coding and decoding method and system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8928660B2 (en) 2009-04-15 2015-01-06 Samsung Electronics Co., Ltd. Progressive mesh decoding apparatus and method
JP2014529950A (ja) * 2011-08-25 2014-11-13 トムソン ライセンシングThomson Licensing 階層的なエントロピー符号化および復号

Also Published As

Publication number Publication date
US6795070B1 (en) 2004-09-21
DE69904843T2 (de) 2003-11-13
CA2346342C (fr) 2012-02-21
DE69904843D1 (de) 2003-02-13
JP2010273367A (ja) 2010-12-02
JP5414121B2 (ja) 2014-02-12
CA2346342A1 (fr) 2000-04-13
FR2784211A1 (fr) 2000-04-07
ATE230869T1 (de) 2003-01-15
EP1116185B1 (fr) 2003-01-08
JP4638037B2 (ja) 2011-02-23
EP1116185A1 (fr) 2001-07-18
WO2000021035A1 (fr) 2000-04-13
FR2784211B1 (fr) 2000-12-15

Similar Documents

Publication Publication Date Title
JP5414121B2 (ja) 3次元メッシュネットワークの圧縮およびコーディング
US11727603B2 (en) Adaptive distance based point cloud compression
US11252441B2 (en) Hierarchical point cloud compression
CN111095929B (zh) 一种压缩针对点云的属性信息的系统、方法及计算机可读介质
JP4832975B2 (ja) 深さイメージに基づく3次元客体を表現するためのノード構造を記憶させた、コンピュータで読み出し可能な記録媒体
JP3031613B2 (ja) カラー/濃淡画像入力出力装置と入力出力方法
KR100450823B1 (ko) 깊이 이미지 기반 3차원 물체의 표현을 위한 노드 구조
WO2021067867A1 (en) Trimming search space for nearest neighbor determinations in point cloud compression
JPH08111869A (ja) 条件付き4分割ツリー方式を用いた画像データ圧縮方法及び装置
JPH09181922A (ja) データを圧縮および伸張する方法および装置
JP4350504B2 (ja) メッシュを導入した画像の符号化及び復号のための方法及び装置とそれに対応するプログラム
JPH0984002A (ja) ディジタル画像の処理方法及びシステム
JP4398785B2 (ja) 多次元データ符号化方法、多次元データ復号方法、テクスチャ画像作成方法及びそれらの方法を実現するための装置、並びにそれらの方法を実現するためのプログラム
US5394191A (en) Methods for synthesis of texture signals and for transmission and/or storage of said signals, and devices and systems for performing said methods
Kamata et al. Depth-first coding for multivalued pictures using bit-plane decomposition
CN110766117B (zh) 一种二维码的生成方法及系统
US20060206509A1 (en) Mesh compression
CN111107377A (zh) 深度图像压缩方法及其装置、设备和存储介质
KR20000029715A (ko) 화상매핑장치및방법과화상생성장치및방법
WO2021184380A1 (zh) 点云编码方法和解码方法、编码器、解码器、及存储介质
WO2003045045A2 (en) Encoding of geometric modeled images
KR100232411B1 (ko) 칼라/농담화상 입력출력장치와 입력출력방법
Ahn et al. Geometry compression of 3-D models using adaptive quantization for prediction errors
EP0800684A1 (en) Method and device for encoding/decoding a displaced frame difference
Wu et al. DCT basis decomposition coding of biomedical X-ray images using vector quantization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090819

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090826

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091019

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091019

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091007

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091026

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20091119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100309

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20100709

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees