JP2007531078A

JP2007531078A - ３次元メッシュ情報の符号化及び復号化方法並びにその装置

Info

Publication number: JP2007531078A
Application number: JP2006520116A
Authority: JP
Inventors: ジャン，ウィ−ソン; ユウ，デー−ハ; キム，デー−ヨン; キム，ミ−ジャ; パク，ソン−ウォン
Original assignee: ハンヤンハクウォンカンパニー，リミテッド
Priority date: 2003-07-16
Filing date: 2004-07-13
Publication date: 2007-11-01
Also published as: WO2005008594A1; GB0600802D0; US20060165306A1; GB2420680B; GB2420680A

Abstract

本発明は、３次元メッシュ情報の符号化及び復号化方法並びにその装置に関するものであり、特にデータデコーディング過程で原本データの座標情報のけたを考慮してデータを出力することによりデータ復元の精密度を高めることができる３次元メッシュ情報の符号化及び復号化方法並びにその装置に関するものである。精密なデータ復元のため本発明は、送信端末で原本データをエンコーディングする中に原本データの座標のけたを計算した後、エンコーディングされた原本データ及びけた情報を含む3DMCパケットを生成する３次元メッシュ情報の符号化ステップと、生成された3DMCパケットを受信端末に転送するステップと、受信端末でけた情報を利用してエンコーディングされた原本データを復元して出力する３次元メッシュ情報の復号化ステップとを含む。

Description

本発明は、３次元メッシュ情報の符号化及び復号化方法並びにその装置に関するものであって、特にデータデコーディング過程で原本データの座標情報のけたを考慮してデータを出力することによりデータ復元の精密度を高めることができる３次元メッシュ情報の符号化及び復号化方法並びにその装置に関するものである。

３次元グラフィックス分野は最近多く使われているが、情報量が膨大なことからその使用範囲が制限されている。例えば、３次元メッシュ情報を表現するためには、各点の幾何情報, 各点間の連結性情報, そして色相, 法線及び質感座標のような属性情報が必要である。

したがって、このような情報が膨大なことから符号化の必要性が持ち上がった。これのために、MPEG-4(Moving Picture Expert Group) -SNHC(Synthetic and Natural Hybrid Coding) 分野でISO/IEC (International Organization for Standardization/International Electrotechnical Commission)の標準案に採択された３次元メッシュコーディング(3DMC : 3D Mesh Coding)装置は、IndexedFaceSet(以下,IFSと称する)に表現されることができる３次元メッシュ情報を符号化及び復号化して転送効率を高める。

しかし、従来の3DMCを利用する符号化及び復号化方法は、原本データをそのまま再現することができずにデータの損失を誘発させる問題点があった。
また、前記のデータの損失によって比較的正確性が要求される医療映像分野や CADのような工学的な用途には相応しくない限界があった。

従来技術の問題点を具体的に説明すれば、下記のようである。
図１は、従来技術による3DMCの符号化過程を概略的に示した図面であり、図２は、従来技術による3DMCの符号化及び復号化過程を経た後のIFS データの変化状態を例示した図面である。
従来技術による3DMCの符号化過程が図示されている図１を参照すれば、IFS のデータは量子化過程を経た後、エンコーディング(encoding) 過程を経て3DMCビットストリーム(bitstream)形態に転送される。

前記の符号化過程によって生成されたビットストリームは、デコーディング過程を通じて復元される。図２には、原本データのIFS の座標値(210)が与えられた場合、3DMCによる符号化及び復号化過程が遂行された後に現われるIFS 座標値(220)が例示されている。

上述した従来の3DMC装置を利用する符号化及び復号化方法は、高い圧縮率と転送効率の向上をはかることができる長所を有する。しかし、従来の3DMC装置を利用する符号化及び復号化方法は、原本データをそのまま再現することができずにデータの損失を誘発させる問題点があった。これは量子化過程でのデータの損失とデコーディング過程でのデータ出力形式による損失とに起因したことと見られる。

従来技術による3DMCの符号化過程を経た場合のデータ表示形式は、小数点を含んで総８けたに表示し、小数点以下は４けたを表示するようにする 8.4f 形式が適用される。
例えば、0.00001111と0.00009999の二つの原本データが存在する場合、従来技術による3DMCのデータ表示形式によれば、まったく同じく0.0000に出力される結果を生む。
このような結果によって、従来の 3DMCの符号化及び復号化方法は、比較的正確性が要求される医療映像分野やCAD のような工学的な用途には相応しくない限界を持つことになる。

図３は、従来技術による3DMCの符号化及び復号化方法でBPV (Bites Per Vertex)の変化による正確度グラフを示す図面である。
従来の3DMCの符号化及び復号化方法は、BPV (Bits Per Vertex)を増加させることにより原本データの復元時正確度(Fidelity)の向上を期することができ、BPVの変化による復元データの正確度グラフが図３に示されている。
BPV の増加にしたがって無損失(lossless)または無損失に近い(near-lossless)正確度を表わさなければならないが、図３に示された従来の3DMC方法による符号化及び復号化方法での実験データグラフでは、18ビット以後のRMS 値は一定していることが分かる。
すなわち、18ビットを使ったときと30ビットを使ったときとで、従来の3DMC方法による符号化及び復号化過程を経た場合に両者に差がない。

図４は、従来技術による3DMCの符号化及び復号化方法でBPV (Bites Per Vertex)の変化による正確度(fidelity)を Pseudo Colorに表示した図面である。
図４は、原本ファイルをそれぞれのBPV によってエンコーディング(Encoding)の後デコーディング(Decoding)の過程を経て出力されたファイル間の正確度を Pseudo Colorに表現したものである。そして、当該図面で特定色相(例えば、赤色)が多いほど正確度は下がって特定色相(例えば、青色)が多いほど精密な正確度を表わすことと判断することができる。
図４に示したように、BPVを 10に指定した場合(410)、BPV を15に指定した場合(420)、BPV を20に指定した場合(430)及びBPV を25に指定した場合(440)においてその正確度の差が大きくないことが分かる。

従来技術による3DMCの符号化及び復号化方法は30〜50:1の高い圧縮率を提供するが、無損失に近い正確度の観点ではいまだに十分な考慮が行われていない。
したがって、医療映像やCAD のような工学的な分野では、データの圧縮率よりはデータの精密度を要するので、従来技術による3DMCの符号化及び復号化方法は適用されることができないのである。

本発明が果たそうとする技術的課題は、前記のような問題点を解決するためのことであって、デコーディング過程で原本データのけたを考慮してデータを出力することにより復元データの精密度を高めることができる３次元メッシュ情報の符号化及び復号化方法並びにその装置を提供することである。

本発明の別の目的は、データの圧縮率よりはデータの精密度を要求する医療映像やCAD のような工学分野でも制約なしに適用されることができる３次元メッシュ情報の符号化及び復号化方法並びにその装置を提供することである。
その以外の本発明の別の目的は、以下に記述される望ましい実施例を通じてより明確になるだろう。

上述した目的を果たすため本発明の一側面によれば、３次元メッシュ情報を符号化及び復号化する方法において、送信端末で原本データをエンコーディングする中に前記原本データの座標のけたを計算した後、エンコーディングされた原本データ及びけた情報を含む3DMCパケットを生成する３次元メッシュ情報の符号化ステップと、前記生成された3DMCパケットを受信端末に転送するステップと、受信端末で前記けた情報を利用して前記エンコーディングされた原本データを復元して出力する３次元メッシュ情報の復号化ステップとを含むことを特徴とする３次元メッシュ情報の符号化及び復号化方法が提供され、当該３次元メッシュ情報の符号化及び復号化方法の遂行が可能になるシステム、装置並びに記録媒体が提供される。

上記３次元メッシュ情報の符号化及び復号化方法で、前記３次元メッシュ情報の符号化ステップは、(a) 原本データをエンコーディングするステップと、(b) 前記ステップ(a) 中に前記原本データの座標のけたを計算するステップと、(c) エンコーディングされた原本データ及びけた情報を含む3DMCパケットを生成するステップとを含むことができる。

上記３次元メッシュ情報の符号化及び復号化方法で、３次元メッシュ情報の復号化ステップは、送信端末から前記3DMCパケットを受信するステップと、前記3DMCパケットのあらかじめ指定された領域にけた情報が存在するか否かを判断するステップと、前記けた情報が存在する場合、前記けた情報を検出するステップと、前記検出されたけた情報を利用してエンコーディングされた原本データを復元して出力するステップとを含むことができる。

この場合、前記けた情報はあらかじめ指定された構文(syntax)を利用して前記3DMCパケットのヘッダー領域に含まれることができる。

本発明による３次元メッシュ情報の符号化及び復号化方法並びにその装置は、デコーディング過程で原本データのけたを考慮してデータを出力することにより復元データの精密度を高めることができる。
また、本発明は、データの圧縮率よりはデータの精密度を要求する医療映像やCAD のような工学分野でも制約なしに適用されることができる。

以下、本発明の実施例による３次元メッシュ情報の符号化及び復号化方法並びにその装置の望ましい実施例を、添付した図面を参照して詳しく説明する。ただし、3DMCを利用した符号化及び復号化方法は、当業者に広く知られている事実なのでこれに対する詳細な説明は略する。添付図面を参照して説明することにおいて、図面符号に構わず同一または対応する構成要素は同じ参照番号を付与してこれに対する重複される説明は略する。また、本発明の技術思想が下記実施例によって具体的に記述されるが、このような実施例はその説明のためのことであってその制限のためではないし、本発明の技術分野の通常の専門家であれば本発明の技術思想の範囲内で多様な実施例が可能であることを理解できるだろう。

図５は、本発明による復元データの正確度向上のための3DMCの符号化過程を示すフローチャートであり、図６は、本発明による復元データの正確度向上のための3DMCの復号化過程を示すフローチャートである。

理解の便宜のため、図５及び図６に図示された処理を一連の過程のように説明する。
図５を参照すれば、3Dメッシュ情報をエンコーディングする過程で3DMC装置は原本データの座標のけたを計算して(ステップ510)、当該原本データのエンコーディングを遂行する(ステップ515)。
ステップ520で、3DMC装置は、けた情報をあらかじめ指定された領域(例えば情報フィールド)内に含む3DMCパケットを生成して、ステップ525を通じて当該3DMCパケットを転送する。

3DMC装置が生成する3DMCパケットは、一般的にヘッダー(Header)領域とペイ・ロード(Payload)領域とを含む。例えば、上述したけた情報はヘッダー領域に挿入されて転送されることができる。
下の表１ないし表５は、ISO/IEC 14496-2で規定したビットストリーム構造の一部分に含まれた構文(syntax)を示したものである。

しかし、上述したような ISO/IEC 14496-2に規定された構文(syntax)だけでは、本発明によるけた情報を利用するデータの精密な復元を行うことができない。
したがって、本発明では、ヘッダー領域内にけた情報を挿入するための新しい構文を提案し、新しい構文がヘッダー領域内に挿入された形態は下の表６ないし表９のようである。

表６で、'HQ_coord_enable'は、HQ(High Quality)モード(例えば、無損失モードまたは最小損失モード)がセッティングされたのかの可否を指示するためのものである。デフォルトモード(default mode)では、HQモードがセッティングされてない状態に指定されることができる。
そして、'coord_significant_figure_value'は、頂点座標(vertex coordinates)の有効けた値を指示するためのものであって、有効けた値'0' は使われない。

表７でも、前に説明したように、'HQ_normal_enable'は、HQ(High Quality)モードがセッティングされたのかの可否を指示するためのものであって、normal_significant_figure_value'は、頂点座標(vertex coordinates)の有効けた値を指示するためのものである。

表８でも、前に説明したように、'HQ_color_enable'は、HQ(High Quality)モードがセッティングされたのかの可否を指示するためのものであって、'color_significant_figure_value'は、頂点座標(vertex coordinates)の有効けた値を指示するためのものである。

表９でも、前に説明したように、'HQ_texCoord_enable'は、HQ(High Quality)モードがセッティングされたのかの可否を指示するためのものであって、'texCoord_significant_figure_value'は、頂点座標(vertex coordinates)の有効けた値を指示するためのものである。

次に、当該3DMCパケットの復号化過程に対して説明する。
ステップ 530で、3DMC装置は3DMCパケットを受信してステップ 535に進行し、当該3DMCパケット内にあらかじめ指定された領域(例えばヘッダー領域)内にけた情報が含まれているか否かを判断する。
もしあらかじめ指定された領域内にけた情報が含まれていない場合、ステップ 540に進行して従来技術を利用して当該データを復元した後出力する。

しかし、もしあらかじめ指定された領域内にけた情報が含まれている場合、ステップ 545に進行して該当領域内のけた情報を抽出する。
以後ステップ 550で、3DMC装置はステップ 545を通じて抽出されたけた情報を利用して当該データを復元した後出力する。
例えば、原本データの座標が0.00001111の場合、従来技術によって出力されるデータは0.0000であったが、本発明によって出力されるデータは 0.000011(けた情報が小数点以下６けたに指定された場合)であることができるので従来技術による場合より正確なデータの復元が可能である。

図７及び図８は、従来技術と本発明とによる3DMCの符号化及び復号化方法でBPVの変化による正確度の差を比較したグラフである。
図７及び図８のグラフのように、本発明で提示する符号化過程で原本データのけた情報を算出して3DMCパケットデータに含ませて、復号化過程で原本データのけたを考慮して原本データを復元する場合、従来技術による結果よりもっと正確な結果を得ることができることが分かる。

また、両方法での正確度の差は、BPV を増加させるほどもっと大きくなるのでBPV を増加させるほど本発明によるデータの正確度はもっと大きくなることになる。
添付図面と詳細な説明とは、ただ本発明の例示的なことであり、これは本発明の説明のため使われたことであって意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたことではない。したがって本技術分野の通常の知識を持った者であれば、今後多様な変形及び均等な他の実施例が可能であることは理解できるだろう。したがって、本発明の真正な技術的保護範囲は、添付された特許請求の範囲の技術的思想によって決まることである。

従来技術による3DMCの符号化過程を概略的に示す図面である。従来技術による3DMCの符号化及び復号化過程を経た後のIFS データの変化状態を例示した図面である。従来技術による3DMCの符号化及び復号化方法でBPV (Bites Per Vertex)の変化による正確度グラフを示す図面である。従来技術による3DMCの符号化及び復号化方法でBPV (Bites Per Vertex)の変化による正確度(fidelity)をPseudo Colorに表示した図面である。本発明による復元データの正確度向上のための 3DMCの符号化過程を示すフローチャートである。本発明による復元データの正確度向上のための3DMCの復号化過程を示すフローチャートである。従来技術と本発明とによる3DMCの符号化及び復号化方法においてBPV の変化による正確度の差を比較したグラフである。従来技術と本発明とによる3DMCの符号化及び復号化方法においてBPV の変化による正確度の差を比較したグラフである。

Claims

３次元メッシュ情報を符号化及び復号化する方法において、
送信端末で原本データをエンコーディングする中に前記原本データの座標のけたを計算した後、エンコーディングされた原本データ及びけた情報を含む3DMCパケットを生成する３次元メッシュ情報の符号化ステップ；
前記生成された3DMCパケットを受信端末に転送するステップ；及び
受信端末で、前記けた情報を利用して前記エンコーディングされた原本データを復元して出力する３次元メッシュ情報の復号化ステップ
を含むことを特徴とする３次元メッシュ情報の符号化及び復号化方法。
３次元メッシュ情報を符号化する方法において、
(a) 原本データをエンコーディングするステップ；
(b) 前記ステップ(a) 中に前記原本データの座標のけたを計算するステップ；及び
(c) エンコーディングされた原本データ及びけた情報を含む 3DMC パケットを生成するステップ
を含むことを特徴とする３次元メッシュ情報の符号化方法。
３次元メッシュ情報を復号化する方法において、
送信端末から3DMCパケットを受信するステップ；
前記3DMCパケットのあらかじめ指定された領域にけた情報が存在するか否かを判断するステップ；
前記けた情報が存在する場合、前記けた情報を検出するステップ；及び
前記検出されたけた情報を利用してエンコーディングされた原本データを復元して出力するステップ
を含むことを特徴とする３次元メッシュ情報の復号化方法。
前記けた情報は、あらかじめ指定された構文(syntax)を利用して前記3DMCパケットのヘッダー領域に含まれることを特徴とする請求項１記載の３次元メッシュ情報の符号化及び復号化方法。