JP2004185626A - 知覚的に認識可能な３次元形状の記述方法と、それを利用した３次元グラフィックモデルのデータベース検索方法及び装置 - Google Patents

Abstract

【課題】 知覚的に認識可能な３次元形状の記述方法とそれを利用した３次元グラフィックモデルのデータベース検索方法及び装置を提供する。
【解決手段】‘ｃｏｗ’モデルに対して部分基盤表現を生成する過程を一例として示したものであって、前記分割技法を‘ｃｏｗ’モデルに適用して中間過程を段階的に例示している。（ａ）及び（ｂ）は‘ｃｏｗ’モデルのメッシュ表現及びボクセル化された表現を意味する。また、（ｃ）は初期分割段階ＩＤＳ、（ｄ）は再帰的分割段階ＲＤＳ、そして、（ｅ）は反復的併合段階ＩＭＳが行われた結果を示す。最終的に生成された属性関係グラフ（ＡＲＧ）は（ｆ）に示した通りであり、楕円体に表現されたノードとノードとを連結するエッジとは分割された形状の部分をそれぞれ近似するようになる。
【選択図】図３

Description

本発明は、３次元グラフィックに係り、特に３次元グラフィックモデルの形状を知覚的に認識可能な３次元形状の記述方法とそれを利用したグラフィックモデルのデータベースから形状が類似したグラフィックモデルを検索する方法及び装置に関する。

最近、３次元グラフィックス技術の発展及び関連産業領域の拡大によって管理すべき３次元グラフィックオブジェクト（客体）の数が急増している。したがって、数多くの３次元グラフィックオブジェクトを効率的に格納、管理して再使用できる技法が必要とされている。

データ表記方法に関する国際標準規格であるＭＰＥＧ−７（ＭＰＥＧは、Moving Picture Experts Groupの略称）によれば、３次元形状を記述してデータベースを検索するための国際標準としてShape3Dが提案され、採択されている。一般に３次元グラフィックモデルは頂点と面（多角形）とで構成される多角形メッシュとして表現される。Shape3Dはこのような多角形モデル（多角形メッシュ）から形状スペクトルを定義するが、形状スペクトルはメッシュ構造全体について計算されて形状索引として定義される数値のヒストグラムで表現される。

しかし、Shape3Dは幾つか短所を有する。まず、形状スペクトルは３次元物体表面の局所的な形状特性を表すものであって、全体的で空間的な特性情報を提供することはできないので形状を識別する能力が低い。図１は、Shape3Dの形状識別能力の限界を示す一例である。（ａ）及び（ｂ）は相異なる３次元オブジェクトを示し、（ｃ）及び（ｄ）は（ａ）及び（ｂ）の形状スペクトルを示す。前記図１（ａ）及び（ｃ）に示すように‘ａｎｄｒｏｉｄ’モデルと‘ｃｒｏｃｏｄｉｌｅ’モデルは相異なる形状を有している。それらは明白に異なるモデルである。しかし、２つの物体のShape3Dを求めてその形状スペクトルを比較してみると、図１の（ｂ）と（ｄ）に示すように非常に類似していることが分かる。前記‘ａｎｄｒｏｉｄ’モデルと‘ｃｒｏｃｏｄｉｌｅ’モデルの定量的に計算された形状スペクトルの差は単に、０.０２５９８１に過ぎない。したがって、もし‘ａｎｄｒｏｉｄ’を質疑（クエリ：query）オブジェクトとして検索を遂行すれば、‘ｃｒｏｃｏｄｉｌｅ’オブジェクトが非常に類似したオブジェクトとして検索される、すなわち検索結果のうち上位にランクされる結果となり望ましくない。検索された形状が現実の形状と何ら類似性を見出せないことになってしまうのである。形状スペクトルと現実の形状との間に整合性がない以上、Shape3Dはスケッチによる質疑や編集による質疑のような検索には向かないといわざるを得ない。

本発明が解決しようとする技術的課題は、３次元グラフィックモデルで構成されたデータベースを管理するために３次元オブジェクトを効率的に記述できる知覚的認識可能な３次元形状の記述方法とそれを利用して構築したデータベースから類似しているモデルが検索できる３次元グラフィックモデルのデータベース検索方法及び装置を提供することである。

前記技術的課題を解決するための本発明による知覚的に認識可能な３次元形状の記述方法は、３次元形状モデルに対する部分基盤表現（part-based representation）の部分にそれぞれ対応し、前記各部分の属性を示す単一属性（unary attributes）を具備するノードを生成する段階と、前記ノード間の関連性を表す相関属性（relational attributes）を有するエッジを生成する段階と、前記ノードとエッジとよりなる属性関係グラフの形態を生成する段階とを含むことを特徴とする。前記ノードは、体積、凸度及び離心率によって定義される楕円体として表現されるのが望ましい。前記ノードの単一属性は少なくとも前記部分の体積、離心率及び凸度を含むのが望ましい。前記ノードの単一属性は前記楕円体を構成するボクセルの３次元軸上の分布程度を表す分散、前記楕円体の中心及び前記ノードの変形（オブジェクト座標系からの変換）をさらに具備するのが望ましい。前記相関属性は少なくともノード間の距離及び楕円体の長軸及び短軸間の角度を含むのが望ましい。前記ノードの単一属性は所定のビット数に量子化されることが望ましい。

前述した本発明によって述べられた知覚的に認識可能な３次元形状データが書き込まれたコンピュータで読み出せる記録媒体を提供する。

前述した技術的課題を達成するための本発明による３次元グラフィックモデルのデータベース検索方法は、前述した３次元グラフィックモデルの知覚的３次元形状記述子を格納するデータベースの３次元グラフィックモデル検索方法において、所定の３次元グラフィックモデルを受け入れる入力段階と、前記入力した３次元グラフィックモデルを知覚的３次元形状記述子に変換する変換段階と、前記変換された知覚的３次元形状記述子と前記データベースに格納されている知覚的３次元グラフィックモデルとを比較して前記変換された知覚的３次元形状記述子と類似したモデルを探し出す検索段階とを含むことを特徴とする。前記入力段階はユーザーがインタラクティブなツールによって３次元グラフィックモデルをデザインして入力することが望ましい。前記変換段階はユーザーが前記変換された形状記述子の編集を願う場合、前記形状記述子を編集する段階をさらに具備することが望ましい。

前記検索段階はノードの体積を重量に定義する段階と、二重地球移動子距離（ＥＭＤ：Earth Mover's Distance）方法によって前記変換された知覚的３次元形状記述子と前記データベースに格納されている知覚的３次元グラフィックモデルとを比較して前記変換された知覚的３次元形状記述子と類似したモデルを探し出すことが望ましい。前記ＥＭＤ方法は質疑グラフを構成する質疑ノードとモデルグラフを構成するモデルノード間の距離を行列に示した距離行列を生成する内部ＥＭＤ段階と、前記距離行列からノード自体の属性を考慮して類似度を測定する外部ＥＭＤ段階とよりなる。前記内部ＥＭＤ段階は前記変換された３次元形状記述子の質疑グラフを構成する質疑ノードと前記データベースに格納されている３次元グラフィックモデルのモデルグラフを構成するモデルノードを抽出して比較対象となる質疑ノードとモデルノードとのノード組合せを設定する段階と、前記各組合せについてノード間距離を測定して距離行列を生成する距離行列生成段階とを含むことが望ましい。前記距離行列生成段階は前記各組合せについて質疑グラフ及びモデルグラフの任意のノード間距離を求めるためにノード間の属性ベクトル差の絶対値と定義された距離行列を構成する段階と、相関属性を軸にするベクトル空間を構成する段階と、前記ベクトル空間で質疑ノードとモデルノードとを点の集合として表現する段階と、全ての点から距離が一定の仮想の点を設定する段階と、前記ベクトル空間で定義されたユークリッド距離を求めて距離行列を生成する段階と、前記２つの距離行列を加算した最終の距離行列を生成する段階とを含むことが望ましい。

前記外部ＥＭＤ段階は、前記距離行列及び質疑ノードとモデルノードとの重量からＥＭＤを適用して必要仕事量を計算する段階と、前記必要仕事量を加算して類似度を測定する段階とを含むことが望ましい。

前述した技術的課題を達成するための本発明による、３次元グラフィックモデルのデータベース検索装置は、前述された３次元グラフィックモデルの知覚的３次元形状記述子によって記述された３次元グラフィックモデルを格納しているデータベースの３次元グラフィックモデル検索装置において、検索しようとする３次元グラフィックモデルを質疑に受け入れる質疑入力部と、前記質疑として入力された３次元グラフィックモデルを知覚的３次元形状記述子に変換する形状記述子変換部と、前記変換された知覚的３次元形状記述子と前記データベースに格納されている知覚的３次元グラフィックモデルとを比較して前記変換された知覚的３次元形状記述子と類似したモデルを探す整合（マッチング）部と、前記見つけられた類似モデルを出力するモデル出力部とを含むことを特徴とする。前記質疑入力部は、ユーザーが対話式道具によって３次元グラフィックモデルをデザインして入力することが望ましい。前記変換部はユーザーが前記変換された形状記述子の編集を要する場合、前記形状記述子を編集する形状編集部をさらに具備することが望ましい。前記整合部はノードの体積を重量と定義する重量変換部と、ＥＭＤ方法によって前記変換された知覚的３次元形状記述子と前記データベースに格納されている知覚的３次元グラフィックモデルとを比較して前記変換された知覚的３次元形状記述子と類似モデルを探すモデル検索部とを具備することが望ましい。

そして、前記記載された発明をコンピュータで実行させるためのプログラムを書き込んだコンピュータで読み出せる記録媒体を提供する。

知覚的に認識可能な３次元形状の記述方法によれば、従来の技術では不可能であったスケッチによる質疑か編集による質疑のような機能が可能である。これは内容基盤データベース検索において非常に重要な特質である。

そして、本発明ではＥＭＤ技法を開発してグラフ表現間の整合（マッチング）に利用することによって、質疑モデルと類似したモデルとをデータベースからさらに正確に検索できる。

また本発明によれば、幾何情報と位相情報とを同時に利用でき、グラフノードとさらに他のグラフノード間の多対多連結を構成して、さらに正確な検索が可能であり、検索システムの性能を向上させる。

以下で、添付された図面を参照して本発明による知覚的に認識可能な３次元形状の記述方法と、それを利用した３次元グラフィックモデルのデータベース検索方法及び装置について詳細に説明する。

本発明による３次元グラフィックモデルで構成されたデータベースを管理するために３次元オブジェクトを効率的に記述できる知覚的認識可能な３次元形状の記述方法は３次元オブジェクトを部分基盤表現に変換し、これをノードとエッジとよりなる属性関係グラフ構造として表す。このような記述方法は元来の３次元形状と人間の視覚に非常に類似して認識されるので、この技法を知覚的３次元形状記述子という。

前記知覚的３次元形状記述子生成を説明する。まず、３次元形状の部分基盤表現は次の通りである。部分基盤表現は形状の知覚的な認識可能な表現ができる。前記部分基盤表現は回転移動、平行移動、非等方サイズ変化、形状変形、形状一部削除などに強く物体を表現する。３次元オブジェクト形状の高いレベルの表現において、オブジェクトの部分は中間表現段階で利用される。現在まで、色々な従来のアルゴリズムが開発され、これらはモルフォロジー基盤の部分分離と骨組み基盤の形状分離技法に大きく分けられる。

本発明では新しいアルゴリズムを利用して３次元形状の分割を行う。前記アルゴリズムによる技法は数学的モルフォロジーと加重分凸度を計算して利用する拘束的モルフォロジー分割（Constrained Morphological Decomposition：ＣＭＤ）を繰り返して適用して形状を分割する。次に初期分割された形状を加重分凸度差（Weighted Convexity Difference：ＷＣＤ）を基準として併合するかを決定する。この分割アルゴリズムによって、適応的で単純ながらも形状をよく表現する分割を行うことができる。この技法による分割アルゴリズムは、図２に示すように３段階よりなる。図２は、形状分割技法をブロック図に示したものであって、矢印は２進画像の処理フローを意味する。再帰的分割段階（Recursive Decomposition Stage：ＲＤＳ）２１０は初期分割段階（Initial Decomposition Stage：ＩＤＳ）２００の後に実行されてキューIがなくなるまで行われる。次に、反復的併合段階（Iterative Merging Stage：ＩＭＳ）２２０がキューIIに残っている分割破片に
適用されてより単純ながらも形状をよく表現する分割を生成する。図３は、‘ｃｏｗ’モデルに対して部分基盤表現を生成する過程を一例として示したものであって、前記分割技法を‘ｃｏｗ’モデルに適用して中間過程を段階的に例示している。図３の（ａ）及び（ｂ）は‘ｃｏｗ’モデルのメッシュ表現及びボクセル化された表現を意味する。図３の（ｃ）は初期分割段階ＩＤＳ、（ｄ）は再帰的分割段階ＲＤＳ、そして、（ｅ）は反復的併合段階ＩＭＳが行われた結果を示す。最終的に生成された属性関係グラフ（ＡＲＧ）は図３の（ｆ）に示した通りであり、楕円体に表現されたノードとノードとを連結するエッジとは分割された形状の部分をそれぞれ近似するようになる。

次に、知覚的３次元形状記述子は次の通りである。図４は、知覚的に認識可能な３次元形状記述方法をフローチャートとして示したものであって、大きくノードを生成する段階（４００段階）とエッジを生成する段階（４１０段階）及び属性関係グラフを生成する段階（４２０段階）よりなる。前記ノード生成段階（４００段階）では３次元形状モデルに対する部分基盤表現の部分にそれぞれ対応し、前記各部分の属性を表す単一属性を具備するノードを生成する。前記エッジ生成段階（４１０段階）では前記ノード間の関連性を表す相関属性を有するエッジを生成する。前記属性関係グラフ生成段階（４２０段階）は前記ノードとエッジとよりなる属性関係グラフの形態を生成する。さらに詳しく説明すれば、与えられた３次元モデルに対する知覚的３次元形状記述子は前述した部分基盤表現によって生成される。知覚的３次元形状記述子はノードとエッジとに定義される属性関係グラフ（Attributed Relational Graph：ＡＲＧ）の形態を有する。ここでノードは３次元モデルの部分基盤表現での部分及びその単一属性を表現し、エッジはノード間の相関属性を意味する。本実施例での知覚的３次元形状記述子は４つの単一属性と、連結されたノードの主要軸間の幾何学的な関係から誘導された３つの相関属性を活用している。

具体的にノードは体積（volume）ｖ、凸度（convexity）ｃ、２つの離心率（eccentricity）値であるｅ₁及びｅ₂と定義される楕円体によって表現される。ここで、凸度はノードの体積をノードの凸体の体積で割った値であり、離心率はノードの第１、第２、第３の主要軸方向への分散をそれぞれａ、ｂ、ｃ（ａ≧ｂ≧ｃ）という時、数式１と数式２によってｅ１及びｅ２に表現される。

そして、図５は知覚的形状記述子の２つのノード間の関係であるエッジ属性を示すものであって、前記エッジ属性は図５のように２つの楕円体間の幾何学的な関係から抽出される。具体的に連結された２つの楕円体の中心間距離、第１の主要軸間の角度、第２の主要軸間の角度がエッジの属性として活用される。特に、全てのノードの単一属性とエッジの相関属性は［０、１］の範囲を有するように正規化過程を行う。
図６は、知覚的３次元形状記述子の２進表現形式の構造を示している。ここで、ノードの属性はノードの体積、中心、オブジェクト中心座標系からの部分の変換、各主要軸方向への分散及び凸度よりなる。前記分散は楕円体を構成するボクセルの楕円体を３次元主要軸上の分布程度を示す。ここでは知覚的３次元形状記述子の有することができる最大ノード数を３２個であると仮定した。また知覚的３次元形状記述子を格納するための記憶容量を減らすために全ての単一属性を所定ビット数、望ましくは８ビットに量子化した。もし図６のように８ビットで全ての属性を量子化するならば、知覚的３次元形状記述子が５個のノードを有している時、全体記述子のサイズは７２バイトに過ぎない。また各属性毎に相異なる量子化ビット数を割り当てられる。そして、前記知覚的に認識可能な３次元形状記述方法によって記述された３次元形状データはコンピュータで読み出せる記録媒体に記録することができる。

次に、３次元モデルデータベース検索方法及び装置を説明する。まず、前記モデルデータベースは前述した３次元グラフィックモデルの知覚的３次元形状記述子によって記述された３次元グラフィックモデルを格納している。図７は、本発明による知覚的に認識可能な３次元グラフィックモデルのデータベース検索装置の構成をブロック図に示したものである。図７によれば、このデータベース検索装置は、質疑入力部７００、形状記述子変換部７１０、整合部７２０及びモデル出力部７３０を含む。

前記質疑入力部７００は、検索しようとする３次元グラフィックモデルを質疑に受け入れ、ユーザーが対話式道具によって３次元グラフィックモデルをデザインして入力として受け入れる。前記形状記述子変換部７１０は、前記質疑として入力された３次元グラフィックモデルを前記知覚的３次元形状記述子に変換し、ユーザーが前記変換された形状記述子の編集を要する場合、前記形状記述子を編集する形状編集部７０５をさらに具備する。

前記整合部７２０は、前記変換された知覚的３次元形状記述子と前記データベースに格納されている知覚的３次元グラフィックモデルを比較して前記変換された知覚的３次元形状記述子と類似したモデルとを探す。前記整合部７２０は、重量変換部７２２及びモデル検索部７２４を含む。前記重量変換部７２２は、ノードの体積を重量として定義する。前記モデル検索部７２４は、ＥＭＤ方法によって前記変換された知覚的３次元形状記述子と前記データベースに格納されている知覚的３次元グラフィックモデルとを比較して前記変換された知覚的３次元形状記述子と類似したモデルを探す。前記モデル出力部７３０は前記見つけられた類似したモデルを出力する。

一方、前記３次元モデルデータベース検索装置の動作を説明する。

図８は、本発明による３次元モデルデータベース検索装置の動作を示すフローチャートである。

まず所定の３次元グラフィックモデルを受け入れても（８００段階）、ユーザーがインタラクティブなツールを利用して３次元グラフィックモデルを描いてデータベースに質疑してもいい（８１０段階）。前記３次元グラフィックモデルを前記知覚的３次元形状記述子に変換する（８２０段階）。形状記述子に変換した後、ユーザーが編集を要すれば（８３０段階）、ユーザーは前記形状記述子を編集する場合もある（８４０段階）。

それから、前記変換された知覚的３次元形状記述子と前記データベースに格納されている知覚的３次元グラフィックモデルとを比較して前記変換された知覚的３次元形状記述子と類似したモデルを探し（８５０段階）、前記類似したモデルを出力する（８６０段階）。

図９は、質疑グラフ及びモデルグラフ間の類似度を測定する方法をフローチャートであって、図９を参照してデータベース検索過程を詳細に説明する。

前記８５０段階は、１対のグラフモデルを受け入れ（９００段階）、ノードの体積を重量に定義した後（９１０段階）、ＥＭＤ方法によって前記変換された知覚的３次元形状記述子と前記データベースに格納されている知覚的３次元グラフィックモデルとを比較し（９２０段階）、前記変換された知覚的３次元形状記述子と類似したモデルを探し出す（９３０段階）。

前記ＥＭＤ方法（９２０段階）は、質疑グラフを構成する質疑ノードとモデルグラフを構成するモデルノード間の距離を行列に示した距離行列を生成する内部ＥＭＤ段階（９２２段階）及び前記距離行列からノード自体の属性を考慮して類似度を測定する外部ＥＭＤ段階（９２４段階）よりなる。

前記内部ＥＭＤ段階（９２２段階）では質疑グラフを構成する質疑ノードと前記データベースに格納されている３次元グラフィックモデルのモデルグラフを構成するモデルノードを抽出して比較対象となる質疑ノードとモデルノードとのノード組合せを設定する（９２６段階）。それから、前記各組合せについてノード間距離を測定して距離行列を生成する（９２８段階）。

前記距離行列生成段階（９２８段階）では前記各組合せについて質疑グラフ及びモデルグラフの任意のノード間距離を求めるためにノード間の属性ベクトル差の絶対値として定義された距離行列を構成し（９３３段階）、エッジ属性として定義された相関属性を軸とするベクトル空間を構成し（９３４段階）、前記ベクトル空間で質疑ノードとモデルノードとを点の集合として表現する（９３６段階）。それから、全ての点から距離が一定である仮想のノードを設定し（９３８段階）、前記ベクトル空間で定義されたユークリッド距離を求め、また異なる距離行列を生成し（９４０段階）、前記２つの距離行列を加算した第１の距離行列を生成する（９４２段階）。

前記外部ＥＭＤ段階（９２４段階）は前記距離行列とノードの重量から質疑グラフからモデルグラフへの必要仕事量を計算し（９３０段階）、前記必要仕事量を加算して類似度を測定する（９３２段階）。

これをさらに詳細に説明する。まず前記データベースの整合（マッチング）技法として二重地球移動子距離を説明する。一般的にグラフ整合技法は３つの段階で構成される。第１の段階は質疑とモデルグラフの全てのノード間距離とで構成される距離行列を単一属性あるいは相関属性間の差を利用して構成する。第２の段階は前記第１の段階の距離行列を利用してノード間対応関係を設定する過程である。前記第２の段階は一対一写像を仮定する場合、一般的に二部整合技法（bipartite matching technique）を採用する。最後の段階では対応関係が設定されたノードの差から２つのグラフ間非類似度を抽出する。

これまで各段階に対する多様なアルゴリズムが独立的にあるいは同時に開発されてきた。ところが、知覚的３次元形状記述子の整合性能を高めて究極的に実際検索システムで知覚的３次元形状記述子を活用しようとすれば、前記第２の段階で多対多写像を考慮してノード間対応関係を設定する必要がある。すなわち、多対多写像を考慮すれば、質疑とモデルグラフの異なる数のノードとエッジとを有している場合にさらに正確な整合及び検索が可能である。このような多対多写像を活用するためのアルゴリズムとしてＥＭＤが知られている。

まず質疑とモデルグラフ間非類似度をＥＭＤとして定義するためにノードの単一属性である体積を重量と定義する。そして、ノード間対応関係を設定するための距離行列を求めるために別途のＥＭＤを活用する。ここで前者のＥＭＤを外部ＥＭＤ、後者のＥＭＤを内部ＥＭＤと命名し、このような２つの段階の構造を有する整合技法を二重ＥＭＤと定義する。前記内部ＥＭＤと外部ＥＭＤとを利用して質疑とモデルグラフ間の類似度を評価する過程は次の通りである。

前記内部ＥＭＤは次のように定義される。質疑及びモデルグラフの任意のノード（図１０のＮ_q及びＮ_m）間距離は２つの相異なる距離の和に計算される。まずノード自体の属性による類似度を求めるためにノードの属性ベクトル差の絶対値で距離行列を求める。次にエッジによって連結された履修ノードによる類似度を求めるためにエッジ属性に定義された相関属性を軸とするベクトル空間を構成する。すなわち、図１０の座標系で３つの軸はそれぞれ相関属性の一つである距離と２つの角度を意味する。それによって、Ｎ_q及びその隣接したノード、Ｎ_m及びその隣接したノードはそれぞれのベクトル空間で点の集合で表現される。特に、Ｎ_q及びＮ_mは各ベクトル空間の原点に該当する。最後に全ての点からの距離（図１０のｄ）が一定な仮想の点（図１０の中ウィーン円）を設定するが、これは各ベクトル空間の重量の和が１になるようにしながらＮ_q及びＮ_mに隣接していないノード（図７に存在していないノード）への重量転移を防止するためである。すなわち、比較対象間の連結構造は似ているが、全体的な体積差の大きい場合、類似度を強制的に小さくする役割をする。それによって、図８のようにベクトル空間で定義されたユークリッド距離を利用して距離行列が構成でき、図１０の各点の重量と図１１の距離行列とを利用した内部ＥＭＤからＮ_qとＮ_m間距離が求められる。

あらゆる内部ＥＭＤを求めた後には質疑とモデルグラフのノード間必要仕事量とを外部ＥＭＤを利用して求められる。すなわち、２つのグラフの非類似度は必要仕事量を加算した値として定義される。

一方、３次元モデル検索の機能性について説明する。３次元モデルデータベースの形状検索で既存の方法では不可能である新しい機能性を本発明による知覚的３次元形状記述子から考慮できる。本発明による３次元形状記述子の最も大きい特徴は、本発明による３次元形状記述子が人間が形状を認知する方式と一致するという点である。したがって、本発明による３次元形状記述子から３次元モデルの位相的な形状が理解でき、またこれに符合する検索結果が得られる。例えば、知覚的３次元形状記述子が１つの部分に頭、４つの足、尻尾を意味する６つの部分が連結されている情報を表現していれば、その記述子が動物形状を意味するという事実が認知でき、動物を検索結果として予想できる。

このような３次元形状記述子に対する人間の可読性はスケッチを通じた質疑及び編集を通じた質疑という新しい種類の形状検索を可能にする。部分基盤表現は生成及び編集が容易であるので、球、楕円体、箱、円筒で部分を表現し、その連結関係を設定することによって、ユーザーが容易に質疑を構成できる。このように構成された質疑を直ちに知覚的３次元形状記述子に変換して検索エンジンに伝達できる。同じく、ユーザーは対話式に３次元形状記述子を修正して別の結果を得るための新しい検索を試みることができる。

図１２は、スケッチを通じた質疑を利用した検索システムの例であって、スケッチによる質疑の一例とその検索結果を示している。図１２の（ａ）、（ｂ）、（ｃ）はそれぞれスケッチとして表現された質疑、最も高い類似度を示す検索結果、検索されたモデルのＡＲＧを意味する。また、高い類似度を示す別の検索結果も図１２の（ｂ）と類似した構造を有することが確認できる。ユーザーは幾つかのマウス操作でノードを位置させて連結することによって、簡単な位相的な構造がスケッチできる。このような例を通じて、スケッチを通じた質疑という知覚的３次元形状記述子のみの機能性の有用性及び可能性が確認できる。

本発明の一実施例に対する模擬実験結果は次の通りである。まず、知覚的３次元形状記述子の生成を説明する。図１３は、メッシュで表現された元来の３次元オブジェクトモデルとそれから生成されて属性関係グラフで表現された知覚的３次元形状記述子を示す。例示されたようにメッシュモデルと形状記述子間に認知的な一致関係が成立する。すなわち、形状記述子のみを見ても人を人と、ヘリコプターをヘリコプターと認識できることである。図１４（ａ）及び（ｂ）は、図１３（ｆ）に例示された元来の３次元オブジェクトを拡大または縮小したオブジェクトであり、常に一定な形状記述子が生成されることが分かる。図１５は、雑音が添加されるか、形状に変形が起きる場合の形状記述子の生成例を示した例示である。図１５（ａ）、（ｂ）、（ｃ）に例示されたオブジェクトはそれぞれ図１３（ｆ）に例示された元来の３次元オブジェクトにノイズを添加し、角を増やし、２つの足を増やしたオブジェクトを意味する。予想した通り、生成される知覚的形状記述子は図１５の（ｄ）、（ｅ）、（ｆ）に例示したように一致する形状の変化が表現されており、全て元の形状を類推可能に表われる。実験の結果、本発明による知覚的３次元形状記述子は。サイズの変化、雑音、形状変形に強く生成され、人間の知覚的認識において元のオブジェクトと一致することを示す。知覚的形状記述子の属性関係グラフは３次元モデルデータベースの検索に利用されて人間の認知と符合する検索結果を示す。

次に、データベース検索を説明する。知覚的３次元形状記述子のデータベースでの検索性能を分析するために現在、ＭＰＥＧ−７に利用されるデータベースを利用して検索実験を行った。データベースには３,９０３個の３次元グラフィックモデルが存在し、このモデルは４階層を有し、８個の大分類カテゴリーと１０２個の小分類カテゴリーとを有する階層的ツリー構造に分類される。性能測定基準としては、やはりＭＰＥＧ−７に利用されるＢＥＰ（Bull's Eye Performance）とＡＮＭＲＲ（Average Normalized Matching Retrieval Rate）を利用し、質疑モデルの属した小分類カテゴリーを真値として利用した。ＢＥＰは、大きい値が良い性能を意味し、ＡＮＭＲＲは小さい値が良い性能を意味する。

図１６に３３６個のモデルで構成された質疑モデル集合に対する全体検索性能を示した。質疑モデル集合は選択された１０個の小分類カテゴリーに属するモデルであり、従来の技術であるShape3Dと性能比較を行った。図１２に示したように本発明による知覚的３次元形状記述子の性能は、ＢＥＰとＡＮＭＲＲで共に従来の技術を大幅に上回り、絶対的な性能値も非常に優秀であることが分かる。

本発明はコンピュータで読み出せる記録媒体にコンピュータ（情報処理機能を有する装置を全て含む）が読み出せるコードとして具現することが可能である。コンピュータが読み出せる記録媒体はコンピュータシステムによって読み出せるデータが格納されるすべての種類の記録装置を含む。コンピュータが読み出せる記録装置の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などがある。

本発明は図面に図示した実施例を参考に説明されたが、これは例示的なものに過ぎず、本技術分野の当業者であれば、これより多様な変形及び均等な他の実施例が可能である点が理解できるであろう。したがって、本発明の真の技術的保護範囲は特許請求の範囲の技術的思想によって定められねばならない。

本発明は、コンピュータグラフィックス関連分野で利用可能であり、特に、コンピュータグラフィックス関連データベース検索システムで有用に活用することができる。

Shape3Dの形状区別能力の限界を示す一例である。 形状分割技法を示したブロック図である。 ‘ｃｏｗ’モデルに対して部分基盤表現を生成する過程を一例として示した図である。 知覚的に認識可能な３次元形状記述方法を示したフローチャートである。 知覚的形状記述子の２つのノード間の関係であるエッジ属性を示す図である。 知覚的３次元形状記述子の２進表現形式の構造を示す図である。 本発明による知覚的に認識可能な３次元グラフィックモデルのデータベース検索装置の構成を示したブロック図である。 本発明による３次元モデルデータベース検索装置の動作を示したフローチャートである。 グラフィックモデル間類似度を測定する方法を示したフローチャートである。 内部ＥＭＤを計算するためのベクトル空間とこのベクトル空間に位置したノードの２進関係を示す一例である。 図１０の一例から生成された距離行列である。 スケッチによる質疑の一例とその検索結果を示す図である。 属性関係グラフに表現された知覚的形状記述子の例を示す図である。 相異なる拡大／縮小比率を有する‘ｔｒｉｃｅｒａｔｏｐｓ’モデルに対する知覚的形状記述子の生成例である。 雑音が添加されるか形状が変形された‘ｔｒｉｃｅｒａｔｏｐｓ’モデルに対する知覚的形状記述子の生成例である。 検索データベースに対してＢＥＰとＡＮＭＲＲに測定された知覚的形状記述子とShape3Dの検索性能とを示す図である。

Claims (20)

1. ３次元形状モデルに対する部分基盤表現の部分にそれぞれ対応し、前記各部分の属性を示す単一属性を具備するノードを生成する段階と、
   前記ノード間の関連性を示す相関属性を有するエッジを生成する段階と、
   前記ノードとエッジとよりなる属性関係グラフの形態を生成する段階と、を含むことを特徴とする知覚的に認識可能な３次元形状記述方法。
2. 前記ノードは、
   体積、凸度及び離心率によって定義される楕円体として表現されることを特徴とする請求項１に記載の知覚的に認識可能な３次元形状記述方法。
3. 前記ノードの単一属性は、
   少なくとも前記部分の体積、離心率及び凸度を含むことを特徴とする請求項１に記載の知覚的に認識可能な３次元形状記述方法。
4. 前記ノードの単一属性は、
   前記楕円体を構成するボクセルの３次元主要軸上の分布程度を示す分散、前記楕円体の中心及び前記ノードのオブジェクト座標系からの変換をさらに具備することを特徴とする請求項２に記載の知覚的に認識可能な３次元形状記述方法。
5. 前記相関属性は、
   少なくともノード間の距離及び楕円体の長軸及び短軸間の角度を含むことを特徴とする請求項２に記載の知覚的に認識可能な３次元形状記述方法。
6. 前記ノードの単一属性は、
   所定のビット数に量子化されることを特徴とする請求項１に記載の知覚的に認識可能な３次元形状記述方法。
7. 請求項１ないし６のうち何れか１項に記載の発明によって記述された知覚的に認識可能な３次元形状データが書き込まれたコンピュータで読み出せる記録媒体。
8. 請求項１ないし６によって記述された３次元グラフィックモデルの知覚的３次元形状記述子を格納しているデータベースの３次元グラフィックモデル検索方法において、
   所定の３次元グラフィックモデルを受け入れる入力段階と、
   前記受け入れた３次元グラフィックモデルを知覚的３次元形状記述子に変換する変換段階と、
   前記変換された知覚的３次元形状記述子と前記データベースに格納されている知覚的３次元グラフィックモデルとを比較して前記変換された知覚的３次元形状記述子と類似したモデルを探し出す検索段階と、を含むことを特徴とする知覚的に認識可能な３次元グラフィックモデルのデータベース検索方法。
9. 前記入力段階は、
   ユーザーがインタラクティブなツールによって３次元グラフィックモデルをデザインして入力することを特徴とする請求項８に記載の知覚的に認識可能な３次元グラフィックモデルのデータベース検索方法。
10. 前記変換段階は、
    ユーザーが前記変換された形状記述子の編集を望む場合、前記生成された形状記述子を編集する段階をさらに具備することを特徴とする請求項８に記載の知覚的に認識可能な３次元グラフィックモデルのデータベース検索方法。
11. 前記検索段階は、
    ノードの体積を重量として定義する段階と、
    二重地球移動子距離方法によって前記変換された知覚的３次元形状記述子と前記データベースに格納されている知覚的３次元グラフィックモデルとを比較して前記変換された知覚的３次元形状記述子と類似のモデルを探し出すことを特徴とし、
    前記二重地球移動子距離方法は、
    質疑グラフを構成する質疑ノードとモデルグラフを構成するモデルノード間の距離を行列に示した距離行列を生成する内部地球移動子距離段階と、
    前記距離行列からノード自体の属性を考慮して類似度を測定する外部地球移動子距離段階とよりなる、請求項８に記載の知覚的に認識可能な３次元グラフィックモデルのデータベース検索方法。
12. 前記内部地球移動子距離段階は、
    前記変換された３次元形状記述子の質疑グラフを構成する質疑ノードと前記データベースに格納されている３次元グラフィックモデルのモデルグラフを構成するモデルノードとを抽出して比較対象となる質疑ノードとモデルノードとのノード組合せを設定する段階と、
    前記各組合せに対してノード間距離を測定して距離行列を生成する距離行列生成段階と、を含むことを特徴とする請求項１１に記載の知覚的に認識可能な３次元グラフィックモデルのデータベース検索方法。
13. 前記距離行列生成段階は、
    ノード間の属性ベクトルの差の絶対値として定義された距離行列を構成する段階と、
    相関属性を軸とするベクトル空間を構成する段階と、
    前記ベクトル空間で質疑ノードとモデルノードとを点の集合として表現する段階と、
    全ての点から距離が一定である仮想の点を設定する段階と、
    前記ベクトル空間で定義されたユークリッド距離を求めてさらに他の距離行列を生成する段階と、
    前記２つの距離行列を加算した最初の距離行列を生成する段階と、を含むことを特徴とする請求項１２に記載の知覚的に認識可能な３次元グラフィックモデルのデータベース検索方法。
14. 前記外部二重地球移動子距離段階は、
    前記距離行列及び質疑グラフとモデルグラフのノードの重量から二重地球移動子距離を適用して必要仕事量を計算する段階と、
    必要仕事量を加算して類似度を測定する段階と、を特徴とする請求項１１に記載の知覚的に認識可能な３次元グラフィックモデルのデータベース検索方法。
15. 請求項８ないし請求項１４のうち何れか１項に記載の発明をコンピュータで実行させるためのプログラムを記録したコンピュータで読み出せる記録媒体。
16. 請求項１ないし請求項６に記述された３次元グラフィックモデルの知覚的３次元形状記述子によって記述された３次元グラフィックモデルを格納しているデータベースの３次元グラフィックモデル検索装置において、
    検索しようとする３次元グラフィックモデルを質疑として受け入れる質疑入力部と、
    前記質疑で入力された３次元グラフィックモデルを知覚的３次元形状記述子に変換する形状記述子変換部と、
    前記変換された知覚的３次元形状記述子と前記データベースに格納されている知覚的３次元グラフィックモデルとを比較して前記変換された知覚的３次元形状記述子と類似したモデルを探す整合部と、
    前記見つけられた類似したモデルを出力するモデル出力部と、を含むことを特徴とする知覚的に認識可能な３次元グラフィックモデルのデータベース検索装置。
17. 前記質疑入力部は、
    ユーザーが対話式道具によって３次元グラフィックモデルをデザインして入力することを特徴とする請求項１６に記載の知覚的に認識可能な３次元グラフィックモデルのデータベース検索装置。
18. 前記変換部は、
    ユーザーが前記変換された形状記述子の編集を望む場合、前記生成された形状記述子を編集する形状編集部をさらに具備することを特徴とする請求項１６に記載の知覚的に認識可能な３次元グラフィックモデルのデータベース検索装置。
19. 前記整合部は、
    ノードの体積を重量に定義する重量変換部と、
    二重地球移動子距離方法によって前記変換された知覚的３次元形状記述子と前記データベースに格納されている知覚的３次元グラフィックモデルとを比較して前記変換された知覚的３次元形状記述子と類似したモデルを探すモデル検索部と、を具備することを特徴とし、
    前記二重地球移動子距離方法は、
    質疑グラフを構成する質疑ノードとモデルグラフを構成するモデルノード間の距離を行列に示した距離行列を生成する内部地球移動子距離段階と、
    前記距離行列から必要仕事量を計算して類似度を測定する外部二重地球移動子距離段階とよりなる、請求項１６に記載の知覚的に認識可能な３次元グラフィックモデルのデータベース検索装置。
20. 前記内部地球移動子距離段階は、
    前記変換された３次元形状記述子の質疑グラフを構成する質疑ノードと前記データベースに格納されている３次元グラフィックモデルのモデルグラフを構成するモデルノードとを抽出して比較対象となる質疑ノードとモデルノードとのノード組合せを設定する段階と、
    前記各組合せに対して質疑グラフ及びモデルグラフの任意のノード間距離を求めるためにノード間の属性ベクトルの差の絶対値として定義された距離行列を構成する段階と、
    エッジ属性で定義された相関属性を軸とするベクトル空間を構成する段階と、
    前記ベクトル空間で質疑ノードとモデルノードとを点の集合で表現する段階と、
    全ての点から距離が一定な仮想の点を設定する段階と、
    前記ベクトル空間で定義されたユークリッド距離を求めてさらに他の距離行列を生成する段階と、
    前記２つの距離行列を加算した最終の距離行列を生成する段階と、を具備し、
    前記外部二重地球移動子距離段階は、
    前記距離行列、質疑グラフ及びモデルグラフのノードの重量から二重地球移動子距離を適用して必要仕事量を計算する段階と、
    前記必要仕事量を加算して類似度を測定する段階と、を含むことを特徴とする請求項１９に記載の知覚的に認識可能な３次元グラフィックモデルのデータベース検索装置。