JP2009129337A - 三次元類似形状検索装置 - Google Patents

三次元類似形状検索装置 Download PDF

Info

Publication number
JP2009129337A
JP2009129337A JP2007305938A JP2007305938A JP2009129337A JP 2009129337 A JP2009129337 A JP 2009129337A JP 2007305938 A JP2007305938 A JP 2007305938A JP 2007305938 A JP2007305938 A JP 2007305938A JP 2009129337 A JP2009129337 A JP 2009129337A
Authority
JP
Japan
Prior art keywords
dimensional
image
search
shape
shape model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007305938A
Other languages
English (en)
Inventor
Tsuneya Kurihara
恒弥 栗原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2007305938A priority Critical patent/JP2009129337A/ja
Priority to CNA200810178756XA priority patent/CN101446952A/zh
Priority to US12/323,494 priority patent/US20090138468A1/en
Publication of JP2009129337A publication Critical patent/JP2009129337A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

【課題】三次元形状モデルの特徴量を抽出し,類似形状を検索する。
【解決手段】検索対象となる三次元形状モデルを,ランダム回転行列生成部6と二次元画像生成部7を用いて様々な方向からレンダリングして画像特徴量を抽出して,画像特徴量データベースに登録する。検索キーとなる三次元形状モデルを,ランダム回転行列生成部10と二次元画像生成部11を用いて様々な方向からレンダリングして画像特徴量を抽出して,前記画像特徴量データベースと比較することで,類似形状を検索する。
【選択図】図1

Description

本発明は,三次元形状モデルを検索する方法及び装置に関するものである。
近年,計算機及びネットワークの進歩により,三次元形状モデルは様々な場面で利用されるようになりつつある。そのデータ数は増大する一方であり,三次元形状モデルデータの効率的な管理や,ユーザが所望の形状を効率よく検索するという要求が高まっている。このため,三次元形状モデルの検索方法に関して様々な方法が提案されている。三次元形状モデルの検索方法として,三次元形状から二次元画像を生成し,二次元画像から特徴量を求めることで検索する方法が提案されている。
特開2006−277166号公報 特開2007−140810号公報 J.W.H. Tangelder, R.C. Veltkamp: A survey of content based 3D shape retrieval methods, Proceedings of the Shape Modeling Applications, 2004, pp. 145-156. D.-Y. Chen, X.-P. Tian, Y.-T. Shen, and M. Ouhyoung: On visual similarity based 3D model retrieval. Computer Graphics Forum (EG 2003 Proceedings), 22(3), 2003.
しかし,二次元画像を用いた三次元類似形状検索では,距離(非類似度)を求める対象である2つの三次元形状モデルの向きが揃っていない場合には,比較が正しく行われない場合があるという問題がある。特許文献1では,正面図,上面図,側面図を用いて検索を行っているが,任意の三次元形状モデルに対して,正面図,上面図,側面図を表示するということは,三次元形状モデルに対して,3つの主軸を与えることに対応し,非特許文献1にも記載があるように,これは難しい問題である。特許文献2では,3つの主軸を求めるために,形状の最も長い方向を第1軸としているが,前述のように複雑な三次元形状に対しては誤差が問題となる。
非特許文献2では,上記の形状モデルの向きを揃える問題を回避するために,三次元形状モデルに対して,予め決められた10方向から画像を生成して,これらを用いて三次元形状モデルの検索を行う方法が提案されている。この方法では,三次元形状モデルの周囲に配置された10個の視点から得られたシルエット画像から画像特徴量を求める。形状モデルの回転の自由度に対応するために,60通りの組み合わせを考えて画像間の距離計算を行う。さらに,微妙に角度を変更した10視点のグループを10個作り,形状モデルの回転に依存しない距離計算を行っている。このため,三次元形状モデル間の距離計算では,多次元の特徴量を5460回照合し,最小の距離を求める必要がある。このため,計算量が膨大となるという問題があった。
本発明は上述したような従来技術の問題点を考慮してなされたものであり,方向の揃っていない三次元形状モデルに対しても,少ない計算量で三次元形状モデル間の距離(非類似度)を求めることで,精度のよい三次元形状検索方法を提供することを目的とする。
上記目的を達成するために本発明は,検索対象となる三次元形状モデルを,乱数を用いて回転することで複数の方向から見た二次元画像を生成し,その二次元画像から画像特徴量を抽出する。同様に,検索キーとなる三次元形状モデルを,乱数を用いて回転することで複数の方向から見た二次元画像を生成し,その二次元画像からも画像特徴量を抽出する。こうして抽出された検索対象となる三次元形状モデルの特徴量と検索キーとなる三次元形状モデルの特徴量を用いて類似形状検索を行い,検索キーに類似する三次元形状モデルを検索する。
本発明では乱数を用いた回転によって二次元画像を生成するため,対象となる三次元形状モデルの向きが揃っていない場合にも距離を算出することが可能である。
以下,図面を参照して,本発明の好適な実施形態について詳細に説明する。
図1は,本発明による三次元類似形状検索システムの構成例を示す図である。この検索システムは登録部1と検索部2を有する。登録部1は,検索対象となる三次元形状を登録する部分であり,検索対象となる三次元形状データを入力とし,三次元形状を三次元形状データベース3に登録する。さらに,検索対象となる三次元形状の特徴量を求め,特徴量データベース4に登録する。なお,三次元形状の特徴量の詳細は後述する。検索部2は類似形状を検索する部分であり,三次元形状データベース3及び特徴量データベース4と接続されている。検索部2は検索したい形状と類似している形状を入力とし,三次元形状データベース3及び特徴量データベース4を用いて類似形状を検索し,検索結果を表示する。
登録部1は,三次元形状モデル入力部5,ランダム回転行列生成部6,二次元画像生成部7,二次元画像特徴量抽出部8を備えている。検索部2は,検索形状モデル指定部9,ランダム回転行列生成部10,二次元画像生成部11,二次元画像特徴量抽出部12,類似検索部13,検索結果表示部14,特徴量データ部15を備えている。なお,登録部1のランダム回転行列生成部6と検索部2のランダム回転行列生成部10は同じ機能を有している。また,登録部1の二次元画像生成部7と検索部2の二次元画像生成部11,登録部1の二次元画像特徴量抽出部8と検索部2の二次元画像特徴量抽出部12とは,それぞれ,同じ機能を有している。
図2は,本発明の三次元類似形状検索方法を実施するコンピュータの内部構成を示すブロック回路図である。図2において,データバス24上には,CPU20,ROM21,RAM22,ハードディスク23,媒体入力部26,入力制御部28,画像生成部29が接続される。本発明の三次元類似形状検索方法を実行するプログラムは,記録媒体25から媒体入力部26を用いてRAM22に格納される。あるいは,ハードディスク23から,三次元形状検索プログラムをRAM22に格納することも可能である。入力装置27からのユーザの入力情報は,入力制御部28によってCPU20に伝えられる。三次元形状検索結果により,画像生成部29は画像情報を作成し,ディスプレイ装置30に表示する。
次に,図1に示したシステムの動作についてフローチャートを参照して説明する。図3に,検索対象となる三次元形状モデルの登録部1の処理手順を説明するためのフローチャートを示す。まず,三次元形状モデル入力部5によって登録したい三次元形状モデルを入力する(S101)。このとき,三次元形状モデルを原点に移動し,さらにサイズの正規化を行う。次に,二次元画像生成の処理回数のカウンタであるiに1を代入する(S102)。ランダム回転行列生成部6によってランダムな回転行列を生成する(S103)。二次元画像生成部7は三次元形状モデル入力部5から入力された入力三次元形状モデルに対し,ランダムな回転行列を用いて二次元画像を生成する(S104)。二次元画像特徴量抽出部8は,生成された二次元画像から画像特徴量を抽出する(S105)。抽出された二次元画像特徴量は特徴量データベース4に登録する(S106)。次に,二次元画像生成の処理回数のカウンタiをインクリメントする(S107)。カウンタiと予め設定した二次元画像生成数Nrとを比較し(S108),カウンタiがNr以下の場合にはS103に戻り,二次元画像生成及び画像特徴量の抽出処理を継続する。カウンタiがNrより大きい場合には,画像特徴量の抽出処理を終了し,次のステップに移る(S108)。次に,入力された三次元形状を三次元形状データベース3に登録する(S109)。
以上で,1つの三次元形状モデルが検索対象としてデータベースに登録される。複数の三次元形状モデルを検索対象として登録するためには,上記の処理を登録したい三次元形状モデルごとに実行する。
1つの三次元形状モデルについて,Nr個の2次元画像特徴量が抽出され,特徴量データベース4に格納される。二次元画像生成数Nrは予めユーザが設定しておく数である。このNrの値を大きく設定すると検索の精度が上がるが,同時に検索時間が増大する。Nrの値は任意であるが,例えばNr=64などの値を用いればよい。
S101の三次元形状モデル入力処理では,前述のように三次元形状モデルを原点に移動し,サイズの正規化を行う。この処理は,三次元形状モデルからバウンディングボックスを求め,バウンディングボックスの中心が原点になるように三次元形状モデルを移動することで実現する。サイズの正規化は,例えばバウンディングボックスの三軸の中で最も長い軸の長さを,予め与えた大きさ(例えば1)になるように拡大縮小することで実現する。
S103のランダム回転行列生成処理では,乱数を用いて方向がランダムな回転行列を生成する。この処理の詳細は,例えば,「James Arvo :Fast random rotation matrices. In David Kirk, editor, Graphics Gems III, pages 117-120. Academic Press, 1992.」に記述されている。
S104の二次元画像生成処理では,OpenGL,DirectX等のグラフィックライブラリの機能を用いてレンダリングを行う。ここで,レンダリング画像の種類として,(1)光源モデルを仮定した陰影画像,(2)三次元形状モデルを黒で塗りつぶすシルエット画像,(3)三次元形状モデルの奥行きを濃淡で表現する奥行き画像の3つを選択できる。図10に陰影画像,シルエット画像,奥行き画像の例を示す。図10で81が陰影画像,82がシルエット画像,83が奥行き画像である。
OpenGL,DirectX等のグラフィックライブラリを用いることで,ポリゴン形状,自由曲面形状を高速にレンダリングすることが可能である。
シルエット画像82の生成では背景を白,物体を黒に設定してレンダリングすることでシルエット画像が生成できる。
奥行き画像83の生成は,OpenGLのZバッファ機能を用いてレンダリングした後,Zバッファ情報を読み込み,Zバッファの値に従って濃淡画像を生成することで実現できる。図10の83の例では,奥行きZが視点に近い場合に白,遠い場合に黒を割り当てた例である。
前記の光源モデルを仮定した陰影画像81の生成方法では,様々なレンダリング方法が考えられる。光源の位置や光源の色や強度,種類などを変更可能である。また,形状モデルに色やテクスチャー,反射属性が設定されている場合もある。
類似形状の検索という意味では,検索対象のすべてと検索キーとで同一の条件でレンダリングする必要がある。また,できるだけ高速にレンダリングができると都合がよい。これは,例えば,光源としてカメラ位置から物体中心の方向への平行光源を用いることで達成される。また,反射属性として拡散反射だけを仮定するランバートモデルを用いる。
なお,二次元画像生成処理では,上記の3種類の画像生成方法から1種類の画像生成方法を選択することも可能であるし,陰影画像と奥行き画像のように複数種類の画像生成方法を組み合わせることも可能である。複数種類の画像を生成する場合には,後述する画像間の距離計算では同種類の画像を用いて距離計算を行う。
上記の方法は,陰影画像の生成において,三次元形状モデルに固有の色やテクスチャーなどの情報を無視してレンダリングする方法である。この場合には,三次元形状モデルの検索においては色柄テクスチャーの情報を無視して,形状情報だけから検索することが可能となる。
一方,三次元形状モデルに固有の色やテクスチャーなどの情報も用いて形状検索を行いたい場合もある。この場合には,陰影画像の生成において,三次元形状モデルに固有の色やテクスチャーなどの情報を用いてレンダリングすることも可能である。この場合には,三次元形状モデルの検索においては色柄テクスチャーの情報も用いた検索が可能となる。図10の84に色つきの画像の例を示す。画像84は赤色の画像である。
図4は,S104の二次元画像生成処理の結果の例を示した説明図である。40に示す三次元形状モデルをランダムな回転行列で回転して,Nr枚(図4ではNr=12)の奥行き画像41が生成される。
S105の二次元画像特徴量抽出処理では,二次元画像から画像特徴量を生成する。画像特徴量としては,様々な種類のものが提案されているが,本発明では,特徴量の種類は,いかなるものも使用できる。本実施例では特開2000−29885号公報に記載の濃淡ヒストグラム特徴量とエッジ特徴量を用いた。濃淡ヒストグラム特徴量は,画像に対して格子状に構図分割を行い、分割された各領域の濃淡ヒストグラムから作られる多次元ベクトルを、画像特徴量とする。エッジパターン特徴量は以下のように求める。まず、特徴的なエッジパターンを予め複数設定する。そして、画像に対して格子状に構図分割を行い、各領域内に含まれるエッジパターン数を計数する。このエッジパターン数からヒストグラムを生成し、多次元ベクトルとすることによって、画像特徴量を作成する。
S106によって画像特徴量は特徴量データベース4に格納される。図5は,画像特徴量データベース4に格納されたデータの例を示している。ここで,検索対象として登録した三次元形状モデルの数をNとする。各モデルに対して,Nr枚の画像を生成するため,各モデルに対してNr個の特徴量ベクトルが抽出される。図5で,モデルiの視点jの特徴量がFi,jである。なお,視点jは各モデルiに対して異なった回転を用いることも可能であるし,各モデルiに対して同じ回転を用いることも可能である。
図6は,検索部2の処理手順を説明するためのフローチャートである。検索形状モデル指定部9によって,検索のキーとなる三次元形状モデルを指定する(S201)。このとき,三次元形状モデルを原点に移動し,さらにサイズの正規化を行う。次に,二次元画像生成の処理回数のカウンタであるiに1を代入する(S202)。ランダム回転行列生成部10によってランダムな回転行列を生成する(S203)。二次元画像生成部11は検索キーモデルを検索形状モデル指定部9から入力し,ランダムな回転行列を用いて二次元画像を生成する(S204)。二次元画像特徴量抽出部12は,生成された二次元画像から画像特徴量を抽出する(S205)。抽出された二次元画像特徴量は特徴量データ15に登録する(S206)。次に,二次元画像生成の処理回数のカウンタiをインクリメントする(S207)。カウンタiと予め設定した二次元画像生成数Nsとを比較し,カウンタiがNs以下の場合にはS203に戻り,二次元画像生成及び画像特徴量の抽出処理を継続する(S208)。カウンタiがNsより大きい場合には,画像特徴量の抽出処理を終了し,次のステップに移る(S208)。次に,検索キーモデルの特徴量データ15と特徴量データベース4を用いて,データベース内のすべてのモデルとの距離計算を行う(S209)。この処理内容の詳細は後述する。求められた距離によって検索対象モデルをソーティングする(S210)。距離順にソートされた形状モデルをディスプレイ30に表示する(S211)。以上で,三次元類似形状モデルの検索が実現される。
二次元画像生成数Nsは予めユーザが設定しておく数である。このNsの値を大きく設定すると検索の精度が上がるが,同時に検索時間が増大する。Nsの値は任意であるが,例えばNs=16などの値を用いればよい。
S201の検索形状指定処理は,登録部1のS101の処理に準じるものであり,バウンディングボックスの情報から三次元形状モデルを原点に移動し,サイズを正規化する。S203のランダム回転行列生成処理は登録部のS103の処理と同様である。S204の二次元画像生成処理は,登録部のS104の処理と同様であり,S104の二次元画像生成処理と同種類の画像を生成する。
図7は,S204の二次元画像生成処理の結果の例を示した説明図である。60に示す三次元形状モデルをランダムな回転行列で回転して,Ns枚(図7ではNs=6)の奥行き画像が生成される。
S205の二次元画像特徴量抽出処理は登録部のS105の処理と同様である。S206によってキーモデルの画像特徴量は特徴量データ15に格納される。図8は画像特徴量データベース4に格納されたデータの例である。キー形状モデルに対して,Ns枚の画像を生成するため,Ns個の特徴量ベクトルが抽出される。図8で,視点jの特徴量がQjである。
次に,S209の距離計算の詳細について,図9のフローチャートを用いて説明する。ここでは,検索対象モデルkと検索キーモデルとの距離計算方法を示している。検索キーモデルはNs個の特徴量ベクトルQi(1≦i≦Ns)を有しているため,Ns個の特徴量ベクトルQiに対して,検索対象モデルkと距離計算を行う。このNs回の距離計算のためのカウンタiを1に初期化する(S301)。次に,検索対象モデルkと検索キーモデルとの距離dtotalを0に初期化する(S302)。検索キーモデルの特徴量ベクトルQiと検索対象モデルkのすべての特徴量ベクトルFk,j(1≦j≦Nr)との距離計算を行い,最小の距離を,Qiと検索対象モデルkとの距離とする。このためのカウンタjを1に初期化し,さらに,最小の距離を記憶するための変数dを十分大きい数BIGに初期化する(S303)。QiとFk,jとの距離計算を行い,結果をdtに格納する(S304)。もし,新たに求められた距離dtがこれまでの最小の距離dよりも小さい場合には,dにdtを代入し,最小の距離dを更新する(S305)。S306によりカウンタjをインクリメントし,カウンタjがNr以下の場合には,Qiと対象形状モデルkとの最小距離計算を継続する(S307)。カウンタiがNrを超えた場合には,Qiと検索対象モデルkの特徴量ベクトルの最小距離がdに格納される。この距離dをモデル間の距離の合計dtotalに加算する(S308)。カウンタiをインクリメントし(S309),カウンタiがNs以下の場合には,Qi+1に対して同様に距離計算を行う(S310)。カウンタiがNsより大きい場合には,dtotalが求めるキーモデルと検索対象モデルkとの距離である。
なお,S304の特徴量ベクトルQiと特徴量ベクトルFk,jとの距離計算は,多次元ベクトルの距離の二乗和によって求める。ここで,多次元ベクトル間の距離としてはマンハッタン距離を用いることも可能である。
検索キーモデルと検索対象モデルkとの距離計算は,検索対象モデル数をNとして,N回実行する。
以上により,検索キーモデルと類似した三次元形状モデルを検索対象から求めることが可能である。
なお,本実施例では,生成する二次元画像の種類として,陰影画像,シルエット画像,奥行き画像を用いることが可能である。さらに,これらを組み合わせることも可能である。画像の種類は組み合わせて用いる場合には,S304の処理で同じ種類の画像だけを距離計算の対象とすればよい。
S209のキーとなる三次元形状モデルと検索対象である三次元形状モデルkとの距離計算には,Ns×Nr回の距離計算が必要である。検索対象となる三次元形状モデルの数をNとすると合計,Ns×Nr×N回の距離計算が必要となる。実証実験によれば,Ns=16,Nr=64程度の値で,三次元形状検索が可能であることがわかっている。この場合の距離計算回数は1024回であり,非特許文献2の5460回と比較して5分の1以下と削減されている。さらに,検索実験によれば,非特許文献2の検索精度と比較してより精度のよい検索結果が得られている。
検索実験は,具体的には,「Philip Shilane, Patrick Min, Michael Kazhdan, Thomas Funkhouser: The Princeton Shape Benchmark, Proc. International Conference on Shape Modeling and Applications 2004 (SMI‘04), pp. 167-178, 2004」に記載のPrinceton Shape Benchmark(以下PSBと略す)を用いて行った。PSBのテスト用の907のデータを用いた。PSBでは92のカテゴリが付与されている。このカテゴリを用いてNearest Neighbor(NN),R-Precision(1R),2R-Precision(2R)を求めた。ここで,NN,1R,2Rは以下のような評価尺度である。データベース中のモデルがカテゴリCi(i=1,…,n)に分類されているとする。R-Precisionは,検索要求m∈Ciとした場合,検索結果上位|Ci|個の中に正解モデルが含まれる割合である。2R-PrecisionはR-Precisionとほぼ同様であるが,検索結果上位2|Ci|個に含まれる正解モデルの割合である。Nearest Neighborは,検索結果の最上位に求めるカテゴリのモデルが来る割合である。非特許文献2の性能は,NN,1R,2Rについてそれぞれ66.0%,37.8%,48.7%であった。本実施例では,NN,1R,2Rは69.5%,41.3%,51.4%であった。以上のように,本発明は非特許文献2の方法と比較して検索精度が高い。さらに,計算量も少ないという特徴がある。
さらに,本発明の実施例における検索の計算量は以下のように削減できる。検索キー形状モデルから抽出されたNs個の画像特徴量からMs(Ms<Ns)個の画像特徴量を選択する。例えば,Ns=16に対してMs=4とする。さらに,検索対象モデルkのNr個の画像特徴量からMr(Mr<Nr)個の画像特徴量を選択する。例えば,Nr=64に対してMr=16とする。選択した検索キー形状モデルのMs個の画像特徴量と,検索対象モデルkのMr個の画像特徴量から,S209と同じ処理によって検索キー形状モデルと検索対象モデルとの近似距離を求める。この計算はMs×Mr回である。上記の例では,64回である。この近似距離が小さい形状モデル,すなわち,類似検索の上位候補だけを選択する。上位候補の選択方法は,近似距離が小さい方から予め決められた個数だけ選択する方法でもよいし,近似距離が予め設定した閾値より小さなものを選択する方法であってもよい。選択された三次元形状モデルに対してだけS209の距離計算を行うことで,より少ない計算時間で類似形状検索が実現できる。
次に本実施形態の効果を説明する。登録部1において,ランダム回転行列生成部5によって複数のランダムな回転行列を生成し,これを用いて二次元画像を生成し特徴量を抽出し,検索部2において,ランダム回転行列生成部10によって複数のランダムな回転行列を生成し,これを用いて二次元画像を生成し特徴量を抽出し,前記の特徴量を比較することで,検索対象と検索キー形状の方向が揃っていない場合にも類似検索が可能となる。
類似検索においては,二次元画像生成部7及び二元画像生成部10によって生成された二次元画像から抽出される特徴量だけを用いているため,レンダリング可能な三次元形状モデルであれば,ポリゴン,自由曲面,ボクセルなど,様々な三次元形状モデルに対して適用である。
本発明による三次元類似形状検索システムの構成例を示す図。 本発明の三次元類似形状検索方法を実施するコンピュータの内部構成を示すブロック図。 登録部の処理手順を説明するフローチャート。 二次元画像生成処理の結果の説明図。 画像特徴量データベースに格納されるデータの説明図。 検索部の処理手順を説明するフローチャート。 二次元画像生成処理の結果の説明図。 画像特徴量データベースに格納されるデータの説明図。 距離計算の手順を説明するフローチャート。 二次元画像の種類を説明する図。
符号の説明
1:登録部
2:検索部
3:三次元形状データベース
4:特徴量データベース
5:三次元形状入力部
6:ランダム回転行列生成部
7:二次元画像生成部
8:二次元画像特徴量抽出部
9:検索形状モデル指定部
10:ランダム回転行列生成部
11:二次元画像生成部
12:二次元画像特徴量抽出部
13:類似検索部
14:検索結果表示部
15:特徴量データ

Claims (5)

  1. 検索対象となる複数の三次元形状モデルを,乱数を用いて回転することで各々の三次元形状モデルに対してそれぞれ複数の方向から見た二次元画像を生成する第1の二次元画像生成部と,
    前記第1の二次元画像生成部で生成された二次元画像から画像特徴量を抽出する第1の特徴量抽出部と,
    検索キーとなる三次元形状モデルを,乱数を用いて回転することで複数の方向から見た二次元画像を生成する第2の二次元画像生成部と,
    前記第2の二次元画像生成部で生成された二次元画像から画像特徴量を抽出する第2の特徴量抽出部と,
    前記第1の特徴量抽出部で抽出した特徴量と前記第2の特徴量抽出部で抽出した特徴量を用いて前記検索キーである三次元形状モデルと前記検索対象である個々の三次元形状モデル間の距離を計算し,前記検索キーに類似する三次元形状モデルを検索する類似検索部と,
    を有することを特徴とする三次元類似形状検索装置。
  2. 請求項1に記載の三次元類似形状検索装置において,前記第1の二次元画像生成部及び前記第2の二次元画像生成部で生成される二次元画像は,シルエット画像,陰影画像あるいは奥行き画像のいずれか,あるいはそれらの組み合わせであることを特徴とする三次元類似形状検索装置。
  3. 請求項1に記載の三次元類似形状検索装置において,前記第1の二次元画像生成部及び前記第2の二次元画像生成部で生成される二次元画像は,色及び/又はテクスチャーを有する陰影画像であることを特徴とする三次元類似形状検索装置。
  4. 請求項1に記載の三次元類似形状検索装置において,前記類似検索部は,前記第2の特徴量抽出部で抽出されたNs個の画像特徴量のそれぞれに対して前記第1の特徴量抽出部で1つの三次元形状モデルに対して抽出されたNr個の画像特徴量との間で計算された最小の距離の和を,前記検索キーである三次元形状モデルと当該検索対象である三次元形状モデルの距離とすることを特徴とする三次元類似形状検索装置。
  5. 請求項4に記載の三次元類似形状検索装置において,前記類似検索部は,前記Ns個の画像特徴量の中から複数個の画像特徴量を選択すると共に前記Nr個の画像特徴量の中から複数個の画像特徴量を選択し,選択された画像特徴量の組みを用いて前記検索キーである三次元形状モデルと検索対象である三次元形状モデルの近似距離を求め,当該近似距離の近い上位の三次元形状モデルに対してだけ三次元類似形状検索を行うことを特徴とする三次元類似形状検索装置。
JP2007305938A 2007-11-27 2007-11-27 三次元類似形状検索装置 Pending JP2009129337A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007305938A JP2009129337A (ja) 2007-11-27 2007-11-27 三次元類似形状検索装置
CNA200810178756XA CN101446952A (zh) 2007-11-27 2008-11-26 三维类似形状检索装置
US12/323,494 US20090138468A1 (en) 2007-11-27 2008-11-26 3d model retrieval method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007305938A JP2009129337A (ja) 2007-11-27 2007-11-27 三次元類似形状検索装置

Publications (1)

Publication Number Publication Date
JP2009129337A true JP2009129337A (ja) 2009-06-11

Family

ID=40670619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007305938A Pending JP2009129337A (ja) 2007-11-27 2007-11-27 三次元類似形状検索装置

Country Status (3)

Country Link
US (1) US20090138468A1 (ja)
JP (1) JP2009129337A (ja)
CN (1) CN101446952A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150667A (ja) * 2010-01-25 2011-08-04 Fujitsu Ltd 情報検索装置、情報検索プログラム及び情報検索方法
JP2013003861A (ja) * 2011-06-17 2013-01-07 Secom Co Ltd 物体形状推定装置
JP2015176485A (ja) * 2014-03-17 2015-10-05 国立大学法人豊橋技術科学大学 三次元モデル特徴抽出方法、及び三次元モデル・アノテーションシステム
CN108303323A (zh) * 2017-12-29 2018-07-20 中国神华能源股份有限公司 三维相似模型试验台架及其试验方法
JP2019045894A (ja) * 2017-08-29 2019-03-22 富士通株式会社 検索プログラム、検索方法、及び、検索プログラムが動作する情報処理装置
US10325080B2 (en) 2014-11-21 2019-06-18 Alibaba Group Holding Limited Identity information verification

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5296707B2 (ja) * 2007-01-23 2013-09-25 カーネギー メロン ユニバーシティ コンピュータシステムへのアクセスを制御し媒体ファイルに注釈を付ける方法及び装置
US8136167B1 (en) 2008-10-20 2012-03-13 Google Inc. Systems and methods for providing image feedback
US8542251B1 (en) 2008-10-20 2013-09-24 Google Inc. Access using image-based manipulation
US8621396B1 (en) 2008-10-20 2013-12-31 Google Inc. Access using image-based manipulation
US8196198B1 (en) * 2008-12-29 2012-06-05 Google Inc. Access using images
US8686992B1 (en) * 2009-03-30 2014-04-01 Google Inc. Methods and systems for 3D shape matching and retrieval
US8392986B1 (en) 2009-06-17 2013-03-05 Google Inc. Evaluating text-based access strings
JP5467177B2 (ja) * 2011-05-31 2014-04-09 楽天株式会社 情報提供装置、情報提供方法、情報提供処理プログラム、情報提供処理プログラムを記録した記録媒体、及び情報提供システム
US9836483B1 (en) * 2012-08-29 2017-12-05 Google Llc Using a mobile device for coarse shape matching against cloud-based 3D model database
CN103093502A (zh) * 2012-12-21 2013-05-08 广州中大电讯科技有限公司 一种基于旋转三视图的三维模型信息获取方法
CN104090972B (zh) * 2014-07-18 2017-08-11 北京师范大学 用于三维城市模型检索的图像特征提取和相似性度量方法
TW201719572A (zh) * 2015-11-19 2017-06-01 國立交通大學 三維模型分析及搜尋方法
US10210656B2 (en) 2016-05-17 2019-02-19 Fujitsu Limited Method and apparatus for searching a database of 3D items using descriptors
WO2018208751A1 (en) 2017-05-08 2018-11-15 Physna Llc System and methods for 3d model evaluation
US10832472B2 (en) 2018-10-22 2020-11-10 The Hong Kong Polytechnic University Method and/or system for reconstructing from images a personalized 3D human body model and thereof
WO2021106154A1 (ja) * 2019-11-28 2021-06-03 三菱電機株式会社 ワーク画像検索装置、ワーク画像検索方法、および機械学習装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357415A (ja) * 2000-04-13 2001-12-26 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
GB0126526D0 (en) * 2001-11-05 2002-01-02 Canon Europa Nv Three-dimensional computer modelling
US8429174B2 (en) * 2003-01-25 2013-04-23 Purdue Research Foundation Methods, systems, and data structures for performing searches on three dimensional objects
JP4543644B2 (ja) * 2003-09-16 2010-09-15 富士ゼロックス株式会社 データ認識装置
US20070086627A1 (en) * 2005-10-18 2007-04-19 Samsung Electronics Co., Ltd. Face identification apparatus, medium, and method
JP4883649B2 (ja) * 2006-08-31 2012-02-22 公立大学法人大阪府立大学 画像認識方法、画像認識装置および画像認識プログラム
JP5024767B2 (ja) * 2006-11-10 2012-09-12 国立大学法人豊橋技術科学大学 三次元モデルの検索方法、コンピュータプログラム及び三次元モデルの検索システム
CN101350016B (zh) * 2007-07-20 2010-11-24 富士通株式会社 三维模型检索装置及方法
CN101382934B (zh) * 2007-09-06 2010-08-18 华为技术有限公司 多媒体模型检索方法、装置及系统
US8213706B2 (en) * 2008-04-22 2012-07-03 Honeywell International Inc. Method and system for real-time visual odometry

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150667A (ja) * 2010-01-25 2011-08-04 Fujitsu Ltd 情報検索装置、情報検索プログラム及び情報検索方法
JP2013003861A (ja) * 2011-06-17 2013-01-07 Secom Co Ltd 物体形状推定装置
JP2015176485A (ja) * 2014-03-17 2015-10-05 国立大学法人豊橋技術科学大学 三次元モデル特徴抽出方法、及び三次元モデル・アノテーションシステム
US10325080B2 (en) 2014-11-21 2019-06-18 Alibaba Group Holding Limited Identity information verification
JP2019045894A (ja) * 2017-08-29 2019-03-22 富士通株式会社 検索プログラム、検索方法、及び、検索プログラムが動作する情報処理装置
CN108303323A (zh) * 2017-12-29 2018-07-20 中国神华能源股份有限公司 三维相似模型试验台架及其试验方法

Also Published As

Publication number Publication date
CN101446952A (zh) 2009-06-03
US20090138468A1 (en) 2009-05-28

Similar Documents

Publication Publication Date Title
JP2009129337A (ja) 三次元類似形状検索装置
Lian et al. Visual similarity based 3D shape retrieval using bag-of-features
US20120075433A1 (en) Efficient information presentation for augmented reality
Pu et al. A 2D sketch-based user interface for 3D CAD model retrieval
US11704357B2 (en) Shape-based graphics search
Zakharov et al. 3d object instance recognition and pose estimation using triplet loss with dynamic margin
Yang et al. Ranking 3D feature correspondences via consistency voting
JP2019045894A (ja) 検索プログラム、検索方法、及び、検索プログラムが動作する情報処理装置
JP2002288687A (ja) 特徴量算出装置および方法
Tatzgern et al. Compact explosion diagrams
Kim et al. Shape distribution-based retrieval of 3D CAD models at different levels of detail
JP2001043368A5 (ja)
JP7017852B2 (ja) 記述子を用いた3dオブジェクトの位置特定
US20090110297A1 (en) Computer readable recording medium storing difference emphasizing program, difference emphasizing method, and difference emphasizing apparatus
Sfikas et al. 3D object retrieval via range image queries in a bag-of-visual-words context
US20160364908A1 (en) Analysis Model Creation Assistance System, Analysis Model Creation Assistance Device and Analysis Model Creation Assistance Program
Yu et al. Shadow-Enlightened Image Outpainting
JP6947503B2 (ja) 量子化を用いた3dオブジェクトの位置特定
KR102129060B1 (ko) 단일 깊이 영상을 이용한 내용기반 3차원 모델 검색 방법, 이를 수행하는 3차원 모델 검색 서버 및 컴퓨터로 판독 가능한 기록매체
US7289117B2 (en) Process for providing a vector image with removed hidden lines
Shukla et al. Scene graph driven text-prompt generation for image inpainting
Wei et al. BuilDiff: 3D Building Shape Generation using Single-Image Conditional Point Cloud Diffusion Models
JP2006260280A (ja) モデルデータ表示プログラム、モデルデータ表示装置およびモデルデータ表示方法
US20240127456A1 (en) Method for learning a target object by extracting an edge from a digital model of the target object, and a method for augmenting a virtual model on a real object corresponding to the digital model of the target object using the same
Starostenko et al. A Novel Star Field Approach for Shape Indexing in CBIR Systems.