JP2018136642A - 三次元形状検索方法及び三次元形状検索システム - Google Patents
三次元形状検索方法及び三次元形状検索システム Download PDFInfo
- Publication number
- JP2018136642A JP2018136642A JP2017029425A JP2017029425A JP2018136642A JP 2018136642 A JP2018136642 A JP 2018136642A JP 2017029425 A JP2017029425 A JP 2017029425A JP 2017029425 A JP2017029425 A JP 2017029425A JP 2018136642 A JP2018136642 A JP 2018136642A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- shape
- search
- dimensional object
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
Description
三次元形状データベースに対し、三次元形状モデルの一部または全体を検索質問とし、該検索質問における部分の形状に基づいて、類似する三次元形状を選び出す三次元形状検索方法であって、
前処理として三次元物体を点群に変換し、多視点レンダリングにより部分形状を抽出し、
特徴量抽出として該部分形状の姿勢正規化を行って、多視点からの法線ヒストグラムを用いて第一の特徴ベクトルを求め、
前記検索質問に対して、三次元物体を点群に変換し、多視点レンダリングにより部分形状を抽出し、
特徴量抽出として該部分形状の姿勢正規化を行って、多視点からの法線ヒストグラムを用いて第二の特徴ベクトルを求め、
検索時には、前記第一の特徴ベクトル及び第二の特徴ベクトル間の相違度を求めて、該相違度の値により類似として選別することを特徴とする。
部分形状を抽出するための視点を決定し、
該視点からレンダリングにより生成した二次元画像及び点群へ変換した三次元物体を用い、平行投影により部分形状を抽出し、
前記二次元画像から前記三次元物体に含まれる点が可視部分であるか否かを判定して前記部分形状の法線ベクトルを整列化し、
スキャンした三次元物体の部分形状を疑似的に点群から生成することを特徴とする。
対象となる三次元物体に対し、三次元空間上の点群に対する特異値分解を行い、
視線ベクトルによる該三次元物体の主軸を固定し、
二次元投影平面上の点群に対する特異値分解により該三次元物体の向きの正規化し、
向きが正規化された該三次元物体に対し、格子状にブロックを設定して分割して、該ブロックごとの法線方向ヒストグラムを求め、その値を連結して特徴量とすることを特徴とする。
三次元形状データベースに対し、三次元形状モデルの一部または全体を検索質問とし、該検索質問における部分の形状に基づいて、類似する三次元形状を選び出す三次元形状検索システムであって、
前処理として三次元物体を点群に変換する手段と、
多視点レンダリングにより部分形状を抽出する手段と、
特徴量抽出として該部分形状の姿勢正規化を行って、多視点からの法線ヒストグラムを用いて第一の特徴ベクトルを求める手段と、
前記検索質問に対して、三次元物体を点群に変換する手段と、
多視点レンダリングにより部分形状を抽出する手段と、
特徴量抽出として該部分形状の姿勢正規化を行って、多視点からの法線ヒストグラムを用いて第二の特徴ベクトルを求める手段と、
検索時には、前記第一の特徴ベクトル及び第二の特徴ベクトル間の相違度を求めて、該相違度の値により類似として選別する手段と、を備えることを特徴とする。
部分形状を抽出するための視点を決定する手段と、
該視点からレンダリングにより生成した二次元画像及び点群へ変換した三次元物体を用い、平行投影により部分形状を抽出する手段と、
前記二次元画像から前記三次元物体に含まれる点が可視部分であるか否かを判定して前記部分形状の法線ベクトルを整列化し、
スキャンした三次元物体の部分形状を疑似的に点群から生成する手段と、を備えることを特徴とする。
対象となる三次元物体に対し、三次元空間上の点群に対する特異値分解を行う手段と、
視線ベクトルによる該三次元物体の主軸を固定する手段と、
二次元投影平面上の点群に対する特異値分解により該三次元物体の向きの正規化する手段と、
向きが正規化された該三次元物体に対し、格子状にブロックを設定して分割して、該ブロックごとの法線方向ヒストグラムを求め、その値を連結して特徴量とする手段と、を備えることを特徴とする。
本発明に係る三次元形状検索の処理フローの概要を図1に示す。さらに、検索対象、すなわち三次元データベースに格納されている三次元物体モデル、の特徴量抽出の処理フローを図2に、検索質問、すなわち検索のクエリ入力として与えられる三次元物体モデル、の特徴量抽出の処理フローを図3に、それぞれ示す。
まず、前処理として、検索対象データに対し、三次元物体をポリゴンメッシュから、点群へ変換する。次に、多視点レンダリングによる部分形状抽出法で部分形状を抽出し、抽出された部分形状から本発明に係る第一の特徴ベクトルを求める。
多視点レンダリングを用いた部分形状抽出及び、法線方向ヒストグラムを用いた特徴量計算のための前処理を行う。前処理として、三次元物体に対し点群の位置と大きさの正規化、ポリゴンメッシュからの法線計算、ポリゴンメッシュから点群への変換を行う。図4に処理フローを示す。
三次元物体に対し、位置と大きさの正規化を行うことで、位置の任意性と大きさの任意性を解決する。初めに、位置の正規化を行う。三次元物体から重心を求め、求めた重心と座標の原点が一致するように平行移動を行うことで、三次元物体の位置の正規化が行われる。次に大きさの正規化を行う。重心からの最大距離を求め、三次元物体が半径1のBounding sphereの中に納まるように、三次元物体のスケールを変更することで、三次元物体の大きさの正規化が行われる。
三次元物体から、特徴量抽出のための法線ベクトルを求める。本発明に係る法線ベクトルは、三次元物体を構成する、頂点、辺、面の集合で定義されたポリゴンメッシュから求められる。三つの頂点A,B,Cを持つ三角面からの法線ベクトルをnとすると、数1においてv1,v2は三角面の二つの辺を表すベクトルであり、法線ベクトルnは二つのベクトルの外積によって求められる。
部分形状抽出の前処理として、三次元物体をポリゴンメッシュから点群へ変換する。点群への変換に用いる。三つの頂点A,B,Cを持つ三角面上に点Pを生成する式を数2に示す。
3Dセンサーからスキャンした三次元物体を部分形状として扱い、多視点レンダリングを用いた部分形状抽出によって部分形状の抽出を行う。3Dセンサーを用いて、単一の視点からスキャンした三次元物体は、3Dセンサーの方向に面を向いた形状の情報のみを保持するため、全ての面の法線ベクトルは3Dセンサーの方向を向いている。図5に処理フローを示す。
レンダリングを用いた部分形状の抽出のための視点を決定する。三次元物体を囲む立方体に基づいて視点を決定すると、視点を増やす際、立方体では、一様な視点を生成することが難しい。そこで、本発明係る視点の決定は、正八面体ベースで視点を増やす手法を用いる。該正八面体の座標を(±1,0,0),(0,±1,0),(0,0,±1)として、視点を以下の順で求める。
(A2)分割数nを決定する。
(A3)ある正三角形を選択する。
(A4)正三角形の頂点A, B, Cと二つの整数s, t(0≦s, t≦n)を用いて、以下の数3からベクトルvstを算出する。
(A5)||vst=1||となるように正規化を行う。
平行投影に基づく部分形状の抽出を行う。上記で決定した視点を用いて、二次元画像の生成を行う。二次元画像には、各視点から投影した三次元物体の奥行距離を保持している。本発明に係る実施例では、二次元画像の解像度を256×256としている。
上述したようにして抽出した部分形状に対し、視線方向に基づく法線ベクトルの整列化を行う。図6に示すように、単一の視点からスキャンした三次元物体の面の法線ベクトルは、一貫した方向を向くため、法線ベクトルを視点のある方向に向くように整列化を行う。本発明に係る法線ベクトルの整列化では、部分形状を抽出した後、視線ベクトルと法線ベクトルの内積を計算し、内積が0より小さい法線ベクトルを視点のある方向へ向けるよう整列化を行うことで、法線ベクトルの向きを一貫した方向に向かせている。
多視点レンダリングに基づく部分形状抽出によって抽出した三次元物体から、法線方向ヒストグラムを用いた点群特徴量の抽出を行う。図7に処理フローを示す。初めに三次元物体に対し、三次元空間上で、点群からの特異値分解(以下、PointSVDと呼ぶ。)、視線ベクトルによる主軸固定、二次元空間上でのPointSVDによる向きの正規化を行う。次に向きの正規化を行った三次元物体に対し、格子状に分割し複数のブロックを求め、ブロックごとに法線方向ヒストグラムを計算し、連結したものを特徴量として抽出する。
三次元物体の向きの任意性を解決するために、向きの正規化を行う。本発明に係る点群特徴量は、物体の向きに対する不変性を持たないため、三次元物体に対し向きの正規化が必要となる。向きの正規化手法として、三次元空間上でのPointSVD、視線ベクトルによる主軸固定、及び、二次元空間上でのPointSVDを行い、特徴量を抽出する。複数の視線ベクトルを用いて様々な方向から特徴量を抽出することで、三次元物体の向きの任意性を解決する。
三次元物体の向きの正規化にはPointSVDを用いる。該PointSVDは,点群に対し特異値分解を行い、三つの主軸を決定し回転させることで、三次元物体の向きの正規化を行うものである。三次元空間上でのPointSVDによる、物体の向きの正規化を以下の手順で示す。
三次元物体をPointSVDで向きの正規化を行った後、視線ベクトルを用いた主軸固定を行う。三次元空間上でのPointSVDは、3Dセンサーでスキャンした不完全な三次元物体に対して適用すると、欠損等のノイズ成分によって、決定される三つの主軸に変化が生じてしまう。そのため三次元物体の向きの任意性を十分に解決することが出来ない。
本発明に係る主軸の固定では、視線ベクトルを用いて、物体の向きを決定する三つの主軸の内、第1主軸を固定する。視線ベクトルを用いた主軸固定を以下の手順で示す。
視線ベクトルを用いて物体の向きを決定する第1主軸を決定した後、残り二つの第2主軸及び第3主軸を二次元空間上でのPointSVDによって決定する。二次元空間上でのPointSVDによる、物体の向きの正規化を以下の手順で示す。本発明に係る第2主軸及び第3主軸の決定では、xy平面上でのPointSVDを行い、二つの主軸を決定する。
本発明に係る点群特徴量では、法線ベクトルの向きを考慮した点群特徴量を抽出する。図8に示すように、三次元物体からBounding boxを計算し、複数のブロックに分割する。そして、ブロックごとに、三つの平面に射影した法線を用いて法線方向ヒストグラムを計算し、連結することで特徴量を抽出するものである。
向きの正規化を行った三次元物体から、特徴を抽出するためのBounding boxを求める。Bounding boxを計算し特徴量抽出を行うことで、三次元物体の形状を空間的に密に捉えた特徴量を抽出することが出来る。Bounding boxは各座標軸で三次元物体の両端[Xmin-ε,Ymin-ε,Zmin-ε]-[Xmax+ε,Ymax+ε,Zmax+ε]から計算することが出来る。εは境界面上でデータを失わないようにするためのパラメータでε=1.0e-5とした。
三次元物体から計算したBounding boxを各辺で4分割し、64個のブロックを得る。次に各ブロックで法線方向ヒストグラムの計算を行う。計算の手順を以下に示す。
類似形状検索のため、特徴ベクトルで相違度計算を行う。本発明に係る類似形状検索では、1体の三次元物体から複数の特徴ベクトルを得るので、特徴ベクトルの集合間で相違度計算を行う。本発明に係る相違度計算において、複数の相違度が小さい特徴ベクトルの、重みつき平均の線形和を用いることによって、二つの三次元物体間の相違性を精密に計算し、特徴量の抽出に用いた視点の依存性を解消することで検索精度の向上を図る。検索質問の特徴ベクトルの集合をQ、検索対象の特徴ベクトルの集合Tをとする。特徴ベクトルの集合間の相違度を求める式を以下に示す。はじめに検索質問の特徴ベクトルq∈Qごとに、t∈Tとのマンハッタン距離d(q,t)が最小となるような相違度の集合δminを求める。次に求めたδminに対し、相違度を小さいものから順に並び替えを行い、上位i番目の相違度dmin (i)に対し重みwiを付けて加算し、i=K番目となるまで同様の計算を行う。最後にK番目まで加算した相違度に対しKで除算して平均を取った相違度をQとTの最終的な相違度D(Q,T)とする。本発明に係る相違度では、相違度計算で用いるパラメータをK=60としている。
Claims (8)
- 三次元形状データベースに対し、三次元形状モデルの一部または全体を検索質問とし、該検索質問における部分の形状に基づいて、類似する三次元形状を選び出す三次元形状検索方法であって、
前処理として三次元物体を点群に変換し、多視点レンダリングにより部分形状を抽出し、
特徴量抽出として該部分形状の姿勢正規化を行って、多視点からの法線ヒストグラムを用いて第一の特徴ベクトルを求め、
前記検索質問に対して、三次元物体を点群に変換し、多視点レンダリングにより部分形状を抽出し、
特徴量抽出として該部分形状の姿勢正規化を行って、多視点からの法線ヒストグラムを用いて第二の特徴ベクトルを求め、
検索時には、前記第一の特徴ベクトル及び第二の特徴ベクトル間の相違度を求めて、該相違度の値により類似として選別することを特徴とする三次元形状検索方法。 - 前記検索質問として、スキャンにより数値化された三次元形状データの一部または全体を用いることを特徴とする請求項1に記載の三次元形状検索方法。
- 前記検索質問として用いる三次元形状データであって、
部分形状を抽出するための視点を決定し、
該視点からレンダリングにより生成した二次元画像及び点群へ変換した三次元物体を用い、平行投影により部分形状を抽出し、
前記二次元画像から前記三次元物体に含まれる点が可視部分であるか否かを判定して前記部分形状の法線ベクトルを整列化し、
スキャンした三次元物体の部分形状を疑似的に点群から生成することを特徴とする請求項2に記載の三次元形状検索方法。 - 前記特徴量抽出は点群特徴量であって、
対象となる三次元物体に対し、三次元空間上の点群に対する特異値分解を行い、
視線ベクトルによる該三次元物体の主軸を固定し、
二次元投影平面上の点群に対する特異値分解により該三次元物体の向きの正規化し、
向きが正規化された該三次元物体に対し、格子状にブロックを設定して分割して、該ブロックごとの法線方向ヒストグラムを求め、その値を連結して特徴量とすることを特徴とする請求項1ないし3のいずれかに記載の三次元形状検索方法。 - 三次元形状データベースに対し、三次元形状モデルの一部または全体を検索質問とし、該検索質問における部分の形状に基づいて、類似する三次元形状を選び出す三次元形状検索システムであって、
前処理として三次元物体を点群に変換する手段と、
多視点レンダリングにより部分形状を抽出する手段と、
特徴量抽出として該部分形状の姿勢正規化を行って、多視点からの法線ヒストグラムを用いて第一の特徴ベクトルを求める手段と、
前記検索質問に対して、三次元物体を点群に変換する手段と、
多視点レンダリングにより部分形状を抽出する手段と、
特徴量抽出として該部分形状の姿勢正規化を行って、多視点からの法線ヒストグラムを用いて第二の特徴ベクトルを求める手段と、
検索時には、前記第一の特徴ベクトル及び第二の特徴ベクトル間の相違度を求めて、該相違度の値により類似として選別する手段と、を備えることを特徴とする三次元形状検索システム。 - 前記検索質問として、スキャンにより数値化された三次元形状データの一部または全体を用いることを特徴とする請求項5に記載の三次元形状検索システム。
- 前記検索質問として用いる三次元形状データであって、
部分形状を抽出するための視点を決定する手段と、
該視点からレンダリングにより生成した二次元画像及び点群へ変換した三次元物体を用い、平行投影により部分形状を抽出する手段と、
前記二次元画像から前記三次元物体に含まれる点が可視部分であるか否かを判定して前記部分形状の法線ベクトルを整列化し、
スキャンした三次元物体の部分形状を疑似的に点群から生成する手段と、を備えることを特徴とする請求項6に記載の三次元形状検索システム。 - 前記特徴量抽出は点群特徴量であって、
対象となる三次元物体に対し、三次元空間上の点群に対する特異値分解を行う手段と、
視線ベクトルによる該三次元物体の主軸を固定する手段と、
二次元投影平面上の点群に対する特異値分解により該三次元物体の向きの正規化する手段と、
向きが正規化された該三次元物体に対し、格子状にブロックを設定して分割して、該ブロックごとの法線方向ヒストグラムを求め、その値を連結して特徴量とする手段と、を備えることを特徴とする請求項5ないし7のいずれかに記載の三次元形状検索システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017029425A JP6945832B2 (ja) | 2017-02-20 | 2017-02-20 | 三次元形状検索方法及び三次元形状検索システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017029425A JP6945832B2 (ja) | 2017-02-20 | 2017-02-20 | 三次元形状検索方法及び三次元形状検索システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018136642A true JP2018136642A (ja) | 2018-08-30 |
JP6945832B2 JP6945832B2 (ja) | 2021-10-06 |
Family
ID=63366772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017029425A Active JP6945832B2 (ja) | 2017-02-20 | 2017-02-20 | 三次元形状検索方法及び三次元形状検索システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6945832B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6833150B1 (ja) * | 2020-06-30 | 2021-02-24 | 三菱電機株式会社 | 加工プログラム検索装置および加工プログラム検索方法 |
JP2021067976A (ja) * | 2019-10-17 | 2021-04-30 | 国立大学法人豊橋技術科学大学 | 形状検索方法および形状検索システム |
WO2022060064A1 (ko) * | 2020-09-15 | 2022-03-24 | 김학민 | 입체도형을 이용한 삼차원 공간 위치 좌표화 방법 |
CN116701698A (zh) * | 2023-08-09 | 2023-09-05 | 北京凯锐远景科技有限公司 | 基于向量检索技术的模型检索方法、装置、介质及设备 |
-
2017
- 2017-02-20 JP JP2017029425A patent/JP6945832B2/ja active Active
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021067976A (ja) * | 2019-10-17 | 2021-04-30 | 国立大学法人豊橋技術科学大学 | 形状検索方法および形状検索システム |
JP6833150B1 (ja) * | 2020-06-30 | 2021-02-24 | 三菱電機株式会社 | 加工プログラム検索装置および加工プログラム検索方法 |
WO2022003828A1 (ja) * | 2020-06-30 | 2022-01-06 | 三菱電機株式会社 | 加工プログラム検索装置および加工プログラム検索方法 |
CN115702400A (zh) * | 2020-06-30 | 2023-02-14 | 三菱电机株式会社 | 加工程序检索装置及加工程序检索方法 |
CN115702400B (zh) * | 2020-06-30 | 2023-11-24 | 三菱电机株式会社 | 加工程序检索装置及加工程序检索方法 |
WO2022060064A1 (ko) * | 2020-09-15 | 2022-03-24 | 김학민 | 입체도형을 이용한 삼차원 공간 위치 좌표화 방법 |
CN116701698A (zh) * | 2023-08-09 | 2023-09-05 | 北京凯锐远景科技有限公司 | 基于向量检索技术的模型检索方法、装置、介质及设备 |
CN116701698B (zh) * | 2023-08-09 | 2023-10-17 | 北京凯锐远景科技有限公司 | 基于向量检索技术的模型检索方法、装置、介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
JP6945832B2 (ja) | 2021-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lin et al. | Facet segmentation-based line segment extraction for large-scale point clouds | |
Daras et al. | Efficient 3-D model search and retrieval using generalized 3-D radon transforms | |
Lian et al. | Visual similarity based 3D shape retrieval using bag-of-features | |
Bimbo et al. | Content-based retrieval of 3D models | |
Osada et al. | Matching 3D models with shape distributions | |
Kazmi et al. | A survey of 2D and 3D shape descriptors | |
US8994723B2 (en) | Recognition and pose determination of 3D objects in multimodal scenes | |
EP2387770B1 (en) | Method to match images | |
JP6945832B2 (ja) | 三次元形状検索方法及び三次元形状検索システム | |
WO2008056757A1 (fr) | Procédé et système de recherche de modèle en trois dimensions et programme informatique | |
US12073646B2 (en) | Document search for document retrieval using 3D model | |
CN112651944B (zh) | 基于cad模型的3c部件高精度六维位姿估计方法及系统 | |
JP7075654B2 (ja) | 3次元cadモデル部分検索方法及び3次元cadモデル検索方法 | |
Guo et al. | 3D object recognition from cluttered and occluded scenes with a compact local feature | |
Bustos et al. | An experimental comparison of feature-based 3D retrieval methods | |
Dutagaci et al. | SHREC'09 Track: Querying with Partial Models. | |
Dufresne et al. | Chord-tangent transformation for object recognition | |
Godil et al. | SHREC'09 Track: Generic shape retrieval. | |
KR102129060B1 (ko) | 단일 깊이 영상을 이용한 내용기반 3차원 모델 검색 방법, 이를 수행하는 3차원 모델 검색 서버 및 컴퓨터로 판독 가능한 기록매체 | |
Vajramushti et al. | Efficient 3D object retrieval using depth images | |
Chen et al. | 3d reconstruction of spatial non cooperative target based on improved traditional algorithm | |
Schmitt et al. | A 3D shape descriptor based on depth complexity and thickness histograms | |
KR20160127369A (ko) | 이미지 검색 시스템 및 방법 | |
Kim et al. | Graph representation by medial axis transform for 3D image retrieval | |
Méndez et al. | Comparative study of point cloud registration techniques between ICP and others |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210409 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210825 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6945832 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |