JP2017208092A - 記述子を使用して3dアイテムのデータベースを検索する方法及び装置 - Google Patents

記述子を使用して3dアイテムのデータベースを検索する方法及び装置 Download PDF

Info

Publication number
JP2017208092A
JP2017208092A JP2017097161A JP2017097161A JP2017208092A JP 2017208092 A JP2017208092 A JP 2017208092A JP 2017097161 A JP2017097161 A JP 2017097161A JP 2017097161 A JP2017097161 A JP 2017097161A JP 2017208092 A JP2017208092 A JP 2017208092A
Authority
JP
Japan
Prior art keywords
descriptor
database
feature
specified
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017097161A
Other languages
English (en)
Inventor
ジョージェスク・セルバン
Georgescu Serban
チョウ・ピーター
Chow Peter
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GBGB1608645.6A external-priority patent/GB201608645D0/en
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2017208092A publication Critical patent/JP2017208092A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】記述子を使用してデータベースを検索する方法及び装置を提供する。
【解決手段】記述子は、データベースアイテム、又はモデル若しくはオブジェクトの画像から抽出された特徴量ベクトルの各々を含むベクトル列を有し、好ましくは、アイテム、又はモデル若しくはオブジェクトの寸法特徴量を表す、寸法に関連する特徴量も有する。3Dコンピュータ生成モデルについての記述子は、複数の軸の各々の回りに独立にモデルを完全に回転させることにより、固定視点からのモデルの複数の2Dのレンダリングされた画像を得て、各画像から、当該画像の特徴量を表す特徴量ベクトルを抽出することにより、作成される。モデルは、好ましくは、軸のうちの1つ以上の回りに角度ステップずつ回転され、各角度ステップは、各軸に対して同一であり得る。複数の軸は、3つの相互に垂直な軸を含み得る。この場合、各角度ステップは、30°から45°までの範囲にある。
【選択図】図4

Description

本発明は、合致が見出される対象の、3Dアイテムのデータベース内の各アイテムと3Dコンピュータ生成モデル又は3D物理オブジェクトとについて作成されている記述子を使用する、上記データベースを検索する方法及び装置に関する。
この20年において、3Dモデルについての記述子(すなわち、識別タグ)の自動作成とモデルデータベース内の類似する3Dモデルを見つけるためのそれら記述子の使用とにおける活発な研究がされている。以前に提案された記述子は、以下の2つのカテゴリに大まかに分類され得る:
1.CAD、メッシュデータ、ポイントクラウド等といった、直接的に3Dデータを使用する形状記述子
2.3D形状の1つ以上の2D投影を使用することにより、3Dモデルの形状のみを使用する形状記述子
記述子の上述した2番目のカテゴリは、特に、畳み込みニューラルネットワーク等の深層学習ネットワークとともに使用されるときには、上述した1番目のカテゴリより性能が優れていることが示されている。これは、以下の2つの主な理由による:
1.投影ベースの記述子は、人間の知覚に非常に類似する方法で形状の類似度を評価する:すなわち、2つの3Dモデルが全ての角度から類似して見えるときに限り、2つの3Dモデルは類似する。
2.画像認識のための深層学習ネットワークは、3Dモデルと比較して利用可能な画像(ラベル付けされるものとラベル付けされないものとの両方)のはるかに大きな量を主に理由として、3Dオブジェクト認識のための深層学習ネットワークよりもはるかに成熟している。
加えて、投影ベースの方法は、データへの直接アクセスを必要とせず、レンダリングされた形でのみデータにアクセスするので、データ形式及びその品質に依存しない。
1つの以前に提案された投影ベースの記述子は、3Dモデルが全て直立方向であるという仮定に基づくが、これは、例えば機械CADに由来するモデルには当てはまらないことが多い。さらに、この以前に提案された投影ベースの記述子を作成する際に使用されるレンダリングプロセスは、寸法情報を失わせる。なぜならば、全ての画像が同じ解像度を有し、レンダリングされるモデルが、フィットするようにスケーリングされるからである。結果として、形状においては類似して見えるがサイズにおいては実際には非常に異なるモデルが、良好な合致として生じることになる。
より汎用的な記述子とこの記述子を使用する検索システムとを提供することが望ましい。
本発明の第1の態様の一実施形態に従うと、3次元(3D)コンピュータ生成モデルについての記述子を作成する、コンピュータにより実施される方法であって、
複数の異なる軸の各々の回りに独立に前記3Dコンピュータ生成モデルを完全に回転させることにより、固定された視点からの前記3Dコンピュータ生成モデルの複数の2次元(2D)のレンダリングされた画像を得るステップと、
各2Dのレンダリングされた画像から、当該2Dのレンダリングされた画像の特徴量を表す特徴量ベクトルを抽出するステップであって、前記記述子は、前記の抽出された特徴量ベクトルの各々を含むベクトル列(vector string)を有する、ステップと、
を含む、方法が提供される。
本発明の第1の態様を具現化する方法は、3Dコンピュータ生成モデルについての正確な3D記述子を作成する完全に自動的で汎用的なやり方を提供することができる。この記述子は、モデルの形状と、モデルの幾何学配置(geometry)を記憶するために使用されているCADデータ形式と、に対して不変である。この記述子は、並進に対しても不変であり、ほとんどの場合、回転に対しても不変である。
有利なことに、前記記述子は、前記3Dコンピュータ生成モデルの寸法特徴量をそれぞれ表す、寸法に関連する1つ以上の特徴量をさらに有してもよい。これは、検索の対象であるモデルとサイズにおいて適合しない、データベース内のモデルが、検索結果から除外されることを可能にする。
本発明の一実施形態において、前記3Dコンピュータ生成モデルは、好ましくは、0より大きい大きさの角度ステップずつ前記複数の異なる軸のうちの1つ以上の回りに回転される。前記角度ステップは、好ましくは、各軸に対して同一である。これは、計算コストを低減させる。
好ましくは、単純さのために、前記複数の異なる軸は、3つの相互に垂直な軸を含む。この場合、各角度ステップは、効果的には、30°から45°までの範囲にある。これは、計算コストと正確さとの間の良好なバランスが実現されることを可能にする。
本発明の第2の態様の一実施形態に従うと、3次元(3D)オブジェクトについての記述子を作成する、コンピュータにより実施される方法であって、
前記3Dオブジェクトの少なくとも1つの2次元(2D)の画像を得るステップと、
各2Dの画像から、当該2Dの画像の特徴量を表す特徴量ベクトルを抽出するステップと、
を含み、
1つの2Dの画像のみが存在する場合、前記記述子は、前記の抽出された特徴量ベクトルを有し、2つ以上の2Dの画像が存在する場合、前記記述子は、前記の抽出された特徴量ベクトルの各々を含むベクトル列を有し、
前記記述子は、前記3Dオブジェクトの寸法特徴量をそれぞれ表す、寸法に関連する1つ以上の特徴量をさらに有する、方法が提供される。
3Dオブジェクトの1つの又は少しの(few)ビュー(views)のみが、CADモデル全体の幾何学配置の代わりに利用可能な場合等、低減された情報しかなくても、このような方法を使用することができる。本発明を具現化する方法は、少しの写真のみからでも、また、スケッチからでも、良好な合致を提供することができるが、この場合、作成される記述子の正確さは、低減され得る。また、上記で示されたように、この方法は、検索の対象であるモデルとサイズにおいて適合しない、データベース内のモデルが、検索結果から除外されることを可能にする。
本発明の第1の態様及び第2の態様を具現化する方法は、有利なことに、深層ニューラルネットワークを使用して、2Dの画像から各特徴量ベクトルを抽出してもよい。
本発明の第3の態様の一実施形態に従うと、指定された3次元(3D)オブジェクト又は指定された3Dコンピュータ生成モデルとの類似度について3Dアイテムのデータベースを検索するための、コンピュータにより実施される検索する方法であって、
前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルに関連付けられた記述子の1つ以上の特徴量ベクトルと、前記データベース内の前記3Dアイテムに関連付けられた記述子の特徴量ベクトルと、を使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルと前記データベース内の1つ以上の3Dアイテムとの間の類似の程度を確認する類似度評価プロセス
を含み、
前記データベース内の前記3Dアイテムに関連付けられた前記記述子の各々は、本発明の第1の態様又は第2の態様を具現化する方法に従って作成されたものであり、前記指定された3Dオブジェクトに関連付けられた前記記述子は、本発明の第2の態様を具現化する方法に従って作成されたものであり、あるいは、前記指定された3Dコンピュータ生成モデルに関連付けられた前記記述子は、本発明の第1の態様を具現化する方法に従って作成されたものである、方法が提供される。
このような方法を使用して、3Dアイテム(3Dモデル又は物理オブジェクトの表現)の大きなデータベースに対する高速で正確な検索を実行することができる。なぜならば、これは、2つの3Dオブジェクトが類似すると人間が判断する方法を模倣し、複数の角度から得られた画像からの情報を使用するからである。
前記類似度評価プロセスは、好ましくは、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルと前記データベース内の前記3Dアイテムとの前記記述子の寸法に関連する特徴量を使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルとサイズにおいて適合しない、前記データベース内の3Dアイテムを特定するステップを含む。
前記類似度評価プロセスは、
前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルに関連付けられた前記記述子の前記1つ以上の特徴量ベクトルを使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルについて特徴量行列fMを作成するステップと、
前記データベース内の前記3Dアイテムに関連付けられた前記記述子の前記特徴量ベクトルを使用して、前記データベース内の各3Dアイテムについて特徴量行列fMを作成するステップと、
前記データベース内の前記3Dアイテムについて作成された前記特徴量行列fMを付加して、データベース行列dMを作成するステップと、
前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルについての前記特徴量行列fMと前記データベース行列dMとを使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルに関連付けられた前記記述子の各特徴量ベクトルと、前記データベース内の前記3Dアイテムに関連付けられた前記記述子の各特徴量ベクトルと、の間の距離を示す類似度行列sMを算出するステップと、
前記類似度行列sMから類似度ベクトルsVを導出するステップであって、前記類似度ベクトルsVは、長さDSを有し、前記類似度ベクトルのj番目の要素は、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルと、前記データベース内のj番目のアイテムと、の間の類似度を表す、ステップと、
を含んでもよい。
このような類似度評価プロセスにおいて、
前記特徴量行列fMの行の数NRは、特徴量ベクトルの数と同じであり、前記特徴量行列fMの列の数NCは、前記1つ以上の特徴量ベクトルにおける特徴量の数と同じであり、前記特徴量行列fMのi番目の行は、前記記述子のi番目の特徴量ベクトルに対応し、
前記特徴量行列fMの行の数NRは、前記データベース内の該当する3Dアイテムに関連付けられた前記記述子における特徴量ベクトルの数と同じであり、前記特徴量行列fMの列の数NCは、前記データベース内の該当する3Dアイテムに関連付けられた前記記述子における各特徴量ベクトルにおける特徴量の数と同じであり、前記特徴量行列fMのi番目の行は、前記データベース内の該当する3Dアイテムに関連付けられた前記記述子のi番目の特徴量ベクトルに対応し、
前記データベース行列dMにおける行の数は、DS*NRであり、DSは、前記データベース内のアイテムの総数であり、前記データベース行列dMにおける列の数は、NCである。
本発明の第4の態様の一実施形態に従うと、コンピュータ上で実行されたときに前記コンピュータに本発明の第1の態様、第2の態様、及び/又は第3の態様を具現化する方法を実行させるコンピュータプログラムが提供される。
本発明の第5の態様の一実施形態に従うと、3次元(3D)コンピュータ生成モデルについての記述子を作成するよう構成されている記述子作成装置であって、
複数の異なる軸の各々の回りに独立に前記3Dコンピュータ生成モデルを完全に回転させることにより、固定された視点からの前記3Dコンピュータ生成モデルの複数の2次元(2D)のレンダリングされた画像を得るよう構成されている画像レンダリング部と、
各2Dのレンダリングされた画像から、当該2Dのレンダリングされた画像の特徴量を表す特徴量ベクトルを抽出するよう構成されている特徴量ベクトル抽出部と、
前記の抽出された特徴量ベクトルの各々を含むベクトル列を組み立てることにより前記記述子を形成するよう構成されている記述子組み立て部と、
を有する、記述子作成装置が提供される。
本発明の第5の態様を具現化する装置は、3Dコンピュータ生成モデルについての正確な3D記述子を作成することができる。この記述子は、モデルの形状と、モデルの幾何学配置を記憶するために使用されているCADデータ形式と、に対して不変である。この記述子は、並進に対しても不変であり、ほとんどの場合、回転に対しても不変である。
前記記述子組み立て部は、好ましくは、さらに、前記3Dコンピュータ生成モデルの寸法特徴量をそれぞれ表す、寸法に関連する1つ以上の特徴量を、前記記述子に含めるよう構成されている。これは、検索の対象であるモデルとサイズにおいて適合しない、データベース内のモデルが、検索結果から除外されることを可能にする。
有利なことに、前記画像レンダリング部は、0より大きい大きさの角度ステップずつ前記複数の異なる軸のうちの1つ以上の回りに前記3Dコンピュータ生成モデルを回転させるよう動作可能であってもよい。好ましくは、前記角度ステップは、各軸に対して同一である。
前記複数の異なる軸は、好ましくは、3つの相互に垂直な軸を含む。この場合、各角度ステップは、好ましくは、30°から45°までの範囲にある。これは、計算コストと正確さとの間の良好なバランスが実現されることを可能にする。
本発明の第6の態様の一実施形態に従うと、3次元(3D)オブジェクトについての記述子を作成するよう構成されている記述子作成装置であって、
前記3Dオブジェクトの1つ以上の2次元(2D)の画像の各2Dの画像から、当該2Dの画像の特徴量を表す特徴量ベクトルを抽出するよう構成されている特徴量ベクトル抽出部と、
1つの2Dの画像のみが存在する場合、前記の抽出された特徴量ベクトルから前記記述子を形成するよう構成されており、2つ以上の2Dの画像が存在する場合、前記の抽出された特徴量ベクトルの各々を含むベクトル列を組み立てるよう構成されている記述子組み立て部と、
を有し、
前記記述子組み立て部は、さらに、前記3Dオブジェクトの寸法特徴量をそれぞれ表す、寸法に関連する1つ以上の特徴量を、前記記述子に含めるよう構成されている、記述子作成装置が提供される。
このような装置は、3Dオブジェクトの1つの又は少しのビューのみが、CADモデル全体の幾何学配置の代わりに利用可能な場合等、低減された情報しかなくても、機能することができる。本発明を具現化する装置は、少しの写真のみからでも、また、スケッチからでも、良好な合致を提供することができるが、この場合、作成される記述子の正確さは、低減され得る。また、上記で示されたように、この装置は、検索の対象であるモデルとサイズにおいて適合しない、データベース内のモデルが、検索結果から除外されることを可能にする。
本発明の第5の態様及び第6の態様を具現化する装置は、有利なことに、深層ニューラルネットワークを使用して、2Dの画像から各特徴量ベクトルを抽出してもよい。
本発明の第7の態様の一実施形態に従うと、指定された3次元(3D)オブジェクト又は指定された3Dコンピュータ生成モデルとの類似度について3Dアイテムのデータベースを検索するよう構成されている検索装置であって、
前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルに関連付けられた記述子の1つ以上の特徴量ベクトルと、前記データベース内の前記3Dアイテムに関連付けられた記述子の特徴量ベクトルと、を使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルと前記データベース内の1つ以上の3Dアイテムとの間の類似の程度を評価するよう構成されている類似度評価部
を有し、
前記データベース内の前記3Dアイテムに関連付けられた前記記述子の各々は、本発明の第5の態様又は第6の態様を具現化する記述子作成装置により作成されたものであり、前記指定された3Dオブジェクトに関連付けられた前記記述子は、本発明の第6の態様を具現化する記述子作成装置により作成されたものであり、あるいは、前記指定された3Dコンピュータ生成モデルに関連付けられた前記記述子は、本発明の第5の態様を具現化する記述子作成装置により作成されたものである、検索装置が提供される。
本発明の第7の態様を具現化する装置は、3Dアイテム(3Dモデル又は物理オブジェクトの表現)の大きなデータベースに対する高速で正確な検索を実行することができる。なぜならば、これは、2つの3Dオブジェクトが類似すると人間が判断する方法を模倣し、複数の角度から得られた画像からの情報を使用するからである。
前記類似度評価部は、さらに、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルと前記データベース内の前記3Dアイテムとの前記記述子の寸法に関連する特徴量を使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルとサイズにおいて適合しない、前記データベース内の3Dアイテムを特定するよう構成されていてもよい。
前記類似度評価部は、
前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルに関連付けられた前記記述子の前記1つ以上の特徴量ベクトルを使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルについて特徴量行列fMを作成するよう構成されている特徴量行列生成部であって、前記特徴量行列fMの行の数NRは、特徴量ベクトルの数と同じであり、前記特徴量行列fMの列の数NCは、前記1つ以上の特徴量ベクトルにおける特徴量の数と同じであり、前記特徴量行列fMのi番目の行は、前記記述子のi番目の特徴量ベクトルに対応する、特徴量行列生成部と、
データベース行列生成部であって、
(a)前記データベース内の前記3Dアイテムに関連付けられた前記記述子の前記特徴量ベクトルを使用して、前記データベース内の各3Dアイテムについて特徴量行列fMを作成するよう構成されており、ここで、そのような各特徴量行列fMにおいて、当該特徴量行列fMの行の数NRは、前記データベース内の該当する3Dアイテムに関連付けられた前記記述子における特徴量ベクトルの数と同じであり、当該特徴量行列fMの列の数NCは、前記データベース内の該当する3Dアイテムに関連付けられた前記記述子における各特徴量ベクトルにおける特徴量の数と同じであり、当該特徴量行列fMのi番目の行は、前記データベース内の該当する3Dアイテムに関連付けられた前記記述子のi番目の特徴量ベクトルに対応し、
(b)前記データベース内の前記3Dアイテムについて作成された前記特徴量行列fMを付加して、データベース行列dMを作成するよう構成されており、ここで、前記データベース行列dMにおける行の数は、DS*NRであり、DSは、前記データベース内のアイテムの総数であり、前記データベース行列dMにおける列の数は、NCである、
データベース行列生成部と、
前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルについての前記特徴量行列fMと前記データベース行列dMとを使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルに関連付けられた前記記述子の各特徴量ベクトルと、前記データベース内の前記3Dアイテムに関連付けられた前記記述子の各特徴量ベクトルと、の間の距離を示す類似度行列sMを算出するよう構成されている類似度行列生成部と、
前記類似度行列sMから類似度ベクトルsVを導出するよう構成されている類似度ベクトル生成部であって、前記類似度ベクトルsVは、長さDSを有し、前記類似度ベクトルのj番目の要素は、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルと、前記データベース内のj番目のアイテムと、の間の類似度を表す、類似度ベクトル生成部と、
を有してもよい。
本発明の第8の態様の一実施形態に従うと、製品を製造する際に使用するための方法であって、
以前に製造された又は製造のために準備された3次元(3D)アイテムのデータベースを設けるステップであって、前記データベースは、各アイテムに関連付けられた記述子を含み、前記データベース内の前記3Dアイテムに関連付けられた前記記述子の各々は、本発明の第1の態様又は第2の態様を具現化する方法に従って作成されたものである、ステップと、
製造される製品を指定する情報を受信するステップであって、前記情報は、前記製品の幾何学配置を指定する幾何学情報を含む、ステップと、
本発明の第1の態様又は第2の態様を具現化する方法に従って、前記製品の前記幾何学情報から記述子を導出するステップと、
本発明の第3の態様を具現化する検索する方法を使用して、前記データベースを検索して、前記データベース内のアイテムと、製造される前記製品と、の間の類似の程度を確認するステップと、
前記データベース内のどのアイテムが、製造される前記製品に最も類似するかを判定するステップと、
製造される前記製品に最も類似すると判定されたアイテムの製造に関連付けられた製造プロセスに関連する記憶されている製造プロセス情報を取得し、前記の取得された製造プロセス情報を使用して、前記製品を製造するステップと、
を含む、方法が提供される。
一実施形態に従った、検索する方法又は検索装置を使用するシステムを用いて、3Dアイテムのデータベースが、製造される製品に類似する何らかのアイテムを含んでいるかどうかを判定することができる。この場合、アイテムに関連してデータベースに記憶されているさらなるパラメータは、アイテムの製造材料であり得、これも、アイテムが製品にどれだけ類似するかを決定するときに考慮され得る。データベース内の2つ以上のアイテムが、製品に類似するものとして特定された場合、これらのアイテムは、どのアイテムが製品に最も類似するかを判定するために、例えば、製品との類似の程度に従ってランク付けされ得る。製品に類似する(又は、最も類似する)とみなされるアイテムの以前に記憶された詳細を使用して、システムのユーザに、製品を製造するために使用する最良の製造プロセスに関する推奨、並びに/又は、製造するのに製品にどれだけのコストがかかるか及び/若しくは納期に関する見積もりを提供することができる。
例として添付の図面が参照される。
入力3Dモデルに類似する、3Dモデルデータベース内の3Dモデルを見つけるプロセスを示す図。 1つ以上の画像として入力された3Dオブジェクトに類似する、3Dモデルデータベース内の3Dモデルを見つけるプロセスを示す図。 本発明を具現化する記述子作成装置の図。 本発明の一実施形態に従った、3Dモデルについての記述子を作成するプロセスのフローチャート。 3Dオブジェクトを複数の画像にレンダリングするプロセスのフローチャート。 画像を特徴量ベクトルに変換するプロセスのフローチャート。 図3のプロセスに従って作成された組み立てられた記述子を示す図。 類似度評価部の図。 入力3Dモデル又は指定された3Dモデルに類似する、3Dモデルデータベース内の3Dモデルを見つけるプロセスのフローチャート。 3Dモデルの画像がどのように得られるかの例を説明するのに使用するための図。 入力モデルに類似する3Dモデルがどのように見つけられるかの例を説明するのに使用するための図。 一実施形態に従ったシステムの図。 本発明を具現化する方法を実行するのに適したコンピューティングデバイスのブロック図。
記述子が必要とされる対象の入力は、以下のいずれかであり得る:
1.サポートされている幾何学フォーマット(geometry format)で与えられる、物理オブジェクトのフル3Dモデル;又は
2.写真又は図面等の、物理3Dオブジェクトの1つの又は少しの画像(ビュー)のみ
図1に示されるように、フル3Dモデルの入力と3Dモデルのデータベースとが与えられると、本発明の一実施形態は、形状において入力3Dモデルに最も類似する、データベース内の3Dモデルを見つけて出力する。この検索は、所与のNM(NMは正の整数)に対して、最も類似するNM個のモデル、又は、所与のSTに対して、所与の類似度基準閾値STを超える類似度を有する全てのモデル、のいずれかを出力するよう構成され得る。
図2は、図1のプロセスに類似するプロセスを示しているが、これは、入力が、仮想3Dモデルではなく実際には物理3Dオブジェクトの画像であり得る可能性を考慮するものである。この場合、図1における検索と同じ検索が実行されるが、後でより詳細に説明されるように、入力モデルは、好ましくは異なる角度から得られた、物理3Dオブジェクトの1つ以上の画像の形態である。
図3Aは、3次元(3D)コンピュータ生成モデルについての記述子を作成するよう構成されている、本発明を具現化する記述子作成装置10を示している。コンピュータプロセッサを有することができる装置10は、画像レンダリング部11、特徴量ベクトル抽出部12、及び記述子組み立て部13を有する。画像レンダリング部11は、複数の異なる軸の各々の回りに独立にモデルを完全に回転させることにより、固定された視点からのモデルの複数の2次元(2D)のレンダリングされた画像を得るよう構成されている。深層ニューラルネットワークを有することができる特徴量ベクトル抽出部12は、各2Dのレンダリングされた画像から、当該2Dのレンダリングされた画像の特徴量を表す特徴量ベクトルを抽出するよう構成されている。記述子組み立て部13は、抽出された特徴量ベクトルの各々を含むベクトル列を組み立てることにより記述子を形成するよう構成されている。組み立てられた記述子は、内部又は外部の記憶部20に記憶される。
本発明の一実施形態に従った、フル3Dモデルを含む入力についての3D記述子の作成が、図3Bのフローチャートを参照してこれより説明される。フル3Dモデルは、三角形分割(例えば、STL又はOBJ)又は解析(例えば、STEP、IGES)のいずれかである標準フォーマットで記憶されると仮定する。そのようなフォーマットが、多くのソフトウェアライブラリを使用して、読み込まれレンダリングされ得る。そのようなソフトウェアライブラリの2つの例は、OpenSCAD(http://www.openscad.org/)及びOpenCASCADE(http://www.opencascade.com/)である。
ステップS31において、3Dモデルがプロセッサに読み込まれた後、レンダリングエンジン(画像レンダリング部11)を使用して、3Dモデルの1つ以上のビュー(画像)を作成する(ステップS32)。このような画像を作成するプロセスが、図4のフローチャートに示されており、これより説明される。
図4のプロセスは、この例ではXYZ座標系の全ての3つの軸である複数の異なる軸の回りに独立に3Dモデルを回転させながら、画像をレンダリングすることを含む。最初に、画像がレンダリングされる起点となる視点(「仮想カメラ」)が、3Dモデルの重心に向くように配置され(ステップS41)、3Dモデルの最初の画像がレンダリングされる(ステップS42)。次いで、3Dモデルが、X軸に対して角度ステップDXずつ0°から360°まで回転され、画像が、各ステップでレンダリングされ、画像1,画像2,・・・,画像NXが得られる(ステップS43)。次いで、3Dモデルが、Y軸に対して角度ステップDYずつ0°から360°まで回転され、画像が、各ステップでレンダリングされ、画像NX+1,画像NX+2,・・・,画像NX+NYが得られる(ステップS44)。最後に、3Dモデルが、Z軸に対して角度ステップDZずつ0°から360°まで回転され、画像が、各ステップでレンダリングされ、画像NX+NY+1,画像NX+NY+2,・・・,画像NX+NY+NZが得られる(ステップS45)。角度ステップDX、DY、DZは、好ましくは、30°から45°までの範囲にあり、効果的には、DX=DY=DZである。
この回転プロセスの効果は、3Dモデルから抽出される情報の量を増大させることと、記述子が、オブジェクトの回転に対して完全に又は実質的に不変であることを確実にすることと、の両方である。多くの実際的用途に関して、この方法は、完全に回転不変である。なぜならば、ほとんどのCADモデルに関して、3Dモデルの方向は、軸のうちに1つに整列されるからである。本出願において提案する記述子は、レンダリングを実行するときに非常に小さな回転角度が使用される全ての場合において、完全に回転不変であるだろうが、これは、多くの計算リソースを必要とするであろう。したがって、回転不変性の小さな低減と引き換えに、より少ない計算リソースしか必要とされないように、より大きな回転ステップが使用される。機械設計に由来する3D CADモデルに関して、回転増分又はステップDX=DY=DZ=45度は、計算要件と正確さとの間の良好なバランスを提供することが見出された。これは、1つの3Dモデルにつき22個の画像をもたらす結果となる。
図3Bのプロセスに戻ると、ステップS33において、深層ニューラルネットワーク(特徴量抽出部12)を使用して、各レンダリングされた画像から特徴量を抽出する。このタスクに非常に適した深層ニューラルネットワークの例は、AlexNet(Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "Imagenet classification with deep convolutional neural networks." Advances in neural information processing systems, 2012)及びGoogLeNet(Szegedy, Christian, et al. "Going deeper with convolutions." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015)であるが、他のネットワークが代わりに使用されてもよい。
特徴量抽出は、図5に示されるプロセスに従い得る。I個の画像が存在すると仮定する。ステップS51及びステップS52において、最初の画像を読み込んだ後、画像がニューラルネットワークと適合するように、リスケーリング(rescaling)、平均抽出、又は色チャネルスワッピング(colour channel swapping)等の前処理動作が、通常適用される(ステップS53)。いずれかの必要とされる前処理の後の画像データが、深層ニューラルネットワークの入力層(データ層とも呼ばれる)に配置され、通常はニューラルネットワークにおける最後の層又は最後から2番目の層である指定された出力層Lに達するまで、ニューラルネットワークを通って順伝播される(ステップS54)。層Lにおける値のベクトルが、入力画像に関連付けられた特徴量ベクトルとして出力される(ステップS55)。ベクトルは正規化されることが好ましい。ステップS52〜ステップS55の特徴量抽出プロセスは、入力モデルの全てのI個の画像についての特徴量ベクトルが得られるまで(ステップS56及びステップS57)、繰り返される。
図3Bに戻ると、ステップS34において、オブジェクトの寸法に関連する複数の追加の特徴量が算出される。これらの特徴量の例は以下である:
・バウンディングボックスの最小寸法及び最大寸法
・表面積
・体積
最後に、3Dモデルの全ての特徴量ベクトルとその寸法特徴量とが組み合わされて、3Dモデルについての1つの記述子にされる(ステップS35)。そのような記述子の例が、図6に示されている。
(ほとんどの場合そうであるように)記述子が回転不変であるときには、画像についての特徴量ベクトルの順序は重要ではない。また、計算効率性のために、全ての画像についての特徴量ベクトルは、結合されて、1つの連続ベクトルとして記憶されるのに対し、寸法特徴量は、別個のベクトルとして記憶されることが好ましい場合がある。
一例として、ねじの3D CADモデルに関する記述子の作成が、これより説明される。図8に示されるように、モデルが、回転増分DX=DY=DZ=45度を使用して、全ての3つの軸の回りに独立に回転されて、ねじの22個の画像が生成されている。ねじは回転対称であるので、これらの画像のうちのいくつかは同一である。
各画像に対して、GoogLeNet深層ニューラルネットワークを使用して、特徴量ベクトルを抽出する。最初に、各入力画像が、256x256画素にリサイズされ、画素平均が抽出され、データが、ニューラルネットワークの入力層(データ層)に配置される。データが、ニューラルネットワークを通って順伝播され、層「pool5/7x7_s1」(最後から2番目の層)の値が、長さ1024のベクトルとして抽出される。したがって、各画像は、1024個の値からなる特徴量ベクトルに変換される。モデルの総表面積及びバウンディングボックスの寸法(3つの値)が、寸法特徴量として抽出される。したがって、合計では、組み立てられた記述子(全ての画像の特徴量ベクトル及び寸法特徴量)は、22*1024+4=22532個の値の長さを有する。
上述したように、図3Bの方法は、入力アイテムがフル3Dモデルである場合における記述子の作成に関する。物理3Dオブジェクトの画像のみが提供される場合、記述子作成プロセスは、図5のプロセスを使用して、画像から特徴量ベクトルを抽出することと、抽出された特徴量ベクトルを、寸法に関連する特徴量に付加することと、を含む。これらの画像に対する前処理ステップ(例えば、クロッピング、センタリング等)が、特徴量抽出の前に必要とされることもある。この場合、寸法情報は、抽出するのがより難しい。なぜならば、フル3Dモデルは利用可能でないからである。バウンディングボックスのサイズ情報等の限定された特徴量のセットを抽出する1つの可能な方法は、1つ以上の画像を作成するときに、オブジェクトに隣接して、既知のサイズの較正ターゲットを含めることによるものである。別の可能な方法は、例えば、設定可能なフィルタの形態で、寸法情報を手動で提供することである。これは、1つの又は少しの画像のみから作成されるので、この場合、記述子は、不完全である(且つ回転不変でない)。画像において取得されるオブジェクトの特徴量が多いほど、作成される記述子はより良くなる。
3Dコンピュータ生成モデルを含むアイテムのデータベースに関して、図3Bに示されるプロセスが、各3Dモデルについての、図6に示される記述子等の記述子を作成してお記憶するために実行される。データベース内のアイテムが、コンピュータにより生成されたものではない場合、すなわち、物理オブジェクトの他の表現である場合、上述した変更された記述子作成プロセスが、記述子を作成するために使用されるであろう。したがって、各場合において、3D記述子のデータベースが作成される。記憶される記述子が3Dコンピュータ生成モデルに関連する場合、3Dデータが、これらのモデルに利用可能であるので、全てのそのような記述子が回転不変になるであろう。
3Dアイテムデータベースについての記述子が作成されると、入力モデル又はオブジェクトに類似する3Dアイテムを見つけるために、データベースをクエリすることができる。図7Aに示される類似度評価部30を有する検索装置が、図7Bに示される検索プロセス又は類似度評価プロセスを実行する。類似度評価部30は、特徴量行列生成部31、データベース行列生成部32、類似度行列生成部33、類似度ベクトル生成部34、及び寸法フィルタ部35を有し、指定された3Dオブジェクト/モデルに関連付けられた記憶されている記述子の1つ以上の特徴量ベクトルと、データベース内の3Dアイテムに関連付けられた記憶されている記述子の特徴量ベクトルと、を使用して、指定された3Dオブジェクト/モデルとデータベース内の1つ以上の3Dアイテムとの間の類似の程度を評価するよう構成されている。
特徴量行列生成部31により実行される、図7Bの検索プロセスの最初のステップは、入力アイテムについての組み立てられた記述子を使用して、特徴量行列fMを作成し、寸法に関連する特徴量を抽出することである(ステップS71)。特徴量行列fMは、レンダリングされたビュー画像と同じ数(NX+NY+NZ)の行と、特徴量ベクトルにおける特徴量と同じ数(N)の列と、を有する。fMのi番目の行は、i番目のレンダリングされた画像から抽出された特徴量ベクトルに対応する。この情報は、例えば、データを行列形式で提示するための、記述子を形成している連続ベクトルに対する標準行列形状変更演算(standard matrix reshape operation)により、入力モデルの組み立てられた記述子から抽出される(形状変更演算は、次元(M,N)の行列が、次元(xM,N/x)の行列に変換される演算であり、xは、xM及びN/xの両方が整数である特性を有する)。組み立てられた記述子が、行列形式で記憶されている場合、特徴量行列を形成するためのデータを抽出するときに、形状変更演算は必要とされない。寸法情報は、単に、組み立てられた記述子から抽出される。
上述した、入力アイテムについての特徴量行列fMの作成に続いて、データベース行列dMが、データベース行列生成部32により作成される(ステップS72)。データベース行列を作成するために、データベース内の各モデルについての特徴量行列fMが作成され、次いで、これらの特徴量行列fMの全ての行が付加されて、DS*(NX+NY+NZ)個の行及びN個の列のサイズの行列が作成される。ここで、DSは、データベース内のモデルの総数であり、Nは、特徴量ベクトルの長さを表す。
次いで、入力アイテムに最も近い、データベース内のモデルが、図7Bの検索プロセスの残りのステップを使用して見つけられる。
まず、ステップS73において、類似度行列sMが、類似度行列生成部33により算出される。ここで、sM=1−fM*dMである。すなわち、sMは、入力モデルの各ビューの特徴量ベクトルとデータベース内の各モデルの各ビューの特徴量ベクトルとの間のコサイン距離を含む。sMを算出するための上記の式において、「*」は行列乗算を表し、上付きの「T」は、行列転置を表す。この式では、特徴量ベクトルが正規化されていると仮定していることに留意されたい。
次いで、簡約演算(reduction operation)が、類似度ベクトル生成部34により、行列sMに対して実行され、以下で説明するように、類似度ベクトルが算出される(ステップS74)。ベクトルsVは、長さDSを有し、ベクトルsVのj番目の要素は、入力モデルとデータベース内のj番目のモデルとの間の距離を格納するものである。ここで、入力モデルのi番目のビューとデータベース内のj番目のモデルとの間の距離は、入力モデルのi番目のビューに対応する特徴量ベクトル(すなわち、sMのi番目の行)と、データベース内のj番目のモデルの全てのビューに対応する特徴量ベクトルと、の間の最小コサイン距離として定義される。入力モデルとデータベース内のj番目のモデルとの間の距離は、入力モデルのビューとデータベース内のj番目のモデルのビューとの間の全ての距離にわたる総和として定義される。
類似度ベクトルsV、すなわち、入力モデルとデータベース内の全てのモデルとの間の距離が算出された後、データベースからの、寸法基準を満たさないモデルが、寸法フィルタ部35により除去される(ステップS75)。最後に、類似するとして見つけられたモデルについてのモデルIDの順序付きベクトルが出力される(ステップS76)。ここで、最初のモデルは、入力モデルに対して最小距離(すなわち、最も近い類似度)を有するモデルである。
一例として、特定の入力3Dモデルに類似する3Dモデルをデータベース内で見つけるプロセスが、図9を参照して説明される。この例における入力モデルが、図9の上部に示されており、入力モデルについての記述子を得るために上述したように処理されている。入力モデルに類似する3Dモデルを見つけるために、検索が、3Dモデルデータベースにおいて実行される。(例えば、おおよそ8000個の3D CADモデルを含む)3Dモデルデータベース内の各3Dモデルが、上述した記述子組み立てプロセスを使用して、記述子に変換されることになる。すなわち、データベース内の各3Dモデルの22個の画像が生成され、これらの画像の各々について、特徴量ベクトルが得られ、各記述子は、該当する3Dモデルの全ての特徴量ベクトルとその寸法特徴量とを含む。
入力モデルの特徴量を含む特徴量行列fMは、22個の行と1024個の列とを有するのに対し、データベース行列は、8000*22=176000個の行と1024個の列とを有する。次いで、22個の行と176000個の列とを有する類似度行列sMが算出される。類似度行列sMは、入力モデルの22個の画像の各画像の特徴量ベクトルと、データベース内の全ての3Dモデルの全ての画像の特徴量ベクトルと、の間の距離を示す。上述した簡約演算に続いて、入力モデルとデータベース内の全てのモデルとの間の距離を表す8000個の要素を有する類似度ベクトルsVが得られる。次いで、結果が、距離によって順序付けられ、200%よりも大きい、寸法特徴量における相対的差異を示す結果が、除去され、(図9の下部に示されるように)最も類似する20個のモデルが出力される。
本発明の実施形態は、3Dデータを検索することを必要とするあらゆる分野に適用可能である。例は、機械設計、3D印刷等である。本発明の実施形態はまた、ライブカメラからのオブジェクト認識等、入力3Dモデルが利用可能でない分野にも適用可能である。
一実施形態の特定の用途が、図10を参照して以下で説明される。
図10は、製品の製造において使用するための、一実施形態に従ったデータベース検索方法を使用するシステム10の図である。状況に応じて、例えば、顧客であることもあるし、このシステムが属する会社の従業員であることもある、システム10のユーザは、最良の(例えば、最もエネルギー効率の良い)製造プロセスを確認するために、製造される製品に関する情報をシステム10に提供し、任意的に、最良の製造プロセスに関連付けられるコスト及び納期の見積もりもシステム10に提供する。この例において、製品は、特注の製品であり、したがって、過去に製造された製品とはわずかに異なる。ユーザにより提供される情報は、以下のカテゴリに分類される:
・幾何学情報(例えば、CADモデル)
・数値情報(例えば、許容範囲)
・非数値情報(例えば、材料情報)
以前に製造された製品に関連する情報は、製品データベース30に記憶される。各製品に関連する幾何学情報は、上述した記述子組み立てプロセスを使用して製品から導出された記述子の形態で、このデータベースに保持される。データベース30又は別のデータベースは、以下でメタデータと呼ばれる、製品に関連する他の情報を、テキスト形式及び数値形式の両方で保持する。メタデータは、以下の3つのカテゴリに分類され得る:
1.材料特性、許容範囲、及び、製品が製造されることを可能にするレベルに製品を記述するのに必要とされる任意の他の情報を含む製品仕様メタデータ
2.製造プロセスの段階、マシンパラメータ、エネルギー使用量、材料使用量等といった、使用される製造プロセスに関する情報を含む製造プロセスメタデータ(すなわち、蓄積されている製造ノウハウ)
3.(使用された製造プロセスに依存する可能性が高い)製造コスト、販売価格、納期等
システム10は、製造される製品に関する必要とされる情報を、ユーザから受け取ると、データベース30内で見つけられた類似する以前に製造された製品から抽出された情報を使用して、以下の出力のうちの一方又は両方を生成する:
・この製品を製造するために使用される最良の製造プロセスについての推奨
・推奨される製造プロセスが使用されるという仮定の下での、コスト、納期等といった情報を含む見積もり
詳細には、システム10は、一実施形態に従った検索方法を使用して、データベース30が、製造される製品に類似する何らかのアイテムを含んでいるかどうかを判定する。この場合、検索は、記憶されているアイテムメタデータから導出された1つ以上の特徴量ベクトルを、記憶されているアイテム記述子から抽出された特徴量ベクトルに付加することにより得られた特徴量ベクトルを使用して、実行される。データベース内の2つ以上のアイテムが、製品に類似するものとして特定された場合、これらのアイテムは、どのアイテムが製品に最も類似するかを判定するために、製品との類似の程度に従ってランク付けされる。製品に類似する(又は、最も類似する)とみなされるアイテムの以前に記憶された詳細を使用して、システムのユーザに、必要とされる情報、すなわち、製品を製造するために使用する最良の製造プロセスに関する推奨、並びに/又は、製造するのに製品にどれだけのコストがかかるか及び/若しくは納期に関する見積もりを提供する。
本発明の実施形態は、ハードウェア、若しくは1つ以上のプロセッサ上で実行されるソフトウェアモジュール、又はこれらの組合せとして実装され得る。すなわち、マイクロプロセッサ又はデジタル信号プロセッサ(DSP)が、上述した機能の一部又は全てを実装するために実際に使用され得ることが、当業者であれば理解されよう。
本発明はまた、本明細書に記載の方法の一部又は全てを実行するための1つ以上のデバイスプログラム又は装置プログラム(例えば、コンピュータプログラム及びコンピュータプログラム製品)として具現化され得る。本発明を具現化するそのようなプログラムは、コンピュータ読み取り可能な媒体に記憶されてもよいし、例えば、1つ以上の信号の形態であってもよい。そのような信号は、インターネットウェブサイトからダウンロード可能なデータ信号であってもよいし、キャリア信号上に提供されてもよいし、任意の他の形態であってもよい。
図11は、本発明を具現化し、本発明を具現化する方法のステップの一部又は全てを実施するとともに一実施形態の装置のタスクの一部又は全てを実行するために使用され得る、データ記憶サーバ等のコンピューティングデバイスのブロック図である。例えば、図11のコンピューティングデバイスは、図3Bの記述子作成方法及び図7Bに示されるデータベース検索方法の全てのステップを実施するとともに、図3Aに示される記述子作成装置及び図7Aのデータベース検索装置の全てのタスクを実行するために使用されてもよいし、図3B又は図7Bの方法のステップの一部のみを実施するとともに、図3A又は図7Aの装置のタスクの一部のみを実行するために使用されてもよい。
コンピューティングデバイスは、プロセッサ993及びメモリ994を有する。任意的に、コンピューティングデバイスは、例えば、本発明の実施形態の他のコンピューティングデバイスといった他のそのようなコンピューティングデバイスと通信するためのネットワークインタフェース997も含む。
例えば、一実施形態は、そのようなコンピューティングデバイス群のネットワークを含み得る。任意的に、コンピューティングデバイスは、キーボード及びマウス等の1つ以上の入力機構996及び1つ以上のモニタ等のディスプレイユニット995も含む。これらのコンポーネントは、バス992を介して互いに接続可能である。
メモリ994は、コンピュータ読み取り可能な媒体を含み得る。コンピュータ読み取り可能な媒体という用語は、コンピュータ実行可能な命令を運ぶ又はデータ構造を記憶するよう構成された1つの媒体又は複数の媒体(例えば、集中データベース若しくは分散データベース並びに/又は関連するキャッシュ及びサーバ)を指し得る。コンピュータ実行可能な命令は、例えば、汎用コンピュータ、特殊目的コンピュータ、又は特殊目的処理デバイス(例えば、1つ以上のプロセッサ)によりアクセス可能であり、これらに1つ以上の機能又は動作を実行させる命令及びデータを含み得る。したがって、「コンピュータ読み取り可能な記憶媒体」という用語も、マシンにより実行され、マシンに本開示の方法のうちの1つ以上を実行させる命令のセットを記憶する、符号化する、又は運ぶことができる任意の媒体を含み得る。したがって、「コンピュータ読み取り可能な記憶媒体」という用語は、ソリッドステートメモリ、光媒体、及び磁気媒体を含むが、これらに限定されるものではないと解釈され得る。限定ではなく例として、そのようなコンピュータ読み取り可能な媒体は、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(EEPROM)、コンパクトディスク読み取り専用メモリ(CD−ROM)又は他の光ディスクストレージ、磁気ディスクストレージ又は他の磁気記憶デバイス、フラッシュメモリデバイス(例えば、ソリッドステートメモリデバイス)を含む非一時的なコンピュータ読み取り可能な記憶媒体を含み得る。
プロセッサ993は、コンピューティングデバイスを制御し、例えば、図3、図4、図5、図7B、図8、図9、及び/又は図10を参照して説明され請求項において定められる方法を実装するようにメモリ994に記憶されたコンピュータプログラムコードを実行する等の処理動作を実行するよう構成される。メモリ994は、プロセッサ993により読み書きされているデータを記憶する。本明細書で言及されているように、プロセッサは、マイクロプロセッサ、中央処理装置等といった1つ以上の汎用処理デバイスを含み得る。プロセッサは、複合命令セットコンピューティング(CISC)マイクロプロセッサ、縮小命令セットコンピューティング(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、又は、他の命令セットを実装しているプロセッサ若しくは命令セットの組合せを実装しているプロセッサを含み得る。プロセッサはまた、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ等といった1つ以上の特殊目的処理デバイスを含み得る。1つ以上の実施形態において、プロセッサは、本明細書に記載の動作及びステップを実行するための命令を実行するよう構成される。
ディスプレイユニット995は、コンピューティングデバイスにより記憶されたデータの表現を表示することができ、ユーザとコンピューティングデバイスに記憶されているプログラム及びデータとの間のインタラクションを可能にするカーソル及びダイアログボックス並びにスクリーンも表示することができる。入力機構996は、ユーザが、コンピューティングデバイスにデータ及び命令を入力することを可能にし得る。
ネットワークインタフェース(ネットワークI/F)997は、インターネット等のネットワークに接続され得るものであり、ネットワークを介して他のそのようなコンピューティングデバイスに接続可能である。ネットワークI/F997は、ネットワークを介した他の装置から/へのデータ入力/出力を制御することができる。
マイクロフォン、スピーカ、プリンタ、電力供給ユニット、ファン、ケース、スキャナ、トラッカボール等といった他の周辺デバイスも、コンピューティングデバイスに含められ得る。
本発明を具現化する方法は、図11に示されるコンピューティングデバイス等のコンピューティングデバイス上で実行され得る。そのようなコンピューティングデバイスは、図11に示される全てのコンポーネントを有する必要はなく、これらのコンポーネントのサブセットのみを含んでもよい。本発明を具現化する方法は、ネットワークを介して1つ以上のデータ記憶サーバと通信する単一のコンピューティングデバイスにより実行され得る。コンピューティングデバイスは、データの少なくとも一部を記憶するデータストレージ自体であってもよい。
本発明を具現化する方法は、互いと協調して動作する複数のコンピューティングデバイスにより実行されてもよい。複数のコンピューティングデバイスのうちの1つ以上は、データの少なくとも一部を記憶するデータ記憶サーバであってもよい。
本発明の上述した実施形態は、有利なことに、このような実施形態のうちのいずれの他の実施形態とも独立に使用されることもあるし、このような実施形態のうちの1つ以上の他の実施形態との任意の実現可能な組合せで使用されることもある。
以上の実施形態に関し、さらに以下の付記を開示する。
(付記1)
3次元(3D)コンピュータ生成モデルについての記述子を作成する、コンピュータにより実施される方法であって、
複数の異なる軸の各々の回りに独立に前記3Dコンピュータ生成モデルを完全に回転させることにより、固定された視点からの前記3Dコンピュータ生成モデルの複数の2次元(2D)のレンダリングされた画像を得るステップと、
各2Dのレンダリングされた画像から、当該2Dのレンダリングされた画像の特徴量を表す特徴量ベクトルを抽出するステップであって、前記記述子は、前記の抽出された特徴量ベクトルの各々を含むベクトル列を有する、ステップと、
を含む、方法。
(付記2)
前記記述子は、前記3Dコンピュータ生成モデルの寸法特徴量をそれぞれ表す、寸法に関連する1つ以上の特徴量をさらに有する、付記1に記載の方法。
(付記3)
前記3Dコンピュータ生成モデルは、0より大きい大きさの角度ステップずつ前記複数の異なる軸のうちの1つ以上の回りに回転される、付記1又は2に記載の方法。
(付記4)
前記角度ステップは、各軸に対して同一である、付記3に記載の方法。
(付記5)
前記複数の異なる軸は、3つの相互に垂直な軸を含む、付記1乃至4いずれかに記載の方法。
(付記6)
各角度ステップは、30°から45°までの範囲にある、付記3又は4に付加されるとして読まれた場合の付記5に記載の方法。
(付記7)
3次元(3D)オブジェクトについての記述子を作成する、コンピュータにより実施される方法であって、
前記3Dオブジェクトの少なくとも1つの2次元(2D)の画像を得るステップと、
各2Dの画像から、当該2Dの画像の特徴量を表す特徴量ベクトルを抽出するステップと、
を含み、
1つの2Dの画像のみが存在する場合、前記記述子は、前記の抽出された特徴量ベクトルを有し、2つ以上の2Dの画像が存在する場合、前記記述子は、前記の抽出された特徴量ベクトルの各々を含むベクトル列を有し、
前記記述子は、前記3Dオブジェクトの寸法特徴量をそれぞれ表す、寸法に関連する1つ以上の特徴量をさらに有する、方法。
(付記8)
各特徴量ベクトルは、深層ニューラルネットワークを使用して、2Dの前記画像から抽出される、付記1乃至7いずれかに記載の方法。
(付記9)
指定された3次元(3D)オブジェクト又は指定された3Dコンピュータ生成モデルとの類似度について3Dアイテムのデータベースを検索するための、コンピュータにより実施される検索する方法であって、
前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルに関連付けられた記述子の1つ以上の特徴量ベクトルと、前記データベース内の前記3Dアイテムに関連付けられた記述子の特徴量ベクトルと、を使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルと前記データベース内の1つ以上の3Dアイテムとの間の類似の程度を確認する類似度評価プロセス
を含み、
前記データベース内の前記3Dアイテムに関連付けられた前記記述子の各々は、付記1乃至8いずれかに記載の方法に従って作成されたものであり、前記指定された3Dオブジェクトに関連付けられた前記記述子は、付記7に記載の方法に従って作成されたものであり、あるいは、前記指定された3Dコンピュータ生成モデルに関連付けられた前記記述子は、付記1乃至6及び8いずれかに記載の方法に従って作成されたものである、方法。
(付記10)
前記データベース内の前記3Dアイテムに関連付けられた前記記述子は、付記2に記載の方法に従って作成されたものであり、前記類似度評価プロセスは、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルと前記データベース内の前記3Dアイテムとの前記記述子の寸法に関連する特徴量を使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルとサイズにおいて適合しない、前記データベース内の3Dアイテムを特定するステップを含む、付記9に記載の方法。
(付記11)
前記類似度評価プロセスは、
前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルに関連付けられた前記記述子の前記1つ以上の特徴量ベクトルを使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルについて特徴量行列fMを作成するステップと、
前記データベース内の前記3Dアイテムに関連付けられた前記記述子の前記特徴量ベクトルを使用して、前記データベース内の各3Dアイテムについて特徴量行列fMを作成するステップと、
前記データベース内の前記3Dアイテムについて作成された前記特徴量行列fMを付加して、データベース行列dMを作成するステップと、
前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルについての前記特徴量行列fMと前記データベース行列dMとを使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルに関連付けられた前記記述子の各特徴量ベクトルと、前記データベース内の前記3Dアイテムに関連付けられた前記記述子の各特徴量ベクトルと、の間の距離を示す類似度行列sMを算出するステップと、
前記類似度行列sMから類似度ベクトルsVを導出するステップであって、前記類似度ベクトルsVは、長さDSを有し、前記類似度ベクトルのj番目の要素は、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルと、前記データベース内のj番目のアイテムと、の間の類似度を表す、ステップと、
を含む、付記9又は10に記載の方法。
(付記12)
前記特徴量行列fMの行の数NRは、特徴量ベクトルの数と同じであり、前記特徴量行列fMの列の数NCは、前記1つ以上の特徴量ベクトルにおける特徴量の数と同じであり、前記特徴量行列fMのi番目の行は、前記記述子のi番目の特徴量ベクトルに対応し、
各特徴量行列fMにおいて、当該特徴量行列fMの行の数NRは、前記データベース内の該当する3Dアイテムに関連付けられた前記記述子における特徴量ベクトルの数と同じであり、当該特徴量行列fMの列の数NCは、前記データベース内の該当する3Dアイテムに関連付けられた前記記述子における各特徴量ベクトルにおける特徴量の数と同じであり、当該特徴量行列fMのi番目の行は、前記データベース内の該当する3Dアイテムに関連付けられた前記記述子のi番目の特徴量ベクトルに対応し、
前記データベース行列dMにおける行の数は、DS*NRであり、DSは、前記データベース内のアイテムの総数であり、前記データベース行列dMにおける列の数は、NCである、付記11に記載の方法。
(付記13)
コンピュータ上で実行されたときに前記コンピュータに付記1乃至12いずれかに記載の方法を実行させるコンピュータプログラム。
(付記14)
製品を製造する際に使用するための方法であって、
以前に製造された又は製造のために準備された3次元(3D)アイテムのデータベースを設けるステップであって、前記データベースは、各アイテムに関連付けられた記述子を含み、前記データベース内の前記3Dアイテムに関連付けられた前記記述子の各々は、付記1乃至8いずれかに記載の方法に従って作成されたものである、ステップと、
製造される製品を指定する情報を受信するステップであって、前記情報は、前記製品の幾何学配置を指定する幾何学情報を含む、ステップと、
付記1乃至8いずれかに記載の方法に従って、前記製品の前記幾何学情報から記述子を導出するステップと、
付記9乃至12いずれかに記載の方法を使用して、前記データベースを検索して、前記データベース内のアイテムと、製造される前記製品と、の間の類似の程度を確認するステップと、
前記データベース内のどのアイテムが、製造される前記製品に最も類似するかを判定するステップと、
製造される前記製品に最も類似すると判定されたアイテムの製造に関連付けられた製造プロセスに関連する記憶されている製造プロセス情報を取得し、前記の取得された製造プロセス情報を使用して、前記製品を製造するステップと、
を含む、方法。
(付記15)
3次元(3D)コンピュータ生成モデルについての記述子を作成するよう構成されている記述子作成装置であって、
複数の異なる軸の各々の回りに独立に前記3Dコンピュータ生成モデルを完全に回転させることにより、固定された視点からの前記3Dコンピュータ生成モデルの複数の2次元(2D)のレンダリングされた画像を得るよう構成されている画像レンダリング部と、
各2Dのレンダリングされた画像から、当該2Dのレンダリングされた画像の特徴量を表す特徴量ベクトルを抽出するよう構成されている特徴量ベクトル抽出部と、
前記の抽出された特徴量ベクトルの各々を含むベクトル列を組み立てることにより前記記述子を形成するよう構成されている記述子組み立て部と、
を有する、記述子作成装置。
(付記16)
前記記述子組み立て部は、さらに、前記3Dコンピュータ生成モデルの寸法特徴量をそれぞれ表す、寸法に関連する1つ以上の特徴量を、前記記述子に含めるよう構成されている、付記15に記載の記述子作成装置。
(付記17)
前記画像レンダリング部は、0より大きい大きさの角度ステップずつ前記複数の異なる軸のうちの1つ以上の回りに前記3Dコンピュータ生成モデルを回転させるよう動作可能である、付記15又は16に記載の記述子作成装置。
(付記18)
前記角度ステップは、各軸に対して同一である、付記17に記載の記述子作成装置。
(付記19)
前記複数の異なる軸は、3つの相互に垂直な軸を含む、付記15乃至18いずれかに記載の記述子作成装置。
(付記20)
各角度ステップは、30°から45°までの範囲にある、付記17又は18に付加されるとして読まれた場合の付記19に記載の記述子作成装置。
(付記21)
3次元(3D)オブジェクトについての記述子を作成するよう構成されている記述子作成装置であって、
前記3Dオブジェクトの1つ以上の2次元(2D)の画像の各2Dの画像から、当該2Dの画像の特徴量を表す特徴量ベクトルを抽出するよう構成されている特徴量ベクトル抽出部と、
1つの2Dの画像のみが存在する場合、前記の抽出された特徴量ベクトルから前記記述子を形成するよう構成されており、2つ以上の2Dの画像が存在する場合、前記の抽出された特徴量ベクトルの各々を含むベクトル列を組み立てるよう構成されている記述子組み立て部と、
を有し、
前記記述子組み立て部は、さらに、前記3Dオブジェクトの寸法特徴量をそれぞれ表す、寸法に関連する1つ以上の特徴量を、前記記述子に含めるよう構成されている、記述子作成装置。
(付記22)
指定された3次元(3D)オブジェクト又は指定された3Dコンピュータ生成モデルとの類似度について3Dアイテムのデータベースを検索するよう構成されている検索装置であって、
前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルに関連付けられた記述子の1つ以上の特徴量ベクトルと、前記データベース内の前記3Dアイテムに関連付けられた記述子の特徴量ベクトルと、を使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルと前記データベース内の1つ以上の3Dアイテムとの間の類似の程度を評価するよう構成されている類似度評価部
を有し、
前記データベース内の前記3Dアイテムに関連付けられた前記記述子の各々は、付記15乃至21いずれかに記載の記述子作成装置により作成されたものであり、前記指定された3Dオブジェクトに関連付けられた前記記述子は、付記21に記載の記述子作成装置により作成されたものであり、あるいは、前記指定された3Dコンピュータ生成モデルに関連付けられた前記記述子は、付記15乃至20いずれかに記載の記述子作成装置により作成されたものである、検索装置。
(付記23)
前記データベース内の前記3Dアイテムに関連付けられた前記記述子は、付記15に記載の記述子作成装置により作成されたものであり、前記類似度評価部は、さらに、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルと前記データベース内の前記3Dアイテムとの前記記述子の寸法に関連する特徴量を使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルとサイズにおいて適合しない、前記データベース内の3Dアイテムを特定するよう構成されている、付記22に記載の検索装置。
10 記述子作成装置
11 画像レンダリング部
12 特徴量ベクトル抽出部
13 記述子組み立て部
20 記憶部
31 特徴量行列(fM)生成部
32 データベース行列(dM)生成部
33 類似度行列(sM)生成部
34 類似度ベクトル(sV)生成部
35 寸法フィルタ部
993 プロセッサ
994 メモリ
995 ディスプレイユニット
996 入力機構
997 ネットワークインタフェース(ネットワークI/F)

Claims (23)

  1. 3次元(3D)コンピュータ生成モデルについての記述子を作成する、コンピュータにより実施される方法であって、
    複数の異なる軸の各々の回りに独立に前記3Dコンピュータ生成モデルを完全に回転させることにより、固定された視点からの前記3Dコンピュータ生成モデルの複数の2次元(2D)のレンダリングされた画像を得るステップと、
    各2Dのレンダリングされた画像から、当該2Dのレンダリングされた画像の特徴量を表す特徴量ベクトルを抽出するステップであって、前記記述子は、前記の抽出された特徴量ベクトルの各々を含むベクトル列を有する、ステップと、
    を含む、方法。
  2. 前記記述子は、前記3Dコンピュータ生成モデルの寸法特徴量をそれぞれ表す、寸法に関連する1つ以上の特徴量をさらに有する、請求項1に記載の方法。
  3. 前記3Dコンピュータ生成モデルは、0より大きい大きさの角度ステップずつ前記複数の異なる軸のうちの1つ以上の回りに回転される、請求項1又は2に記載の方法。
  4. 前記角度ステップは、各軸に対して同一である、請求項3に記載の方法。
  5. 前記複数の異なる軸は、3つの相互に垂直な軸を含む、請求項1乃至4いずれか一項に記載の方法。
  6. 各角度ステップは、30°から45°までの範囲にある、請求項3又は4に付加されるとして読まれた場合の請求項5に記載の方法。
  7. 3次元(3D)オブジェクトについての記述子を作成する、コンピュータにより実施される方法であって、
    前記3Dオブジェクトの少なくとも1つの2次元(2D)の画像を得るステップと、
    各2Dの画像から、当該2Dの画像の特徴量を表す特徴量ベクトルを抽出するステップと、
    を含み、
    1つの2Dの画像のみが存在する場合、前記記述子は、前記の抽出された特徴量ベクトルを有し、2つ以上の2Dの画像が存在する場合、前記記述子は、前記の抽出された特徴量ベクトルの各々を含むベクトル列を有し、
    前記記述子は、前記3Dオブジェクトの寸法特徴量をそれぞれ表す、寸法に関連する1つ以上の特徴量をさらに有する、方法。
  8. 各特徴量ベクトルは、深層ニューラルネットワークを使用して、2Dの前記画像から抽出される、請求項1乃至7いずれか一項に記載の方法。
  9. 指定された3次元(3D)オブジェクト又は指定された3Dコンピュータ生成モデルとの類似度について3Dアイテムのデータベースを検索するための、コンピュータにより実施される検索する方法であって、
    前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルに関連付けられた記述子の1つ以上の特徴量ベクトルと、前記データベース内の前記3Dアイテムに関連付けられた記述子の特徴量ベクトルと、を使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルと前記データベース内の1つ以上の3Dアイテムとの間の類似の程度を確認する類似度評価プロセス
    を含み、
    前記データベース内の前記3Dアイテムに関連付けられた前記記述子の各々は、請求項1乃至8いずれか一項に記載の方法に従って作成されたものであり、前記指定された3Dオブジェクトに関連付けられた前記記述子は、請求項7に記載の方法に従って作成されたものであり、あるいは、前記指定された3Dコンピュータ生成モデルに関連付けられた前記記述子は、請求項1乃至6及び8いずれか一項に記載の方法に従って作成されたものである、方法。
  10. 前記データベース内の前記3Dアイテムに関連付けられた前記記述子は、請求項2に記載の方法に従って作成されたものであり、前記類似度評価プロセスは、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルと前記データベース内の前記3Dアイテムとの前記記述子の寸法に関連する特徴量を使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルとサイズにおいて適合しない、前記データベース内の3Dアイテムを特定するステップを含む、請求項9に記載の方法。
  11. 前記類似度評価プロセスは、
    前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルに関連付けられた前記記述子の前記1つ以上の特徴量ベクトルを使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルについて特徴量行列fMを作成するステップと、
    前記データベース内の前記3Dアイテムに関連付けられた前記記述子の前記特徴量ベクトルを使用して、前記データベース内の各3Dアイテムについて特徴量行列fMを作成するステップと、
    前記データベース内の前記3Dアイテムについて作成された前記特徴量行列fMを付加して、データベース行列dMを作成するステップと、
    前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルについての前記特徴量行列fMと前記データベース行列dMとを使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルに関連付けられた前記記述子の各特徴量ベクトルと、前記データベース内の前記3Dアイテムに関連付けられた前記記述子の各特徴量ベクトルと、の間の距離を示す類似度行列sMを算出するステップと、
    前記類似度行列sMから類似度ベクトルsVを導出するステップであって、前記類似度ベクトルsVは、長さDSを有し、前記類似度ベクトルのj番目の要素は、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルと、前記データベース内のj番目のアイテムと、の間の類似度を表す、ステップと、
    を含む、請求項9又は10に記載の方法。
  12. 前記特徴量行列fMの行の数NRは、特徴量ベクトルの数と同じであり、前記特徴量行列fMの列の数NCは、前記1つ以上の特徴量ベクトルにおける特徴量の数と同じであり、前記特徴量行列fMのi番目の行は、前記記述子のi番目の特徴量ベクトルに対応し、
    各特徴量行列fMにおいて、当該特徴量行列fMの行の数NRは、前記データベース内の該当する3Dアイテムに関連付けられた前記記述子における特徴量ベクトルの数と同じであり、当該特徴量行列fMの列の数NCは、前記データベース内の該当する3Dアイテムに関連付けられた前記記述子における各特徴量ベクトルにおける特徴量の数と同じであり、当該特徴量行列fMのi番目の行は、前記データベース内の該当する3Dアイテムに関連付けられた前記記述子のi番目の特徴量ベクトルに対応し、
    前記データベース行列dMにおける行の数は、DS*NRであり、DSは、前記データベース内のアイテムの総数であり、前記データベース行列dMにおける列の数は、NCである、請求項11に記載の方法。
  13. コンピュータ上で実行されたときに前記コンピュータに請求項1乃至12いずれか一項に記載の方法を実行させるコンピュータプログラム。
  14. 製品を製造する際に使用するための方法であって、
    以前に製造された又は製造のために準備された3次元(3D)アイテムのデータベースを設けるステップであって、前記データベースは、各アイテムに関連付けられた記述子を含み、前記データベース内の前記3Dアイテムに関連付けられた前記記述子の各々は、請求項1乃至8いずれか一項に記載の方法に従って作成されたものである、ステップと、
    製造される製品を指定する情報を受信するステップであって、前記情報は、前記製品の幾何学配置を指定する幾何学情報を含む、ステップと、
    請求項1乃至8いずれか一項に記載の方法に従って、前記製品の前記幾何学情報から記述子を導出するステップと、
    請求項9乃至12いずれか一項に記載の方法を使用して、前記データベースを検索して、前記データベース内のアイテムと、製造される前記製品と、の間の類似の程度を確認するステップと、
    前記データベース内のどのアイテムが、製造される前記製品に最も類似するかを判定するステップと、
    製造される前記製品に最も類似すると判定されたアイテムの製造に関連付けられた製造プロセスに関連する記憶されている製造プロセス情報を取得し、前記の取得された製造プロセス情報を使用して、前記製品を製造するステップと、
    を含む、方法。
  15. 3次元(3D)コンピュータ生成モデルについての記述子を作成するよう構成されている記述子作成装置であって、
    複数の異なる軸の各々の回りに独立に前記3Dコンピュータ生成モデルを完全に回転させることにより、固定された視点からの前記3Dコンピュータ生成モデルの複数の2次元(2D)のレンダリングされた画像を得るよう構成されている画像レンダリング部と、
    各2Dのレンダリングされた画像から、当該2Dのレンダリングされた画像の特徴量を表す特徴量ベクトルを抽出するよう構成されている特徴量ベクトル抽出部と、
    前記の抽出された特徴量ベクトルの各々を含むベクトル列を組み立てることにより前記記述子を形成するよう構成されている記述子組み立て部と、
    を有する、記述子作成装置。
  16. 前記記述子組み立て部は、さらに、前記3Dコンピュータ生成モデルの寸法特徴量をそれぞれ表す、寸法に関連する1つ以上の特徴量を、前記記述子に含めるよう構成されている、請求項15に記載の記述子作成装置。
  17. 前記画像レンダリング部は、0より大きい大きさの角度ステップずつ前記複数の異なる軸のうちの1つ以上の回りに前記3Dコンピュータ生成モデルを回転させるよう動作可能である、請求項15又は16に記載の記述子作成装置。
  18. 前記角度ステップは、各軸に対して同一である、請求項17に記載の記述子作成装置。
  19. 前記複数の異なる軸は、3つの相互に垂直な軸を含む、請求項15乃至18いずれか一項に記載の記述子作成装置。
  20. 各角度ステップは、30°から45°までの範囲にある、請求項17又は18に付加されるとして読まれた場合の請求項19に記載の記述子作成装置。
  21. 3次元(3D)オブジェクトについての記述子を作成するよう構成されている記述子作成装置であって、
    前記3Dオブジェクトの1つ以上の2次元(2D)の画像の各2Dの画像から、当該2Dの画像の特徴量を表す特徴量ベクトルを抽出するよう構成されている特徴量ベクトル抽出部と、
    1つの2Dの画像のみが存在する場合、前記の抽出された特徴量ベクトルから前記記述子を形成するよう構成されており、2つ以上の2Dの画像が存在する場合、前記の抽出された特徴量ベクトルの各々を含むベクトル列を組み立てるよう構成されている記述子組み立て部と、
    を有し、
    前記記述子組み立て部は、さらに、前記3Dオブジェクトの寸法特徴量をそれぞれ表す、寸法に関連する1つ以上の特徴量を、前記記述子に含めるよう構成されている、記述子作成装置。
  22. 指定された3次元(3D)オブジェクト又は指定された3Dコンピュータ生成モデルとの類似度について3Dアイテムのデータベースを検索するよう構成されている検索装置であって、
    前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルに関連付けられた記述子の1つ以上の特徴量ベクトルと、前記データベース内の前記3Dアイテムに関連付けられた記述子の特徴量ベクトルと、を使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルと前記データベース内の1つ以上の3Dアイテムとの間の類似の程度を評価するよう構成されている類似度評価部
    を有し、
    前記データベース内の前記3Dアイテムに関連付けられた前記記述子の各々は、請求項15乃至21いずれか一項に記載の記述子作成装置により作成されたものであり、前記指定された3Dオブジェクトに関連付けられた前記記述子は、請求項21に記載の記述子作成装置により作成されたものであり、あるいは、前記指定された3Dコンピュータ生成モデルに関連付けられた前記記述子は、請求項15乃至20いずれか一項に記載の記述子作成装置により作成されたものである、検索装置。
  23. 前記データベース内の前記3Dアイテムに関連付けられた前記記述子は、請求項15に記載の記述子作成装置により作成されたものであり、前記類似度評価部は、さらに、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルと前記データベース内の前記3Dアイテムとの前記記述子の寸法に関連する特徴量を使用して、前記指定された3Dオブジェクト又は前記指定された3Dコンピュータ生成モデルとサイズにおいて適合しない、前記データベース内の3Dアイテムを特定するよう構成されている、請求項22に記載の検索装置。
JP2017097161A 2016-05-17 2017-05-16 記述子を使用して3dアイテムのデータベースを検索する方法及び装置 Pending JP2017208092A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
DE102016208436 2016-05-17
GBGB1608645.6A GB201608645D0 (en) 2016-05-17 2016-05-17 Method and apparatus for searching a database of 3D items using descriptors
DE102016208436.4 2016-05-17
GB1608645.6 2016-05-17
EP17163735.8A EP3246851A1 (en) 2016-05-17 2017-03-30 Method and apparatus for searching a database of 3d items using descriptors
EP17163735.8 2017-03-30

Publications (1)

Publication Number Publication Date
JP2017208092A true JP2017208092A (ja) 2017-11-24

Family

ID=58461139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017097161A Pending JP2017208092A (ja) 2016-05-17 2017-05-16 記述子を使用して3dアイテムのデータベースを検索する方法及び装置

Country Status (3)

Country Link
US (1) US10210656B2 (ja)
EP (1) EP3246851A1 (ja)
JP (1) JP2017208092A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766807A (zh) * 2019-09-25 2020-02-07 稿定(厦门)科技有限公司 3d图形旋转方法、介质、设备及装置
JP6833114B1 (ja) * 2019-11-28 2021-02-24 三菱電機株式会社 ワーク画像検索装置およびワーク画像検索方法
KR20220163584A (ko) * 2021-06-03 2022-12-12 고려대학교 산학협력단 기계가공 특징형상 인식 방법 및 이를 수행하기 위한 컴퓨팅 장치

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10459995B2 (en) * 2016-12-22 2019-10-29 Shutterstock, Inc. Search engine for processing image search queries in multiple languages
US10552478B1 (en) * 2016-12-28 2020-02-04 Shutterstock, Inc. Image search using intersected predicted queries
US20180268614A1 (en) * 2017-03-16 2018-09-20 General Electric Company Systems and methods for aligning pmi object on a model
WO2019075276A1 (en) * 2017-10-11 2019-04-18 Aquifi, Inc. SYSTEMS AND METHODS FOR IDENTIFYING OBJECT
US20190251744A1 (en) * 2018-02-12 2019-08-15 Express Search, Inc. System and method for searching 3d models using 2d images
CN108595631B (zh) * 2018-04-24 2021-05-07 西北工业大学 基于图谱理论的三维cad模型双层检索方法
CN108808547B (zh) * 2018-06-01 2019-12-27 南京理工大学 一种带电更换避雷器作业现场的快速重构方法
EP3648065A1 (en) 2018-11-05 2020-05-06 Twikit NV A system for determining visually relevant design differences between 3d models
CN111198870B (zh) * 2019-12-23 2024-04-02 浙江中控技术股份有限公司 一种过程装备的建模方法及系统
US11815876B2 (en) * 2021-03-16 2023-11-14 Hcl Technologies Limited Method and system for automatic identification of primary manufacturing process from three-dimensional model of product
CN114020953B (zh) * 2021-10-27 2022-12-13 北京中知智慧科技有限公司 外观设计产品的多图检索方法及装置
CN115239877B (zh) * 2022-07-07 2023-05-09 青海师范大学 一种基于不变矩的谱形状描述符的三维模型匹配方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164503A (ja) * 2002-11-15 2004-06-10 Olympus Corp 三次元モデル検索方法、三次元モデル検索装置、三次元モデル検索プログラム、及び三次元モデル検索システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2688911B1 (fr) 1992-02-24 1994-07-29 Robert Pierre Procede de creation de la signature d'un objet represente sur une image numerique, du type consistant a definir au moins un calibre dimensionnel caracteristique dudit objet, et procede correspondant de verification de la signature d'un objet.
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US20080269942A1 (en) 2007-04-26 2008-10-30 David Mitchell Free Computer system and method for providing real-world market-based information corresponding with a theoretical cad model and/or rfq/rfp data
JP2009129337A (ja) 2007-11-27 2009-06-11 Hitachi Ltd 三次元類似形状検索装置
US8391611B2 (en) 2009-10-21 2013-03-05 Sony Ericsson Mobile Communications Ab Methods, systems and computer program products for identifying descriptors for an image
US8566325B1 (en) 2010-12-23 2013-10-22 Google Inc. Building search by contents
US8879815B2 (en) 2011-08-23 2014-11-04 Siemens Aktiengesellschaft Automatic initialization for 2D/3D registration
US20150178321A1 (en) 2012-04-10 2015-06-25 Google Inc. Image-based 3d model search and retrieval
GB2514320B (en) 2013-03-15 2020-01-29 3D Industries Ltd A method and system for 3D model database retrieval
US9530250B2 (en) 2013-12-10 2016-12-27 Dassault Systemes Augmented reality updating of 3D CAD models
US9922359B2 (en) 2014-04-08 2018-03-20 Imaginestics, Llc Three-dimensional image searching using active label technology
US20170140549A1 (en) 2014-07-03 2017-05-18 Amiad Gurman Method of perceiving 3d structure from a pair of images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004164503A (ja) * 2002-11-15 2004-06-10 Olympus Corp 三次元モデル検索方法、三次元モデル検索装置、三次元モデル検索プログラム、及び三次元モデル検索システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HANG SU ET AL.: "Multi-view Convolutional Neural Networks for 3D Shape Recognition", 2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV),US, JPN6021008649, 7 December 2015 (2015-12-07), ISSN: 0004582150 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766807A (zh) * 2019-09-25 2020-02-07 稿定(厦门)科技有限公司 3d图形旋转方法、介质、设备及装置
JP6833114B1 (ja) * 2019-11-28 2021-02-24 三菱電機株式会社 ワーク画像検索装置およびワーク画像検索方法
WO2021106154A1 (ja) * 2019-11-28 2021-06-03 三菱電機株式会社 ワーク画像検索装置、ワーク画像検索方法、および機械学習装置
US11580156B2 (en) 2019-11-28 2023-02-14 Mitsubishi Electric Corporation Workpiece image search apparatus and workpiece image search method
KR20220163584A (ko) * 2021-06-03 2022-12-12 고려대학교 산학협력단 기계가공 특징형상 인식 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102596257B1 (ko) * 2021-06-03 2023-10-30 고려대학교 산학협력단 기계가공 특징형상 인식 방법 및 이를 수행하기 위한 컴퓨팅 장치

Also Published As

Publication number Publication date
EP3246851A1 (en) 2017-11-22
US20170337733A1 (en) 2017-11-23
US10210656B2 (en) 2019-02-19

Similar Documents

Publication Publication Date Title
JP2017208092A (ja) 記述子を使用して3dアイテムのデータベースを検索する方法及び装置
Shi et al. From points to parts: 3d object detection from point cloud with part-aware and part-aggregation network
Armeni et al. 3d scene graph: A structure for unified semantics, 3d space, and camera
Sfikas et al. Ensemble of PANORAMA-based convolutional neural networks for 3D model classification and retrieval
CN108509848B (zh) 三维物体的实时检测方法及系统
Wang et al. Sketch-based 3d shape retrieval using convolutional neural networks
Papadakis et al. PANORAMA: A 3D shape descriptor based on panoramic views for unsupervised 3D object retrieval
Savelonas et al. An overview of partial 3D object retrieval methodologies
Leng et al. 3D object retrieval with multitopic model combining relevance feedback and LDA model
Zou et al. A novel 3D model retrieval approach using combined shape distribution
Kim et al. Shape distribution-based retrieval of 3D CAD models at different levels of detail
CN114022542A (zh) 一种基于三维重建的3d数据库制作方法
Cao et al. Accurate 3-D reconstruction under IoT environments and its applications to augmented reality
Pickup et al. Shrec’15 track: Canonical forms for non-rigid 3d shape retrieval
Liu et al. Research of commodity recommendation workflow based on LSH algorithm
Shrestha et al. A real world dataset for multi-view 3d reconstruction
Paradowski et al. Local keypoints and global affine geometry: Triangles and ellipses for image fragment matching
Su et al. 3d-assisted image feature synthesis for novel views of an object
Axenopoulos et al. 3D model retrieval using accurate pose estimation and view-based similarity
Sfikas et al. 3D object retrieval via range image queries in a bag-of-visual-words context
Li et al. A non-rigid 3D model retrieval method based on scale-invariant heat kernel signature features
Li et al. 3D sketching for 3D object retrieval
CN111414802B (zh) 蛋白质数据特征提取方法
Mitra et al. Seethrough: Finding objects in heavily occluded indoor scene images
Tabia et al. Deformable shape retrieval using bag-of-feature techniques

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210512

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210831