JP2019036310A - 少なくとも2つの異なる3dモデルを登録する方法 - Google Patents
少なくとも2つの異なる3dモデルを登録する方法 Download PDFInfo
- Publication number
- JP2019036310A JP2019036310A JP2018153145A JP2018153145A JP2019036310A JP 2019036310 A JP2019036310 A JP 2019036310A JP 2018153145 A JP2018153145 A JP 2018153145A JP 2018153145 A JP2018153145 A JP 2018153145A JP 2019036310 A JP2019036310 A JP 2019036310A
- Authority
- JP
- Japan
- Prior art keywords
- model
- features
- vector
- models
- vectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000013598 vector Substances 0.000 claims abstract description 35
- 230000009466 transformation Effects 0.000 claims description 10
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 claims description 3
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims 2
- 238000007689 inspection Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 8
- 239000011449 brick Substances 0.000 description 22
- 210000001847 jaw Anatomy 0.000 description 9
- 238000012360 testing method Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 210000004513 dentition Anatomy 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000036346 tooth eruption Effects 0.000 description 2
- 241000629493 Extremus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 239000002674 ointment Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Abstract
【課題】複数の位置で撮像した様々な3Dモデルを互いに登録するための方法を提供する。【解決手段】少なくとも2つの異なる3Dモデルを登録する方法は、同一オブジェクトを複数位置で撮像し、3Dモデルの特徴を検出し、モデル特徴を環境に基づき記載し、類似する記載に基づいて第1モデルの特徴を第2モデルの特徴に割当て、第1の割当てをベクトルとして表記し、類似する記載に基づいて第2モデルの特徴を第1モデルの特徴に割当て、第2の割当てをベクトルとして表記し、第1割当てのベクトルと第2割当てのベクトルとを比較し共通する全単射ベクトルを決定し、決定した全単射ベクトルから少なくとも3つの全単射ベクトルを選択し、選択したベクトルを第1モデルに適用し、第2モデルと3Dモデルとの共通点の第1モデルと第2モデルとの共通点上への画像化を確認し、成功時は第2モデルの座標系を作成し、不成功時は新しいデータを用いて再度実行する。【選択図】なし
Description
本発明は、モデルが同じオブジェクトを少なくとも複数の位置で撮像することによる少なくとも2つの異なる3Dモデルを登録(registering)する方法に関する。
三次元の表面形状を取得するための技術では、形状を取得するときに、より高速性および正確性をいつも追い求めている。この要求を完遂するための1つの明らかな段階はセンサー技術およびコンピューターの両分野でのハードウェアの持続的改良であり、これは改善されたセンサーから増え続けるデータ容量を益々迅速に処理する。しかし三次元の表面形状の取得では、ソフトウェアコンポーネントもまさにハードウェアと同様に重要である。次いでこれらはそれらの作業に応じて大ざっぱに3つのカテゴリーに分割され得る:センサーデータの仮想3Dモデルへの転換、ディスプレイまたはレンダリング、および表記法(notation)または保存。しかし個々のカテゴリーが互いに決定的に影響し合う。すなわち例えばセンサーデータを仮想モデルに転換する特定の方法は、特定の表記法にのみに適し、そして異なって表記されたモデルには、ユーザに適する状態でモデルを表示するために異なる工程が必要となる。
3Dモデルを作成するために特に適する表記法は、切断符号付き距離関数(Truncated Signed Distance Function:TSDF)である。TSDFの最大の利点は、TSDFで表記される仮想3Dモデルに、得られたオブジェクトに関する追加のセンサーデータを補充することで常に仮想3Dモデルの正確さの改善を導き、これは数学的に証明することができる。しかし他の一般的な表記法の場合、データの改ざんが生じる可能性がある。
しかしいくつかの独立モデル、例えば顎の歯列の左および右半分、または上顎および下顎の歯列が一緒に1つの表記法でもたらされる場合には、TSDFは不利であることが示された。この主な理由は、暗黙(implicit)の表記法であるTSDFが、他の特に明示的(explicit)表記法により表記されるよりも強く座標系に拘束される(bound)という事実によるものである。
したがって本発明は、上記の欠点を克服し、そして様々な3Dモデルを互いに登録するために改善された方法を利用できるようにする目的を有し、前記モデルは同じオブジェクトを少なくとも複数の位置で撮像する。
この目的は、請求項1の特徴を含む方法により本発明に従い達成される。
本発明により定められるように、この場合に登録するとは、少なくとも2つのモデルの正確な空間比が知られていることを意味し、前記比で2つのモデルが相対している。この空間比は、例えば変換行列の状態で表記されることができる。
変換行列は通常、回転行列および変換ベクトルからなり、すなわち1つのモデルまたはそのモデルが表記される系を、もう1つのモデル、またはもう1つのモデルが表記される系上に撮像するために、どのように、そしてどの空間的次元が回転され、そして移動されなければならないかという情報からなる。
本発明の好適な態様は、従属項の主題である。
本発明のさらなる特徴および利点は、添付の図面を参照して以下の本発明の好適な態様の記載から理解されるが、これらは保護の範囲を限定しない。
本発明の描写された態様では、後に互いに登録されることになる2つのTSDFが先に単純化される。これは登録のための実際の方法に明らかに必要ではないが、結果として計算時間およびリソースを節約でき、そして試験では単純化が方法の精度に悪影響を及ぼさないことが示された。したがって方法の通常工程の実行前に、TSDFを単純化することは、本発明の方法のさらなる開発に有利であり好適である。
図1はTSDFの単純化の可能な例を示す。この場合、TSDFは最初に工程11でロードされる。この場合のローディングは、記憶装置または中間記憶装置からの検索、および「新たな」3Dモデルの直接的取り込みの両方であることができる。3Dモデルの起源(origin)または供給源(source)は本発明に関していかなる場合でも重要ではない。
次の工程12では、TSDFはいわゆるブリック(bricks)に分割される。この場合、TSDFが設定される(deposited)ボクセルグリッドのボクセルは、グループに組み立てられる。この場合、例えば1個のブリックが83個のボクセルのグループになる場合がある。原理的には全ボクセルグリッドがそれによりブリックに分割される。
引き続き工程13では、表面がブリックに位置するかどうかに関するクエリが作成される。これは例えば符号の変化がブリックの内側で起こるかどうかを調べることにより行うことができる。TSDF(Truncated Signed Distance Function)のボクセルには、ボクセルと最近傍表面との間の距離(Distance)が常に示されるので、そして距離の符号(符号付き距離:signed distance)はボクセルが表面の前または後ろの特定距離の方向に位置するかどうかを示すので、ブリック中に表面が存在するかどうかを確かめる単純な方法は、ボクセル中の符号の値の変化である。ブリック中に表面が無い場合、工程14でブリックは捨てられる。工程13からのクエリが正と回答され、そしてブリックが表面を含む場合、さらに使用するための耳札または印が行程15で付けられる。ブリックが工程15で印を付けられたら、工程16でポイントを1つそれに割り当てることができる。これを行うために様々な方法がある。大変単純な態様では、このポイントはすなわち例えば、ブリックの中央に付与される。工程14または16の後、工程17では表面を含むかどうかが決定されなかった(少な
くとも)1つのブリックがまだ存在するかどうかについて確認される。表面を含むかどうかが決定されなかったブリックがまだ存在する場合、工程13へ戻される。表面を含むかどうかについて未確認のブリックがもはや無ければ、作業を終了することができる。
くとも)1つのブリックがまだ存在するかどうかについて確認される。表面を含むかどうかが決定されなかったブリックがまだ存在する場合、工程13へ戻される。表面を含むかどうかについて未確認のブリックがもはや無ければ、作業を終了することができる。
例として、図2は方法の残りに使用できる特徴を得る方法を示す。このために、最初に図1からの単純化されたモデルを工程21で利用できるようにする。引き続き工程22で、単純化されたモデルの任意のポイントについて、ポイントの空間的隣接性(adjacency)がポイントに対してどのように互いにふるまうかについて調査する。ポイントが本質的に均一平面に位置する場合、興味なしと分類され、そしてスキップされる。代わりにポイントが谷または山頂に位置する場合、特徴であると判断される。ポイントが平面に位置するかどうかを決定するために、複数の隣接ポイントを結ぶことができる直線が平面に位置するかしないかを、すなわちモデルの形状がこの位置で大きく変化するかしないかが試験される。形状が比較的多くの方向で変化する場合は、比較的少ない方向で変化する場合より特徴は曖昧でないと判断される。
あるポイントと複数の隣接ポイントとを結ぶ全ての(仮想的な)直線が、本質的に一平面に位置するならば、このポイントは一般に一平面に位置すると判断される。あるポイントとその複数の隣接ポイントとを結ぶ(仮想的な)直線が、本質的に2つの平面に位置するならば、そのポイントは一般に1つの稜線に位置すると判断される。あるポイントとその複数の隣接ポイントとを結ぶ直線が3つ以上の平面に位置するならば、一般に山頂または谷と判断される。好ましくは山頂または谷であるこれらのポイントのみが特徴として選択される。この方法は技術水準から知られる「ハリス特徴検出器(Harris Feature Detector)」に大部分、基づいている。
特徴が工程22で選択された後、該特徴はその近傍(neighbourhood)に基づき工程23で記載される。描写されたサンプル法では、この記載は33次元ベクトルである。
工程22からのポイントの隣接性と、33次元ベクトルに基づき工程23で記載される近傍とは、同等に処理されるべきではないことに注目すべきである。隣接性は、本発明の意味での特徴としてポイントが適切であるかどうかを決定するだけであるが、近傍は特徴の正確な特性を記載し、後の工程で、特に他の特徴と比較するために特徴を評価することを可能にする。
もちろん33次元ベクトル以外の表記法も特徴に想定される。特徴を十分に識別できる様式で表記できる表記法であること、すなわち特徴記述子として適することのみが重要である。例として、33次元ベクトルとして表記される特徴記述子について最新技術から知られている例は、例えばいわゆるFPFH(ファスト ポイント フューチャー ヒストグラム:Fast Point Feature Histogram)である。例として限定するわけではないが、追加の例として以下の:PFH(ポイント フィーチャー ヒストグラム:Point Feature Histogram)、3Dシェイプ コンテキスト(Shape Context)、GRSD(グローバル ラディアス ベイスト サーフェイス ディスクリプタ:Global Radius−based Surface Descriptor)およびSHOT(シグネチャー オブ ヒストグラム オブ オリエンテーション:Signature of Histograms of OrienTations)を挙げることができる。
図3に示す方法について、最初に図1および図2に記載するサブ−方法が、登録されることになるTSDFフォーマットで2つの3Dモデルに適用される。3Dモデルが別の表記法で存在する場合、図1および図2に示す方法以外の方法を、もちろん図3の例により
記載される本発明による方法のための出発データを得るために適用することができる。また他の方法もTSDFフォーマットでの3Dモデルに適用することができる。
記載される本発明による方法のための出発データを得るために適用することができる。また他の方法もTSDFフォーマットでの3Dモデルに適用することができる。
工程301では、例えば上で言及した33次元ベクトルに基づいて、それらの近傍に基づき記載される2つの3Dモデルの特徴をしかるべく利用できるようにする。これは例えば記憶装置または他のGPUからデータの転送またはローディングにより行うことができる。この方法に使用されるそれらの(幾何学的)近傍に基づいて記載される特徴の正確な供給源は本発明にとって二次的な事項であり、そして当業者は本発明の本質を変えることなく最新技術から対応する方法を選択できる。例として、この点に関して以下を挙げることができるがこれらに限定されない:ハリス特徴検出器、CenSurE(センター サラウンド エクストリマス:Center Surround Extremas)、ISS(イントリンジック シェイプ シグネチャーズ:Intrinsic Shape
Signatures)、NARF(ノーマル アラインド ラディアル フィーチャー:Normal Aligned Radial Feature)、SIFT(スケール インバリアント フィーチャー トランスフォーム:Scale Invariant Feature Transform)、SUSAN(スモーレスト ユニバリュ
セグメント アシミレイティング ヌクレアス:Smallest Univalue
Segment Assimilating Nucleus)およびAGAST(アダプティブ アンド ジェネリック アクセレレテッド セグメント テスト:Adaptive and Generic Accelerated Segment Test)。
Signatures)、NARF(ノーマル アラインド ラディアル フィーチャー:Normal Aligned Radial Feature)、SIFT(スケール インバリアント フィーチャー トランスフォーム:Scale Invariant Feature Transform)、SUSAN(スモーレスト ユニバリュ
セグメント アシミレイティング ヌクレアス:Smallest Univalue
Segment Assimilating Nucleus)およびAGAST(アダプティブ アンド ジェネリック アクセレレテッド セグメント テスト:Adaptive and Generic Accelerated Segment Test)。
工程302では、次いでいわゆる「前方一致」が行われる。この場合、第1の3Dモデルの各特徴に、第2の3Dモデルの特徴が、描いた例にできる限り類似する記載に基づき、すなわち33次元ベクトルの最も可能性が高い類似性に基づき割り当てられる。このために例えばいわゆる「最近傍アルゴリズム(nearest neighbor algorithm)」を使用することができる。この場合、第2の3Dモデルの特徴は二重占有(double−occupied)されるか、あるいは同様に第2の3Dモデルの特徴は第1のモデルのいかなる特徴にも割り当てられないかの両方が起こり得る。次いでこれらの第1の割り当ては工程304でベクトルとして表記される。図4は、大雑把に概略し、大きく単純化され、かつ2次元的であり、そして例示するためにモデルあたり6個の象徴的特徴に減らした工程304の割り当ての説明を示す。
同様に、工程303では、第2の3Dモデルの全ての特徴に、第1の3Dモデルからの特徴が割り当てられ、そして工程305では、それらから生じる第2の割り当てがベクトルとして表記される。これはまた「後方一致」と呼ぶことができる。また工程305は、図4でも、対応する単純化した形態で表される。
工程306では、次いで第1および第2の割り当てが互いに比較される。この場合、全単射像(すなわち第1の3Dモデルと同じ特徴を第2の3Dモデルに撮像し、そしてその逆もある)に対応する全ての割り当てが決定される。これらの全単射割り当て、またはベクトルまたは他のマッチングは、次に工程307で表記される。工程304および305に類似する工程307の表示も、図4で既に示したように表される。
引き続き工程308では、図4の対応する工程308にも表示されるように、少なくとも3つの全単射ベクトルが無作為に選択される。無作為に選択されるマッチングまたはベクトルは、次いで第1の3Dモデルに適用される。
次にベクトルを適用することにより、第1の3Dモデルが第2の3Dモデルと共有する領域を含む第1の3Dモデルが、第2の3Dモデル上に本質的に撮像されるか、特に第2
の3Dモデルが第1と共通して有する第2の3Dモデルの領域に撮像されるかどうかを調査する。これは特に後の工程では別の、より細かい変換が実行されるので低耐性(low
tolerance)のフレイムワーク内で行われ得る。
の3Dモデルが第1と共通して有する第2の3Dモデルの領域に撮像されるかどうかを調査する。これは特に後の工程では別の、より細かい変換が実行されるので低耐性(low
tolerance)のフレイムワーク内で行われ得る。
この試験が成功したならば、工程309で試験に成功したベクトルは、ラフな(rough)変換の基準として使用される。別の工程310では、変換は次に当業者に知られているICPアルゴリズム(反復最近傍ポイントアルゴリズム)により微調整され、またはより特異的にされる。次いで方法を終了することができる。この場合、微調整(refinement)は好ましくは2つのもとのTSDFのボクセルに基づいて行われ、図1のサブ−方法で得られたブリックに基づいて行われるのではない。
ICPによる微調整はさらにまた、決定した登録の正確さをチェックするための選択を提供する。ICPエラー、すなわちICPに対応するポイント間の距離が微調整後に大きすぎる場合、本発明の好適なさらなる開発に従いラフな登録を再度捨てることができる。
工程308からの試験が負の結果になる場合、工程311のマッチングは捨てられる。さらに特定の状況下では、すべての特徴を捨てることもできる。
工程312では、そのデータで工程301ないし308が繰り返される新規データをこの方法に利用できるようになる。これらの新規データは、例えば新たに決定された特徴の場合がある。好ましくはこのために、既存の3Dモデルを特徴について再調査するだけでなく、むしろ少なくとも1つの3Dモデルが追加の表面情報により拡大される。追加の表面情報を3Dモデル(特にTSDFで表記される3Dモデル)に追加する方法は、例えば欧州特許第2 672 461 A1号および同2 886 043 A1号明細書から知られている。したがって本発明による方法の工程jの新規データは、3Dモデルの1つを形成するために2D画像のデータのみが補充されてきた方法の古いデータからなる場合もある。どのように3Dモデルを2D画像のデータにより補充できるかは、上記の工程でも例として説明されている。
図5は大いに概略化した、本発明による方法の第1の実施例を示し、ここで2つの3Dモデル51、52が合体される。第1の3Dモデル51では、第2の3Dモデル52との共通部分を有する領域53が象徴的に表されている。第2の3Dモデルでは、第1の3Dモデル52との共通部分を有する領域54が象徴的に表されている。第1の3Dモデル51が、第2の3Dモデル52との共通部分を有する領域53を用いて第2の3Dモデル52の対応する共通領域54上に画像化(imaged)された後、共通3Dモデル55が作成される。
図6は大いに概略化した、本発明による方法の第2の実施例を示し、ここで2つの3Dモデル61、62が第3の3Dモデル63を介して登録される。この場合、図6の第1の3Dモデル61は、上顎を象徴的に示す。図6の第2の3Dモデル62は、下顎を象徴的に示す。図6の第3の3Dモデルは、複数の位置のみで知られている2つの顎の噛み合わせ(bite)を象徴的に示す。第3のモデルは、顎の関係を測定するために従来の歯科医術で使用されているので、噛み合わせの登録に相当する。噛んでいる(biting)ときに上顎および下顎の咬合表面(chewing surface)のみを撮像する咬合の登録のように、噛んでいる間、3Dスキャナーは噛んでいる表面または歯の内側(舌側)を検出することは不可能であるため、第3の3Dモデル63は噛んでいるときの上および下顎の歯の外側部分のみを示す。
図6に示す本発明の実施例では、したがって最初に第1の3Dモデル61が第3の3Dモデル63と共に登録されて最初の中間登録64を形成し、正しい顎の関係を上顎および
下顎の完全なモデルと一緒に取得する。次いで第2の3Dモデル62が第3の3Dモデル63と共に登録されて第2の中間登録65を形成する。第1および第2の3Dモデル61,62、および第3の3Dモデル63の間の空間的関係は、2つの中間登録64,65を介して分かるので、第1および第2の3Dモデル61,62の互いの空間的比率も間接的に分かる。最終工程では、2つの中間登録64,65を組み合わせて最終データの組66を形成する。組み合わされた最終データの組66は、次いで上および下顎に関する幾何情報ならびに噛みあわせに対応する顎の相関を含む。
下顎の完全なモデルと一緒に取得する。次いで第2の3Dモデル62が第3の3Dモデル63と共に登録されて第2の中間登録65を形成する。第1および第2の3Dモデル61,62、および第3の3Dモデル63の間の空間的関係は、2つの中間登録64,65を介して分かるので、第1および第2の3Dモデル61,62の互いの空間的比率も間接的に分かる。最終工程では、2つの中間登録64,65を組み合わせて最終データの組66を形成する。組み合わされた最終データの組66は、次いで上および下顎に関する幾何情報ならびに噛みあわせに対応する顎の相関を含む。
図6に示す中間登録64,65は、この場合、説明のためにのみ使用される。第1および第2の3Dモデル全体を第3の3Dモデルと完全に組み合わせることは必ずしも必要ではない。変換ベクトルおよび回転行列からなる対応する変換行列のみが各モデルで保存されれば十分である。次いで2つの変換行列を単純な幾何演算で合算することができるので、上および下顎は第4の3Dモデルで互いに正しく配置され得る。
11 TSDFのローディング
12 ブリックに分割
13 ブリックは符号の変化があるか?(=ブリックの表面?)
14 ブリックを捨てる(13−>n)
15 さらなる処理のためにブリックに印をつける(13−>y)
16 ブリックにポイントを割り当てる
17 未だ調査していないブリックがあるか?n=>終了、y=>工程13に戻る
21 単純化したモデルを利用できるようにする
22 特徴を決定する
23 それらの環境に基づき全ての特徴を記載し、そして表記する
301 特徴を利用できるようにし、それらの環境に基づき記載する
302 前方一致
303 後方一致
304 前方一致からの結果
305 後方一致からの結果
306 同一マッチングについて調査(全単射)
307 同一マッチング
308 RanSaC(ランダム サンプル コンセンサス:Random Sampl
e Consensus用に最少3つの無作為サンプル)により同一マッチング
を試験するRanSaCを介する試験はOK?//解決策は見つかったか?
309 (38−>y)ラフな変換
310 ICP(微細/厳密な変換)
311 マッチングを捨てる(38−>n)
312 新しいデータ
51 第1の3Dモデル
52 第2の3Dモデル
53 第2の3Dモデルと共通する第1の3Dモデルの領域
54 第1の3Dモデルと共通する第2の3Dモデルの領域
55 登録された3Dモデル
61 第1の3Dモデル(上顎)
62 第2の3Dモデル(下顎)
63 第3の3Dモデル(噛み合わせの登録)
64 第1の中間登録
65 第2の中間登録
66 第4の3Dモデル(上顎、下顎および顎の相関)
12 ブリックに分割
13 ブリックは符号の変化があるか?(=ブリックの表面?)
14 ブリックを捨てる(13−>n)
15 さらなる処理のためにブリックに印をつける(13−>y)
16 ブリックにポイントを割り当てる
17 未だ調査していないブリックがあるか?n=>終了、y=>工程13に戻る
21 単純化したモデルを利用できるようにする
22 特徴を決定する
23 それらの環境に基づき全ての特徴を記載し、そして表記する
301 特徴を利用できるようにし、それらの環境に基づき記載する
302 前方一致
303 後方一致
304 前方一致からの結果
305 後方一致からの結果
306 同一マッチングについて調査(全単射)
307 同一マッチング
308 RanSaC(ランダム サンプル コンセンサス:Random Sampl
e Consensus用に最少3つの無作為サンプル)により同一マッチング
を試験するRanSaCを介する試験はOK?//解決策は見つかったか?
309 (38−>y)ラフな変換
310 ICP(微細/厳密な変換)
311 マッチングを捨てる(38−>n)
312 新しいデータ
51 第1の3Dモデル
52 第2の3Dモデル
53 第2の3Dモデルと共通する第1の3Dモデルの領域
54 第1の3Dモデルと共通する第2の3Dモデルの領域
55 登録された3Dモデル
61 第1の3Dモデル(上顎)
62 第2の3Dモデル(下顎)
63 第3の3Dモデル(噛み合わせの登録)
64 第1の中間登録
65 第2の中間登録
66 第4の3Dモデル(上顎、下顎および顎の相関)
Claims (6)
- 少なくとも2つの異なる3Dモデルを登録する方法であって、
前記モデルは同一のオブジェクトを少なくとも複数の位置で撮像し、
以下の工程:
a.3Dモデルの特徴を検出すること、
b.3Dモデルの特徴をそれらの環境に基づき記載すること、
c.工程bからのできる限り類似する記載に基づいて、第1の3Dモデルの特徴を、第2
の3Dモデルの特徴に割り当て、これにより第1の3Dモデルの各特徴について第2
の3Dモデルの特徴が決定され、そして第1の割り当てをベクトルとして表記するこ
と、
d.工程bからのできる限り類似する記載に基づいて、第2の3Dモデルの特徴を、第1
の3Dモデルの特徴に割り当て、これにより第2の3Dモデルの各特徴について第1
の3Dモデルの特徴が決定され、そして第2の割り当てをベクトルとして表記するこ
と、
e.第1の割り当てのベクトルと第2の割り当てのベクトルとを比較し、2つの前記割り
当てに共通する全単射ベクトルを決定すること、
f.工程eで決定した全単射ベクトルから少なくとも3つの全単射ベクトルを無作為に選
択すること、
g.前記選択したベクトルを第1の3Dモデルに適用し、前記ベクトルが第2の3Dモデ
ルと3Dモデルとの共通点が、第1の3Dモデルと第2の3Dモデルとの共通点上に
本質的に画像化されるかどうかを確認すること、
h.工程gの検査が成功する場合、第1の3Dモデルの完全変換を作成するための基準と
して前記選択したベクトルを使用して第2モデルの座標系を作成すること、
j.工程gの検査が成功しない場合、すべてのベクトルを捨て、そして他の、特に新しい
データを用いて前記方法を再度行って少なくとも1つの3Dモデルを形成すること、を含むことを特徴とする、方法。 - 前記3Dモデルの少なくとも1つが、切断符号付き距離関数(TSDF)の形式で表記される、請求項1に記載の方法。
- 前記方法が実行される前に前記TSDFが単純化されることを特徴とする、請求項2に記載の方法。
- 工程bの記載が33次元ベクトルの形式で行われることを特徴とする、請求項1ないし3の1項に記載の方法。
- 少なくとも1つの3Dモデルを形成するために、新しい表面情報を追加することにより工程jで新たなデータが得られることを特徴とする、請求項1ないし4の1項に記載の方法。
- 工程hで作成することが、反復最近傍ポイントアルゴリズム(ICP)により行われ、ICPエラーが決定され、該ICPエラーに関する境界値が設定され、そして該境界値が越えられた場合に、工程jが次に実行されることを特徴とする、請求項1ないし5の1項に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17186847.4A EP3444780A1 (de) | 2017-08-18 | 2017-08-18 | Verfahren zum registrieren von wenigstens zwei verschiedenen 3d-modellen |
EP17186847.4 | 2017-08-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019036310A true JP2019036310A (ja) | 2019-03-07 |
Family
ID=59713802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018153145A Pending JP2019036310A (ja) | 2017-08-18 | 2018-08-16 | 少なくとも2つの異なる3dモデルを登録する方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10783650B2 (ja) |
EP (1) | EP3444780A1 (ja) |
JP (1) | JP2019036310A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112950706B (zh) * | 2019-12-11 | 2023-11-03 | 京东科技信息技术有限公司 | 可移动设备定位数据处理方法、装置、设备及存储介质 |
EP3922211A1 (de) | 2020-06-10 | 2021-12-15 | a.tron3d GmbH | Vorrichtung und verfahren zum ermitteln der relativen lage eines ober- und unterkiefers |
CN114511673B (zh) * | 2022-01-26 | 2022-12-09 | 哈尔滨工程大学 | 一种基于改进icp的海底局部环境初步构建方法 |
CN116152303B (zh) * | 2022-09-08 | 2023-11-24 | 上海贝特威自动化科技有限公司 | 一种基于几何空间一致性加权的二部图点云匹配算法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050089213A1 (en) * | 2003-10-23 | 2005-04-28 | Geng Z. J. | Method and apparatus for three-dimensional modeling via an image mosaic system |
DE102008031942A1 (de) * | 2008-07-07 | 2010-01-14 | Steinbichler Optotechnik Gmbh | Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts |
EP2672461A1 (de) | 2012-06-05 | 2013-12-11 | a.tron3d GmbH | Verfahren zum Fortsetzen von Aufnahmen zum Erfassen von dreidimensionalen Geometrien von Objekten |
GB201217179D0 (en) * | 2012-09-26 | 2012-11-07 | Materialise Dental Nv | A method and system for registration/alignment of 3D digital models |
US9305342B2 (en) * | 2013-12-20 | 2016-04-05 | Shenzhen China Star Optoelectronics Technology Co., Ltd | Method for acquiring a boundary line of an alignment film and method for inspecting the alignment film |
EP2886043A1 (de) | 2013-12-23 | 2015-06-24 | a.tron3d GmbH | Verfahren zum Fortsetzen von Aufnahmen zum Erfassen von dreidimensionalen Geometrien von Objekten |
US20150235510A1 (en) * | 2014-02-20 | 2015-08-20 | Ainsworth Game Technology Limited | Electronic gaming machine and gaming method |
US9629698B2 (en) * | 2014-11-04 | 2017-04-25 | James R. Glidewell Dental Ceramics, Inc. | Method and apparatus for generation of 3D models with applications in dental restoration design |
US20180005463A1 (en) * | 2016-06-30 | 2018-01-04 | Massachusetts lnstitute of Technology | System, Device, and Method for Feature Generation, Selection, and Classification for Audio Detection of Anomalous Engine Operation |
JP6807820B2 (ja) * | 2017-10-31 | 2021-01-06 | 富士フイルム株式会社 | 画像検索装置、方法およびプログラム |
-
2017
- 2017-08-18 EP EP17186847.4A patent/EP3444780A1/de not_active Withdrawn
-
2018
- 2018-07-26 US US16/046,331 patent/US10783650B2/en active Active
- 2018-08-16 JP JP2018153145A patent/JP2019036310A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20190057511A1 (en) | 2019-02-21 |
US10783650B2 (en) | 2020-09-22 |
EP3444780A1 (de) | 2019-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019036310A (ja) | 少なくとも2つの異なる3dモデルを登録する方法 | |
JP4943034B2 (ja) | ステレオ画像処理装置 | |
CN109816730B (zh) | 工件抓取方法、装置、计算机设备和存储介质 | |
JP4784555B2 (ja) | 形状評価方法、形状評価装置および三次元検査装置 | |
JP3793100B2 (ja) | 情報処理方法、装置および記録媒体 | |
EP2339292A1 (en) | Three-dimensional measurement apparatus and method thereof | |
CN107316047A (zh) | 图像处理装置、图像处理方法以及存储介质 | |
CN109598264B (zh) | 物体抓取方法及装置 | |
JP6431404B2 (ja) | 姿勢推定モデル生成装置及び姿勢推定装置 | |
WO2020075252A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP2010152535A (ja) | 3次元形状復元装置及びそのプログラム | |
CN105787429B (zh) | 采用机器视觉用于检查物体的方法和设备 | |
JP5704909B2 (ja) | 注目領域検出方法、注目領域検出装置、及びプログラム | |
JP2021051347A (ja) | 距離画像生成装置及び距離画像生成方法 | |
JP2672509B2 (ja) | カメラモデルの自動キャリブレーション方法およびその装置 | |
WO2020158726A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
EP2853089B1 (en) | Pattern processing apparatus, pattern processing method, and pattern processing program | |
JP6355206B2 (ja) | カメラキャリブレーション方法、カメラキャリブレーション装置及びカメラキャリブレーションプログラム | |
CN114387353A (zh) | 一种相机标定方法、标定装置及计算机可读存储介质 | |
CN115511718A (zh) | Pcb图像校正方法、装置、终端设备和存储介质 | |
CN113344004A (zh) | 图像特征生成方法、图像识别方法和装置 | |
CN112529960A (zh) | 目标对象的定位方法、装置、处理器和电子装置 | |
JP2000074628A (ja) | 三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体 | |
CN117274887B (zh) | 一种条烟端头检测方法及条烟规格和数量的识别方法 | |
JP4274038B2 (ja) | 画像処理装置および画像処理方法 |