JP2010014718A - 対象物を3dデジタル化するための方法及び装置 - Google Patents

対象物を3dデジタル化するための方法及び装置 Download PDF

Info

Publication number
JP2010014718A
JP2010014718A JP2009160969A JP2009160969A JP2010014718A JP 2010014718 A JP2010014718 A JP 2010014718A JP 2009160969 A JP2009160969 A JP 2009160969A JP 2009160969 A JP2009160969 A JP 2009160969A JP 2010014718 A JP2010014718 A JP 2010014718A
Authority
JP
Japan
Prior art keywords
feature points
feature
determined
point
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009160969A
Other languages
English (en)
Other versions
JP5453000B2 (ja
Inventor
Alexander Frey
フライ アレクサンダー
Daniel Kreutzer
クロイツァー ダニエル
Thomas Maier
マイヤー トーマス
Marcus Steinbichler
シュタインビフラー マルクス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Steinbichler Optotechnik GmbH
Original Assignee
Steinbichler Optotechnik GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Steinbichler Optotechnik GmbH filed Critical Steinbichler Optotechnik GmbH
Publication of JP2010014718A publication Critical patent/JP2010014718A/ja
Application granted granted Critical
Publication of JP5453000B2 publication Critical patent/JP5453000B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52Combining or merging partially overlapping images to an overall image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】対象物の複数のカメラ画像を記録して組み合わせて、対象物の3D座標を決定する、対象物を3Dデジタル化するための方法を改善する。
【解決手段】対象物1を撮影した写真から対象物1の2D特徴点11,12,13;21,22,23を決定する。これら2D特徴点の3D座標を決定する。一の写真と別の写真との間で互いに対応する2D特徴点からなる2D点対応組31,32,33を複数組決定する。これら2D点対応組の中から複数組の2D点対応組を選択して3D変換対象を決定する。該3D変換対象の品質を、2D特徴点の3D座標を参照して決定して、該3D変換対象の中から有効3D特徴点を決定する。その有効3D特徴点の3D座標を、対象物1のカメラ画像を組み合わせるために使用する。
【選択図】図1

Description

本発明は、対象物の複数のカメラ画像を記録して組み合わせて、対象物の3D(3次元)座標を決定する、対象物を3D(3次元)デジタル化するための方法及び装置に関する。
対象物の3Dデジタル化において、多くの場合、対象物の複数のカメラ画像を記録する必要がある。隣接するカメラ画像は互いに重なり合っている。それゆえ、これらのカメラ画像を、特に照合処理によって組み合わせることができる。
本発明の目的は、対象物を3Dデジタル化するための前記の方法及び装置を改良することである。
本発明によれば、この目的は、請求項1及び請求項6の特徴により達成される。
対象物の複数のカメラ画像を記録する。これらは、対象物の3D座標を決定するのに適したカメラ画像である。ストリップ投影方法、特に白色光ストリップ投影方法を適用することが特に可能である。しかしながら、レーザースキャナ方法、又は、対象物を3Dデジタル化することのできる何らかの他の方法を適用することも可能である。本発明を実施するために、対象物の3Dビューをカメラで記録するカメラベースの方法を特に使用することができる。
対象物を3Dデジタル化する方法を実施するための装置は、投影機と、1つ又は複数のカメラとを備えていてもよい。投影機及び1つ又は複数のカメラは、3Dセンサに一体化されていてもよい。投影機は、対象物に光パターン、特にストリップパターン、中でも白色光ストリップを投影するのに適するものであってもよい。しかしながら、投影機は、対象物にレーザ光パターン、特に1つ又は複数のレーザ線を投影するのに適するものであってもよい。
1つ又は複数のカメラによって、対象物の複数のカメラ画像を記録することができる。このカメラ画像は、異なる視点(視野、視野角)から記録される。カメラ画像は、対象物の様々な領域をカバーし、これらの領域は、一般的には互いに部分的に重なり合っている。様々なカメラ画像を、特に3D照合処理によって組み合わせることができる。このようにして、対象物の比較的大きな領域、又は、対象物の全表面をカバーすることができる。
対象物が十分な3D構造を有している場合、個々の重なり合うカメラ画像を、3D照合処理によって互いに整合させることができる。しかしながら、従来技術の方法では、この照合には、測定シーケンスにおける手動操作がさらに必要である。なぜなら、様々なカメラ画像における対応する3D点を、データ記録に手作業で印付けする必要があるからである。このことは、操作労力を増やし、対象物の3Dデジタル化の効率を下げてしまう。
本発明によれば、対象物の写真を撮影する。これらの写真から、対象物の2D特徴点を決定する。2D特徴点として、対象物の角、すなわち対象物の2つ以上の辺が交わる部分を特に使用してもよい。しかしながら、写真における、特徴的な周囲部分を有する他の点を、2D特徴点として使用することも可能である。2D特徴点は、自動的に、すなわち人が手動で操作せずに決定することができる。
各2D特徴点の決定のために、特徴ベクトルを決定してもよい。この特徴ベクトルは、2D特徴点の周囲部分における特性を含んでいてもよい。特定の変換に対して不変の、例えば平行移動に関して不変の特徴ベクトルを使用することが可能である。特に、写真における2D特徴点近傍の勾配ヒストグラム、すなわち、2D特徴点の2次元近傍の勾配ヒストグラムを、特徴ベクトルとして使用してもよい。
続いて、写真の2D特徴点の3D座標を決定する。この決定を、投影パターン(光パターン、ストリップパターン、白色光ストリップパターン、レーザ光パターン、1つ又は複数のレーザ線など)を併用して、対象物の1つ又は複数のカメラ画像に基づいて行ってもよい。特に、同じ視点から記録されたカメラ画像を使用してもよい。対象物の3D座標を決定するために白色光ストリップ投影を使用する場合、まず、対象物のカメラ画像を、例えば白色光ストリップパターンありで記録してもよい。続いて、又は、その前に、2D特徴点を決定することが可能な写真を、白色光ストリップなしで撮影してもよい。
一の写真と別の写真との間で互いに対応する2D特徴点からなる2D点対応組を複数組決定する。このようにして、一の写真の2D特徴点が、別の写真の対応する2D特徴点を含んでいるかどうかをチェックすることができる。2D点対応組を決定するために、特徴ベクトルを使用してもよい。特に、特徴ベクトルの定義(例えば、2次元近傍の勾配ヒストグラム)により特定の変換(例えば平行移動)に対して不変である特徴ベクトルを使用してもよい。特徴ベクトルの比較から、対応する特徴ベクトルを決定することができ、これにより、対応する2D特徴点を決定することができる。
続いて、前記決定した複数組の2D点対応組の中から複数組の2D点対応組を選択する。これら選択した2D点対応組の中から3D変換対象を決定する。前記2D点対応組の選択は、ランダムに行ってもよい。3組の2D点対応組を選択することが有利である。
前記3D変換対象の決定は、2D点対応組に基づいているので、適切な有効3D変換対象であるとみなすことはできない。したがって、決定した3D変換対象の品質を決定する。この決定は、3D変換対象における2D特徴点の3D座標を参照して行う。2D特徴点の3D座標は、対象物の3D座標を決定する機能を果たす、対象物のカメラ画像から決定されている。3D変換対象の品質を、対応する2D特徴点の3D座標の重なり品質、特に3次元ギャップから決定してもよい。この目的のために、対応する2D特徴点の3D座標間の距離を計算してもよい。あるいは、又は、それに加えて、重なり品質を決定するために、対応する2D特徴点の3D座標の3次元近傍を使用してもよい。前記距離、及び/又は、前記3次元近傍が特定の品質条件を満たす場合、特に、前記距離が所定距離よりも短い場合、及び/又は、対応する2D特徴点の前記3次元近傍間の偏差(ずれ)が所定偏差よりも小さい場合には、3D変換対象の品質が十分であるとみなすことができる。
前記3D変換対象の品質が十分である場合には、この3D変換対象(2D点対応組)を、有効3D変換対象とみなすことができ、この有効3D変換対象における2D特徴点を、有効3D特徴点とみなすことができる。そして、この有効3D特徴点の3D座標を、対象物のカメラ画像を組み合わせるために使用することができる。
逆に、3D変換対象の品質が十分でない場合には、前記方法を、2D点対応組を選択するステップから繰り返してもよい。つまり、他の2D点対応組を選択して、その選択した2D点対応組の中から3D変換対象を決定し、この決定した3D変換対象の品質を決定してもよい。これを、有効3D特徴点を決定できるまで数回繰り返してもよい。
本発明の方法の有利な改良は、下位請求項に記載されている。
各写真において対象物領域を決定し、この対象物領域内の2D特徴点を使用することが有利である。写真の対象物領域は、対象物の一部が表されている領域であって、背景の一部ではない。対象物領域内の2D特徴点を使用することにより、2D特徴点から決定される2D点対応組が、対象物表面にある特徴点に関するものである、ということが確実になる。
前記対象物領域は、カメラ画像によって、背景領域から区別することができる。特に、対象物の3D座標を決定する機能を果たすカメラ画像の作成中に得られるコントラスト画像を使用することができる。これらのコントラスト画像は、それによって決定される対象物の3D座標の測定データ品質を表すとともに、決定された3D座標が、対象物、すなわち対象物領域に属しているのか、又は、背景、すなわち背景領域に属しているのかを表す。このようにして、背景シーンを大幅にマスキングすることができ、対象物領域内の2D特徴点のみを使用する、ということを達成できる。これにより、有効3D変換対象を、より迅速に且つ品質的により良好に決定することができる。さらに、この方法では、環境照明やシーン背景などの存在し得る妨害の影響を良好になくすことができる。
他の有利な改良では、格納された前記2D特徴点、格納された前記3D特徴点、及び、格納された前記特徴ベクトルのうちの少なくとも1つを使用することを特徴とする。前記2D特徴点、及び/又は、前記3D特徴点、及び/又は、前記特徴ベクトルを、特徴点リストに格納することができる。このことは、複数の同一の対象物をデジタル化する必要のある場合に特に有利である。つまり、第1の完全な3Dデジタル化の完全な特徴点リストを格納し、後続の測定のための完全な特徴点リストとして使用することができる。よって、任意の順序で任意の視野角から続けて測定される全ての対象物をデジタル化することができる。先行の視点(視野角)に対する視点(視野角)の変化の制限は存在しなくなる。
他の有利な改良によれば、前記2D特徴点、前記3D特徴点、及び、前記特徴ベクトルのうちの少なくとも1つを、対象物のCADデータの描画から決定する。これは、対象物のCADデータの描画から決定した、前記2D特徴点、前記3D特徴点、及び、前記特徴ベクトルのうちの少なくとも1つを使用する場合に特に有利である。
本発明の方法は、対象物のCADデータが存在する場合に特に有利である。これらのCADデータの描画は、ある特定の視点からのCADデータの写実的表示と解釈される。対象物のCADデータモデルを、実写カメラと類似の撮像特性を有する仮想カメラによって、様々な視点から視覚的に観察することができ、描画されたオブジェクトビューから2D特徴点を得ることができる。次に、このようにして視覚的に得られた特徴点リストを使用して本方法を実施することができる。特徴点リストを、本方法を実施するために記憶装置に格納し、及び/又は、記憶装置から読み出すこともできる。
本発明に基づく、対象物を3Dデジタル化する方法を実施するための装置は、前記対象物(1)に対して光パターン又はレーザ光パターンを投影するための投影機と、前記対象物のカメラ画像を記録するための1つ又は複数のカメラと、前記対象物の前記カメラ画像を組み合わせ、前記対象物の3D座標を決定するための手段と、前記対象物の写真を作成するためのカメラと、前記対象物の2D特徴点を決定し、かつ、前記対象物の前記2D特徴点の3D座標を決定し、かつ、一の写真と別の写真との間で互いに対応する2D特徴点からなる2D点対応組を複数組決定し、かつ、前記決定した複数組の2D点対応組の中から複数組の2D点対応組を選択して3D変換対象を決定し、かつ、前記3D変換対象の品質を、前記2D特徴点の3D座標を参照して決定し、かつ、有効3D特徴点を決定するための手段とを備える。
前記装置は、前記写真の対象物領域を決定するための手段を更に備えることが有利である。
他の有利な改良によれば、前記装置は、前記2D特徴点、前記3D特徴点、及び、前記特徴ベクトルの少なくとも1つを格納するための記憶装置を更に備える。
他の有利な改良では、前記2D特徴点、前記3D特徴点、及び、特徴ベクトルを、前記対象物のCADデータの描画から決定するための手段を更に備えることを特徴とする。
対象物を3Dデジタル化する方法を実施するための装置を示す図である。 2D特徴点を含む対象物の2つの写真を示す図である。 本発明の方法のフローチャートである。 本発明の方法のフローチャートである。
本発明の一実施形態を、添付の図を参照して以下に詳しく説明する。
図1は、対象物1を3Dデジタル化する方法を実施するための装置の一実施形態を示す。この装置は、カメラと白色光ストリップ投影機とを有するセンサ2を備えている。
本方法の実施中に、センサ2は、最初は、3で表される位置にある。この位置において、対象物1の第1カメラ画像を記録する。このカメラ画像を記録する際、対象物1に白色光ストリップを照射する。このカメラ画像は、対象物1の3D座標を決定する機能を果たす。このために、様々な方法を採用することができる。特に、対象物1の3D座標を単一のカメラ画像から決定することができる空間位相シフト方法を採用してもよい。しかしながら、対象物1の3D座標を決定するために複数の、特に3つ又は4つのカメラ画像を記録する時間ベースの位相シフト方法を採用してもよい。
さらに、対象物1の写真5を、センサ2は同じ位置のまま、センサ2のカメラで撮影する。この写真を撮影する際は、対象物1に白色光ストリップを照らさない。
続いて、センサ2を、図1では参照番号4を付した別な位置へ移動させる。この位置において、対象物1の別なカメラ画像を記録する。このカメラ画像から、対象物1の3D座標が決定される。このカメラ画像を記録する際、センサ2の投影機によって対象物1に白色光ストリップを投影する。前記のように、対象物の3D座標をカメラ画像によって決定することができる。しかしながら、特に時間ベースの位相シフト方法を採用する場合、対象物1の複数のカメラ画像を記録し、複数のカメラ画像から対象物1の3D座標を決定することもできる。センサ2が位置4にある間に、白色光ストリップを対象物1に投影せずに対象物1の写真6を撮影する。
センサ2が位置3にある場合に得られる1つ又は複数のカメラ画像と写真5とは、対象物1の図1の左に示す領域をカバーしている。センサ2が位置4にある場合、1つ又は複数のカメラ画像と写真6とは、対象物1の右側領域をカバーしている。対象物1のこれらの領域は互いに部分的に重なり合っている。
対象物1の写真5,6から、複数の2D特徴点を決定する。対象物1の左側部分をカバーする写真5から、特徴点11,12,13を決定する。これらの特徴点は、対象物1の角に、すなわち、2つの辺が交わる点にある。
対象物1の右側部分をカバーする写真6から、2D特徴点21,22,23を決定する。これらの2D特徴点も、対象物1の角にある。
続いて、2D特徴点11,12,13;21,22,23の3D座標を決定する。3D座標は、対象物1のカメラ画像から決定される。
さらに、左側写真5と右側写真6との間で互いに対応する2D特徴点11,21;12,22;13,23からなる2D点対応組31,32,33を複数組決定する。これらの2D点対応組31,32,33を、図1に破線で示す。
続いて、前記決定した複数組の2D点対応組31,32,33の中から複数組の2D点対応組を選択する。図1では、3組の2D点対応組31,32,33を選択する。これらの2D点対応組の中から3D変換対象(ここでは、2D点対応組31,32,33)を決定する。
次いで、前記3D変換対象の品質を、該3D変換対象における2D特徴点の変換された3D座標を参照して決定(測定)する。ここでは、この3D変換対象の品質の決定には、2D特徴点11,21;12,22;13,23の3D座標が適用される。
前記決定した3D変換対象の品質に基づいて、有効3D特徴点を決定する。図1において、2D点対応組31,32,33に属する3D変換対象は、有効3D変換対象である、すなわち、十分な品質の3D変換対象である。この有効3D変換対象から、有効3D特徴点を決定することができる。
続いて、有効3D特徴点の3D座標を使用して、対象物1の左右のカメラ画像を組み合わせる。この組み合わせは、3D照合処理によって行われる。このようにして、図1に示すように、対象物1を正しく組み合わせることができる。
図2は別な対象物を示す。この対象物の第1写真5は、ある特定の視点から写されたものであり、第2写真6は別の視点から写されたものである。写真5,6によってカバーされる対象物の領域は、互いに部分的に重なり合っている。
写真5に、決定された多数の2D特徴点、例えば、2D特徴点14,15,16,17,18が表されている。写真6には、多数の2D特徴点のうち2D特徴点24,25,26,27,28が表されている。
2D特徴点14,24;15,25;16,26:17,27;18,28は、2D点対応組34,35,36,37,38にそれぞれ含まれる。
これらの2D点対応組から3組の2D点対応組をランダムに選択する。これら選択した3組の2D点対応組から、3D変換対象を決定する。続いて、この3D変換対象の品質を、該3D変換対象における2D特徴点の3D座標を参照して決定(測定)する。この品質が十分である場合、これら3D変換対象の中から有効3D特徴点を決定し、有効3D特徴点の3D座標を使用して、写真5,6に属するカメラ画像を組み合わせる。品質が十分でない場合、前記3組の他の2D点対応組を選択して3D変換対象を決定し、その品質を決定する。有効3D変換対象が得られるまで、このシーケンスをその都度他の3組の2D点対応組で繰り返してもよい。
図3A及び図3Bは、対象物を3Dデジタル化するための方法のフローチャートをそれぞれ示す。
第1ステップ41において、対象物の表面の3D測定を実施する。この3D測定では、対象物の3D座標を決定するために、対象物の1つ又は複数のカメラ画像を記録する。1つ又は複数のカメラ画像は、ある特定の視点から記録する。1つ又は複数のカメラ画像から、対象物の一部が記録される。これらは、対象物の3D座標を決定することができる1つ又は複数のカメラ画像である。
ステップ42において、1つ又は複数のカメラ画像をマスキングする。すなわち、不要な背景情報を排除する。このステップにおいて、1つ又は複数のカメラ画像の対象物領域を決定する。
ステップ43において、2D特徴点を計算する。
ステップ44において、2D特徴点の3D座標を決定する。
ステップ44′において、特徴点リストを記憶装置に格納する。この特徴点リストは、全ての計算された2D特徴点と、全ての2D特徴点の3D座標とを含む。
続いて、カメラを別な視点にして、ステップ41から44′を繰り返す。このカメラ視点では、対象物の別な部分領域をカバーする。なお、この別な部分領域は、対象物の既にカバーした部分領域に部分的に重なり合う領域のことである。
続いて、ステップ45(図3B)を実施して、現在の写真、つまり第2写真の特徴点リストをリストAとして使用する。
続くステップ46において、特徴点リストを、先の写真の全ての特徴点から作成するか、又は、記憶装置から取り出してリストBとして使用する。
ステップ47において、リストAとリストBとの間で2D点対応組を決定する。互いに対応関係にある、リストA及びリストBの特徴点は、リストA’及びリストB’として作成され、場合によっては格納される。リストA’における特徴点の数|A’|は、リストB’における特徴点の数|B’|に等しい。
ステップ48において、リストA’及びリストB’における特徴点の数が少なくとも3つであるかどうかをチェックする。少なくとも3つなければ、ステップ54において、事前アライメントの自動決定が不可であると示される。この場合、3D変換対象を、2D点対応組から決定することはできない。
リストA’及びリストB’における特徴点の数が少なくとも3つであれば、チェックステップ48の後に、ステップ49を実施する。このステップ49において、リストA’から3つの特徴点をランダムに選択する。これら3つの特徴点は、3組の2D点対応組に属し、これら3つの特徴点から、3D変換対象を決定する。この3D変換対象に基づいて、2D特徴点の3D座標を決定する。3D変換対象は、リストA’から選択した2D特徴点の3D位置の画像を、リストB’における当該2D点対応組の2D特徴点において形成する。
ステップ50において、決定された3D変換対象の品質を測定する。この測定は、3D変換対象における2D特徴点の変換された3D座標の3次元ギャップ、つまり先のデータ記録に関して変換されたデータ記録の3Dギャップの評価を参照して行われる。
ステップ51において、この品質が十分かどうかをチェックする。品質が十分であれば、ステップ52において、有効な事前アライメントが見出されたと示される。決定した3D変換対象を使用して、特に3D照合処理によってカメラ画像を組み合わせることができる。
その後、処理はステップ41(図3A)へ続いてもよい。
逆に、ステップ51において3D変換の品質が十分でないと示されたならば、ステップ53において、試験の最大数に達したかどうかをチェックする。達していなければ、ステップ49を再び実施し、ステップ49において、3つの他の特徴点をランダムに選択する。
逆に、試験の最大数に達していれば、ステップ54において、事前アライメントの自動決定が不可であると示される。
本発明により、カメラ画像の3D照合を自動的に実施することができ、ユーザの操作が不要となる方法及び装置が提供される。さらに、本発明は、ユーザの操作が少なくとも明らかに低減されるように実現され得る。特に、3Dスキャナの各オブジェクトビューによって対象物の1つ又は複数の追加写真を撮影することができるように、処理を実行することができる。このため、3Dセンサのカメラを使用してもよい。対象物デジタル化に必要なストリップ画像カメラ画像に加えて、1つ又は複数の追加写真を、ストリップ照明なしで撮影してもよい。これらの写真から、対象物の2D特徴点を計算することができる。特徴点として、特に、形状の端部又はコントラスト端部などの対象物の顕著な点を使用してもよい。
一般的に、オブジェクトビューをあまり変更しない場合には、3D変換対象の品質はより良好となる。有効3D変換対象を決定できないならば、有効3D変換対象を得るためのオブジェクトビューの変更を少なくして、本発明の方法を再び実施してもよい。あるいは、又は、それに加えて、様々なオブジェクトビューの間の可視領域の重なりをより大きくして、本発明の方法を実施してもよい。
3D変換対象の品質が十分でない場合には、さらに、形状的な対応関係を印付けすることによって、事前アライメントを手動で行うことができる。
複数の2D特徴点を、対象物の3D座標を決定するためのカメラ画像の作成をも行うカメラによって撮影した複数の写真から決定してもよい。しかしながら、別個のカメラの写真から2D特徴点を決定することも可能である。3Dデジタル化の前又は後に、対象物の一連の写真を、別個のカメラで生成することができ、対象物の2D特徴点を、これらの写真から計算することができる。このようにして得られた特徴点リストを、続いて使用することができる。特徴点リストを、3Dデジタル化を開始する前に測定プログラムへロードしてもよい。
対象物が3Dデジタル化に不十分な構造を有している場合、2Dマークによって、例えば、マーカーペンなどによって付けることのできるランダムパターンによって、処理に必要な表面構造を作成することができる。
センサ位置と測定体積とを3D空間において実況で示すことができる。決定された特徴点を使用して、対象物に対して相対的なセンサ位置を決定することができる。対象物及び/又はセンサの位置決定のための視覚的補助をユーザに提供するために、前記センサ位置情報によって、測定対象物に関するセンサ位置及び測定体積を、データ取得ソフトウエアにおいてリアルタイムベースで視覚化することができる。このことは、特に、ラフで迅速な3D事前測定によって行える。
1 対象物
2 センサ
5,6 写真
11,12,13 2D特徴点
21,22,23 2D特徴点
14,15,16,17,18 2D特徴点
24,25,26,27,28 2D特徴点
31,32,33 2D点対応組
34,35,36,37,38 2D点対応組

Claims (9)

  1. 対象物(1)の複数のカメラ画像を記録して組み合わせて、前記対象物(1)の3D座標を決定する、対象物を3Dデジタル化するための方法であって、
    前記対象物(1)を撮影した写真(5,6)から、前記対象物(1)の2D特徴点(11,12,13;21,22,23;14,15,16,17,18;24,25,26,27,28)を決定し、
    前記2D特徴点の3D座標を決定し、
    一の写真と別の写真との間で互いに対応する2D特徴点からなる2D点対応組(31,32,33;34,35,36,37,38)を複数組決定し、
    前記決定した複数組の2D点対応組の中から複数組の2D点対応組を選択して3D変換対象を決定し、
    前記3D変換対象の品質を、前記2D特徴点の前記3D座標を参照して決定して、該3D変換対象の中から有効3D特徴点を決定し、
    前記有効3D特徴点の3D座標を、前記対象物の前記カメラ画像を組み合わせるために使用することを特徴とする方法。
  2. 請求項1記載の方法において、
    各写真(5,6)において対象物領域を決定し、
    前記対象物領域内の2D特徴点(14,15,16,17,18;24,25,26,27,28)を使用することを特徴とする方法。
  3. 請求項1又は2記載の方法において、
    格納された前記2D特徴点、格納された前記3D特徴点、及び、格納された特徴ベクトルのうちの少なくとも1つを使用することを特徴とする方法。
  4. 請求項1〜3のいずれか1つに記載の方法において、
    前記2D特徴点、前記3D特徴点、及び、特徴ベクトルのうちの少なくとも1つを、前記対象物のCADデータの描画から決定することを特徴とする方法。
  5. 請求項1〜4のいずれか1つに記載の方法において、
    前記対象物のCADデータの描画から決定した、前記2D特徴点、前記3D特徴点、及び、特徴ベクトルのうちの少なくとも1つを使用することを特徴とする方法。
  6. 対象物を3Dデジタル化する方法を実施するための装置であって、
    前記対象物(1)に対して光パターン又はレーザ光パターンを投影するための投影機と、
    前記対象物のカメラ画像を記録するための1つ又は複数のカメラと、
    前記対象物の前記カメラ画像を組み合わせ、前記対象物の3D座標を決定するための手段と、
    前記対象物の写真を作成するためのカメラと、
    前記対象物の2D特徴点を決定し、かつ、前記対象物の前記2D特徴点の3D座標を決定し、かつ、一の写真と別の写真との間で互いに対応する2D特徴点からなる2D点対応組を複数組決定し、かつ、前記決定した複数組の2D点対応組の中から複数組の2D点対応組を選択して3D変換対象を決定し、かつ、前記3D変換対象の品質を、前記2D特徴点の3D座標を参照して決定し、かつ、有効3D特徴点を決定するための手段とを備えることを特徴とする装置。
  7. 請求項6記載の装置において、
    前記写真の対象物領域を決定するための手段を更に備えることを特徴とする装置。
  8. 請求項6又は7記載の装置において、
    前記2D特徴点、前記3D特徴点、及び、特徴ベクトルの少なくとも1つを格納するための記憶装置を更に備えることを特徴とする装置。
  9. 請求項6〜8のいずれか1つに記載の装置において、
    前記2D特徴点、前記3D特徴点、及び、特徴ベクトルを、前記対象物のCADデータの描画から決定するための手段を更に備えることを特徴とする装置。
JP2009160969A 2008-07-07 2009-07-07 対象物を3dデジタル化するための方法及び装置 Expired - Fee Related JP5453000B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008031942.2 2008-07-07
DE102008031942A DE102008031942A1 (de) 2008-07-07 2008-07-07 Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts

Publications (2)

Publication Number Publication Date
JP2010014718A true JP2010014718A (ja) 2010-01-21
JP5453000B2 JP5453000B2 (ja) 2014-03-26

Family

ID=41019838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009160969A Expired - Fee Related JP5453000B2 (ja) 2008-07-07 2009-07-07 対象物を3dデジタル化するための方法及び装置

Country Status (4)

Country Link
US (1) US8330803B2 (ja)
EP (1) EP2144036B1 (ja)
JP (1) JP5453000B2 (ja)
DE (1) DE102008031942A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150259811A1 (en) * 2013-09-06 2015-09-17 Permelec Electrode Ltd. Production method for electrode for electrolysis
JP2016048239A (ja) * 2014-08-27 2016-04-07 ステインビッヒラー オプトテヒニク ゲゼルシャフト ミット ベシュレンクテル ハフツング 物体の3d座標を測定するための方法および装置
JP2022520754A (ja) * 2019-02-12 2022-04-01 ボリュームグラフィックス ゲーエムベーハー 測定データにおいて表面を決定するためのコンピュータ実装方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9479768B2 (en) 2009-06-09 2016-10-25 Bartholomew Garibaldi Yukich Systems and methods for creating three-dimensional image media
DE102010034987A1 (de) 2010-08-20 2012-03-01 Steinbichler Optotechnik Gmbh Verfahren zur 3D-Digitalisierung eines Objekts mit veränderlicher Oberfläche
US8754929B1 (en) * 2011-05-23 2014-06-17 John Prince Real time vergence control for 3D video capture and display
EP2698763A1 (de) * 2012-08-14 2014-02-19 Hölscher & Leuschner GmbH & Co. Verfahren zur Analyse eines lebenden Nutztieres
DE102012024012A1 (de) * 2012-12-06 2014-06-26 Audi Ag Verfahren zur Bestimmung eines Parameters zum Einstellen einer optischen Messeinrichtung sowie Vorrichtung und Computerprogrammprodukt zur Durchführung eines derartigen Verfahrens
JP6566768B2 (ja) * 2015-07-30 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
DE102016211657A1 (de) 2016-06-28 2017-12-28 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zur Erzeugung eines resultierenden Abbildes einer Oberfläche
FR3063172A1 (fr) 2017-02-21 2018-08-24 Yann Viellard Dispositif et procede pour la numerisation 3d sans contact d'un objet.
EP3444780A1 (de) * 2017-08-18 2019-02-20 a.tron3d GmbH Verfahren zum registrieren von wenigstens zwei verschiedenen 3d-modellen
JP7565212B2 (ja) 2017-10-08 2024-10-10 マジック アイ インコーポレイテッド 縦グリッドパターンを使用した距離測定
CN108195314B (zh) * 2018-01-17 2019-11-05 杨佳苗 基于多视场拼接的反射式条纹三维面形测量方法
CN112119628B (zh) 2018-03-20 2022-06-03 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
JP7292315B2 (ja) 2018-06-06 2023-06-16 マジック アイ インコーポレイテッド 高密度投影パターンを使用した距離測定
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
JP7565282B2 (ja) 2019-01-20 2024-10-10 マジック アイ インコーポレイテッド 複数個の通過域を有するバンドパスフィルタを備える三次元センサ
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020231747A1 (en) * 2019-05-12 2020-11-19 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
CN110018174B (zh) * 2019-05-22 2021-10-22 合肥联宝信息技术有限公司 一种检测物体外观的方法和装置
WO2021113135A1 (en) 2019-12-01 2021-06-10 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
CN114830190A (zh) 2019-12-29 2022-07-29 魔眼公司 将三维坐标与二维特征点相关联
EP4097681A4 (en) 2020-01-05 2024-05-15 Magik Eye Inc. TRANSFER OF THE COORDINATE SYSTEM OF A THREE-DIMENSIONAL CAMERA TO THE IMPACT POINT OF A TWO-DIMENSIONAL CAMERA
DE102020201097B4 (de) * 2020-01-30 2023-02-16 Carl Zeiss Industrielle Messtechnik Gmbh Anordnung und Verfahren zur optischen Objektkoordinatenermittlung
CN111586449B (zh) * 2020-04-15 2021-11-19 中影华夏电影科技(北京)有限公司 一种主副服务器影片同步播放的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212643A (ja) * 1996-02-05 1997-08-15 Meidensha Corp 三次元物体認識方法及びその装置
JP2003006618A (ja) * 2001-06-27 2003-01-10 Minolta Co Ltd 3次元モデルの生成方法および装置並びにコンピュータプログラム
JP2005202945A (ja) * 2003-12-17 2005-07-28 United Technol Corp <Utc> Cadモデリングシステム及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194863A (ja) * 1998-12-28 2000-07-14 Nippon Telegr & Teleph Corp <Ntt> 3次元構造獲得・復元方法、装置、および3次元構造獲得・復元プログラムを記録した記録媒体
JP3751770B2 (ja) * 1999-07-08 2006-03-01 富士通株式会社 3次元形状生成装置
US7327857B2 (en) * 2004-03-09 2008-02-05 General Electric Company Non-contact measurement method and apparatus
EP1877726B1 (en) * 2005-03-11 2011-07-27 Creaform Inc. Auto-referenced system and apparatus for three-dimensional scanning
US20070052700A1 (en) * 2005-09-07 2007-03-08 Wheeler Frederick W System and method for 3D CAD using projection images
JP5362189B2 (ja) * 2006-05-10 2013-12-11 株式会社トプコン 画像処理装置及びその処理方法
US7925049B2 (en) * 2006-08-15 2011-04-12 Sri International Stereo-based visual odometry method and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212643A (ja) * 1996-02-05 1997-08-15 Meidensha Corp 三次元物体認識方法及びその装置
JP2003006618A (ja) * 2001-06-27 2003-01-10 Minolta Co Ltd 3次元モデルの生成方法および装置並びにコンピュータプログラム
JP2005202945A (ja) * 2003-12-17 2005-07-28 United Technol Corp <Utc> Cadモデリングシステム及び方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150259811A1 (en) * 2013-09-06 2015-09-17 Permelec Electrode Ltd. Production method for electrode for electrolysis
US9903031B2 (en) * 2013-09-06 2018-02-27 De Nora Permelec Ltd Production method for electrode for electrolysis
JP2016048239A (ja) * 2014-08-27 2016-04-07 ステインビッヒラー オプトテヒニク ゲゼルシャフト ミット ベシュレンクテル ハフツング 物体の3d座標を測定するための方法および装置
US10502554B2 (en) 2014-08-27 2019-12-10 Carl Zeiss Optotechnik GmbH Process and device for determining the 3D coordinates of an object
JP2022520754A (ja) * 2019-02-12 2022-04-01 ボリュームグラフィックス ゲーエムベーハー 測定データにおいて表面を決定するためのコンピュータ実装方法

Also Published As

Publication number Publication date
EP2144036B1 (de) 2018-09-05
US20100007719A1 (en) 2010-01-14
EP2144036A2 (de) 2010-01-13
EP2144036A3 (de) 2011-04-06
US8330803B2 (en) 2012-12-11
JP5453000B2 (ja) 2014-03-26
DE102008031942A1 (de) 2010-01-14

Similar Documents

Publication Publication Date Title
JP5453000B2 (ja) 対象物を3dデジタル化するための方法及び装置
US9569873B2 (en) Automated iterative image-masking based on imported depth information
US9697607B2 (en) Method of estimating imaging device parameters
JP6793151B2 (ja) オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム
US20150369593A1 (en) Orthographic image capture system
CN107465906B (zh) 场景的全景拍摄方法、装置及终端设备
TW201118791A (en) System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
US12395751B2 (en) Auxiliary focusing method, apparatus, and system for generating auxiliary focus image based on depth information
JP2010287174A (ja) 家具シミュレーション方法、装置、プログラム、記録媒体
JP2010219825A (ja) 三次元計測用画像撮影装置
US20200364900A1 (en) Point marking using virtual fiducial elements
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
CN110189343B (zh) 图像标注方法、装置及系统
CN111489384A (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
CN109934873B (zh) 标注图像获取方法、装置及设备
CN113724365B (zh) 一种三维重建方法及装置
US20240406363A1 (en) Handling blur in multi-view imaging
CN102142141A (zh) 具有图像转换功能的移动通信终端和方法
US10360719B2 (en) Method and apparatus for obtaining high-quality textures
JP2002135807A (ja) 3次元入力のためのキャリブレーション方法および装置
JP2021093712A (ja) 撮像制御装置、評価システム、撮像制御方法及びプログラム
JP2005011070A (ja) 画像合成装置
EP4528218A1 (en) Tracking marker
CN113287151B (zh) 信息处理装置、计算机能读取的记录介质和信息处理方法
Liu et al. Star-effect simulation for photography

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120618

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140106

R150 Certificate of patent or registration of utility model

Ref document number: 5453000

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees