JP2008039767A - 反射性物体の表面の形状を検知する方法及びシステム - Google Patents

反射性物体の表面の形状を検知する方法及びシステム Download PDF

Info

Publication number
JP2008039767A
JP2008039767A JP2007175876A JP2007175876A JP2008039767A JP 2008039767 A JP2008039767 A JP 2008039767A JP 2007175876 A JP2007175876 A JP 2007175876A JP 2007175876 A JP2007175876 A JP 2007175876A JP 2008039767 A JP2008039767 A JP 2008039767A
Authority
JP
Japan
Prior art keywords
pattern
screen
image
pixel
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007175876A
Other languages
English (en)
Other versions
JP5230131B2 (ja
Inventor
Paul A Beardsley
ポール・エイ・ベアズリィー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2008039767A publication Critical patent/JP2008039767A/ja
Application granted granted Critical
Publication of JP5230131B2 publication Critical patent/JP5230131B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2527Projection by scanning of the object with phase change by in-plane movement of the patern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】面法線及び他の3D形状記述子が鏡面反射性又は複合的な拡散鏡面反射性の物体に関して求められる。
【解決手段】カメラが、物体の表面において反射される滑らかに空間的に変化するパターンの1つの画像を、パターンを最初の位置に配置した状態で記録する。カメラは次に、最初の位置とは別の最後の位置まで一連のその後の変位を行うパターンの複数の画像を記録する。画像のピクセルに関して、1つの最初の画像と複数の最後の画像のいずれかとのピクセル値間の最小差に対応するパターン変位が求められる。ピクセルにより撮像される点において物体の表面に当たる入射光線が次に、求められたパターン変位を用いて求められる。その同じ表面点における面法線が次に、求められた入射光線を用いて求められる。主曲率、パラメトリック表面の主軸、3D形状、又は物体の姿勢等の他の3D形状記述子が物体の面法線から求められる。
【選択図】図1

Description

[発明の分野]
本発明は、包括的にはコンピュータビジョンに関し、特に、鏡面反射面及び複合的な拡散鏡面反射面を有する物体の3D形状の検知に関する。
[発明の背景]
表面の検知
3Dデータを取得するセンサは多くの用途に役立つ。例えば、工場の自動化された「ビンピッキング」のためのシステムは、ビン内の物体の姿勢の算出に先行するものとして3Dデータを取得する。次に、物体の中から選択されたものを取り出すようにロボットアームを誘導する。物体の姿勢とは、3次元(以下、3Dとする。)における物体の場所と、その場所における物体の3Dの向きである。
表面の3D形状を検知する一組のビジョンベースの技法は、物体が非鏡面反射面(例えばつや消し面)を有するものと仮定する。別の組の技法は、物体が鏡面反射面(例えば鏡面)又は透明な表面を有するものと仮定する。
非鏡面反射面
非鏡面反射面の3D形状を検知するコンピュータビジョンベースの技法として、構造光、飛行時間レーザースキャナ、ステレオカメラ、移動カメラ、照度差ステレオ、陰影による形状、及びデプスフロム(デ)フォーカス(depth-from-(de)focus)がある。
これらの技法は全て、表面に入射する光が拡散反射され、よって反射光が、その表面に対して見通し線を有するどのセンサにおいても可視であると仮定する。さらに、多くの技法は、可視特徴が、計測可能な3Dの物理的な場所を有する物理的な特徴であり、反射特徴ではないと仮定する。これらの技法は、表面の拡散性が低くなり鏡面反射性が高くなるにつれて、上記の仮定が当てはまらなくなるために低下する。
鏡面反射面
鏡面反射面の3D形状を検知するコンピュータビジョンベースの技法は、鏡面反射面により反射される特徴が周囲の情景内にあるものと仮定する。これらの特徴は、A. Blake及びG. Brelstaff著「鏡面反射性からの幾何学(Geometry from specularity)」(Proc ICCV, 1988)にあるように疎らである、すなわち情景内の点光源から生じる鏡面ハイライトである場合がある。特徴が疎らである場合、検知される表面の3D形状も疎らとなる。これは、多くの用途に望ましくない。例えば、検知される特徴が疎らである場合、物体の信頼性の高い姿勢を計算することは難しい。この問題は、カメラ又は特徴を表面に対して移動させることにより改善することができるが、これには時間がかかる。
特徴は、T. Bonfort他著「一般的な鏡面反射面の三角測量(General Specular Surface Triangulation)」(Proc ACCV, 2006)の密な2値化パターンのように密である場合もある。しかし、様々な表面形状を検知する場合、密な個々の特徴の密な2値化パターンの使用には問題がある。平面鏡のような平らな鏡面反射面の密な特徴の反射は歪みがなく、スプーンのような湾曲した鏡面反射面の特徴の反射は大きく歪み得る。密な特徴が、平らな反射面で可視である適切なサイズである場合、その同じ特徴は通常、大部分の湾曲した反射面では認識できないほど小さい。密な特徴が、湾曲した反射面で可視である適切なサイズである場合、その同じ特徴は、平面の微細な計測を行うには大きすぎる。
密な2値化パターンの使用に伴う第2の問題は、スクリーンに一連の画像を表示することによってパターンが作成されることである。2値化が例えば8ビットである場合、8個の画像を表示しなければならない。上記で参照したBonfortに記載される方法のようにパターンを2回表示しなければならない場合、16個の画像を表示しなければならない。これには時間がかかる。
密な2値化パターンの使用に伴う第3の問題は、1つのカメラピクセル(又はピクセル群)がパターンの1つの特徴の反射を記録する場合に生じる。記録された特徴は、表面上の1つの3D計測値を求めるために用いられる。しかし、サブピクセル精度のピクセル位置をこの3D計測値に割り当てる方法はない。その代わりに、カメラピクセルの中心(又はピクセル群の中心)を3D計測値に割り当てる等、専断的な決定を行わなければならない。これは、計測段で精度が損なわれるために望ましくない。
Bonfort他により記載される方法は、3D計測値を次の平滑化段において平滑化することによってこの問題に対処することを試みる。しかしこれは、平滑化により表面の3D形状の重要な細部が排除される可能性があるため、サブピクセル精度のピクセル位置を計測段において得ることに劣る。
複合面
当該技術分野において、表面が入射光の一部を鏡面反射し、その光の一部を拡散反射するブラッシュメタルのような複合的な拡散鏡面反射面を有する物体に対するビジョンベースのセンサはわずかしか知られていない。これは、このような表面が、非鏡面反射面を扱う技法に対して十分に強い拡散応答も、鏡面反射面を扱う技法に対して十分に強い鏡面反射も生じないからである。例えば、Bonfort他により記載される方法は、隣接する2値化特徴の反射が拡散反射成分のために互いに曖昧になると機能しない。したがって、2値化パターンを求めることができない。
したがって、平面及び曲面の両方に対して良好に機能する鏡面反射面を検知する方法及びシステムが必要とされている。また、システムが使用するパターンは大きな一連の時間的画像から成るものではないため、高速なシステムが必要とされている。また、カメラのピクセル位置を求められた3D計測値にサブピクセル精度で関連付ける方法及びシステムが必要とされている。さらに、表面反射における拡散成分の存在に対応することができる鏡面反射面を検知する方法及びシステムが必要とされている。
[発明の概要]
本発明の実施の形態は、鏡面反射面及び複合的な拡散鏡面反射面を有する物体の3D形状を検知する方法及びシステムを提供する。
カメラが、物体の鏡面反射面又は複合的な拡散鏡面反射面により反射される平面スクリーンの画像を取得し、スクリーンは、滑らかに空間的に変化するパターンを表示する。例えば、パターンがスクリーンに表示又は投影される。
スクリーンは、最初の位置からその後の複数の位置を経て最後の位置まで、スクリーンの平面に垂直な方向に制御された方法で移動される。
カメラは、物体の鏡面反射面又は複合的な拡散鏡面反射面により反射されるスクリーンの複数の画像を、スクリーンが最後の位置にある状態で取得し、スクリーンは、一連の横変位を行うパターンを表示する。
ピクセル毎に、1つの最初の画像と複数の最後の画像のいずれかとのピクセル値間の最小差に対応するパターンの変位が記録される。
ピクセル毎に、パターン変位が既知のシステム較正と共に用いられて、ピクセルにより撮像される物体の表面上の点の面法線が求められる。
求められた面法線は、表面の他の幾何学的特性、例えば各点における主曲率、パラメトリック物体の主軸、位相アンラッピング法の使用による3D形状、及び物体の姿勢を導出するために用いられる。
本方法およびシステムは、ピクセル値の差のみに基づき、カメラの事前較正又は予期される特性、周囲照明、表面の材料、又はスクリーン上のパターンに基づくものではないため、カメラの応答特性、周囲照明、表面の反射特性、表面の欠陥又は汚れ、及びスクリーン上のパターンの絶対的な外観に対して不変である。従って、平面及び曲面の両方に対して良好に機能して、反射性物体の表面の形状を検知する。
[好適な実施形態の詳細な説明]
システム構造
図1は、本発明の一実施形態による、反射性物体の面法線を検知するシステム100を示す。本システムは、カメラ110と、物体120と、滑らかに空間的に変化するパターン132を表示する可動平面スクリーン130と、カメラ110に接続されるプロセッサ140とを備える。
カメラは、物体120の表面121の入力画像(I)111を取得する。特徴として、表面121は鏡面反射性又は複合的な拡散鏡面反射性である。パターン132は表面121により反射される。スクリーンが最初の位置130にある状態で1つの画像が取得される。スクリーンは、その後の複数の位置を経て最後の位置133まで制御量131だけ、スクリーンの平面が様々な位置において最初の位置にあった時のスクリーンと平行であり続けるように移動される。スクリーンが最後の位置133にある状態で複数の画像が取得され、パターンはスクリーン上のその後の一連の位置134を経て変位される。この場合、変位はスクリーンに平行な平面におけるものである。
カメラピクセルは、入射光線101と、表面点122により反射される反射光線102とから到来する光を画像値(強度)として記録する。点122において、表面121は面法線123を有する。物体の形状を示す面法線123を求めることは望ましい。
パターン132は、スクリーンに印刷するか、又は前面照明若しくは背面照明を用いてスクリーンに表示することができる。プロセッサ140は、当該技術分野において既知であるようなメモリ及びI/Oポートを備える。プロセッサは、本発明の実施形態による検知方法200を実行することができる。プロセッサの出力は面法線123である。面法線は、物体の表面の形状を示す。面法線は他のシステム(例えば、ロボットアーム150)が物体を操作するために使用することができる。
方法の動作
図2は、本発明の一実施形態による、反射性物体の面法線を検知する方法200のステップを示す。予備ステップがシステムを較正して(201)較正データ202を生成する。較正は1度行われる。
カメラ110は、物体120の表面により反射されたスクリーン130の画像111を取得する(210)。スクリーンは、最初の位置、その後の複数の位置、及び最後の位置を有する。カメラは、最初の位置にあるスクリーンの1つの画像と、最後の位置にあるスクリーンの、スクリーン上のパターンの様々な変位に関する複数の画像とを取得する。各画像のピクセル毎に、方法は、1つの最初の画像のピクセル画像値と複数の最後の画像のいずれかのその後の複数の画像値とのピクセル画像値間の最小差を求め(220)、パターンの関連する変位221を記録する。
各画像のピクセル毎に、パターンから物体の表面上の点122への入射光線101の方向231を、変位221を用いて求める(230)。各画像のピクセル毎に、点122の面法線123の方位を、入射光線101を用いて求める(240)。面法線123は、点122における物体の形状を示す。
詳細な動作
較正
図3に示すように、第1段階の較正はカメラの内部パラメータを求める。第2段階は、カメラ、並びに最初の位置301及び最後の位置302にあるスクリーンの物理的な位置を求める。この段階は、入力画像がスクリーン上の既知の場所(例えばスクリーンの4隅の点のうちの3つ)に少なくとも3つの特徴を含むことを必要とする。
スクリーンがカメラから直接見えない場合、スクリーンは平面鏡を介して見ることができる。鏡には既知の位置に少なくとも3点の印が付いている。この較正は、鏡の位置を求めること、鏡に映るスクリーンの仮想位置を求めること、そして次にスクリーンの物理的な位置を推測することを含む。
較正の第3段階は、スクリーンの水平方向及び垂直方向を求める。この動作は、スクリーン上の水平方向に少なくとも1本の線を必要とし、それから垂直方向を推測することができる。
較正の第4段階は、パターンがスクリーン上で変位される際に行う変位のサイズを求める。この動作は、スクリーン上で少なくとも1回の変位を行うパターンをカメラが観察することを必要とする。
検知
図4は、表面点S122において3D光線v101及び3D光線w102により反射されるパターンの特徴Pに対応するピクセルc122を有する画像111を示す。パターンは、滑らかに空間的に変化する1Dパターン、例えば、スクリーン130の水平方向に沿って変化する強度傾斜又は複数のカラースペクトル傾斜である。ピクセルcにおけるピクセル値(強度又は色)はpである。この図において、画像111のピクセルcは、カメラ110のセンサのピクセルに直接対応する。したがって、それらのピクセルはカメラピクセルと呼ぶことができる。
スクリーンはその法線に沿って、最初の位置301からその後の複数の位置を経て最後の位置302まで距離Dだけ平行移動され、この時、カメラピクセルcはパターンの特徴Qに対応する。
スクリーン上のパターンは様々な水平変位303を経て、すなわち、スクリーンに平行な平面において移動される。一連の変位のカメラピクセルcにおけるピクセル値をq(i=1,...,n)とする。
p−qの最小値に対応するパターンの水平変位Hを求める。カメラピクセルcのD及びHが既知である場合、図5に垂直に見た状態で示すような一組の平行面401を求めることが可能である。この組のどの所与の平面も2本の線で画定され、1本目は最初の位置におけるパターンの線であり、2本目は最後の位置におけるパターンの線であり、横変位をHとする。この一組の平面の中の1つは、パターン特徴P(又はQ)から表面点S122へ向かいカメラピクセルcへ反射される入射光線vを含む。
このプロセスは、1Dパターンをスクリーン上で回転させてパターンが水平方向ではなく垂直方向に沿って変化するようにし、最後の位置におけるパターンの変位を水平ではなく垂直にして繰り返される。最後の位置における一連のパターン変位のカメラピクセルcにおけるピクセル値をr(i=1,...,n)とした場合、p−rの最小値に対応するパターンの垂直変位Vが求められる。次に、第1の一組の平行面とは異なる第2の一組の平行面が得られ、その中の1つは、特徴P(又はQ)から表面点S122へ向かいカメラピクセルcへ反射される入射光線を含む。
第1の一組の平面のいずれかの成員と第2の一組の平面のいずれかの成員との交差は、入射光線101の3D光線v=(m×n)を生じる。ここで、mは第1の一組の平面の法線であり、nは第2の一組の平面の法線であり、「×」は外積演算子を示す。なお、3D光線vは方向のみを指定し、3D空間の既知の位置にない。3D光線v101は、特徴P(又はQ)から表面点S122までの方向を指定し、カメラピクセルcへと反射する。
図1におけるカメラピクセルcの3D光線w102はカメラ較正データ202から得ることができる。方向v及びwが与えられると、点Sにおける表面の法線123はn=(v+w)/2となり、ここで、vは方向vに対応する単位ベクトルであり、wは方向wの単位ベクトルである。
p−qの最小値の計算によるHの計算は、大きな範囲の変位を経てパターンを動かす必要がないように変更することができる。Hは、q(及びそれらに関連するH)の2つの値のみに基づいて、それらのqの値からの線形補間(内挿)又は線形補外(外挿)により計算することができる。qの値が3つ以上与えられると、二次近似等のより良好な関数近似を用いてHのより良好な推定値を生成することができる。Vに関しても同様である。
他の実施形態
別の実施形態において、どの画像においても値が変化しないピクセルは、パターンの反射に対応しないため無視される。例えば、それらのピクセルは情景の周囲の背景にある。
他の実施形態において、パターンは、スクリーン上の固定されたデザイン、又はスクリーンに投影されるパターンであってもよい。
別の実施形態において、検知は、2つのパターンではなく1つのパターンを用いて行われる。このパターンは、点毎に固有の値を有する。例えば、パターンは、水平方向に赤の強度傾斜、垂直方向に緑の傾斜を有するカラーパターンであり、スクリーンが最後の位置にある状態で斜め方向に変位される。複数の最後の画像は、p−q及びp−rを計算し、その後の計算を上記と同様に行うために用いられる。
別の実施形態において、パターンは、スクリーン上で周期的に繰り返す。p−q又はp−rの複数の最小値が発生することを防ぐために、スクリーンの平行移動は十分に小さく、最初の画像及び最後の画像において所与のピクセルに反射するパターンの部分は全て周期パターンの単一の周期内にある。
別の実施形態において、パターンは、最後の位置だけでなく最初の位置にあるスクリーン上でも変位され、複数の最初の画像及び複数の最後の画像を全て用いて表面形状を求める。
別の実施形態において、スクリーンは、最初の位置の後に2つ以上の後の位置に移動され、それらの後の位置毎にステップが繰り返される。その場合、画像中の1つのピクセルに関して、個々の位置において計算された光線を結合することによって表面に対する入射光線が計算され、より正確な推定値が与えられる。
別の実施形態において、面法線は、物体上の各点における主曲率を推定するために用いられる。
別の実施形態において、面法線は、円柱又は球のようなパラメトリック物体の主軸を求めるために用いられる。
別の実施形態において、面法線は、位相アンラッピング法に入力されて物体の3D形状が求められる。位相アンラッピングは当該技術分野においてよく知られている。
別の実施形態において、面法線は、物体の3D形状、その次に物体の姿勢を求めるために用いられる。
別の実施形態において、表面の領域にわたる面法線の変化が、表面を分析するために用いられる。面法線の変化は、表面形状の不連続性(例えば表面の面間の辺、又は表面の凸部若しくは凹部)を特定するために用いられる。面法線の変化はまた、表面の滑らかさを特徴付けするために用いられる。面法線の変化はまた、主曲率を、またパラメトリック物体の場合には主軸のような特徴を特定するために用いられる。面法線の変化はまた、表面の異方性(例えばブラッシュメタルの方向テクスチャ)を特徴付けするために用いられる。これは、面法線は、ブラッシュテクスチャの方向に沿った変化が最も小さく、ブラッシュテクスチャに垂直な方向の変化が最も大きいためである。面法線の不連続性はまた、表面における反射の不連続性(例えば、反射の一部がパターンから直接生じ、反射の一部が他の鏡面反射面によるパターンの二重反射から生じる場合に生じる不連続性)を特定するために用いることができる。
別の実施形態において、最初の画像と複数の最後の画像の各々との間のピクセル値の差の変化が、表面の異方性(例えばブラッシュメタルの方向テクスチャ)を特徴付けするために用いられる。
別の実施形態において、スクリーンは複数の平面ファセットから成り、物体の表面のより多くの部分がパターンを反射する。
別の実施形態において、物体の表面を観察するために2台以上のカメラが用いられ、表面のより多くの部分を処理することができる。
別の実施形態において、物体の表面を観察するためにズームカメラが用いられ、ズームした領域に関してより高解像度の結果が利用可能になる。
別の実施形態において、移動スクリーンは2つの固定スクリーン及びビームスプリッタで置き換えられ、同じ効果的な構成が移動部分なしで提供される。
別の実施形態において、p−q又はp−rの複数の最小値の存在が用いられて、物体の表面における複数の層の発生が特定される。
[発明の効果]
本方法は、ピクセル値の差p−qのみに基づき、カメラの事前較正又は予期される特性、周囲照明、表面の材料、又はスクリーン上のパターンに基づくものではないため、カメラ110の応答特性、周囲照明、表面121の反射特性、表面121の欠陥又は汚れ、及びスクリーン130上のパターンの絶対的な外観に対して不変である。
本方法は、ピクセル値の差p−qのみに基づき、様々な形状の表面における反射から生じる反射パターンのスケール差又は歪みの影響を受けないため、パターンの形状を調整する必要なく平面又は曲面に機能する。
本方法は、2つの別個のパターン(水平及び垂直)を表示する場合、パターンの6つの画像の最小値を扱う。すなわち、最初のスクリーン位置における1つの画像、及び最後のスクリーン位置における(パターンの変位の)2つの画像である。本方法は、1つのパターン(例えば、水平方向に沿って赤の強度傾斜、及び垂直方向に沿って緑の強度傾斜を有するカラーパターン)が表示される場合、3つの画像の最小値を扱う。
本方法は、画像のピクセルに対して、ピクセル値の差p−qの複数の値を結合して、p−qの最小値のより正確な推定値、よって関連する面法線のより正確な推定値を求めることを可能にする。
本方法は、鏡面反射面及び複合的な拡散鏡面反射面の両方に機能する。表面が鏡面反射性である場合、カメラピクセルに到来する光は、パターン上の1つの点からの反射である。しかし、表面が複合的な拡散鏡面反射性である場合、カメラピクセルに到来する光は、パターンの領域からの鏡面反射及び拡散反射の結果である。この領域は図6において、スクリーンが最初の位置にある場合では620であり、スクリーンが最後の位置にある場合では領域630である。本方法は、ピクセル値の差p−qのみに基づき、ピクセル値pは領域620の反射に対応し、ピクセル値qは領域630の反射に対応するため、この複雑な反射を明示的にモデル化するあらゆる必要性をなくす。
本発明を好ましい実施形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び変更を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形及び変更を全て網羅することである。
本発明の一実施形態による、物体の表面の形状を求めるシステムの概略図である。 本発明の一実施形態による、物体の表面の形状を求める方法の流れ図である。 システム較正の概略図である。 システムにより行われる計測を示す概略図である。 面法線を求めるための中間結果に対応する一組の平面の概略図である。 複合的な拡散鏡面反射面にシステムを使用する効果を示す概略図である。

Claims (26)

  1. 反射性物体の表面の形状を検知する方法であって、
    前記表面が最初の位置にある可視物を反射している時に前記物体上の表面点の最初の画像値を記録するステップと、
    前記可視物が前記最初の位置とは異なるその後の複数の位置を経て所定の動きを行う際にその後の複数の画像値を記録するステップと、
    前記表面点の前記画像値が前記最初の画像値と実質的に同じになる前記可視物の位置を特定するステップと、
    前記可視物の前記最初の位置及び前記特定された位置を用いて前記表面点の面法線を求めるステップと
    を含む、反射性物体の表面の形状を検知する方法。
  2. 前記可視物は、空間的に変化するパターンを表示する平面スクリーンであり、
    前記物体の前記表面において反射される前記スクリーンの1つの最初の画像を、該スクリーンが前記最初の位置にある状態で取得するステップと、
    前記所定の動きに従って前記最初の位置に対して平行な最後の位置まで前記スクリーンを移動させるステップと、
    前記物体の前記表面において反射される前記スクリーンの複数の最後の画像を、該スクリーンが前記最後の位置にある状態で、且つ、前記パターンが該スクリーン上で一連の変位を行っている状態において、取得するステップと、
    前記画像のピクセル毎に、前記1つの最初の画像と前記複数の最後の画像のいずれかとのピクセル値間の最小差を求めると共に、前記パターンの関連する前記変位を記録するステップと、
    前記ピクセルに関して、前記変位から、前記パターンから前記物体の前記表面までの入射光線の方向を、前記ピクセルにより撮像される前記点において求めるステップと、
    1つのピクセルに関して、その求められた入射光線から、該ピクセルにより撮像される前記点における前記物体の前記面法線を求めるステップであって、該面法線は前記表面点における前記表面の形状を表すものである、ステップと
    をさらに含む、請求項1に記載の方法。
  3. 前記面法線は、主曲率、パラメトリック表面の主軸、3D形状、及び物体の姿勢から成る群から選択される前記表面の3D特性を求めるために用いられる、請求項1に記載の方法。
  4. 前記画像値は、前記物体の前記可視物を反射する部分に関してのみ記録される、請求項1に記載の方法。
  5. 前記可視物は、刻印されたパターンを有する物体である、請求項1に記載の方法。
  6. 前記可視物は、投影されたパターンを有する物体である、請求項1に記載の方法。
  7. 前記可視物は、1D強度傾斜であるパターンを有する物体である、請求項1に記載の方法。
  8. 前記1D強度傾斜は複数の色傾斜を含む、請求項7に記載の方法。
  9. 前記ステップは2回行われ、1回目は、前記スクリーンの水平方向のみに沿って変化し、前記パターン変位が水平である1Dパターンを用いて、2回目は、垂直にのみ変化し、前記パターン変位が垂直である1Dパターンを用いて行われ、結果が結合されて前記面法線が得られる、請求項2に記載の方法。
  10. 取り込まれる前記パターンの画像数は3つであり、そのうち1つの画像は前記最初のスクリーン位置で、2つの画像は前記最後のスクリーン位置で取り込まれ、該最初の画像と該最後の画像との間の前記ピクセル値に前記最小差を生じる前記パターンの前記変位は線形補間により求められる、請求項2に記載の方法。
  11. 取り込まれる前記パターンの画像数は3つ以上であり、そのうち1つの画像は前記最初のスクリーン位置で、他の画像は前記最後のスクリーン位置で取り込まれ、該最初の画像と該最後の画像との間の前記ピクセル値に前記最小差を生じる前記パターンの前記変位は高次補間法により求められる、請求項2に記載の方法。
  12. 前記パターンは、前記スクリーン上で周期的に繰り返し、周期は十分に大きく、前記1つの最初の画像及び前記複数の最後の画像の所与のピクセルに反射する前記パターンの点は該周期パターンの単一の周期にある、請求項2に記載の方法。
  13. 前記パターンは前記スクリーン上で、前記最後の位置だけでなく前記最初の位置でも変位され、複数の最初の画像及び複数の最後の画像が、前記表面の前記形状を求めるために用いられる、請求項2に記載の方法。
  14. 前記表面の一部にわたる前記面法線の変化が、該表面の特性を特徴付けするために用いられる、請求項1に記載の方法。
  15. 前記面法線の前記変化は、前記表面の物理的な不連続性を特定するために用いられる、請求項14に記載の方法。
  16. 前記面法線の前記変化は、各表面点における主曲率を、またパラメトリック表面の場合に対称軸を特定するために用いられる、請求項14に記載の方法。
  17. 前記面法線の前記変化は、凸状の浅浮き彫りデザインを特定するために用いられる、請求項14に記載の方法。
  18. 前記面法線の前記変化は、前記表面の滑らかさを特徴付けするために用いられる、請求項14に記載の方法。
  19. 前記面法線の前記変化は、前記表面の異方性を特徴付けするために用いられる、請求項14に記載の方法。
  20. 前記面法線の前記変化は、前記表面における前記反射の不連続性を特定するために用いられる、請求項14に記載の方法。
  21. 前記画像値の変化が、前記表面の特性を特徴付けするために用いられる、請求項1に記載の方法。
  22. 前記変化は、前記表面の異方性を特徴付けするために用いられる、請求項21に記載の方法。
  23. 前記可視物は複数の平面ファセットから成る、請求項1に記載の方法。
  24. 前記物体を観測するために2台以上のカメラが用いられる、請求項1に記載の方法。
  25. 前記物体を観測するためにズームカメラが用いられる、請求項1に記載の方法。
  26. 反射性物体の表面の形状を検知するシステムであって、
    前記表面が最初の位置にある可視物を反射している時に前記物体上の表面点の最初の画像値を記録する手段と、
    前記可視物が前記最初の位置とは異なるその後の複数の位置を経て所定の動きを行う際にその後の画像値を記録する手段と、
    前記表面点の前記画像値が前記最初の画像値と実質的に同じになる前記可視物の位置を特定する手段と、
    前記可視物の前記最初の位置及び前記特定された位置を用いて前記表面点の面法線を求める手段と
    を備える、反射性物体の表面の形状を検知するシステム。
JP2007175876A 2006-08-01 2007-07-04 反射性物体の表面の形状を検知する方法及びシステム Active JP5230131B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/497,962 2006-08-01
US11/497,962 US7711182B2 (en) 2006-08-01 2006-08-01 Method and system for sensing 3D shapes of objects with specular and hybrid specular-diffuse surfaces

Publications (2)

Publication Number Publication Date
JP2008039767A true JP2008039767A (ja) 2008-02-21
JP5230131B2 JP5230131B2 (ja) 2013-07-10

Family

ID=38565930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007175876A Active JP5230131B2 (ja) 2006-08-01 2007-07-04 反射性物体の表面の形状を検知する方法及びシステム

Country Status (4)

Country Link
US (1) US7711182B2 (ja)
EP (1) EP1884740A3 (ja)
JP (1) JP5230131B2 (ja)
CN (1) CN101118155B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009236917A (ja) * 2008-03-25 2009-10-15 Steinbichler Optotechnik Gmbh 物体の3d座標を決定するための方法及び装置
JP2009288235A (ja) * 2008-05-29 2009-12-10 Mitsubishi Electric Research Laboratories Inc 物体の姿勢を求める方法及び装置
WO2011155447A1 (ja) * 2010-06-07 2011-12-15 旭硝子株式会社 形状測定装置、形状測定方法、およびガラス板の製造方法
JP2014038015A (ja) * 2012-08-14 2014-02-27 Nidec Tosok Corp 三次元計測装置
JP2014048276A (ja) * 2012-09-04 2014-03-17 Toshiba Corp 領域特定装置、方法、及びプログラム

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006015792A1 (de) * 2006-04-05 2007-10-18 Isra Surface Vision Gmbh Verfahren und System zur Formmessung einer reflektierenden Oberfläche
DE102008023264B4 (de) * 2008-05-13 2017-01-05 Smart Optics Sensortechnik Gmbh Verfahren zur flexiblen Erfassung der geometrischen Form von Objekten mit optischer 3D-Messtechnik
US8139230B2 (en) * 2008-05-16 2012-03-20 Forensic Technologies Wai Inc. Acquisition of topographies of objects having arbitrary geometries
WO2010019925A1 (en) * 2008-08-15 2010-02-18 Brown Technology Partnerships Method and apparatus for estimating body shape
US8437537B2 (en) * 2009-03-27 2013-05-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for estimating 3D pose of specular objects
ATE520958T1 (de) * 2009-08-19 2011-09-15 Pepperl & Fuchs Verfahren zum messen von objekten
JP5633719B2 (ja) * 2009-09-18 2014-12-03 学校法人福岡工業大学 三次元情報計測装置および三次元情報計測方法
CN101694375B (zh) * 2009-10-23 2011-06-22 北京航空航天大学 一种用于强反射表面三维形貌测量的立体视觉检测方法
US8892723B2 (en) 2010-06-16 2014-11-18 Netapp, Inc. Method and apparatus for enabling communication between iSCSI devices and SAS devices
GB2481459B (en) * 2010-06-25 2017-05-03 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E V Capturing a surface structure of an object surface
US8381976B2 (en) * 2010-08-10 2013-02-26 Honeywell International Inc. System and method for object metrology
US8818755B2 (en) 2010-10-12 2014-08-26 Agr International, Inc. Container thickness measuring systems and methods
US8165403B1 (en) * 2010-11-19 2012-04-24 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of specular objects
CN102620650B (zh) * 2011-01-26 2014-07-09 上海瑞伯德智能系统科技有限公司 视频钢管跟踪系统
CN102739952B (zh) * 2011-03-29 2015-06-03 财团法人工业技术研究院 多视角取像方法及其应用系统
JP6104662B2 (ja) 2013-03-25 2017-03-29 株式会社東芝 計測装置、方法及びプログラム
WO2016171265A1 (ja) * 2015-04-22 2016-10-27 新日鐵住金株式会社 形状測定装置及び形状測定方法
US10444617B2 (en) * 2015-04-30 2019-10-15 Sony Corporation Image processing apparatus and image processing method
CN105091784A (zh) * 2015-06-30 2015-11-25 东莞市盟拓光电科技有限公司 用于表面为镜面或透明表面的被测物的三维成像系统
US10055881B2 (en) 2015-07-14 2018-08-21 Microsoft Technology Licensing, Llc Video imaging to assess specularity
US9958267B2 (en) * 2015-12-21 2018-05-01 Industrial Technology Research Institute Apparatus and method for dual mode depth measurement
US9958259B2 (en) 2016-01-12 2018-05-01 Canon Kabushiki Kaisha Depth value measurement
US9818234B2 (en) * 2016-03-16 2017-11-14 Canon Kabushiki Kaisha 3D shape reconstruction using reflection onto electronic light diffusing layers
WO2018017897A1 (en) * 2016-07-20 2018-01-25 Mura Inc. Systems and methods for 3d surface measurements
CN106546192B (zh) * 2016-10-12 2019-08-06 上海大学 一种高反射自由曲面非接触测量方法和系统
US20200080838A1 (en) * 2017-01-20 2020-03-12 Intekplus Co.,Ltd. Apparatus and method for measuring three-dimensional shape
CN107345793B (zh) * 2017-06-22 2020-07-10 四川大学 Ccd图像传感器微小位移测量仪的角度测量装置
CN107806830A (zh) * 2017-10-12 2018-03-16 陕西科技大学 一种基于变焦摄像头的测距装置及使用方法
US20190220677A1 (en) * 2018-01-17 2019-07-18 GM Global Technology Operations LLC Structured light illumination system for object detection
SG11202006968PA (en) * 2018-01-24 2020-08-28 Cyberoptics Corp Structured light projection for specular surfaces
CN108759721B (zh) * 2018-08-09 2019-12-10 河北工业大学 一种基于光学条纹投影和反射的三维形貌测量方法及装置
US11995851B2 (en) * 2018-10-04 2024-05-28 Isak Du Preez Optical surface encoder
JP2021000435A (ja) * 2019-06-19 2021-01-07 株式会社リコー 情報処理装置、生体情報計測装置、空間領域値の表示方法およびプログラム
LU101454B1 (en) * 2019-10-16 2021-04-27 Virelux Inspection Systems Sarl Method and system for determining a three-dimensional definition of an object by reflectometry
DE112021006586A5 (de) * 2020-12-21 2024-02-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Bestimmung von Störungen eines Objektoberflächenverlaufs mit Hilfe farbiger Reflexionen
CN112747693B (zh) * 2020-12-25 2022-05-31 南京理工大学智能计算成像研究院有限公司 针对高反光物体的一种基于彩色图像检测的三维测量方法
FR3130025B1 (fr) * 2021-12-02 2024-03-08 Wyse Light procédé de mesure par déflectométrie
CN116481456B (zh) * 2023-06-25 2023-09-08 湖南大学 基于光度立体视觉的单相机三维形貌与变形测量方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6440255A (en) * 1987-07-31 1989-02-10 Toyota Central Res & Dev Tool dimension determining device for machining curved surface
JPH01165907A (ja) * 1987-12-22 1989-06-29 Asahi Glass Co Ltd 反射像歪の測定方法
JPH04148814A (ja) * 1990-10-12 1992-05-21 Toyota Central Res & Dev Lab Inc 非接触型測定装置
JPH04204359A (ja) * 1990-11-30 1992-07-24 Mazda Motor Corp 表面欠陥検査装置
JPH0545142A (ja) * 1991-08-08 1993-02-23 Mazda Motor Corp 表面状態検査方法
JPH0737408A (ja) * 1982-05-10 1995-02-07 Corning Inc 照明装置
JPH1137946A (ja) * 1997-07-24 1999-02-12 Meidensha Corp 鍵・シリンダ検査方法
JP2000028320A (ja) * 1998-07-10 2000-01-28 Matsushita Electric Ind Co Ltd 画像認識装置および画像認識方法
JP2005249489A (ja) * 2004-03-02 2005-09-15 Seiko Epson Corp 眼鏡レンズの欠陥検出方法
JP2005341569A (ja) * 2004-05-17 2005-12-08 Mitsubishi Electric Research Laboratories Inc 物体を含むシーンの様式化された画像を生成する方法
JP2006058215A (ja) * 2004-08-23 2006-03-02 Fuji Xerox Co Ltd 3次元画像入力装置および方法
JP2006084452A (ja) * 2004-09-17 2006-03-30 Minoru Ito 物体計測装置
JP2006105822A (ja) * 2004-10-06 2006-04-20 Canon Inc 三次元画像処理システム及び三次元データ処理装置
JP2007322162A (ja) * 2006-05-30 2007-12-13 3D Media Co Ltd 3次元形状測定装置及び3次元形状測定方法
JP2009150818A (ja) * 2007-12-21 2009-07-09 Nikon Corp 形状測定装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5568258A (en) 1992-08-25 1996-10-22 Asahi Glass Company Ltd. Method and device for measuring distortion of a transmitting beam or a surface shape of a three-dimensional object
SG73563A1 (en) * 1998-11-30 2000-06-20 Rahmonic Resources Pte Ltd Apparatus and method to measure three-dimensional data
US6590669B1 (en) * 1999-04-30 2003-07-08 Christoph Wagner Method for optically detecting the shape of objects
FR2817042B1 (fr) * 2000-11-22 2003-06-20 Saint Gobain Procede et dispositif d'analyse de la surface d'un substrat
DE10127304C5 (de) * 2001-06-06 2007-07-19 Technische Universität Carolo-Wilhelmina Zu Braunschweig Verfahren und Vorrichtung zur Bestimmung der dreidimensionalen Kontur einer spiegelnden Oberfläche eines Objektes
FR2830079B1 (fr) 2001-09-26 2004-04-30 Holo 3 Procede et dispositif de mesure d'au moins une grandeur geometrique d'une surface optiquement reflechissante
DE10258130A1 (de) * 2002-11-29 2004-06-17 Christoph Wagner Verfahren und Vorrichtung zur optischen Formerfassung von Gegenständen und Oberflächen
US7001023B2 (en) * 2003-08-06 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces
DE102004020419B3 (de) * 2004-04-23 2005-10-20 3D Shape Gmbh Verfahren und Vorrichtung zur Bestimmung der Form und der lokalen Oberflächennormalen spiegelnder Oberflächen

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0737408A (ja) * 1982-05-10 1995-02-07 Corning Inc 照明装置
JPS6440255A (en) * 1987-07-31 1989-02-10 Toyota Central Res & Dev Tool dimension determining device for machining curved surface
JPH01165907A (ja) * 1987-12-22 1989-06-29 Asahi Glass Co Ltd 反射像歪の測定方法
JPH04148814A (ja) * 1990-10-12 1992-05-21 Toyota Central Res & Dev Lab Inc 非接触型測定装置
JPH04204359A (ja) * 1990-11-30 1992-07-24 Mazda Motor Corp 表面欠陥検査装置
JPH0545142A (ja) * 1991-08-08 1993-02-23 Mazda Motor Corp 表面状態検査方法
JPH1137946A (ja) * 1997-07-24 1999-02-12 Meidensha Corp 鍵・シリンダ検査方法
JP2000028320A (ja) * 1998-07-10 2000-01-28 Matsushita Electric Ind Co Ltd 画像認識装置および画像認識方法
JP2005249489A (ja) * 2004-03-02 2005-09-15 Seiko Epson Corp 眼鏡レンズの欠陥検出方法
JP2005341569A (ja) * 2004-05-17 2005-12-08 Mitsubishi Electric Research Laboratories Inc 物体を含むシーンの様式化された画像を生成する方法
JP2006058215A (ja) * 2004-08-23 2006-03-02 Fuji Xerox Co Ltd 3次元画像入力装置および方法
JP2006084452A (ja) * 2004-09-17 2006-03-30 Minoru Ito 物体計測装置
JP2006105822A (ja) * 2004-10-06 2006-04-20 Canon Inc 三次元画像処理システム及び三次元データ処理装置
JP2007322162A (ja) * 2006-05-30 2007-12-13 3D Media Co Ltd 3次元形状測定装置及び3次元形状測定方法
JP2009150818A (ja) * 2007-12-21 2009-07-09 Nikon Corp 形状測定装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009236917A (ja) * 2008-03-25 2009-10-15 Steinbichler Optotechnik Gmbh 物体の3d座標を決定するための方法及び装置
JP2009288235A (ja) * 2008-05-29 2009-12-10 Mitsubishi Electric Research Laboratories Inc 物体の姿勢を求める方法及び装置
WO2011155447A1 (ja) * 2010-06-07 2011-12-15 旭硝子株式会社 形状測定装置、形状測定方法、およびガラス板の製造方法
US9152844B2 (en) 2010-06-07 2015-10-06 Asahi Glass Company, Limted Shape measuring device, shape measuring method, and method for manufacturing glass plate
JP2014038015A (ja) * 2012-08-14 2014-02-27 Nidec Tosok Corp 三次元計測装置
JP2014048276A (ja) * 2012-09-04 2014-03-17 Toshiba Corp 領域特定装置、方法、及びプログラム

Also Published As

Publication number Publication date
JP5230131B2 (ja) 2013-07-10
US7711182B2 (en) 2010-05-04
EP1884740A2 (en) 2008-02-06
US20080030744A1 (en) 2008-02-07
CN101118155B (zh) 2010-09-08
CN101118155A (zh) 2008-02-06
EP1884740A3 (en) 2008-03-12

Similar Documents

Publication Publication Date Title
JP5230131B2 (ja) 反射性物体の表面の形状を検知する方法及びシステム
Carfagni et al. On the performance of the Intel SR300 depth camera: metrological and critical characterization
Hernández et al. Non-rigid photometric stereo with colored lights
US7098435B2 (en) Method and apparatus for scanning three-dimensional objects
US7271377B2 (en) Calibration ring for developing and aligning view dependent image maps with 3-D surface data
CN106469448B (zh) 利用3d视觉进行自动化工业检查
JP5043023B2 (ja) 画像処理方法および装置
EP3115741B1 (en) Position measurement device and position measurement method
Molleda et al. An improved 3D imaging system for dimensional quality inspection of rolled products in the metal industry
JP2012088114A (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US20220092345A1 (en) Detecting displacements and/or defects in a point cloud using cluster-based cloud-to-cloud comparison
CN111353997A (zh) 一种基于条纹投影的实时三维面型缺陷检测方法
Prieto et al. Visual system for fast and automated inspection of 3D parts
JP2020512536A (ja) モデルベースのピーク選択を使用した3dプロファイル決定のためのシステム及び方法
Ha et al. A multi-view structured-light system for highly accurate 3D modeling
CN111583388A (zh) 一种三维扫描系统的扫描方法及设备
WO2020075213A1 (ja) 計測装置、計測方法および顕微鏡システム
Kim et al. An accurate and robust stereo matching algorithm with variable windows for 3D measurements
Morel et al. Calibration of catadioptric sensors by polarization imaging
JP2961140B2 (ja) 画像処理方法
Park et al. Specularity elimination in range sensing for accurate 3D modeling of specular objects
Abzal et al. Development of a new dual‐pattern fringe projection scanner
Weckenmann et al. 3D surface coordinate inspection of formed sheet material parts using optical measurement systems and virtual distortion compensation
Luhmann et al. Comparison and verification of optical 3-d surface measurement systems
CN108759720B (zh) 光滑表面面型测量方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130319

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5230131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250