JP2011027724A - 3次元計測装置、その計測方法及びプログラム - Google Patents

3次元計測装置、その計測方法及びプログラム Download PDF

Info

Publication number
JP2011027724A
JP2011027724A JP2010137680A JP2010137680A JP2011027724A JP 2011027724 A JP2011027724 A JP 2011027724A JP 2010137680 A JP2010137680 A JP 2010137680A JP 2010137680 A JP2010137680 A JP 2010137680A JP 2011027724 A JP2011027724 A JP 2011027724A
Authority
JP
Japan
Prior art keywords
distance
measurement
image
target object
measurement target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010137680A
Other languages
English (en)
Other versions
JP5567908B2 (ja
JP2011027724A5 (ja
Inventor
Daisuke Kotake
大輔 小竹
Shinji Uchiyama
晋二 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010137680A priority Critical patent/JP5567908B2/ja
Publication of JP2011027724A publication Critical patent/JP2011027724A/ja
Publication of JP2011027724A5 publication Critical patent/JP2011027724A5/ja
Application granted granted Critical
Publication of JP5567908B2 publication Critical patent/JP5567908B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】
3次元計測装置と計測対象物体との間の位置及び姿勢の関係が高速に変化している場合であっても、装置構成を複雑化させずに、当該物体の位置及び姿勢の計測を精度良く行なえる。
【解決手段】
3次元計測装置は、計測対象物体の3次元形状モデルを保持するモデル保持手段と、計測対象物体の3次元形状を示す情報に基づいて計測対象物体における距離計測用の領域を決定する決定手段と、計測対象物体に対して所定の照明パターンを照射する照明手段と、当該照射が行なわれている状態で計測対象物体の画像を撮像する撮像手段と、当該撮像された画像内における距離計測用の領域に対応する領域に基づいて撮像手段から計測対象物体までの距離を示す距離情報を算出する距離算出手段と、距離情報と3次元形状モデルとに基づいて計測対象物体の位置及び姿勢を算出する位置姿勢算出手段とを具備する。
【選択図】 図1

Description

本発明は、3次元計測装置、その計測方法及びプログラムに関する。
近年、これまで人間が行なっていた複雑なタスクをロボットが代わりに行なうようになりつつある。複雑なタスクの代表例として、工業製品の組み立てが挙げられる。ここで、例えば、ロボットにおいて、ハンドなどのエンドエフェクタによって部品を把持する際には、部品とロボット(ハンド)との間の相対的な位置及び姿勢を計測し、その計測結果に基づいて移動計画を策定し、アクチュエータを制御する必要がある。このような位置及び姿勢の計測は、ロボットによる部品把持だけでなく、ロボットが自律移動する際の自己位置推定など様々な場面で必要とされている。
上述した位置及び姿勢の計測では、カメラから得られる2次元画像(濃淡画像・カラー画像)や距離センサから得られる距離画像が用いられる。非特許文献1では、物体の3次元形状モデルを線分の集合(ワイヤフレームモデル)で表し、2次元画像上で検出されるエッジに3次元の線分の投影像を当てはめることにより、物体の位置及び姿勢を計測する技術について言及されている。また、非特許文献2では、距離画像から得られる物体表面上の3次元点群に物体の3次元形状モデル(ポリゴンモデル)を当てはめることにより、物体の位置及び姿勢を計測する技術がについて言及されている。
距離画像を取得する方法としては、特別な照明を必要としないパッシブ計測と、計測のために特別なパターンを照射するアクティブ計測とが知られている。パッシブ計測では、一般に、2台以上のカメラによって物体を撮像し、それぞれの画像間の対応をもとに三角測量の原理に基づいて各画素の距離を算出する。アクティブ計測では、一般に、スリット光や2次元パターン光などを物体に照射し、三角測量の原理に基づいて距離の計測を行なう。また、アクティブ計測として、照射した光が物体上から反射して戻ってくるまでの時間を利用するTime−of−Flight(TOF)方式も知られている。
さて、2次元画像を利用した位置及び姿勢の計測では、画像特徴と3次元形状モデルの投影像との”2次元画像上における”距離を最小化することにより計測が行なわれる。そのため、計測精度は必ずしも高いとはいえず、特に、カメラの奥行き方向の位置成分については精度が低い。一方、距離画像を利用した位置及び姿勢の計測では、3次元点群と3次元形状モデルの”3次元空間内における”距離を最小化することにより計測が行なわれる。そのため、2次元画像を利用する手法に比べて計測精度は高くなるが、物体(例えば、平面状の物体)の形状があまり特徴的でなければ、一部の自由度を精度良く計測できない。
そこで、2次元画像と距離画像とを相補的に利用して位置及び姿勢の計測精度を向上させることが望まれている。例えば、背景と物体との境界や面の切り替わりなど濃淡変化が激しい部分においては2次元画像上でエッジ(画像特徴)を多く検出できるため、2次元画像を用いれば良い。一方、画像特徴が検出され難い平坦な部分では距離を安定的に計測できるため、距離画像を用いれば良い。
このような技術に関連して、非特許文献3では、2次元画像上の特徴を奥行きが不定な3次元の点として扱い、物体の位置及び姿勢を計測する手法が開示されている。また、非特許文献4では、2次元画像から明示的な特徴検出は行なわず、2次元の濃淡画像と距離画像との勾配情報を利用して位置及び姿勢を計測する手法が開示されている。
T. Drummond and R. Cipolla, "Real-time visual tracking of complex structures," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.24, no.7, pp.932-946, 2002. D. A. Simon, M. Hebert, and T. Kanade, "Real-time 3-D pose estimation using a high-speed range sensor," Proc. 1994 IEEE International Conference on Robotics and Automation (ICRA'94), pp.2235-2241, 1994. Y. Hel-Or and M. Werman, "Pose estimation by fusing noisy data of different dimensions, " IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.17, no.2, pp.195-201, 1995. 日浦,山口,佐藤,井口,"距離画像と濃淡画像の融合による任意形状物体の実時間追跡",電子情報通信学会論文誌D-II, vol.J80-DII, no.11, pp.2904-2911, 1997.
ロボットを用いて工業製品の組み立てを行なうことにより、組み立て作業の高速化が期待されている。例えば、ベルトコンベアーによって移動している物体の位置及び姿勢を計測したり、ロボットアーム上に計測装置を設置して当該装置を移動させながら物体の位置及び姿勢を計測したりすることが求められている。
カメラやプロジェクターなどの単純な機器構成では、特別なパターンが照射されていない状態で撮像した画像と、距離計測用パターンが照射された状態で撮像した画像とを異なるタイミングで取得しなければならない。計測対象物体と計測装置とが相対的に静止していれば、これら2種類の画像が異なるタイミングで取得されても問題はない。
しかし、計測対象物体又は計測装置自体が移動している場合に、これら2種類の画像が異なるタイミングで取得されたときには、2次元画像の取得時と距離画像の取得時における計測対象物体と計測装置との間の相対的な位置関係が変わってしまう。そのため、このような場合には、物体の位置及び姿勢の計測を精度良く行なうことができない。
本発明は、上記課題に鑑みてなされたものであり、3次元計測装置と計測対象物体との間の位置及び姿勢の関係が高速に変化している場合であっても、装置構成を複雑化させずに、当該物体の位置及び姿勢の計測を精度良く行なえるようにした技術を提供する。
上記課題を解決するため、本発明の一態様による3次元計測装置は、計測対象物体の3次元形状モデルを保持するモデル保持手段と、前記計測対象物体の3次元形状を示す情報に基づいて前記計測対象物体における距離計測用の領域を決定する決定手段と、前記計測対象物体に対して所定の照明パターンを照射する照明手段と、前記照明手段による照射が行なわれている状態で前記計測対象物体の画像を撮像する撮像手段と、前記撮像された画像内における前記距離計測用の領域に対応する領域に基づいて前記撮像手段から前記計測対象物体までの距離を示す距離情報を算出する距離算出手段と、前記距離情報と前記3次元形状モデルとに基づいて前記計測対象物体の位置及び姿勢を算出する位置姿勢算出手段とを具備する。
本発明によれば、3次元計測装置と計測対象物体との間の位置及び姿勢の関係が高速に変化している場合であっても、装置構成を複雑化させずに、当該物体の位置及び姿勢の計測を精度良く行なえる。
実施形態1に係わる3次元計測装置1の構成の一例を示す図。 3次元形状モデルの定義方法の一例を説明するための図。 実施形態1に係わる3次元計測装置1の処理の流れの一例を示すフローチャート。 距離計測用の照明領域を決定する際の処理の概要を説明するための図。 計測対象物体に照明が照射される概要の一例を示す図。 エッジ検出方法の概要の一例を説明するための図。 位置姿勢算出処理の流れの一例を示すフローチャート。 線分の投影像と検出されたエッジとの関係の一例を示す図。 実施形態2に係わる3次元計測装置1の構成の一例を示す図。 実施形態2に係わる3次元計測装置1の処理の流れの一例を示すフローチャート。 実施形態3に係わる3次元計測装置1の構成の一例を示す図。 実施形態3に係わる3次元計測装置1の処理の流れの一例を示すフローチャート。 実施形態4に係わる3次元計測装置1の構成の一例を示す図。 実施形態4に係わる3次元計測装置1の処理の流れの一例を示すフローチャート。 実施形態4に係わるユーザインターフェースの一例を示す図。
以下、本発明の一実施の形態について添付図面を参照して詳細に説明する。
(実施形態1)
図1は、本発明の一実施の形態に係わる3次元計測装置1の構成の一例を示す図である。
3次元計測装置1は、3次元形状モデル保持部110と、概略値入力部120と、照明領域決定部130と、照明部140と、撮像部150と、画像特徴検出部160と、距離算出部170と、位置姿勢算出部180とを具備して構成される。
3次元形状モデル保持部110は、3次元情報(本実施形態においては、物体の位置及び姿勢)の計測対象となる物体(以下、計測対象物体、又は単に物体と呼ぶ場合もある)の3次元形状モデルデータ(以下、3次元形状モデルと呼ぶ)を保持する。
ここで、図2を用いて、本実施形態に係わる3次元形状モデルの定義方法の一例について説明する。3次元形状モデルは、点の集合や各点を結んで構成される面の情報、面を構成する線分の情報によって定義される。本実施形態に係わる3次元形状モデルは、図2(a)に示すように、計測対象物体10を示す点P1〜点P14の14点から構成される。点P1〜点P14は、図2(c)に示すように、3次元座標値により表される。また、本実施形態に係わる3次元形状モデルは、図2(b)に示すように、線分L1〜L16により構成されている。線分L1〜L16は、図2(d)に示すように、線分を構成する点のID(識別子)により表される。なお、ここでは図示を省略するが、3次元形状モデルは、面の情報も保持する。各面は、各面を構成する点のIDにより表される。3次元形状モデルは、照明領域の決定処理や、物体(計測対象物体10)の位置及び姿勢の計測処理に用いられる。
概略値入力部120は、3次元計測装置1に対する物体の位置及び姿勢の概略情報(以下、概略値と呼ぶ)を入力する。本実施形態において、3次元計測装置1に対する物体の位置及び姿勢とは、撮像部150を基準とした物体の位置及び姿勢を示すが、必ずしも撮像部150を基準にする必要はない。例えば、撮像部150の座標系に対する物体の相対的な位置及び姿勢が既知であり、且つその位置及び姿勢が変化しないのであれば、3次元計測装置1におけるその他の部分を基準としても良い。また、本実施形態においては、物体の位置及び姿勢の概略値として、3次元計測装置1が当該物体から過去(例えば、直前)に計測した計測値を用いる。物体の位置及び姿勢の概略値は、必ずしもこのような値である必要はない。例えば、過去に計測した物体の位置及び姿勢の計測値に対して時系列フィルタリング処理(例えば、線形フィルタ、カルマンフィルタ)を実施し、物体の運動速度や角速度を推定する。そして、その推定結果に基づいて物体の位置及び姿勢を予測した値を概略値としても良い。また、センサから得られる物体の位置及び姿勢を概略値としても良い。ここで、センサは、物体の位置及び姿勢を6自由度で計測できればよく、その方式(例えば、磁気式、光学式、超音波式)は、特に問わない。なお、物体の置かれているおおよその位置や姿勢が予め分かっているのであれば、その値を概略値として用いても良い。物体の位置及び姿勢の概略値は、照明領域の決定処理や、物体の位置及び姿勢の計測処理に用いられる。
照明領域決定部130は、物体との距離を測るため、物体に向けて照明を(局所的に)照射する照明領域(以下、距離計測用の領域と呼ぶ場合もある)を決定する。具体的には、概略値入力部120により入力された計測対象物体の位置及び姿勢の概略値を用いて、3次元形状モデル保持部110により保持された計測対象物体の3次元形状モデルを投影する。そして、その投影像に基づいて照明領域(本実施形態においては、領域の単位は画素を指す)を決定する。距離計測用の照明は、例えば、撮像部150により撮像される画像内において、濃淡変化が小さく、画像特徴(例えば、エッジ)が検出され難い領域に対して行なわれる。
照明部140は、照明領域決定部130により決定された照明領域(距離計測用の領域)に向けて所定の照明パターン(構造化光)を照射する。照明部140による照明は、照明装置を用いて行なわれる。照明装置は、局所的な照明が行なえるとともに、その照明パターンを変更できればよく、照明装置としては、例えば、液晶プロジェクタが挙げられる。液晶プロジェクタでは、照明パターンの表示色を画素単位で制御することができる。液晶プロジェクタの内部パラメータ(例えば、焦点距離、主点位置、レンズ歪み)は、予め校正しておけば良い。なお、照明装置は、液晶プロジェクタに限られず、例えば、DMD(デジタルミラーデバイス)や、LCOSを用いたプロジェクタであっても良い。
撮像部150は、計測対象物体から画像特徴検出用の画像と距離計測用の画像とを1枚の画像として同時に撮像する。この場合、計測対象物体と3次元計測装置1との間の位置及び姿勢の関係が高速に変化している場合であっても、その物体の3次元情報の計測を高精度に行なえる。撮像部150による撮像は、距離計測を行なう領域に対しては、照明部140により局所的に照明が行なわれた状態で行なわれる。なお、撮像部150の内部パラメータ(例えば、焦点距離、主点位置、レンズ歪み)は、例えば、上述した液晶プロジェクタの内部パラメータ同様に予め校正しておけば良い。また、撮像部150と照明部140との間の相対的な位置及び姿勢を示す値についても予め校正しておけば良い。これにより、撮像部150により撮像された画像上の構造化光を用いて三角測量を行なうことができる。
画像特徴検出部160は、撮像部150により撮像された画像から計測対象物体を示す画像特徴を検出する。画像特徴検出部160による画像特徴の検出は、画像内における距離計測用の領域から行なわれる。なお、本実施形態においては、画像特徴としてエッジを検出する。
距離算出部170は、撮像部150の視点位置から計測対象物体までの距離(距離情報)を算出(計測)する。距離の算出は、撮像部150により撮像された画像内の所定領域(距離計測用の領域)に基づいて行なわれる。撮像部150の視点位置から計測対象物体までの距離は、例えば、距離計測用の領域内に位置する画素に対して三角測量を実施することにより算出する。なお、三角測量では、例えば、撮像部150及び照明部140の内部パラメータと、撮像部150と照明部140との間の相対的な位置及び姿勢を示す値とに基づいて計算処理が実施される。
位置姿勢算出部180は、位置姿勢算出処理を実施し、計測対象物体に係わる3次元情報(すなわち、計測対象物体の位置及び姿勢)を算出(計測)する。この3次元情報の計測は、例えば、画像特徴検出部160により検出された画像特徴と、距離算出部170により計測された距離情報とに基づいて行なわれる。
以上が、3次元計測装置1の構成の一例についての説明である。なお、3次元計測装置1には、コンピュータが内蔵されている。コンピュータには、CPU等の主制御手段、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等の記憶手段が具備される。また、コンピュータにはその他、ボタンやディスプレイ又はタッチパネル等の入出力手段、ネットワークカード等の通信手段等も具備されていても良い。なお、これら各構成部は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。
ここで、図3を用いて、図1に示す3次元計測装置1により計測対象物体の位置及び姿勢を計測する際の処理の流れの一例について説明する。
(S1010)
3次元計測装置1は、概略値入力部120において、計測対象物体に係わる3次元情報の概略情報(すなわち、3次元計測装置1に対する物体の位置及び姿勢の概略値)を入力する。本実施形態においては、上述した通り、物体の位置及び姿勢の概略値として、3次元計測装置1が当該物体から過去(例えば、直前)に計測した計測値を用いる。
(S1020)
3次元計測装置1は、照明領域決定部130において、照明領域(距離計測用の領域)を決定する。上述した通り、照明領域は、計測対象物体の3次元形状モデルと、計測対象物体の位置及び姿勢の概略値とに基づいて決められる。また、上述した通り、距離計測用の照明は、濃淡変化が小さく、画像特徴(エッジ)が検出され難い領域に対して行なわれる。
ここで、照明領域決定部130による距離計測用の領域の決定処理について説明する。距離計測用の領域の決定に際しては、計測対象物体の面を画像上に描画(投影)し、その背景部分と物体部分とを切り分ける。この描画は、例えば、撮像部150の内部パラメータと、計測対象物体の位置及び姿勢の概略値とに基づいて行なわれる。
ここで、照明領域決定部130は、まず、撮像部150が撮像する画像と同一サイズのマスク画像を用意し、そのマスク画像の全ての画素の値を0で初期化する。次に、照明領域決定部130は、グラフィックスハードウェアを用いて、計測対象物体の位置及び姿勢の概略値に基づいて当該物体の3次元形状モデルの画像(3次元形状モデル画像)を描画する。このとき、3次元形状モデル画像内の背景は、黒く描画し、また、物体の面は、白く描画する(図4(a))。そして、その描画した画像内における白い画素については、マスク画像の値を1に書き換える。また、照明領域決定部130は、グラフィックスハードウェアを用いて、3次元形状モデル画像内の物体の線分を黒く描画する(図4(b))。ここで、照明領域決定部130は、3次元形状モデル画像内において黒く、また、その対応するマスク画像における値が1である画素について、マスク画像の値を0に書き換える。
最後に、照明領域決定部130は、マスク画像において値が1となる所定の画素の値を0に書き換える。具体的には、マスク画像において、画素の値が0となる画素の近傍(所定範囲内)にあり、その値が1となる画素の値を1から0に書き換える(図4(c))。
ここで、照明領域決定部130は、上述した処理により得られたマスク画像内で1の値を持つ画素を照明領域(すなわち、距離計測用の領域)に決定する。なお、撮像部150と照明部140との間の相対的な位置及び姿勢には、オフセットがある。そのため、両者の幾何学的関係を用いて、撮像部150により撮像された画像内における各画素の位置を、照明部140による照明パターンにおける各画素の位置に変換する必要がある。具体的には、照明領域決定部130は、グラフィックスハードウェアを用いて、計測対象物体をZバッファ上に描画する。そして、マスク画像の値が1である画素の(撮像部150を基準とした)3次元座標値を、当該画素の座標とZバッファとの値を用いて算出する。その後、照明領域決定部130は、撮像部150と照明部140との間の相対的な位置及び姿勢を示す値と、照明部140の内部パラメータとに基づいて、当該求めた3次元座標値を照明パターンの座標(距離計測用の領域を示す座標)に変換する。
なお、ここでは、グラフィックスハードウェアを用いて3次元形状モデルの投影像(線分及び面)を描画する場合について説明したが、これに限られず、CPU等により描画を行なっても良い。
(S1030)
3次元計測装置1は、照明部140において、S1020のマスク処理において決定された距離計測用の領域に対して所定の照明パターン(構造化光)を局所的に照射する。上述した通り、この照明は、液晶プロジェクタ等の照明装置を制御することにより行なわれる。この処理では、図5に示すように、距離計測用の領域(画素単位)に構造化光(この場合、マルチスリット光)が照射される。すなわち、画面全体ではなく、S1020のマスク処理により決定された領域(距離計測用の領域)のみに照射が行なわれる。
なお、本実施形態においては、構造化光としてマルチスリット光を用いる場合を例に挙げて説明するが、構造化光は、これに限られず、複数回の撮像を必要としないのであれば、他の手段を用いても良い。距離計測用の照明が照射されない領域(すなわち、画像特徴検出用の領域)は、環境光により十分な明るさが得られればよく、特別な光を照射する必要はない。環境光により十分な明るさが得られないのであれば、例えば、均一な白色光が照射されるように照明パターンを変更すれば良い。
(S1040)
3次元計測装置1は、撮像部150において、計測対象物体の画像を撮像する。上述した通り、この撮像では、画像特徴検出用の画像と距離計測用の画像とが1枚の画像として同時に撮像される。なお、この撮像は、距離計測を行なう領域に対して局所的に照明が行なわれた状態で行なわれる。
(S1050)
3次元計測装置1は、画像特徴検出部160において、撮像部150により撮像された画像から画像特徴の検出を行なう。本実施形態においては、上述した通り、画像特徴としてエッジを検出する。例えば、非特許文献1に開示された技術を用いてエッジの検出を行なう。ここで、図6を用いて、本実施形態に係わるエッジ検出方法の概要の一例について説明する。エッジ検出では、まず、撮像された計測対象物体の画像に対して投影する投影像(線分)を求める。投影像は、S1010で入力された計測対象物体の位置及び姿勢の概略値に基づいて求められる。次に、投影された各線分上において、等間隔に制御点を設定する。そして、投影された線分の法線方向に平行で且つ制御点を通過する線分(以下、探索ライン)上からエッジを1次元探索する(図6(a))。エッジは、画素値の濃度勾配の極値となる(図6(b))。場合によっては、探索ライン上から複数のエッジが検出されることがある。この場合、本実施形態においては、「L. Vacchetti, V. Lepetit, and P. Fua, "Combining edge and texture information for real-time accurate 3D camera tracking," Proc. ISMAR04, pp.48-57, 2004」に開示された技術を用いる。すなわち、この文献に開示された方法を用いて複数検出されたエッジを仮説として保持する。このようにして各制御点に対応したエッジを探索し、後述するS1070における処理において、3次元の線分をエッジにあてはめる。なお、各制御点の画像を1画素単位で量子化した座標が、距離計測用の領域(画素)に相当する場合、該当する画素のエッジ検出は行なわない。
(S1060)
3次元計測装置1は、距離算出部170において、撮像部150により撮像された画像に基づいて距離を算出(計測)する。具体的には、距離計測用の領域(画素)に基づいて距離を算出する。距離は、上述した通り、三角測量により算出される。距離の算出に際しては、照明部140により照射された領域(画像における画素の位置)と、撮像部150により撮像された画像上における当該領域に対応する位置とが用いられる。また、これ以外にも、照明部140及び撮像部150の内部パラメータや、撮像部150と照明部140との間の相対的な位置及び姿勢を示す値も用いられる。
距離算出部170では、距離計測を行なった後、撮像された画像内における計測対象物体を、撮像部150の座標系で3次元座標値を持つ点群データに変換する。3次元座標値は、撮像された画像内の計測対象物体における各点の位置に対応する視線ベクトルに距離情報を乗算することにより算出される。
(S1070)
3次元計測装置1は、位置姿勢算出部180において、計測対象物体に係わる3次元情報(3次元計測装置1に対する計測対象物体の位置及び姿勢)を算出(計測)する。
次に、図7を用いて、図3のS1070における位置姿勢算出処理について詳述する。この処理では、ガウス−ニュートン(Gauss-Newton)法により反復演算し、計測対象物体の位置及び姿勢(以下、sで表す)の概略値を補正する。これにより、計測対象物体の位置及び姿勢を算出する。なお、位置姿勢算出処理は、ガウス−ニュートン法に限られない。例えば、より計算がロバストであるLevenberg−Marquardt法を用いてもよいし、よりシンプルな方法である最急降下法を用いても良い。また、共役勾配法やICCG法など、他の非線形最適化計算手法を用いても良い。
ここでは、検出されたエッジと投影される3次元形状モデルの線分との間の画像上(2次元平面上)での距離、点群データを構成する点と投影される3次元形状モデルの面との間の撮像部150の座標系(三次元空間中)での距離、の総和(2乗和)を最小化する。これにより、計測対象物体に対する位置及び姿勢を最適化する。より具体的には、1次のテイラー展開により、2次元画像上での点及び直線の符号付距離と、3次元空間中での点及び平面の符号付距離とをそれぞれ、物体の位置及び姿勢の微小変化を示す1次関数として表現する。そして、符号付距離が0になるような位置及び姿勢の微小変化に係わる線形の連立方程式を立式して解く。これにより、物体の位置及び姿勢の微小変化を求め、この値を補正する処理を繰り返す。
(S1210)
3次元計測装置1は、位置姿勢算出部180において、まず、初期化処理を行なう。この初期化処理では、例えば、図3のS1010で得られた計測対象物体の位置及び姿勢の概略値を入力する。
(S1220)
3次元計測装置1は、位置姿勢算出部180において、エッジ及び点群データと、3次元形状モデルとを対応付けする。この処理では、まず、S1210で得られた計測対象物体の位置及び姿勢の概略値に基づいて3次元形状モデルの各線分を画像へ投影し、投影された3次元形状モデルの各面を撮像部150の座標系へ座標変換する。そして、エッジ及び点群データと、3次元形状モデルとを対応付けする。エッジが、各制御点に対応して複数検出された場合には、複数検出されたエッジのうち、投影された線分に対して画像上で最も近いエッジを制御点に対応付ける。この対応付けは、S1210で得られた計測対象物体の位置及び姿勢の概略値に基づいて行なう。また、点群データについては、撮像部150の座標系における各点の3次元座標に基づいて3次元形状モデル中の最も近接する面を探索し対応付ける。
(S1230)
3次元計測装置1は、位置姿勢算出部180において、線形連立方程式を解くための係数行列と誤差ベクトルとを算出する。ここで、係数行列の各要素は、S1210で得られた概略値の微小変化に対する一次の偏微分係数である。エッジについては、画像座標の偏微分係数を算出し、点群データについては、3次元座標の偏微分係数を算出する。また、エッジの誤差ベクトルは、投影された線分と検出されたエッジとの間の2次元平面上(画像)での距離であり、点群データの誤差ベクトルは、点群データを構成する点と3次元形状モデルの面との3次元空間中での距離である。
ここで、図8は、線分の投影像と検出されたエッジとの関係の一例を示す図である。この場合、画像の水平方向をu軸とし、垂直方向をv軸としている。ある制御点(投影された各線分を画像上で等間隔に分割した点)の画像上での位置を(u,v)と表し、当該制御点が属する線分Lの画像上での傾きを(u軸に対する傾き)θと表す。傾きθは、線分Lの両端の3次元座標をsに基づいて画像上に投影し、画像上での両端の座標を結んだ直線の傾きとして算出する。線分Lの画像上での法線ベクトルは(sinθ,−cosθ)となる。また、制御点と対応する点の座標を(u’,v’)とする。ここで、点(u’,v’)を通り、傾きがθである直線上の点(u,v)は、
Figure 2011027724
制御点の画像上での位置は、計測対象物体の位置及び姿勢により変化する。計測対象物体の位置及び姿勢は、6自由度である。すなわち、sは6次元ベクトルであり、計測対象物体の位置を表す3つの要素と、姿勢を表す3つの要素とからなる。姿勢を表す3つの要素は、例えば、オイラー角による表現や、方向が回転軸を表し大きさが回転角を表す3次元ベクトルなどによって表現される。制御点の座標(u,v)は、(u,v)の近傍で1次のテイラー展開によって「数2」のように近似できる。但し、Δs(i=1,2,・・・,6)は、sの各成分の微小変化を表す。
Figure 2011027724
正しいsによって得られる画像上での制御点の位置は、「数1」が表す直線上にあると仮定できる。「数2」によって近似されるu、vを「数1」に代入することにより、「数3」が得られる。
Figure 2011027724
撮像部150の座標系における3次元座標は、計測対象物体の位置及び姿勢sによって計測対象物体の座標系における3次元座標(x,y,z)に変換することができる。S1210で得た概略値により、ある点が計測対象物体の座標系の点(x,y,z)に変換されるとする。(x,y,z)は、計測対象物体の位置及び姿勢により変化するため、(x,y,z)の近傍で1次のテイラー展開によって「数4」のように近似できる。
Figure 2011027724
S1220において、点群データ中のある点に対応付けられた3次元形状モデルの面の計測対象物体の座標系における方程式を「ax+by+cz=e(a+b+c=1、a,b,c,eは定数)」とする。正しいsによって変換された(x,y,z)は、平面の方程式「ax+by+cz=e(a+b+c=1)」を満たすと仮定する。「数4」を平面の方程式に代入すると「数5」が得られる。
Figure 2011027724
「数3」は、S1220で対応付けが行なわれた全てのエッジについて成り立つ。また、「数5」は、S1220で対応付けが行なわれた全ての点群データについて成り立つ。そのため、「数6」のようなΔsに係わる線形連立方程式が成り立つ。
Figure 2011027724
ここで、「数6」を「数7」のように表す。
Figure 2011027724
「数6」の線形連立方程式の係数行列Jを算出するための偏微分係数の算出は、例えば、非特許文献1に開示された技術を用いて行なう。
(S1240)
「数7」をもとに、行列Jの一般化逆行列(J・J)−1・Jを用いて補正値Δsを求める。ここで、エッジや点群データには、誤検出などによる外れ値が多いため、次に述べるようなロバスト推定手法を用いる。一般に、外れ値であるエッジ(又は点群データ)では、誤差d−r(e−q)が大きくなる。そのため、「数6」、「数7」の連立方程式に対する寄与度が大きくなり、その結果得られるΔsの精度が低下してしまう。そこで、誤差d−r(e−q)が大きいデータに対しては小さな重みを与え、誤差d−r(e−q)が小さいデータに対しては大きな重みを与える。重みは、例えば、「数8」に示すようなTukeyの関数により与える。
Figure 2011027724
、cは、定数である。なお、重みを与える関数は、Tukeyの関数である必要はなく、誤差の大きいデータに対して小さな重みを与え、誤差小さいデータに対して大きな重みを与える関数であれば特に問わない。そのため、例えば、Huberの関数などを用いても良い。
各データ(エッジ又は点群データ)に対応する重みをwとする。ここで、「数9」のように重み行列Wを定義する。
Figure 2011027724
重み行列Wは、対角成分以外は全て0の正方行列であり、対角成分には重みwが入る。この重み行列Wを用いて、「数7」を「数10」のように変形する。
Figure 2011027724
「数11」のように「数10」を解くことにより補正値Δsを求める。
Figure 2011027724
(S1250)
3次元計測装置1は、S1240で算出された補正値Δsにより、S1210で得た概略値を補正する。これにより、計測対象物体の位置及び姿勢を算出する。
(S1260)
3次元計測装置1は、収束しているか否かの判定を行なう。収束していれば、この処理は終了し、そうでなければ、再度、S1220の処理に戻る。なお、収束しているか否かは、補正値Δsがほぼ0である場合や、誤差ベクトルの二乗和の補正前と補正後の差がほぼ0である場合に収束したと判定する。
以上説明したように実施形態1によれば、計測対象物体の位置及び姿勢の概略値と、計測対象物体の3次元形状モデルとに基づいて局所的に照明を照射し、その状態で計測対象物体を撮像する。そして、その撮像された画像に対して画像特徴の検出と距離情報の検出とを実施し、その結果に基づいて計測対象物体に係わる3次元情報を算出する。すなわち、画像特徴検出用の画像(2次元画像)と距離計測用の画像(3次元画像)とを相補的に利用して計測対象物体の位置及び姿勢を計測する。
これにより、計測対象物体の表面属性や構造に左右されず、当該物体に係わる3次元情報の計測を高精度に行なうことができる。また、3次元計測装置の構成も複雑化しない。
更に、画像特徴検出用の画像と距離計測用の画像とを1枚の画像として撮像するため、3次元計測装置と計測対象物体との間の位置及び姿勢の関係が高速に変化している場合であっても、当該物体に係わる3次元情報の計測を高精度に行なえる。また、計測処理の高速化も図れる。
なお、上述した実施形態1では、画像特徴検出用の画像と距離計測用の画像とを1枚の画像として同時に取得する場合について説明したが、画像特徴検出用の画像と距離計測用の画像とを別々に撮像しても良い。例えば、3次元計測装置と計測対象物体とが共に静止しているのであれば、それぞれが異なるタイミングで撮像された画像を用いても、上述した処理が行なえる。
(実施形態2)
次に、実施形態2について説明する。実施形態2においては、複数の撮像装置を用いて、計測対象物体の各部から距離情報を取得し、その距離情報に基づいて計測対象物体の位置及び姿勢の計測を行なう場合について説明する。
図9は、実施形態2に係わる3次元計測装置1の構成の一例を示す図である。なお、実施形態1における図1と同一の符号が付してあるものは同様の機能を有する。ここでは、実施形態1との相違点について重点的に説明する。
3次元計測装置1は、3次元形状モデル保持部110と、概略値入力部120と、照明領域決定部130と、照明部140と、撮像部150と、距離算出部170と、位置姿勢算出部180とを具備して構成される。すなわち、実施形態1の構成から画像特徴検出部160が除かれている。
ここで、撮像部150は、複数の撮像装置190から構成される。各撮像装置190の内部パラメータ(例えば、焦点距離、主点位置)や、各撮像装置190同士の幾何学的関係は、予め校正しておく。照明部140の内部パラメータも予め校正しておく。各撮像装置同士の幾何学的関係は、既知のパターン(例えば、格子模様の描かれた平面パターン)を撮像し、その撮像された画像の対応点をもとにEssential行列を算出し、そのEssential行列を位置及び姿勢に分解することにより校正すれば良い。
距離算出部170は、撮像部150により撮像された画像に基づいて計測対象物体における点の距離(距離情報)を算出(計測)する。距離の算出は、画像上の大多数の画素について行なっても良いし、例えば、Harris検出器といった特徴点検出器により検出される特徴点のみについて行なっても良い。すなわち、複数の撮像装置の間で対応付けることができるのであれば、いかなる点を距離の算出対象としても良い。
位置姿勢算出部180は、画像特徴の検出結果を用いずに、計測対象物体の位置及び姿勢を算出(計測)する。すなわち、実施形態2においては、距離算出部170により算出された距離情報に基づいて計測対象物体の位置及び姿勢を算出する。具体的には、距離算出部170により算出された距離情報に3次元形状モデルをあてはめることにより、計測対象物体の位置及び姿勢を算出する。
ここで、図10を用いて、実施形態2に係わる3次元計測装置1により計測対象物体の位置及び姿勢を計測する際の処理の流れの一例について説明する。
(S2010)
3次元計測装置1は、概略値入力部120において、計測対象物体に係わる3次元情報の概略値(すなわち、3次元計測装置1に対する物体の位置及び姿勢の概略値)を入力する。このS2010における処理は、実施形態1を説明した図3のS1010の処理と同様となる。
(S2020)
3次元計測装置1は、照明領域決定部130において、照明領域(すなわち、距離計測用の領域)を決定する。このS2020における処理は、実施形態1を説明した図3のS1020の処理と同様となる。
(S2030)
3次元計測装置1は、照明部140において、S2020で決定された距離計測用の領域に対して所定の照明パターン(構造化光)を照射する。距離計測用の照明は、例えば、撮像部150により撮像される画像内において、濃淡変化が小さく、画像特徴が検出され難い領域に対して行なわれる。このS2030における処理は、実施形態1を説明した図3のS1030の処理と同様となる。なお、実施形態1と同様に、距離計測用の照明が照射されない領域(すなわち、画像特徴検出用の領域)は、環境光により十分な明るさが得られればよく、特別な光を照射する必要はない。環境光により十分な明るさが得られないのであれば、例えば、均一な白色光が照射されるように照明パターンを変更すれば良い。
(S2040)
3次元計測装置1は、撮像部150を構成する複数の撮像装置190により計測対象物体の画像を撮像する。なお、この撮像は、距離計測を行なう領域に対して局所的に照明が行なわれた状態で行なわれる。
(S2050)
3次元計測装置1は、距離算出部170において、撮像部150により撮像された画像に基づいて距離(距離情報)を算出(計測)する。実施形態2においては、撮像された画像から特徴点の検出は行なわず、基準とする撮像装置190が撮像する画像の全画素について距離算出を行なう。距離の算出に際しては、各撮像装置190で撮像された画像間で各画素の対応付けが必要となる。距離計測用の領域においては、構造化光(例えば、マルチスリット光)の投影像を時系列に追跡し、画像間における各画素の対応付けを行なう。照明が照射されない領域については、例えば、エピポーラ拘束により決定されるエピポーラ線上の点に対して画素値のブロックマッチングを実施し、画像間における各画素を対応付ければ良い。なお、画像間における各画素の対応付けは、これに限られない。例えば、「E. Tola, V. Lepetit, and P. Fua, “A fast local descriptor for dense matching," Proc. CVPR'08, 2008」に開示されるような局所的な記述子を用いて対応付けを行なっても良い。また、構造化光として、マルチスリット光ではなく、例えば、ランダムドットパターンを用いるようにしても良い。この場合、時系列に追跡せずに、画像間における各画素の対応付けを行なえる。
(S2060)
3次元計測装置1は、位置姿勢算出部180において、計測対象物体に係わる3次元情報(3次元計測装置1に対する計測対象物体の位置及び姿勢)を算出(計測)する。ここでは、S2050で算出された距離情報を3次元座標値を持つ点群データに変換し、点群データに3次元形状モデルをあてはめるべく、計測対象物体の位置及び姿勢を算出する。この処理では、まず、点群データの各点に対して、3次元形状モデル中の最も近接する面を選択し、それぞれを対応付ける。そして、各点と対応する面との距離の総和が最小化するように、計測対象物体の位置及び姿勢の概略値に対して補正を繰り返し行なう。これにより、計測対象物体の位置及び姿勢を算出する。なお、S2060における位置姿勢算出処理は、基本的には、実施形態1を説明した図3のS1070の処理と同様となる。相違点としては、画像特徴に関する処理を行なわない点である。そのため、ここではその詳細な説明については省略する。
以上説明したように実施形態2によれば、画像特徴の検出処理を行なわずに、複数の撮像装置から得られる距離情報に基づいて計測対象物体に係わる3次元情報の計測を行なう。具体的には、計測対象物体中の濃淡変化の乏しい領域を照明し、計測対象物体の各部から満遍なく距離情報を取得する。これにより、実施形態1と同様に、計測対象物体の表面属性や構造に左右されず、当該物体に係わる3次元情報の計測を高精度に行なうことができる。また、3次元計測装置の構成も複雑化しない。
(実施形態3)
次に、実施形態3について説明する。上述した実施形態1及び2においては、距離計測用の領域に対して局所的に照明を行なう場合(照明制御)について説明した。これに対して、実施形態3においては、照明制御を行なわずに、上述した実施形態1及び2と同等の処理を行なう場合について説明する。
図11は、実施形態3に係わる3次元計測装置1の構成の一例を示している。なお、実施形態1における図1と同一の符号が付してあるものは同様の機能を有する。ここでは、実施形態1との相違点について重点的に説明する。
3次元計測装置1は、3次元形状モデル保持部110と、概略値入力部120と、領域決定部230と、照明部140と、撮像部150と、画像特徴検出部160と、距離算出部170と、位置姿勢算出部180とを具備して構成される。すなわち、実施形態1の構成から照明領域決定部130が除かれ、領域決定部230が新たに設けられている。
領域決定部230は、距離計測に用いる領域(本実施形態においては、領域の単位は画素を指す)を決定する。この領域は、3次元形状モデル保持部110に保持された計測対象物体の3次元形状モデルと、概略値入力部120により入力された計測対象物体の位置及び姿勢の概略値とに基づき決められる。すなわち、撮像部150が撮像する画像内の各領域を判定し、距離計測用の領域を決定する。なお、距離計測を行なうと決められた領域以外から画像特徴の検出が行なわれることになる。
画像特徴検出部160は、撮像部150により撮像された画像から計測対象物体を示す画像特徴を検出する。なお、実施形態3においては、画像特徴検出部160は、対象となる領域を特に限定せずに画像特徴の検出を行なう。画像特徴検出部160により検出された画像特徴は、領域決定部230の決定結果に基づいて取捨選択される。
距離算出部170は、計測対象物体における一つ以上の点の距離を算出する。ここでは、構造化光(マルチスリット光)を物体に照射して撮像された画像内におけるスリットの投影像と、照明部140及び撮像部150の幾何学的関係とを用いて、スリット光が照射された領域の距離を三角測量により算出する。距離の算出は、対象となる領域を特に限定せずに行なう。距離算出部170により算出された距離情報は、領域決定部230の決定結果に基づいて取捨選択される。
位置姿勢算出部180は、計測対象物体に係わる3次元情報(すなわち、計測対象物体の位置及び姿勢)を算出する。この3次元情報の算出は、例えば、画像特徴検出部160により検出された画像特徴と、距離算出部170により算出された距離情報とに基づいて行なわれる。
ここで、図12を用いて、実施形態3に係わる3次元計測装置1により計測対象物体の位置及び姿勢を計測する際の処理の流れの一例について説明する。
(S3010)
3次元計測装置1は、概略値入力部120において、計測対象物体に係わる3次元情報の概略値(すなわち、3次元計測装置1に対する物体の位置及び姿勢の概略値)を入力する。本実施形態においては、物体の位置及び姿勢の概略値として、3次元計測装置1が当該物体から過去(例えば、直前)に計測した計測値を用いる。
(S3020)
3次元計測装置1は、領域決定部230において、撮像部150が撮像する画像の各領域に対して距離情報に用いるか、画像特徴に用いるかを決定する。なお、この領域は、3次元形状モデル保持部110に保持された計測対象物体の3次元形状モデルと、概略値入力部120により入力された計測対象物体の位置及び姿勢の概略値とに基づいて決められる。領域の決定方法は、実施形態1を説明した図3のS1020と同様であるのでその詳細な説明については省略する。
(S3030)
3次元計測装置1は、撮像部150において、計測対象物体の画像を撮像する。
(S3040)
3次元計測装置1は、画像特徴検出部160において、撮像部150により撮像された画像に基づいて画像特徴の検出を行なう。ここでは、実施形態1と同様に、画像特徴としてエッジを検出する。実施形態1においては、距離計測を行なうと決定された領域(画素)に対してはエッジの検出を行なわなかったが、実施形態3においては、画像全体からエッジの検出を行なう。その点を除いては、実施形態1を説明した図3のS1050と同様であるのでその詳細な説明については省略する。なお、上述した通り、画像全体からエッジ検出を行なった後、領域決定部230の決定結果に基づいてその検出されたエッジの取捨選択が行なわれる。エッジの取捨選択では、各制御点の画像を1画素単位で量子化した座標が、S3020で距離計測を行なうと決定された領域(画素)に相当する場合、該当する画素のエッジの検出結果を削除する。
(S3050)
3次元計測装置1は、距離算出部170において、計測対象物体における点の距離の算出(計測)を行なう。上述したように、マルチスリット光を物体に照射した画像を撮像し、その撮像された画像におけるスリットの投影像と、照明部140及び撮像部150の幾何学的関係とを用いてスリット光が照射された領域の距離を三角測量により算出する。距離の算出は、対象となる領域を特に限定せずに行なう。上述した通り、画像全体から距離の算出が行なわれた後、領域決定部230の決定結果に基づいてその検出された距離情報の取捨選択が行なわれる。距離情報の取捨選択では、まず、計測された距離を距離算出部170の座標系における3次元座標に変換した後、更に、その座標値を撮像部150の座標系に変換し、その結果を画像へ投影する。そして、投影された画像座標を1画素単位で量子化した座標が、S3020で距離情報を用いると決定された領域(画素)の座標以外の領域であれば、該当する距離計測の結果を削除する。
(S3060)
3次元計測装置1は、位置姿勢算出部180において、計測対象物体に係わる3次元情報(3次元計測装置1に対する計測対象物体の位置及び姿勢)を算出(計測)する。この算出は、S3040で検出された画像特徴と、S3050で算出された距離情報とに基づいて行なわれる。なお、計測対象物体の位置姿勢算出処理は、実施形態1を説明した図3のS1070と同様であるのでその詳細な説明については省略する。
以上説明したように実施形態3によれば、照明制御を行なわずに、上述した実施形態1及び2と同様の結果を得ることができる。これにより、実施形態1及び2同様に、計測対象物体の表面属性や構造に左右されず、当該物体に係わる3次元情報の計測を高精度に行なうことができる。また、3次元計測装置の構成も複雑化しない。
なお、上述した実施形態3では、撮像された画像全体に対して画像特徴の検出や距離情報の算出を行なった後、領域決定部230による決定結果に基づいてエッジの検出結果や距離計測の結果を取捨選択していたが、これに限られない。例えば、領域決定部230の決定結果に基づいて必要となる領域のみから画像特徴を検出したり、距離情報を算出したりするようにしても良い。この場合、画像全体に対して画像特徴の検出や距離情報の算出を行なう必要がなくなるので、処理の高速化が期待できる。
(実施形態4)
次に、実施形態4について説明する。上述した実施形態1〜3においては、計測対象物体の三次元形状モデルを用いて距離計測用の領域を決定する場合について説明した。これに対して、実施形態4においては、計測対象物体の三次元形状モデルを用いずに、距離計測用の領域を決定する場合について説明する。
図13は、実施形態4に係わる3次元計測装置1の構成の一例を示している。なお、実施形態1における図1と同一の符号が付してあるものは同様の機能を有する。ここでは、実施形態1との相違点について重点的に説明する。
3次元計測装置1は、実施形態1の構成に加えて、3次元形状情報取得部200が新たに設けられる。3次元形状情報取得部200は、外部に設けられた距離センサ300と接続されている。
3次元形状情報取得部200は、計測対象物体の3次元形状を示す情報を取得する。本実施形態においては、計測対象物体の3次元形状を示す情報として、距離センサ300から距離画像(計測対象物体及びその周辺の3次元形状)を取得する。ここで、距離センサ300は、例えば、シーン中に固定されている。距離センサ300は、距離画像を計測できれば良く、いかなる方式を採用しても良い。例えば、距離計測時に照明を行なうアクティブ式であっても良いし、複数の撮像装置を利用するパッシブ式であっても良い。また、例えば、Time−of−Flight方式などの三角測量を利用しない方式を採用していても良い。
なお、距離センサ300と撮像部150との間の相対的な位置及び姿勢を示す値は、既知であるものとする。例えば、撮像部150がロボットアームに搭載されている場合には、ロボット座標系における距離センサ300の位置及び姿勢を予め求めておく。3次元計測装置1においては、計測に際してロボットから出力される動きパラメータを用いて、ロボット座標系における撮像部150の位置及び姿勢を算出し、距離センサ300と撮像部150との間の相対的な位置及び姿勢を示す値に変換する。
照明領域決定部130は、距離センサ300から得られる距離画像に基づいて距離計測用の領域を決定する。より具体的には、距離画像における各画素の距離情報に基づいて距離画像を領域分割し、当該分割された領域の中から距離計測用の領域を決定する。
次に、図14を用いて、実施形態4に係わる3次元計測装置1により計測対象物体の位置及び姿勢を計測する際の処理の流れの一例について説明する。なお、実施形態4に係わる3次元計測装置1の全体的な動作は、実施形態1を説明した図3と同様となるため、ここでは相違する点(S1020の領域決定処理)について説明する。
(S4010)
領域決定処理では、まず、3次元計測装置1は、3次元形状情報取得部200において、距離センサ300から距離画像を取得する。なお、距離センサ300における距離画像の取得は、3次元計測装置1からの指示に基づいて行なわれても良いし、距離センサ300側で独立して行なっておき、最新の距離画像を3次元形状情報取得部200側に渡すようにしても良い。
(S4020)
次に、3次元計測装置1は、照明領域決定部130において、距離画像を領域分割する。領域分割では、隣り合う画素を比較し、距離が大きく変化しない画素群を一つの領域としてまとめる。これにより、距離画像を複数の領域に分割する。領域分割は、例えば、「X. Jiang and H. Bunke, "Range Image Segmentation: Adaptive Grouping of Edges into Regions," Proc. ACCV '98, pp.299-306, 1998.」に開示された技術を用いて行なえば良い。なお、距離計測の対象となる領域は、一定以上(所定値以上)の面積を持つ領域が対象となる。
(S4030)
次に、3次元計測装置1は、照明領域決定部130において、S4020で距離計測の対象となった領域を、距離センサ300と撮像部150との間の相対的な位置及び姿勢を示す値を用いて撮像部150の画像と同サイズのマスク画像に投影する。ここでは、実施形態1で説明した通り、マスク画像の各画素は0で初期化しておき、領域が投影された画素の値を1に変更する。全ての対象領域の投影が終われば、マスク画像上で値が1となっている画素の座標を、当該座標及び距離情報に基づいて撮像部150を基準とした3次元座標に変換する。具体的には、距離センサ300と撮像部150との間の相対的な位置及び姿勢を示す値を用いて、距離センサ300により取得された距離画像を撮像部150の座標系における距離画像に変換する。そして、当該変換後の距離画像内の各画素における座標及び距離情報に基づいて3次元座標を生成(変換)する。その後、撮像部150と照明部140との間の相対的な位置及び姿勢を示す値と、照明部140の内部パラメータとに基づいて、当該求めた3次元座標を照明パターンの座標(距離計測用の領域を示す座標)に変換する。
3次元計測装置1は、照明部140において、上述した処理で決められた距離計測用の領域に対して所定の照明パターン(構造化光)を照射する。なお、以降の処理については、実施形態1と同様の流れとなるため、その説明については省略する。
以上説明したように実施形態4によれば、計測対象物体の3次元形状モデルを用いずに、外部のセンサ(他の視点)から得られた距離画像を用いて距離計測用の領域を決定する。この場合にも、上述した実施形態1〜3と同様の結果を得ることができる。
(実施形態5)
次に、実施形態5について説明する。上述した実施形態1〜4においては、距離計測を行なう領域を計算により自動的に算出する場合について説明した。これに対して、実施形態5においては、ユーザによるマニュアル操作に基づいて決定する場合について説明する。なお、実施形態5に係わる3次元計測装置1の構成は、実施形態4を説明した図13と同様の構成となるため、ここでは、その図示については省略し、実施形態4と相違する点について簡単に説明する。
実施形態4においては、距離センサ300により取得された距離画像に対して領域分割処理を実施し、距離計測用の領域を決定していた。これに対して、実施形態5では、ユーザによるマニュアル操作に基づいて、距離センサ300により取得された距離画像に対して領域分割を実施し、距離計測用の領域を決定する。
ユーザによるマニュアル操作は、例えば、図15に示すユーザインタフェース400を用いて行なわれる。領域410には、距離センサ300により取得された距離画像が表示されている。ユーザは、例えば、マウスを用いて、領域410内から距離計測用の領域を指定する。全ての領域の指定が済むと、ユーザは、マウスを用いて、OKボタン420を押下する。これにより、ユーザによる距離計測用の領域の指定が完了する。なお、ユーザによりCancelボタン430が押下された場合には、領域の指定が解除される。
ユーザのマニュアル操作に基づいて領域が指定されると、3次元計測装置1は、実施形態4と同様にして照明領域を決定する。具体的には、ユーザにより距離画像上で指定された各領域を、距離センサ300と撮像部150との間の相対的な位置及び姿勢を示す値を用いて撮像部150の画像と同サイズのマスク画像に投影する。なお、マスク画像の各画素は0で初期化しておき、領域が投影された画素の値を1に変更する。全ての対象領域の投影が終われば、マスク画像上で値が1となっている画素の座標を、当該座標及び距離情報に基づいて撮像部150を基準とした3次元座標に変換する。具体的には、距離センサ300と撮像部150との間の相対的な位置及び姿勢を示す値を用いて、距離センサ300により取得された距離画像を撮像部150の座標系における距離画像に変換する。そして、当該変換後の距離画像内の各画素における座標及び距離情報に基づいて3次元座標を生成(変換)する。その後、撮像部150と照明部140との間の相対的な位置及び姿勢を示す値と、照明部140の内部パラメータとに基づいて、当該求めた3次元座標を照明パターンの座標(距離計測用の領域を示す座標)に変換する。これにより、距離計測用の領域が決定する。
以上説明したように実施形態5によれば、ユーザのマニュアル操作に基づいて距離計測用の領域を決定する。この場合にも、上述した実施形態1〜4と同様の結果を得ることができる。これにより、自動的に実施された領域分割処理の結果が不適切であったとしても、距離計測用の領域を適切に決定することができる。
以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
(変形実施形態1)
また、上述した実施形態1〜5では、マルチスリット光を物体に照射し、スリット光が照射された領域の距離を三角測量により算出する場合について説明したが、距離の算出方法は、この方法に限定されない。例えば、マルチスリット光以外の照明パターン(例えば、単一や複数のスポット光、単一のスリット光、ランダムドットパターン、局所的な平面パターン、空間コード化パターン)を物体に照射し、三角測量により距離を算出するようにしてもよい。また、距離の算出は、三角測量以外にも、例えば、例えば、照明光を物体に照射してから戻ってくるまでの飛行時間を用いて距離を計測する「Time−of−Flight」方式を用いてもよい。また、例えば、人為的に光を投影して距離計測を行なうアクティブ計測ではなく、複数のカメラによって計測対象物体を撮像し、ステレオ法によって距離の算出を行なうパッシブな計測を行なってもよい。その他、計測対象物体の位置及び姿勢の算出に用いるのに足る精度で距離の算出が行なえるのであれば、特にその方法は問わない。
(変形実施形態2)
また、上述した実施形態1〜5では、撮像部(例えば、カメラ)150の画像面において、マスク画像を作成し、撮像部150と照明部140との間の相対的な位置及び姿勢を示す値を用いて照明パターン(距離計測用の領域)を決めていた。しかし、距離計測用の領域の決定の仕方(照明パターンの作成方法)は、これに限られない。例えば、撮像部150に対する計測対象物体の位置及び姿勢の概略値を照明部140に対する位置及び姿勢に変換し、照明パターンに相当する画像上に3次元形状モデルや領域分割結果を直接投影することによって照明パターンを作成しても良い。この場合、予め校正済みの撮像部150と照明部140との間の相対的な位置及び姿勢と、照明部140の内部パラメータとを用いて3次元形状モデルや領域分割結果を画像上に投影すれば良い。
(変形実施形態3)
上述した実施形態1〜3では、計測対象物体の位置及び姿勢の概略値に基づいて3次元形状モデルを画像上に投影し、その投影結果に基づいて距離計測用の領域や、距離計測結果を用いるべき領域を決定していたが、この処理を変形して実施しても良い。これらの領域の決定に際して、計測対象物体の位置及び姿勢の計測精度や、計測対象物体の運動を鑑みても良い。例えば、カルマンフィルタに計測された物体の位置及び姿勢を時系列データとして入力することにより得られる物体の位置及び姿勢の共分散行列を精度の指標として利用しても良い。すなわち、3次元形状モデルを構成する線分の端点を投影する際に、共分散行列の一定の範囲(例えば3σ)に相当する画像上での領域(楕円領域)を算出し、線分ごとに両端点の楕円領域を包含するような領域を設定する。そして、その包含領域では距離の計測は行なわない、又は、距離計測結果を用いないようにする。また、同様にカルマンフィルタを利用し、物体の速度・角速度を推定することにより、物体の位置及び姿勢の概略値が得られた時刻と現在の時刻の差をもとに現在の物体の位置及び姿勢を予測し、その結果に基づいて上述した領域の決定処理を行なっても良い。
(変形実施形態4)
上述した実施形態1、3〜5では、画像特徴としてエッジ検出する場合について説明したが、画像特徴はエッジに限られない。例えば、非特許文献1に開示されるように、Harrisの検出器を用いて画像から特徴点を検出し、その特徴点に3次元形状モデルの点をあてはめることにより物体の位置及び姿勢を算出しても良い。この場合、距離計測用の(照明)領域の決定に際しては、特徴点の情報を用いる。具体的には、過去に撮像された画像から特徴点を検出し、その特徴点の検出結果に基づいて物体の位置及び姿勢を算出する。そして、その算出結果に基づいて3次元形状モデルを画像上に投影し、その投影像上にある特徴点を選択する。その選択された特徴点の画像座標から一定距離以内では、距離計測用の照明を照射しないように照明パターン(距離計測用の領域)を変更する。
(変形実施形態5)
上述した実施形態1〜5では、エッジ、特徴点などの画像特徴が検出され易い領域を判定し、それ以外の領域を距離計測用の領域として決めていたが、この照明領域の決定の仕方はこれに限られない。始めに、濃淡変化に乏しい領域を判定し、その領域を距離計測用の領域として決めても良い。すなわち、物体の位置及び姿勢の概略値に基づいて3次元形状モデルを構成する各面を描画し、これらの領域について距離計測用の照明を照射するよう決定しても良い。また、3次元形状モデルを構成する各面について、予め濃淡変化に乏しいか否かの情報を持たせても良い。この場合、物体の位置及び姿勢の概略値に基づいて3次元形状モデルを描画し、濃淡変化に乏しい面に相当する領域に距離計測用の照明を照射する旨の決定を行なう。以上が、変形実施形態についての説明である。
なお、本発明は、例えば、システム、装置、方法、プログラム若しくは記録媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用しても良い。
(その他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (16)

  1. 計測対象物体の3次元形状モデルを保持するモデル保持手段と、
    前記計測対象物体の3次元形状を示す情報に基づいて前記計測対象物体における距離計測用の領域を決定する決定手段と、
    前記計測対象物体に対して所定の照明パターンを照射する照明手段と、
    前記照明手段による照射が行なわれている状態で前記計測対象物体の画像を撮像する撮像手段と、
    前記撮像された画像内における前記距離計測用の領域に対応する領域に基づいて前記撮像手段から前記計測対象物体までの距離を示す距離情報を算出する距離算出手段と、
    前記距離情報と前記3次元形状モデルとに基づいて前記計測対象物体の位置及び姿勢を算出する位置姿勢算出手段と
    を具備することを特徴とする3次元計測装置。
  2. 前記計測対象物体の位置及び姿勢を示す概略値を入力する入力手段
    を更に具備し、
    前記計測対象物体の3次元形状を示す情報は、前記計測対象物体の前記3次元形状モデルであり、
    前記決定手段は、
    前記入力手段により入力された概略値を用いて前記3次元形状モデルを投影し、該投影した投影像に基づいて前記距離計測用の領域を決定する
    ことを特徴とする請求項1記載の3次元計測装置。
  3. 前記撮像された画像内における前記距離計測用の領域に対応する領域以外から画像特徴を検出する検出手段
    を更に具備し、
    前記位置姿勢算出手段は、
    前記画像特徴及び前記距離情報と前記3次元形状モデルとに基づいて前記計測対象物体の位置及び姿勢を算出する
    ことを特徴とする請求項1記載の3次元計測装置。
  4. 前記検出手段は、
    前記撮像された画像全体から画像特徴を検出した後、該検出した画像特徴のうち、前記距離計測用の領域に対応する領域以外から検出した画像特徴を出力し、
    前記距離算出手段は、
    前記撮像された画像全体から距離情報を算出した後、該算出した距離情報のうち、前記距離計測用の領域に対応する領域から算出した距離情報を出力する
    ことを特徴とする請求項3記載の3次元計測装置。
  5. 前記検出手段及び前記距離算出手段は、
    前記撮像手段により撮像された1枚の画像に基づいて、前記画像特徴の検出及び前記距離情報の算出をそれぞれ行なう
    ことを特徴とする請求項4記載の3次元計測装置。
  6. 前記撮像手段は、
    複数の撮像装置から構成され、
    前記距離算出手段は、
    前記複数の撮像装置により撮像された複数の画像内における前記距離計測用の領域に対応する領域から前記距離情報をそれぞれ算出し、
    前記位置姿勢算出手段は、
    前記算出された前記距離情報のそれぞれと前記3次元形状モデルとに基づいて前記計測対象物体の位置及び姿勢を算出する
    ことを特徴とする請求項1記載の3次元計測装置。
  7. 前記計測対象物体の3次元形状を示す情報は、距離センサにより取得された前記計測対象物体を含む距離画像であり、
    前記決定手段は、
    前記距離画像における各画素の距離情報に基づいて該距離画像を領域分割し、前記距離センサと前記撮像手段との間の相対的な位置及び姿勢を示す値を用いて当該分割された領域のいずれかを投影した投影像に基づいて前記距離計測用の領域を決定する
    ことを特徴とする請求項1記載の3次元計測装置。
  8. 前記決定手段は、
    前記分割された領域の中から所定値以上の面積を持つ領域を投影した投影像に基づいて前記距離計測用の領域を決定する
    ことを特徴とする請求項7記載の3次元計測装置。
  9. 前記決定手段は、
    前記分割された領域の中からユーザにより指定された領域を投影した投影像に基づいて前記距離計測用の領域を決定する
    ことを特徴とする請求項7記載の3次元計測装置。
  10. 前記決定手段は、
    前記計測対象物体において濃淡変化が小さいと推定される領域を前記距離計測用の領域に決定する
    ことを特徴とする請求項1記載の3次元計測装置。
  11. 計測対象物体の3次元形状モデルを保持するモデル保持手段と、
    前記計測対象物体の位置及び姿勢を示す概略値を入力する入力手段と、
    前記入力手段により入力された概略値を用いて前記3次元形状モデルを投影し、その投影像に基づいて前記計測対象物体における距離計測用の領域を決定する決定手段と、
    前記決定手段により決定された領域に対して所定の照明パターンを局所的に照射する照明手段と、
    前記照明手段による照射が行なわれている状態で前記計測対象物体の画像を撮像する撮像手段と、
    前記撮像された画像内における前記距離計測用の領域に対応する領域に基づいて前記撮像手段から前記計測対象物体までの距離を示す距離情報を算出する距離算出手段と、
    前記撮像された画像内における前記距離計測用の領域に対応する領域以外から画像特徴を検出する検出手段と
    前記画像特徴及び前記距離情報と前記3次元形状モデルとに基づいて前記計測対象物体の位置及び姿勢を算出する位置姿勢算出手段と
    を具備することを特徴とする3次元計測装置。
  12. 計測対象物体の3次元形状モデルを保持するモデル保持手段と、
    前記計測対象物体の位置及び姿勢を示す概略値を入力する入力手段と、
    前記入力手段により入力された概略値を用いて前記3次元形状モデルを投影し、その投影像に基づいて前記計測対象物体における距離計測用の領域を決定する決定手段と、
    前記決定手段により決定された領域に対して所定の照明パターンを局所的に照射する照明手段と、
    前記照明手段による照射が行なわれている状態で前記計測対象物体の画像を撮像する複数の撮像手段と、
    前記撮像された複数の画像内における前記距離計測用の領域に対応する領域に基づいて前記撮像手段から前記計測対象物体までの距離を示す距離情報をそれぞれ算出する距離算出手段と、
    前記複数の画像からそれぞれ算出された前記距離情報と前記3次元形状モデルとに基づいて前記計測対象物体の位置及び姿勢を算出する位置姿勢算出手段と
    を具備することを特徴とする3次元計測装置。
  13. 計測対象物体の3次元形状モデルを保持するモデル保持手段と、
    前記計測対象物体の位置及び姿勢を示す概略値を入力する入力手段と、
    前記入力手段により入力された概略値を用いて前記3次元形状モデルを投影し、その投影像に基づいて前記計測対象物体における距離計測用の領域を決定する決定手段と、
    前記計測対象物体に向けて所定の照明パターンを局所的に照射する照明手段と、
    前記照明手段による照射が行なわれている状態で前記計測対象物体の画像を撮像する撮像手段と、
    前記撮像された画像内における前記距離計測用の領域に対応する領域に基づいて前記撮像手段から前記計測対象物体までの距離を示す距離情報を算出するとともに、前記決定手段による決定結果に基づいて当該算出した距離情報を出力する距離算出手段と、
    前記撮像された画像に基づいて前記計測対象物体の画像特徴を検出するとともに、前記決定手段による決定結果に基づいて当該検出した画像特徴を出力する検出手段と、
    前記画像特徴及び前記距離情報と前記3次元形状モデルとに基づいて前記計測対象物体の位置及び姿勢を算出する位置姿勢算出手段と
    を具備することを特徴とする3次元計測装置。
  14. 計測対象物体の3次元形状モデルを保持するモデル保持手段と、
    距離センサにより取得された前記計測対象物体を含む距離画像に基づいて前記計測対象物体における距離計測用の領域を決定する決定手段と、
    前記決定手段により決定された領域に対して所定の照明パターンを局所的に照射する照明手段と、
    前記照明手段による照射が行なわれている状態で前記計測対象物体の画像を撮像する撮像手段と、
    前記撮像された画像内における前記距離計測用の領域に対応する領域に基づいて前記撮像手段から前記計測対象物体までの距離を示す距離情報を算出する距離算出手段と、
    前記撮像された画像内における前記距離計測用の領域に対応する領域以外から画像特徴を検出する検出手段と
    前記画像特徴及び前記距離情報と前記3次元形状モデルとに基づいて前記計測対象物体の位置及び姿勢を算出する位置姿勢算出手段と
    を具備し、
    前記決定手段は、
    前記距離画像における各画素の距離情報に基づいて該距離画像を領域分割し、前記距離センサと前記撮像手段との間の相対的な位置及び姿勢を示す値を用いて当該分割された領域のいずれかを投影した投影像に基づいて前記距離計測用の領域を決定する
    ことを特徴とする3次元計測装置。
  15. 計測対象物体の3次元形状モデルを用いて該計測対象物体の位置及び姿勢を計測する3次元計測装置の計測方法であって、
    決定手段が、前記計測対象物体の3次元形状を示す情報に基づいて前記計測対象物体における距離計測用の領域を決定する工程と、
    照明手段が、前記計測対象物体に対して所定の照明パターンを照射する工程と、
    撮像手段が、前記照明手段による照射が行なわれている状態で前記計測対象物体の画像を撮像する工程と、
    距離算出手段が、前記撮像された画像内における前記距離計測用の領域に対応する領域に基づいて前記撮像手段から前記計測対象物体までの距離を示す距離情報を算出する工程と、
    位置姿勢算出手段が、前記距離情報と前記3次元形状モデルとに基づいて前記計測対象物体の位置及び姿勢を算出する工程と
    を含むことを特徴とする計測方法。
  16. コンピュータを、
    計測対象物体の3次元形状モデルを保持するモデル保持手段、
    前記計測対象物体の3次元形状を示す情報に基づいて前記計測対象物体における距離計測用の領域を決定する決定手段、
    前記計測対象物体に対して所定の照明パターンを照射する照明手段、
    前記照明手段による照射が行なわれている状態で前記計測対象物体の画像を撮像する撮像手段、
    前記撮像された画像内における前記距離計測用の領域に対応する領域に基づいて前記撮像手段から前記計測対象物体までの距離を示す距離情報を算出する距離算出手段、
    前記距離情報と前記3次元形状モデルとに基づいて前記計測対象物体の位置及び姿勢を算出する位置姿勢算出手段
    として機能させるためのプログラム。
JP2010137680A 2009-06-24 2010-06-16 3次元計測装置、その計測方法及びプログラム Active JP5567908B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010137680A JP5567908B2 (ja) 2009-06-24 2010-06-16 3次元計測装置、その計測方法及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009150323 2009-06-24
JP2009150323 2009-06-24
JP2010137680A JP5567908B2 (ja) 2009-06-24 2010-06-16 3次元計測装置、その計測方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2011027724A true JP2011027724A (ja) 2011-02-10
JP2011027724A5 JP2011027724A5 (ja) 2013-08-01
JP5567908B2 JP5567908B2 (ja) 2014-08-06

Family

ID=43380369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010137680A Active JP5567908B2 (ja) 2009-06-24 2010-06-16 3次元計測装置、その計測方法及びプログラム

Country Status (2)

Country Link
US (1) US9025857B2 (ja)
JP (1) JP5567908B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013019890A (ja) * 2011-06-13 2013-01-31 Canon Inc 情報処理装置及び情報処理方法
JP2013036988A (ja) * 2011-07-08 2013-02-21 Canon Inc 情報処理装置及び情報処理方法
JP2013036987A (ja) * 2011-07-08 2013-02-21 Canon Inc 情報処理装置及び情報処理方法
JP2014002033A (ja) * 2012-06-18 2014-01-09 Canon Inc 画像処理装置、画像処理方法
WO2014064990A1 (ja) * 2012-10-25 2014-05-01 シャープ株式会社 平面検出装置、平面検出装置を備えた自律移動装置、路面段差検出方法、路面段差検出装置、および路面段差検出装置を備えた車両
JP2014085940A (ja) * 2012-10-25 2014-05-12 Sharp Corp 平面検出装置およびそれを備えた自律移動装置
JP2014106099A (ja) * 2012-11-27 2014-06-09 Keyence Corp 形状測定装置、形状測定方法および形状測定プログラム
JP2014524016A (ja) * 2011-06-24 2014-09-18 ソフトキネティック ソフトウェア 深度測定の品質の向上
US9141873B2 (en) 2011-12-27 2015-09-22 Canon Kabushiki Kaisha Apparatus for measuring three-dimensional position, method thereof, and program
JP2015212942A (ja) * 2014-04-25 2015-11-26 グーグル インコーポレイテッド レーザー点クラウドを用いる物体検出のための方法及びシステム
JP2016509394A (ja) * 2012-12-28 2016-03-24 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH 現実環境における現実対象物上のデジタル情報を投影するための方法およびシステム
JP2016109671A (ja) * 2014-12-01 2016-06-20 キヤノン株式会社 三次元計測装置およびその制御方法
WO2022190534A1 (ja) * 2021-03-10 2022-09-15 オムロン株式会社 認識装置、ロボット制御システム、認識方法、およびプログラム
WO2023238741A1 (ja) * 2022-06-07 2023-12-14 ソニーセミコンダクタソリューションズ株式会社 光検出装置、システム及び情報処理装置

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9879976B2 (en) 2010-01-20 2018-01-30 Faro Technologies, Inc. Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features
US9607239B2 (en) 2010-01-20 2017-03-28 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
JP5624394B2 (ja) 2010-07-16 2014-11-12 キヤノン株式会社 位置姿勢計測装置、その計測処理方法及びプログラム
TWI420081B (zh) * 2010-07-27 2013-12-21 Pixart Imaging Inc 測距系統及測距方法
JP5671281B2 (ja) 2010-08-20 2015-02-18 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
JP5839971B2 (ja) * 2010-12-14 2016-01-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2012147496A1 (ja) * 2011-04-25 2012-11-01 三洋電機株式会社 物体検出装置および情報取得装置
US8447443B1 (en) 2011-06-21 2013-05-21 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Systems and methods for peak-seeking control
JP6004809B2 (ja) 2012-03-13 2016-10-12 キヤノン株式会社 位置姿勢推定装置、情報処理装置、情報処理方法
US8690063B2 (en) * 2012-05-01 2014-04-08 Symbol Technologies, Inc. Apparatus for and method of electro-optically reading direct part marking indicia by image capture
JP5818773B2 (ja) * 2012-11-22 2015-11-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2014185996A (ja) * 2013-03-25 2014-10-02 Toshiba Corp 計測装置
CN104344795A (zh) * 2013-07-24 2015-02-11 鸿富锦精密工业(深圳)有限公司 点云剖面量测系统及方法
CN104424655A (zh) * 2013-09-10 2015-03-18 鸿富锦精密工业(深圳)有限公司 点云曲面重构系统及方法
JP6253368B2 (ja) 2013-11-25 2017-12-27 キヤノン株式会社 三次元形状計測装置およびその制御方法
US9747680B2 (en) 2013-11-27 2017-08-29 Industrial Technology Research Institute Inspection apparatus, method, and computer program product for machine vision inspection
JP6351243B2 (ja) * 2013-11-28 2018-07-04 キヤノン株式会社 画像処理装置、画像処理方法
US9233469B2 (en) * 2014-02-13 2016-01-12 GM Global Technology Operations LLC Robotic system with 3D box location functionality
JP6317618B2 (ja) * 2014-05-01 2018-04-25 キヤノン株式会社 情報処理装置およびその方法、計測装置、並びに、作業装置
US9880075B2 (en) * 2016-02-11 2018-01-30 Caterpillar Inc. Wear measurement system using a computer model
US9875535B2 (en) * 2016-02-11 2018-01-23 Caterpillar Inc. Wear measurement system using computer vision
US20190294914A1 (en) * 2016-05-19 2019-09-26 Vermeer Manufacturing Company Bale detection and classification using stereo cameras
JP6420404B1 (ja) * 2017-04-26 2018-11-07 ファナック株式会社 物体認識装置
WO2019107150A1 (ja) * 2017-11-30 2019-06-06 株式会社ニコン 検出装置、処理装置、装着物、検出方法、及び検出プログラム
CN108305237B (zh) * 2018-01-23 2021-09-21 中国科学院遥感与数字地球研究所 考虑不同光照成像条件的多立体影像融合制图方法
US11096765B2 (en) * 2018-06-22 2021-08-24 Align Technology, Inc. Light field intraoral 3D scanner with structured light illumination
KR102570059B1 (ko) * 2018-08-16 2023-08-23 엘지이노텍 주식회사 센싱 방법 및 장치
JP7233261B2 (ja) * 2019-03-13 2023-03-06 キヤノン株式会社 3次元測量装置、撮像装置、制御方法及びプログラム
JP2020153718A (ja) * 2019-03-18 2020-09-24 株式会社リコー 測定装置及び造形装置
JP2022060796A (ja) * 2020-10-05 2022-04-15 キヤノン株式会社 3次元計測装置、システム、及び、生産方法
JP7163947B2 (ja) * 2020-10-22 2022-11-01 セイコーエプソン株式会社 投写領域の設定支援方法、設定支援システム、及びプログラム
CN113421245A (zh) * 2021-06-27 2021-09-21 王程 用于颜色再现的三维表面粗糙度计算方法
CN114049376A (zh) * 2021-09-17 2022-02-15 北京航空航天大学 位姿实时跟踪方法、设备、计算机可读介质和程序产品
EP4332499A1 (en) * 2022-08-30 2024-03-06 Canon Kabushiki Kaisha Three-dimensional measuring apparatus, three-dimensional measuring method, storage medium, system, and method for manufacturing an article
CN117470122B (zh) * 2023-11-08 2024-07-30 华中科技大学 一种钢筋骨架绑扎质量自动检查装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143073A (ja) * 1999-11-10 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> 物体の位置姿勢決定の方法
JP2006300929A (ja) * 2005-03-22 2006-11-02 Jfe Engineering Kk 物体の3次元位置認識装置およびデパレタイズシステム
WO2006120759A1 (ja) * 2005-05-12 2006-11-16 Techno Dream 21 Co., Ltd. 3次元形状計測方法およびその装置
JP2008046750A (ja) * 2006-08-11 2008-02-28 Canon Inc 画像処理装置および方法
JP2008217544A (ja) * 2007-03-06 2008-09-18 Yaskawa Electric Corp 物体検出方法、物体検出装置、及びそれを備えたロボット
JP2009014415A (ja) * 2007-07-02 2009-01-22 National Institute Of Advanced Industrial & Technology 物体認識装置および物体認識方法
JP2009129189A (ja) * 2007-11-22 2009-06-11 Ihi Corp 物体認識方法

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
US5893085A (en) * 1997-06-10 1999-04-06 Phillips; Ronald W. Dynamic fuzzy logic process for identifying objects in three-dimensional data
US6204916B1 (en) * 1998-02-03 2001-03-20 Minolta Co., Ltd. Three dimensional information measurement method and apparatus
US6549647B1 (en) * 2000-01-07 2003-04-15 Cyberoptics Corporation Inspection system with vibration resistant video capture
ATE321310T1 (de) * 2000-04-06 2006-04-15 Seiko Epson Corp Verfahren und vorrichtung zum lesen von einem zwei-dimensionalen strichkode und datenspeichermedium
JP2002191058A (ja) * 2000-12-20 2002-07-05 Olympus Optical Co Ltd 3次元画像取得装置および3次元画像取得方法
US7072502B2 (en) * 2001-06-07 2006-07-04 Applied Materials, Inc. Alternating phase-shift mask inspection method and apparatus
US20030123707A1 (en) * 2001-12-31 2003-07-03 Park Seujeung P. Imaging-based distance measurement and three-dimensional profiling system
JP3796449B2 (ja) 2002-01-31 2006-07-12 キヤノン株式会社 位置姿勢決定方法および装置並びにコンピュータプログラム
EP1349114A3 (en) 2002-03-19 2011-06-15 Canon Kabushiki Kaisha Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus
AU2003217528A1 (en) * 2002-03-26 2003-10-08 So-Woon Kim System and method for 3-dimension simulation of glasses
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
JP3859571B2 (ja) * 2002-10-17 2006-12-20 ファナック株式会社 3次元視覚センサ
JP3953988B2 (ja) * 2003-07-29 2007-08-08 Tdk株式会社 検査装置および検査方法
CN1846232A (zh) * 2003-08-29 2006-10-11 日本电气株式会社 使用加权信息的对象姿态估计和匹配系统
US7028723B1 (en) * 2003-11-03 2006-04-18 Alouani Ali Tahar Apparatus and method for automatic prescription verification
DE10359415A1 (de) * 2003-12-16 2005-07-14 Trimble Jena Gmbh Verfahren zur Kalibrierung eines Vermessungsgeräts
JP3779308B2 (ja) * 2004-07-21 2006-05-24 独立行政法人科学技術振興機構 カメラ校正システム及び三次元計測システム
BRPI0514755B1 (pt) * 2004-08-30 2017-10-17 Commonwealth Scientific And Industrial Research Organisation Method for automated 3d image formation
KR100601967B1 (ko) * 2004-10-08 2006-07-18 삼성전자주식회사 영상의 다이나믹 레인지 압축 장치 및 방법
WO2006062132A1 (ja) * 2004-12-07 2006-06-15 The University Of Tokyo 立体画像再構成装置、立体画像再構成方法、及び立体画像再構成プログラム
US7657101B2 (en) * 2005-01-19 2010-02-02 Dermaspect, Llc Devices and methods for identifying and monitoring changes of a suspect area on a patient
JP4599184B2 (ja) 2005-02-02 2010-12-15 キヤノン株式会社 指標配置計測方法、指標配置計測装置
US7136765B2 (en) * 2005-02-09 2006-11-14 Deepsea Power & Light, Inc. Buried object locating and tracing method and system employing principal components analysis for blind signal detection
US7505152B2 (en) * 2005-02-24 2009-03-17 The Boeing Company Optical metrology system
DE102005029901B4 (de) * 2005-06-25 2022-10-06 Modi Modular Digits Gmbh Vorrichtung und Verfahren zum visuellen Erfassen von flächigen oder räumlichen Objekten
JP4914039B2 (ja) 2005-07-27 2012-04-11 キヤノン株式会社 情報処理方法および装置
US7301165B2 (en) * 2005-10-24 2007-11-27 General Electric Company Methods and apparatus for inspecting an object
JP5063023B2 (ja) 2006-03-31 2012-10-31 キヤノン株式会社 位置姿勢補正装置、位置姿勢補正方法
US7925049B2 (en) * 2006-08-15 2011-04-12 Sri International Stereo-based visual odometry method and system
US20080075234A1 (en) * 2006-09-21 2008-03-27 Bruker Axs, Inc. Method and apparatus for increasing x-ray flux and brightness of a rotating anode x-ray source
JP4403172B2 (ja) * 2006-12-22 2010-01-20 富士フイルム株式会社 ファイル生成方法および装置並びに立体画像の表示制御方法および装置
US8265343B2 (en) * 2006-12-25 2012-09-11 Nec Corporation Apparatus, method and program for distance measurement
EP3112802B1 (en) * 2007-02-16 2019-10-09 Mitsubishi Electric Corporation Road feature measurement apparatus and road feature measuring method
US8218903B2 (en) * 2007-04-24 2012-07-10 Sony Computer Entertainment Inc. 3D object scanning using video camera and TV monitor
US20080309913A1 (en) * 2007-06-14 2008-12-18 James John Fallon Systems and methods for laser radar imaging for the blind and visually impaired
CA2707104C (en) * 2007-11-30 2018-06-19 Searidge Technologies Inc. Airport target tracking system
JP5111210B2 (ja) 2008-04-09 2013-01-09 キヤノン株式会社 画像処理装置、画像処理方法
EP2350792B1 (en) * 2008-10-10 2016-06-22 Qualcomm Incorporated Single camera tracker
US8559699B2 (en) * 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
KR101251372B1 (ko) * 2008-10-13 2013-04-05 주식회사 고영테크놀러지 3차원형상 측정방법
JP2010134649A (ja) 2008-12-03 2010-06-17 Canon Inc 情報処理装置、その処理方法及びプログラム
JP5310130B2 (ja) * 2009-03-11 2013-10-09 オムロン株式会社 3次元視覚センサによる認識結果の表示方法および3次元視覚センサ
JP2010210585A (ja) * 2009-03-12 2010-09-24 Omron Corp 3次元視覚センサにおけるモデル表示方法および3次元視覚センサ
TWI392864B (zh) * 2009-04-03 2013-04-11 Ind Tech Res Inst 光學檢測裝置
JP5388932B2 (ja) * 2009-04-30 2014-01-15 キヤノン株式会社 情報処理装置およびその制御方法
JP5290864B2 (ja) * 2009-05-18 2013-09-18 キヤノン株式会社 位置姿勢推定装置及び方法
JP5333344B2 (ja) * 2009-06-19 2013-11-06 株式会社安川電機 形状検出装置及びロボットシステム
US20110069204A1 (en) * 2009-09-23 2011-03-24 Zoran Corporation Method and apparatus for image correction
US8306314B2 (en) * 2009-12-28 2012-11-06 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of objects
JP5170154B2 (ja) * 2010-04-26 2013-03-27 オムロン株式会社 形状計測装置およびキャリブレーション方法
US8334985B2 (en) * 2010-10-08 2012-12-18 Omron Corporation Shape measuring apparatus and shape measuring method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143073A (ja) * 1999-11-10 2001-05-25 Nippon Telegr & Teleph Corp <Ntt> 物体の位置姿勢決定の方法
JP2006300929A (ja) * 2005-03-22 2006-11-02 Jfe Engineering Kk 物体の3次元位置認識装置およびデパレタイズシステム
WO2006120759A1 (ja) * 2005-05-12 2006-11-16 Techno Dream 21 Co., Ltd. 3次元形状計測方法およびその装置
JP2008046750A (ja) * 2006-08-11 2008-02-28 Canon Inc 画像処理装置および方法
JP2008217544A (ja) * 2007-03-06 2008-09-18 Yaskawa Electric Corp 物体検出方法、物体検出装置、及びそれを備えたロボット
JP2009014415A (ja) * 2007-07-02 2009-01-22 National Institute Of Advanced Industrial & Technology 物体認識装置および物体認識方法
JP2009129189A (ja) * 2007-11-22 2009-06-11 Ihi Corp 物体認識方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013019890A (ja) * 2011-06-13 2013-01-31 Canon Inc 情報処理装置及び情報処理方法
JP2014524016A (ja) * 2011-06-24 2014-09-18 ソフトキネティック ソフトウェア 深度測定の品質の向上
JP2013036988A (ja) * 2011-07-08 2013-02-21 Canon Inc 情報処理装置及び情報処理方法
JP2013036987A (ja) * 2011-07-08 2013-02-21 Canon Inc 情報処理装置及び情報処理方法
US9437005B2 (en) 2011-07-08 2016-09-06 Canon Kabushiki Kaisha Information processing apparatus and information processing method
US9141873B2 (en) 2011-12-27 2015-09-22 Canon Kabushiki Kaisha Apparatus for measuring three-dimensional position, method thereof, and program
JP2014002033A (ja) * 2012-06-18 2014-01-09 Canon Inc 画像処理装置、画像処理方法
US10203197B2 (en) 2012-06-18 2019-02-12 Canon Kabushiki Kaisha Range measurement apparatus and range measurement method
JP2014085940A (ja) * 2012-10-25 2014-05-12 Sharp Corp 平面検出装置およびそれを備えた自律移動装置
WO2014064990A1 (ja) * 2012-10-25 2014-05-01 シャープ株式会社 平面検出装置、平面検出装置を備えた自律移動装置、路面段差検出方法、路面段差検出装置、および路面段差検出装置を備えた車両
JP2014106099A (ja) * 2012-11-27 2014-06-09 Keyence Corp 形状測定装置、形状測定方法および形状測定プログラム
JP2016509394A (ja) * 2012-12-28 2016-03-24 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH 現実環境における現実対象物上のデジタル情報を投影するための方法およびシステム
JP2015212942A (ja) * 2014-04-25 2015-11-26 グーグル インコーポレイテッド レーザー点クラウドを用いる物体検出のための方法及びシステム
JP2016109671A (ja) * 2014-12-01 2016-06-20 キヤノン株式会社 三次元計測装置およびその制御方法
WO2022190534A1 (ja) * 2021-03-10 2022-09-15 オムロン株式会社 認識装置、ロボット制御システム、認識方法、およびプログラム
WO2023238741A1 (ja) * 2022-06-07 2023-12-14 ソニーセミコンダクタソリューションズ株式会社 光検出装置、システム及び情報処理装置

Also Published As

Publication number Publication date
JP5567908B2 (ja) 2014-08-06
US9025857B2 (en) 2015-05-05
US20100328682A1 (en) 2010-12-30

Similar Documents

Publication Publication Date Title
JP5567908B2 (ja) 3次元計測装置、その計測方法及びプログラム
US20200096317A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
JP5839971B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6370038B2 (ja) 位置姿勢計測装置及び方法
US9279661B2 (en) Information processing apparatus and information processing method
JP5839929B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP5393318B2 (ja) 位置姿勢計測方法及び装置
JP6271953B2 (ja) 画像処理装置、画像処理方法
JP6324025B2 (ja) 情報処理装置、情報処理方法
JP6092530B2 (ja) 画像処理装置、画像処理方法
JP6677522B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP2016170050A (ja) 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム
JP6180158B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法、およびプログラム
JP2016148649A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP5698815B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP6040264B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2015007639A (ja) 情報処理装置、情報処理方法およびプログラム
JP2015132523A (ja) 位置姿勢計測装置、位置姿勢計測方法及びプログラム
JP6890422B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP6285765B2 (ja) 情報処理装置、情報処理方法
JP6766229B2 (ja) 位置姿勢計測装置及び方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130617

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140620

R151 Written notification of patent or utility model registration

Ref document number: 5567908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151