JP2020038074A

JP2020038074A - 三次元計測装置、ロボットおよびロボットシステム

Info

Publication number: JP2020038074A
Application number: JP2018164241A
Authority: JP
Inventors: 若林　修一; Shuichi Wakabayashi; 修一若林
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2018-09-03
Filing date: 2018-09-03
Publication date: 2020-03-12
Anticipated expiration: 2038-09-03
Also published as: JP7172305B2; CN110871457B; US20200070370A1; US11312029B2; CN110871457A

Abstract

【課題】より迅速にかつ精度よく対象物の三次元計測を行うことのできる三次元計測装置、ロボットおよびロボットシステムを提供すること。【解決手段】三次元計測装置は、前記対象物を含む領域に前記レーザー光による第１パターン光および第２パターン光を投影する投影部と、前記領域の撮像画像を撮像する撮像部と、前記投影部または前記撮像部の振動に関する振動情報を受け付ける振動情報受付部と、前記撮像画像に基づいて前記対象物の三次元形状を計測する計測部と、を備え、前記振動情報が第１閾値以下となったら、前記撮像部によって第１周期をもつ前記第１パターン光が投影された前記領域を撮像し、前記振動情報が前記第１閾値より小さい第２閾値以下となったら、前記撮像部によって前記第１周期より短い第２周期をもつ前記第２パターン光が投影された前記領域を撮像する。【選択図】図２

Description

本発明は、三次元計測装置、ロボットおよびロボットシステムに関するものである。

特許文献１に記載されているカメラ付きロボットは、カメラの位置が予め設定された位置閾値以下で、かつ、カメラの移動速度が予め設定された速度閾値以下である時にカメラのシャッターを切るように構成されている。このような構成によれば、ワークを探索するための画像のブレを防ぎ、位置誤差を低減するとともに、シャッターを早く切ることにより作業効率を向上させることができる。

特開２０１１−１１３３０号公報

しかしながら、複数回の撮像によってワークの三次元計測を行う位相シフト法を用いる場合、カメラのブレの少ないタイミングでシャッタースピードを速くしても、カメラに測定精度を超える大きさの振幅を持つ振動が残留しているタイミングで撮像された場合、測定精度が悪化してしまうという問題がある。

本発明の三次元計測装置は、レーザー光を用いて対象物の三次元計測を行う三次元計測装置であって、
前記対象物を含む領域に前記レーザー光による第１パターン光および第２パターン光を投影する投影部と、
前記領域の撮像画像を撮像する撮像部と、
前記投影部または前記撮像部の振動に関する振動情報を受け付ける振動情報受付部と、
前記撮像画像に基づいて前記対象物の三次元形状を計測する計測部と、
を備え、
前記振動情報が第１閾値以下となったら、前記撮像部によって第１周期をもつ前記第１パターン光が投影された前記領域を撮像し、
前記振動情報が前記第１閾値より小さい第２閾値以下となったら、前記撮像部によって前記第１周期より短い第２周期をもつ前記第２パターン光が投影された前記領域を撮像することを特徴とする三次元計測装置。

本発明の第１実施形態に係るロボットシステムの全体構成を示す図である。三次元計測装置の全体構成を示す図である。図２に示す三次元計測装置が有する光走査部を示す平面図である。投影部により投影されるパターン光の一例を示す平面図である。位相シフト法を用いた三次元計測の手順を示すフローチャートである。振動の大きさと第１〜第４撮像ステップの開始タイミングとの関係を示すグラフである。本発明の第２実施形態に係るロボットシステムが有する三次元計測装置の全体構成を示す図である。振動の大きさと第１〜第４撮像ステップの開始タイミングとの関係を示すグラフである。本発明の第３実施形態における第１〜第４撮像ステップの開始タイミングを示すグラフである。振動の大きさと第１〜第４撮像ステップの開始タイミングとの関係を示すグラフである。本発明の第４実施形態での位相シフト法を用いた三次元計測の手順を示すフローチャートである。本発明の第４実施形態での位相シフト法を用いた三次元計測の手順を示すフローチャートである。

以下、本発明の三次元計測装置、ロボットおよびロボットシステムを添付図面に示す実施形態に基づいて詳細に説明する。

＜第１実施形態＞
図１は、本発明の第１実施形態に係るロボットシステムの全体構成を示す図である。図２は、三次元計測装置の全体構成を示す図である。図３は、図２に示す三次元計測装置が有する光走査部を示す平面図である。図４は、投影部により投影されるパターン光の一例を示す平面図である。図５は、位相シフト法を用いた三次元計測の手順を示すフローチャートである。図６は、振動の大きさと第１〜第４撮像ステップの開始タイミングとの関係を示すグラフである。

図１に示すロボットシステム１は、ロボット２と、レーザー光Ｌを用いて対象物Ｗの三次元計測を行う三次元計測装置４と、三次元計測装置４の振動Ｑを検出する振動センサー７と、三次元計測装置４の計測結果に基づいてロボット２の駆動を制御するロボット制御装置５と、ロボット制御装置５と通信可能なホストコンピューター６と、を有している。なお、これら各部は、有線または無線により通信可能とされ、該通信は、インターネットのようなネットワークを介してなされてもよい。

−ロボット−
ロボット２は、例えば、精密機器やこれを構成する部品の給材、除材、搬送および組立等の作業を行うロボットである。ただし、ロボット２の用途としては、特に限定されない。本実施形態のロボット２は、６軸ロボットであり、図１に示すように、床や天井に固定されるベース２１と、ベース２１に連結されたロボットアーム２２と、を有する。

ロボットアーム２２は、ベース２１に第１軸Ｏ１まわりに回動自在に連結された第１アーム２２１と、第１アーム２２１に第２軸Ｏ２まわりに回動自在に連結された第２アーム２２２と、第２アーム２２２に第３軸Ｏ３まわりに回動自在に連結された第３アーム２２３と、第３アーム２２３に第４軸Ｏ４まわりに回動自在に連結された第４アーム２２４と、第４アーム２２４に第５軸Ｏ５まわりに回動自在に連結された第５アーム２２５と、第５アーム２２５に第６軸Ｏ６まわりに回動自在に連結された第６アーム２２６と、を有している。また、第６アーム２２６には、ロボット２に実行させる作業に応じたエンドエフェクター２４が装着される。

また、ロボット２は、ベース２１に対して第１アーム２２１を回動させる第１駆動装置２５１と、第１アーム２２１に対して第２アーム２２２を回動させる第２駆動装置２５２と、第２アーム２２２に対して第３アーム２２３を回動させる第３駆動装置２５３と、第３アーム２２３に対して第４アーム２２４を回動させる第４駆動装置２５４と、第４アーム２２４に対して第５アーム２２５を回動させる第５駆動装置２５５と、第５アーム２２５に対して第６アーム２２６を回動させる第６駆動装置２５６と、を有している。第１〜第６駆動装置２５１〜２５６は、それぞれ、例えば、駆動源としてのモーターと、モーターの駆動を制御するコントローラーと、モーターの回転量を検出するエンコーダーと、を有している。そして、第１〜第６駆動装置２５１〜２５６は、それぞれ、ロボット制御装置５によって独立して制御される。

なお、ロボット２としては、本実施形態の構成に限定されず、例えば、ロボットアーム２２が有するアームの数が１本〜５本であってもよいし、７本以上であってもよい。また、例えば、ロボット２の種類は、スカラロボットや、２つのロボットアーム２２を有する双腕ロボットであってもよい。

−ロボット制御装置−
ロボット制御装置５は、ホストコンピューター６からロボット２の位置指令を受け、各アーム２２１〜２２６が受けた位置指令に応じた位置となるように、第１〜第６駆動装置２５１〜２５６の駆動をそれぞれ独立して制御する。ロボット制御装置５は、例えば、コンピューターから構成され、情報を処理するプロセッサー（ＣＰＵ）と、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有している。メモリーにはプロセッサーにより実行可能な各種プログラムが保存され、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行することができる。

−振動センサー−
振動センサー７は、ロボット２に設置され、三次元計測装置４、特に後述する投影部４１または撮像部４７の振動を検出する。本実施形態では、振動センサー７は、第５アーム２２５に三次元計測装置４に内蔵された状態で設置されており、これにより、三次元計測装置４の振動をより精度よく検出することができる。このような振動センサー７としては、振動を検出することができれば、特に限定されず、例えば、角速度センサー、加速度センサー等を用いることができる。

ただし、振動センサー７の配置としては、三次元計測装置４、特に投影部４１または撮像部４７の振動を検出することができれば、特に限定されず、例えば、三次元計測装置４と別体で第５アーム２２５に設置されていてもよいし、第５アーム２２５以外のアームすなわち三次元計測装置４が設置されているアームとは異なるアームに設置されていてもよいし、ロボット２以外の部分、例えば、天井、床、壁等に設置されていてもよい。ロボット２以外の部分に振動センサー７を設置する場合、振動センサー７として、例えば、レーザー光Ｌを第５アーム２２５に向けて出射し、その反射光を受光することにより第５アーム２２５の振動を検出するレーザー型の振動センサーを用いることができる。

−三次元計測装置−
三次元計測装置４は、位相シフト法を用いて対象物Ｗの三次元計測を行う。図２に示すように、三次元計測装置４は、対象物Ｗを含む領域にレーザー光Ｌによるパターン光ＰＬを投影する投影部４１と、パターン光ＰＬが投影された対象物Ｗを含む領域を撮像した撮像画像を取得する撮像部４７と、振動センサー７から三次元計測装置３の振動に関する振動情報を受け付ける振動情報受付部４８１を備え、振動情報受付部４８１が受け付けた振動情報に基づいて投影部４１および撮像部４７の駆動を制御する制御部４８と、撮像画像に基づいて対象物Ｗの三次元形状を計測する計測部４９と、を備えている。

これら各構成要素のうち、少なくとも投影部４１および撮像部４７は、それぞれ、ロボット２の第５アーム２２５に固定されている。そのため、投影部４１および撮像部４７の相対的な位置関係は、固定されている。また、投影部４１は、第５アーム２２５の先端側すなわちエンドエフェクター２４側に向けてレーザー光Ｌを照射するように配置され、撮像部４７は、第５アーム２２５の先端側を向き、レーザー光Ｌの照射範囲を含む領域を撮像するように配置されている。

ここで、第５アーム２２５の先端側にエンドエフェクター２４が位置する関係は、第５アーム２２５以外のアーム２２１〜２２４、２２６が動いても維持される。そのため、第５アーム２２５に投影部４１および撮像部４７を固定することにより、三次元計測装置４は、常に、エンドエフェクター２４の先端側にレーザー光Ｌを出射することができると共に、エンドエフェクター２４の先端側を撮像することができる。したがって、エンドエフェクター２４により対象物Ｗを把持しようとするときの姿勢、つまり、エンドエフェクター２４が対象物Ｗに対して如何なる姿勢で対向しても、当該姿勢において対象物Ｗに向けてレーザー光Ｌを照射することができると共に、対象物Ｗを撮像することができる。そのため、より確実に対象物Ｗの三次元計測を行うことができる。

ただし、投影部４１および撮像部４７の配置は、特に限定されず、第１〜第４アーム２２１〜２２４や第６アーム２２６に固定されていてもよい。また、投影部４１および撮像部４７は、互いに異なるアームに固定され、それぞれ振動センサー７を備えていてもよい。また、投影部４１および撮像部４７のいずれか一方は、ベース２１、床、天井、壁等の可動しない部位に固定されていてもよい。その場合、稼働する部位であるアームに固定されている投影部４１および撮像部４７のいずれか一方が振動センサー７を備えていてもよい。

投影部４１は、対象物Ｗに向けてレーザー光Ｌを照射することにより、対象物Ｗに対し図４に示すような所定のパターン光ＰＬを投影する機能を有する。このような投影部４１は、図２に示すように、レーザー光Ｌを出射するレーザー光源４２と、レーザー光Ｌが通過する複数のレンズを含む光学系４４と、光学系４４を通過したレーザー光Ｌを対象物Ｗに向けて走査する光走査部４５と、を有する。レーザー光源４２としては、特に限定されず、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ）、外部共振器型垂直面発光レーザー（ＶＥＣＳＥＬ）等の半導体レーザーを用いることができる。

光学系４４は、レーザー光源４２から出射されるレーザー光Ｌを対象物Ｗ付近に集光する集光レンズ４４１と、集光レンズ４４１によって集光されたレーザー光Ｌを後述する回動軸Ｊと平行な方向（図２の紙面奥行き方向）に延びるライン状とするロッドレンズ４４２と、を有する。

光走査部４５は、ロッドレンズ４４２によってライン状となったレーザー光Ｌを走査する機能を有する。これにより、レーザー光Ｌを二次元的（面状）に拡散させて照射することができる。このように、レーザー光Ｌを二次元的に拡散させることにより、レーザー光Ｌの光路が長くなる程、単位面積当たりの出力が低下する。光走査部４５としては、特に限定されず、例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）、ガルバノミラー、ポリゴンミラー等を用いることができる。

本実施形態の光走査部４５は、ＭＥＭＳで構成されている。図３に示すように、光走査部４５は、可動部４５１と、可動部４５１を支持する支持部４５２と、可動部４５１と支持部４５２とを接続し、可動部４５１を支持部４５２に対して回動軸Ｊまわりに回動可能とする梁部４５３と、可動部４５１の表面（図３の紙面手前側の面）に配置され、レーザー光Ｌを反射するミラー４５４と、可動部４５１の裏面（図３の紙面奥側の面）に設けられた永久磁石４５５と、永久磁石４５５と対向配置されたコイル４５６と、を有する。

このような光走査部４５は、回動軸Ｊがライン状のレーザー光Ｌの延在方向とほぼ一致するように配置されている。そして、コイル４５６に駆動信号が印加されると、可動部４５１が回動軸Ｊまわりに所定の周期で正・逆交互に回動し、これにより、ライン状のレーザー光Ｌが面状に走査される。

以上、投影部４１について説明したが、その構成としては、対象物Ｗに所定のパターン光ＰＬを投影することができれば、特に限定されない。例えば、本実施形態では、光学系４４によってレーザー光Ｌをライン状に拡散しているが、これに限定されず、例えば、ＭＥＭＳやガルバノミラーを用いてライン状に拡散させてもよい。つまり、２つの光走査部４５を用いてレーザー光Ｌを二次元走査してもよい。また、例えば、２軸自由度を有するジンバル型のＭＥＭＳを用いてレーザー光Ｌを二次元走査してもよい。

撮像部４７は、少なくとも１つの対象物Ｗにパターン光ＰＬが投影されている状態を撮像する。すなわち、撮像部４７は、パターン光ＰＬを含む少なくとも１つの対象物Ｗを撮像する。図２に示すように、撮像部４７は、例えば、ＣＭＯＳイメージセンサー、ＣＣＤイメージセンサー等の撮像素子４７２と集光レンズ４７３とを備えたカメラ４７１で構成されている。カメラ４７１は、計測部４９に接続され、画像データを計測部４９に送信する。

図２に示すように、制御部４８は、振動センサー７から三次元計測装置４の振動に関する振動情報を受け付ける振動情報受付部４８１と、振動情報受付部４８１が受け付けた振動情報に基づいて投影部４１および撮像部４７の駆動を制御する駆動制御部４８２と、を有している。制御部４８は、例えば、コンピューターから構成され、情報を処理するプロセッサー（ＣＰＵ）と、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有する。メモリーにはプロセッサーにより実行可能な各種プログラムが記憶されており、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行することができる。

ここで、前述したように、振動センサー７は、投影部４１および撮像部４７と同じ第５アーム２２５に設置されており、特に、本実施形態では、三次元計測装置４に内蔵されている。そのため、振動センサー７によって、投影部４１および撮像部４７の振動をより精度よく検出することができる。ただし、振動センサー７は、投影部４１および撮像部４７の少なくとも一方の振動を検出することができればよく、振動情報受付部４８１も投影部４１および撮像部４７の少なくとも一方の振動に関する振動情報を受け付けることができればよい。また、投影部４１と撮像部４７とが別の場所にあり、両者に作用する振動が異なる場合、両者にそれぞれ独立した振動センサー７を設け、両振動センサー７からの振動が大きい方を振動情報として用いることもできる。なお、振動情報としては、振動Ｑの大きさ、すなわち振幅のピーク値（極大値）、振幅の絶対値を時間平均した値、等が挙げられるが、これに限定されない。

駆動制御部４８２は、コイル４５６に駆動信号を印加することにより、光走査部４５の駆動を制御すると共に、レーザー光源４２に駆動信号を印加することにより、レーザー光源４２の駆動を制御する。駆動制御部４８２は、可動部４５１の回動と同期させてレーザー光源４２からレーザー光Ｌを出射し、例えば、図４に示すような、輝度値の明暗で表現した縞模様の繰返し周期（周期ｆ）を有するパターン光ＰＬを対象物Ｗ上に投影する。ただし、パターン光ＰＬとしては、後述するような位相シフト法に用いることができるものであれば、特に限定されない。また、駆動制御部４８２は、カメラ４７１の駆動を制御し、所定のタイミングで対象物Ｗを含む領域を撮像する。

次に、駆動制御部４８２による投影部４１および撮像部４７の駆動制御、具体的には駆動制御部４８２が実行する位相シフト法について詳細に説明する。駆動制御部４８２は、図５に示すように、投影部４１を用いて対象物Ｗに第１周期ｆ１をもつ第１パターン光ＰＬ１を投影し、第１パターン光ＰＬ１が投影された対象物Ｗを含む領域をカメラ４７１で撮像する第１撮像ステップＳ１と、投影部４１を用いて対象物Ｗに第１周期ｆ１よりも短い第２周期ｆ２をもつ第２パターン光ＰＬ２を投影し、第２パターン光ＰＬ２が投影された対象物Ｗを含む領域をカメラ４７１で撮像する第２撮像ステップＳ２と、投影部４１を用いて対象物Ｗに第２周期ｆ２よりも短い第３周期ｆ３をもつ第３パターン光ＰＬ３を投影し、第３パターン光ＰＬ３が投影された対象物Ｗを含む領域をカメラ４７１で撮像する第３撮像ステップＳ３と、投影部４１を用いて対象物Ｗに第３周期ｆ３よりも短い第４周期ｆ４をもつ第４パターン光ＰＬ４を投影し、第４パターン光ＰＬ４が投影された対象物Ｗを含む領域をカメラ４７１で撮像する第４撮像ステップＳ４と、を有している。なお、図４に示すように、パターン光ＰＬの周期ｆとは、縞模様の繰返し周期（波長）を意味する。

つまり、駆動制御部４８２は、位相シフト法の中でも、異なる周期ｆを有する複数のパターン光ＰＬを用いる「複数周期位相シフト法」を用いて対象物Ｗの三次元計測を行う。ここで、位相シフト法においては、パターン光ＰＬの周期ｆが長い程、計測レンジが拡大するが、深度分解能が低下し、パターン光ＰＬの周期ｆが短い程、計測レンジが縮小するが、深度分解能が向上する。そこで、上述のような複数周期位相シフト法を用いることにより、広い計測レンジと高い深度分解能との両立を図ることができる。なお、複数周期位相シフト法としては、特に限定されず、例えば、複数周期で周期毎に複数回計測する手法であってもよいし、複数周期で周期毎に異なった回数計測する手法であってもよい。

ただし、駆動制御部４８２は、少なくとも、第１撮像ステップＳ１と第２撮像ステップＳ２とを実行すればよく、例えば、第３、第４撮像ステップＳ３、Ｓ４を省略してもよいし、さらに、第５撮像ステップ、第６撮像ステップまたはそれ以上のステップを有していてもよい。ステップを増やすほど、計測レンジの拡大と深度分解能の向上とを図ることができるが、撮影回数が増す分、撮像画像（画像データ）を取得するのに要する時間が増えて、ロボット２の稼働効率が低下する。そのため、三次元計測の精度および計測レンジとロボット２の稼働効率との兼ね合いからステップの数を適宜設定すればよい。

また、駆動制御部４８２は、第１撮像ステップＳ１において、対象物Ｗに第１パターン光ＰＬ１をπ／２ずつ位相をずらして４回投影し、その都度、第１パターン光ＰＬ１が投影された対象物Ｗを含む領域をカメラ４７１で撮像する。同様に、駆動制御部４８２は、第２撮像ステップＳ２において、対象物Ｗに第２パターン光ＰＬ２をπ／２ずつ位相をずらして４回投影し、その都度、第２パターン光ＰＬ２が投影された対象物Ｗを含む領域をカメラ４７１で撮像する。同様に、駆動制御部４８２は、第３撮像ステップＳ３において、対象物Ｗに第３パターン光ＰＬ３をπ／２ずつ位相をずらして４回投影し、その都度、第３パターン光ＰＬ３が投影された対象物Ｗを含む領域をカメラ４７１で撮像する。同様に、駆動制御部４８２は、第４撮像ステップＳ４において、対象物Ｗに第４パターン光ＰＬ４をπ／２ずつ位相をずらして４回投影し、その都度、第４パターン光ＰＬ４が投影された対象物Ｗを含む領域をカメラ４７１で撮像する。

ただし、第１撮像ステップＳ１において、位相をずらした第１パターン光ＰＬ１を投影する回数は、特に限定されず、撮影結果から位相を計算できる回数であればよい。この回数を増やす程、より精度よく位相を計算することができるが、カメラ４７１による撮像回数が増す分、撮像画像（画像データ）を取得するのに要する時間が増えて、ロボット２の稼働効率が低下する。そのため、三次元計測の精度とロボット２の稼働効率との兼ね合いから第１パターン光ＰＬ１の投影回数を適宜設定すればよい。第２撮像ステップＳ２、第３撮像ステップＳ３および第４撮像ステップＳ４についても同様である。なお、パターン光ＰＬの投影回数は、第１〜第４撮像ステップＳ１〜Ｓ４で互いに同じであってもよいし、少なくとも１つのステップで他のステップと異なっていてもよい。

以上、駆動制御部４８２が行う位相シフト法について説明した。次に、上述した第１〜第４撮像ステップＳ１〜Ｓ４の実行タイミングについて詳細に説明する。図６に、第５アーム２２５が対象物Ｗの三次元計測を行うための姿勢まで移動した後、第５アーム２２５（投影部４１および撮像部４７）に残留する振動Ｑが減衰していく様子と、第１〜第４撮像ステップＳ１〜Ｓ４の開始タイミングと、を示したグラフを図示している。

同図に示すように、駆動制御部４８２は、振動情報受付部４８１が振動センサー７から受け付ける振動情報すなわち振動Ｑの大きさ（振幅のピーク値）が第１閾値Ｌ１以下となったら第１撮像ステップＳ１を開始し、振動情報受付部４８１が振動センサー７から受け付ける振動Ｑの大きさが第１閾値Ｌ１より小さい第２閾値Ｌ２以下となったら第２撮像ステップＳ２を開始し、振動情報受付部４８１が振動センサー７から受け付ける振動Ｑの大きさが第２閾値Ｌ２より小さい第３閾値Ｌ３以下となったら第３撮像ステップＳ３を開始し、振動情報受付部４８１が振動センサー７から受け付ける振動Ｑの大きさが第３閾値Ｌ３より小さい第４閾値Ｌ４以下となったら第４撮像ステップＳ４を開始する。

ここで、パターン光ＰＬの周期ｆが長い程、振動Ｑの影響を受け難くなる。そこで、上述したように、振動Ｑが比較的大きいときに、最も周期ｆの長い第１パターン光ＰＬ１を用いた第１撮像ステップＳ１を開始し、そこから振動Ｑが減衰するにつれて、第１パターン光ＰＬ１よりも周期ｆが短い第２パターン光ＰＬ２を用いた第２撮像ステップＳ２、第２パターン光ＰＬ２よりも周期ｆが短い第３パターン光ＰＬ３を用いた第３撮像ステップＳ３、第３パターン光ＰＬ３よりも周期ｆが短い第４パターン光ＰＬ４を用いた第４撮像ステップＳ４と、周期ｆを経時的に短くしていくことにより、振動Ｑの影響を抑えつつ各第１〜第４撮像ステップＳ１〜Ｓ４を行うことができる。そのため、振動Ｑの大きさに関わらず、対象物Ｗの三次元計測を精度よく行うことができる。また、このような方法によれば、振動Ｑが比較的大きく残留しているときから三次元計測を開始することができるため、ロボットアーム２２が対象物Ｗの三次元計測を行うための姿勢となってから対象物Ｗの三次元計測が完了するまでの時間を短くすることができる。そのため、ロボット２の稼働効率が向上する。

なお、第１閾値Ｌ１、第２閾値Ｌ２、第３閾値Ｌ３および第４閾値Ｌ４としては、それぞれ、特に限定されず、例えば、用いるパターン光ＰＬの周期ｆや撮像部４７と光走査部４５との距離によって、適宜設定することができる。また、前述した「振動Ｑが第１閾値Ｌ１以下となったら第１撮像ステップＳ１を開始する」とは、振動Ｑの大きさ（ピーク値）が第１閾値Ｌ１以下となったら、第１パターン光ＰＬ１が投影された対象物Ｗを含む領域のカメラ４７１での撮像を開始することを意味する。振動Ｑの影響を大きく受けるのは、カメラ４７１の撮像時であるため、少なくとも当該撮像時に振動Ｑの大きさ（ピーク値）が第１閾値Ｌ１以下であれば、上述した効果を発揮することができる。つまり、第１パターン光ＰＬ１の投影開始タイミングについては、特に限定されず、例えば、振動Ｑの大きさが第１閾値Ｌ１より大きいときから投影を開始してもよいし、第１閾値Ｌ１以下となってから投影を開始してもよい。ただし、前者の方が、三次元計測にかかる時間を短くすることができる点で好ましい。前述した「振動Ｑが第２閾値Ｌ２以下となったら第２撮像ステップＳ２を開始する」、「振動Ｑが第３閾値Ｌ３以下となったら第３撮像ステップＳ３を開始する」および「振動Ｑが第４閾値Ｌ４以下となったら第４撮像ステップＳ４を開始する」についても同様である。

また、撮像にかかる時間、振動Ｑの減衰速度等によっては、第１撮像ステップＳ１が完了するまでに振動Ｑの大きさ（ピーク値）が第２閾値Ｌ２以下となる場合がある。つまり、第１撮像ステップＳ１が完了しない間に第２撮像ステップＳ２を開始してもよいタイミングを迎える場合がある。このような場合は、第１撮像ステップＳ１が完了した後に、第２撮像ステップＳ２を開始すればよい。第３、第４撮像ステップＳ３、Ｓ４についても同様である。

計測部４９は、位相シフト法を用い、第１〜第４撮像ステップＳ１〜Ｓ４において撮像部４７が取得した複数の撮像画像（画像データ）に基づいて、対象物Ｗの三次元計測を行う。具体的には、対象物Ｗの姿勢、位置（空間座標）等を含む三次元情報を算出する。そして、計測部４９は、算出した対象物Ｗの三次元情報をホストコンピューター６に送信する。

−ホストコンピューター−
ホストコンピューター６は、計測部４９が算出した対象物Ｗの三次元情報からロボット２の位置指令を生成し、生成した位置指令をロボット制御装置５に送信する。ロボット制御装置５は、ホストコンピューター６から受信した位置指令に基づいて第１〜第６駆動装置２５１〜２５６をそれぞれ独立して駆動し、第１〜第６アーム２２１〜２２６を指示された位置に移動させる。なお、本実施形態では、ホストコンピューター６と計測部４９とが別体となっているが、これに限定されず、ホストコンピューター６に計測部４９としての機能が搭載されていてもよい。

以上、ロボットシステム１について説明した。このようなロボットシステム１に含まれる三次元計測装置４は、レーザー光Ｌを用いて対象物Ｗの三次元計測を行う装置であって、前述したように、対象物Ｗを含む領域にレーザー光Ｌによるパターン光ＰＬを投影する投影部４１と、対象物Ｗを含む領域の撮像画像を撮像する撮像部４７と、投影部４１または撮像部４７（本実施形態では両方）の振動に関する振動情報（振動Ｑの大きさ）を受け付ける振動情報受付部４８１と、撮像部４７が取得した撮像画像に基づいて対象物Ｗの三次元形状を計測する計測部４９と、を備えている。そして、このような三次元計測装置４は、振動情報受付部４８１が受け付ける振動情報が第１閾値Ｌ１以下となったら、第１周期ｆ１をもつ第１パターン光ＰＬ１が投影された対象物Ｗを含む領域を撮像部４７によって撮像し、振動情報受付部４８１が受け付ける振動情報が第１閾値Ｌ１より小さい第２閾値Ｌ２以下となったら、第１周期ｆ１より短い第２周期ｆ２をもつ第２パターン光ＰＬ２が投影された対象物Ｗを含む領域を撮像部４７によって撮像するように構成されている。このような構成によれば、前述したように、振動Ｑの影響を抑えることができるため、対象物Ｗの三次元計測を精度よく行うことができる。また、振動Ｑが比較的大きく残留しているときから三次元計測を開始することができるため、ロボットアーム２２が対象物Ｗの三次元計測を行うための姿勢となってから対象物Ｗの三次元計測が完了するまでの時間を短くすることができる。そのため、ロボット２の稼働効率が向上する。

また、前述したように、三次元計測装置４には、振動センサー７が内蔵されている。つまり、三次元計測装置４は、投影部４１または撮像部４７の振動に関する振動情報を取得する振動センサー７を有している。これにより、投影部４１または撮像部４７の振動情報を精度よく取得することができる。そのため、上述した対象物Ｗの三次元計測をより精度よく行うことができる。

また、前述したように、ロボット２は、ロボットアーム２２に設置され、対象物Ｗを含む領域にレーザー光Ｌによるパターン光ＰＬを投影する投影部４１と、ロボットアーム２２に設置され、パターン光ＰＬが投影された対象物Ｗを含む領域の撮像画像を撮像する撮像部４７と、投影部４１または撮像部４７（本実施形態では両方）の振動に関する振動情報を受け付ける振動情報受付部４８１と、撮像画像に基づいて対象物Ｗの三次元形状を計測する計測部４９と、を備えている。そして、振動情報受付部４８１が受け付ける振動情報が第１閾値Ｌ１以下となったら、第１周期ｆ１をもつ第１パターン光ＰＬ１が投影された対象物Ｗを含む領域を撮像部４７によって撮像し、振動情報受付部４８１が受け付ける振動情報が第１閾値Ｌ１より小さい第２閾値Ｌ２以下となったら、第１周期ｆ１より短い第２周期ｆ２をもつ第２パターン光ＰＬ２が投影された対象物Ｗを含む領域を撮像部４７によって撮像するように構成されている。このような構成によれば、前述したように、振動Ｑの影響を抑えることができるため、対象物Ｗの三次元計測を精度よく行うことができる。また、振動Ｑが比較的大きく残留しているときから三次元計測を開始することができるため、ロボットアーム２２が対象物Ｗの三次元計測を行うための姿勢となってから対象物Ｗの三次元計測が完了するまでの時間を短くすることができる。

また、前述したように、ロボットシステム１は、ロボットアーム２２を備えるロボット２と、レーザー光Ｌを用いて対象物Ｗの三次元計測を行う三次元計測装置４と、三次元計測装置４による計測結果に基づいてロボット２の動作を制御するロボット制御装置５と、を備えている。そして、三次元計測装置４は、対象物Ｗを含む領域にレーザー光Ｌによるパターン光ＰＬを投影する投影部４１と、パターン光ＰＬが投影された対象物Ｗを含む領域の撮像画像を撮像する撮像部４７と、投影部４１または撮像部４７の振動に関する振動情報を受け付ける振動情報受付部４８１と、撮像画像に基づいて対象物Ｗの三次元形状を計測する計測部４９と、を備えている。そして、振動情報受付部４８１が受け付ける振動情報が第１閾値Ｌ１以下となったら、第１周期ｆ１をもつ第１パターン光ＰＬ１が投影された対象物Ｗを含む領域を撮像部４７によって撮像し、振動情報受付部４８１が受け付ける振動情報が第１閾値Ｌ１より小さい第２閾値Ｌ２以下となったら、第１周期ｆ１より短い第２周期ｆ２をもつ第２パターン光ＰＬ２が投影された対象物Ｗを含む領域を撮像部４７によって撮像するように構成されている。このような構成によれば、前述したように、振動Ｑの影響を抑えることができるため、対象物Ｗの三次元計測を精度よく行うことができる。また、振動Ｑが比較的大きく残留しているときから三次元計測を開始することができるため、ロボットアーム２２が対象物Ｗの三次元計測を行うための姿勢となってから対象物Ｗの三次元計測が完了するまでの時間を短くすることができる。

また、三次元計測装置４は、レーザー光Ｌを用いて対象物Ｗの三次元計測を行う装置であって、前述したように、プロセッサーを含む駆動制御部４８２と、対象物Ｗを含む領域にレーザー光Ｌによるパターン光ＰＬを投影する投影部４１と、パターン光ＰＬが投影された対象物Ｗを含む領域の撮像画像を撮像する撮像部４７と、投影部４１または撮像部４７の振動に関する振動情報を受け付ける振動情報受付部４８１と、撮像画像に基づいて対象物Ｗの三次元形状を計測する計測部４９と、を備えている。そして、駆動制御部４８２は、振動情報受付部４８１が受け付ける振動情報が第１閾値Ｌ１以下となったら、第１周期ｆ１をもつ第１パターン光ＰＬ１が投影された対象物Ｗを含む領域を撮像部４７によって撮像し、振動情報受付部４８１が受け付ける振動情報が第１閾値Ｌ１より小さい第２閾値Ｌ２以下となったら、第１周期ｆ１より短い第２周期ｆ２をもつ第２パターン光ＰＬ２が投影された対象物Ｗを含む領域を撮像部４７によって撮像するように構成されている。このような構成によれば、前述したように、振動Ｑの影響を抑えることができるため、対象物Ｗの三次元計測を精度よく行うことができる。また、振動Ｑが比較的大きく残留しているときから三次元計測を開始することができるため、ロボットアーム２２が対象物Ｗの三次元計測を行うための姿勢となってから対象物Ｗの三次元計測が完了するまでの時間を短くすることができる。

＜第２実施形態＞
図７は、本発明の第２実施形態に係るロボットシステムが有する三次元計測装置の全体構成を示す図である。

以下の説明では、第２実施形態のロボットシステム１について前述した実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。第２実施形態のロボットシステム１は、対象物Ｗの三次元計測を行う際の制御部４８の制御方法が異なること以外は、前述した第１実施形態のロボットシステム１とほぼ同様である。なお、図７では、前述した実施形態と同様の構成には同一符号を付してある。

図７に示すように、制御部４８は、フラッシュメモリ等の記憶部４８９を有している。そして、記憶部４８９には、図６に示すような、振動Ｑの大きさ（ピーク値）が第１閾値Ｌ１となる第１時刻Ｔ１と、振動Ｑの大きさが第２閾値Ｌ２となる第２時刻Ｔ２と、振動Ｑの大きさが第３閾値Ｌ３となる第３時刻Ｔ３と、振動Ｑの大きさが第４閾値Ｌ４となる第４時刻Ｔ４と、が記憶されている。ここで、第１時刻Ｔ１とは、例えば、ロボットアーム２２が対象物Ｗの三次元計測を行うための姿勢となった時刻から振動Ｑの大きさが第１閾値Ｌ１となるまでの時間とも言うことができる。なお、前記では、ロボットアーム２２が対象物Ｗの三次元計測を行うための姿勢となった時刻を基準としているが、基準とする時刻は、特に限定されない。このことは、第２〜第４時刻Ｔ２〜Ｔ４についても同様である。

このような構成では、駆動制御部４８２は、第１時刻Ｔ１以降に第１撮像ステップＳ１を行い、第２時刻Ｔ２以降に第２撮像ステップＳ２を行い、第３時刻Ｔ３以降に第３撮像ステップＳ３を行い、第４時刻Ｔ４以降に第４撮像ステップＳ４を行う。このように、記憶部４８９に、予め第１〜第４時刻Ｔ１〜Ｔ４を記憶し、記憶した第１〜第４時刻Ｔ１〜Ｔ４に基づいて第１〜第４撮像ステップＳ１〜Ｓ４を行うことにより、駆動制御部４８２における制御がより簡単なものとなる。

ここで、第１〜第４時刻Ｔ１〜Ｔ４は、教示の際に記憶されている。つまり、ロボット２に自動動作の際の作業内容と同じ動きをさせ、この際に振動情報受付部４８１が受け付けた振動Ｑの大きさから第１〜第４時刻Ｔ１〜Ｔ４を求め、このようにして求めた第１〜第４時刻Ｔ１〜Ｔ４が記憶部４８９に記憶されている。これにより、より正確な第１〜第４時刻Ｔ１〜Ｔ４が記憶されるため、対象物Ｗの三次元計測をより精度よく行うことができると共に、三次元計測にかかる時間を短くすることができる。

なお、駆動制御部４８２は、例えば、ロボット２のｎ回目（ただし、ｎは自然数）の作業時には、前述した第１実施形態と同様に振動Ｑの大きさと第１〜第４閾値Ｌ１〜Ｌ４との関係に基づいて第１〜第４撮像ステップＳ１〜Ｓ４を順に行い、これと同時に、当該ｎ回目の作業時での第１〜第４時刻Ｔ１〜Ｔ４を記憶部４８９に記憶する。そして、駆動制御部４８２は、ｎ＋１回目の作業時には、直前のｎ回目の作業で求めた第１〜第４時刻Ｔ１〜Ｔ４に基づいて第１〜第４撮像ステップＳ１〜Ｓ４を順に行ってもよい。このような構成によれば、予め第１〜第４時刻Ｔ１〜Ｔ４を教示する必要がなくなる。また、直前の作業で第１〜第４時刻Ｔ１〜Ｔ４を求めるため、第１〜第４時刻Ｔ１〜Ｔ４がより正確なものとなる。

なお、ｎ回目の作業で求めた第１〜第４時刻Ｔ１〜Ｔ４は、ｎ＋１回目の作業だけに限られず、ｎ＋１回目以降の作業であればどの回の作業に用いてもよい。具体的には、例えば、ｎ回目の作業で求めた第１〜第４時刻Ｔ１〜Ｔ４をｎ＋１回目の作業だけに用い、ｎ＋１回目の作業で求めた第１〜第４時刻Ｔ１〜Ｔ４をｎ＋２回目の作業だけに用いるというように、１回の作業ごとに第１〜第４時刻Ｔ１〜Ｔ４を更新してもよい。また、例えば、ｎ回目の作業で求めた第１〜第４時刻Ｔ１〜Ｔ４をｎ＋１回目〜ｎ＋１０回目の作業まで用い、ｎ＋１０回目の作業で求めた第１〜第４時刻Ｔ１〜Ｔ４をｎ＋１１回目〜ｎ＋２０回目の作業まで用いるというように、ある回の作業で求めた第１〜第４時刻Ｔ１〜Ｔ４をその後の複数回の作業に用いてもよい。

また、例えば、シミュレーション等によって第１〜第４時刻Ｔ１〜Ｔ４を求め、求めた第１〜第４時刻Ｔ１〜Ｔ４を記憶部４８９に記憶してもよい。この場合は、振動センサー７や振動情報受付部４８１が不要となり、ロボットシステム１の構成の簡略化を図ることができる。

以上のように、本実施形態の三次元計測装置４は、振動情報（振動Ｑの大きさ）が第１閾値Ｌ１となる第１時刻Ｔ１と、第１時刻Ｔ１の後に振動情報が第２閾値Ｌ２となる第２時刻Ｔ２と、を記憶する記憶部４８９を備えている。そして、駆動制御部４８２は、第１時刻Ｔ１以降に、第１周期ｆ１をもつ第１パターン光ＰＬ１が投影された対象物Ｗを含む領域を撮像部４７によって撮像し、第２時刻Ｔ２以降に、第１周期ｆ１より短い第２周期ｆ２をもつ第２パターン光ＰＬ２が投影された対象物Ｗを含む領域を撮像部４７によって撮像する。このような構成によれば、駆動制御部４８２における制御がより簡単なものとなる。

また、前述したように、第１時刻Ｔ１および第２時刻Ｔ２は、教示の際に記憶されている。これにより、より正確な第１〜第４時刻Ｔ１〜Ｔ４が記憶されるため、対象物Ｗの三次元計測をより精度よく行うことができると共に、三次元計測にかかる時間を短くすることができる。

＜第３実施形態＞
図８は、振動の大きさと第１〜第４撮像ステップの開始タイミングとの関係を示すグラフである。図９は、本発明の第３実施形態における第１〜第４撮像ステップの開始タイミングを示すグラフである。図１０は、振動の大きさと第１〜第４撮像ステップの開始タイミングとの関係を示すグラフである。

以下の説明では、第３実施形態のロボットシステム１について前述した実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。第３実施形態のロボットシステム１は、対象物Ｗの三次元計測を行う際の制御部４８の制御方法が異なること以外は、前述した第２実施形態のロボットシステム１とほぼ同様である。なお、図８ないし図１０では、それぞれ、前述した実施形態と同様の構成には同一符号を付してある。

例えば、図８に示すように、第１時刻Ｔ１と同時に第１撮像ステップＳ１を開始し、第２撮像ステップＳ２を開始することのできる第２時刻Ｔ２よりも前に、第１撮像ステップＳ１が完了する第１完了時刻Ｔ１０が位置することが考えられる。なお、第１完了時刻Ｔ１０とは、具体的には、撮像部４７による第１パターン光ＰＬ１が投影された対象物Ｗを含む領域の撮像が終了した時刻すなわち本実施形態では４回目の撮像が終了した時刻を言う。

このような場合、第２撮像ステップＳ２をスムーズに開始できるように、第１完了時刻Ｔ１０から第２時刻Ｔ２までの間、投影部４１の各構成要素、特に、光走査部４５を駆動させ続ける必要があり、無駄な電力を消費してしまう。反対に、第１完了時刻Ｔ１０から第２時刻Ｔ２までの間、光走査部４５の駆動を停止すると、光走査部４５の再駆動の際、可動部４５１の振幅が安定するまで待機する必要が生じ、第２撮像ステップＳ２をスムーズに開始することができなくなるおそれがある。このように、第２時刻Ｔ２よりも前に第１完了時刻Ｔ１０が位置すると、何らかの問題が生じるおそれがある。

そこで、本実施形態では、駆動制御部４８２は、第１完了時刻Ｔ１０と第２時刻Ｔ２との時間差を時間ΔＴ１として記憶部４８９に記憶し、図９に示すように、第１時刻Ｔ１から時間ΔＴ１が経過した後に第１撮像ステップＳ１を行う。これにより、第１撮像ステップＳ１と第２撮像ステップＳ２とを時間的な間隔を実質的に空けずに、連続して行うことができる。そのため、上述したような問題を解消することができる。また、第１撮像ステップＳ１を開始する時刻が第１時刻Ｔ１から時間ΔＴ１だけ遅くなるため、その分、振動Ｑの減衰が進み、第１撮像ステップＳ１が振動Ｑの影響をより受け難くなる。なお、時間ΔＴ１は、教示やシミュレーション等によって予め記憶部４８９に記憶させておいてもよいし、ロボット２のｎ回目の作業で求めた時間ΔＴ１を記憶し、それをｎ＋１回目以降の作業で用いるようにしてもよい。

なお、図１０に示すように、さらに、第３撮像ステップＳ３を開始することのできる第３時刻Ｔ３よりも前に第２撮像ステップＳ２が完了する第２完了時刻Ｔ２０が位置し、第４撮像ステップＳ４を開始することのできる第４時刻Ｔ４よりも前に第３撮像ステップＳ３が完了する第３完了時刻Ｔ３０が位置している場合には、駆動制御部４８２は、第２完了時刻Ｔ２０と第３時刻Ｔ３との時間差を時間ΔＴ２として記憶部４８９に記憶すると共に、第３完了時刻Ｔ３０と第４時刻Ｔ４との時間差を時間ΔＴ３として記憶部４８９に記憶し、第１時刻Ｔ１から時間ΔＴ１、ΔＴ２、ΔＴ３を足した時間が経過した後に第１撮像ステップＳ１を行う。これにより、第１〜第４撮像ステップＳ１〜Ｓ４を時間的な間隔を実質的に空けずに、連続して行うことができる。

以上のように、本実施形態の三次元計測装置４では、記憶部４８９は、第１周期ｆ１をもつ第１パターン光ＰＬ１が投影された対象物Ｗを含む領域の撮像部４７による撮像が終了したとき（第１完了時刻Ｔ１０）から第２時刻Ｔ２までの時間を時間ΔＴ１として記憶し、駆動制御部４８２は、第１周期ｆ１をもつ第１パターン光ＰＬ１が投影された対象物Ｗを含む領域を撮像部４７によって撮像する時刻すなわち第１撮像ステップＳ１も開始時刻を第１時刻Ｔ１から時間ΔＴ１分遅らせる。これにより、第１撮像ステップＳ１と第２撮像ステップＳ２とを時間的な間隔を実質的に空けずに、連続して行うことができる。そのため、省電力駆動を行うことができると共に、第２撮像ステップＳ２をスムーズに開始することができる。また、第１撮像ステップＳ１を開始する時刻が第１時刻Ｔ１から時間ΔＴ１だけ遅くなるため、その分、振動Ｑの減衰が進み、第１撮像ステップＳ１が振動Ｑの影響をより受け難くなる。

＜第４実施形態＞
図１１および図１２は、それぞれ、本発明の第４実施形態での位相シフト法を用いた三次元計測の手順を示すフローチャートである。

以下の説明では、第４実施形態のロボットシステム１について前述した実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。第４実施形態のロボットシステム１は、対象物Ｗの三次元計測を行う際にＨＤＲ（High Dynamic Range）撮影を行うこと以外は、前述した第１実施形態のロボットシステム１とほぼ同様である。なお、図１１および図１２では、それぞれ、前述した実施形態と同様の構成には同一符号を付してある。

本実施形態のロボットシステム１では、対象物Ｗの三次元計測を行う際にＨＤＲ合成技術を用いる。ＨＤＲ合成とは、対象物Ｗを含む領域を撮像部４７で露出を変えつつ複数回撮像し、それら撮像画像を合成することにより、「白飛び」および「黒つぶれ」の少ない幅広いダイナミックレンジを持つ画像を生成する技術である。このようなＨＤＲ合成技術を用いることにより、より鮮明な画像を得ることができ、その分、精度よく、対象物Ｗの三次元計測を行うことができる。

前述した実施形態と同様に、駆動制御部４８２は、第１撮像ステップＳ１において、対象物Ｗに第１パターン光ＰＬ１をπ／２ずつ位相をずらして４回投影し、その都度、第１パターン光ＰＬ１が投影された対象物Ｗを含む領域をカメラ４７１で撮像する。すなわち、図１１に示すように、第１撮像ステップＳ１は、第１位相α１を有する第１位相パターン光ＰＬ１１が投影された対象物Ｗを含む領域をカメラ４７１で撮像する第１位相撮像ステップＳ１１と、第１位相α１からπ／２ずれた第２位相α２を有する第２位相パターン光ＰＬ１２が投影された対象物Ｗを含む領域をカメラ４７１で撮像する第２位相撮像ステップＳ１２と、第２位相α２からπ／２ずれた第３位相α３を有する第３位相パターン光ＰＬ１３が投影された対象物Ｗを含む領域をカメラ４７１で撮像する第３位相撮像ステップＳ１３と、第３位相α３からπ／２ずれた第４位相α４を有する第４位相パターン光ＰＬ１４が投影された対象物Ｗを含む領域をカメラ４７１で撮像する第４位相撮像ステップＳ１４と、を有している。

さらに、本実施形態では、ＨＤＲ合成を行うために、上記の第１〜第４位相撮像ステップＳ１１〜Ｓ１４をカメラ４７１の露出を変えつつ４回繰り返す。なお、露出は、露光時間（シャッタースピード）、絞り等によって変化させることができるが、本実施形態では、絞りを一定とし露光時間によって変化させている。絞りが変化すると被写界深度が変化し、ピンボケ等の発生により均質な画像データを取得できなくなる可能性があるためである。

具体的に説明すると、図１２に示すように、駆動制御部４８２は、カメラ４７１の露光時間を第１露光時間ｒ１として、第１〜第４位相撮像ステップＳ１１〜Ｓ１４を順に行う第１露光ステップＸＳ１と、カメラ４７１の露光時間を第１露光時間ｒ１よりも長い第２露光時間ｒ２として、第１〜第４位相撮像ステップＳ１１〜Ｓ１４を順に行う第２露光ステップＸＳ２と、カメラ４７１の露光時間を第２露光時間ｒ２よりも長い第３露光時間ｒ３として、第１〜第４位相撮像ステップＳ１１〜Ｓ１４を順に行う第３露光ステップＸＳ３と、カメラ４７１の露光時間を第３露光時間ｒ３よりも長い第４露光時間ｒ４として、第１〜第４位相撮像ステップＳ１１〜Ｓ１４を順に行う第４露光ステップＸＳ４と、を有している。

ここで、カメラ４７１の露光時間が短い程すなわちシャッタースピードが速い程、振動Ｑの影響を受け難くなる。そこで、上述したように、振動Ｑが最も大きいときに、最も短い第１露光時間ｒ１で撮像する第１露光ステップＸＳ１を行い、そこから振動Ｑが減衰するに連れて、第１露光時間ｒ１よりも長い第２露光時間ｒ２を用いた第２露光ステップＸＳ２、第２露光時間ｒ２よりも長い第３露光時間ｒ３を用いた第３露光ステップＸＳ３、第３露光時間ｒ３よりも長い第４露光時間ｒ４を用いた第４露光ステップＸＳ４と、露光時間を経時的に長くしていくことにより、振動Ｑの影響を抑えつつ各第１〜第４露光ステップＸＳ１〜ＸＳ４を行うことができる。そのため、対象物Ｗの三次元計測を精度よく行うことができる。また、このような方法によれば、振動Ｑが大きく残留しているときから第１撮像ステップＳ１を開始することができるため、ロボットアーム２２が対象物Ｗの三次元計測を行うための姿勢となってから対象物Ｗの三次元計測が完了するまでの時間を短くすることができる。そのため、ロボット２の稼働効率が向上する。

ただし、駆動制御部４８２は、少なくとも、第１露光ステップＸＳ１と第２露光ステップＸＳ２とを実行すればよく、例えば、第３、第４露光ステップＸＳ３、ＸＳ４を省略してもよいし、さらに、露光時間ｒを長くした第５露光ステップ、第６露光ステップ…を有していてもよい。ステップを増やすほど、より鮮明な画像が得られるが、撮影回数が増す分、撮像画像（画像データ）を取得するのに要する時間が増えて、ロボット２の稼働効率が低下する。そのため、三次元計測の精度および撮像エリアと対象物Ｗの輝度レンジ、ロボット２の稼働効率との兼ね合いからステップの数を適宜設定すればよい。

以上、第１撮像ステップＳ１について説明したが、第２撮像ステップＳ２、第３撮像ステップＳ３および第４撮像ステップＳ４についても同様である。そのため、第２〜第４撮像ステップＳ２〜Ｓ４については、その詳細な説明を省略する。

このように、本実施形態の三次元計測装置４では、投影部４１により形成される第１パターン光ＰＬ１は、第１位相パターン光ＰＬ１１と、第１位相パターン光ＰＬ１１から位相がずれた第２位相パターン光ＰＬ１２と、を含む。そして、撮像部４７は、第１露光時間ｒ１で、第１位相パターン光ＰＬ１１が投影された対象物Ｗを含む領域および第２位相パターン光ＰＬ１２が投影された対象物Ｗを含む領域を撮像した後、第１露光時間ｒ１よりも長い第２露光時間ｒ２で、第１位相パターン光ＰＬ１１が投影された対象物Ｗを含む領域および第２位相パターン光ＰＬ１２が投影された対象物Ｗを含む領域を撮像する。このような構成によれば、振動Ｑの影響を十分に抑えることができ、対象物Ｗの三次元計測を精度よく行うことができる。また、振動Ｑが大きく残留しているときから対象物Ｗの三次元計測を開始することができ、ロボット２の稼働効率が向上する。

以上、本発明の三次元計測装置、制御装置およびロボットシステムを図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物が付加されていてもよい。

例えば、ロボット２として２つのロボットアーム２２を有する双腕ロボットを用いた場合、一方のロボットアーム２２の第５アーム２２５に投影部４１を設置し、他方のロボットアーム２２の第５アーム２２５に撮像部４７を設置してもよい。この場合、各ロボットアーム２２の動きによって投影部４１と撮像部４７との相対的位置関係が変化するが、この相対的位置関係をロボットアーム２２の姿勢から算出することにより、位相シフト法による対象物Ｗの三次元計測が可能となる。また、この場合、一方のロボットアーム２２に振動センサー７を設置し、振動センサー７によって投影部４１および撮像部４７の一方の振動を検出し、それを振動情報受付部４８１が受け付けるようになっていてもよいし、各ロボットアーム２２に振動センサー７を設置し、２つの振動センサー７によって投影部４１および撮像部４７の両方の振動を検出し、それらを振動情報受付部４８１が受け付けるようになっていてもよい。後者の場合には、駆動制御部４８２は、例えば、大きい方の振動Ｑに基づいて前述した制御を行うことができる。また、両者の平均値に基づいて前述した制御を行ってもよい。

１…ロボットシステム、２…ロボット、２１…ベース、２２…ロボットアーム、２２１…第１アーム、２２２…第２アーム、２２３…第３アーム、２２４…第４アーム、２２５…第５アーム、２２６…第６アーム、２４…エンドエフェクター、２５１…第１駆動装置、２５２…第２駆動装置、２５３…第３駆動装置、２５４…第４駆動装置、２５５…第５駆動装置、２５６…第６駆動装置、４…三次元計測装置、４１…投影部、４２…レーザー光源、４４…光学系、４４１…集光レンズ、４４２…ロッドレンズ、４５…光走査部、４５１…可動部、４５２…支持部、４５３…梁部、４５４…ミラー、４５５…永久磁石、４５６…コイル、４７…撮像部、４７１…カメラ、４７２…撮像素子、４７３…集光レンズ、４８…制御部、４８１…振動情報受付部、４８２…駆動制御部、４８９…記憶部、４９…計測部、５…ロボット制御装置、６…ホストコンピューター、７…振動センサー、Ｊ…回動軸、Ｌ…レーザー光、Ｌ１…第１閾値、Ｌ２…第２閾値、Ｌ３…第３閾値、Ｌ４…第４閾値、Ｏ１…第１軸、Ｏ２…第２軸、Ｏ３…第３軸、Ｏ４…第４軸、Ｏ５…第５軸、Ｏ６…第６軸、ＰＬ…パターン光、ＰＬ１…第１パターン光、ＰＬ１１…第１位相パターン光、ＰＬ１２…第２位相パターン光、ＰＬ１３…第３位相パターン光、ＰＬ１４…第４位相パターン光、ＰＬ２…第２パターン光、ＰＬ３…第３パターン光、ＰＬ４…第４パターン光、Ｑ…振動、Ｓ１…第１撮像ステップ、Ｓ１１…第１位相撮像ステップ、Ｓ１２…第２位相撮像ステップ、Ｓ１３…第３位相撮像ステップ、Ｓ１４…第４位相撮像ステップ、Ｓ２…第２撮像ステップ、Ｓ３…第３撮像ステップ、Ｓ４…第４撮像ステップ、Ｔ１…第１時刻、Ｔ１０…第１完了時刻、Ｔ２…第２時刻、Ｔ２０…第２完了時刻、Ｔ３…第３時刻、Ｔ３０…第３完了時刻、Ｔ４…第４時刻、Ｗ…対象物、ＸＳ１…第１露光ステップ、ＸＳ２…第２露光ステップ、ＸＳ３…第３露光ステップ、ＸＳ４…第４露光ステップ、ｆ…周期、ｆ１…第１周期、ｆ２…第２周期、ｆ３…第３周期、ｆ４…第４周期、ｒ１…第１露光時間、ｒ２…第２露光時間、ｒ３…第３露光時間、ｒ４…第４露光時間、α１…第１位相、α２…第２位相、α３…第３位相、α４…第４位相

Claims

レーザー光を用いて対象物の三次元計測を行う三次元計測装置であって、
前記対象物を含む領域に前記レーザー光による第１パターン光および第２パターン光を投影する投影部と、
前記領域の撮像画像を撮像する撮像部と、
前記投影部または前記撮像部の振動に関する振動情報を受け付ける振動情報受付部と、
前記撮像画像に基づいて前記対象物の三次元形状を計測する計測部と、
を備え、
前記振動情報が第１閾値以下となったら、前記撮像部によって第１周期をもつ前記第１パターン光が投影された前記領域を撮像し、
前記振動情報が前記第１閾値より小さい第２閾値以下となったら、前記撮像部によって前記第１周期より短い第２周期をもつ前記第２パターン光が投影された前記領域を撮像することを特徴とする三次元計測装置。
前記振動情報が前記第１閾値となる第１時刻と、前記第１時刻の後に前記振動情報が前記第２閾値となる第２時刻と、を記憶する記憶部を備え、
前記第１時刻以降に、前記第１パターン光が投影された前記対象物を含む領域を前記撮像部によって撮像し、
前記第２時刻以降に、前記第２パターン光が投影された前記対象物を含む領域を前記撮像部によって撮像する請求項１に記載の三次元計測装置。
前記第１時刻および前記第２時刻は、教示の際に記憶される請求項２に記載の三次元計測装置。
前記記憶部は、前記第１パターン光が投影された前記対象物を含む領域の前記撮像部による撮像が終了したときから前記第２時刻までの時間を記憶し、
前記第１パターン光が投影された前記領域を前記撮像部によって撮像する時刻を前記第１時刻から前記時間分遅らせる請求項２または３に記載の三次元計測装置。
前記振動情報を取得する振動センサーを有する請求項１ないし４のいずれか１項に記載の三次元計測装置。
前記第１パターン光は、第１位相パターン光と、前記第１位相パターン光から位相がずれた第２位相パターン光と、を含み、
前記撮像部は、
第１露光時間で、前記第１位相パターン光が投影された前記領域および前記第２位相パターン光が投影された前記領域を撮像した後、
前記第１露光時間よりも長い第２露光時間で、前記第１位相パターン光が投影された前記領域および前記第２位相パターン光が投影された前記領域を撮像する請求項１ないし５のいずれか１項に記載の三次元計測装置。
ロボットアームを備えるロボットであって、
前記ロボットアームに設置され、対象物を含む領域にレーザー光による第１パターン光および第２パターン光を投影する投影部と、
前記ロボットアームに設置され、前記領域の撮像画像を撮像する撮像部と、
前記投影部または前記撮像部の振動に関する振動情報を受け付ける振動情報受付部と、
前記撮像画像に基づいて前記対象物の三次元形状を計測する計測部と、
を備え、
前記振動情報が第１閾値以下となったら、前記撮像部によって第１周期をもつ前記第１パターン光が投影された前記領域を撮像し、
前記振動情報が前記第１閾値より小さい第２閾値以下となったら、前記撮像部によって前記第１周期より短い第２周期をもつ前記第２パターン光が投影された前記領域を撮像することを特徴とするロボット。
ロボットアームを備えるロボットと、
レーザー光を用いて対象物の三次元計測を行う三次元計測装置と、
前記三次元計測装置による計測結果に基づいて前記ロボットの動作を制御するロボット制御装置と、を備え、
前記三次元計測装置は、
前記対象物を含む領域にレーザー光による第１パターン光および第２パターン光を投影する投影部と、
前記領域の撮像画像を撮像する撮像部と、
前記投影部または前記撮像部の振動に関する振動情報を受け付ける振動情報受付部と、
前記撮像画像に基づいて前記対象物の三次元形状を計測する計測部と、
を備え、
前記振動情報が第１閾値以下となったら、前記撮像部によって第１周期をもつ前記第１パターン光が投影された前記領域を撮像し、
前記振動情報が前記第１閾値より小さい第２閾値以下となったら、前記撮像部によって前記第１周期より短い第２周期をもつ前記パターン光が投影された前記領域を撮像することを特徴とするロボットシステム。
レーザー光を用いて対象物の三次元計測を行う三次元計測装置であって、
プロセッサーと、
前記対象物を含む領域に前記レーザー光による第１パターン光および第２パターン光を投影する投影部と、
前記領域の撮像画像を撮像する撮像部と、
前記投影部又は前記撮像部の振動に関する振動情報を受け付ける振動情報受付部と、
前記撮像画像に基づいて前記対象物の三次元形状を計測する計測部と、
を備え、
前記プロセッサーは、
前記振動情報が第１閾値以下となったら、前記撮像部によって第１周期をもつ前記第１パターン光が投影された前記領域を撮像させ、
前記振動情報が前記第１閾値より小さい第２閾値以下となったら、前記撮像部によって前記第１周期より短い第２周期をもつ前記第２パターン光が投影された前記領域を撮像させるように構成されていることを特徴とする三次元計測装置。