JP2020159731A - 三次元計測方法、三次元計測装置およびロボットシステム - Google Patents

Abstract

【課題】精度よく対象物の三次元計測を行うことのできる三次元計測方法、三次元計測装置およびロボットシステムを提供すること。【解決手段】三次元計測方法は、光走査部で走査されたレーザー光により形成されるパターン光を対象物に投影し、パターン光が投影されている対象物を撮像部により撮像することにより、対象物の三次元計測を行う。また、ミラーの揺動軸まわりの第１回転方向への揺動を往路とし、第１回転方向とは逆方向への揺動を復路としたとき、往路のときにだけレーザー光を出射してパターン光を対象物に投影する。【選択図】図２

Description

本発明は、三次元計測方法、三次元計測装置およびロボットシステムに関するものである。

特許文献１には、レーザー光を光スキャナーによって走査することにより形成されるパターン光を対象物に投影し、パターン光が投影された対象物をカメラで撮像することにより、対象物の三次元計測を行う方法が記載されている。

特開２０１７−１２５８０１号公報

しかしながら、特許文献１の三次元計測方法では、光スキャナーによってライン状のレーザー光Ｌを往復走査するため、光スキャナーの往路で走査されたレーザー光により形成されるパターンと、復路で走査されたレーザー光により形成されるパターン光とがずれて、三次元計測の精度が低下するおそれがある。

本発明の三次元計測方法は、ライン状のレーザー光を出射する光出射部と、
１つの揺動軸まわりに揺動するミラーを備え、前記ミラーによって前記レーザー光を反射して走査する光走査部と、
前記ミラーの揺動角を検出する揺動角検出部と、
撮像部と、を備える三次元計測装置を用い、
前記光走査部で走査された前記レーザー光により形成されるパターン光を対象物に投影し、前記パターン光が投影されている前記対象物を前記撮像部により撮像することにより、前記対象物の三次元計測を行う三次元計測方法であって、
前記ミラーの前記揺動軸まわりの第１回転方向への揺動を往路とし、前記第１回転方向とは逆方向への揺動を復路としたとき、
前記往路のときにだけ前記レーザー光を出射して前記パターン光を前記対象物に投影することを特徴とする三次元計測方法。

本発明の第１実施形態に係るロボットシステムの全体構成を示す図である。 三次元計測装置の全体構成を示す図である。 図２に示す三次元計測装置が有する光走査部を示す平面図である。 投影部により投影されるパターン光の一例を示す平面図である。 位相シフト法を用いた三次元計測の手順を示すフローチャートである。 駆動制御部による制御を示すタイミングチャートである。 駆動制御部が生成するテーブルの一例を示す図である。 駆動制御部が生成するテーブルの一例を示す図である。 本発明の第２実施形態に係る三次元計測装置の構成を示す図である。 本発明の第３実施形態に係る三次元計測装置の構成を示す図である。 図１０に示す三次元計測装置の部分拡大断面図である。

以下、本発明の三次元計測方法、三次元計測装置およびロボットシステムを添付図面に示す実施形態に基づいて詳細に説明する。

＜第１実施形態＞
図１は、本発明の第１実施形態に係るロボットシステムの全体構成を示す図である。図２は、三次元計測装置の全体構成を示す図である。図３は、図２に示す三次元計測装置が有する光走査部を示す平面図である。図４は、投影部により投影されるパターン光の一例を示す平面図である。図５は、位相シフト法を用いた三次元計測の手順を示すフローチャートである。図６は、駆動制御部による制御を示すタイミングチャートである。図７および図８は、駆動制御部が生成するテーブルの一例を示す図である。

図１に示すロボットシステム１は、ロボット２と、レーザー光Ｌを用いて対象物Ｗの三次元計測を行う三次元計測装置４と、三次元計測装置４の計測結果に基づいてロボット２の駆動を制御するロボット制御装置５と、ロボット制御装置５と通信可能なホストコンピューター６と、を有する。これら各部は、有線または無線により通信可能とされ、該通信は、インターネットのようなネットワークを介してなされてもよい。

−ロボット−
ロボット２は、例えば、精密機器やこれを構成する部品の給材、除材、搬送および組立等の作業を行うロボットである。ただし、ロボット２の用途としては、特に限定されない。本実施形態のロボット２は、６軸ロボットであり、図１に示すように、床や天井に固定されるベース２１と、ベース２１に連結されたロボットアーム２２と、を有する。

ロボットアーム２２は、ベース２１に第１軸Ｏ１まわりに回動自在に連結された第１アーム２２１と、第１アーム２２１に第２軸Ｏ２まわりに回動自在に連結された第２アーム２２２と、第２アーム２２２に第３軸Ｏ３まわりに回動自在に連結された第３アーム２２３と、第３アーム２２３に第４軸Ｏ４まわりに回動自在に連結された第４アーム２２４と、第４アーム２２４に第５軸Ｏ５まわりに回動自在に連結された第５アーム２２５と、第５アーム２２５に第６軸Ｏ６まわりに回動自在に連結された第６アーム２２６と、を有する。また、第６アーム２２６には、ロボット２に実行させる作業に応じたエンドエフェクター２４が装着される。

また、ロボット２は、ベース２１に対して第１アーム２２１を回動させる第１駆動装置２５１と、第１アーム２２１に対して第２アーム２２２を回動させる第２駆動装置２５２と、第２アーム２２２に対して第３アーム２２３を回動させる第３駆動装置２５３と、第３アーム２２３に対して第４アーム２２４を回動させる第４駆動装置２５４と、第４アーム２２４に対して第５アーム２２５を回動させる第５駆動装置２５５と、第５アーム２２５に対して第６アーム２２６を回動させる第６駆動装置２５６と、を有する。第１〜第６駆動装置２５１〜２５６は、それぞれ、例えば、駆動源としてのモーターと、モーターの駆動を制御するコントローラーと、モーターの回転量を検出するエンコーダーと、を有する。そして、第１〜第６駆動装置２５１〜２５６は、それぞれ、ロボット制御装置５によって独立して制御される。

ロボット２としては、本実施形態の構成に限定されず、例えば、ロボットアーム２２が有するアームの数が１本〜５本であってもよいし、７本以上であってもよい。また、例えば、ロボット２の種類は、スカラロボットや、２つのロボットアーム２２を有する双腕ロボットであってもよい。

−ロボット制御装置−
ロボット制御装置５は、ホストコンピューター６からロボット２の位置指令を受け、各アーム２２１〜２２６が受けた位置指令に応じた位置となるように、第１〜第６駆動装置２５１〜２５６の駆動をそれぞれ独立して制御する。ロボット制御装置５は、例えば、コンピューターから構成され、情報を処理するプロセッサー（ＣＰＵ）と、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有する。メモリーにはプロセッサーにより実行可能な各種プログラムが保存され、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行することができる。

−三次元計測装置−
三次元計測装置４は、位相シフト法を用いて対象物Ｗの三次元計測を行う。図２に示すように、三次元計測装置４は、対象物Ｗを含む領域にレーザー光Ｌにより形成したパターン光ＰＬを投影する投影部４０と、パターン光ＰＬが投影された対象物Ｗを含む領域を撮像した撮像画像を取得する撮像部４７と、投影部４０および撮像部４７の駆動を制御する制御部４８と、撮像画像に基づいて対象物Ｗの三次元形状を計測する計測部４９と、を備える。

これら各構成要素のうち、少なくとも投影部４０および撮像部４７は、それぞれ、ロボット２の第５アーム２２５に固定されている。そのため、投影部４０および撮像部４７の相対的な位置関係は、固定されている。また、投影部４０は、第５アーム２２５の先端側すなわちエンドエフェクター２４側に向けてレーザー光Ｌを照射するように配置され、撮像部４７は、第５アーム２２５の先端側を向き、レーザー光Ｌの照射範囲を含む領域を撮像するように配置されている。

ここで、第５アーム２２５の先端側にエンドエフェクター２４が位置する関係は、第５アーム２２５以外のアーム２２１〜２２４、２２６がどのように動いても維持される。そのため、第５アーム２２５に投影部４０および撮像部４７を固定することにより、三次元計測装置４は、常に、エンドエフェクター２４の先端側にレーザー光Ｌを出射することができると共に、エンドエフェクター２４の先端側を撮像することができる。したがって、エンドエフェクター２４により対象物Ｗを把持しようとするときの姿勢、つまり、エンドエフェクター２４が対象物Ｗに対して如何なる姿勢で対向しても、当該姿勢において対象物Ｗに向けてレーザー光Ｌを照射することができると共に、対象物Ｗを撮像することができる。そのため、より確実に対象物Ｗの三次元計測を行うことができる。

ただし、投影部４０および撮像部４７の配置は、特に限定されず、第１〜第４アーム２２１〜２２４や第６アーム２２６に固定されていてもよい。また、投影部４０および撮像部４７のいずれか一方は、ベース２１、床、天井、壁等の可動しない部位に固定されていてもよい。

投影部４０は、レーザー光Ｌを用いて対象物Ｗに図４に示す縞状のパターン光ＰＬを投影する機能を有する。投影部４０は、図２に示すように、ライン状のレーザー光Ｌを出射する光出射部４１と、レーザー光Ｌを対象物Ｗに向けて走査する光走査部４４と、レーザー光Ｌの強度を検出する光強度検出部４５と、光走査部４４が有するミラー４４４の揺動角を検出する揺動角検出部４６と、を有する。また、光出射部４１は、レーザー光Ｌを出射するレーザー光源４２と、レーザー光源４２から出射されたレーザー光Ｌが通過する複数のレンズを含む光学系４３と、を有する。

レーザー光源４２としては、特に限定されず、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ）、外部共振器型垂直面発光レーザー（ＶＥＣＳＥＬ）等の半導体レーザーを用いることができる。光学系４３は、レーザー光源４２から出射されるレーザー光Ｌを対象物Ｗ付近に集光する集光レンズ４３１と、集光レンズ４３１によって集光されたレーザー光Ｌを後述する揺動軸Ｊと平行な方向すなわち図２の紙面奥行き方向に延びるライン状とするロッドレンズ４３２と、を有する。このように、本実施形態では、レーザー光源４２と光学系４３とでライン状のレーザー光Ｌとしているが、ライン状のレーザー光Ｌを形成することができれば、光出射部４１の構成は、特に限定されない。

光強度検出部４５としては、特に限定されず、例えば、フォトダイオードを用いることができる。また、本実施形態では、光強度検出部４５は、レーザー光源４２に内蔵されている。ただし、光強度検出部４５の構成としては、特に限定されず、例えば、光強度検出部４５をレーザー光源４２とは別体とし、さらに、レーザー光Ｌの光路の途中にハーフミラーを配置してレーザー光Ｌの一部を分岐させ、分岐させたレーザー光を光強度検出部４５であるフォトダイオードが受光するような構成であってもよい。

光走査部４４は、ライン状のレーザー光Ｌを走査する。これにより、レーザー光Ｌを二次元的すなわち面状に拡散させて照射することができる。光走査部４４としては、特に限定されず、例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）、ガルバノミラー、ポリゴンミラー等を用いることができる。

本実施形態の光走査部４４は、ＭＥＭＳで構成されている。図３に示すように、光走査部４４は、可動部４４１と、可動部４４１を支持する支持部４４２と、可動部４４１と支持部４４２とを接続し、可動部４４１を支持部４４２に対して揺動軸Ｊまわりに揺動可能とする梁部４４３と、可動部４４１の表面に配置され、レーザー光Ｌを反射するミラー４４４と、可動部４４１の裏面に設けられた永久磁石４４５と、永久磁石４４５と対向配置されたコイル４４６と、を有する。このような光走査部４４は、揺動軸Ｊがライン状のレーザー光Ｌの延在方向とほぼ一致するように配置されている。そして、コイル４４６に駆動信号が印加されると、可動部４４１が揺動軸Ｊまわりに所定の周期で正・逆交互に揺動し、これにより、ライン状のレーザー光Ｌが面状に走査される。

揺動角検出部４６は、図３に示すように、梁部４４３と支持部４４２との境界部に設けられたピエゾ抵抗部４６１を有する。ピエゾ抵抗部４６１は、可動部４４１が揺動軸Ｊまわりに揺動するのに伴って支持部４４２に発生する応力に応じて抵抗値が変化する。そのため、ピエゾ抵抗部４６１の抵抗値変化に基づいて、可動部４４１の揺動軸Ｊまわりの傾きすなわちミラー４４４の揺動角を検知することができる。ただし、揺動角検出部４６としては、ミラー４４４の揺動角を検出することができれば、特に限定されない。

撮像部４７は、少なくとも１つの対象物Ｗにパターン光ＰＬが投影されている状態を撮像する。図２に示すように、撮像部４７は、例えば、ＣＭＯＳイメージセンサー、ＣＣＤイメージセンサー等の撮像素子４７２と集光レンズ４７３とを備えたカメラ４７１で構成されている。カメラ４７１は、計測部４９に接続され、撮像した画像データを計測部４９に送信する。

図２に示すように、制御部４８は、揺動角検出部４６から出力される検出信号すなわちミラー４４４の揺動軸Ｊまわりの傾きに関する角度情報Ｉθ、および、光強度検出部４５から出力される検出信号すなわちレーザー光Ｌの強度に関する光強度情報Ｉｐを受け付ける情報受付部４８１と、情報受付部４８１が受け付けた角度情報Ｉθおよび光強度情報Ｉｐに基づいて、投影部４０および撮像部４７の駆動を制御する駆動制御部４８３と、を有する。

このような制御部４８は、例えば、コンピューターから構成され、情報を処理するプロセッサー（ＣＰＵ）と、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有する。メモリーにはプロセッサーにより実行可能な各種プログラムが記憶されており、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行することができる。

駆動制御部４８３は、ミラー４４４が所定周期かつ所定揺動角で揺動するように、コイル４４６に印加する駆動信号を制御する。また、駆動制御部４８３は、情報受付部４８１が受け付けた角度情報Ｉθに基づいて、ミラー４４４の揺動と同期させてレーザー光源４２からレーザー光Ｌを出射し、例えば、図４に示すような、輝度値の明暗で表現した縞模様の繰返し周期ｆを有するパターン光ＰＬを対象物Ｗ上に投影する。この際、駆動制御部４８３は、情報受付部４８１が受け付けた光強度情報Ｉｐをフィードバックし、レーザー光Ｌの強度が所望の強度となるように、レーザー光源４２に印加する駆動電圧の大きさを制御する。駆動制御部４８３は、さらに、カメラ４７１の駆動を制御し、パターン光ＰＬが投影されている状態の対象物Ｗを含む領域を撮像する。

次に、対象物Ｗの三次元計測に用いる位相シフト法について説明する。図５に示すように、駆動制御部４８３は、対象物Ｗに第１周期ｆ１をもつ第１パターン光ＰＬ１を投影し、第１パターン光ＰＬ１が投影された対象物Ｗを含む領域をカメラ４７１で撮像するよう各部を制御する第１撮像ステップＳ１と、対象物Ｗに第１周期ｆ１よりも短い第２周期ｆ２をもつ第２パターン光ＰＬ２を投影し、第２パターン光ＰＬ２が投影された対象物Ｗを含む領域をカメラ４７１で撮像するよう各部を制御する第２撮像ステップＳ２と、対象物Ｗに第２周期ｆ２よりも短い第３周期ｆ３をもつ第３パターン光ＰＬ３を投影し、第３パターン光ＰＬ３が投影された対象物Ｗを含む領域をカメラ４７１で撮像するよう各部を制御する第３撮像ステップＳ３と、対象物Ｗに第３周期ｆ３よりも短い第４周期ｆ４をもつ第４パターン光ＰＬ４を投影し、第４パターン光ＰＬ４が投影された対象物Ｗを含む領域をカメラ４７１で撮像するよう各部を制御する第４撮像ステップＳ４と、を有する。

このように、駆動制御部４８３は、位相シフト法の中でも異なる周期ｆを有する複数のパターン光ＰＬを用いる「複数周期位相シフト法」を用いて対象物Ｗの三次元計測を行う。位相シフト法においては、パターン光ＰＬの周期ｆが長い程、計測レンジが拡大するが、深度分解能が低下し、パターン光ＰＬの周期ｆが短い程、計測レンジが縮小するが、深度分解能が向上する。そこで、複数周期位相シフト法を用いることにより、広い計測レンジと高い深度分解能との両立を図ることができる。ただし、複数周期位相シフト法としては、特に限定されず、例えば、複数周期で周期毎に複数回計測する手法であってもよいし、複数周期で周期毎に異なった回数計測する手法であってもよい。

また、駆動制御部４８３は、第１撮像ステップＳ１において、対象物Ｗに第１パターン光ＰＬ１をπ／２ずつ位相をずらして４回投影し、その都度、第１パターン光ＰＬ１が投影された対象物Ｗを含む領域をカメラ４７１で撮像するよう各部を制御する。このことは、第２撮像ステップＳ２、第３撮像ステップＳ３および第４撮像ステップＳ４についても同様である。

計測部４９は、第１〜第４撮像ステップＳ１〜Ｓ４において撮像部４７が取得した複数の画像データに基づいて、対象物Ｗの三次元計測のための演算を行う。具体的には、計測部４９は、複数の画像データを演算し、対象物Ｗの姿勢、位置（空間座標）等を含む三次元情報を求める。そして、計測部４９は、求めた対象物Ｗの三次元情報をホストコンピューター６に送信する。

以上、位相シフト法について説明したが、これに限定されず、例えば、第２撮像ステップＳ２以降を省略してもよい。また、反対に、第５撮像ステップ、第６撮像ステップまたはそれ以上のステップを有していてもよい。ステップを増やす程、計測レンジの拡大と深度分解能の向上とを図ることができるが、撮影回数が増す分、撮像画像を取得するのに要する時間が増えて、ロボット２の稼働効率が低下する。そのため、三次元計測の精度および計測レンジとロボット２の稼働効率との兼ね合いからステップの数を適宜設定すればよい。

また、第１撮像ステップＳ１において、位相をずらした第１パターン光ＰＬ１を投影する回数は、４回に限定されず、撮影結果から位相を計算できる回数であればよい。この回数を増やす程、より精度よく位相を計算することができるが、カメラ４７１による撮像回数が増す分、撮像画像を取得するのに要する時間が増えて、ロボット２の稼働効率が低下する。そのため、三次元計測の精度とロボット２の稼働効率との兼ね合いから第１パターン光ＰＬ１の投影回数を適宜設定すればよい。第２撮像ステップＳ２、第３撮像ステップＳ３および第４撮像ステップＳ４についても同様である。

また、パターン光ＰＬとしては、位相シフト法に用いることができるものであれば、特に限定されない。

−ホストコンピューター−
ホストコンピューター６は、計測部４９が算出した対象物Ｗの三次元情報からロボット２の位置指令を生成し、生成した位置指令をロボット制御装置５に送信する。ロボット制御装置５は、ホストコンピューター６から受信した位置指令に基づいて第１〜第６駆動装置２５１〜２５６をそれぞれ独立して制御し、第１〜第６アーム２２１〜２２６を指示された位置に移動させる。なお、本実施形態では、ホストコンピューター６と計測部４９とが別体となっているが、これに限定されず、ホストコンピューター６に計測部４９としての機能が搭載されていてもよい。

以上、ロボットシステム１の全体構成について簡単に説明した。次に、三次元計測装置４による三次元測定について詳細に説明する。本実施形態のロボットシステム１では、まず、ロボットアーム２２を対象物Ｗの三次元計測を行うための姿勢とし、次に、ロボットアーム２２が前記姿勢で停止している状態において光走査部４４の駆動を開始して可動部４４１を揺動軸Ｊまわりに揺動させ、次に、レーザー光源４２からレーザー光Ｌを出射してパターン光ＰＬを対象物Ｗに投影し、次に、パターン光ＰＬが投影された対象物Ｗを含む領域をカメラ４７１で撮像することにより対象物Ｗの三次元計測を行う。

このように、ロボットアーム２２が停止してから光走査部４４の駆動を開始することにより、光走査部４４を常時駆動させておく場合と比べて、三次元計測装置４の省電力化を図ることができる。また、可動部４４１を揺動させてからレーザー光Ｌを出射することにより、レーザー光Ｌが常に走査され、同じ個所に照射され続けるのを抑制することができる。そのため、仮に、ロボット２と共存する人がいて、その人の眼にレーザー光Ｌが照射されてしまったとしても、その照射が一瞬で済むため、眼への悪影響をより確実に抑制することができる。したがって、ロボット２と共存する人にとってより安全なロボットシステム１となる。

また、ミラー４４４は、揺動軸Ｊまわりに揺動するため、図６に示すように、ミラー４４４の揺動には、揺動軸Ｊまわりの一方側に向かう往路Ａと、往路Ａとは反対側に向かう復路Ｂと、がある。そして、駆動制御部４８３は、ミラー４４４の揺動が往路Ａであるときにレーザー光源４２からレーザー光Ｌを出射し、ミラー４４４の揺動が復路Ｂであるときにはレーザー光源４２からレーザー光Ｌを出射しないよう各部を制御する。つまり、駆動制御部４８３は、往路Ａだけでレーザー光Ｌの走査を行う「片側描画」となるように各部の駆動を制御する。このように、片側描画とすることにより、従来のような往路Ａで走査したレーザー光Ｌで形成されるパターン光ＰＬと復路Ｂで走査したレーザー光Ｌで形成されるパターン光ＰＬとのずれが生じ得ず、鮮明なパターン光ＰＬを対象物Ｗに投影することができる。そのため、対象物Ｗの三次元計測をより精度よく行うことができる。なお、図６では、上から下に向かう方を往路Ａとし、下から上に向かう方を復路Ｂとしているが、これに限定されず、逆であってもよい。

また、駆動制御部４８３は、往路Ａの両端部すなわち図６中のレーザー光非出射エリアＱではレーザー光Ｌを出射しないよう各部を制御する。往路Ａの両端部では、ミラー４４４の揺動速度が著しく遅く、レーザー光Ｌの走査に向いていないため、このような箇所でレーザー光Ｌを出射しないことにより、より鮮明なパターン光ＰＬを形成することができる。ただし、これに限定されず、往路Ａの両端部においてもレーザー光Ｌを出射するよう各部を制御してもよい。

また、三次元計測装置４は、ミラー４４４の揺動角の基準となる基準角度θが設定されており、この値は、制御部４８に記憶されている。なお、基準角度θは、０°および最大揺動角±θｍ（｜θｍ｜）以外の角度であり、さらに、０°と＋θｍとの間の値として設定されている。つまり、０＜θ＜＋θｍである。これにより、後述するテーブル１００、１０１の生成精度が向上する。ただし、基準角度θとしては、これに限定されず、例えば、−θｍ＜θ＜０であってもよい。

駆動制御部４８３は、ミラー４４４が揺動開始してからｎ回目の復路Ｂ（ｎ）のときにミラー４４４の揺動角が基準角度θとなる時刻Ｔｂ０と、その次のｎ＋１回目の復路Ｂ（ｎ＋１）のときにミラー４４４の揺動角が基準角度θとなる時刻Ｔｂ１と、復路Ｂ（ｎ）と復路Ｂ（ｎ＋１）との間に揺動するｍ回目の往路Ａ（ｍ）のときにミラー４４４の揺動角が基準角度θとなる時刻Ｔａ０と、を取得する。これら時刻Ｔｂ０、Ｔｂ１、Ｔａ０の取得は、情報受付部４８１が受け付ける角度情報Ｉθと、基準時刻を生成するクロックパルスと、により取得することできる。なお、前記ｎ、ｍは、それぞれ、自然数である。

また、駆動制御部４８３は、時刻Ｔｂ０と時刻Ｔｂ１との差ΔＴ１と、時刻Ｔａ０と時刻Ｔｂ１との差ΔＴ２と、を求める。なお、差ΔＴ１は、ミラー４４４の１周期の長さに相当する。また、駆動制御部４８３は、差ΔＴ１、ΔＴ２に基づいて、時刻Ｔｂ０と時刻Ｔａ０との差ΔＴ３をさらに求める。そして、駆動制御部４８３は、求めた差ΔＴ１、ΔＴ２、ΔＴ３に基づいて、復路Ｂ（ｎ＋１）の直後にくる往路Ａすなわちｍ＋１回目の往路Ａ（ｍ＋１）におけるレーザー光Ｌの出射を制御する。

具体的には、差ΔＴ１、ΔＴ２、ΔＴ３に基づいて、往路Ａ（ｍ＋１）においてミラー４４４が各揺動角となる時刻ｔを演算により予想し、これに、各揺動角におけるレーザー光Ｌの強度を組み合わせて、図７に示すようなテーブル１００を生成する。そして、駆動制御部４８３は、往路Ａ（ｍ＋１）では、生成したテーブル１００に基づいてレーザー光Ｌの出射を制御する。このような方法によれば、実際のミラー４４４の揺動状態に基づいてレーザー光Ｌの出射タイミングおよび強度を決定することができるため、レーザー光Ｌの出射制御を精度よく行うことができる。特に、本実施形態では、直前のミラー４４４の挙動に基づいてレーザー光Ｌの出射タイミングおよび強度を決定しているため、レーザー光Ｌの出射制御をさらに精度よく行うことができる。なお、図７に示すテーブル１００では、時刻ｔの基準を、復路Ｂ（ｎ＋１）と往路Ａ（ｍ＋１）との境界、つまり、これらの間でミラー４４４が最大揺動角＋θｍとなる時刻ｔ０としている。

駆動制御部４８３は、上述の制御をミラー４４４の周期毎に繰り返す。つまり、駆動制御部４８３は、ｎ＋１回目の復路Ｂ（ｎ＋１）のときにミラー４４４の揺動角が基準角度θとなる時刻Ｔｂ１と、その次のｎ＋２回目の復路Ｂ（ｎ＋２）のときにミラー４４４の揺動角が基準角度θとなる時刻Ｔｂ２と、復路Ｂ（ｎ＋１）と復路Ｂ（ｎ＋２）との間に位置するｍ＋１回目の往路Ａ（ｍ＋１）のときにミラー４４４の揺動角が基準角度θとなる時刻Ｔａ１と、を取得する。

また、駆動制御部４８３は、時刻Ｔｂ１と時刻Ｔｂ２との差ΔＴ１’と、時刻Ｔａ１と時刻Ｔｂ２との差ΔＴ２’と、を求める。また、駆動制御部４８３は、差ΔＴ１’、ΔＴ２’に基づいて、時刻Ｔｂ１と時刻Ｔａ１との差ΔＴ３’をさらに求める。そして、駆動制御部４８３は、求めた差ΔＴ１’、ΔＴ２’、ΔＴ３’に基づいて、復路Ｂ（ｎ＋２）の直後にくる往路Ａすなわちｍ＋２回目の往路Ａ（ｍ＋２）におけるレーザー光Ｌの出射を制御する。

具体的には、差ΔＴ１’、ΔＴ２’、ΔＴ３’に基づいて、往路Ａ（ｍ＋２）においてミラー４４４が各揺動角となる時刻ｔを演算により予想し、これに、各揺動角におけるレーザー光Ｌの強度を組み合わせて、図８に示すようなテーブル１０１を生成する。テーブル１０１は、テーブル１００を更新して生成してもよいし、テーブル１００とは別に生成してもよい。そして、駆動制御部４８３は、往路Ａ（ｍ＋２）では、生成したテーブル１０１に基づいてレーザー光Ｌの出射を制御する。このような方法によれば、実際のミラー４４４の揺動状態に基づいてレーザー光Ｌの出射タイミングおよび強度を決定することができるため、レーザー光Ｌの出射制御を精度よく行うことができる。特に、本実施形態では、直前のミラー４４４の挙動に基づいてレーザー光Ｌの出射タイミングおよび強度を決定しているため、レーザー光Ｌの出射制御をさらに精度よく行うことができる。なお、図８に示すテーブル１０１では、時刻ｔの基準を、復路Ｂ（ｎ＋２）と往路Ａ（ｍ＋２）との境界、つまり、これらの間でミラー４４４が最大揺動角＋θｍとなる時刻ｔ０’としている。

また、テーブル１００、１０１が共にミラー４４４が最大揺動角＋θｍとなる時刻ｔ０、ｔ０’を基準に生成、つまり同じ基準で生成されているため、往路Ａ（ｍ＋１）で投影されるパターン光ＰＬと、往路Ａ（ｍ＋２）で投影されるパターン光ＰＬとのずれを効果的に抑制することができる。そのため、より精度のよいパターン光ＰＬを対象物Ｗに投影することができ、対象物Ｗの三次元計測を精度よく行うことができる。

なお、本明細書では、これ以上の説明を省略するが、駆動制御部４８３は、ｍ＋３回目の往路Ａ（ｍ＋３）、ｍ＋４回目の往路Ａ（ｍ＋４）またはそれ以降の往路Ａについても、上述した制御を繰り返すことにより、レーザー光Ｌの出射を制御する。これにより、上述の効果が継続的に発揮される。ここで、本実施形態では、テーブル１００を用いて、その直後である往路Ａ（ｍ＋１）でのレーザー光Ｌの出射を制御しているが、これに限定されず、ｍ＋２回目、ｍ＋３回目またはそれ以降の往路Ａでのレーザー光の出射を制御してもよい。例えば、直後の往路Ａ（ｍ＋１）にミラー４４４が到達するまでにテーブル１００が生成できない場合が考えられ、この場合には、テーブル１００が生成されて、テーブル１００に基づく制御が可能となってから最初の往路Ａにおいて、このテーブル１００に基づいてレーザー光Ｌの出射を制御してもよい。

ここで、基準角度θとしては、特に限定されないが、例えば、０．４≦θ／＋θｍ≦０．８であることが好ましく、０．４≦θ／＋θｍ≦０．７であることがより好ましく、０．４５≦θ／＋θｍ≦０．６であることがさらに好ましい。基準角度θが大きい程、ジッター（ミラー４４４の揺らぎ）の影響が小さくなるため、往路Ａ（ｍ＋１）で投影されるパターン光ＰＬと、往路Ａ（ｍ＋２）で投影されるパターン光ＰＬとのずれをより効果的に抑制することができる。ただし、反対に、ΔＴ３、ΔＴ３’が小さくなり過ぎて、テーブル１００、１０１の生成精度が低下するおそれもある。そこで、上述したような範囲とすることにより、ジッターの影響を十分に抑えつつ、テーブル１００、１０１の生成精度を高めることができる。そのため、レーザー光Ｌの出射をより精度よく制御することができる。

また、駆動制御部４８３は、ミラー４４４の揺動が復路Ｂのときに、レーザー光Ｌの出射に関する情報すなわちテーブル１００、１０１を生成するよう各部を制御する。これにより、ミラー４４４の揺動が往路Ａのときに、テーブル１００、１０１を生成するために三次元計測装置４のメモリーが使用されるのを抑制することができ、テーブル１００、１０１に基づく制御に必要なメモリーの容量を十分に確保することができる。そのため、往路Ａにおいて、テーブル１００、１０１に基づいてレーザー光Ｌの出射を精度よく制御することができる。

また、駆動制御部４８３は、ミラー４４４の揺動が復路Ｂのときに、計測部４９による演算を行うよう各部を制御する。つまり、撮像部４７により撮像された画像データの演算を行って対象物Ｗの三次元情報を得るよう各部を制御する。これにより、ミラー４４４の揺動が往路Ａのときに、計測部４９の演算のために三次元計測装置４のメモリーが使用されるのを抑制することができ、テーブル１００、１０１に基づく制御に必要なメモリーの容量を十分に確保することができる。そのため、往路Ａにおいて、テーブル１００、１０１に基づいてレーザー光Ｌの出射タイミングおよび強度を精度よく制御することができる。

以上、ロボットシステム１について説明した。このようなロボットシステム１は、前述したように、ロボットアーム２２を備えるロボット２と、対象物Ｗの三次元計測を行う三次元計測装置４と、三次元計測装置４による計測結果に基づいてロボット２の動作を制御するロボット制御装置５と、を備える。また、三次元計測装置４は、ライン状のレーザー光Ｌを出射する光出射部４１と、１つの揺動軸Ｊまわりに揺動するミラー４４４を備え、ミラー４４４によってレーザー光Ｌを反射して走査する光走査部４４と、ミラー４４４の揺動角を検出する揺動角検出部４６と、撮像部４７と、光出射部４１の駆動を制御する制御部４８と、を備え、光走査部４４で走査されたレーザー光Ｌにより形成されるパターン光ＰＬを対象物Ｗに投影し、パターン光ＰＬが投影されている対象物Ｗを撮像部４７により撮像することにより、対象物Ｗの三次元計測を行う。そして、ミラー４４４の揺動軸Ｊまわりの一方側（第１回転方向）への揺動を往路Ａとし、他方側（第１回転方向とは逆方向）への揺動を復路Ｂとしたとき、制御部４８は、往路Ａのときにだけレーザー光Ｌを出射して、パターン光ＰＬを対象物Ｗに投影するよう制御する。つまり、制御部４８は、往路Ａだけでレーザー光Ｌの走査を行う片側描画となるように制御する。

このような構成によれば、従来のような往路Ａで走査したレーザー光Ｌで形成されるパターン光ＰＬと復路Ｂで走査したレーザー光Ｌで形成されるパターン光ＰＬとのずれが生じ得ず、鮮明なパターン光ＰＬを対象物Ｗに投影することができる。そのため、対象物Ｗの三次元計測をより精度よく行うことができる。

また、前述したように、三次元計測装置４は、ライン状のレーザー光Ｌを出射する光出射部４１と、１つの揺動軸Ｊまわりに揺動するミラー４４４を備え、ミラー４４４によってレーザー光Ｌを反射して走査する光走査部４４と、ミラー４４４の揺動角を検出する揺動角検出部４６と、撮像部４７と、光出射部４１の駆動を制御する制御部４８と、を備え、光走査部４４で走査されたレーザー光Ｌにより形成されるパターン光ＰＬを対象物Ｗに投影し、パターン光ＰＬが投影されている対象物Ｗを撮像部４７により撮像することにより、対象物Ｗの三次元計測を行う。そして、ミラー４４４の揺動軸Ｊまわりの一方側への揺動を往路Ａとし、他方側への揺動を復路Ｂとしたとき、制御部４８は、往路Ａのときにだけレーザー光Ｌを出射して、パターン光ＰＬを対象物Ｗに投影するよう制御する。つまり、制御部４８は、往路Ａだけでレーザー光Ｌの走査を行う片側描画となるように制御する。

このような構成によれば、従来のような往路Ａで走査したレーザー光Ｌで形成されるパターン光ＰＬと復路Ｂで走査したレーザー光Ｌで形成されるパターン光ＰＬとのずれが生じ得ず、鮮明なパターン光ＰＬを対象物Ｗに投影することができる。そのため、対象物Ｗの三次元計測をより精度よく行うことができる。

また、前述したように、対象物Ｗの三次元計測方法は、ライン状のレーザー光Ｌを出射する光出射部４１と、１つの揺動軸Ｊまわりに揺動するミラー４４４を備え、ミラー４４４によってレーザー光Ｌを反射して走査する光走査部４４と、ミラー４４４の揺動角を検出する揺動角検出部４６と、撮像部４７と、を備える三次元計測装置４を用い、光走査部４４で走査されたレーザー光Ｌにより形成されるパターン光ＰＬを対象物Ｗに投影し、パターン光ＰＬが投影されている対象物Ｗを撮像部４７により撮像することにより、対象物Ｗの三次元計測を行う。そして、ミラー４４４の揺動軸Ｊまわりの一方側（第１回転方向）への揺動を往路Ａとし、他方側（第１回転方向とは逆方向）への揺動を復路Ｂとしたとき、往路Ａのときにだけレーザー光Ｌを出射してパターン光ＰＬを対象物Ｗに投影する。

このような構成によれば、従来のような往路Ａで走査したレーザー光Ｌで形成されるパターン光ＰＬと復路Ｂで走査したレーザー光Ｌで形成されるパターン光ＰＬとのずれが生じ得ず、鮮明なパターン光ＰＬを対象物Ｗに投影することができる。そのため、対象物Ｗの三次元計測をより精度よく行うことができる。

また、前述したように、対象物Ｗの三次元計測方法では、ミラー４４４が揺動開始してからｎ回目の復路Ｂ（ｎ）でミラー４４４が基準角度θとなる時刻をＴｂ０とし、ｎ＋１回目の復路Ｂ（ｎ＋１）でミラー４４４が基準角度θとなる時刻をＴｂ１とし、復路Ｂ（ｎ）と復路Ｂ（ｎ＋１）との間に揺動する、ミラー４４４が揺動開始してからｍ回目の往路Ａ（ｍ）でミラー４４４が基準角度θとなる時刻をＴａ０としたとき、時刻Ｔｂ０と時刻Ｔｂ１との差であるΔＴ１および時刻Ｔａ０と時刻Ｔｂ１との差であるΔＴ２に基づいて、復路Ｂ（ｎ＋１）以降の往路Ａにおけるレーザー光Ｌの出射を制御する。このような構成によれば、実際のミラー４４４の揺動状態に基づいてレーザー光Ｌの出射タイミングおよび強度を決定することができるため、レーザー光Ｌの出射を精度よく制御することができる。

また、前述したように、対象物Ｗの三次元計測方法では、差ΔＴ１および差ΔＴ２に基づいて、ｍ＋１回目の往路Ａ（ｍ＋１）におけるレーザー光Ｌの出射を制御する。このような構成によれば、直前のミラー４４４の挙動に基づいてレーザー光Ｌの出射タイミングおよび強度を決定することができるため、レーザー光Ｌの出射をさらに精度よく制御することができる。

また、前述したように、対象物Ｗの三次元計測方法では、復路Ｂのときに、レーザー光Ｌの出射に関する情報、本実施形態ではミラー４４４の揺動角、ミラー４４４の揺動角に対応したレーザー光Ｌの強度、およびミラー４４４の揺動角に対応した時刻ｔと、を含むテーブル１００、１０１を生成し、このテーブル１００、１０１に基づいてレーザー光Ｌの出射を制御する。これにより、ミラー４４４の揺動が往路Ａのときに、テーブル１００、１０１を生成するために三次元計測装置４のメモリーが使用されるのを抑制することができ、テーブル１００、１０１に基づく制御に必要なメモリーの容量を十分に確保することができる。そのため、往路Ａにおいて、テーブル１００、１０１に基づいてレーザー光Ｌの出射を精度よく制御することができる。

また、前述したように、対象物Ｗの三次元計測方法では、三次元計測装置４は、撮像部４７により撮像される画像を処理する計測部４９を有し、計測部４９は、復路Ｂのときに画像の処理を行う。これにより、ミラー４４４の揺動が往路Ａのときに、計測部４９による処理のために三次元計測装置４のメモリーが使用されるのを抑制することができ、テーブル１００、１０１に基づく制御に必要なメモリーの容量を十分に確保することができる。そのため、往路Ａにおいて、テーブル１００、１０１に基づいてレーザー光Ｌの出射を精度よく制御することができる。

また、前述したように、対象物Ｗの三次元計測方法では、三次元計測装置４は、レーザー光Ｌの強度を検出する光強度検出部４５を有し、光強度検出部４５の検出結果すなわち光強度情報Ｉｐに基づいてレーザー光Ｌの強度を制御する。これにより、レーザー光Ｌの強度を所望の強度とすることができ、より精度のよいパターン光ＰＬを形成することができる。

＜第２実施形態＞
図９は、本発明の第２実施形態に係る三次元計測装置の構成を示す図である。

なお、本実施形態は、揺動角検出部４６の構成が異なること以外は、前述した第１実施形態と同様である。そのため、以下の説明では、本実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図９において、前述した実施形態と同様の構成については、同一符号を付している。

本実施形態のロボットシステム１では、図９に示すように、揺動角検出部４６は、ミラー４４４に向けて光ＬＬを出射する光源４６２と、ミラー４４４で反射された光ＬＬを受光するフォトダイオード４６３と、を有する。そして、フォトダイオード４６３は、ミラー４４４の揺動角が基準角度θのときに反射された光ＬＬを受光するように配置されている。そのため、フォトダイオード４６３からの出力信号に基づいて、ミラー４４４の基準角度θを検出することができる。

このような第２実施形態によっても、前述した第１実施形態と同様の効果を発揮することができる。

＜第３実施形態＞
図１０は、本発明の第３実施形態に係る三次元計測装置の構成を示す図である。図１１は、図１０に示す三次元計測装置の部分拡大断面図である。

なお、本実施形態は、揺動角検出部４６の構成が異なること以外は、前述した第１実施形態と同様である。そのため、以下の説明では、本実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図１０において、前述した実施形態と同様の構成については、同一符号を付している。

本実施形態のロボットシステム１では、図１０に示すように、揺動角検出部４６は、フォトダイオード４６３を有し、フォトダイオード４６３は、ミラー４４４の揺動角が基準角度θのときに反射されたレーザー光Ｌを受光するように配置されている。そのため、フォトダイオード４６３からの出力信号に基づいて、ミラー４４４の基準角度θを検出することができる。このような構成によれば、前述した第２実施形態と比べて、揺動角検出部４６から光源４６２を省略することができるため、三次元計測装置４の小型化および低コスト化を図ることができる。

前述した第１実施形態で述べたように、ミラー４４４の揺動角度にはレーザー光非出射エリアＱが設定されており、レーザー光非出射エリアＱではレーザー光Ｌの出射が停止される。これに対して、本実施形態では、レーザー光非出射エリアＱ内においてもレーザー光Ｌが出射され、かつ、基準角度θがレーザー光非出射エリアＱ内に設定されている。そして、ミラー４４４がレーザー光非出射エリアＱ内にある基準角度θとなったときに反射されたレーザー光Ｌがフォトダイオード４６３に受光される。なお、図１１に示すように、レーザー光非出射エリアＱで出射されたレーザー光Ｌが三次元計測装置４の外部に出射されてパターン光ＰＬが劣化するのを抑制するために、本実施形態の三次元計測装置４には、レーザー光非出射エリアＱで出射されたレーザー光Ｌを遮蔽するシェード部４００が設けられている。シェード部４００は、例えば、三次元計測装置４の筐体の一部として構成することができる。

このような第３実施形態によっても、前述した第１実施形態と同様の効果を発揮することができる。

以上、本発明の三次元計測方法、三次元計測装置およびロボットシステムを図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物が付加されていてもよい。

１…ロボットシステム、２…ロボット、２１…ベース、２２…ロボットアーム、２２１…第１アーム、２２２…第２アーム、２２３…第３アーム、２２４…第４アーム、２２５…第５アーム、２２６…第６アーム、２４…エンドエフェクター、２５１…第１駆動装置、２５２…第２駆動装置、２５３…第３駆動装置、２５４…第４駆動装置、２５５…第５駆動装置、２５６…第６駆動装置、４…三次元計測装置、４０…投影部、４００…シェード部、４１…光出射部、４２…レーザー光源、４３…光学系、４３１…集光レンズ、４３２…ロッドレンズ、４４…光走査部、４４１…可動部、４４２…支持部、４４３…梁部、４４４…ミラー、４４５…永久磁石、４４６…コイル、４５…光強度検出部、４６…揺動角検出部、４６１…ピエゾ抵抗部、４６２…光源、４６３…フォトダイオード、４７…撮像部、４７１…カメラ、４７２…撮像素子、４７３…集光レンズ、４８…制御部、４８１…情報受付部、４８３…駆動制御部、４９…計測部、５…ロボット制御装置、６…ホストコンピューター、１００、１０１…テーブル、Ａ…往路、Ｂ…復路、Ｉｐ…光強度情報、Ｉθ…角度情報、Ｊ…揺動軸、Ｌ…レーザー光、ＬＬ…光、Ｏ１…第１軸、Ｏ２…第２軸、Ｏ３…第３軸、Ｏ４…第４軸、Ｏ５…第５軸、Ｏ６…第６軸、ＰＬ…パターン光、ＰＬ１…第１パターン光、ＰＬ２…第２パターン光、ＰＬ３…第３パターン光、ＰＬ４…第４パターン光、Ｑ…レーザー光非出射エリア、Ｓ１…第１撮像ステップ、Ｓ２…第２撮像ステップ、Ｓ３…第３撮像ステップ、Ｓ４…第４撮像ステップ、Ｗ…対象物、ｆ…周期、ｆ１…第１周期、ｆ２…第２周期、ｆ３…第３周期、ｆ４…第４周期、θ…基準角度

Claims (8)

1. ライン状のレーザー光を出射する光出射部と、
   １つの揺動軸まわりに揺動するミラーを備え、前記ミラーによって前記レーザー光を反射して走査する光走査部と、
   前記ミラーの揺動角を検出する揺動角検出部と、
   撮像部と、を備える三次元計測装置を用い、
   前記光走査部で走査された前記レーザー光により形成されるパターン光を対象物に投影し、前記パターン光が投影されている前記対象物を前記撮像部により撮像することにより、前記対象物の三次元計測を行う三次元計測方法であって、
   前記ミラーの前記揺動軸まわりの第１回転方向への揺動を往路とし、前記第１回転方向とは逆方向への揺動を復路としたとき、
   前記往路のときにだけ前記レーザー光を出射して前記パターン光を前記対象物に投影することを特徴とする三次元計測方法。
2. ｎとｍを自然数とし、
   前記ミラーが揺動開始してからｎ回目の前記復路で前記ミラーが基準角度となる時刻をＴｂ０とし、
   ｎ＋１回目の前記復路で前記ミラーが前記基準角度となる時刻をＴｂ１とし、
   前記ｎ回目の復路と前記ｎ＋１回目の復路との間に揺動し、前記ミラーが揺動開始してからｍ回目の前記往路で前記ミラーが前記基準角度となる時刻をＴａ０としたとき、
   前記時刻Ｔｂ０と前記時刻Ｔｂ１との差であるΔＴ１および前記時刻Ｔａ０と前記時刻Ｔｂ１との差であるΔＴ２に基づいて、前記ｎ＋１回目の復路以降の前記往路における前記レーザー光の出射を制御する請求項１に記載の三次元計測方法。
3. 前記差ΔＴ１および前記差ΔＴ２に基づいて、ｍ＋１回目の前記往路における前記レーザー光の出射を制御する請求項２に記載の三次元計測方法。
4. 前記復路のときに、前記ミラーの揺動角と、前記ミラーの揺動角に対応する前記レーザー光の強度と、前記ミラーの揺動角に対応する時刻と、を含む情報を生成し、
   前記情報に基づいて前記レーザー光の出射を制御する請求項２または３に記載の三次元計測方法。
5. 前記三次元計測装置は、前記撮像部により撮像される画像を処理する計測部を有し、
   前記復路のときに前記処理を行う請求項１ないし４のいずれか１項に記載の三次元計測方法。
6. 前記三次元計測装置は、前記レーザー光の強度を検出する光強度検出部を有し、
   前記光強度検出部の検出結果に基づいて前記レーザー光の強度を制御する請求項１ないし５のいずれか１項に記載の三次元計測方法。
7. ライン状のレーザー光を出射する光出射部と、
   １つの揺動軸まわりに揺動するミラーを備え、前記ミラーによって前記レーザー光を反射して走査する光走査部と、
   前記ミラーの揺動角を検出する揺動角検出部と、
   撮像部と、
   前記光出射部の駆動を制御する制御部と、を備え、
   前記光走査部で走査された前記レーザー光により形成されるパターン光を対象物に投影し、前記パターン光が投影されている前記対象物を前記撮像部により撮像することにより、前記対象物の三次元計測を行う三次元計測装置であって、
   前記ミラーの前記揺動軸まわりの第１回転方向への揺動を往路とし、前記第１回転方向とは逆方向への揺動を復路としたとき、
   前記制御部は、前記往路のときにだけ前記レーザー光を出射して前記パターン光を前記対象物に投影するよう制御することを特徴とする三次元計測装置。
8. ロボットアームを備えるロボットと、
   対象物の三次元計測を行う三次元計測装置と、
   前記三次元計測装置による計測結果に基づいて前記ロボットの動作を制御するロボット制御装置と、を備え、
   前記三次元計測装置は、
   ライン状のレーザー光を出射する光出射部と、
   １つの揺動軸まわりに揺動するミラーを備え、前記ミラーによって前記レーザー光を反射して走査する光走査部と、
   前記ミラーの揺動角を検出する揺動角検出部と、
   撮像部と、
   前記光出射部の駆動を制御する制御部と、を備え、
   前記光走査部で走査された前記レーザー光により形成されるパターン光を対象物に投影し、前記パターン光が投影されている前記対象物を前記撮像部により撮像することにより、前記対象物の三次元計測を行い、
   前記ミラーの前記揺動軸まわりの第１回転方向への揺動を往路とし、前記第１回転方向とは逆方向への揺動を復路としたとき、
   前記制御部は、前記往路のときにだけ前記レーザー光を出射して前記パターン光を前記対象物に投影するよう制御することを特徴とするロボットシステム。

Images