JP2022021367A - 撮像システム、製造システム、情報処理方法、物品の製造方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】複数のカメラの撮像タイミングのずれを正確に検出する。
【解決手段】撮像システムは、所定周期で物体を撮像可能な複数のカメラ１０１、１０２と、複数のカメラ１０１、１０２の撮像タイミングのずれ量を検出する検出処理を実行可能な処理部２００と、を備える。処理部２００は、検出処理において、カメラ１０１、１０２の各々がカメラ１０１、１０２の各々に対して相対的に移動する物体を所定周期で撮像することによって生成した撮像時刻の異なる複数の画像を含む画像群を、カメラ１０１、１０２の各々から取得し、カメラ１０１、１０２の各々から取得した画像群に基づき、カメラ１０１、１０２の各々に対する相対的な物体の移動量を求め、複数のカメラ１０１、１０２の各々に対する相対的な物体の移動量を用いて、複数のカメラ１０１、１０２の撮像タイミングのずれ量を検出する。
【選択図】図２

Description

本発明は、複数のカメラの同期に関する。

製品を生産する生産ラインにおいて、人手による作業に代わって、ロボット装置などを含む生産装置による作業が行われている。

このような生産装置において、作業に必要なワークの計測や検査を行うために、ワークを２次元計測又は３次元計測するためのカメラおよび画像処理装置が用いられることがある。例えば、対象物の計測や検査に奥行き方向の情報が必要な場合には、複数のカメラを用いて、三角測量の原理によって対象物の３次元計測を行う。この種の３次元計測では、複数のカメラで対象物を撮像することにより得られた複数の画像の各々に写り込んだ物体の位置の違い、即ち視差を計算し、この視差を奥行き量に変換することにより、対象物の３次元情報が取得される。

この種の３次元計測では、対象物を精密に計測することを要求されることがある。しかし、カメラ又は対象物が相対的に移動又は振動するような場合、複数のカメラ間で撮像タイミングがずれると、視差を正確に計算できなくなり、対象物の３次元情報を正確に計測ことが困難となる。このため、複数のカメラ間で撮像タイミングを正確に同期させることが要求される。

特許文献１には、複数のカメラ間で撮像タイミングを同期させるために、カメラが他のカメラを制御するための通信手段を備えた構成が開示されている。

特開２０１１－２３９３７９号公報

特許文献１に開示されている構成では、複数のカメラの各々にトリガ信号を送受信するための通信手段を設ける必要があり、各カメラが大型及び高価になる。具体的に説明すると、各カメラにおいて、トリガ信号を送信する送信回路、及びトリガ信号を受信する受信回路が別途必要となり、またトリガ信号の伝送路となる各カメラ間をつなぐケーブルも、別途必要となっている。そのため、このような通信手段を設けなくてもよい構成で、複数のカメラの撮像タイミングのずれを正確に検出することが求められていた。

本発明は、複数のカメラの撮像タイミングのずれを正確に検出することを目的とする。

本発明の撮像システムは、所定周期で物体を撮像可能な複数のカメラと、前記複数のカメラの撮像タイミングのずれ量を検出する検出処理を実行可能な処理部と、を備え、前記処理部は、前記検出処理において、前記複数のカメラの各々が前記複数のカメラの各々に対して相対的に移動する前記物体を前記所定周期で撮像することによって生成した撮像時刻の異なる複数の画像を含む画像群を、前記複数のカメラの各々から取得し、前記複数のカメラの各々から取得した前記画像群に基づき、前記複数のカメラの各々に対する相対的な前記物体の移動量を求め、前記複数のカメラの各々に対する相対的な前記物体の移動量を用いて、前記複数のカメラの撮像タイミングのずれ量を検出する、ことを特徴とする。

本発明の情報処理方法は、所定周期で物体を撮像可能な複数のカメラから撮像画像を取得して情報処理可能な処理部による情報処理方法であって、前記処理部が、検出処理として、前記複数のカメラの各々が前記複数のカメラの各々に対して相対的に移動する前記物体を前記所定周期で撮像することによって生成した撮像時刻の異なる複数の画像を含む画像群を、前記複数のカメラの各々から取得し、前記複数のカメラの各々から取得した前記画像群に基づき、前記複数のカメラの各々に対する相対的な前記物体の移動量を求め、前記複数のカメラの各々に対する相対的な前記物体の移動量を用いて、前記複数のカメラの撮像タイミングのずれ量を検出する、ことを特徴とする。

複数のカメラの撮像タイミングのずれを正確に検出することができる。

（ａ）は、第１実施形態に係る製造システムの一例であるロボットシステムの模式図である。（ｂ）は、第１実施形態に係るロボットハンド及び撮像装置の斜視図である。 （ａ）は、第１実施形態に係る撮像システムの説明図である。（ｂ）は、第１実施形態に係る撮像装置の正面図である。 第１実施形態に係る画像処理装置の制御系を示す説明図である。 第１実施形態に係るカメラの内部構成を示す模式図である。 第１実施形態に係るイメージセンサの状態遷移を示す模式図である。 第1実施形態に係る情報処理方法のうち検出処理の手順を示すフローチャートである。 第１実施形態に係る各カメラから出力される画像の一例を示す説明図である。 （ａ）～（ｃ）は、第１実施形態に係る検出処理を説明するための模式図である。 第1実施形態に係る情報処理方法のうち同期処理の手順を示すフローチャートである。 第２実施形態に係る情報処理方法のうち検出処理の手順を示すフローチャートである。 第２実施形態に係る検出処理を説明するための模式図である。

以下、本発明を実施するための形態を、図面を参照しながら詳細に説明する。

［第１実施形態］
図１（ａ）は、第１実施形態に係る製造システムの一例であるロボットシステム１０００の模式図である。ロボットシステム１０００は、生産ラインに配置され、ワークＷ１をワークＷ２に組み付けて物品を製造する製造システムとして用いられる。ロボットシステム１０００は、駆動装置の一例であるロボット装置１００１と、制御装置１００２と、撮像システム２０００と、を備える。撮像システム２０００は、撮像装置１と、情報処理装置の一例である画像処理装置２と、を備える。ロボット装置１００１が配置される空間を作業空間Ｒ１とする。

ロボット装置１００１は、架台Ｂ１上に載置されている。ロボット装置１００１は、ロボットアーム１０１０と、エンドエフェクタの一例であるロボットハンド１０２０と、を有する。本実施形態において、ロボットアーム１０１０は、多関節のロボットアーム、具体的には垂直多関節のロボットアームである。ロボットハンド１０２０は、ロボットアーム１０１０の所定部位、例えばロボットアーム１０１０の先端部に設けられる。ロボットアーム１０１０は、ロボットハンド１０２０を任意の位置に移動させることができる。ロボットハンド１０２０は、複数、例えば２つのフィンガ１０２１、１０２２を有し、例えばワークＷ１などの物体を把持することができる。

制御装置１００２は、ロボット装置１００１と通信可能にケーブル１２０１で接続され、ロボット装置１００１、即ちロボットアーム１０１０及びロボットハンド１０２０を制御することが可能である。

撮像装置１は、本実施形態では、ステレオカメラである。撮像装置１は、画像処理装置２とケーブル１２０２で接続されている。ケーブル１２０２は、電源線、撮像データや撮像パラメータを送受信するための通信線、通信制御などに用いられるＩＯ線を含む。通信線のインターフェースは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のような規格に基づいて構成されている。

本実施形態では、撮像装置１は、ロボット装置１００１、例えばロボットハンド１０２０に取り付けられている。これにより、撮像装置１は、ロボット装置１００１に支持されている。図１（ｂ）は、ロボットハンド１０２０及び撮像装置１の斜視図である。撮像装置１は、複数、第1実施形態では２つのカメラ１０１、１０２を有する。本実施形態では、撮像装置１を用いて計測した測定対象、例えばワークＷ２の３次元計測結果に基づき、ロボット装置１００１のロボットハンド１０２０の位置姿勢を制御することができる。なお、本実施形態では、撮像装置１は、ステレオカメラであるが、複数のカメラを有する多視点カメラであってもよい。多視点カメラでは、各カメラで被写体を撮像することで自由視点映像を生成することができる。

各カメラ１０１、１０２は、単眼カメラである。２つのカメラ１０１、１０２は、それぞれの撮像光軸が互いに所定の基線長だけ離間するよう、間隔をあけて配置されている。各カメラ１０１、１０２で撮像されることにより生成された画像データは、上記の通信インターフェースを介して画像処理装置２に伝送される。

また、画像処理装置２は、上記の通信インターフェースを介して、撮像時の設定情報である撮像パラメータを撮像装置１に設定することができる。この撮像パラメータには、露光時間、ゲイン、画像サイズなどが含まれる。

画像処理装置２は、制御装置１００２と通信可能にケーブル１２０３で接続されている。本実施形態では、撮像装置１は、ロボット装置１００１、例えばロボットハンド１０２０に取り付けられ、被写体、例えばワークＷ２を３次元計測するのに用いられる。このような構成において、画像処理装置２は、撮像装置１を用いて、例えばワークＷ２のような被写体を３次元計測する。そして、制御装置１００２は、その計測結果に基づきロボット装置１００１を制御し、ワークＷ１をワークＷ２に組み付けるなどの生産作業をロボット装置１００１に行わせることができる。

図２（ａ）は、第１実施形態に係る撮像システム２０００の説明図である。図２（ｂ）は、撮像装置１の正面図である。撮像装置１は、上述したように、それぞれの撮像光軸を所定の基線長だけ離間して配置されたカメラ１０１、１０２を備える。カメラ１０１、１０２の前面には基板１０３が配置されている。なお、基板１０３において、各カメラ１０１、１０２と対向する位置には、各カメラ１０１、１０２の視野領域を遮らないように、開口部が形成されている。基板１０３の前面には、３次元計測で用いる不図示の照明装置がもうけられていてもよい。不図示の照明装置は、例えば、パターン投光器等である。

カメラ１０１の視野領域と、カメラ１０２の視野領域とが重なる領域が、複数のカメラ１０１、１０２の共通視野領域１０８である。共通視野領域１０８に存在する被写体、例えばワークＷ２を撮像することで、撮像したワークＷ２を３次元計測することができる。

本実施形態のカメラ１０１、１０２は携帯用モジュールカメラ、ＷＥＢカメラなどの比較的小型安価なカメラである。本実施形態では、カメラ１０１、１０２は、それぞれ単体のユニットとして購入できる製品であり、これらカメラ１０１、１０２を筐体に組み込むことで、撮像装置１が構成される。カメラ１０１、１０２は、筐体によって、所定の基線長だけ離間して相互に位置決めされる。本実施形態では、カメラ１０１、１０２は、ゲンロック機能などの外部同期信号への同期機能や、撮像時刻を出力するタイムスタンプ機能を必要とせず、これらの機能を備えていない。本実施形態によれば、上記のようにして、入手が容易で比較的安価なカメラ１０１、１０２のユニットから撮像装置１を構成することができる。

図２（ａ）に示す画像処理装置２は、演算処理を行うコンピュータで構成されており、例えばＣＰＵと、ＲＯＭおよびＲＡＭを含む記憶部と、外部と通信を行うインターフェース（Ｉ／Ｆ）部などのハードウェアを有して構成することができる。画像処理装置２のＣＰＵは、プログラムを実行することにより、情報処理可能な処理部２００として機能する。処理部２００は、カメラ制御部２０１、ずれ量演算部２０３、同期制御部２０４、及び３次元計測部２０５を機能として含む。処理部２００は、画像処理機能のほか、撮像装置１を制御する機能も含んでいる。

図３は、第１実施形態に係る画像処理装置２の制御系を示す説明図である。図３を参照しながら、画像処理装置２の制御系の具体的なハードウェア構成の一例について説明する。図３に示す制御系は、プロセッサであるＣＰＵ１６０１、ＲＯＭ１６０２およびＲＡＭ１６０３を備える。また、図３に示す制御系には、記憶装置１６０６が接続されている。

図２（ａ）に示す処理部２００における各部２０１、２０３、２０４、及び２０５の機能は、図３に示すような、ＣＰＵ１６０１、ＣＰＵ１６０１の周辺のハードウェア、及びＣＰＵ１６０１により実行されるプログラム１６０９によって実現される。画像処理及び撮像制御に用いられる記憶部は、ＲＯＭ１６０２、ＲＡＭ１６０３、記憶装置１６０６により構成される。

ＲＯＭ１６０２には、プログラム１６０９や定数情報などが格納される。ＲＡＭ１６０３は、ＣＰＵ１６０１のワークエリアとして使用される。記憶装置１６０６は、ＨＤＤ又はＳＳＤなどのストレージデバイスであり、内部記憶装置であっても、ＵＳＢインターフェースなどを介して接続された外部記憶装置であっても、ネットワークにマウントされた外部記憶装置であってもよい。

本実施形態では、ＲＯＭ１６０２が、プログラム１６０９が格納された、コンピュータにより読み取り可能な非一時的な記録媒体である。プログラム１６０９は、ネットワークインターフェース１６０７を介して、ＲＯＭ１６０２に供給されるようにしてもよいし、不図示のディスクドライブ装置を経由して、ＲＯＭ１６０２に供給されるようにしてもよい。またＲＯＭ１６０２に記憶されているプログラム１６０９は、更新プログラムにより更新されるようにしてもよい。

なお、プログラム１６０９が格納される記録媒体は、ＲＯＭ１６０２に限定するものではない。プログラム１６０９が格納される記録媒体は、磁気ディスクや光ディスクなどの記録ディスクであってよいし、フラッシュメモリなどの記憶デバイスであってもよい。

ネットワークインターフェース１６０７は、例えばＩＥＥＥ ８０２．３のような有線通信、ＩＥＥＥ ８０２．１１又はＩＥＥＥ ８０２．１５のような無線通信による通信規格を用いて構成することができる。ＣＰＵ１６０１は、ネットワークインターフェース１６０７、およびネットワーク１６０８を介して、他の装置１１０４と通信することができる。

例えば撮像装置１がネットワークに接続されるものとすれば、図３に示す装置１１０４は撮像装置１に相当する。撮像装置１がネットワーク接続以外の規格によって接続される場合には、インターフェース１６０５を用いてもよい。インターフェース１６０５は、他の周辺機器と接続するために用いられるものであってもよい。

また、図３の制御系に、必要に応じてユーザインターフェース装置４００（ＵＩ装置）を設けることができる。ユーザインターフェース装置４００は、例えばＬＣＤディスプレイ、キーボード、ポインティングデバイスなどから成るＧＵＩ装置などであってもよい。ポインティングデバイスは、マウス、ジョイスティック又はジョグダイヤルなどである。

ユーザインターフェース装置４００は、撮像画像を表示したり、同期処理及び３次元計測処理のそれぞれの進行状態及び結果をユーザに通知したり、撮像パラメータや同期に関する制御定数を設定したりするために用いることができる。

なお、ＣＰＵ１６０１がプログラム１６０９を読み込んで実行することにより、処理部２００の機能を実現するものとしたが、これに限定するものではない。例えば、画像処理装置２がＦＰＧＡを含み、処理部２００の機能を、ＦＰＧＡ内のハードウェアブロックにより実現してもよい。

図４は、カメラ１０１の内部構成を示す模式図である。なお、カメラ１０２の構成もカメラ１０１の構成と同様であるため、説明を省略する。カメラ１０１は、集光部３０１、イメージセンサ３０２、センサ制御部３０３、画像フォーマット変更部３０４、及び電源制御部３０５を含む。

集光部３０１は、集光した光をイメージセンサ３０２に入射するための撮像光学系を構成するレンズを含む。

イメージセンサ３０２は、撮像デバイスである。イメージセンサ３０２は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。

以下、図２（ａ）に示す画像処理装置２の各部２０１、２０３、２０４及び２０５の動作の概要について説明する。

まず、カメラ制御部２０１の動作について説明する。なお、カメラ制御部２０１は、各カメラ１０１、１０２を個別に制御することが可能であり、各カメラ１０１、１０２とも同様の制御であるため、以下、カメラ１０１の制御について説明する。

カメラ制御部２０１は、カメラ１０１に電源供給指示を送信する。これにより、カメラ１０１のイメージセンサ３０２には、電源供給される。

次に、カメラ制御部２０１は、カメラ１０１に初期化指示を送信する。カメラ制御部２０１は、カメラ１０１のイメージセンサ３０２の初期化が完了したら、カメラ１０１に撮像パラメータを変更する撮像パラメータ変更指示を送信する。撮像パラメータには、例えば露光時間、ゲイン、画像サイズなどのパラメータが含まれる。撮像パラメータには、光学系によっては焦点距離などのパラメータが更に含まれる場合もある。

撮像パラメータの調整が完了したら、カメラ制御部２０１は、カメラ１０１に動画出力開始指示を送信し、カメラ１０１に動画を出力させる。カメラ制御部２０１は、ずれ量演算部２０３から画像取得指示を受信したら、動画データから静止画データを切り取り、静止画データを取得する。

また、カメラ制御部２０１は、カメラ１０１にイメージセンサ３０２への動画の出力を停止する動画出力停止指示を送信する。これにより、カメラ１０１は、イメージセンサ３０２への電源供給を停止することで、動画の出力を停止する。

カメラ制御部２０１は、電源供給指示、初期化指示、撮像パラメータ変更指示、及び動画出力開始指示のプロセスを再度実行することで、カメラ１０１に動画の出力を再開させることができる。このように、カメラ制御部２０１は、カメラ１０１の動画出力開始タイミングを制御可能である。

ずれ量演算部２０３は、カメラ１０１、１０２の撮像タイミングのずれ量を検出する検出処理を実行する。検出処理の詳細については後述する。同期制御部２０４は、ずれ量演算部２０３で検出されたずれ量に応じて同期処理を行う。この同期処理については後述する。

３次元計測部２０５は、カメラ１０１、１０２で被写体を撮像した画像を用いて、被写体の３次元計測を行う。具体的には、３次元計測部２０５は、ステレオマッチング処理により求まる視差量と、ステレオカメラ校正により求まる内部パラメータおよび外部パラメータとを用いて、三角測量の原理により、被写体の３次元の位置情報を算出する。

ステレオマッチング処理では、例えば、カメラ１０１の撮像画像を基準画像として、カメラ１０２の撮像画像内から対応している画素、即ち、被写体の同じ特定部位が撮像されている画素をマッチングにより求める。このステレオマッチング処理としては、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）などのブロックマッチング法が知られている。このようなステレオマッチング処理は、本実施形態でも用いることができる。

内部パラメータは、レンズの焦点距離やひずみ特性などの光学特性を意味する。外部パラメータは、ステレオカメラ内の２つのカメラの相対的な位置姿勢を意味する。内部パラメータや外部パラメータは、形状が既知の校正チャートを撮像し、最適化手法を用いて算出しておくことができる。カメラ１０１、１０２に関して事前に算出しておいた内部パラメータ、及び外部パラメータは、画像処理装置２の例えばＲＯＭ１６０２に保存しておく。

なお、本実施形態では、画像処理装置２は、撮像装置１とは別の装置としたが、これに限定するものではなく、スマートカメラのように、画像処理装置２が撮像装置１に内蔵されていてもよい。

次に、図４に示すカメラ１０１の各部３０３～３０５の概要について説明する。センサ制御部３０３、画像フォーマット変更部３０４、及び電源制御部３０５は、ＦＰＧＡと、ＲＯＭ及びＲＡＭを含むメモリ部と、外部と通信を行うインターフェース（Ｉ／Ｆ）部と、を有する電子回路で構成されている。センサ制御部３０３、画像フォーマット変更部３０４、電源制御部３０５及びイメージセンサ３０２は、相互に電気的に接続される。

センサ制御部３０３は、画像処理装置２のカメラ制御部２０１と通信し、イメージセンサ３０２の状態遷移を制御する。図５は、第１実施形態に係るイメージセンサ３０２の状態遷移を示す模式図である。

図５に示すように、イメージセンサ３０２は、電源ＯＦＦ状態４０１、初期化状態４０２、撮像パラメータ調整状態４０３、及び動画出力状態４０４の順で、これら４つの状態のいずれかの状態に遷移する。

電源ＯＦＦ状態４０１は、イメージセンサ３０２に電源が供給されていない状態である。センサ制御部３０３は、画像処理装置２のカメラ制御部２０１からの電源供給指示を受信すると、イメージセンサ３０２に電源供給する。イメージセンサ３０２は、電源供給されると、初期化状態４０２に遷移する。

初期化状態４０２は、イメージセンサ３０２において初期化を行う状態である。まず、センサ制御部３０３は、イメージセンサ３０２にクロック信号を供給する。センサ制御部３０３は、画像処理装置２のカメラ制御部２０１からの初期化開始指示を受信したら、イメージセンサ３０２に初期化信号を送信する。これにより、イメージセンサ３０２は、初期化される。イメージセンサ３０２の初期化が完了すると、センサ制御部３０３とイメージセンサ３０２との間で通信可能となり、イメージセンサ３０２は、撮像パラメータ調整状態４０３に遷移する。

撮像パラメータ調整状態４０３は、センサ制御部３０３がイメージセンサ３０２の撮像パラメータを調整可能な状態である。撮像パラメータは、例えば、露光時間、ゲイン、画像サイズ等である。この撮像パラメータ調整状態４０３において、センサ制御部３０３は、画像処理装置２のカメラ制御部２０１から撮像パラメータ変更指示を受信すると、イメージセンサ３０２に対して例えば制御コマンドを送る。これにより、イメージセンサ３０２において、撮像パラメータが格納されているレジスタ値が書き換えられる。

センサ制御部３０３は、画像処理装置２のカメラ制御部２０１から動画出力開始指示を受信すると、イメージセンサ３０２に対して動画出力開始信号を送信し、イメージセンサ３０２を動画出力状態４０４に遷移させる。

動画出力状態４０４は、イメージセンサ３０２が動画データを画像フォーマット変更部３０４に対して、出力し続けている状態である。この状態において、センサ制御部３０３は、画像処理装置２のカメラ制御部２０１から動画出力停止指示を受信すると、イメージセンサ３０２への電源供給を停止し、イメージセンサ３０２からの動画出力が停止される。これにより、イメージセンサ３０２は、電源ＯＦＦ状態４０１に遷移する。

イメージセンサ３０２が電源ＯＦＦ状態４０１に遷移した後、カメラ制御部２０１がセンサ制御部３０３に電源供給指示を再度送信することにより、カメラ１０１が再起動される。このように、カメラ制御部２０１は、センサ制御部３０３に指示を送ることにより、イメージセンサ３０２を状態４０１～４０４に循環的に遷移させることが可能である。これにより、画像処理装置２のカメラ制御部２０１は、カメラ１０１の動画出力開始タイミングを制御する、即ちカメラ１０１における撮像タイミングをリセットすることが可能である。また、カメラ１０２もカメラ１０１と同様の構成である。よって、画像処理装置２のカメラ制御部２０１は、カメラ１０２の動画出力開始タイミングを制御する、即ちカメラ１０２における撮像タイミングをリセットすることが可能である。

なお、以上の説明では、イメージセンサ３０２が動画出力状態４０４から電源ＯＦＦ状態４０１にのみ遷移する場合について説明したが、これに限定するものではない。イメージセンサ３０２が動画出力状態４０４から初期化状態４０２へ遷移する機能を有している場合には、イメージセンサ３０２を動画出力状態４０４から初期化状態４０２へ遷移させることができる。即ち、画像処理装置２のカメラ制御部２０１は、イメージセンサ３０２への電源供給を停止せずに、カメラ１０１における撮像タイミングをリセットすることができる。同様に、画像処理装置２のカメラ制御部２０１は、イメージセンサ３０２への電源供給を停止せずに、カメラ１０２における撮像タイミングをリセットすることができる。

また、イメージセンサ３０２が動画撮像モードと静止画撮像モードとを有し、これら撮像モードを切り替える機能を有している場合にも、電源供給を停止せずに、カメラ１０１又はカメラ１０２における撮像タイミングをリセットすることができる。即ち、静止画撮像モードから動画撮像モードに切り替えた場合には、イメージセンサ３０２は動画の出力開始し、動画撮像モードから静止画撮像モードに切り替えられた場合には、イメージセンサ３０２は動画出力を停止する。よって、このような構成では、動画撮像モードと静止画撮像モードとの間で撮像モードを切り替えることにより、イメージセンサ３０２への電源供給を停止しなくても、カメラ１０１又はカメラ１０２における撮像タイミングをリセットすることができる。なお、各カメラ１０１、１０２において所定周期ごとに撮像する撮像タイミングは、動画出力開始タイミングで決まる。よって、撮像タイミングをリセットすることと、動画出力開始タイミングをリセットすることとは同義である。つまり、動画出力開始タイミングをリセットすることで、撮像タイミングをリセットすることができる。

イメージセンサ３０２とセンサ制御部３０３との間の制御インターフェースは、例えばＩＯ端子とＩ２Ｃ（Ｉｎｔｅｒ－Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって構成することができる。センサ制御部３０３に送信する画像フォーマットは、ＭＩＰＩ ＣＳＩ－２（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ Ｃａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ －２）に準拠するＲＡＷ画像フォーマットである。ただし、イメージセンサ３０２の規格や出力画像フォーマットはこれらに限定されるものではなく、任意に選択することができる。

画像フォーマット変更部３０４は、イメージセンサ３０２から受信したＲＡＷ画像フォーマットを、画像処理装置２に送信するための画像フォーマットに変更する機能を有する。画像フォーマット変更部３０４がサポートする画像フォーマットは、例えばＵＶＣ（ＵＳＢ Ｖｉｄｅｏ Ｃｌａｓｓ）に準拠しているフォーマットなどである。ただし、画像フォーマット変更部３０４がＵＶＣ以外の他の画像フォーマットをサポートしていても構わない。

本実施形態では、各カメラ１０１、１０２は、画像処理装置２から電源供給されて動作するよう構成されている。電源制御部３０５は、画像処理装置２から電源供給されると、センサ制御部３０３と画像フォーマット変更部３０４に電源を供給する機能を有する。上述したように、イメージセンサ３０２への電源供給の制御は、センサ制御部３０３が行う。

カメラ１０１、１０２の各々は、所定フレームレートで動画を出力する、即ち所定周期である撮像周期で物体を撮像可能に構成されている。しかし、カメラ１０１、１０２は、互いに独立して動作する。即ち、カメラ１０１とカメラ１０２とは、トリガ信号で同期するような動作は行わない。このため、カメラ１０１、１０２間で撮像タイミングが合っているとは限らない。また、各カメラ１０１、１０２の撮像周期にも誤差が含まれることがある。カメラ１０１の撮像周期とカメラ１０２の撮像周期との間でも誤差が含まれることがある。これら誤差は、撮像おいては許容される誤差ではあるが、使用初期でカメラ１０１、１０２の撮像タイミングが合っていても、カメラ１０１、１０２の長期間の使用により、カメラ１０１、１０２の間で撮像タイミングがずれてくることがある。本実施形態では、画像処理装置２は、複数のカメラ１０１、１０２間の撮像タイミングのずれ量を検出するものである。なお、本実施形態の説明において、ずれ量を検出することと、ずれ量を算出することは、同義である。

以下、本実施形態におけるカメラ１０１、１０２間の撮像タイミングのずれ量を算出する方法、即ち画像処理装置２における情報処理方法について説明する。図６は、第1実施形態に係る情報処理方法のうち検出処理の手順を示すフローチャートである。図７は、各カメラ１０１、１０２から出力される画像の一例を示す説明図である。

図２（ａ）の処理部２００は、複数のカメラ１０１、１０２の撮像タイミングのずれ量を検出する検出処理を実行可能である。即ち、ずれ量の検出処理、つまりずれ量の算出処理は、処理部２００、具体的には、ずれ量演算部２０３が行う。また、以下の説明におけるカメラ１０１、１０２の撮像対象は、撮像画像において特徴の抽出が可能なものであれば、いかなる物体でもよく、本実施形態では、３次元計測対象の図１（ａ）に示すワークＷ２ということにする。ワークＷ２は、ずれ量の検出処理のために撮像装置１で撮像する期間中は、作業空間Ｒ１において移動しないものとする。そして、ワークＷ２に対して撮像装置１を非直線Ｃ１に沿って移動させるものとする。

本実施形態では、図１（ａ）及び図１（ｂ）に示すように、撮像装置１がロボットハンド１０２０に取り付けられている。よって、ロボットハンド１０２０を作業空間Ｒ１で移動させることにより、撮像装置１を作業空間Ｒ１においてワークＷ２に対して移動させることができる。その際、カメラ１０１、１０２の共通視野領域１０８（図２（ａ））にワークＷ２が存在するように、撮像装置１をワークＷ２に対して移動させる。そして、本実施形態では、ロボット装置１００１が撮像装置１を非直線的に移動させるものとして説明する。

ステップＳ５０において、ずれ量演算部２０３は、カメラ１０１のイメージセンサ３０２を動画出力状態４０４に遷移させる。具体的に説明すると、ずれ量演算部２０３は、カメラ制御部２０１に対してカメラ１０１に動画出力開始指示を送るように指示する。これにより、カメラ制御部２０１がカメラ１０１に動画出力開始指示を送信することで、カメラ１０１は動画出力状態４０４に遷移し、動画を出力し始める。これにより、ずれ量演算部２０３は、カメラ１０１で撮像された動画をカメラ１０１から取得することが可能となる。

ステップＳ５１において、ずれ量演算部２０３は、カメラ１０２のイメージセンサ３０２を動画出力状態４０４に遷移させる。具体的に説明すると、ずれ量演算部２０３は、カメラ制御部２０１に対してカメラ１０２に動画出力開始指示を送るように指示する。これにより、カメラ制御部２０１がカメラ１０２に動画出力開始指示を送信することで、カメラ１０２は動画出力状態４０４に遷移し、動画を出力し始める。これにより、ずれ量演算部２０３は、カメラ１０２で撮像された動画をカメラ１０２から取得することが可能となる。

ステップＳ５２において、ずれ量演算部２０３は、カメラ１０１により撮像された画像を取得する。具体的に説明すると、ずれ量演算部２０３は、カメラ制御部２０１に画像取得指示を送り、カメラ１０１から出力されてくる動画データから静止画データを切り取り、静止画データを取得する。

ステップＳ５３において、ずれ量演算部２０３は、カメラ１０２により撮像された画像を取得する。具体的に説明すると、ずれ量演算部２０３は、カメラ制御部２０１に画像取得指示を送り、カメラ１０２から出力されてくる動画データから静止画データを切り取り、静止画データを取得する。

ステップＳ５４において、ずれ量演算部２０３は、カメラ１０１、１０２の各々から所定数の画像（即ち静止画）を取得したかどうかを判断する。ずれ量演算部２０３は、画像が所定数に達していなければ（Ｓ５４：ＮＯ）、ステップＳ５２の処理に戻る。このように、ずれ量演算部２０３は、取得した画像が所定数に達するまで、ステップＳ５２及びＳ５３の処理を繰り返す。取得する画像の所定数は、少なくとも３つである。以下、取得する画像の所定数が３つとして、ステップＳ５２～Ｓ５４の処理について、図７を参照しながら説明する。

カメラ１０１から得られた画像を、取得した順に画像Ｉ１１、Ｉ１２、Ｉ１３とする。複数の画像Ｉ１１、Ｉ１２、Ｉ１３で画像群Ｉ１が構成されている。また、カメラ１０２から得られた画像を、取得した順に画像Ｉ２１、Ｉ２２、Ｉ２３とする。複数の画像Ｉ２１、Ｉ２２、Ｉ２３で画像群Ｉ２が構成されている。画像Ｉ１１、Ｉ１２、Ｉ１３は、カメラ１０１から出力された動画データから時系列順に撮像周期Δｔ［ｍｓ］で連続的に取得した画像である。画像Ｉ２１、Ｉ２２、Ｉ２３は、カメラ１０２から出力された動画データから時系列順に撮像周期Δｔ［ｍｓ］で連続的に取得した画像である。

画像Ｉ１１、Ｉ１２、Ｉ１３はそれぞれ互いに異なる撮像時刻ｔ_１、ｔ_２、ｔ_３に撮像される。カメラ１０１における撮像周期Δｔ［ｍｓ］は、一定、又は誤差を含む略一定とする。この誤差は、基準周期に対して±１０％以内であるのが好ましい。基準周期には、例えばカメラ１０１における一連の撮像周期の中でサンプリングした１つの撮像周期を用いてもよいし、サンプリングした複数、例えば１０の撮像周期の平均値、中央値、最大値若しくは最小値を用いてもよいし、設計値などを用いてもよい。また、この誤差は、基準周期に対して±２％以内であるのがより好ましく、±１％以内であるのが更に好ましい。

同様に、画像Ｉ２１、Ｉ２２、Ｉ２３はそれぞれ互いに異なる撮像時刻ｔ_１＋δ、ｔ_２＋δ、ｔ_３＋δに撮像される。カメラ１０２における撮像周期Δｔ［ｍｓ］は、一定、又は誤差を含む略一定とする。この誤差は、基準周期に対して±１０％以内であるのが好ましい。基準周期には、例えばカメラ１０２における一連の撮像周期の中でサンプリングした１つの撮像周期を用いてもよいし、サンプリングした複数、例えば１０の撮像周期の平均値、中央値、最大値若しくは最小値を用いてもよいし、設計値などを用いてもよい。また、この誤差は、基準周期に対して±２％以内であるのがより好ましく、±１％以内であるのが更に好ましい。δ［ｍｓ］は、後のステップで算出しようとするカメラ１０１、１０２間の撮像タイミングのずれ量である。

また、カメラ１０１の撮像周期Δｔとカメラ１０２の撮像周期Δｔとが、一致、又は誤差を含んで略一致するものとする。この誤差は、基準周期に対して±１０％以内であるのが好ましい。基準周期には、例えばカメラ１０１又は１０２における一連の撮像周期の中でサンプリングした１つの撮像周期を用いてもよい。また、基準周期には、例えばカメラ１０１又は１０２における一連の撮像周期の中でサンプリングした複数、例えば１０の撮像周期の平均値、中央値、最大値若しくは最小値を用いてもよい。また、基準周期には、例えば設計値などを用いてもよい。また、この誤差は、基準周期に対して±２％以内であるのがより好ましく、±１％以内であるのが更に好ましい。

以上、ステップＳ５０～Ｓ５４により、ずれ量演算部２０３は、カメラ１０１がカメラ１０１に対して相対的に移動するワークＷ２を撮像周期Δｔで撮像することによって生成した画像群Ｉ１をカメラ１０１から取得する。同様に、以上のステップＳ５０～Ｓ５４により、ずれ量演算部２０３は、カメラ１０２がカメラ１０２に対して相対的に移動するワークＷ２を撮像周期Δｔで撮像することによって生成した画像群Ｉ２をカメラ１０２から取得する。

次に、ステップＳ５５において、ずれ量演算部２０３は、画像Ｉ１１～Ｉ１３から、カメラ１０１の運動を算出する。ここで、カメラ１０１から見れば、カメラ１０１に対してワークＷ２が相対的に移動することになるため、画像Ｉ１１～Ｉ１３間で、ワークＷ２に相当する画素Ｗ２Ｉが移動することになる。よって、このステップＳ５５において、ずれ量演算部２０３は、カメラ１０１の運動として、画像Ｉ１１～Ｉ１３間の画素Ｗ２Ｉの動きから、カメラ１０１に対するワークＷ２の相対的な移動量を算出する。

ステップＳ５５におけるカメラ１０１に対するワークＷ２の相対的な移動量の算出処理について具体的に説明する。ずれ量演算部２０３は、画像Ｉ１１と画像Ｉ１２とを用いて、時刻ｔ_１から時刻ｔ_２までのカメラ１０１に対するワークＷ２の相対的な移動量Ｖ_１１を算出する。ずれ量演算部２０３は、画像Ｉ１２と画像Ｉ１３とを用いて、時刻ｔ_２から時刻ｔ_３までのカメラ１０１に対するワークＷ２の相対的な移動量Ｖ_１２を算出する。これら移動量Ｖ_１１、Ｖ_１２は、ベクトル又は行列であり、例えば６次元のベクトルである。この６次元のベクトルには、３次元の並進移動と、３次元の回転移動が含まれる。

ステップＳ５６において、ずれ量演算部２０３は、画像Ｉ２１～Ｉ２３から、カメラ１０２の運動を算出する。ここで、カメラ１０２から見れば、カメラ１０２に対してワークＷ２が相対的に移動することになるため、画像Ｉ２１～Ｉ２３間で、ワークＷ２に相当する画素Ｗ２Ｉが移動することになる。よって、このステップＳ５６において、ずれ量演算部２０３は、カメラ１０２の運動として、画像Ｉ２１～Ｉ２３の画素Ｗ２Ｉの動きから、カメラ１０２に対するワークＷ２の相対的な移動量を算出する。

ステップＳ５６におけるカメラ１０２に対するワークＷ２の相対的な移動量の算出処理について具体的に説明する。ずれ量演算部２０３は、画像Ｉ２１と画像Ｉ２２とを用いて、時刻ｔ_１＋δから時刻ｔ_２＋δまでのカメラ１０２に対するワークＷ２の相対的な移動量Ｖ_２１を算出する。ずれ量演算部２０３は、画像Ｉ２２と画像Ｉ２３とを用いて、時刻ｔ_２＋δから時刻ｔ_３＋δまでのカメラ１０２に対するワークＷ２の相対的な移動量Ｖ_２２を算出する。これら移動量Ｖ_２１、Ｖ_２２は、ベクトル又は行列であり、例えば６次元のベクトルである。この６次元のベクトルには、３次元の並進移動と、３次元の回転移動が含まれる。

以上のステップＳ５５、Ｓ５６において、ずれ量演算部２０３は、カメラ１０１、１０２の各々から取得した画像群Ｉ１、Ｉ２に基づき、カメラ１０１、１０２の各々に対する相対的なワークＷ２の移動量Ｖ_１１、Ｖ_１２、Ｖ_２１、Ｖ_２２を求める。

以上説明した各カメラ１０１、１０２の運動の算出には、例えばオプティカルフローを用いることができる。オプティカルフローとは、連続撮像された画像間での物体の各部の動きをベクトルで表現したもので、その計算方法としてはＬｕｃａｓ－Ｋａｎａｄｅ法などがある。画像全体または一部のオプティカルフローを用いることで、各カメラ１０１、１０２の運動を算出することができる。

ここで、算出された移動量Ｖ_２１、Ｖ_２２は、カメラ１０２の運動であるため、カメラ１０１の運動と比較するため、同一座標系の表現に変換する必要がある。例えば、ステレオカメラ校正によって、カメラ１０２の座標系からカメラ１０１の座標系へ変換する変換行列を求めておき、この変換行列を予めＲＯＭ１６０２に記憶させておく。ずれ量演算部２０３は、この変換行列に基づいて、カメラ１０２に対する相対的なワークＷ２の移動量Ｖ_２１、Ｖ_２２を、カメラ１０１に対する相対的なワークＷ２の移動量Ｖ′_１１、Ｖ′_１２へ変換する。なお、小型の平行ステレオカメラのように、カメラ１０１とカメラ１０２の姿勢が同じで、位置もほぼ同じ場合、この変換処理は省略可能である。

ステップＳ５７において、ずれ量演算部２０３は、移動量Ｖ_１１、Ｖ_１２、Ｖ′_１１、Ｖ′_１２を用いて、カメラ１０１、１０２間の撮像タイミングのずれ量δを算出する。以下、ずれ量δを算出する計算方法の一例について説明する。

図８（ａ）～図８（ｃ）は、第１実施形態に係る検出処理を説明するための模式図である。図８（ａ）は、ずれ量δが０≦δ＜Δｔを満たす場合の移動量Ｖ_１１、Ｖ_１２と移動量Ｖ′_１１との関係を示す模式図である。図８（ｂ）は、ずれ量δが－Δｔ＜δ≦０を満たす場合の移動量Ｖ_１１、Ｖ_１２と移動量Ｖ′_１２との関係を示す模式図である。

いずれの関係が成立するかは、下記の計算によって判断することができる。以下、－Δｔ＜δ＜Δｔの場合について説明する。

時刻ｔ_１～ｔ_３にかけてカメラ１０１が運動する際、ｔ_２－ｔ_１、ｔ_３－ｔ_２が十分に小さい場合には、その間のカメラ１０１の運動、即ちカメラ１０１に対する相対的なワークＷ２の移動量は、直線で近似することができる。

よって、０≦δ＜Δｔが成り立つ場合、移動量Ｖ′_１１は、移動量Ｖ_１１、移動量Ｖ_１２、ずれ量δ、撮像周期Δｔを用いて、次の式（１）が成り立つ。

また、－Δｔ＜δ≦０が成り立つ場合、移動量Ｖ′_１２について、次の式（２）が成り立つ。

よって、ずれ量演算部２０３は、式（１）及び式（２）のうち一方の式を、δについて解くことで、解が得られれば、そのδの値を出力し、解が得られなければ、式（１）及び式（２）のうち他方の式を、δについて解くことで、δを算出する。ここで、式（１）及び式（２）に用いるΔｔは、予め記憶部、例えばＲＯＭ１６０２に記憶させておいた定数である。式（１）及び式（２）に用いるΔｔは、上述した基準周期に相当する。例えばΔｔは、３［ｍｓ］等の定数に設定される。

以上、－Δｔ＜δ＜Δｔの関係を満たしていれば、上記の式（１）又は式（２）をδについて解くことで、δを算出することができる。この際、カメラ１０１の運動を直線近似したことによる近似誤差が発生するが、算出したずれ量δに基づいて同期を行い、ずれ量δが小さくなるほど近似誤差は小さくなる。

なお、δ＝０であれば、いずれの式（１）、（２）も成り立つ。即ちδ＝０であれば、移動量Ｖ_１１と移動量Ｖ′_１１は等しく、移動量Ｖ_１２と移動量Ｖ′_１２は等しい。

ずれ量δの絶対値がΔｔを超えるような場合は、ステップＳ５４で、所定数として４つ以上の画像を取得しておけばよい。なお、画像を取得する段階で、ずれ量δの絶対値がΔｔを超えるか否かはわからないため、所定数は、予測で設定しておくことになる。適切なタイミングの運動を選択することで、図８（ａ）または図８（ｂ）と同様の関係を得られる。図８（ｃ）は、ずれ量δがΔｔ≦δ＜２Δｔを満たす場合の例を示す模式図である。この場合、ステップＳ５４では、ずれ量演算部２０３は、カメラ１０１から、４つの画像を取得する。そして、ずれ量演算部２０３は、時刻ｔ_３から時刻ｔ_３＋Δｔまでのカメラ１０１の移動量Ｖ_１３を求める。図８（ａ）に示すδを、図８（ｃ）に示すδ－Δｔと置くことで、カメラ１０１に対する相対的なワークＷ２の移動量Ｖ_１２、Ｖ_１３と移動量Ｖ′_１１との間に、図８（ａ）と同様の関係が成立する。よって、ずれ量演算部２０３は、式（１）において、δをδ－Δｔ、Ｖ_１１をＶ_１２、Ｖ_１２をＶ_１３と置くことで、δについて解くことができる。このように、想定されるずれ量δの範囲に応じて、ステップＳ５４で用いる所定数の数字を予め設定しておくことで、図８（ａ）～図８（ｃ）のいずれかと同様の関係が得られる。

以上、ずれ量演算部２０３が各カメラ１０１、１０２から３つの画像を取得する場合と、４つの画像を取得する場合について説明したが、これに限定するものではなく、５つ以上の画像を取得するようにしてもよい。そして、ずれ量演算部２０３は、これら画像から得られる複数の運動の関係式からずれ量δを算出してもよい。

また、作業空間Ｒ１において撮像装置１が運動する場合について説明したが、これに限定するものではない。作業空間Ｒ１において撮像対象であるワークＷ２が運動する場合であっても、作業空間Ｒ１において撮像装置１及びワークＷ２の両方が運動する場合であってもよい。例えば、撮像装置１が作業空間Ｒ１において移動しないように不図示のフレームなどに固定されていてもよい。この場合は、撮像対象であるワークＷ２が作業空間Ｒ１を移動することになる。例えばロボット装置１００１などの駆動装置がワークＷ２を支持して、ワークＷ２を撮像装置１に対して移動させてもよい。この場合も、駆動装置は、ワークＷ２を撮像装置１に対して非直線的に移動させればよい。

また、撮像対象は、ワークＷ２に限定するものではなく、画像から移動量を求めることができれば、いかなる物体であってもよい。いずれの場合であっても、複数のカメラ１０１、１０２に対して相対的に物体が移動すればよい。

以上、ステップＳ５７において、カメラ１０１、１０２の各々に対する相対的なワークＷ２の移動量を用いて、カメラ１０１、１０２の撮像タイミングのずれ量δを検出する。このように、カメラ１０１、１０２の撮像画像を用いることで、カメラ１０１、１０２の撮像タイミングのずれを正確に検出することができる。

次に、同期処理について説明する。図９は、第1実施形態に係る情報処理方法のうち同期処理の手順を示すフローチャートである。

処理部２００は、図９に示す同期処理を実行可能である。即ち、同期処理は、図２に示す処理部２００、具体的には同期制御部２０４が行う。

ステップＳ２０において、同期制御部２０４は、ずれ量演算部２０３に指示を送り、ずれ量演算部２０３にずれ量δを検出する検出処理を実行させる。

ステップＳ２１において、同期制御部２０４は、ずれ量δが所定値以下（所定値はТＨ）かどうかを判定する。

ずれ量δが所定値ＴＨ以下であるならば（ステップＳ２１のＹＥＳ）、同期制御部２０４は、同期処理を終了する。その後、３次元計測部２０５が３次元計測処理を行う。

本実施形態では、３次元計測部２０５は、複数のカメラ１０１、１０２によりワークＷ２を撮像してワークＷ２の３次元計測を行う。３次元計測部２０５は、その計測結果を制御装置１００２に送信する。制御装置１００２は、その計測結果に基づいてロボット装置１００１を動作させてワークＷ１をワークＷ２に組み付け、ワークＷ１、Ｗ２からなる組立品である物品を製造する。

また、ずれ量δが所定値ＴＨを超えるならば（ステップＳ２１のＮＯ）、同期制御部２０４は、次のステップＳ２２の処理へ進む。

ステップＳ２２において、同期制御部２０４は、カメラ１０２のイメージセンサ３０２を電源ＯＦＦ状態４０１にするようカメラ制御部２０１に指示を送る。これにより、カメラ制御部２０１は、カメラ１０２に指示を送り、カメラ１０２のイメージセンサ３０２の状態を電源ＯＦＦ状態４０１に遷移させる。これにより、カメラ１０２からの動画の出力が停止される。

ステップＳ２３において、同期制御部２０４は、カメラ１０２のイメージセンサ３０２を動画出力状態４０４にする。具体的に説明すると、同期制御部２０４は、カメラのイメージセンサ３０２の状態を、電源ＯＦＦ状態４０１から初期化状態４０２、撮像パラメータ調整状態４０３を経て動画出力状態４０４にするようカメラ制御部２０１に指示を送る。これにより、カメラ制御部２０１は、カメラ１０２に指示を送り、カメラ１０２のイメージセンサ３０２の状態を電源ＯＦＦ状態４０１から初期化状態４０２、撮像パラメータ調整状態４０３を経て動画出力状態４０４に遷移させる。その後、ステップＳ２０に進む。同期制御部２０４は、ステップＳ２０～Ｓ２３のループ処理を、ずれ量δが所定値ＴＨ以下となるまで繰り返す。以上のループ処理を複数回行うことにより、いずれずれ量δが所定値ＴＨ以下となる。この同期処理は、３次元計測部２０５が撮像装置１を用いて計測処理を行っていない時間に行うのが好ましい。これにより、３次元計測に要する時間が延びることはない。

以上、処理部２００は、ずれ量δが所定値ＴＨを超える場合、カメラ１０２における撮像タイミングをリセットして、再びステップＳ２０の検出処理を実行するループ処理を、ずれ量δが所定値ＴＨ以下となるまで、繰り返し実行する。本実施形態では、上述したように、動画出力開始タイミングにより撮像タイミングが決まるため、カメラ１０２の動画出力開始タイミングをリセットする。

なお、本実施形態では、撮像タイミングをリセットするカメラがカメラ１０２である場合について説明したが、これに限定するものではない。複数のカメラ１０１、１０２のうち、少なくとも１つのカメラの撮像タイミングをリセットすればよく、例えばカメラ１０１の撮像タイミングをリセットしてもよいし、カメラ１０１、１０２の両方の撮像タイミングをリセットしてもよい。

また、カメラの撮像タイミングのリセットの方法は、イメージセンサ３０２への電源のオンオフに限定するものではなく、上述したように、カメラ１０２の仕様に応じたものにすればよい。

以上、第１実施形態によれば、検出処理及び同期処理により、カメラ１０１、１０２の同期が可能である。

［第２実施形態］
次に、第２実施形態について説明する。図１０は、第２実施形態に係る情報処理方法のうち検出処理の手順を示すフローチャートである。第２実施形態におけるハードウェア構成は、第１実施形態と同様であり、構成の詳細な説明は省略し、以下、必要に応じて第１実施形態の説明で用いた図面を参照しながら説明する。

図２（ａ）の処理部２００は、複数のカメラ１０１、１０２の撮像タイミングのずれ量を検出する検出処理を実行可能である。即ち、ずれ量の検出処理は、処理部２００、具体的には、ずれ量演算部２０３が行う。また、以下の説明におけるカメラ１０１、１０２の撮像対象は、撮像画像において特徴の抽出が可能なものであれば、いかなる物体でもよく、本実施形態では、３次元計測対象の図１（ａ）に示すワークＷ２ということにする。ワークＷ２は、ずれ量の検出処理のために撮像装置１で撮像する期間中は、作業空間Ｒ１において移動しないものとする。そして、ワークＷ２に対して撮像装置１を非直線Ｃ１に沿って移動させるものとする。

本実施形態では、図１（ａ）に示すように、撮像装置１はロボットハンド１０２０に支持されている。このため、撮像装置１はロボットハンド１０２０と連動する。よって、撮像装置１の運動は、制御装置１００２により計測可能である。本実施形態では、制御装置１００２が計測部として機能する。

制御装置１００２は、撮像装置１が移動した際の移動量を、カメラ１０１、１０２の撮像周期Δｔよりも短い周期で計測する機能を有するものとする。制御装置１００２は、この計測結果を撮像周期Δｔよりも短い周期で画像処理装置２に送信することができる。

具体的に１つの例を挙げて説明すると、制御装置１００２は、ロボットの順運動学計算により、所定座標系を基準とするロボットハンド１０２０の位置姿勢を算出可能である。所定座標系は、例えばロボット装置１００１の基部に設定したロボット座標系である。ロボットハンド１０２０に対する撮像装置１のカメラ１０１の相対的な位置姿勢と、所定座標系を基準とするワークＷ２の位置姿勢とを、予め求めておく。これにより、制御装置１００２は、撮像装置１のカメラ１０１に対する相対的なワークＷ２の位置姿勢を、その時刻と対応付けて求めることができる。

以下、図１０に示すフローチャートに沿って制御装置１００２と画像処理装置２との処理動作について説明する。

ステップＳ６０において、ステップＳ５０と同様、ずれ量演算部２０３は、カメラ１０１のイメージセンサ３０２を動画出力状態４０４に遷移させる。ステップＳ６１において、ステップＳ５１と同様、ずれ量演算部２０３は、カメラ１０２のイメージセンサ３０２を動画出力状態４０４に遷移させる。ステップＳ６２において、ステップＳ５２と同様、ずれ量演算部２０３は、カメラ１０１により撮像された画像を取得する。ステップＳ６３において、ステップＳ５３と同様、ずれ量演算部２０３は、カメラ１０２により撮像された画像を取得する。

ステップＳ６４において、ずれ量演算部２０３は、カメラ１０１、１０２の各々から所定数の画像（即ち静止画）を取得したかどうかを判断する。ずれ量演算部２０３は、画像が所定数に達していなければ（Ｓ６４：ＮＯ）、ステップＳ６２の処理に戻る。このように、ずれ量演算部２０３は、取得した画像が所定数に達するまで、ステップＳ６２及びＳ６３の処理を繰り返す。第２実施形態では、取得する画像の所定数は、少なくとも２つである。

以下、取得する画像の所定数が２つとして、ステップＳ６２～Ｓ６４の処理について、図７を参照しながら説明する。第２実施形態では、カメラ１０１から得られる画像を、取得した順に画像Ｉ１１、Ｉ１２とする。複数の画像Ｉ１１、Ｉ１２で画像群Ｉ１が構成される。また、カメラ１０２から得られる画像を、取得した順に画像Ｉ２１、Ｉ２２とする。複数の画像Ｉ２１、Ｉ２２で画像群Ｉ２が構成されている。画像Ｉ１１、Ｉ１２は、カメラ１０１から出力された動画データから時系列順に撮像周期Δｔ［ｍｓ］で連続的に取得した画像である。画像Ｉ２１、Ｉ２２は、カメラ１０２から出力された動画データから時系列順に撮像周期Δｔ［ｍｓ］で連続的に取得した画像である。画像Ｉ１１、Ｉ１２はそれぞれ互いに異なる撮像時刻ｔ_１、ｔ_２に撮像される。同様に、画像Ｉ２１、Ｉ２２はそれぞれ互いに異なる撮像時刻ｔ_１＋δ、ｔ_２＋δに撮像される。

以上、ステップＳ６０～Ｓ６４により、ずれ量演算部２０３は、カメラ１０１がカメラ１０１に対して相対的に移動するワークＷ２を撮像周期Δｔで撮像することによって生成した画像群Ｉ１をカメラ１０１から取得する。同様に、以上のステップＳ６０～Ｓ６４により、ずれ量演算部２０３は、カメラ１０２がカメラ１０２に対して相対的に移動するワークＷ２を撮像周期Δｔで撮像することによって生成した画像群Ｉ２をカメラ１０２から取得する。

ステップＳ６５において、ずれ量演算部２０３は、制御装置１００２が計測した、ステップＳ６２の開始直前からステップＳ６４の終了後までのカメラ１０１の運動Ｍを取得する。カメラ１０１の運動Ｍは、上述したように、制御装置１００２がカメラ１０１に対する相対的なワークＷ２の位置姿勢を、時刻と対応付けて計測したものである。

本実施形態では、運動Ｍは、カメラ１０１の速度が定まることによって、その速度が生じた時刻が一意に定まる運動である。このような運動は、例えば円弧状の軌道でカメラ１０１を動かすことで実現できる。

ステップＳ６６において、ずれ量演算部２０３は、画像Ｉ１１と画像Ｉ１２とを用いて、時刻ｔ_１から時刻ｔ_２までのカメラ１０１に対するワークＷ２の相対的な移動量Ｖ_１１を算出する。移動量Ｖ_１１は、ベクトル又は行列であり、例えば６次元のベクトルである。この６次元のベクトルには、３次元の並進移動と、３次元の回転移動が含まれる。

ステップＳ６７において、ずれ量演算部２０３は、画像Ｉ２１と画像Ｉ２２とを用いて、時刻ｔ_１＋δから時刻ｔ_２＋δまでのカメラ１０２に対するワークＷ２の相対的な移動量Ｖ_２１を算出する。移動量Ｖ_２１は、ベクトル又は行列であり、例えば６次元のベクトルである。この６次元のベクトルには、３次元の並進移動と、３次元の回転移動が含まれる。

以上のステップＳ６６、Ｓ６７において、ずれ量演算部２０３は、カメラ１０１、１０２の各々から取得した画像群Ｉ１、Ｉ２に基づき、カメラ１０１、１０２の各々に対する相対的なワークＷ２の移動量Ｖ_１１、Ｖ_２１を求める。

以上説明した各カメラ１０１、１０２の運動の算出には、例えばオプティカルフローを用いることができる。オプティカルフローとは、連続撮像された画像間での物体の各部の動きをベクトルで表現したもので、その計算方法としてはＬｕｃａｓ－Ｋａｎａｄｅ法などがある。画像全体または一部のオプティカルフローを用いることで、各カメラ１０１、１０２の運動を算出することができる。

ここで、算出された移動量Ｖ_２１は、カメラ１０２の運動であるため、カメラ１０１の運動と比較するため、同一座標系の表現に変換する必要がある。例えば、ステレオカメラ校正によって、カメラ１０２の座標系からカメラ１０１の座標系へ変換する変換行列を求めておき、この変換行列を予めＲＯＭ１６０２に記憶させておく。ずれ量演算部２０３は、この変換行列に基づいて、カメラ１０２に対する相対的なワークＷ２の移動量Ｖ_２１を、カメラ１０１に対する相対的なワークＷ２の移動量Ｖ′_１１へ変換する。なお、小型の平行ステレオカメラのように、カメラ１０１とカメラ１０２の姿勢が同じで、位置もほぼ同じ場合、この変換処理は省略可能である。

ステップＳ６８において、ずれ量演算部２０３は、移動量Ｖ_１１、Ｖ′_１１と、制御装置１００２による計測結果を用いて、カメラ１０１、１０２間の撮像タイミングのずれ量δを算出する。

図１１は、第１実施形態に係る検出処理を説明するための模式図である。図１１には、移動量Ｖ_１１、Ｖ′_１１と、運動Ｍとの関係を図示している。カメラ１０１の運動Ｍは、移動量Ｖ_１１、Ｖ′_１１よりも短い周期で計測される。このため、ずれ量演算部２０３は、移動量Ｖ_１１、Ｖ′_１１と、運動Ｍとを比較することにより、時刻ｔ_１、ｔ_１＋δをカメラ１０１の運動Ｍの計測周期単位で求める。

具体的に説明する。移動量Ｖ_１１は、ベクトルである。ずれ量演算部２０３は、移動量Ｖ_１１の起点と終点が運動Ｍ上に存在するところを探索する探索処理を実行する。図１１には、その探索した結果が図示されている。このときの移動量Ｖ_１１の起点に位置する運動Ｍの位置には、時刻ｔ_１が対応付けられている。よって、ずれ量演算部２０３は、運動Ｍに対し移動量Ｖ_１１の探索処理を行うことにより、画像Ｉ１１が撮像された時刻ｔ_１を求める。同様に、ずれ量演算部２０３は、運動Ｍに対し移動量Ｖ′_１１の探索処理を行うことにより、画像Ｉ１１が撮像された時刻ｔ_１＋δを求める。そして、ずれ量演算部２０３は、時刻ｔ_１＋δと時刻との差分により、カメラ１０１、１０２の撮像タイミングのずれ量δを求める。

このように、第２実施形態では、カメラ１０１、１０２の撮像画像と、カメラ１０１の運動Ｍの計測結果を用いることで、カメラ１０１、１０２の撮像タイミングのずれを、第１実施形態のように直線近似で求める場合よりも、正確に検出することができる。

第２実施形態における同期処理は、第１実施形態における同期処理と同様であるため、説明を省略する。について説明する。第２実施形態によれば、検出処理及び同期処理により、カメラ１０１、１０２の同期が可能である。

なお、第２実施形態では、撮像装置１の運動を制御装置１００２が計測する場合について説明したが、これに限定するものではない。例えば、撮像装置１の運動を不図示の外部センサで計測するようにしてもよい。その際、不図示の外部センサと画像処理装置２とは、有線又は無線で互いに通信可能に接続されればよい。

本発明は、以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で多くの変形が可能である。また、実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載されたものに限定されない。

また、上述の実施形態では、ロボットアーム１０１０が垂直多関節のロボットアームの場合について説明したが、これに限定するものではない。ロボットアームが、例えば、水平多関節のロボットアーム、パラレルリンクのロボットアーム、直交ロボット等、種々のロボットアームであってもよい。

また、上述の実施形態では、撮像装置１がロボット装置１００１のロボットハンド１０２０に設けられる構成について説明したが、これに限定するものではない。制御装置に設けられる記憶装置の情報に基づき、伸縮、屈伸、上下移動、左右移動もしくは旋回の動作またはこれらの複合動作を自動的に行うことができる駆動装置に適用可能である。

また、上述の実施形態では、同期撮像を行う複数の単眼カメラは、３次元計測のためのステレオカメラを構成するものとして説明した。しかしながら、本発明のハードウェア構成や撮像制御が、何らかの目的で同期撮像を行う必要のある、複数の単眼カメラで構成された撮像システムにおいて実施できるのはいうまでもない。

また、上述の実施形態では、撮像装置１が２つのカメラ１０１、１０２を有する場合について説明したが、これに限定するものではなく、撮像装置１が３つ以上のカメラを有していてもよい。

また、上述の実施形態では、３次元計測対象、つまり制御対象が、ワークＷ１を組み付けるワークＷ２である場合について説明したが、これに限定するものではない。例えば、３次元計測対象がワークＷ１であってもよい。この場合、ワークＷ１が制御対象であり、ロボットハンド１０２０にワークＷ１を保持させる際にワークＷ１を３次元計測するようにしてもよい。

また、上述の実施形態では、組付け作業時にワークを３次元計測するようにしたが、例えばワークに切削加工、研削加工、研磨加工などの作業やワークに塗料を塗布する作業など、各種の作業において制御対象であるワークを３次元計測するようにしてもよい。この場合、エンドエフェクタは、ロボットハンドであってもよいし、作業に適したツールであってもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１，１０２…カメラ、２００…処理部、１０００…ロボットシステム（製造システム）、２０００…撮像システム

Claims (15)

1. 所定周期で物体を撮像可能な複数のカメラと、
   前記複数のカメラの撮像タイミングのずれ量を検出する検出処理を実行可能な処理部と、を備え、
   前記処理部は、前記検出処理において、
   前記複数のカメラの各々が前記複数のカメラの各々に対して相対的に移動する前記物体を前記所定周期で撮像することによって生成した撮像時刻の異なる複数の画像を含む画像群を、前記複数のカメラの各々から取得し、
   前記複数のカメラの各々から取得した前記画像群に基づき、前記複数のカメラの各々に対する相対的な前記物体の移動量を求め、
   前記複数のカメラの各々に対する相対的な前記物体の移動量を用いて、前記複数のカメラの撮像タイミングのずれ量を検出する、
   ことを特徴とする撮像システム。
2. 前記処理部は、前記ずれ量が所定値を超える場合、前記複数のカメラのうちの少なくとも１つのカメラにおける撮像タイミングをリセットして、再び前記検出処理を実行するループ処理を、前記ずれ量が前記所定値以下となるまで、繰り返し実行する、
   ことを特徴とする請求項１に記載の撮像システム。
3. 前記処理部は、前記複数のカメラの各々から取得した前記画像群に含まれる前記複数の画像のうち、少なくとも３つの画像を用いて、前記複数のカメラの各々に対する相対的な前記物体の移動量を求める、
   ことを特徴とする請求項１又は２に記載の撮像システム。
4. 前記複数のカメラのうちの少なくとも１つのカメラに対する相対的な前記物体の位置姿勢を、時刻と対応付けて計測する計測部を更に備え、
   前記処理部は、前記複数のカメラの各々から取得した前記画像群に含まれる前記複数の画像のうち、少なくとも２つの画像を用いて、前記複数のカメラの各々に対する相対的な前記物体の移動量を求め、
   前記複数のカメラの各々に対する相対的な前記物体の移動量と、前記計測部による計測結果を用いて、前記ずれ量を検出する、
   ことを特徴とする請求項１又は２に記載の撮像システム。
5. 請求項１から４のいずれか１項に記載の撮像システムと、前記複数のカメラ及び前記物体の一方を支持し、前記複数のカメラ及び前記物体の一方を移動させることが可能な駆動装置と、を備えた製造システム。
6. 前記駆動装置は、前記処理部が前記検出処理を実行する際に、前記複数のカメラ及び前記物体の一方を他方に対して非直線的に移動させる、
   ことを特徴とする請求項５に記載の製造システム。
7. 前記駆動装置は、ロボットアームと、前記ロボットアームに設けられたエンドエフェクタと、を有する、
   ことを特徴とする請求項５又は６に記載の製造システム。
8. 所定周期で物体を撮像可能な複数のカメラから撮像画像を取得して情報処理可能な処理部による情報処理方法であって、
   前記処理部が、検出処理として、
   前記複数のカメラの各々が前記複数のカメラの各々に対して相対的に移動する前記物体を前記所定周期で撮像することによって生成した撮像時刻の異なる複数の画像を含む画像群を、前記複数のカメラの各々から取得し、
   前記複数のカメラの各々から取得した前記画像群に基づき、前記複数のカメラの各々に対する相対的な前記物体の移動量を求め、
   前記複数のカメラの各々に対する相対的な前記物体の移動量を用いて、前記複数のカメラの撮像タイミングのずれ量を検出する、
   ことを特徴とする情報処理方法。
9. 前記処理部が、前記ずれ量が所定値を超える場合、前記複数のカメラのうちの少なくとも１つのカメラにおける撮像タイミングをリセットして、再び前記検出処理を実行するループ処理を、前記ずれ量が前記所定値以下となるまで、繰り返し実行する、
   ことを特徴とする請求項８に記載の情報処理方法。
10. 前記処理部が、前記複数のカメラの各々から取得した前記画像群に含まれる前記複数の画像のうち、少なくとも３つの画像を用いて、前記複数のカメラの各々に対する相対的な前記物体の移動量を求める、
    ことを特徴とする請求項８又は９に記載の情報処理方法。
11. 前記複数のカメラのうちの少なくとも１つのカメラに対する相対的な前記物体の位置姿勢を、時刻と対応付けて計測し、
    前記複数のカメラの各々から取得した前記画像群に含まれる前記複数の画像のうち、少なくとも２つの画像を用いて、前記複数のカメラの各々に対する相対的な前記物体の移動量を求め、
    前記複数のカメラの各々に対する相対的な前記物体の移動量と、前記計測した結果を用いて、前記複数のカメラの撮像タイミングのずれ量を検出する、
    ことを特徴とする請求項８又は９に記載の情報処理方法。
12. 前記複数のカメラに対して相対的に非直線的に移動する前記物体を、前記複数のカメラの各々に前記所定周期で撮像させることにより、前記複数のカメラの各々から前記複数の画像を得る、
    ことを特徴とする請求項８乃至１１のいずれか１項に記載の情報処理方法。
13. 請求項７に記載の製造システムを用い、検出された前記ずれ量が所定値以下であれば、前記複数のカメラによりワークを撮像して前記ワークの３次元計測を行い、前記ロボットアームと前記エンドエフェクタとを用いて前記ワークを制御し物品を製造する、
    ことを特徴とする物品の製造方法。
14. 請求項８乃至１２のいずれか１項に記載の情報処理方法をコンピュータに実行させるためのプログラム。
15. 請求項８乃至１２のいずれか１項に記載の情報処理方法をコンピュータに実行させるためのプログラムを記録した、前記コンピュータにより読み取り可能な非一時的な記録媒体。

Images