JP2020191561A - 撮像システム、撮像装置、及びそれらの制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】さまざまな種類のワークに対応可能でありながら、部品の摩耗を抑制しつつ、スムーズなロボットアーム動作を実現可能な撮像システムを提供する。【解決手段】ロボットアームに取り付けられた撮像装置と、ロボットアームと撮像装置を制御する制御装置とを備える撮像システムであって、制御装置は、撮像装置に対して、ロボットアームの動作状態の情報を通知する通知部を備え、撮像装置は、被写体像を撮像する撮像部と、被写体に対して撮像光学系の焦点を合わせる自動焦点調節部と、自動焦点調節部が、被写体に対して連続的に撮像光学系の焦点を合わせる連続焦点調節動作を行う場合に、通知部により制御装置から通知されたロボットアームの動作状態の情報に基づいて、連続焦点調節動作を変更する変更部と、を備える。【選択図】図２

Description

本発明は、ロボットアームの動作状態に基づいて撮像装置の焦点調節動作を制御する技術に関するものである。

例えば、組立用のロボット等においては、ロボットアームによるワークのピック＆プレイス動作をする際に、カメラを用いてロボットを制御することが行われている。この制御は、ロボットアームの手先部に取り付けられたカメラにより、ワークを撮影し、その撮影画像データからワークの位置を検出し、検出位置にロボットアームを移動させてハンドでワークを把持するというものである。

この種のロボット制御装置として、特許文献１には、焦点調節機能、焦点距離調節機能、絞り調整機能等を有する光学系調節手段を有するカメラを備え、ワークを撮影した撮影画像データに基づいて光学系調節手段を制御する装置が記載されている。

また、一般的に、ピック＆プレイス動作を行うロボットアームに取り付けられるカメラでは、ティーチング時に各地点（ピック位置、プレイス位置など）でピント合わせを行い、フォーカスレンズ位置を記憶している。そして、実際の運用時に、記憶した位置にフォーカスレンズを移動させることを行っている。

しかしながら、さまざまな種類（高さ）のワークのピック＆プレイス動作を行う場合には、ワーク毎にフォーカスレンズ位置を記憶する必要があり、対象のワークが増えるにつれてセッティングに時間がかかるという課題がある。また、ワーク毎にロボットアームからの焦点調節指示によりピント合わせ動作を行おうとすると、その都度焦点調節指示のやり取りが発生し、ピント合わせそのものに時間がかかりスムーズなロボットアーム動作を妨げてしまう。

この問題を解決するためには、例えば、ロボットアームからの焦点調節指示に基づかず、ビデオカメラ等の動画撮影時に行なっているような常時ピント合わせ動作を行うコンティニュアスＡＦ機能を用いる方法が考えられる。

特開２００３−２１１３８２号公報

しかしながら、組み立て用ロボットアームなどのように、２４時間３６５日稼働する可能性がある用途に利用されるカメラにおいては、コンティニュアスＡＦのように常時ピント合わせを行う方法では、部品が摩耗、劣化し、耐久性が低下するという課題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、さまざまな種類のワークに対応可能でありながら、部品の摩耗を抑制しつつ、スムーズなロボットアーム動作を実現可能な撮像システムを提供することである。

本発明に係わる撮像装置は、ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムであって、前記制御装置は、前記撮像装置に対して、前記ロボットアームの動作状態の情報を通知する通知手段を備え、前記撮像装置は、被写体像を撮像する撮像手段と、被写体に対して撮像光学系の焦点を合わせる自動焦点調節手段と、前記自動焦点調節手段が、被写体に対して連続的に前記撮像光学系の焦点を合わせる連続焦点調節動作を行う場合に、前記通知手段により前記制御装置から通知された前記ロボットアームの動作状態の情報に基づいて、前記連続焦点調節動作を変更する変更手段と、を備える、ことを特徴とする。

本発明によれば、さまざまな種類のワークに対応可能でありながら、部品の摩耗を抑制しつつ、スムーズなロボットアーム動作を実現可能な撮像システムを提供することができる。

本発明の第１の実施形態に係わる撮像システムの構成を示すブロック図。 撮像装置、画像処理コントローラ、ロボットアームの外観を模式的に表した図。 第１の実施形態における撮像装置のフォーカス制御を示すフローチャート。 第１のコンティニュアスＡＦ動作を示すフローチャート。 レンズ駆動処理の動作を示すフローチャート。 第２の実施形態における撮像装置のフォーカス制御を示すフローチャート。 撮像素子の画素構成を示した図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
＜撮像システムの構成＞
以下、本発明の第１の実施形態における撮像システムについて説明する。この撮像システムでは、ロボットアームの動作状態に基づいて、ロボットアームに設置された撮像装置の焦点調節制御を行う。

図１Ａは、本発明の第１の実施形態に係わる撮像システムの構成を示すブロック図である。この撮像システムは、撮像装置１００と、画像処理コントローラ１２０と、ロボットアーム１３０とが通信可能に接続されて構成されている。

撮像装置１００には、撮像光学系として、第１の固定レンズ群１０１、変倍レンズ１０２、絞り１０３、第２の固定レンズ群１０４、フォーカスレンズ１０５（フォーカスコンペンセータレンズ）が配置されている。変倍レンズ１０２を光軸に沿う方向に移動することにより変倍を行い、焦点距離を変えることができる。フォーカスレンズ１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えている。

ズーム駆動源１０９は変倍レンズ１０２を移動させる駆動源である。絞り駆動源１１０は絞り１０３を動かすための駆動源である。フォーカシング駆動源１１１はフォーカスレンズ１０５を移動させるための駆動源である。ズーム駆動源１０９、絞り駆動源１１０、フォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。

撮像装置１００は、さらに撮像素子１０６、ＣＤＳ／ＡＧＣ回路１０７、カメラ信号処理部１０８、タイミングジェネレータ１１２、ＡＦ信号処理部１１３、記憶部１１５、カメラマイクロコンピュータ１１４（以下、単にカメラマイコンという）、通信装置１１６を備える。

撮像素子１０６は被写体像を光電変換する素子であって、ＣＣＤやＣＭＯＳセンサなどから構成されている。撮像素子１０６は行列状に複数の画素部を有する。撮像光学系を通過した光束は撮像素子１０６の受光面上に結像され、各画素部が有するフォトダイオード（光電変換部）によって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラマイコン１１４の指令に従ってタイミングジェネレータ１１２から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号として撮像素子１０６から順次読み出される。

撮像素子１０６は、図６に示すように、撮像面位相差ＡＦを行うために、一つの画素につき２つのフォトダイオードを有している。光束をマイクロレンズで分離し、２つのフォトダイオードに結像させることにより、撮像用とＡＦ用の２つの信号を取り出すことができる。２つのフォトダイオードの信号を加算した信号（Ａ＋Ｂ）が撮像信号であり、個々のフォトダイオードの信号（Ａ，Ｂ）が視差を有するＡＦ用の２つの像信号となる。後述するＡＦ信号処理部１１３により上記のＡＦ用の２つの像信号に対して相関演算を行い、像ずれ量（デフォーカス量）や各種信頼性情報を算出する。

撮像素子１０６から読み出された出力信号は、サンプリングし、ゲイン調整するＣＤＳ／ＡＧＣ回路１０７に入力される。カメラ信号処理部１０８は、ＣＤＳ／ＡＧＣ回路１０７から出力された画像信号に対して各種の画像処理を施して、画像信号を生成する。第１の実施形態における画像信号は、ロボット制御に用いるための静止画像や動画像の信号である。記憶部１１５は、カメラ信号処理部１０８からの画像信号を記憶する。

ＡＦ信号処理部１１３は、ＣＤＳ／ＡＧＣ回路１０７から出力された焦点検出信号（図６で説明した視差を有するＡＦ用の２つの像信号）を用いて相関演算を行う。ＡＦ信号処理部１１３は、相関量（像ずれ量）、デフォーカス量、信頼性情報（二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等）を算出する。算出したデフォーカス量と、信頼性情報をカメラマイコン１１４へ出力する。また、カメラマイコン１１４は、取得したデフォーカス量や信頼性情報に基づいて、ＡＦ信号処理部１１３の設定を変更するよう制御する。なお、焦点検出のための相関演算は公知の演算であるため、本実施形態では説明を省略する。

なお、本実施形態では、撮像信号及び２つのＡＦ用像信号の計３つの信号を撮像素子１０６から取り出しているが、このような方法に限定されない。撮像素子１０６の負荷を考慮し、例えば撮像信号と１つのＡＦ用像信号の計２つの信号を取り出し、撮像信号とＡＦ用信号の差分を取ることによりもう１つのＡＦ用像信号を生成するようにしてもよい。

カメラマイコン１１４は、撮像装置１００全体の動作の制御を司るとともに、フォーカシング駆動源１１１を制御してフォーカスレンズ１０５を移動させるＡＦ制御（自動焦点調節制御）を行う。カメラマイコン１１４は、ＡＦ制御として、図６で説明した撮像面位相差ＡＦ方式でのＡＦ制御を行う。また、カメラマイコン１１４は、ズーム駆動源１０９を制御して変倍レンズ１０２を移動させ焦点距離制御を行い、絞り駆動源１１０を制御して絞り１０３を動作させ絞り制御を行う。

通信装置１１６は、画像処理コントローラ１２０と通信を行うための装置である。画像処理コントローラ１２０は、撮像装置１００への撮影指示、撮影した画像の解析、および各カメラ制御（フォーカス制御、露出制御、焦点距離制御）の指示を行う。また、ロボットアーム１３０の動作状態やロボットアーム１３０の位置状態に基づいて被写体までの距離を撮像装置１００へ送信（通知）するとともに、カメラの撮影状態の受信等を行う。さらにロボットアーム１３０への操作指示を行うものである。なお、上記のロボットアーム１３０の動作状態やロボットアーム１３０の位置状態は、ロボットアーム１３０に備えられた各種のセンサの検出値や画像処理コントローラ１２０からロボットアーム１３０に送られる指示コマンドなどから判断される。また、データの送受信は、所定の通信プロトコルに準じて行われる。ここでは、あらかじめ各種指示ごとに決められたコマンドを用いてデータの送受信を行う。

画像処理コントローラ１２０は、ＣＰＵ１２１、一次記憶装置１２２、二次記憶装置１２３、通信装置１２４、表示部１２５、操作部１２６を備える。ＣＰＵ１２１は、画像処理コントローラ１２０全体を制御する。二次記憶装置１２３は、ハードディスクなどからなり、ＣＰＵ１２１を動かすプログラムを格納する。一次記憶装置１２２は、ＲＡＭなどからなり、二次記憶装置１２３から読み込まれたプログラムが格納される。通信装置１２４は、撮像装置１００やロボットアーム１３０と通信を行う。表示部１２５は撮影画像の表示、対話的な操作のための文字表示などを行う。操作部１２６は、使用者の操作を受け付ける。

撮像装置１００はロボットアーム１３０に固定されている。ロボットアーム１３０が動くと、撮像装置１００の撮影範囲が変更される。また、ロボットアーム１３０は、アーム先端のロボットハンドを使って撮影対象物であるワークを把持することができる。ＣＰＵ１３１はロボットアーム１３０全体を制御する。通信装置１３２は、画像処理コントローラ１２０と通信を行う。

図１Ｂは撮像装置１００、画像処理コントローラ１２０、ロボットアーム１３０の外観を模式的に表した図である。なお、本実施形態では画像処理コントローラ１２０が親となり、撮像装置１００とロボットアーム１３０に指示を送るものとする。また、図１Ｂでは、パーソナルコンピュータを画像処理コントローラ１２０として用いる例を示している。

＜フォーカス制御処理＞
次に、カメラマイコン１１４が実行するフォーカス制御処理について説明する。本実施形態では、既に説明したように、撮像面位相差ＡＦ方式により、焦点検出信号（視差を有するＡＦ用の２つの像信号）の相関演算を行い、相関量（像ずれ量）からデフォーカス量、信頼性情報を算出する。そして、算出されたデフォーカス量や信頼性情報に基づいて、フォーカスレンズを継続的に（連続的に）移動させてピント合わせを行うコンティニュアスＡＦ動作（連続焦点調節動作）を実行する。

図２は、図１におけるカメラマイコン１１４が実行するフォーカス制御処理を示すフローチャートである。本処理は、カメラマイコン１１４内に格納されたコンピュータプログラムに従って実行される。また、本処理は、例えば、１フィールド画像（以下、１フレーム、１画面ともいう）を生成するための撮像素子１０６からの画像信号の読み出し周期（垂直同期期間ごと）で実行される。ただし、垂直同期期間（Ｖレート）内に複数回繰り返し実行するようにしてもよい。

ここで、詳細は後述するが、本実施形態のフォーカス制御処理の概要について説明する。

本実施形態では、外部装置であるロボットアーム１３０が動いていない場合は、撮像装置１００は、ワークに焦点を合わせ続ける第１のコンティニュアスＡＦ動作を実行する。一方、外部装置であるロボットアーム１３０が動いている場合は、撮像装置１００が撮影している被写体がワークではない可能性があり、被写体自体が存在していない可能性もある。その場合、第１のコンティニュアスＡＦ動作を行うと、サーチ動作に入ったり、全く異なる被写体にＡＦ動作を実行してフォーカスレンズを動かしてしまう。つまり、不要なＡＦ動作により部品の摩耗や劣化を促進させてしまう。そのため、本実施形態では、ロボットアーム１３０が動いている状態では、第１のコンティニュアスＡＦ動作に比較してコンティニュアスＡＦ動作を制限した第２のコンティニュアスＡＦ動作を実行する。以上が、本実施形態のフォーカス制御処理の概要である。以下、図２のフローチャートに沿って、詳しい動作について説明する。

まず、Ｓ２０１において、カメラマイコン１１４は、通信装置１１６を経由して画像処理コントローラ１２０からのコマンドを受信したか否かを判定する。コマンドを受信した場合（Ｓ２０１でＹｅｓ）、Ｓ２０２へ移行し、コマンドを受信していない場合（Ｓ２０１でＮｏ）、Ｓ２１０へ移行する。Ｓ２１０への移行後は、前回のコンティニュアスＡＦ動作を継続するための処理を行う。

Ｓ２０２では、カメラマイコン１１４は、受信したコマンドが、外部装置であるロボットアーム１３０が動作中か停止中かを示す動作状態の情報を示すコマンドか否かを判定する。ロボットアーム１３０の動作情報を示すコマンドの場合（Ｓ２０２でＹｅｓ）、Ｓ２０３においてロボットアーム１３０が動作中か否かを判定する。そして、ロボットアーム１３０が動いていると判定された場合（Ｓ２０３でＹｅｓ）、Ｓ２０４において外部装置の動作中フラグをセットする。一方、Ｓ２０３においてロボットアーム１３０が停止していると判定された場合（Ｓ２０３でＮｏ）、Ｓ２０５において外部装置の動作中フラグをクリアする。

Ｓ２０６では、後述する第１のコンティニュアスＡＦ動作フラグをクリアし、Ｓ２０８において第２のコンティニュアスＡＦ動作フラグをセットする。そして、Ｓ２１１へ移行し、コンティニュアスＡＦ動作が停止中である場合には、外部装置であるロボットアーム１３０が動作したので、対象被写体の位置が変化したと考え、コンティニュアスＡＦを再起動する処理を実行する。一方、Ｓ２０７では、第２のコンティニュアスＡＦ動作フラグをクリアし、Ｓ２０９において第１のコンティニュアスＡＦ動作フラグをセットする。そして、Ｓ２１０へ移行し、前回のコンティニュアスＡＦ動作を継続するための処理を実行する。

Ｓ２１０では、コンティニュアスＡＦ動作が停止中か否かを判定する。コンティニュアスＡＦ動作が停止中の場合（Ｓ２１０でＹｅｓ）、そのまま処理を終了し、コンティニュアスＡＦ動作が動作中の場合（Ｓ２１０でＮｏ）、Ｓ２１１において第１のコンティニュアスＡＦ動作フラグがセットされているか否かを判定する。

第１のコンティニュアスＡＦ動作フラグがセットされている場合（Ｓ２１１でＹｅｓ）、第１のコンティニュアスＡＦ動作を実行し（Ｓ２１２）、第１のコンティニュアスＡＦ動作フラグがセットされていない場合（Ｓ２１１でＮｏ）、第２のコンティニュアスＡＦ動作を実行する。

また、Ｓ２０２において、受信したコマンドが、外部装置であるロボットアーム１３０の動作情報を示すコマンドでない場合（Ｓ２０２でＮｏ）、Ｓ２１４において、静止画撮影コマンドか否かを判定する。静止画撮影コマンドである場合（Ｓ２１４でＹｅｓ）、静止画撮影を行う際に、コンティニュアスＡＦ動作によりフォーカスレンズ１０５が動くとブレた画像やピントが合っていない画像が撮影される可能性がある。そのため、Ｓ２１５においてコンティニュアスＡＦ動作を停止して、Ｓ２１０に移行する。Ｓ２１０では、コンティニュアスＡＦ動作が停止中であるため、処理を終了する。Ｓ２１４において静止画撮影コマンドでない場合（Ｓ２１４でＮｏ）、Ｓ２１０へ移行し、前回のコンティニュアスＡＦ動作を継続するための処理を実行する。

＜第１のコンティニュアスＡＦ動作＞
次に、カメラマイコン１１４が実行する第１のコンティニュアスＡＦ動作について説明する。図３は、図１におけるカメラマイコン１１４が実行する第１のコンティニュアスＡＦ動作を示すフローチャートである。

Ｓ３０１では、カメラマイコン１１４は、ＡＦ信号が更新されたか否かを判定する。カメラマイコン１１４がＡＦ信号が更新されていると判定した場合は、Ｓ３０２において、ＡＦ信号処理部１１３で算出されたデフォーカス量を取得する。一方、Ｓ３０１においてＡＦ信号が更新されていないと判定した場合は本フローの処理を終了する。

Ｓ３０３では、カメラマイコン１１４は、Ｓ３０２において取得したデフォーカス量が所定の深度内で、かつそのデフォーカス量の信頼度レベルが所定のレベルより高く、信頼できるものであるか否かを判定する。カメラマイコン１１４がデフォーカス量が所定の深度内かつデフォーカス量の信頼度が所定のレベルよりも高いと判定した場合には、Ｓ３０４において合焦停止フラグをＯＮする。合焦停止フラグがＯＮという状態は、合焦位置にフォーカスが制御され、フォーカスの制御を停止すべき状態にあることを示している。一方、カメラマイコン１１４が、デフォーカス量が所定の深度内かつ信頼度が所定のレベルよりも高いという条件を充たさないと判定した場合には、Ｓ３０６において合焦停止フラグをＯＦＦする。

ここで、デフォーカス量の信頼度レベルは、算出されたデフォーカス量の精度が確かであると判断できる場合に「高」と判定され、ピント位置が存在するであろう方向を示すデフォーカス方向が確かである場合に「中」と判定される。例えば、デフォーカス量の信頼度レベルが「高」の場合とは、ＡＦ信号処理部１１３で算出される二像一致度レベルが所定値以上である場合である。例えば、Ａ像信号、Ｂ像信号のコントラストが高く、Ａ像信号とＢ像信号の形が似ている（二像一致度レベルが高い）状態や、すでに主被写体像に合焦している状態にある場合である。この場合にはデフォーカス量を信頼して制御を行う。

デフォーカス量の信頼度レベルが「中」の場合とは、ＡＦ信号処理部１１３で算出される二像一致度レベルが所定値よりも低いものの、Ａ像信号、Ｂ像信号を相対的にシフトさせて得られる相関に一定の傾向があって、デフォーカス方向は信頼できる状態である。例えば、主被写体に対して小ボケしている状態に多い判定である。さらに、カメラマイコン１１４は、デフォーカス量もデフォーカス方向も信頼できない場合、信頼度レベルを「低」と判定する。例えば、Ａ像信号、Ｂ像信号のコントラストが低く、二像一致度レベルも低い状態である。これは、被写体に対して大きくボケている状態のときに多く、デフォーカス量の算出が困難な状態である。

Ｓ３０５では、合焦停止フラグがＯＮである（デフォーカス量が所定の深度内かつデフォーカス量の信頼度が高い）ことを受け、フォーカスを制御するためのレンズ駆動（フォーカスレンズ１０５の駆動）を停止し、本フローの処理を終了する。

一方、Ｓ３０６において合焦停止フラグをＯＦＦした場合は、Ｓ３０７においてレンズ駆動（フォーカスレンズ１０５の駆動）を行い、本フローの処理を終了する。レンズ駆動処理の詳細については、図４のフローチャートを用いて後述する。

＜レンズ駆動処理＞
図４は、図３のＳ３０７におけるレンズ駆動処理の詳細を示すフローチャートである。

まず、Ｓ４０１では、カメラマイコン１１４は、デフォーカス量が得られておりかつ信頼度レベルが高いか否かを判定する。デフォーカス量が得られておりかつ信頼度レベルが高い場合には（Ｓ４０１でＹＥＳ）、Ｓ４０２においてデフォーカス量に基づいて駆動量、および駆動方向を決定する。

そして、Ｓ４０３において焦点検出のエラーカウント、端カウントをクリアし、本フローの処理を終了する。

Ｓ４０１において、デフォーカス量が得られなかった、または信頼度レベルが高くない場合には（Ｓ４０１でＮｏ）、Ｓ４０４において、カメラマイコン１１４はエラーカウントが第１のカウントを超えているか否かを判定する。ここで、第１のカウントは、不図示ではあるが、あらかじめ不揮発性のメモリに記憶しておいた値を用いる。本実施形態では、一例として、後述の第２のカウントの２倍以上の値を設定する。

カメラマイコン１１４が、エラーカウントが第１のカウントよりも小さいと判定した場合には（Ｓ４０４でＮｏ）、Ｓ４０５においてエラーカウントをカウントアップし、処理を終了する。カメラマイコン１１４が、エラーカウントが第１のカウントよりも大きいと判定した場合には（Ｓ４０４でＹｅｓ）、Ｓ４０６においてサーチ駆動フラグがＯＮか否かを判定する。

Ｓ４０６において、カメラマイコン１１４がサーチ駆動フラグがＯＦＦと判定した場合は（Ｓ４０６でＮｏ）、まだ合焦位置のサーチ動作を開始している状態ではない、若しくは、現在サーチしている状態ではない。そこで、Ｓ４０７において、カメラマイコン１１４はサーチ駆動フラグをＯＮする。そして、Ｓ４０８では、カメラマイコン１１４はデフォーカスの信頼度レベルが「中」か否かを判定する。

Ｓ４０８においてカメラマイコン１１４が、信頼度が「中」であると判定した場合（Ｓ４０８でＹｅｓ）は、Ｓ４０９においてデフォーカス方向を用いて駆動方向を設定し、Ｓ４１１において所定駆動量を設定する。このとき、デフォーカス量の値に基づいてフォーカスレンズ１０５を駆動させずに、得られたデフォーカス方向にフォーカスレンズ１０５を所定量駆動させるサーチ駆動を行う。

Ｓ４０８においてカメラマイコン１１４が、信頼度が「中」ではないと判定した場合（Ｓ４０８でＮｏ）は、Ｓ４１０において、フォーカスレンズ１０５の駆動方向を、その位置から遠い方の可動端に向かう方向に設定し、Ｓ４１１において所定駆動量を設定する。

なお、Ｓ４１１の所定駆動量は、あらかじめ不揮発性のメモリに記憶されている値を用いればよい。例えば、焦点深度の数倍の距離を駆動量とする。また、駆動量は、焦点距離に応じて変更してもよい。たとえば、焦点距離が長くなる程、駆動量を大きく設定してもよい。なお、このときのサーチ駆動方向は、例えば、現在のフォーカスレンズ１０５の位置に対して遠い方のレンズ可動端に向かう方向とする。

Ｓ４０６において、カメラマイコン１１４がサーチ駆動フラグがＯＮであると判定した場合には（Ｓ４０６でＹｅｓ）、すでに合焦位置のサーチ駆動を実行している状態である。そのため、前回のフォーカス制御を継続して実行する。そして、Ｓ４１２では、カメラマイコン１１４は、フォーカスレンズ１０５がレンズ駆動の制限位置であるレンズ可動端にあるか否かを判定し、可動端にある場合には（Ｓ４１２でＹｅｓ）、Ｓ４１３において、端カウントをカウントアップする。

Ｓ４１４では、カメラマイコン１１４が、端カウントが所定値を超えたと判定した場合には（Ｓ４１４でＹｅｓ）、フォーカスレンズ１０５を至近端から無限遠端まで動作しても確かなデフォーカス量を得ることができなかったことを示す。そのため、カメラマイコン１１４は、ピントを合わせることができる被写体がないと判断し、Ｓ４１５においてサーチ駆動フラグをＯＦＦし、Ｓ４１６においてレンズ駆動を停止させる。そして、Ｓ４１７において、エラーカウントと端カウントをクリアし、本フローの処理を終了する。

Ｓ４１４において、カメラマイコン１１４が、端カウントが所定値を超えていないと判定した場合には（Ｓ４１４でＮｏ）、Ｓ４１８において、フォーカス制御に伴うフォーカスレンズ１０５の駆動方向を現在の駆動方向とは反対の駆動方向に設定する。そして、Ｓ４１１において、所定駆動量を設定する。

＜第２のコンティニュアスＡＦ動作＞
上記の第１のコンティニュアスＡＦ動作に対して、第２のコンティニュアスＡＦ動作は、外部装置が動作している状態であるために、撮影されている被写体が対象となるワークではない可能性があり、全く異なる被写体をとらえている可能性がある。また、被写体自体が存在していない可能性もある。また、ピック＆プレイス動作の場合、ピックしたワークをプレイスするために、ロボットアーム１３０が目標の場所へ大きく移動している状態である可能性もある。その場合、第１のコンティニュアスＡＦ動作を行うと、サーチ動作に入ったり、全く異なる被写体にＡＦ動作を実行してフォーカスレンズ１０５を動かしてしまう。その場合、不要なＡＦ動作により、部品の摩耗を促進させてしまうことになる。そのため、第２のコンティニュアスＡＦ動作では、第１のコンティニュアスＡＦ動作に比較してコンティニュアスＡＦ動作を制限する。

コンティニュアスＡＦ動作を制限する手法としては、第１に、フォーカスレンズの駆動を停止する。これにより、不要なタイミングでのフォーカスレンズの移動を制限することができる。

第２に、図４のＳ４０２におけるデフォーカス量に基づくレンズ駆動量の設定において、取得されたデフォーカス量に対して、第１のコンティニュアスＡＦ動作時よりも第２のコンティニュアスＡＦ動作時の方が、レンズ駆動量が小さくなるように設定する。例えば、第１のコンティニュアスＡＦ動作の場合、デフォーカス量に基づく駆動量の０．８倍の駆動量でフォーカスレンズ１０５を駆動させる。一方、第２のコンティニュアスＡＦ動作の場合、デフォーカス量に基づく駆動量の０．５倍の駆動量でフォーカスレンズを駆動させる。第１のコンティニュアスＡＦ動作時よりも第２のコンティニュアスＡＦ動作時の方が、レンズ駆動量が小さくなるように設定することにより、フォーカスレンズの移動を制限することができる。

第３に、第２のコンティニュアスＡＦ動作の場合、図４のＳ４０９およびＳ４１０において、駆動方向を設定して合焦位置を探索するためにフォーカスレンズを移動させるサーチ駆動を禁止する。

第４に、第２のコンティニュアスＡＦ動作の場合、第１のコンティニュアスＡＦ動作と比べて、フォーカスレンズ１０５の駆動速度を遅くする。例えば、第１のコンティニュアスＡＦ動作のフォーカスレンズの駆動速度に対して、第２のコンティニュアスＡＦ動作でのフォーカスレンズの駆動速度を１／２とする。

第５に、第２のコンティニュアスＡＦ動作の場合、第１のコンティニュアスＡＦ動作と比べて、フォーカスレンズを駆動させる周期（処理周期）を長くする。例えば、第１のコンティニュアスＡＦ動作を毎フィールド毎に実行するのに対して、第２のコンティニュアスＡＦ動作はその２倍の周期で実行する。

以上説明したように、本実施形態においては、第１のコンティニュアスＡＦ動作に比較して、第２のコンティニュアスＡＦ動作ではフォーカスレンズの移動を制限する。これにより、外部装置であるロボットアーム１３０の動作中に、不用意にフォーカスレンズが動いて、不要なＡＦ動作を行うことを軽減し、部品の摩耗を抑制することが可能となる。

（第２の実施形態）
図５は、第２の実施形態における、カメラマイコン１１４が実行するフォーカス制御処理を示すフローチャートである。

まず、Ｓ５０１において、カメラマイコン１１４は、通信装置１１６を経由して画像処理コントローラ１２０からのコマンドを受信したか否かを判定する。コマンドを受信した場合（Ｓ５０１でＹｅｓ）、Ｓ５０２へ移行し、コマンドを受信していない場合（Ｓ５０１でＮｏ）、Ｓ５１０へ移行する。Ｓ５１０への移行後は、前回のコンティニュアスＡＦ動作を継続するための処理を行う。

Ｓ５０２では、カメラマイコン１１４は、受信したコマンドが、外部装置であるロボットアーム１３０がどの方向に動いているかを示す動作状態の情報を示すコマンドか否かを判定する。ロボットアーム１３０の動作情報を示すコマンドの場合（Ｓ５０２でＹｅｓ）、Ｓ５０３においてロボットアーム１３０の動く方向（動作方向）が撮像装置１００の光軸に沿う方向であるか否かを判定する。ロボットアーム１３０の動く方向が撮像装置１００の光軸に沿う方向ではないと判定された場合（Ｓ５０３でＮｏ）、Ｓ５０４において外部装置の動作中フラグをセットする。一方、Ｓ５０３においてロボットアーム１３０の動く方向が撮像装置１００の光軸に沿う方向であると判定された場合（Ｓ５０３でＹｅｓ）、Ｓ５０５において外部装置の動作中フラグをクリアする。

Ｓ５０６では、第１のコンティニュアスＡＦ動作フラグをクリアし、Ｓ５０８において第２のコンティニュアスＡＦ動作フラグをセットする。そして、Ｓ５１０へ移行し、前回のコンティニュアスＡＦ動作を継続するための処理を実行する。

一方、Ｓ５０７では、第２のコンティニュアスＡＦ動作フラグをクリアし、Ｓ５０９において第１のコンティニュアスＡＦ動作フラグをセットする。そして、Ｓ５１１へ移行し、ロボットアーム１３０が光軸に沿う方向に移動したことにより、対象の被写体までの距離が変わり、ピント位置が変わったと判断する。そのため、コンティニュアスＡＦ動作が停止中である場合には、コンティニュアスＡＦを再起動する処理を実行する。

Ｓ５１０では、コンティニュアスＡＦ動作が停止中か否かを判定する。コンティニュアスＡＦ動作が停止中の場合（Ｓ５１０でＹｅｓ）、そのまま処理を終了し、コンティニュアスＡＦ動作が動作中の場合（Ｓ５１０でＮｏ）、Ｓ５１１において第１のコンティニュアスＡＦ動作フラグがセットされているか否かを判定する。

第１のコンティニュアスＡＦ動作フラグがセットされている場合（Ｓ５１１でＹｅｓ）、第１のコンティニュアスＡＦ動作を実行し（Ｓ５１２）、第１のコンティニュアスＡＦ動作フラグがセットされていない場合（Ｓ５１１でＮｏ）、第２のコンティニュアスＡＦ動作を実行する。

また、Ｓ５０２において、受信したコマンドが、外部装置であるロボットアーム１３０の動作情報を示すコマンドでない場合（Ｓ５０２でＮｏ）、Ｓ５１４において、静止画撮影コマンドか否かを判定する。静止画撮影コマンドである場合（Ｓ５１４でＹｅｓ）、静止画撮影を行う際に、コンティニュアスＡＦ動作によりフォーカスレンズ１０５が動くとブレた画像やピントが合っていない画像が撮影される可能性がある。そのため、Ｓ５１５においてコンティニュアスＡＦ動作を停止して、Ｓ５１０に移行する。Ｓ５１０では、コンティニュアスＡＦ動作が停止中であるため、処理を終了する。Ｓ５１４において静止画撮影コマンドでない場合（Ｓ５１４でＮｏ）、Ｓ５１０へ移行し、前回のコンティニュアスＡＦ動作を継続するための処理を実行する。

本実施形態においては、ロボットアーム１３０がどの方向に移動したかを示す動き情報を受信することにより、コンティニュアスＡＦ動作を変更する。ロボットアーム１３０が撮像装置１００の光軸に沿う方向に移動した場合には、ワークまでの距離が変わりピント位置が変化したと判断し、第１のコンティニュアスＡＦ動作を実行する。

一方、ロボットアーム１３０が撮像装置１００の光軸に沿う方向に移動していない場合には、ワークまでの距離変化はないため、ピント位置が変化することはないと判断する。そして、第１のコンティニュアスＡＦ動作よりもＡＦ動作を制限した第２のコンティニュアスＡＦ動作を実行する。

以上説明したように、第２の実施形態によれば、ロボットアームの動きに対して、不用意にフォーカスレンズが動いて、不要なＡＦ動作を行うことを軽減し、部品の摩耗を抑制することが可能となる。

＜第３の実施形態＞
第１及び第２の実施形態の構成においては、ＡＦ信号処理部１１３は撮像面位相差ＡＦに対応する制御を行うものとして説明した。しかしながら、本発明はこれに限定されるものではない。本実施形態では、ＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち、焦点検出に用いられる領域の信号のみを通すＡＦゲートを通過した信号から高周波成分や輝度差成分（ＡＦゲートを通過した信号の輝度レベルの最大値と最小値の差分）等を抽出してＡＦ評価値信号を生成する。ＡＦ評価値信号は、カメラマイコン１１４に入力される。ＡＦ評価値信号は、撮像素子１０６から出力される映像信号の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的にＡＦ評価値信号は撮像光学系の焦点状態を表す信号となる。

カメラマイコン１１４は、このＡＦ評価値信号を用いるＴＶ−ＡＦ方式でのＡＦ制御（以下、単に「ＴＶ−ＡＦ」という）を行ってコンティニュアスＡＦ動作を実現してもよい。ＴＶ−ＡＦ方式とは上記のようなコントラスト検出により焦点検出を行う焦点検出方式である。

この場合も第１及び第２の実施形態と同様に、第２のコンティニュアスＡＦ動作では、第１のコンティニュアスＡＦ動作に比較して、不要なフォーカスレンズの移動を制限する。より具体的には、ＡＦ動作の停止、サーチ動作の禁止、フォーカスレンズの駆動量や駆動速度の低減、駆動周期を長くする等により、フォーカスレンズの移動を制限する。これにより、部品の摩耗を抑制することが可能となる。

なお、上記の実施形態では、画像処理コントローラ１２０は、ロボットアーム１３０と別々の構成としていたが、ロボットアーム１３０内に画像処理コントローラ１２０が搭載されている構成でもよい。

また、ロボットアーム１３０の動作情報は、予め決められた所定量以上移動した場合に、制御部に通知するようにしてもよい。これは、ワークに対してピックする際の少しの動きでＡＦ動作が開始されてしまわないようにするためである。

＜本発明の実施形態による利点＞
以上説明したように、本発明の各実施形態では、ロボットアームにコンティニュアスＡＦ機能を有するカメラを搭載した場合に、ロボットアームの動作状態に基づいてコンティニュアスＡＦ動作を変更する。

ロボットアームが動作中の場合、もしくはロボットアームが光軸に沿う方向に移動していない場合には、不用なフォーカスレンズの移動を制限する。さらには、その動作状態に応じて、コンティニュアスＡＦ動作の再起動を行う。

このように、ロボットアームの動作状態に基づいてコンティニュアスＡＦ動作の制御を制限することにより、不要なタイミングでのフォーカスレンズの移動を制限することができる。これにより、部品の摩耗を抑制し耐久性を向上させつつ、カメラ制御時間の短縮を図りスムーズなロボット制御を実現することが可能となる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置、１０５：フォーカスレンズ、１０６：撮像素子、１０８：カメラ信号処理部、１１４：カメラマイクロコンピュータ、１１６：通信装置、１２０：画像処理コントローラ、１３０：ロボットアーム

Claims (18)

1. ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムであって、
   前記制御装置は、
   前記撮像装置に対して、前記ロボットアームの動作状態の情報を通知する通知手段を備え、
   前記撮像装置は、
   被写体像を撮像する撮像手段と、
   被写体に対して撮像光学系の焦点を合わせる自動焦点調節手段と、
   前記自動焦点調節手段が、被写体に対して連続的に前記撮像光学系の焦点を合わせる連続焦点調節動作を行う場合に、前記通知手段により前記制御装置から通知された前記ロボットアームの動作状態の情報に基づいて、前記連続焦点調節動作を変更する変更手段と、を備える、
   ことを特徴とする撮像システム。
2. 前記変更手段は、前記ロボットアームの動作状態の情報に基づいて、前記連続焦点調節動作を制限するか否かを変更することを特徴とする請求項１に記載の撮像システム。
3. 前記変更手段は、前記ロボットアームの動作状態が動作中である場合には、前記連続焦点調節動作を制限することを特徴とする請求項２に記載の撮像システム。
4. 前記ロボットアームの動作状態の情報は、前記ロボットアームの動作方向を示す情報も含み、前記変更手段は、前記ロボットアームの動作方向が前記撮像装置の光軸に沿う方向でない場合には、前記連続焦点調節動作を制限することを特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。
5. 前記変更手段は、前記ロボットアームの動作状態が動作中であり、かつ前記自動焦点調節手段による連続焦点調節動作が停止中の場合には、前記自動焦点調節手段による連続焦点調節動作を再起動することを特徴とする請求項１乃至４のいずれか１項に記載の撮像システム。
6. 前記自動焦点調節手段は、前記連続焦点調節動作が制限された場合には、前記撮像光学系に配置されたフォーカスレンズの駆動を停止することを特徴とする請求項１乃至５のいずれか１項に記載の撮像システム。
7. 前記自動焦点調節手段は、前記連続焦点調節動作が制限された場合には、前記連続焦点調節動作が制限されない場合に比べて、前記撮像光学系に配置されたフォーカスレンズの駆動量を変更することを特徴とする請求項１乃至５のいずれか１項に記載の撮像システム。
8. 前記自動焦点調節手段は、前記連続焦点調節動作が制限された場合には、前記連続焦点調節動作が制限されない場合に比べて、前記撮像光学系に配置されたフォーカスレンズの駆動量を小さくすることを特徴とする請求項７に記載の撮像システム。
9. 前記自動焦点調節手段は、前記連続焦点調節動作が制限された場合には、前記撮像光学系に配置されたフォーカスレンズの合焦位置を探索するサーチ駆動を禁止することを特徴とする請求項１乃至５のいずれか１項に記載の撮像システム。
10. 前記自動焦点調節手段は、前記連続焦点調節動作が制限された場合には、前記連続焦点調節動作が制限されない場合に比べて、前記撮像光学系に配置されたフォーカスレンズの駆動速度を変更することを特徴とする請求項１乃至５のいずれか１項に記載の撮像システム。
11. 前記自動焦点調節手段は、前記連続焦点調節動作が制限された場合には、前記連続焦点調節動作が制限されない場合に比べて、前記撮像光学系に配置されたフォーカスレンズの駆動速度を遅くすることを特徴とする請求項１０に記載の撮像システム。
12. 前記自動焦点調節手段は、前記連続焦点調節動作が制限された場合には、前記連続焦点調節動作の処理周期を変更することを特徴とする請求項１乃至５のいずれか１項に記載の撮像システム。
13. 前記自動焦点調節手段は、前記連続焦点調節動作が制限された場合には、前記連続焦点調節動作が制限されない場合に比べて、前記連続焦点調節動作の処理周期を長くすることを特徴とする請求項１２に記載の撮像システム。
14. ロボットアームに取り付けられた撮像装置であって、
    被写体像を撮像する撮像手段と、
    被写体に対して撮像光学系の焦点を合わせる自動焦点調節手段と、
    前記ロボットアームの動作状態の情報を受信する受信手段と、
    前記自動焦点調節手段が、被写体に対して連続的に前記撮像光学系の焦点を合わせる連続焦点調節動作を行う場合に、前記受信手段により受信した前記ロボットアームの動作状態の情報に基づいて、前記連続焦点調節動作を変更する変更手段と、
    を備えることを特徴とする撮像装置。
15. ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムを制御する方法であって、
    前記制御装置が、前記撮像装置に対して、前記ロボットアームの動作状態の情報を通知する通知工程と、
    前記撮像装置が、被写体に対して連続的に撮像光学系の焦点を合わせる連続焦点調節動作を行う場合に、前記通知工程において通知された前記ロボットアームの動作状態の情報に基づいて、前記連続焦点調節動作を変更する変更工程と、
    を有することを特徴とする撮像システムの制御方法。
16. ロボットアームに取り付けられた撮像装置を制御する方法であって、
    被写体に対して撮像光学系の焦点を合わせる自動焦点調節工程と、
    前記ロボットアームの動作状態の情報を受信する受信工程と、
    前記自動焦点調節工程において、被写体に対して連続的に前記撮像光学系の焦点を合わせる連続焦点調節動作を行う場合に、前記受信工程において受信した前記ロボットアームの動作状態の情報に基づいて、前記連続焦点調節動作を変更する変更工程と、
    を有することを特徴とする撮像装置の制御方法。
17. 請求項１５または１６に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
18. 請求項１５または１６に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images