JP2020015128A - センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム - Google Patents

Abstract

【課題】対象の検出を行うシステムの作動の成功又は失敗の原因究明の容易化、設定チェックの容易化、又は、設定の容易化、状態変化、計算結果の可視化等を図ることができるセンシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラムを提供する。【解決手段】このセンシングシステムは、対象Ｏの位置の検出に用いられる検出装置２０と、制御装置４０と、を備え、検出装置２０を用いた対象Ｏの検出に関する設定、搬送装置１０の設定、および対象Ｏに対して作業を行うロボット３０の設定のうち少なくとも１つと、制御装置４０が認識している対象Ｏの位置と、対象Ｏの検出の結果と、搬送装置１０の作業予定と、ロボット３０の作業予定と、制御装置４０の判断結果と、対象Ｏに関するパラメータとのうち、少なくとも１つを示す拡張現実画像を、制御装置４０が表示装置による表示又は投影装置による投影のために作成する。【選択図】図１

Description

本発明はセンシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラムに関する。

従来、搬送装置によって搬送されている対象の位置を検出するための視覚センサと、視覚センサによる検出結果に基づき対象の取出作業を行うロボットとを備えた作業システムが知られている（例えば、特許文献１参照。）。
また、ロボットの三次元モデルと、三次元座標上の作業者の視点の位置とに基づき、ロボットの教示された動作の軌跡を表示装置に表示するシステムが知られている（例えば、特許文献２参照。）。

特開２００５−１１１６０７号公報 特開２０１７−１００２３４号公報

搬送装置によって搬送されている対象もしくは移動している対象にロボットによって作業を行うシステムにおいて、ロボットによる対象に対する作業が成功しなかった際に、その原因を確認する必要がある。この確認のために、現在は、ロボットを制御している制御装置内の処理を全て記録し、記録された処理を読み解く必要がある。このように記録された処理はテキストデータであることが多いため、原因の調査に長時間を要する。または専用の解析ソフトを用意して解析する必要があり費用がかかってしまう。また専用の解析ソフトをもってしても直感的に現象を理解するのは困難であった。

一方、前記作業システムでは、搬送装置の座標系、ロボットの作業領域、視覚センサの位置等がロボットの制御装置において設定されるが、設定されたこれらの位置と現実空間の搬送装置、ロボット、視覚センサ等との関係を直感的に認識することができない。このため、設定の間違いに気付かずに生産が開始される場合があった。その結果、ロボットと周辺機器との干渉、ロボットによる対象の取出しの失敗等が発生していた。
また、対象に対してロボットが作業しなかった場合に、原因が各種センサの計測によるのか、対象の位置計算にあるのか、判別がつかず調整に時間を要していた。

また、教示操作盤を用いたロボットの制御装置の設定、例えば座標系の設定、ロボットの作業領域の設定等は、ロボットの操作をよく知る作業者でも長時間を要することがあり、ロボットの操作に未熟な作業者はさらに長い時間を要する。

本発明は、前述の事情に鑑みてなされている。本発明の目的の一つは、対象の検出を行うシステムの作動の成功又は失敗の原因究明の容易化、当該システムの設定チェックの容易化、又は、当該システムの設定の容易化、状態変化、計算結果の可視化を図ることができるセンシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラムの提供である。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明の第１態様のセンシングシステムは、対象を移動させる移動手段によって移動している前記対象の少なくとも位置の検出に用いられる検出装置と、制御装置と、を備え、前記制御装置が認識している設定であって、前記検出装置を用いた前記対象の検出に関する設定、前記移動手段の設定、および前記対象に対して作業を行う作業機械の設定のうち少なくとも１つと、前記設定に基づいて前記制御装置が認識している前記対象の位置と、前記検出装置を用いた前記対象の検出の結果と、前記移動手段の作業予定と、前記作業機械の作業予定と、前記作業機械による前記作業の実行に関する前記制御装置の判断結果と、前記制御装置が認識している前記対象に関するパラメータとのうち、少なくとも１つを示す拡張現実画像を、前記制御装置が表示装置による表示又は投影装置による投影のために作成する。

以下、「拡張現実画像」は「ＡＲ画像」と記載される場合もある。
当該態様では、制御装置が認識している検出装置を用いた対象の検出に関する設定、移動手段の設定、対象に対して作業を行う作業機械の設定等のＡＲ画像が表示装置による表示または投影装置による投影のために作成される。例えば、検出装置の検出領域を示すＡＲ画像、移動手段の搬送方向を示すＡＲ画像、作業機械の作業領域を示すＡＲ画像等が作成される。このため、オペレータはこれらを容易に認識することができる。

また、当該態様では、前記設定に基づいて制御装置が認識している対象の位置、検出装置を用いた対象の検出の結果、移動手段の作業予定、作業機械の作業予定、作業機械による作業の実行に関する制御装置の判断結果、制御装置が認識している対象に関するパラメータ等も、オペレータが視覚的に認識することができ、これにより、制御装置内で実際に行われている処理をオペレータが容易に知ることができる。
このように制御装置内の設定、処理等を視覚的に認識することは、システムの作動の成功又は失敗の原因究明の容易化に繋がる。

上記態様において、好ましくは、前記投影装置が、前記拡張現実画像を現実空間に投影するものであり、前記表示装置が、前記拡張現実画像を、現実空間像又は現実空間と共に見えるように表示するものである。
ＡＲ画像が現実空間に投影される場合は、オペレータは現実空間において制御装置内の設定、処理等を視覚的に認識することができ、複数人でディスカッションする場合に特に適している。ＡＲ画像が現実空間像又は現実空間と共に見えるように表示装置によって表示される場合は、システムの全体を見なくても、表示装置内を見るだけでオペレータはＡＲ画像と現実空間との関係を視覚的に認識できる。また、表示装置がＡＲ画像を現実空間像と共に表示する場合は、現場にいない場合でも、状況を把握可能となり、システム監視に特に適している。ＡＲ画像を現実空間に付加する場合は、実際に見ながら作業する場合に特に適している。

上記態様において、好ましくは、前記制御装置が、前記制御装置が認識している前記対象の前記位置と、前記対象の前記検出の結果と、前記移動手段の前記作業予定と、前記作業機械の前記作業予定と、前記制御装置の前記判断結果と、前記対象に関する前記パラメータとのうち少なくとも１つを示す前記拡張現実画像を、前記作業機械が前記作業を行っている際に更新する。

当該態様では、表示装置による表示又は投影装置による投影のために、これらのＡＲ画像が更新されるので、オペレータはこれらに関する制御装置の設定、処理等の動的な変化を視覚的に認識することができる。

上記態様において、好ましくは、前記制御装置が、前記作業機械を制御するものであり、所定の入力装置を用いた入力に応じて前記表示装置に表示されている前記拡張現実画像又は前記投影装置によって投影されている前記拡張現実画像の少なくとも１つを選択する選択処理と、前記所定の入力装置を用いた入力に応じて選択された、前記表示装置によって表示されている前記拡張現実画像又は前記投影装置によって投影されている前記拡張現実画像を移動する移動処理と、を行う拡張現実画像操作手段と、選択された前記拡張現実画像の移動情報に応じて、前記制御装置において前記作業機械を制御するために設定されているパラメータ又は計算されているパラメータを変更する設定調整手段と、を備える。

当該態様では、オペレータが所定の入力装置を用いてＡＲ画像を移動させ、設定調整手段が、制御装置において設定されているパラメータ又は計算されているパラメータを変更する。このため、オペレータは直感的に作業機械を制御するための設定を変更することが可能となり、これは熟練したオペレータにとっても制御装置の設定の正確性および作業効率を向上するために有用である。

上記態様において、好ましくは、前記制御装置が複数の前記拡張現実画像を作成するものであり、前記表示装置又は前記投影装置が、所定の入力部への入力に応じて、前記複数の拡張現実画像のうち選択された前記拡張現実画像を表示又は投影するものである。
または、前記制御装置がリアルタイムで前記拡張現実画像を作成、記録するものであり、前記表示装置が、所定の入力部への入力もしくは制御装置またはセンサにおける所定の条件の成立に応じて、その時点のもしくは直近の複数の拡張現実画像のうち選択された前記拡張現実画像を表示するものである。
当該態様では、オペレータは入力部への入力や制御装置やセンサへの条件設定を用いて表示するＡＲ画像を選ぶことができる。このため、任意の時点や事象発生時の制御装置の処理、設定等をオペレータがより容易に認識することが可能になり、システムの作動の成功又は失敗の原因究明の容易化、システムの稼働率向上を図るためにも極めて有用である。

上記態様において、好ましくは、前記制御装置によって作成された前記拡張現実画像を、対応する現実空間像と共に記憶する記憶部を備える。
当該態様では、ＡＲ画像が対応する現実空間像と共に記憶される。このため、オペレータは、記憶されたＡＲ画像を現実空間像と共に再生することができ、これはシステムの設定チェックの容易化、システムの設定の容易化、およびシステムの作動の成功又は失敗の原因究明の容易化のために極めて有利である。

上記態様において、好ましくは、前記記憶部に記憶されている前記拡張現実画像を再生する、もしくは前記現実空間像とともに再生する再生手段を備える。
当該態様では、オペレータは再生手段によって記憶されたＡＲ画像を現実空間像と共に任意の場所で容易に再生することができる。
または、実空間上の装置を見ながら拡張現実画像を再生することで、稼働率改善のための調整を現場で行うことができる。

本発明の第２態様のセンシングシステムは、所定の移動手段によって移動している対象の少なくとも位置の検出に用いられる検出装置と、前記対象に作業を行う作業機械を前記検出装置の検出結果を用いて制御する制御装置と、前記作業機械が前記作業を行っている際に、前記検出装置の検出結果に基づき前記制御装置が認識している前記対象の位置と、前記移動手段の作業予定と、前記作業機械の作業予定と、前記作業機械による作業の実行に関する前記制御装置の判断結果と、前記制御装置が認識している前記対象に関するパラメータとのうち、少なくとも１つを示す拡張現実画像を逐次作成する拡張現実画像作成手段と、前記拡張現実画像作成手段によって作成された前記拡張現実画像を、対応する現実空間像と共に記憶する記憶部とを備える。

当該態様では、ＡＲ画像が対応する現実空間像と共に記憶される。このため、オペレータは、記憶されたＡＲ画像を現実空間像と共に再生することができ、これはシステムの設定チェックの容易化、システムの設定の容易化、およびシステムの作動の成功又は失敗の原因究明の容易化のために極めて有利である。
上記態様において、好ましくは、前記記憶部に記憶されている前記拡張現実画像を再生する、もしくは前記現実空間像と共に再生する再生手段を備える。

本発明の第３態様のセンシングシステムは、対象を移動させる移動手段によって移動している複数の対象の検出に用いられる検出装置と、前記検出装置によって得られる画像データに前記対象の検出のための画像処理を行う対象検出手段と、前記画像処理が行われた処理後画像内にあらわれる複数の候補のうち所定のパラメータが検出閾値以上である候補に対応する拡張現実画像を作成し、前記複数の候補のうち前記所定のパラメータが前記検出閾値未満且つ検出候補閾値以上である候補に対応する候補拡張現実画像を作成する拡張現実画像作成手段と、前記拡張現実画像および前記候補拡張現実画像を表示する表示装置と、を備える。

当該態様では、所定のパラメータが検出閾値以上である候補に対応するＡＲ画像だけではなく、所定のパラメータが検出閾値未満であるが検出候補閾値以上である候補に対応する候補ＡＲ画像も表示装置に別の色など区別可能な様式で表示される。このため、検出閾値の変更、検出のためのライティング（照明）の変更、その他の設定の変更等によって検出される対象を増やす作業が容易となり、当該作業後の結果の確認も容易となる。

上記態様において、好ましくは、前記候補拡張現実画像が前記拡張現実画像と区別可能な態様で作成される。
当該態様により、オペレータは、候補ＡＲ画像に対応する対象の存在を容易に認識することができる。
なお、作成された前記拡張現実画像が記憶装置に保存されてもよい。

上記態様において、好ましくは、前記拡張現実画像作成手段が、前記候補拡張現実画像に付随する検出結果の拡張現実画像を作成し、前記表示装置又は前記投影装置によって、前記候補拡張現実画像と共に前記検出結果の拡張現実画像が表示又は投影される。
当該態様では、候補ＡＲ画像と共に表示される検出結果に基づき、オペレータは、検出装置に関するパラメータ設定をより容易に行うことが可能となる。

本発明の第４態様の作業システムは、前記センシングシステムと前記作業機械とを備える。

本発明の第５態様は、対象を移動させる移動手段によって移動している前記対象の検出結果に基づき制御装置が作業機械又は所定の装置を制御するシステムに用いられる拡張現実画像の表示方法であって、前記制御装置が認識している設定であって、前記対象の検出に関する設定、前記移動手段の設定、および前記作業機械の設定のうち少なくとも１つと、前記設定に基づいて前記制御装置が認識している前記対象の位置と、前記検出装置を用いた前記対象の検出の結果と、前記移動手段の作業予定と、前記作業機械の作業予定と、前記作業機械による作業の実行に関する前記制御装置の判断結果と、前記制御装置が認識している前記対象に関するパラメータとのうち、少なくとも１つを示す拡張現実画像を前記制御装置が作成するステップと、作成された前記拡張現実画像を表示装置によって表示する又は投影装置によって投影するステップと、を有する。

本発明の第６態様は、対象を移動させる移動手段によって移動している前記対象の検出結果に基づき制御装置が作業機械を制御するシステムに用いられる拡張現実画像の記憶方法であって、前記作業機械が前記作業を行っている際に、前記検出結果に基づき前記制御装置が認識している前記対象の位置と、前記移動手段の作業予定と、前記作業機械の作業予定と、前記作業機械による作業の実行に関する前記制御装置の判断結果と、前記制御装置が認識している前記対象に関するパラメータとのうち、少なくとも１つを示す拡張現実画像を逐次作成する拡張現実画像作成ステップと、前記拡張現実画像作成ステップによって作成された前記拡張現実画像を、対応する現実空間像と共に記憶する記憶ステップと、を有する。

本発明の第７態様は、対象を移動させる移動手段によって移動している複数の前記対象の検出のために画像処理を行うシステムに用いられる拡張現実画像の表示方法であって、前記画像処理が行われた処理後画像内にあらわれる複数の候補のうち所定のパラメータが検出閾値以上である候補に対応する拡張現実画像を作成し、前記複数の候補のうち前記所定のパラメータが前記検出閾値未満且つ検出候補閾値以上である候補に対応する候補拡張現実画像を作成するステップと、前記拡張現実画像および前記候補拡張現実画像を表示する表示ステップと、を有する。

本発明の第８態様は、対象を移動させる移動手段によって移動している前記対象の検出結果に基づき制御装置が作業機械又は所定の装置を制御するシステムに用いられるプログラムであって、コンピュータに、前記制御装置が認識している設定であって、前記対象の検出に関する設定、前記移動手段の設定、および前記作業機械の設定のうち少なくとも１つと、前記設定に基づいて前記制御装置が認識している前記対象の位置と、前記検出装置を用いた前記対象の検出の結果と、前記移動手段の作業予定と、前記作業機械の作業予定と、前記作業機械による作業の実行に関する前記制御装置の判断結果と、前記制御装置が認識している前記対象に関するパラメータとのうち、少なくとも１つを示す拡張現実画像を前記制御装置が作成する処理と、作成された前記拡張現実画像を表示装置によって表示する又は投影装置によって投影する処理と、を実行させる。

本発明の第９態様は、対象を移動させる移動手段によって移動している前記対象の検出結果に基づき制御装置が作業機械を制御するシステムに用いられるプログラムであって、コンピュータに、前記作業機械が前記作業を行っている際に、前記検出結果に基づき前記制御装置が認識している前記対象の位置と、前記移動手段の作業予定と、前記作業機械の作業予定と、前記作業機械による作業の実行に関する前記制御装置の判断結果と、前記制御装置が認識している前記対象に関するパラメータとのうち、少なくとも１つを示す拡張現実画像を逐次作成する拡張現実画像作成処理と、前記拡張現実画像作成処理によって作成された前記拡張現実画像を、対応する現実空間像と共に記憶する記憶処理と、を実行させる。

本発明の第１０態様は、対象を移動させる移動手段によって移動している複数の前記対象の検出のために画像処理を行うシステムに用いられるプログラムであって、コンピュータに、前記画像処理が行われた処理後画像内にあらわれる複数の候補のうち所定のパラメータが検出閾値以上である候補に対応する拡張現実画像を作成し、前記複数の候補のうち前記所定のパラメータが前記検出閾値未満且つ検出候補閾値以上である候補に対応する候補拡張現実画像を作成する処理と、記拡張現実画像および前記候補拡張現実画像を表示する表示ステップと、を実行させる。

本発明によれば、対象の検出を行うシステムの作動の成功又は失敗の原因究明の容易化、当該システムの設定チェックの容易化、又は当該システムの設定の容易化、又は状態変化確認の効率化、システム調整の簡易化、を図ることができる。

本発明の一実施形態のセンシングシステムの概略構成および動作の一例を示す図である。 本実施形態のセンシングシステムの制御装置のブロック図である。 本実施形態のセンシングシステムの表示装置による表示の例を示す図である。 本実施形態のセンシングシステムの表示装置による表示の例を示す図である。 本実施形態のセンシングシステムの表示装置による表示の例を示す図である。

本発明の一実施形態に係るセンシングシステムについて、図面を用いながら以下説明する。
本実施形態のセンシングシステムは、図１に示されるように、物品である対象Ｏを搬送する移動手段としての搬送装置１０と、搬送装置１０によって搬送される対象Ｏの検出に用いられる検出装置２０と、搬送装置１０によって搬送されている対象Ｏに対して所定の作業を行う作業機械であるロボット３０と、ロボット３０を制御する制御装置４０と、拡張現実装置６０（図２）とを備えている。本実施形態のセンシングシステムは、センシングされた対象Ｏに対して作業機械であるロボット３０が所定の作業を行うシステムであるから、作業システムでもある。

搬送装置１０はモータ１１を駆動することによって対象Ｏを搬送するものである。モータ１１は作動位置検出装置１２を備えており、作動位置検出装置１２はモータ１１の出力軸の回転位置および回転量を逐次検出する。作動位置検出装置１２は例えばエンコーダであり、作動位置検出装置１２の検出値は制御装置４０に送信される。
なお、エンコーダを使わずに検出装置２０によって対象Ｏの作動位置を検知しても良い。
対象Ｏは、車体、フレーム、部品、食品、医薬品等、様々な物であり得る。図１に示されている搬送装置１０以外の搬送装置を用いることも可能であり、搬送装置１０は対象Ｏを搬送することができるものであればよい。

検出装置２０は、二次元カメラ、三次元カメラ、三次元距離センサ等であり、検出装置２０は得られる画像データ（検出結果）もしくは三次元距離センサの検出点群（検出結果）を制御装置４０に送信する。後述のように、制御装置４０は、画像データや点群に基づき対象Ｏの位置および姿勢を検出する。

ロボット３０は特定の種類のロボットに限定されないが、本実施形態のロボット３０は、複数の可動部をそれぞれ駆動する複数のサーボモータ３１を備えている多関節ロボットである（図２参照）。なお、複数の可動部によってロボット３０のアーム３０ａが構成されている。各サーボモータ３１はその作動位置を検出するための作動位置検出装置を有し、作動位置検出装置は一例としてエンコーダである。作動位置検出装置の検出値は制御装置４０に送信される。これにより、制御装置４０はロボット３０の各部の位置、速度、加速度等を認識することができる。

ロボット３０は、その先端部に設けられたツール５０の種類に応じた所定の作業を対象Ｏに対して行う。ツール５０はロボット用ツールであればよく、把持ツール、吸着ツール、加工ツール、清掃ツール、組立用ツール、測定ツール、各種センサ、ビジョンシステム用のカメラ等である。加工ツールは、例えば、電動ドリル等の穴あけツール、先端にタップが付いているねじ形成ツール、電動研磨ツール、塗装ガン等の塗装ツール、サーボガン等の溶接ツール等である。組立に用いるツールは、例えば、電動ドライバ、ピンを把持して穴に挿入するツール等である。測定ツールは、例えば、膜厚測定器、超音波を用いた内部検査装置、硬度測定器、非接触式の温度計、接写式のカメラ等である。なお、対象Ｏは物品に設けられた孔、加工対象部等でもよい。

本実施形態のツール５０はハンドであり、ロボット３０はツール５０によって搬送装置１０上の対象Ｏの取出しを行う。
ツール５０は爪を駆動するサーボモータ５１を備えている（図２参照）。サーボモータ５１はその作動位置を検出するための作動位置検出装置を有し、作動位置検出装置は一例としてエンコーダである。作動位置検出装置の検出値は制御装置４０に送信される。

ロボット３０の座標系と搬送装置１０の座標系とは対応付けられている。本実施形態では、ロボット３０の先端部に設けられた設定ツールを搬送装置１０上に設置されたキャリブレーション治具の複数の所定箇所に接触させることによって、ロボット３０および搬送装置１０の座標系として用いられる基準座標系が設定される。また、検出装置２０が得る前記キャリブレーション治具の画像データに基づき、検出装置２０の位置姿勢（センサ座標系）が基準座標系に関連付けられている。

制御装置４０は、図２に示されるように、ＣＰＵ、ＲＡＭ等を有する制御部４１と、制御装置４０の設定、メニュー等を表示する制御装置表示部４２と、不揮発性ストレージ、ＲＯＭ等を有する記憶部４３と、ロボット３０のサーボモータ３１にそれぞれ対応している複数のサーボ制御器４４と、ハンド５０のサーボモータ５１に対応しているサーボ制御器４５と、制御装置４０に接続された入力部４６とを備えている。入力部４６は、オペレータが持ち運べる操作盤等の入力装置である。入力部４６が制御装置４０と無線通信を行う場合もある。

記憶部４３にはシステムプログラム４３ａが格納されており、システムプログラム４３ａは制御装置４０の基本機能を担っている。また、記憶部４３には動作プログラム４３ｂ、対象検出プログラム４３ｃ等が格納されている。制御部４１は、対象検出プログラム４３ｃに基づき、検出装置２０から送信される画像データに、物品Ｏの検出のために、周知の画像処理、重心位置の検出処理、パターンマッチング処理、その他の必要な処理等を行い、搬送装置１０によって搬送されている対象Ｏの位置、姿勢等を検出する。なお、検出装置２０が前記画像処理、検出処理、およびパターンマッチング処理等を行うことができる場合は、制御部４１は検出装置２０と重複する処理をする必要はない。

また、制御部４１は、対象検出プログラム４３ｃに基づき、搬送装置１０によって搬送されている対象Ｏの少なくとも位置および姿勢を、対象Ｏが検出された直後から、作動位置検出装置１２の検出結果（搬送装置１０の動作の検出結果）を用いて追跡する（トラッキング）。このように、制御部４１は、検出装置２０から送信される画像データおよび作動位置検出装置１２の検出結果に基づき、搬送装置１０によって搬送されている対象Ｏの位置、速度、移動量等を検出できる。

拡張現実装置６０はＣＰＵ、ＲＡＭ等を有する制御部と、不揮発性ストレージ、ＲＯＭ等を有する記憶部と、キーボード等の入力部とを有する。一例では、図２に示されるように、搬送装置１０およびロボット３０を撮像するために所定位置に設置されたカメラ６１と、カメラ６１によって撮像された現実空間像を表示する表示装置６２とを備えている。表示装置６２はタブレット端末、ヘッドマウントディスプレイ、ＡＲ表示機能付きメガネ等の公知の表示装置を用いることが可能である。この場合、カメラ６１はタブレット端末又はヘッドマウントディスプレイ、ＡＲ表示機能付きメガネに搭載されていてもよい。カメラ６１によって撮像された画像データは制御装置４０に送信される。また、表示装置６２は制御装置４０から送信される拡張現実画像データを表示する。拡張現実画像は三次元画像であってもよく、二次元画像であってもよい。以下、「拡張現実」は「ＡＲ」と記載される場合もある。カメラ６１が得る前記キャリブレーション治具やロボットに貼られたマークやロボット自身の形状の画像データに基づき、カメラ６１の位置および姿勢（カメラ座標系）が基準座標系に関連付けられても良い。実空間とＡＲ画像との位置関係を次元を変えずに関連付けるためには、カメラ６１により得られる前記現実空間像は三次元カメラにより得られる三次元画像であることが好ましいが、前記現実空間像として２次元画像を取得する他の種類のカメラを用いることも可能である。
なお、基準座標系の関連付けは自動で行われても良いし、ユーザーが直接ＡＲ画像を操作して手動で座標系を合わせても良い。
また、基準座標系の関連付けを行わなくても良い。この場合は、現実とＡＲ画像が重畳しなくなるが、現実空間上の物体の相対関係とＡＲ画像上の物体の相対関係は一致しており、ＡＲ画像上の物体の相対関係に異常があれば実際の設定も正確でないことが分かる。

（拡張現実表示の基本処理）
制御部４１は、記憶部４３に格納されているＡＲ画像作成プログラム４３ｄに基づき、検出装置２０を用いた対象Ｏの検出に関する設定と、搬送装置１０の設定と、ロボット３０の設定と、前記設定に基づいて制御部４１が認識している対象Ｏの位置および姿勢と、検出装置２０による対象Ｏの検出の結果と、搬送装置１０の作業予定と、ロボット３０の作業予定と、ロボット３０による作業の実行に関する制御部４１の判断結果と、制御部４１が認識している対象Ｏに関するパラメータとのうち、少なくとも１つに関係しているＡＲ画像データを逐次作成し、作成したＡＲ画像データを表示装置６２に送信する。ＡＲ画像の位置および姿勢はカメラ座標系又は基準座標系に基づいて調整される。これにより、表示装置６２には、カメラ６１から受信する現実空間像および制御装置４０から受信するＡＲ画像が表示される。
なお、制御部４１からデータを取得して拡張現実装置６０でＡＲ画像を作成しても良い。
制御装置４０と拡張現実装置６０間の通信は有線ケーブルでつないでも良いし、無線で通信しても良い。

図１の例では、検出装置２０を用いた対象Ｏの検出に関する設定として、検出装置２０のセンサ座標系のＡＲ画像７１と、検出装置２０の検出範囲のＡＲ画像７２とが表示されている。検出装置２０を用いた対象Ｏの検出に関する設定として、検出装置２０の位置および方向を示すＡＲ画像が表示されてもよく、検出装置２０のフレームレート、検出装置２０の位置および方向、検出装置２０の絞りや露光時間の調整値、検出装置２０の使用開始後の経過時間等がインジゲータ、数値、文字等のＡＲ画像として表示されてもよい。インジゲータは色によって程度をあらわすものであってもよい。

検出範囲のＡＲ画像７２の位置および範囲は、キャリブレーションに基づき設定され、当該設定に例えば画像データ中の搬送装置１０上のマーク、模様、対象Ｏ等の位置および大きさが基準として用いられてもよい。検出範囲のＡＲ画像７２が表示される場合、オペレータは、搬送装置１０上への対象Ｏの載置が適切か否か、検出範囲とロボット３０の作業範囲との関係等を容易に確認することができる。

図１の例では、制御部４１によって検出された対象Ｏの位置および姿勢に基づいて、制御部４１が認識している対象Ｏの位置および姿勢を示すＡＲ画像７３が表示されている。図１は、ＡＲ画像７３と現実空間像の対象Ｏとが搬送装置１０の幅方向にずれている例を示す。本実施形態では、ＡＲ画像７３は対象Ｏの形状に類似又は一致した形状を有するが、ＡＲ画像７３は対象Ｏの位置、姿勢等を示す点、対象Ｏの移動方向、速度等を示す矢印、対象Ｏの抽象図、その他の代替図等であってもよい。前述および後述のその他のＡＲ画像についても同様の表示が可能である。ＡＲ画像７３の位置および姿勢は、制御部４１によって検出される対象Ｏの位置および姿勢に応じて変化する。

また、図１の例では、ロボット３０の設定である基準座標系がＡＲ画像７４として表示されている。ロボット３０の設定として、ロボット３０の現実の動作速度、ロボット３０の最高速度、ロボット３０の使用開始後の経過時間等がインジゲータ、数値、文字等のＡＲ画像として表示されてもよい。

ロボット３０の先端部、ツール５０、ツール５０によって把持された対象Ｏ等の速度又は加速度の計算結果がインジゲータ、数値、文字等のＡＲ画像として表示されると、ツール５０に加わる負荷、ツール５０によって把持された対象Ｏに加わる負荷、ツール５０の把持力の適否等を直感的に認識することができる。前記速度および前記加速度は、ロボット３０の手首フランジの回転が加味されたものでもよい。

また、図１の例では、ロボット３０の設定であるロボット３０の作業範囲がＡＲ画像７５として表示されている。本実施形態では、当該作業範囲はロボット３０が対象Ｏの取出作業を行う範囲である。当該構成によって、当該作業範囲とオペレータの行動範囲との関係、当該作業範囲と他のロボットの作業範囲との関係、作業内容に対する当該作業範囲の大きさ等をオペレータが直感的に認識することができる。

また、図１の例では、搬送装置１０の設定として、搬送装置１０の搬送方向のＡＲ画像７６が表示されている。搬送装置１０の設定として、搬送速度、使用開始後の経過時間等がインジゲータ、数値、文字等のＡＲ画像として表示されてもよい。
搬送装置１０の搬送方向は、例えば搬送装置１０によって搬送される対象Ｏの位置変化に基づき計算によって得られる。この場合、カメラ６１は搬送装置１０の上方に設けられていていることが好ましい。当該構成は、ＡＲ画像７４とＡＲ画像７６のとの関係の目視確認を可能とし、基準座標系等の設定に対する搬送装置１０の搬送方向が適切か否かの確認を行う上で有利である。

また、搬送装置１０の設定として、搬送装置１０の搬送速度を示すために、制御装置４０が認識している搬送装置１０のベルトのある特定の位置を指し示す指示マークのＡＲ画像７７が表示されてもよい。

また、ロボット３０の動作制限領域がＡＲ画像として表示装置６２に表示されてもよい。動作制限領域は、オペレータ、周辺機器等の周囲に設定される領域であって、ロボット３０の動作を停止又は制限する領域である。この場合、動作制限領域の設定範囲を直感的に認識することが可能となる。

また、検出装置２０による対象Ｏの検出の結果として、検出装置２０によって検出された画像、当該画像に前記画像処理を施すことによって得られた画像であって、対象Ｏの位置、姿勢、および形状をあらわす画像等が、ＡＲ画像として表示装置６２に表示されてもよい。

この場合、オペレータは、検出装置２０による対象Ｏの検出の適否を直感的に確認することができる。例えば、対象Ｏへのライティングの適否、対象Ｏへのライティングに対する検出閾値の適否、検出装置２０によって検出され制御装置４０が認識している対象Ｏの位置、姿勢、形状等の適否等を確認することができる。ライティングや検出閾値が適切でない場合、明るい部分又は暗い部分である対象Ｏの一部や全体が検出されない状況が発生し易くなる。また、検出装置２０によって検出される対象Ｏの位置、姿勢、および形状を実物と比較することによって、オペレータは直感的に検出装置２０の検出の適否を確認することができる。検出装置２０による検出はロボット３０による作業の成否、適否等に大きな影響を与えるので、当該構成は有用である。
なお、ＡＲ画像として表示装置６２に表示される対象Ｏの位置、姿勢、および形状は対象の検出装置２０の結果をもとに実際の対象の動きに合わせて逐次更新することも可能である。
また、任意の時点で、更新を停止して結果の確認を行うことが可能であると共に、記録された結果を再生することも可能である。

また、図３に示されるように、ロボット３０の作業予定として、制御部４１によって追跡される複数の対象Ｏに対しロボット３０が作業を行う予定順番、作業可否、作業の難度（対象Ｏの属性）、対象Ｏの種類、重量、硬度、材質（対象Ｏの属性）、対象Ｏの検査結果等を示すインジゲータ、数値、文字等が、ＡＲ画像７８として表示装置６２に表示されてもよい。ここで、予定順番、作業可否、および作業の難度は、作業の実行に関する制御部４１の判断結果でもあり、対象Ｏの種類、重量、硬度、材質、及び検査結果は制御部４１が認識している対象Ｏに関するパラメータである。
なお、表示装置６２に表示されるＡＲ画像７８を対象の検出装置２０の結果をもとに実際の対象の動きに合わせて逐次更新することも可能である。また、任意の時点で、更新を停止して結果の確認を行うことが可能であると共に、記録された結果を再生することも可能である。

この場合、オペレータは、ロボット３０の作業予定を直感的に認識することができる。例えば、図３に示されるように、ロボット３０の作業範囲を示す一対のＡＲ画像７５の間に配置されている複数の対象Ｏのうち搬送方向の下流側の対象Ｏの予定順序が適切でない場合、そのことを容易に確認することができる。

なお、図４に示すように、複数のロボット３０が対象Ｏに対する作業を行う場合、各ロボット３０について、作業を行う予定順番をＡＲ画像７９として表示装置６２に表示することができる。当該構成は、各ロボット３０の作業の分担等の直感的な認識を可能とする。作業順番のＡＲ画像７９が両方のロボット３０の制御装置４０の各々から表示装置６２に送信されてもよく、一方のロボット３０の制御装置４０から表示装置６２に送信されてもよい。また、ロボット３０に接続された上位制御装置から表示装置６２に作業順番のＡＲ画像７９が送信されてもよい。ここで、予定順番は作業の実行に関する制御部４１の判断結果でもある。
なお、表示装置６２に表示されるＡＲ画像７９を対象の検出装置２０の結果をもとに実際の対象の動きに合わせて逐次更新することも可能である。また、任意の時点で、更新を停止して結果の確認を行うことが可能であると共に、記録された結果を再生することも可能である。

また、搬送装置２０の作業予定として、制御部４１によって追跡されている複数の対象Ｏの近未来の予定位置および予定姿勢をＡＲ画像として表示装置６２に表示することも可能である。この場合、オペレータは対象Ｏの移動方向、移動中の姿勢等を容易に確認することができる。
なお、表示装置６２に表示される当該ＡＲ画像を対象の検出装置２０の結果をもとに実際の対象の動きに合わせて逐次更新することも可能である。また、任意の時点で、更新を停止して結果の確認を行うことが可能であると共に、記録された結果を再生することも可能である。

上記のようにＡＲ画像を表示装置６２に表示することによって、オペレータが、検出装置２０を用いた対象Ｏの検出に関する設定、搬送装置１０の設定、ロボット３０の設定、前記設定に基づいて制御部４１が認識している対象Ｏの位置および姿勢、検出装置２０による対象Ｏの検出の結果、搬送装置１０の作業予定、ロボット３０の作業予定、ロボット３０による作業の実行に関する制御部４１の判断結果、又は制御部４１が認識している対象Ｏに関するパラメータを直感的に認識することができる。これは設定、現象把握、現象の原因究明等のための作業時間の短縮、設定の改善による作業効率の向上、設定センスの向上等のために極めて有利である。

（作業対象とならない検出結果の表示）
図３および図４において、各ＡＲ画像７３は、ロボット３０が作業を行うことができる対象Ｏを作業対象として示している。これに対し、例えば対象Ｏの検出が不十分である時、検出された対象Ｏの姿勢が作業に適さない時等に、複数の対象Ｏのうち一部の対象Ｏに対してロボット３０が作業を実行しない、又は実行できない場合がある。例えば、対象Ｏの検出パラメータがその検出閾値未満である時に、当該対象Ｏは作業対象として検出されない。また、対象Ｏの検出画像の姿勢に関するパラメータがその姿勢閾値未満である時に、対象Ｏの姿勢が作業に適さないと判定される。

対象Ｏに対するライティング、対象Ｏの姿勢、対象Ｏの形状、対象Ｏの素材、絞り、露光時間を含む検出装置２０の設定等が、対象Ｏの適切な検出に影響する要因であり、作業対象として検出するか否かの判定に用いられる検出閾値の設定も影響する。検出閾値として、コントラストに関するパラメータ、モデルに対する形状の差異や類似度を示すパラメータ等を用いることが可能である。

制御部４１は、前記画像処理が行われた画像データ中の各々が対象Ｏ、異物、搬送装置１０上の汚れ等に対応する複数の候補のうち、所定のパラメータが検出閾値以上である候補に対応する前記ＡＲ画像７３を作成し、前記所定のパラメータが検出閾値未満且つ検出候補閾値以上である候補に対応するＡＲ画像（候補ＡＲ画像）８０を作成する（図５）。ここで、検出候補閾値は検出閾値よりも小さい。ＡＲ画像８０はＡＲ画像７３と区別できる表示態様で作成され、このためＡＲ画像８０はＡＲ画像７３と区別できる態様で表示装置６２に表示される。
当該構成により、オペレータは、検出閾値以上で検出される対象Ｏを増やすための前記要因の調整、検出閾値の調整等を、比較的容易に行うことができる。

また、制御部４１が、各ＡＲ画像８０に付随するスコア値のＡＲ画像８１を作成してもよい。スコア値はモデルと対象の類似度、一致度を示す指標であり、図５では、スコア値が大きいほど検出閾値に達する可能性が高い。スコア値は検出結果の一例であり、検出結果のＡＲ画像として、コントラスト値、検出位置、対象Ｏの種類情報、対象ＯのＩＤ情報、計測結果等のＡＲ画像が作成されてもよい。 ＡＲ画像８１が表示装置６２に表示されることによって、オペレータは、検出閾値以上で検出される対象Ｏを増やすための前記要因の調整、検出閾値の調整等を、より容易に行うことができる。
なお、ＡＲ画像７１〜８１は時間の経過とともに逐次作成、記録される（更新される）。このため、表示装置６２でもＡＲ画像７１〜８１が現実空間像に合わせて逐次更新される。
または、制御装置４０がリアルタイムでＡＲ画像７１〜８１を作成、記録するものであり、表示装置６２が、所定の入力部への入力もしくは制御装置４０またはセンサにおける所定の条件の成立に応じて、その時点のもしくは直近の複数のＡＲ画像７１〜８１のうち選択されたＡＲ画像を表示するように構成されていてもよい。

（再表示処理）
制御装置４０、拡張現実装置６０等は、表示装置６２に表示される現実空間像およびＡＲ画像７１〜８１を保存する機能を有する。制御装置４０が保存する場合は、記憶部４３に格納されている再生プログラム４３ｅに基づき、拡張現実装置６０から逐次受信するカメラ６１の画像データと、逐次作成されるＡＲ画像データとが、記憶部４３に少なくとも一時的に保存される。拡張現実装置６０が保存する場合は、拡張現実装置６０の記憶部に格納されている再生プログラムに基づき、カメラ６１の画像データと、制御装置４０から逐次受信するＡＲ画像データとが、拡張現実装置６０の記憶部に少なくとも一時的に保存される。他の装置、コンピュータ端末等において同様の保存が行われてもよい。

そして、制御装置４０又は拡張現実装置６０は、入力部４６又は拡張現実装置６０の入力部への操作に応じて、制御装置表示部４２、表示装置６２等において、保存されている現実空間像データおよびＡＲ画像データを用いた再生、スロー再生、再生中の一時停止表示等を行う。このため、オペレータは、現実空間像とＡＲ画像７１〜８１との重畳表示を繰返し見ることができる。

当該構成によって、オペレータは、検出装置２０を用いた対象Ｏの検出に関する設定、搬送装置１０の設定、ロボット３０の設定、前記設定に基づいて制御装置４０の制御部４１が認識している対象Ｏの位置および姿勢、検出装置２０による対象Ｏの検出の結果、搬送装置１０の作業予定、又はロボット３０の作業予定を、より正確に認識することができる。
なお、制御装置４０、拡張現実装置６０等が、保存されている現実空間像データおよびＡＲ画像データを他の表示装置に送信することも可能である。

（選択に応じた拡張現実画像の表示）
拡張現実装置６０は、選択されたＡＲ画像のみを表示装置６２に表示する機能を有する。例えば、拡張現実装置６０の入力部への操作に応じて、表示装置６２にＡＲ画像７１〜８１のうち選択されたＡＲ画像７１だけが表示される。図４において、複数のロボット３０のうち一方のロボット３０に関するＡＲ画像だけを表示装置６２に表示させることも可能である。

当該構成によって、必要に応じてオペレータは表示させるＡＲ画像を切り換えることができ、これは設定、現象把握、現象の原因究明等に関する作業時間の短縮のために有利である。
選択されたＡＲ画像のみを制御装置４０が表示装置６２に送信する場合でも、前述と同様の効果が達成される。

また、拡張現実装置６０が、選択された範囲のＡＲ画像のみを表示装置６２に表示する機能を持っていてもよい。例えば、拡張現実装置６０の入力部への操作に応じて、選択された範囲に存在するＡＲ画像だけが表示装置６２に表示される。
この場合も、オペレータは必要に応じてＡＲ画像を表示させる範囲を切り換えることができ、これは設定、現象把握、現象の原因究明等に関する作業時間の短縮のために有利である。
なお、表示装置６２がタッチスクリーン機能を有する場合、前記の選択された範囲は、表示装置６２に接触させる指、ペン等を中心とする所定範囲、指、ペン等で囲った範囲等であり得る。

なお、表示装置６２がヘッドマウントディスプレイやＡＲ機能付きメガネである場合、表示装置６２が装着者の視線を検出する視線検出装置を備えていてもよい。この場合、視線検出装置を前記拡張現実装置６０の入力部として機能させることが可能である。

（選択に応じた実行履歴の拡張現実画像の表示）
拡張現実装置６０は、選択されたＡＲ画像に関する実行履歴を表示装置６２に表示する機能を有する。例えば、拡張現実装置６０の入力部への操作に応じて、複数のＡＲ画像７３、８０のうち選択された１つのＡＲ画像７３又はＡＲ画像８０に対応する対象Ｏの、検出装置２０による撮像画像が、実行履歴として表示装置６２に表示されてもよい。実行履歴の表示場所は、表示装置６２においてＡＲ画像７３，８０と重ならない場所であることが好ましい。
なお、検出装置２０による撮像および制御部４１による検出処理が行われると、対象Ｏであり得る複数の候補が制御部４１によって認識される。制御部４１は、候補のそれぞれに対応する実行履歴を記憶部４３に保存することができる。
実行履歴は、センシングシステムの実行により得られた結果であればよく、測定結果、検出結果、撮像結果等であり得る。

（オブジェクトの選択および操作）
また、拡張現実装置６０、制御装置４０等が、所定の入力装置を用いた入力に応じて、表示装置６２に表示されている各ＡＲ画像７１〜８１の選択処理と、選択されたＡＲ画像の移動処理とを行ってもよい。
例えば、拡張現実装置６０が、その記憶部６３に格納されているＡＲ画像操作プログラム６３ａに基づき、所定の入力装置を用いた入力に応じて各ＡＲ画像７１〜８１のうち１つ又は複数を選択状態とし、選択されたＡＲ画像の位置および姿勢を所定の入力装置を用いた入力に応じて表示装置６２内で変更する。

検出された対象ＯのＡＲ画像７３の位置および姿勢を変更する際に、所定の入力装置で操作されたＡＲ画像７３の位置だけを変更することも可能であり、複数のＡＲ画像７３の位置を同一の移動距離又は対応する移動距離を用いて移動することも可能である。

所定の入力装置は、例えば表示装置６２に設けられたタッチスクリーンである入力装置、キーボード等を含んでいる。
また、拡張現実装置６０は、入力装置への入力に基づき、ＡＲ画像７１〜８１の移動情報を制御装置４０に送信し、制御装置４０の制御部４１は、記憶部４３に格納されている設定調整プログラム４３ｆに基づき、制御装置４０において設定されている各種パラメータ又は計算されている各種パラメータを、受信する移動情報に応じて変更する。

例えば、ＡＲ画像７１又はＡＲ画像７４の移動情報に応じて、制御装置４０が認識しているセンサ座標系又は基準座標系が変更される。検出範囲を変更するためのズーム機能、光軸変更機能、姿勢変更機能等を検出装置２０が有している場合は、ＡＲ画像７２の移動情報に応じて、制御装置４０が検出装置２０のこれらの機能に関する制御を行う。

また、ＡＲ画像７３又はＡＲ画像８０の移動情報に応じて、制御装置４０が認識している一部又は全部の対象Ｏの検出位置、姿勢等が変更される。ＡＲ画像７３又はＡＲ画像８０の移動情報に応じて、制御装置４０が認識している各対象Ｏの搬送速度、移動量等が変更されてもよい。一方、ＡＲ画像７７の移動情報に応じて、制御装置４０が認識している各対象Ｏの搬送速度、移動量等が変更されてもよい。
なお記録されたＡＲ画像に対して、各移動情報に応じて、各データを変更してもよい。

また、ＡＲ画像７５の移動情報に応じて、制御装置４０はロボット３０の作業範囲の設定を変更する。また、ＡＲ画像７６の移動情報に応じて、制御装置４０が認識している搬送装置１０の搬送方向が変更される。
なお、ＡＲ画像が移動される度に拡張現実装置６０が移動情報を制御装置４０に送信してもよいが、入力装置の入力に基づき移動情報が送信される構成の方が、制御装置４０の処理量の低減、設定ミスの低減等のために有利である。

なお、制御部４１が、あるＡＲ画像の移動情報を受信し、当該ＡＲ画像と異なるＡＲ画像に関して制御装置４０内で設定されている各種パラメータ又は計算で得られた各種パラメータを変更することも可能である。例えば、設定に関するＡＲ画像７１，７４，７５等の移動情報を受信した時に、ＡＲ画像７３，７８，７９，８０，８１のパラメータが変更される。この場合、制御部４１は、ＡＲ画像作成プログラム４３ｄに基づき、制御装置４０内で変更されたパラメータに基づきＡＲ画像データを再度作成し、作成したＡＲ画像データを表示装置６２に送信する。これにより、オペレータは、あるＡＲ画像を移動させた時に、当該ＡＲ画像の移動に伴う制御装置４０内の設定、計算等の変化をすぐに認識することができる。

なお、前記所定の入力装置として、スマートグローブと称されるウエアラブル機器を用いることも可能である。スマートグローブが用いられる場合、例えば、オペレータがスマートグローブを着用した手をカメラ６１の画角内に配置すると、当該手の人差し指、親指等の位置が拡張現実装置６０によって認識され、人差し指および親指でＡＲ画像７１〜８１のうち何れかのＡＲ画像を掴む動作を行うと当該ＡＲ画像が選択状態となり、人差し指および親指をその状態としながら移動すると当該ＡＲ画像が移動する。

なお、上記のＡＲ画像７１〜８１は、例えばロボット３０の基準座標系を基準に位置、姿勢、パラメータ等が設定されている。これに対し、ＡＲ画像７１〜８１の位置、姿勢、パラメータ等が、検出装置２０のセンサ座標系等を基準に設定されてもよい。また、複数のロボット３０がそれぞれ制御装置４０を有する場合、ＡＲ画像７１〜８１を各制御装置４０が認識している基準座標系に応じて表示装置６２に表示することにより、各ロボット３０の基準座標系の設定の適否の確認が容易となる。
また、表示装置６２がタッチスクリーン機能、オペレータの視線を検出する視線検出機能等を有する場合、ポインティングデバイス、視線方向等によって複数のロボット３０のうち１つ又は複数が指定され、指定されたロボット３０の制御装置４０が認識しているＡＲ画像が表示されるように構成されてもよい。

（他の作業システム又は検査システムに適用する場合）
ロボット３０が対象Ｏに加工、組立、検査、観察等の他の作業を行う作業システムに前述と同様の構成を適用することも可能である。対象Ｏは何等かの移動手段によって搬送できるものであればよく、移動手段としてロボット３０とは異なるロボット等を用いることも可能である。対象Ｏが車の車体又はフレームである場合に、当該車体又はフレームがそこに搭載されたエンジン、モータ、車輪等によって移動する場合、エンジン、モータ、車輪等が移動手段として機能する。

対象Ｏが重力によって滑り落ちる、転がり落ちる、又は落下するシューターによって、対象Ｏを移動させてもよい。この場合、傾斜しているシューターを加振装置によって振動させ、これによりシューター上の対象Ｏの移動を円滑にすることも可能である。これらの場合、シューター、加振装置等が移動手段として機能する。

また、ロボットを用いない作業システム、検査システム等に前述と同様の構成を適用することが可能である。ロボットを用いない作業システムとして、複数の塗装ガン（所定の装置）が搬送装置１０の上方の所定位置に配置されている自動塗装システム、洗浄ノズル（所定の装置）が搬送装置１０の側方の所定位置に配置されている洗浄システム等がある。

検査システムの場合、例えば、ロボット３０の代わりに検査用センサ（所定の装置）が搬送装置１０の上方に配置され、制御装置４０は検査用センサの検出画像を用いた画像処理および判定を行う。検査用センサのセンシング範囲を照明するための検査用照明装置が設けられてもよい。

そして、制御装置４０は、画像処理の結果、判定結果、これらに関するパラメータ、パラメータに対応するスコア等のＡＲ画像を作成し、作成されたＡＲ画像を表示装置６２に送信する。例えば、表示装置６２には、画像処理後の検査対象の画像、検査対象の合否に関する判定結果、これらに関するパラメータ、スコア等のＡＲ画像が表示される。また、表示装置６２に、搬送装置１０上の検査対象以外の物品、模様、汚れ等の画像処理後の画像であるノイズ画像、ノイズ画像に関するパラメータ、ノイズ画像のスコア等が表示されてもよい。当該構成によって、オペレータが制御装置４０の設定、検査用照明装置の設定作業等を容易に行うことが可能となる。

このように、本実施形態によれば、制御装置４０が認識している検出装置２０を用いた対象Ｏの検出に関する設定、搬送装置１０の設定、および対象Ｏに対して作業を行うロボット３０の設定であるＡＲ画像７１，７２，７３，７５，７６，７７が表示装置６２による表示のために作成される。このため、オペレータはこれらを容易に認識することができる。

また、本実施形態では、前記設定に基づいて制御装置４０が認識している対象Ｏの位置、検出装置２０を用いた対象Ｏの検出の結果、搬送装置１０の作業予定、ロボット３０の作業予定、ロボット３０による作業の実行に関する制御装置４０の判断結果、制御装置４０が認識している対象Ｏに関するパラメータ等も、オペレータが視覚的に認識することができ、これにより、制御装置４０内で実際に行われている処理をオペレータが容易に知ることができる。
このように制御装置４０内の設定、処理等を視覚的に認識するこことは、システムの作動の成功又は失敗の原因究明の容易化に繋がる。

また、本実施形態では、制御装置４０が、制御装置４０が認識している対象Ｏの位置と、対象Ｏの検出の結果と、制御装置４０が受信又は決定する搬送装置１０の作業予定と、制御装置４０が決定するロボット３０の作業予定と、制御装置４０の判断結果と、制御装置４０が認識している対象Ｏに関するパラメータとのうち少なくとも１つを示すＡＲ画像７３，７８，７９，８０，８１を、ロボット３０が作業を行っている際に更新する。
このため、オペレータはこれらに関する制御装置４０の設定、処理等の動的な変化を視覚的に認識することができる。

また、本実施形態では、制御装置４０がロボット３０を制御するものであり、所定の入力装置を用いた入力に応じて表示装置６２に表示されているＡＲ画像の少なくとも１つを選択する選択処理と、所定の入力装置を用いた入力に応じて選択されたＡＲ画像を表示装置６２内で移動する移動処理とが行われ、選択されたＡＲ画像の移動情報に応じて、制御装置４０においてロボット３０を制御するために設定されているパラメータ又は計算されているパラメータが変更される。

このため、ロボット３０を制御するための制御装置４０の設定をオペレータは直感的に変更することが可能となり、これは熟練したオペレータにとっても設定の正確性および作業効率を向上するために有用である。

また、本実施形態では、制御装置４０が複数のＡＲ画像を作成するものであり、表示装置６２が、所定の入力部への入力に応じて、複数のＡＲ画像のうち選択されたＡＲ画像を表示することができる。
これにより、オペレータは入力部への入力を用いて表示するＡＲ画像を選ぶことができる。このため、制御装置４０の処理、設定等をオペレータがより容易に認識することが可能になり、システムの作動の成功又は失敗の原因究明の容易化を図るためにも極めて有用である。

また、本実施形態では、制御装置４０によって作成されたＡＲ画像を対応する現実空間像と共に記憶する記憶部４３，６３を備える。
これにより、オペレータは、記憶されたＡＲ画像を現実空間像と共に再生することができ、これはシステムの設定チェックの容易化、システムの設定の容易化、およびシステムの作動の成功又は失敗の原因究明の容易化のために極めて有利である。なお、保存されているＡＲ画像データのみの再生、スロー再生、再生中の一時停止表示等が行われてもよい。このような構成でも、システムの設定チェックの容易化、システムの設定の容易化、およびシステムの作動の成功又は失敗の原因究明の容易化に資する。

なお、本実施形態では作業機械として多関節ロボットであるロボット３０を用いている。これに対し、ドリル等のツールをエアシリンダ、油圧シリンダ等によって上下方向にのみ移動させるドリル支持装置を作業機械として用いることも可能であり、その他の作業機機械を用いることも可能である。

また、表示装置６２の代わりに、オペレータの網膜にＡＲ画像を投影する表示装置を用いることも可能である。この場合でも、オペレータの網膜には現実空間像と共にＡＲ画像が表示される。
また、表示装置６２による表示の代わりに、又は、表示装置６２による表示と共に、現実空間の装置、例えば搬送装置１０、検出装置２０、ロボット３０、および空間の少なくとも１つにＡＲ画像を投影するプロジェクター（投影装置）を用いることも可能である。この場合でも、ＡＲ画像が現実空間に表示されるので、前述と同様の作用効果が達成され得る。
投影装置として、三次元のＡＲ画像を現実空間に投影することも可能である。例えば作業領域に投影機でＡＲ画像を投影することで、作業領域内の情報を表示することが可能である。

また、表示装置６２であるＡＲ機能付きメガネ、ヘッドマウントディスプレイ等が、上記と異なり、これらを装着しているオペレータが生の現実空間を見ることを許容する透光性板又は透光性フィルムを備えていてもよい。この場合、透光性板又は透光性フィルムがＡＲ画像データを表示する機能を備えていてもよく、透光性板又は透光性フィルムにＡＲ画像データを投影する機能をＡＲ機能付きメガネ、ヘッドマウントディスプレイ等が備えていてもよい。当該構成を用いると、オペレータは、表示装置６２を介して現実空間を見ながら、透光性板又は透光性フィルムのＡＲ画像を見ることができるので、前述と同様の作用効果が達成され得る。
透光性板又は透光性フィルムの拡張現実画像と生の現実空間との位置決めに関しては、例えば人の立ち位置等を別センサで検知しておき人の向きに合わせたＡＲ画像を用意して表示するという方法を取り得る。

現実空間を見ながら透光性板又は透光性フィルムのＡＲ画像を見ることができる前記表示装置６２又は前記投影装置を用いる場合でも、前述の作業対象とならない検出結果の表示、前述の選択に応じたＡＲ画像の表示、前述のオブジェクトの選択および操作が可能であり、前述のように他の作業システム又は検査システムに適用することも可能である。

例えば、投影されたＡＲ画像又は透光性板又は透光性フィルムに表示されたＡＲ画像をスマートグローブの人差し指および親指で掴む動作を行うと、当該動作がカメラによって撮像された画像を用いて認識され、人差し指および親指をその状態としながら移動すると当該ＡＲ画像が移動する。

なお、拡張現実装置６０のカメラ６１が、搬送装置１０、検出装置２０、およびロボット３０を俯瞰する位置に配置され、表示装置６２に俯瞰状態の現実空間像およびＡＲ画像が表示されてもよい。この場合、表示装置６２にオペレータのＡＲ画像が表示されてもよい。

なお、本実施形態では、制御装置４０が前述のようにＡＲ画像を作成するものを示したが、拡張現実装置６０等に内蔵された制御装置や、他の制御装置が、制御装置４０から様々な設定、演算結果、判定結果等のデータを受信し、受信したデータを用いてＡＲ画像を作成し、作成されたＡＲ画像を表示装置６２に送信してもよい。

また、検出装置２０は対象Ｏの位置に応じて移動するものであってもよい。例えば、検出装置２０がロボット３０の先端部に支持されていてもよく、この場合でも、制御装置４０は、検出装置２０の座標系、検出範囲等の設定データを有しており、ロボット３０の動作に応じた検出装置２０の位置および姿勢を計算によって求めることができる。

さらに、検出装置２０が１軸ロボット、多関節ロボット等に支持されていてもよい。これらの場合でも、制御装置４０は、検出装置２０の座標系、検出範囲等の設定データを受信し、１軸ロボット、多関節ロボット等の動作に応じた検出装置２０の位置および姿勢を計算によって求めることができる。
なお、拡張現実作成部は必ずしも制御装置内になくても良い。

１０ 搬送装置
１１ モータ
１２ 作動位置検出装置
２０ 検出装置
３０ ロボット
３０ａ アーム
３１ サーボモータ
４０ 制御装置
４１ 制御部
４２ 制御装置表示部
４３ 記憶部
４３ａ システムプログラム
４３ｂ 動作プログラム
４３ｃ 物品検出プログラム
４３ｄ ＡＲ画像作成プログラム
４３ｅ 再生プログラム
５０ ツール
５１ サーボモータ
６０ 拡張現実装置
６１ カメラ
６２ 表示装置
６３ 記憶部
６３ａ ＡＲ画像操作プログラム
７１〜８１ ＡＲ画像
Ｏ 対象

Claims (19)

1. 対象を移動させる移動手段によって移動している前記対象の少なくとも位置の検出に用いられる検出装置と、
   制御装置と、を備え、
   前記制御装置が認識している設定であって、前記検出装置を用いた前記対象の検出に関する設定、前記移動手段の設定、および前記対象に対して作業を行う作業機械の設定のうち少なくとも１つと、前記設定に基づいて前記制御装置が認識している前記対象の位置と、前記検出装置を用いた前記対象の検出の結果と、前記移動手段の作業予定と、前記作業機械の作業予定と、前記作業機械による前記作業の実行に関する前記制御装置の判断結果と、前記制御装置が認識している前記対象に関するパラメータとのうち、少なくとも１つを示す拡張現実画像を、前記制御装置が表示装置による表示又は投影装置による投影のために作成する、センシングシステム。
2. 前記投影装置が、前記拡張現実画像を現実空間に投影するものであり、前記表示装置が、前記拡張現実画像を、現実空間像又は現実空間と共に見えるように表示するものである、請求項１に記載のセンシングシステム。
3. 前記制御装置が、前記制御装置が認識している前記対象の前記位置と、前記対象の前記検出の結果と、前記移動手段の前記作業予定と、前記作業機械の前記作業予定と、前記制御装置の前記判断結果と、前記対象に関する前記パラメータとのうち少なくとも１つを示す前記拡張現実画像を、前記作業機械が前記作業を行っている際に更新する、請求項１又は２に記載のセンシングシステム。
4. 前記制御装置が、前記作業機械を制御するものであり、
   所定の入力装置を用いた入力に応じて前記表示装置に表示されている前記拡張現実画像又は前記投影装置によって投影されている前記拡張現実画像の少なくとも１つを選択する選択処理と、前記所定の入力装置を用いた入力に応じて選択された、前記表示装置によって表示されている前記拡張現実画像又は前記投影装置によって投影されている前記拡張現実画像を移動する移動処理と、を行う拡張現実画像操作手段と、
   選択された前記拡張現実画像の移動情報に応じて、前記制御装置において前記作業機械を制御するために設定されているパラメータ又は計算されているパラメータを変更する設定調整手段と、を備える請求項１〜３の何れかに記載のセンシングシステム。
5. 前記制御装置が複数の前記拡張現実画像を作成するものであり、
   前記表示装置又は前記投影装置が、所定の入力部への入力に応じて、前記複数の拡張現実画像のうち選択された前記拡張現実画像を表示又は投影するものである、請求項１〜４の何れかに記載のセンシングシステム。
6. 前記制御装置によって作成された前記拡張現実画像を、対応する現実空間像と共に記憶する記憶部を備える、請求項１〜５の何れかに記載のセンシングシステム。
7. 前記記憶部に記憶されている前記拡張現実画像を再生する、もしくは前記現実空間像と共に再生する再生手段を備える、請求項５に記載のセンシングシステム。
8. 所定の移動手段によって移動している対象の少なくとも位置の検出に用いられる検出装置と、
   前記対象に作業を行う作業機械を前記検出装置の検出結果を用いて制御する制御装置と、
   前記作業機械が前記作業を行っている際に、前記検出装置の検出結果に基づき前記制御装置が認識している前記対象の位置と、前記移動手段の作業予定と、前記作業機械の作業予定と、前記作業機械による作業の実行に関する前記制御装置の判断結果と、前記制御装置が認識している前記対象に関するパラメータとのうち、少なくとも１つを示す拡張現実画像を逐次作成する拡張現実画像作成手段と、
   前記拡張現実画像作成手段によって作成された前記拡張現実画像を、対応する現実空間像と共に記憶する記憶部とを備える、センシングシステム。
9. 前記記憶部に記憶されている前記拡張現実画像を再生する、もしくは前記現実空間像と共に再生する再生手段を備える、請求項７に記載のセンシングシステム。
10. 所定の移動手段によって移動している複数の対象の検出に用いられる検出装置と、
    前記検出装置によって得られる画像データに前記対象の検出のための画像処理を行う対象検出手段と、
    前記画像処理が行われた処理後画像内にあらわれる複数の候補のうち所定のパラメータが検出閾値以上である候補に対応する拡張現実画像を作成し、前記複数の候補のうち前記所定のパラメータが前記検出閾値未満且つ検出候補閾値以上である候補に対応する候補拡張現実画像を作成する拡張現実画像作成手段と、
    前記拡張現実画像および前記候補拡張現実画像を表示又は投影する表示装置又は投影装置と、を備えるセンシングシステム。
11. 前記候補拡張現実画像が前記拡張現実画像と区別可能な態様で作成される、請求項９に記載のセンシングシステム。
12. 前記拡張現実画像作成手段が、前記候補拡張現実画像に付随する検出結果の拡張現実画像を作成し、
    前記表示装置又は前記投影装置によって、前記候補拡張現実画像と共に前記検出結果の拡張現実画像が表示又は投影される、請求項９又は１０に記載のセンシングシステム。
13. 請求項１〜１２の何れかに記載のセンシングシステムと前記作業機械とを備える作業システム。
14. 対象を移動させる移動手段によって移動している前記対象の検出結果に基づき制御装置が作業機械又は所定の装置を制御するシステムに用いられる拡張現実画像の表示方法であって、
    前記制御装置が認識している設定であって、前記対象の検出に関する設定、前記移動手段の設定、および前記作業機械の設定のうち少なくとも１つと、前記設定に基づいて前記制御装置が認識している前記対象の位置と、前記検出装置を用いた前記対象の検出の結果と、前記移動手段の作業予定と、前記作業機械の作業予定と、前記作業機械による作業の実行に関する前記制御装置の判断結果と、前記制御装置が認識している前記対象に関するパラメータとのうち、少なくとも１つを示す拡張現実画像を前記制御装置が作成するステップと、
    作成された前記拡張現実画像を表示装置によって表示する又は投影装置によって投影するステップと、を有する拡張現実画像の表示方法。
15. 対象を移動させる移動手段によって移動している前記対象の検出結果に基づき制御装置が作業機械を制御するシステムに用いられる拡張現実画像の記憶方法であって、
    前記作業機械が前記作業を行っている際に、前記検出結果に基づき前記制御装置が認識している前記対象の位置と、前記移動手段の作業予定と、前記作業機械の作業予定と、前記作業機械による作業の実行に関する前記制御装置の判断結果と、前記制御装置が認識している前記対象に関するパラメータとのうち、少なくとも１つを示す拡張現実画像を逐次作成する拡張現実画像作成ステップと、
    前記拡張現実画像作成ステップによって作成された前記拡張現実画像を、対応する現実空間像と共に記憶する記憶ステップと、を有する拡張現実画像の記憶方法。
16. 対象を移動させる移動手段によって移動している複数の前記対象の検出のために画像処理を行うシステムに用いられる拡張現実画像の表示方法であって、
    前記画像処理が行われた処理後画像内にあらわれる複数の候補のうち所定のパラメータが検出閾値以上である候補に対応する拡張現実画像を作成し、前記複数の候補のうち前記所定のパラメータが前記検出閾値未満且つ検出候補閾値以上である候補に対応する候補拡張現実画像を作成するステップと、
    前記拡張現実画像および前記候補拡張現実画像を表示する表示ステップと、を有する拡張現実画像の表示方法。
17. 対象を移動させる移動手段によって移動している前記対象の検出結果に基づき制御装置が作業機械又は所定の装置を制御するシステムに用いられるプログラムであって、
    コンピュータに、
    前記制御装置が認識している設定であって、前記対象の検出に関する設定、前記移動手段の設定、および前記作業機械の設定のうち少なくとも１つと、前記設定に基づいて前記制御装置が認識している前記対象の位置と、前記検出装置を用いた前記対象の検出の結果と、前記移動手段の作業予定と、前記作業機械の作業予定と、前記作業機械による作業の実行に関する前記制御装置の判断結果と、前記制御装置が認識している前記対象に関するパラメータとのうち、少なくとも１つを示す拡張現実画像を前記制御装置が作成する処理と、
    作成された前記拡張現実画像を表示装置によって表示する又は投影装置によって投影する処理と、を実行させるプログラム。
18. 対象を移動させる移動手段によって移動している前記対象の検出結果に基づき制御装置が作業機械を制御するシステムに用いられるプログラムであって、
    コンピュータに、
    前記作業機械が前記作業を行っている際に、前記検出結果に基づき前記制御装置が認識している前記対象の位置と、前記移動手段の作業予定と、前記作業機械の作業予定と、前記作業機械による作業の実行に関する前記制御装置の判断結果と、前記制御装置が認識している前記対象に関するパラメータとのうち、少なくとも１つを示す拡張現実画像を逐次作成する拡張現実画像作成処理と、
    前記拡張現実画像作成処理によって作成された前記拡張現実画像を、対応する現実空間像と共に記憶する記憶処理と、を実行させるプログラム。
19. 対象を移動させる移動手段によって移動している複数の前記対象の検出のために画像処理を行うシステムに用いられるプログラムであって、
    コンピュータに、
    前記画像処理が行われた処理後画像内にあらわれる複数の候補画像のうち所定のパラメータが検出閾値以上である候補に対応する拡張現実画像を作成し、前記複数の候補のうち前記所定のパラメータが前記検出閾値未満且つ検出候補閾値以上である候補に対応する候補拡張現実画像を作成する処理と、
    記拡張現実画像および前記候補拡張現実画像を表示する表示ステップと、を実行させるプログラム。

Images