JP2016208331A - 作業支援システム - Google Patents

Abstract

【課題】作業者の視線を作業対象に向かって誘導する誘導用の付加情報を表示することで、作業者の視線を作業対象に移させて当該作業対象に関する付加情報を作業者に対して提供する。【解決手段】撮影部６で撮影された映像に含まれる指標を検出して、当該指標の座標から撮影部６の撮影範囲１９を決定する指標認識部１１と、作業対象５の座標から当該作業対象５が当該撮影範囲１９内に入っているか否かを判定し、入っていると判定した場合に、当該作業対象５を強調表示する強調表示用の付加情報１５を表示し、一方、入っていないと判定した場合に、作業者４の視線を作業対象５に向かって誘導する誘導用の付加情報１６を表示するように映像表示部７を制御する表示制御部１２とを備えている。【選択図】図５

Description

この発明は、作業支援システムに関し、特に、ＡＲ（Augmented Reality : AR（拡張現実））を用いて作業者の作業を支援するための作業支援システムに関する。

平面の盤面に広範囲に配置されたスイッチ等の操作対象を順に操作していく場合に、作業者に対して、当該作業対象を含む実映像に対して付加情報を付加した映像を提示することで、作業を補助する手段として、頭部装着式の映像表示装置、すなわち、ＨＭＤ(Head Mount Display）が開発されている。このＨＭＤを用いることで、作業者は両手を用いた作業が可能である。

上記の映像表示装置として、コンピュータ一・グラフィックスを利用して、現実映像にバ−チャルな付加映像を加えて表示するＡＲ技術（Augmented Reality:AR）を用いた映像表示システムが開発されてきている。また、このＡＲ技術を用いた映像表示システムにより、作業者の作業を支援することが提案されている。なお、ＡＲとは、拡張現実の略称で、人が認識できる現実世界をコンピュータ等を用いて拡張する技術、または、拡張された現実世界そのものを意味する。代表的なものとしては、例えば、現実に存在する机の上に、実際には存在しないキャラクターをあたかもその場に存在するように表示するものなどがある。

付加情報を表示する為の指標として、予め設定された形状の図形を用いる。当該図形を作業者が予め認識しておくことによって、その図形を付加映像として表示することで、作業者に対して付加情報を提示することができる。

特許文献１には、作業対象近傍に指標を配置し、システムがカメラ画像中の指標を認識することで、指標の近傍にある作業対象がカメラの検知範囲(視野)内にあること、すなわち、作業者の視野内にあることを判断する映像システムが記載されている。当該映像システムでは、作業対象が作業者の視野内にあるかないかに応じて、現実映像に付加する映像を切り替えることで、作業者が容易に作業を行うことができる。

国際公開第２０１０／０５０３０１号

上記の特許文献１に記載の映像システムでは、カメラの視野に指標が入った場合に、付加情報を表示する構成となっている。従って、カメラの視野に指標が入らなければ、作業者に付加情報を提供しないので、作業者に対して適切に作業を促すことができない。従って、作業者にとって作業対象が明確でなく、自身で作業対象に視線を向けられない場合には、付加情報が提供されないため、作業者の視線を作業対象に誘導する必要がある。

たとえば、幅数メートル程度、高さ1メートル程度の平な壁面に広範囲に設置された作業対象を操作するような場合、作業対象がどこにあるのかの把握が難しいことがある。

特に、作業者に作業経験がなく作業を熟知していない場合や、普段実施しない作業を指示するような場合に、複数の作業対象があるときには、効率的に作業を進めさせるために次の作業対象がどれかを指示するためには、作業対象に作業者の視線を誘導することが有効である。

しかしながら、特許文献１では、作業対象に作業者の視線を誘導することについては記載されておらず、作業対象がどこにあるのかの把握が難しい状況では、作業者に付加情報が提供できず、作業者に対して適切に作業を促すことができないという問題点があった。

本発明は、かかる問題点を解決するためになされたもので、作業対象と同じ平面に複数の指標を配置し、撮影部が撮影した映像に含まれる指標の座標から前記撮影部の撮影範囲を決定し、撮影範囲内に作業対象が入っていない場合には、作業者の視線を前記作業対象に向かって誘導する誘導用の付加情報を表示することで、作業者が迷わず作業対象に視線を移し、当該作業対象に関する付加情報を作業者に対して提供することができる作業支援システムを提供することを目的としている。

この発明は、作業対象が設置されている平面上に等間隔で配置される指標と、前記指標を含む映像を撮影する撮影部と、前記作業対象の作業者に対して、作業を支援するための付加情報を表示する映像表示部と、前記平面上の同一座標系で定義した前記作業対象の座標と前記指標の座標とを予め記憶する記憶部と、前記撮影部で撮影された前記映像に含まれる前記指標を検出して、当該指標の座標を前記記憶部から取得することで、前記撮影部の撮影範囲を決定する指標認識部と、前記作業対象の座標を前記記憶部から取得して、前記指標認識部で決定された前記撮影部の前記撮影範囲内に前記作業対象が入っているか否かを判定する判定部と、前記判定部によって前記作業対象が前記撮影範囲内に入っていると判定された場合に、前記作業対象を強調表示する強調表示用の付加情報を表示し、前記判定部によって前記作業対象が前記撮影範囲内に入っていないと判定された場合に、前記作業者の視線を前記作業対象に向かって誘導する誘導用の付加情報を表示するように、前記映像表示部を制御する表示制御部とを備えた作業支援システムである。

この発明の作業支援システムによれば、作業対象と同じ平面に複数個の指標を配置し、撮影部が撮影した映像に含まれる指標の座標から当該撮影部の撮影範囲を決定し、撮影範囲内に作業対象が入っていない場合には、作業者の視線を当該作業対象に向かって誘導するように誘導用の付加情報を表示するようにしたので、作業者が迷わず作業対象に視線を移すことで、当該作業対象の作業に関する付加情報を作業者に対して提供することができる。

この発明の実施の形態１に係る映像表示装置の付加情報を表示するための基準となる指標の一例を示した説明図である。 図１の指標に含まれるパターンの例を示した説明図である。 図１の指標の設置方向と当該指標を撮影部６で撮影した映像の一例とを示した説明図である。 この発明の実施の形態１における作業者が作業を行う作業対象が設置された壁面を示した正面図である。 この発明の実施の形態１に係る映像表示装置の内部構成を示したブロック図である。 この発明の実施の形態１に係る映像表示装置の構成を示した斜視図である。 この発明の実施の形態１に係る映像表示装置を作業者が装着した状態を示す説明図である。 この発明の実施の形態１に係る作業対象が設置された壁面に等間隔に配置された指標を示した正面図である。 この発明の実施の形態１に係る映像表示装置に設けられた作業管理部の動作を示すフローチャートである。 この発明の実施の形態１に係る作業対象が設置された壁面における撮影部６の撮影範囲を示した平面図である。 この発明の実施の形態１に係る映像表示装置に設けられた表示制御部の付加情報選択動作を示すフローチャートである。 この発明の実施の形態１に係る映像表示装置の映像表示部の付加情報の表示例を示した説明図である。 この発明の実施の形態１に係る映像表示装置の映像表示部の付加情報の表示例を示した説明図である。 この発明の実施の形態１に係る映像表示装置の撮影部の視野の幅を示した説明図である。 この発明の実施の形態１に係る映像表示装置の処理装置に記憶された作業対象座標テーブルの一例を示した説明図である。 この発明の実施の形態１に係る映像表示装置の処理装置に記憶された指標配置座標テーブルの一例を示した説明図である。 この発明の実施の形態１に係る映像表示装置の処理装置に記憶された作業手順テーブルの一例を示した説明図である。

この発明は、ＡＲ技術を用いて付加情報を示すことで、作業者の作業を支援するための作業支援システムである。この発明に係る作業支援システムでは、付加情報により作業手順や作業内容を示すだけでなく、作業者にとって作業対象が明確でない場合に、付加情報により、作業者の視線を作業対象まで誘導することを特徴とする。具体的には、作業対象と共に、その周囲に指標を配置し、撮影部が常に指標をとらえられるような構成とし、作業対象と指標を同じ座標上で表現し、作業者の視野内に作業対象が入っていないと判断された場合に、視線誘導のための付加情報を表示することで、作業者が迷わず作業対象に視線を移し、作業手順や作業内容を示す付加情報を得ることができる。

実施の形態１．
図４は、この発明の実施の形態１における、作業対象５を示した図である。作業者４は、予め決められた作業手順に従って、各作業対象５に対する作業を行う。本実施に係る作業支援システムは、作業者４が作業対象５に対して作業を行う際に、当該作業を支援するための付加情報の表示を作業者４に対して行うものである。本実施の形態においては、作業支援システムとして、映像表示装置を例に挙げて説明する。また、作業対象５の例としては、例えば、押釦、スイッチ、レバーなどが挙げられる。本実施の形態では、図４に示すように、作業対象５が壁面に設置されている場合を例に挙げて説明する。しかしながら、その場合に限らず、作業対象５は、机上などの他の平面上に設置されていてもよい。作業対象５の周囲には、図８に示すように、複数の指標１０が配置されている。これらの指標１０は、作業対象５が配置されている同じ壁面に、アレイ状に等間隔に配置されている。ただし、横方向の配置間隔と縦方向の配置間隔とは同じであってもよいが、図８の例にように異なっていてもよい。すなわち、図８の例では、横方向の配置間隔の方が、縦方向の配置間隔よりも広くなっている。

図５は、本実施の形態に係る映像表示装置の内部構成を示したブロック図である。映像表示装置は、図５に示すように、指標１０を含む周囲の映像を撮影する例えばカメラ等から構成された撮影部６と、作業者４に対して付加情報を表示する例えばＬＣＤ（液晶ディスプレイ）等の透過型の表示装置から構成された映像表示部７と、それらを制御するための処理装置８と、作業者４が作業手順の一手順ごとの終了を処理装置８に入力するためのスイッチ９とからなる。

処理装置８は、記憶装置（図示せず）を有し、当該記憶装置に記憶されたプログラムを実行するＣＰＵ及びシステムＬＳＩ等の処理回路から構成されている。処理装置８に搭載された当該プログラムは、指標認識部１１と、表示制御部１２と、手順管理部１３とを構成している。
指標認識部１１は、撮影部６によって撮影された映像の中の指標１０を検出することで、撮影部６の撮影範囲を算出する。指標認識部１１は、撮影した映像に含まれる指標１０の座標から作業対象５と指標１０とが配置された壁面上の撮影部６の撮影範囲を算出する。この際に、指標認識部１１は、当該指標１０の座標だけでなく、当該指標１０の角度と大きさにも基づいて、作業対象５および指標１０が配置された壁面上での、撮影部６の撮影範囲の大きさ、形状、および、角度を算出する。
表示制御部１２は、指標認識部１１と手順管理部１３とからの情報に基づく作業者４に対する付加情報を表示するように映像表示部７を制御する。
手順管理部１３は、作業者４によって操作されるスイッチ９からの信号を受けて、予め決められた作業手順に基づく手順番号を順に表示制御部１２に入力する。
なお、指標認識部１１、表示制御部１２、および、手順管理部１３の詳細な動作については、後述する。

図６は、図５に示した本実施の形態に係る映像表示装置の外形を示した斜視図である。図６において、図５に示した構成と同じ構成については、同一符号を付して示している。本実施の形態に係る映像表示装置は、図６に示すように、眼鏡型の形状を有している。一般的な眼鏡のレンズに相当する部分に、本実施の形態に係る映像表示装置の映像表示部７が設けられている。また、一般的な眼鏡のつるに相当する部分に、本実施の形態に係る映像表示装置の撮影部６と処理装置８とスイッチ９とが設けられている。
映像表示装置は、このように眼鏡型の形状を有しているので、眼鏡をかけるときのように、図７に示すように、作業者４は、頭部１４に映像表示装置を装着して、固定した状態で使用する。これにより、作業者４の両手がふさがれることがなく自由であるので、作業者４の作業を妨げることはない。

このように、映像表示装置は作業者４の頭部１４に固定されるため、映像表示部７は、作業者４の眼前に配置され、作業者４の視界を覆うことになる。従って、作業者４は、映像表示部７を介して現実世界を見ることになるので、映像表示部７に付加情報が表示されると、作業者４は、現実世界に当該付加情報を重ねてみることになる。

このように、作業者４の眼前に映像表示部７が配置される構成であればよいため、映像表示装置は、眼鏡型に限定されることはなく、例えば、溶接マスクのようなヘルメット型のものや、遮光フィルタレンズ付きの帽子のような帽子型の形状であってもよい。

映像表示装置の撮影部６は、作業者４の頭部１４に、作業者４前方の視界が撮影できるように配置される。図６では、頭部１４の側面に撮影部６を搭載した例が示されているが、作業者４の前方を撮影できる位置であれば、図６に示す側面に設ける場合に限らず、頭部１４前面や頭部１４の頭頂部などに撮影部６を設けるようにしても良い。同様に、処理装置８も、図６に示す側面に設ける場合に限らず、頭部１４前面や頭部１４の頭頂部などに設けるようにしても良い。

スイッチ９は、作業者４が作業手順のうちの一手順が終了するたびごとに、作業者４により押釦される。スイッチ９は、作業者４によって押釦されると、処理装置８に対して信号を出力する。スイッチ９は、図６に示す側面に設ける場合に限らず、頭部１４前面や頭部１４の頭頂部などに設けるようにしても良いが、作業者４が押釦しやすい位置に設けることが望ましい。

図１は、指標１０の一例を示している。指標１０は、図１に示すように、周囲の余白１と、正方形の太い黒枠２と、その内側に描かれるパターン３とからなる。余白１は、指標１０が周囲から独立して認識されるのに十分な幅を持つものとする。パターン３は、図２のパターンＡ，Ｂ，Ｃのように、互いに異なる複数の種類が設定可能である。パターン３は、各指標１０ごとに固有のものであり、他の指標１０と重複することはない。従って、指標認識エンジンにパターン３の種類を各指標１０ごとに予め登録しておくことにより、各指標１０は互いに識別され一意に特定されることが可能である。これらのパターン３は、通常黒色と白色で構成されるが、周囲や余白と区別が可能であれば、他の色を用いても良い。なお、指標認識エンジンとは、パターン３をもとに、指標１０を識別して一意に特定することができる検索ツールのことである。また、パターン３の識別には、色の違いを用いても良い。パターン３は、図１及び図２では、３×３の２次元バーコードから構成されているが、その場合に限らず、パターン３の種類が識別可能なものであれば、任意のものを使用することができる。

また、パターン３は、上下左右が判別可能なように設定されているものとし、図３（ａ）の矢印方向で示される鉛直方向の向きが常に上向きの方向になるように一定の向きに設置される。これにより、図３（ｂ）のように、撮影部６が指標１０を撮影した際に、その映像における指標１０の上向きの方向が当該映像の鉛直方向に対して傾きαを有していた場合には、その傾きαの値から、撮影部６の撮影時の傾きを相対的に検出可能である。

また、各指標１０はすべて同じ大きさを有し、図８に示すように、作業対象５が配置されている壁面に、等間隔にアレイ状に配置されている。また、各指標１０は、固有のパターン３を１つ含んでいる。パターン３は、上述したように、各指標１０ごとに固有のものである。指標１０は、撮影部６の撮影範囲の大きさや角度を決定する際に用いられる基準であるため、指標１０の配置間隔は、常に１つの指標１０が撮影部６の撮影範囲に入るように、適宜設定される必要がある。すなわち、作業者４が通常作業を行う位置に存在すると仮定して、その場合に、常に１つ以上の指標１０が撮影部６の撮影範囲に入るように、指標１０の配置間隔は設定される。なお、図１４に示すように、撮影部６の撮影範囲を決定する視野幅１７は、撮影部６の視野角βと、撮影部６と作業対象５が配置されている壁面との間の距離Ｄと、に依存する。距離Ｄは、作業者４が通常作業を行う位置として測定すればよいが、指標１０が余裕をもって撮影部６の撮影範囲内に入る為には、距離Ｄを実際よりも小さくした場合の視野幅１７を考慮して、指標１０の配置間隔１８を設定することがより望ましい。

また、作業対象５及び指標１０が配置されている壁面上に定めた一点を原点として、たとえば２次元直交座標系を定義し、各作業対象５が配置されている座標を、図１５に示す作業対象座標テーブルとして、処理装置８の記憶装置内に保存しておく。座標系は直交座標系に限らず、たとえば、極座標系または円筒座標系のような他の系を選択してもよい。
作業対象座標テーブルにおいては、図１５に示すように、各作業対象５の名称とその座標とが対応付けられて記憶されている。

また、指標１０の座標も、作業対象５と同一座標上に定義し、図１６に示す指標配置座標テーブルとして、処理装置８の記憶装置内に保存しておく。
指標配置座標テーブルにおいては、図１６に示すように、各指標１０に含まれるパターン３と各指標１０の座標とが対応付けられて記憶されている。

また、作業手順を示す手順番号は、作業対象５の名称で定義される。手順番号も、図１７に示す作業手順テーブルとして管理され、処理装置８の記憶装置内に保存しておく。図１７の作業手順テーブルでは、各手順番号が、作業手順の順序で記憶されている。なお、手順番号は、作業対象５の名称だけで定義してもよいが、図１７の例に示すように、作業対象５の名称とそれに対する作業説明とで定義するようにしてもよい。
作業手順テーブルにおいては、図１７に示すように、作業手順を示す手順番号ごとに、当該手順番号に対応する、作業対象５の名称とその作業説明の情報とが手順番号に対応付けられて記憶されている。

手順管理部１３は、作業者４が作業を開始した場合に、図９に示すフローに従い、作業手順の手順番号を、作業の進行に合わせて、表示制御部１２に順次入力する。その動作を以下に詳細に説明する。
図９に示すように、作業者４が作業を開始した場合に、手順管理部１３は、まず、ステップＳ１で、手順番号Ｎに、初期値の「１」を設定する。作業を開始したか否かの判定は、例えば、映像表示装置の電源がＯＮされたことに基づいて行うようにすればよい。映像表示装置の電源スイッチはスイッチ９と別個に設けてもよいが、スイッチ９の長押しにより電源のＯＮ／ＯＦＦが切り替えられる構成としておいてもよい。
次に、手順管理部１３は、ステップＳ２で、当該手順番号Ｎ（＝１）を表示制御部１２に入力する。
次に、手順管理部１３は、ステップＳ３で、作業者４がスイッチ９を押すまで待機する。なお、このスイッチ９は、上述したように、作業者４が１つの作業を終了するたびに、作業者４によって押されるスイッチである。
ステップＳ３でスイッチ９が押されたと判定した場合には、ステップＳ４に進む。
ステップＳ４では、手順管理部１３は、現在のＮの値に基づいて、最後の作業まですべての作業が終了したか否かを判定する。判定の結果、最後の作業まで終了していた場合には、そのまま処理を終了し、一方、最後の作業まで終了しておらず、まだ作業が残っている場合には、ステップＳ５に進む。
ステップＳ５では、手順番号Ｎに１を追加して、手順番号Ｎをインクリメントして、ステップＳ２の処理に戻る。
こうして、作業者４が１つの作業を終了させるたびに、作業手順における次の手順番号Ｎが手順管理部１３から表示制御部１２に入力される。

次に、上記の図９のフローにおけるステップＳ２で、手順管理部１３から表示制御部１２に手順番号Ｎが入力された場合の表示制御部１２の動作について説明する。
上記の図９のフローにおけるステップＳ２で、手順管理部１３から表示制御部１２に手順番号Ｎが入力されると、表示制御部１２は、図１７の作業手順テーブルを参照して、手順番号Ｎに対応する作業対象５の作業対象名およびその作業説明の情報を取得するとともに、当該作業対象名に対応する作業対象５の座標を、図１５の作業対象座標テーブルから取得する。こうして、表示制御部１２は、図１２または図１３に示すように、取得した作業説明を示す付加情報２０を、映像表示部７に表示する。図１２，１３の例では、付加情報２０として、作業対象Ａの作業説明である「作業対象Ａを押してください。」という文字メッセージが表示されている。

一方、このとき、指標認識部１１は、撮影部６が撮影した映像を撮影部６から取得する。指標認識部１１は、当該映像に含まれる指標１０のパターン３の種類に基づいて、指標１０の座標を図１６の指標配置座標テーブルから取得する。また、指標認識部１１は、撮影部６で撮影された映像に含まれる指標１０の傾きを示す角度αと指標１０の映像内での見かけの大きさとに基づいて、作業対象５および指標１０が設けられた壁面の座標上での撮影部６の撮影範囲の大きさと角度と形状とを算出して、視野座標情報１９として出力する。この視野座標情報１９は、表示制御部１２に入力される。図１０に、視野座標情報１９のイメージを図示する。実際には、図１０のように、視野座標情報１９は、壁面上に表示されないが、この視野座標情報１９で決定される領域が「撮影部６の撮影範囲」であり、「作業者４の視野」であるともいうことができる。

表示制御部１２は、視野座標情報１９と、図１５の作業対象座標テーブルから得られた作業対象５の座標とを比較して、作業者４が次に作業を行うべき作業対象５が視野座標情報１９で決定される領域内に入っているか否かを判断する。表示制御部１２は、図１１に示すフローに従い、作業対象５が視野座標情報１９内に入っているか否かに応じて、図１２のように作業対象５を強調表示するための付加情報を表示するか、図１３のように作業対象５の方向を作業者４に対して知らせるための付加情報を表示するかを、決定する。これにより、作業者４の作業を支援することができる。

図１２は、作業対象５が視野座標情報１９の領域内に入っている場合の付加情報の一例を示す図である。図１２では、作業対象５を指し示すための付加情報１５が、表示制御部１２により映像表示部７に表示されている。付加情報１５は、作業対象５を円で囲むことで強調表示するための円形付加情報１５ａと、作業対象５の作業対象名を示す名称付加情報１５ｂとを含んでいる。また、円形付加情報１５ａと名称付加情報１５ｂとを結ぶ引出線付加情報１５ｃをさらに付加情報１５に含めるようにしてもよい。

図１３は、作業対象５が視野座標情報１９の領域内に入っていない場合の付加情報の一例を示す図である。図１３では、視野座標情報１９の領域内に作業対象５が入っていないため、表示制御部１２は、作業対象５の方向を示すための誘導用付加情報として、付加情報１６を表示する。付加情報１６は、作業対象５の方向を示すための矢印付加情報１６ａと作業対象５の作業対象名を示す名称付加情報１６ｂとを含んでいる。矢印付加情報１６ａは、作業対象５の位置に合わせて、表示位置や角度を変えることで、作業者４の視線を誘導する。

ここで、図１１のフローについて説明する。
表示制御部１２は、図１１に示すように、ステップＳ１１で、指標認識部１１から入力された視野座標情報１９と、図１５の作業対象座標テーブルから得られた作業対象５の座標とを比較して、作業対象５が視野座標情報１９で決定される領域内に入っているか否かを判定する。
作業対象５が視野座標情報１９の領域内に入っていると判定した場合には、ステップＳ１２に進む。一方、作業対象５が視野座標情報１９の領域内に入っていないと判定した場合には、ステップＳ１３に進む。
ステップＳ１２では、作業対象５が視野座標情報１９の領域内に入っているので、図１２に示すように、作業対象５を強調表示するための付加情報１５を表示する。
ステップＳ１３では、作業対象５が視野座標情報１９の領域内に入っていないので、図１３に示すように、作業対象５の方向を作業者４に対して知らせるための誘導用の付加情報１６を表示する。
ステップＳ１３の処理が完了すると、ステップＳ１１に戻る。ステップＳ１１で、再度、作業対象５が視野座標情報１９で決定される領域内に入っているか否かを判定する。これにより、作業対象５が視野座標情報１９で決定される領域内に入っていれば、ステップＳ１２に進み、そうでなければ、ステップＳ１３に進む。
これにより、作業者４の視線が移動することで作業対象５が視野座標情報１９の領域に入るまで、図１１のフローは何度でも繰り返され、作業対象５が視野座標情報１９の領域に入った時点で、誘導用の付加情報１６の表示から、作業対象５を強調表示するための付加情報１５の表示に切り替わる。作業者４は、付加情報１５と付加情報２０とを参照しながら、対応する作業対象５の作業を実施するので、作業内容を間違えたり、あるいは、誤って他の作業対象５を作業してしまうようなミスを防ぐことができる。

以上のように、本実施の形態に係る作業支援システムは、作業対象５が設置されている平面上に等間隔で配置される指標１０と、指標１０を含む映像を撮影する撮影部６と、作業対象５の作業者４に対して、作業を支援するための付加情報を表示する映像表示部７と、平面上の同一座標系で定義した作業対象５の座標と指標１０の座標とを予め記憶する記憶装置を有する処理装置８とから構成されている。処理装置８は、撮影部６で撮影された映像に含まれる指標１０を検出して、当該指標の座標を記憶装置から取得することで、撮影部６の撮影範囲を決定する指標認識部１１と、作業対象５の座標を記憶装置から取得して、指標認識部１１で決定された撮影部６の撮影範囲内に作業対象５が入っているか否かを判定するとともに、作業対象５が撮影範囲内に入っていると判定した場合に、作業対象５を強調表示する強調表示用の付加情報１５を表示し、作業対象５が撮影範囲内に入っていないと判定した場合に、作業者４の視線を作業対象５に向かって誘導する誘導用の付加情報１６を表示するように、映像表示部を制御する表示制御部１２とを備えている。
上述した特許文献１に記載のＡＲによる付加情報表示では、指標が撮影手段の視野内にないと付加情報を提示することができなかったが、本実施に係る作業支援システムにおいては、上記構成により、作業者４にとって作業対象５がいずれであるか明確でない場合にも、作業対象５の周囲に指標１０を多数配置し、撮影部６が常に１個以上の指標１０をとらえられるような構成とし、且つ、作業対象５と指標１０とを同じ座標上で表現し、作業対象５が撮影部６の撮影範囲内に入っていない場合には、作業者４に対して視線誘導のための付加情報１６を表示することで、作業者４が迷わず作業対象５に視線を移し、作業に必要な作業内容等の付加情報を得ることができる。

なお、上記の説明においては、撮影部６から指標認識部１１に映像が入力されるとして説明したが、その場合に限らず、一定周期ごとの静止画像でもよいこととする。

なお、上記の説明においては、作業支援システムが映像表示装置から構成されている場合を例に挙げたが、この発明の作業支援システムは、その場合に限定されるものではない。作業を支援するための付加情報の出力方法は、他の方法を用いてもよい。例えば、図１３の付加情報を、音声メッセージにより「作業対象Ａは右方向にあります。」と出力するようにしてもよい。あるいは、作業者４に対する付加情報１５，１６を、作業対象５が設置されている壁面に、例えば赤色光のような色の付いた光により直接表示するようにしてもよい。その場合には、作業者４が作業支援システムを装着する必要がなくなる。具体的には、図１２に示した強調用の付加情報としては、例えば、スポットライトのように局所的で且つ色の付いた光により作業対象５だけを照明し、一方、図１３の誘導用の付加情報としては、例えば、色の付いた光で構成した矢印を壁面上に表示するようにすればよい。

１ 余白、２ 黒枠、３ パターン、４ 作業者、５ 作業対象、６ 撮影部、７ 映像表示部、８ 処理装置、９ スイッチ、１０ 指標、１１ 指標認識部、１２ 表示制御部、１３ 手順管理部、１４ 頭部、１５，１６，２０ 付加情報、１７ 視野幅、１８ 配置間隔。

Claims (6)

1. 作業対象が設置されている平面上に等間隔で配置される指標と、
   前記指標を含む映像を撮影する撮影部と、
   前記作業対象の作業者に対して、作業を支援するための付加情報を表示する映像表示部と、
   前記平面上の同一座標系で定義した前記作業対象の座標と前記指標の座標とを予め記憶する記憶部と、
   前記撮影部で撮影された前記映像に含まれる前記指標を検出して、当該指標の座標を前記記憶部から取得することで、前記撮影部の撮影範囲を決定する指標認識部と、
   前記作業対象の座標を前記記憶部から取得して、前記指標認識部で決定された前記撮影部の前記撮影範囲内に前記作業対象が入っているか否かを判定する判定部と、
   前記判定部によって前記作業対象が前記撮影範囲内に入っていると判定された場合に、前記作業対象を強調表示する強調表示用の付加情報を表示し、前記判定部によって前記作業対象が前記撮影範囲内に入っていないと判定された場合に、前記作業者の視線を前記作業対象に向かって誘導する誘導用の付加情報を表示するように、前記映像表示部を制御する表示制御部と
   を備えた作業支援システム。
2. 前記映像表示部は、透過性の表示装置から構成されて、前記作業者の眼前に配置される 請求項１に記載の作業支援システム。
3. 前記強調用の付加情報は、前記作業対象を円で囲むことで強調表示するための円形付加情報を含んでいる
   請求項１または２に記載の作業支援システム。
4. 前記誘導用の付加情報は、前記作業対象の方向を矢印で示すための矢印付加情報を含んでいる
   請求項１から３までのいずれか１項に記載の作業支援システム。
5. 各前記指標は、それぞれ、重複しない固有のパターンを有し、
   前記記憶部は、前記指標の前記固有のパターンと前記指標の座標との対応関係が予め定められた指標配置座標テーブルを有している
   請求項１から４までのいずれか１項に記載の作業支援システム。
6. 前記作業対象は複数個設置され、当該複数個の作業対象は予め定められた作業手順に従って順次作業されるものであって、
   前記記憶部は、各作業対象に付された前記作業手順の順序を示す手順番号ごとに、各作業の名称と各作業対象の作業説明情報とを予め記憶した作業手順テーブルを有し、
   前記作業支援システムは、
   前記作業手順の一手順が終了したタイミングで前記作業者によって外部から入力される信号に基づき、終了した当該一手順の次の手順の手順番号を前記表示制御部に出力する手順管理部
   をさらに備え、
   前記表示制御部は、前記手順管理部から前記手順番号が入力されたときに、前記作業手順テーブルから当該手順番号に対応する前記作業説明情報を取得し、当該作業説明情報を表示するように、前記映像表示部を制御する
   請求項１から５までにいずれか１項に記載の作業支援システム。

Images