JP2016081241A - 作業支援システム及びプログラム - Google Patents

Abstract

【課題】作業者に作業内容をより具体的に把握させることができる技術が望まれていた。
【解決手段】作業現場が撮像された作業現場画像を取得する現場画像取得部と、作業現場内の一部の作業領域における作業の見本画像を取得する見本画像取得部と、作業現場画像及び見本画像に基づいて、作業領域に対応する作業現場画像内の領域を特定する領域特定部と、業現場画像を表示デバイスに表示させ、かつ、領域特定部が特定した領域に重畳させて見本画像を表示デバイスに表示させる表示制御部とを備える作業支援システムを提供する。
【選択図】図３

Description

本発明は、作業支援システム及びプログラムに関する。

機器を修理する作業手順を説明するアニメーション動画を表示する作業手順表示システムが知られていた（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１１−２５３４２２号公報

作業者に作業内容をより具体的に把握させることができる技術が望まれていた。

本発明の第１の態様によれば、作業現場が撮像された作業現場画像を取得する現場画像取得部と、作業現場内の一部の作業領域における作業の見本画像を取得する見本画像取得部と、作業現場画像及び見本画像に基づいて、作業領域に対応する作業現場画像内の領域を特定する領域特定部と、業現場画像を表示デバイスに表示させ、かつ、領域特定部が特定した領域に重畳させて見本画像を表示デバイスに表示させる表示制御部とを備える作業支援システムが提供される。

上記作業支援システムは、複数の作業工程が登録された作業工程データを取得する作業工程データ取得部と、複数の作業工程から一の作業工程を選択する作業工程選択部とをさらに備えてよく、見本画像取得部は、作業工程選択部によって選択された作業工程に対応付けられた見本画像を取得してよい。上記作業支援システムにおいて、現場画像取得部は、複数の作業工程が作業者によって実行されているときに撮像された作業現場画像を取得してよく、上記作業支援システムは、複数の作業工程のそれぞれに対応付けて、複数の作業工程のそれぞれに対応する作業現場画像を格納する現場画像格納部をさらに備えてよい。上記作業支援システムにおいて、現場画像取得部は、ラックが配置された作業現場の作業現場画像を取得してよく、作業工程データ取得部は、ラックを識別するラック識別情報が登録された作業工程データを取得してよく、領域特定部は、作業現場画像、見本画像及びラック識別情報に基づいて、作業領域に対応する作業現場画像における領域を特定してよい。

本発明の第２の態様によれば、作業現場が撮像部によって撮像された作業現場画像を取得する現場画像取得部と、作業現場内の一部の作業領域における作業の見本画像を取得する見本画像取得部と、作業現場画像、見本画像、及び撮像部と透過型表示デバイスとの位置関係に基づいて、作業領域に重畳させて見本画像を表示させるための、透過型表示デバイスにおける見本画像の表示領域を決定する表示領域決定部とを備える作業支援システムが提供される。

上記作業支援システムは、複数の作業工程が登録された作業工程データを取得する作業工程データ取得部と、複数の作業工程から一の作業工程を選択する作業工程選択部とをさらに備えてよく、見本画像取得部は、作業工程選択部によって選択された作業工程に対応付けられた見本画像を取得してよい。上記作業支援システムにおいて、現場画像取得部は、複数の作業工程が作業者によって実行されているときに撮像された作業現場画像を取得してよく、上記作業支援システムは、複数の作業工程のそれぞれに対応付けて、複数の作業工程のそれぞれに対応する作業現場画像を格納する現場画像格納部をさらに備えてよい。上記作業支援システムにおいて、画像取得部は、ラックが配置された作業現場の作業現場画像を取得してよく、作業工程データ取得部は、ラックを識別するラック識別情報が登録された作業工程データを取得してよく、表示領域決定部は、作業現場画像、見本画像、撮像部と透過型表示デバイスとの位置関係、及びラック識別情報に基づいて、透過型表示デバイスにおける見本画像の表示領域を決定してよい。

本発明の第３の態様によれば、コンピュータを、上記作業支援システムとして機能させるためのプログラムが提供される。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

作業支援装置の通信環境の一例を概略的に示す。 表示デバイスによる表示例を概略的に示す。 作業支援装置の機能構成の一例を概略的に示す。 作業支援装置による処理の流れの一例を概略的に示す。 オペレータ端末の機能構成の一例を概略的に示す。 作業支援装置の通信環境の他の一例を概略的に示す。 作業支援装置の機能構成の一例を概略的に示す。 表示領域決定部が決定した表示領域の一例を概略的に示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、作業支援装置１００の通信環境の一例を概略的に示す。作業支援装置１００は、作業支援システムの一例であってよい。本実施形態にかかる作業支援装置１００は、作業現場５０で作業をする作業者５４を支援する。作業現場５０は、作業が行われる場所であればどのような場所であってもよい。ここでは、通信機器を収容するラック５２が配置された作業現場５０を例示して説明する。

作業支援装置１００は、ネットワーク１０を介して、作業現場５０の表示デバイス２００及び撮像装置３００と通信する。ネットワーク１０は、社内ＬＡＮ等の専用網、インターネット及び電話網の少なくともいずれかを含んでよい。

表示デバイス２００は、表示部を備える装置であればどのような装置であってもよい。例えば、表示デバイス２００は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末、スマートフォン等の携帯電話、及びヘッドマウントディスプレイ等のウェアラブル端末等である。表示デバイス２００は、ネットワーク１０に無線接続されてよい。表示デバイス２００は、ネットワーク１０に有線接続されてもよい。

作業支援装置１００は、複数の作業工程が登録された作業工程データを表示デバイス２００に送信して表示させてよい。作業工程データは、複数の作業工程のそれぞれの作業内容を示すテキスト及び画像等を含んでよい。作業者５４は、表示デバイス２００によって表示された作業工程データを閲覧することによって、作業内容を把握する。

撮像装置３００は、作業現場５０を撮像する。撮像装置３００は、例えば、作業現場５０に設置される。撮像装置３００は、作業現場５０内の作業対象を撮像するべく設置されてよい。図１に示す例では、撮像装置３００は、作業現場５０内のラック５２を撮像するべく設置されている。

撮像装置３００は、作業者５４によって身に付けられてもよい。例えば、撮像装置３００は、頭部装着型のカメラであってよく、作業者５４の視界に対応する範囲を撮像する。

撮像装置３００は、ネットワーク１０に無線接続されてよい。撮像装置３００は、ネットワーク１０に有線接続されてもよい。撮像装置３００は、作業現場５０を撮像した作業現場画像を、ネットワーク１０を介して作業支援装置１００に送信してよい。また、撮像装置３００は、表示デバイス２００を介して、作業現場画像を作業支援装置１００に送信してもよい。

作業支援装置１００は、撮像装置３００から、作業現場画像を受信する。作業支援装置１００は、撮像装置３００から取得した作業現場画像内の、作業者５４が作業する作業領域を特定する。例えば、作業者５４が、ラック５２が有する複数のスロットのうち一のスロットに対して作業をする場合に、作業支援装置１００は、作業現場画像内のラック５２の当該一のスロットの領域を特定する。

そして、作業支援装置１００は、作業現場画像を表示デバイス２００に表示させ、かつ、特定した領域に当該作業領域における作業の見本画像を重畳させて表示デバイス２００に表示させる。見本画像とは、作業の見本となる画像であってよい。例えば、見本画像は、作業の内容を説明するための画像である。見本画像は、静止画像であってよく、また、動画像であってもよい。見本画像は、作業の内容を説明する説明者によって予め作成された画像であってよい。また、見本画像は、他の作業者５４が同一の又は対応する作業をしたときに、当該他の作業者５４による作業を撮像した画像であってもよい。

作業支援装置１００が、作業現場画像の特定した領域に見本画像を重畳させて表示デバイス２００に表示させることにより、作業者５４に対して、ラック５２における作業すべきスロットと、作業の内容とを具体的に説明することができ、作業者５４による作業効率を向上させることができる。

また、作業支援装置１００は、ネットワーク１０を介して、オペレータ端末４００と通信してよい。オペレータ端末４００は、作業者５４に対して、遠隔で作業を指示するオペレータ６０が使用する端末であってよい。オペレータ端末４００は、例えば、ＰＣ、タブレット端末、スマートフォン等の携帯電話、及びヘッドマウントディスプレイ等のウェアラブル端末等である。

オペレータ端末４００は、作業支援装置１００が表示デバイス２００に送信した作業工程データと同一の作業工程データを作業支援装置１００から受信して、表示してよい。また、オペレータ端末４００は、撮像装置３００が撮像した作業現場画像を受信して、表示してよい。オペレータ端末４００は、撮像装置３００が撮像した作業現場画像を、作業支援装置１００経由で受信してよい。また、オペレータ端末４００は、撮像装置３００が撮像した作業現場画像を、作業支援装置１００を経由せずに、撮像装置３００からネットワーク１０を介して受信してもよい。

オペレータ６０は、表示された作業工程データ及び作業現場画像を閲覧しながら、作業者５４に対して指示を出してよい。例えば、オペレータ端末４００と表示デバイス２００との間で音声通信することによって、オペレータ６０が作業者５４に対して指示を出す。オペレータ端末４００は、撮像装置３００及び作業者５４が所持する携帯電話等との間で音声通信してもよい。

図２は、表示デバイス２００による表示例を概略的に示す。図２は、作業現場画像１５０内の、作業支援装置１００によって特定された作業領域に対応する領域に、見本画像１６０が重畳された表示例を示す。ここでは、ラック５２が有する複数のスロットのうち一のスロットに、通信装置１６２を設置する作業の見本画像１６０が表示された例を示す。

作業支援装置１００は、作業現場画像１５０内の、作業領域に対応する領域に見本画像１６０が一致するように、見本画像１６０の位置及び大きさ等を調整してよい。作業現場画像１５０内の領域と見本画像１６０とは、位置、大きさ及び角度等が厳密に一致しない場合もあるが、作業者５４は、当該表示例に示すような表示を閲覧することによって、通信装置を挿入する位置、通信装置の持ち方、及び通信装置の挿入手順等を具体的に把握することができる。

特に、通信装置をラック５２に挿入する作業には、スロットに挿入する速度に厳密さが求められる作業があるが、作業支援装置１００が動画像の見本画像１６０を表示デバイス２００に表示させることにより、挿入する速度をより具体的に把握させることができる。また、従来、ラック５２における作業領域の誤りを防止すべく、作業領域に対して事前に、作業領域を示すようにマーキングをしたり、作業領域以外の箇所を作業者に見せないようにマスキングをしたりしていたが、本実施形態に係る作業支援装置１００によれば、マスキング及びマーキングの作業を不要にすることができる。これにより、作業領域を示すようにテープを貼ったり、作業領域以外を隠すようにマスキングテープを貼ったりする事前作業を省略することができる。

図３は、作業支援装置１００の機能構成の一例を概略的に示す。作業支援装置１００は、作業工程データ格納部１０２、見本画像格納部１０４、作業工程データ取得部１１０、作業工程選択部１１２、見本画像取得部１１４、現場画像取得部１１６、現場画像格納部１１８、領域特定部１２０、表示制御部１３０、入力受信部１３２及び見本画像登録部１３４を備える。なお、作業支援装置１００がこれらのすべての構成を備えることは必須とは限らない。

作業工程データ格納部１０２は、複数の作業工程が登録された作業工程データを格納する。作業工程データ格納部１０２は、複数の作業工程データを格納してよい。作業工程データ格納部１０２は、複数の作業工程のそれぞれに関連する関連情報を含む作業工程データを格納してもよい。関連情報は、作業対象となる機器及び設備を識別する情報を含んでよい。例えば、関連情報は、作業現場５０に配置されたラック５２を識別するラック識別情報を含む。

見本画像格納部１０４は、見本画像を格納する。見本画像格納部１０４は、作業工程データ格納部１０２が格納する作業工程データに登録された複数の作業工程のそれぞれに対応する見本画像を格納してよい。作業工程に対応する見本画像は、当該作業工程における作業領域に対応する画像であってよい。例えば、ラック５２が有する複数のスロットのうちの一のスロットに対する作業の作業工程に対応する見本画像は、当該一のスロットに対応する画像である。見本画像には、対応する作業工程を示す工程識別情報が対応付けられてよい。

作業工程データ取得部１１０は、作業工程データ格納部１０２に格納された作業工程データを取得する。作業工程データ取得部１１０は、例えば、作業工程データ格納部１０２に格納された複数の作業工程データのうち、作業者５４によって選択された作業工程データを取得する。

作業者５４による選択は、表示デバイス２００を介して行われてよい。例えば、作業支援装置１００が、作業工程データ格納部１０２に格納された複数の作業工程データのリストを表示デバイス２００に表示させ、当該リストから作業者５４によって選択された作業工程データを、作業工程データ取得部１１０が作業工程データ格納部１０２から取得する。

また、作業工程データ取得部１１０は、作業工程データ格納部１０２に格納された複数の作業工程データのうち、オペレータ６０によって選択された作業工程データを取得してもよい。オペレータ６０による選択は、オペレータ端末４００を介して行われてよい。例えば、オペレータ端末４００は、作業工程データ格納部１０２に格納された複数の作業工程データのリストを表示し、当該リストからオペレータ６０によって選択された作業工程データを、作業工程データ取得部１１０に通知する。

作業工程選択部１１２は、作業工程データ取得部１１０によって取得された作業工程データに含まれる複数の作業工程から一の作業工程を選択する。作業工程選択部１１２は、例えば、複数の作業工程のうち、作業者５４によって選択された作業工程を選択する。

作業者５４による選択は、表示デバイス２００を介して行われてよい。例えば、作業支援装置１００が、作業工程データ取得部１１０によって取得された作業工程データを表示デバイス２００に表示させ、当該作業工程データから作業者５４によって選択された作業工程を、作業工程選択部１１２が選択する。作業者５４は、例えば、作業工程データに含まれる複数の作業工程のうち、これから作業しようとする作業工程を選択する。

見本画像取得部１１４は、作業工程選択部１１２によって選択された作業工程に対応付けられた見本画像を見本画像格納部１０４から取得する。見本画像取得部１１４は、例えば、作業工程選択部１１２によって選択された作業工程に対応付けて、静止画像の見本画像及び動画像の見本画像が格納されていた場合、動画像の見本画像を取得してよい。すなわち、見本画像取得部１１４は、静止画像及び動画像のうち、動画像を優先的に取得してよい。これにより、作業内容をより具体的に把握できる見本画像を優先的に取得することができる。

現場画像取得部１１６は、撮像装置３００から作業現場画像を取得する。現場画像取得部１１６は、作業工程データ取得部１１０が取得した作業工程データに登録された複数の作業工程が作業者５４によって実行されているときに、撮像装置３００が撮像した作業現場画像を取得してよい。

現場画像格納部１１８は、現場画像取得部１１６によって取得された作業現場画像を格納する。現場画像格納部１１８は、複数の作業工程のそれぞれに対応付けて、複数の作業工程のそれぞれの作業現場画像を格納してよい。現場画像格納部１１８は、例えば、作業工程選択部１１２によって一の作業工程が選択された後に、現場画像取得部１１６が取得した作業現場画像に対して、作業工程選択部１１２によって選択された作業工程を識別する工程識別情報を対応付けて格納してよい。

領域特定部１２０は、現場画像取得部１１６が取得した作業現場画像及び見本画像取得部１１４が取得した見本画像に基づいて、作業現場５０の一部の作業領域に対応する作業現場画像内の領域を特定する。領域特定部１２０は、例えば、パターンマッチング技術を利用して、作業現場画像内における、見本画像との一致度が他の領域よりも高い領域を、作業領域に対応する領域として特定する。

また、領域特定部１２０は、作業工程データ取得部１１０が取得した作業工程データに含まれる、複数の作業工程のそれぞれに関連する関連情報を用いて、作業領域に対応する領域を特定してもよい。例えば、領域特定部１２０は、関連情報に含まれる作業対象となる機器及び設備を識別する情報を用いて、作業領域に対応する領域を特定する。

具体例として、関連情報にラック５２を識別するラック識別情報と、ラック５２が有する複数のスロットのうちの一のスロットを識別するスロット識別情報とが含まれる場合について説明する。領域特定部１２０は、まず、ラック識別情報によって識別されるラック５２の画像を取得する。ラック５２の画像は、ラック識別情報に対応付けて予め保持していてよい。

次に、領域特定部１２０は、パターンマッチング技術を利用して、作業現場画像内におけるラック５２の画像領域を特定する。そして、領域特定部１２０は、特定したラック５２の画像領域内の、スロット識別情報によって識別されるスロットの領域を、作業領域に対応する領域として特定する。

表示制御部１３０は、表示デバイス２００による表示を制御する。例えば、表示制御部１３０は、作業工程データ取得部１１０が取得した作業工程データを表示デバイス２００に表示させる。また、表示制御部１３０は、現場画像取得部１１６が取得した作業現場画像を表示デバイス２００に表示させてよい。また、表示制御部１３０は、見本画像取得部１１４が取得した見本画像を表示デバイス２００に表示させてよい。

表示制御部１３０は、現場画像取得部１１６が取得した作業現場画像を表示デバイス２００に表示させ、かつ、領域特定部１２０が特定した領域に重畳させて、見本画像取得部１１４が取得した見本画像を表示デバイス２００に表示させてよい。表示制御部１３０は、現場画像取得部１１６が継続して取得している作業現場画像に対して、リアルタイムに見本画像を重畳させて、表示デバイス２００に表示させてよい。例えば、表示制御部１３０は、作業現場５０に配置された撮像装置３００が撮像する作業現場５０の動画像に対して、見本画像をリアルタイムに重畳させて、表示デバイス２００に表示させる。

また、表示制御部１３０は、静止画像の作業現場画像に対して、見本画像を重畳させて、表示デバイス２００に表示させてもよい。例えば、表示制御部１３０は、作業者５４が頭部に装着した撮像装置３００によって撮像された作業現場画像の静止画像に対して、見本画像を重畳させて、表示デバイス２００に表示させる。これにより、作業者５４の視覚に対応する画角で撮像された作業現場画像の静止画像に対して見本画像を重畳させることができ、作業の内容をより具体的に作業者５４に把握させることができる。

領域特定部１２０は、表示制御部１３０によって表示デバイス２００に表示された作業現場画像に対して入力された座標データに基づいて、作業現場５０の一部の作業領域に対応する作業現場画像内の領域を特定してもよい。例えば、領域特定部１２０は、表示制御部１３０によって表示デバイス２００に作業現場画像が表示された後、表示デバイス２００から、作業現場画像内の領域を示す座標データを受信し、当該座標データが示す領域を、作業現場５０の一部の作業領域に対応する作業現場画像内の領域として特定する。表示デバイス２００は、例えば、表示した作業現場画像に対する、作業者５４による、タッチ入力及びマウス入力等の座標入力を受け付けることによって、作業現場画像内の領域を示す座標データを取得してよい。

入力受信部１３２は、オペレータ端末４００に対して入力された入力データを、オペレータ端末４００から受信する。例えば、入力受信部１３２は、オペレータ端末４００から、作業現場画像内における座標データを受信する。

表示制御部１３０は、入力受信部１３２が受信した入力データに基づいて、表示を制御してよい。例えば、入力受信部１３２が作業現場画像内における座標データを受信した場合、表示制御部１３０は、表示デバイス２００に表示させている作業現場画像における、当該座標データが示す位置を、識別表示させる。表示制御部１３０は、例えば、作業現場画像上の当該座標データが示す位置に、マーキングを表示させる。

これにより、例えば、撮像装置３００が撮像している作業現場５０内のラック５２がオペレータ端末４００に表示され、オペレータ６０によって、ラック５２が有する複数のスロットのうち一のスロットに対応する座標を示す座標データが入力された場合に、表示デバイス２００に、当該一のスロットを識別表示させることができる。そしてこれにより、オペレータ６０による作業位置の指定を、より具体的に作業者５４に伝えることができる。

なお、領域特定部１２０が、入力受信部１３２が受信した入力データに基づいて、作業現場５０の一部の作業領域に対応する作業現場画像内の領域を特定してもよい。例えば、領域特定部１２０は、入力受信部１３２が受信した作業現場画像内の領域を示す座標データを入力受信部１３２から取得して、当該座標データが示す領域を、作業現場５０の一部の作業領域に対応する作業現場画像内の領域として特定する。

見本画像登録部１３４は、見本画像格納部１０４に見本画像を登録する。見本画像登録部１３４は、作業工程データ格納部１０２に格納された作業工程データに登録された複数の作業工程のそれぞれについて、作業の内容を説明する説明者によって作成された見本画像を登録してよい。見本画像登録部１３４は、作業工程を識別する工程識別情報に対応付けて、見本画像を登録してよい。また、見本画像登録部１３４は、現場画像格納部１１８に格納された、複数の作業工程が作業者５４によって実行されているときに撮像された作業現場画像に工程識別情報を対応付けて登録してよい。

見本画像登録部１３４は、作業者５４による作業が正常に完了したときの作業現場画像を登録してよい。作業者５４による作業が正常に完了したときの作業現場画像は、良い見本として使用されてよい。また、見本画像登録部１３４は、作業者５４による作業が正常に完了しなかったときの作業現場画像を登録してもよい。作業者５４による作業が正常に完了しなかったときの作業現場画像は、悪い見本として使用されてよい。

図４は、作業支援装置１００による処理の流れの一例を概略的に示す。ここでは、作業支援装置１００が、作業工程データ格納部１０２に格納された複数の作業工程データのうちの一の作業工程データの選択を待ち受けている情報を開始状態として説明する。図４に示す各処理は、作業支援装置１００が備える制御部が主体となって実行される。

ステップ４０２（ステップをＳと省略して記載する場合がある。）では、作業工程データ取得部１１０が、複数の作業工程データのうち選択された作業工程データを作業工程データ格納部１０２から取得する。Ｓ４０４では、表示制御部１３０が、Ｓ４０２で取得され作業工程データを表示デバイス２００に表示させる。

Ｓ４０６では、作業工程選択部１１２が、Ｓ４０２で取得された作業工程データに含まれる複数の作業工程から一の作業工程を選択する。Ｓ４０８では、見本画像取得部１１４が、Ｓ４０６で選択された一の作業工程に対応付けられた見本画像を見本画像格納部１０４から取得する。

Ｓ４１０では、現場画像取得部１１６が、作業現場画像を取得する。Ｓ４１２では、現場画像格納部１１８が、Ｓ４１０で取得された作業現場画像を、Ｓ４０６で選択された作業工程を識別する工程識別情報に対応付けて格納する。

Ｓ４１４では、領域特定部１２０が、Ｓ４０８で取得された見本画像及びＳ４１０で取得された作業現場画像に基づいて、作業現場５０内の一部の作業領域に対応する作業現場画像内の領域を特定する。Ｓ４１６では、表示制御部１３０が、Ｓ４１０で取得した作業現場画像を表示デバイス２００に表示させ、かつ、Ｓ４１４で特定された領域に重畳させてＳ４０８で取得された見本画像を表示デバイス２００に表示させる。

Ｓ４１８では、Ｓ４０２で取得された作業工程データに登録された複数の作業工程の全てが完了したか否かを判定する。完了していないと判定した場合、Ｓ４０６に戻り、完了したと判定した場合、処理が終了する。

図５は、オペレータ端末４００の機能構成の一例を概略的に示す。オペレータ端末４００は、作業工程データ取得部４０２、現場画像取得部４０４、表示制御部４０６、表示部４０８、入力受付部４１０及び入力送信部４１２を備える。なお、オペレータ端末４００がこれらのすべての構成を備えることは必須とは限らない。

作業工程データ取得部４０２は、作業支援装置１００から作業工程データを取得する。作業工程データ取得部４０２は、作業支援装置１００が表示デバイス２００に送信した作業工程データと同一の作業工程データを、作業支援装置１００から受信してよい。現場画像取得部４０４は、撮像装置３００によって撮像された作業現場画像を取得する。

表示制御部４０６は、作業工程データ取得部４０２が取得した作業工程データを表示部４０８に表示させる。また、表示制御部４０６は、現場画像取得部４０４が取得した作業現場画像を表示部４０８に表示させる。表示制御部４０６は、作業工程データ取得部４０２が取得した作業工程データに登録された複数の作業工程のそれぞれに対応付けて、現場画像取得部４０４が取得した複数の作業工程のそれぞれに対応する作業現場画像を表示させてもよい。

入力受付部４１０は、入力を受け付ける。入力受付部４１０は、マウス及びタッチパネル等の入力デバイスを介した座標データの入力を受け付けてよい。例えば、入力受付部４１０は、表示制御部４０６によって表示された作業現場画像上の座標データの入力を受け付ける。

入力送信部４１２は、入力受付部４１０が受け付けた入力データを送信する。入力送信部４１２は、入力データを作業支援装置１００に対して送信してよい。

図６は、作業支援装置１００の通信環境の他の一例を概略的に示す。ここでは、図１に示す作業支援装置１００の通信環境と異なる点を主に説明する。

図６に示す作業支援装置１００は、ネットワーク１０を介して、作業現場５０の透過型表示デバイス６００と通信する。透過型表示デバイス６００は、頭部装着型のデバイスであってよく、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）等のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であってよい。

透過型表示デバイス６００は、表示部６０２及び撮像部６０４を備える。表示部６０２は透過型ディスプレイである。撮像部６０４は、透過型表示デバイス６００を装着した作業者５４の視覚に対応する範囲を撮像するカメラである。

作業支援装置１００は、複数の作業工程が登録された作業工程データを透過型表示デバイス６００に送信して表示させてよい。作業者５４は、透過型表示デバイス６００によって表示された作業工程データを閲覧することによって、作業の内容を把握してよい。

作業支援装置１００は、撮像部６０４によって撮像された作業現場画像を透過型表示デバイス６００から取得してよい。作業支援装置１００は、作業現場画像内の、作業者５４が作業する作業領域に重畳させて見本画像を表示させるための、透過型表示デバイス６００における見本画像の表示領域を決定する。

例えば、作業者５４が、ラック５２が有する複数のスロットのうち一のスロットに対して作業をする場合に、作業支援装置１００は、当該一のスロットに重畳させて見本画像を表示させるための、透過型表示デバイス６００における見本画像の表示領域を決定する。透過型表示デバイス６００は、作業支援装置１００によって決定された表示領域に従って、見本画像を表示部６０２に表示させてよい。これにより、作業者５４の視界においてラック５２の一のスロットに、見本画像が重畳したような表示を、作業者５４に提供することができる。

なお、ここでは、作業支援装置１００が、透過型表示デバイス６００が備える撮像部６０４によって撮像された作業現場画像を取得する例を挙げて説明したが、これに限らない。作業支援装置１００は、作業現場５０に配置された撮像部によって撮像された作業現場画像を取得してもよい。

図７は、作業支援装置１００の機能構成の他の一例を概略的に示す。図７は、作業支援装置１００が、領域特定部１２０の代わりに表示領域決定部１８０を備える点で、図３と異なる。ここでは、図３と異なる点を主に説明する。

表示領域決定部１８０は、現場画像取得部１１６が取得した作業現場画像、見本画像取得部１１４が取得した見本画像、及び撮像部６０４と透過型表示デバイス６００との位置関係に基づいて、作業現場５０内の一部の作業領域に対応する作業現場画像における領域を特定する。例えば、表示領域決定部１８０は、まず、パターンマッチング技術等を利用して、作業現場画像内における、見本画像との一致度が他の領域よりも高い領域を特定する。そして、表示領域決定部１８０は、作業現場画像内の特定した領域に対応する表示部６０２における表示領域を、透過型表示デバイス６００と撮像部６０４との位置関係に従って決定する。

また、表示領域決定部１８０は、作業工程データ取得部１１０が取得した作業工程データに含まれる、複数の作業工程のそれぞれに関連する関連情報を用いて、表示領域を決定してもよい。例えば、表示領域決定部１８０は、関連情報に含まれる作業対象となる機器及び設備を識別する情報を用いて、表示領域を決定する。

具体例として、関連情報にラック５２を識別するラック識別情報と、ラック５２が有する複数のスロットのうちの一のスロットを識別するスロット識別情報とが含まれる場合について説明する。表示領域決定部１８０は、まず、ラック識別情報によって識別されるラック５２の画像を取得する。ラック５２の画像は、ラック識別情報に対応付けて予め保持していてよい。

次に、表示領域決定部１８０は、パターンマッチング技術を利用して、作業現場画像内におけるラック５２の画像領域を特定する。次に、表示領域決定部１８０は、特定したラック５２の画像領域内の、スロット識別情報によって識別されるスロットの領域を特定する。そして、表示領域決定部１８０は、作業現場画像内の特定した領域に対応する表示部６０２における表示領域を、透過型表示デバイス６００と撮像部６０４との位置関係に従って決定する。

図８は、表示領域決定部１８０が決定した表示領域６１０の一例を概略的に示す。図８は、ラック５２が有する５つのスロットのうち、下から２スロット目が作業領域である場合を例示している。図８に示すように、表示領域決定部１８０が、作業領域に重畳させて見本画像を表示させるための表示領域６１０を決定して、透過型表示デバイス６００が備える表示部６０２が、当該表示領域６１０に見本画像を表示させることによって、作業者５４の視界において、ラック５２の下から２スロット目に、見本画像が重畳した表示を提供することができる。

以上の説明において、作業支援装置１００の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよい。また、ハードウエアとソフトウエアとの組み合わせにより実現されてもよい。また、プログラムが実行されることにより、コンピュータが、作業支援装置１００として機能してもよい。プログラムは、コンピュータ読み取り可能な媒体又はネットワークに接続された記憶装置から、作業支援装置１００の少なくとも一部を構成するコンピュータにインストールされてよい。

コンピュータにインストールされ、コンピュータを本実施形態に係る作業支援装置１００として機能させるプログラムは、ＣＰＵ等に働きかけて、コンピュータを、作業支援装置１００の各部としてそれぞれ機能させる。これらのプログラムに記述された情報処理は、コンピュータに読込まれることにより、ソフトウエアと作業支援装置１００のハードウエア資源とが協働した具体的手段として機能する。

上記実施形態では、作業支援装置１００を作業支援システムの一例として説明したが、これに限らない。作業支援装置１００が備える構成の少なくとも一部を、表示デバイス２００及び撮像装置３００の少なくともいずれかが備えてもよい。この場合、作業支援装置１００と、表示デバイス２００及び撮像装置３００の少なくともいずれかが作業システムを構成してよい。また、作業支援装置１００が備える構成の少なくとも一部を透過型表示デバイス６００が備えてもよい。この場合、作業支援装置１００と透過型表示デバイス６００とが作業支援システムを構成してよい。

また、上記実施形態では、見本画像取得部１１４が、作業工程選択部１１２によって選択された作業工程に対応付けられた見本画像を見本画像格納部１０４から取得する例について説明した。ここで、選択された作業工程に対応付けられた見本画像が複数格納されていた場合、見本画像取得部１１４は、作業者５４の属性情報に基づいて、複数の見本画像から一の画像を選択して取得してもよい。

例えば、見本画像格納部１０４は、作業内容を説明する説明者が、作業者５４の属性情報毎に生成した見本画像を、作業者５４の属性情報に対応付けて格納する。属性情報は、作業者５４の身長、性別、及び作業経験年数等を含んでよい。また、見本画像格納部１０４は、現場画像格納部１１８によって格納された、複数の作業工程が作業者５４によって実行されているときに撮像された作業現場画像に対して、当該作業者５４の属性情報を対応付けて格納する。

そして、見本画像取得部１１４は、表示デバイス２００等から作業者５４の属性情報を取得して、取得した属性情報に基づいて、見本画像格納部１０４に格納された複数の見本画像から一の見本画像を取得する。見本画像取得部１１４は、例えば、作業者５４の身長により近い身長が対応付けられた見本画像を取得する。これにより、作業者５４の目線により近い目線で撮像された見本画像や、作業者５４の目線に合わせて生成された見本画像を取得することができる。

また、見本画像取得部１１４は、作業者５４の性別と同じ性別が対応付けられた見本画像を取得する。これにより、作業者５４が男性の場合は男性用の見本画像を取得でき、作業者５４が女性の場合は女性用の見本画像を取得できる。また、見本画像取得部１１４は、作業者５４の作業経験年数により近い経験年数が対応付けられた見本画像を取得する。これにより、見本画像取得部１１４は、作業者５４の作業経験年数により適した見本画像を取得することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ ネットワーク、５０ 作業現場、５２ ラック、５４ 作業者、１００ 作業支援装置、１０２ 作業工程データ格納部、１０４ 見本画像格納部、１１０ 作業工程データ取得部、１１２ 作業工程選択部、１１４ 見本画像取得部、１１６ 現場画像取得部、１１８ 現場画像格納部、１２０ 領域特定部、１３０ 表示制御部、１３２ 入力受信部、１３４ 見本画像登録部、１５０ 作業現場画像、１６０ 見本画像、１８０ 表示領域決定部、２００ 表示デバイス、３００ 撮像装置、４００ オペレータ端末、４０２ 作業工程データ取得部、４０４ 現場画像取得部、４０６ 表示制御部、４０８ 表示部、４１０ 入力受付部、４１２ 入力送信部、６００ 透過型表示デバイス、６０２ 表示部、６０４ 撮像部、６１０ 表示領域

Claims (9)

1. 作業現場が撮像された作業現場画像を取得する現場画像取得部と、
   前記作業現場内の一部の作業領域における作業の見本画像を取得する見本画像取得部と、
   前記作業現場画像及び前記見本画像に基づいて、前記作業領域に対応する前記作業現場画像内の領域を特定する領域特定部と、
   前記作業現場画像を表示デバイスに表示させ、かつ、前記領域特定部が特定した前記領域に重畳させて前記見本画像を前記表示デバイスに表示させる表示制御部と
   を備える作業支援システム。
2. 複数の作業工程が登録された作業工程データを取得する作業工程データ取得部と、
   前記複数の作業工程から一の作業工程を選択する作業工程選択部と
   をさらに備え、
   前記見本画像取得部は、前記作業工程選択部によって選択された作業工程に対応付けられた見本画像を取得する、請求項１に記載の作業支援システム。
3. 前記現場画像取得部は、前記複数の作業工程が作業者によって実行されているときに撮像された前記作業現場画像を取得し、
   前記作業支援システムは、
   前記複数の作業工程のそれぞれに対応付けて、前記複数の作業工程のそれぞれに対応する前記作業現場画像を格納する現場画像格納部
   をさらに備える、請求項２に記載の作業支援システム。
4. 前記現場画像取得部は、ラックが配置された前記作業現場の前記作業現場画像を取得し、
   前記作業工程データ取得部は、前記ラックを識別するラック識別情報が登録された前記作業工程データを取得し、
   前記領域特定部は、前記作業現場画像、前記見本画像及び前記ラック識別情報に基づいて、前記作業領域に対応する前記作業現場画像における前記領域を特定する、請求項２又は３に記載の作業支援システム。
5. 作業現場が撮像部によって撮像された作業現場画像を取得する現場画像取得部と、
   前記作業現場内の一部の作業領域における作業の見本画像を取得する見本画像取得部と、
   前記作業現場画像、前記見本画像、及び前記撮像部と透過型表示デバイスとの位置関係に基づいて、前記作業領域に重畳させて前記見本画像を表示させるための、前記透過型表示デバイスにおける前記見本画像の表示領域を決定する表示領域決定部と
   を備える作業支援システム。
6. 複数の作業工程が登録された作業工程データを取得する作業工程データ取得部と、
   前記複数の作業工程から一の作業工程を選択する作業工程選択部と
   をさらに備え、
   前記見本画像取得部は、前記作業工程選択部によって選択された作業工程に対応付けられた見本画像を取得する、請求項５に記載の作業支援システム。
7. 前記現場画像取得部は、前記複数の作業工程が作業者によって実行されているときに撮像された前記作業現場画像を取得し、
   前記作業支援システムは、
   前記複数の作業工程のそれぞれに対応付けて、前記複数の作業工程のそれぞれに対応する前記作業現場画像を格納する現場画像格納部
   をさらに備える、請求項６に記載の作業支援システム。
8. 前記画像取得部は、ラックが配置された前記作業現場の作業現場画像を取得し、
   前記作業工程データ取得部は、前記ラックを識別するラック識別情報が登録された前記作業工程データを取得し、
   前記表示領域決定部は、前記作業現場画像、前記見本画像、前記撮像部と透過型表示デバイスとの位置関係、及び前記ラック識別情報に基づいて、前記透過型表示デバイスにおける前記見本画像の前記表示領域を決定する、請求項６又は７に記載の作業支援システム。
9. コンピュータを、請求項１から７のいずれか一項に記載の作業支援システムとして機能させるためのプログラム。

Images