JP2014072803A - 作業補助システムおよびプログラム - Google Patents

Abstract

【課題】指示端末が、作業端末から受信した複数の撮影画像のうち少なくとも１つに指示の情報を付加して指示画像として送信し、作業端末が、指示画像を表示して指示を提示することができる作業補助システムおよびプログラムを提供する。
【解決手段】ＣＰＵは、作業者のカメラの映像に作業位置が映っておらず（Ｓ３３：ＮＯ）、キャプチャラインにも作業位置の写る取込画像がなければ（Ｓ３５：ＮＯ）、作業者を作業位置に案内する指示画像を提示する（Ｓ４３）。カメラの映像に作業位置が映れば（Ｓ３３：ＹＥＳ）、作業の指示を示す指示画像を作業者に提示する（Ｓ５１）。キャプチャラインに作業位置の写る取込画像があれば（Ｓ３５：ＹＥＳ）、作業の指示を示す指示情画像を作業者に提示する（Ｓ５１）。
【選択図】図４

Description

本発明は、作業者の頭部に装着される表示装置に作業の指示を提示する作業補助システムおよびプログラムに関する。

作業者（点検者）が作業対象物（点検対象）に対して作業に関する情報を、作業者の頭部に装着するヘッドマウントディスプレイ（頭部装着型表示装置）に表示することのできるシステムが知られている（例えば特許文献１参照）。特許文献１では、点検者はプラント内を巡回し、指示者（オペレータ）と交信しながら点検対象の点検を行う。点検者はヘッドマウントディスプレイに設けられたＣＣＤカメラで撮影した画像をオペレータと共有し、画像上で点検対象をポインティングデバイスで指し示すことで、効率よく点検作業を行うことができる。

特開平１０−２１４０３８号公報

しかしながら、作業者が撮影している画像が作業を指示するのに適切な画像でない場合、つまり、作業者が作業してほしい位置にいない場合、指示者は作業者に撮影のし直し、つまり、撮影場所の移動（変更）を指示する必要があり、手間がかかっていた。また、作業者が映像を撮影し、その映像を共有して指示を行う場合、指示者が望む方向とは異なる方向を作業者が向いていたり、撮影時に作業者が動くことで映像がぶれて表示されたりすると、指示者は適切な指示を行い難かった。

本発明は、上記の問題点を解決するためになされたものであり、指示端末が、作業端末から受信した複数の撮影画像のうち少なくとも１つに指示の情報を付加して指示画像として送信し、作業端末が、指示画像を表示して指示を提示することができる作業補助システムおよびプログラムを提供することを目的とする。

本発明の第１態様によれば、作業者が利用し、作業に対する指示を受信して前記作業者に提示可能な作業端末と、指示者が利用し、前記作業者に対する作業の指示を前記作業端末に送信可能な指示端末とがネットワークを介して接続された作業補助システムであって、前記作業端末は、前記作業者の頭部に装着可能に構成され、画像を表示可能な第一表示装置と、前記作業者の頭部に装着可能に構成され、前記作業者の視野の少なくとも一部を含んで撮影可能な撮影装置と、前記撮影装置が撮影した画像であって前記指示端末に送信する撮影画像の画像データと、作業の指示を含む画像であって前記指示端末から受信する指示画像の画像データを含む情報を、ネットワークを介し、前記指示端末との間で送受信可能な第一通信手段と、前記第一通信手段が前記指示端末から受信した前記指示画像を前記第一表示装置に表示する第一表示制御手段と、を備え、前記指示端末は、画像を表示可能な第二表示装置と、前記作業端末から受信する前記撮影画像の画像データと、前記作業端末に送信する前記指示画像の画像データを含む情報を、ネットワークを介し、前記作業端末との間で送受信可能な第二通信手段と、前記第二通信手段が前記作業端末から受信した複数の前記撮影画像を記憶する記憶手段と、前記記憶手段が記憶した複数の前記撮影画像を前記第二表示装置に表示可能な第二表示制御手段と、前記第二表示装置に表示される複数の前記撮影画像のうち、少なくとも１つの画像を対象画像として選択可能な選択手段と、前記指示者が前記作業者に提示する指示を入力するための入力手段と、前記対象画像に、前記入力手段によって入力された指示の情報である指示情報を付加して前記指示画像を生成する第一生成手段と、を備え、前記指示端末の前記第二通信手段は、前記第一生成手段が生成した前記指示画像の画像データを前記作業端末に送信し、前記作業端末の前記表示制御手段は、前記第一通信手段が前記指示端末から受信した前記指示画像の画像データに基づく画像を前記表示装置に表示して、前記指示情報に基づく指示を前記作業者に提示することを特徴とする作業補助システムが提供される。

第１態様では、指示者が作業者に対し、作業位置などの指示をする際に、作業者目線に近い指示画像（静止画）を表示することで、作業者に対し、精確な作業内容を伝えることができる。また、作業者の視野と同じ画像が表示装置に表示されるため、作業者は、指示の内容を直感的に理解しやすく、指示に従って効率よく作業を行うことができる。

ＨＭＤ１の外観を示す斜視図である。 ＨＭＤ１およびＰＣ３００の電気的構成を示すブロック図である。 作業補助プログラムの画像取込処理を示すフローチャートである。 作業補助プログラムの指示画像生成処理を示すフローチャートである。 指示画面４００において案内情報を付加した指示画像が生成される様子を示した図である。 指示画面４００においてタイムライン４３０から任意のコマ画像が取込画像として取り込まれる様子を示した図である。 指示画面４００においてカメラ３９の撮影方向がずれて映像４７０に作業位置４２５が映っていない様子を示した図である。 指示画面４００において作業位置４２５が写る取込画像に指示情報が付加される様子を示した図である。

以下、本発明を具体化した一実施の形態について、図面を参照して説明する。なお、参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものである。図示された装置の構成等は、その形態のみに限定する趣旨ではなく、単なる説明例である。

本発明に係る作業補助システムは、作業者が装着するヘッドマウントディスプレイ１（以下、「ＨＭＤ１」という。図１参照）と、指示者が利用し、作業者に対する指示の情報をＨＭＤ１に送信するパーソナルコンピュータ３００（以下、「ＰＣ３００」という。図２参照）とから構成されるシステムである。ＨＭＤ１は、作業者の眼の前方に配置されるハーフミラー８（後述）を透過する外界の風景に重ねて画像を表示する。ＨＭＤ１は公知の無線通信を用いてＰＣ３００に接続し、ＰＣ３００との間で画像データを含む各種データの送受信を行う。以下の説明において、図１の上方、下方、右斜め下方、左斜め上方、右斜め上方および左斜め下方が、それぞれ、ＨＭＤ１の上方、下方、前方、後方、右方および左方である。

図１に示すように、ＨＭＤ１は、投影装置１００および制御装置２００を備える。投影装置１００は専用の装着具である眼鏡９１に装着して使用される。投影装置１００は、作業者が日常的に使用する眼鏡、ヘルメット、ヘッドホンなど、他の装着具に取り付けられてもよい。投影装置１００は、作業者の眼に画像光を照射する。投影装置１００はハーネス１５０を介して制御装置２００と着脱可能に接続する。制御装置２００は、例えば作業者の腰ベルト等に装着して使用される。制御装置２００は、投影装置１００を制御する。

投影装置１００の構成について説明する。投影装置１００は筐体２を備える。筐体２の内部には、画像表示部３６（図２参照）と接眼光学系（図示略）とが含まれる。画像表示部３６は、制御装置２００からハーネス１５０を介して送信される映像信号に基づいて画像を表示する。画像表示部３６は、例えば、液晶素子等の空間変調素子および光源である。画像表示部３６は、二次元光スキャナおよび光源からなる網膜走査型表示部や、有機ＥＬ（Organic Electro-luminescence）素子等であってもよい。接眼光学系は、画像表示部３６に表示された画像を示す画像光を、作業者の眼に導くために集光する。接眼光学系から射出された画像光は、筐体２の左側に設けられたハーフミラー８によって少なくとも一部（例えば半分）が反射され、作業者の左の眼球（図示略）に入射する。ハーフミラー８は外界の実像からの光の少なくとも一部を透過するので、作業者は、自己の視野において実像（外界の風景）に重畳して画像を視認できる。また、筐体２内には、後述する方位センサ２７（図２参照）が組み付けられている。

眼鏡９１は、投影装置１００を作業者の頭部に保持するための構成である。投影装置１００の筐体２は、支持部９６によって、眼鏡９１に取り付けられる。支持部９６は作業者側から見て眼鏡９１の上面左端側（図１における上面右端）に設けられる。支持部９６には調整棒９８が組み付けられる。調整棒９８は支持部９６に対して左右方向にスライド可能である。調整棒９８は上下方向に延び、上端に三角形状の突起部９７を有する。調整棒９８は、支持部９６の上面側に突起部９７を露出させた状態で、支持部９６から下方へ向けて突出する。筐体２は眼鏡９１と向き合う部分（背面側）に取付部４９を有する。取付部４９は調整棒９８に取り付けられる。筐体２は、調整棒９８に沿って上下方向に位置移動可能である。また、突起部９７を左右にスライドすることで、筐体２は調整棒９８ごと支持部９６に対して左右方向に位置移動可能である。作業者は、眼球の位置に合わせた位置にハーフミラー８を配置することができる。

眼鏡９１は、フレーム９４の左右方向略中央に、カメラ３９を備える。カメラ３９は、作業者の視野前方の外界の風景を撮影する。カメラ３９の撮影方向および画角は、予め、作業者の視野に合わせて設定されている。より詳細には、カメラ３９の撮影方向および画角は、カメラ３９による外界の風景の撮影範囲が、ハーフミラー８を透過する実像に重ねることのできる画像表示部３６からの画像光の表示範囲とほぼ一致するように設定されている。また、眼鏡９１は、フレーム９４の右端側に、骨伝導イヤホンおよびマイクを内蔵するヘッドセット３５を備える。なお、眼鏡９１自体の形状は通常の眼鏡に類似のため、詳細な説明は省略する。

制御装置２００の構成について説明する。制御装置２００は、例えば略直方体状のシステムボックスである。制御装置２００は電源ランプ５２を内蔵する電源スイッチ５１を含む操作部５０を備える。作業者は、電源スイッチ５１を操作し、ＨＭＤ１の電源をオンまたはオフにすることができる。また、作業者は、投影装置１００における各種設定や、使用時における各種操作等を、操作部５０を介して行うことが可能である。制御装置２００は、無線通信を介してＰＣ３００と接続し、各種データの送受信を行うことが可能である。制御装置２００は有線通信のインターフェイスを備え、通信ケーブルを用いてネットワーク２５０に接続してもよいし、あるいは直接ＰＣ３００に接続してもよい。なお、後述するＰＣ３００は、パーソナルコンピュータであるが、スマートフォンやタブレット型携帯端末など、その他の機器であってもよい。

図２を参照し、ＨＭＤ１の電気的構成について説明する。投影装置１００は、投影装置１００全体の制御を司るＣＰＵ２１を備える。ＣＰＵ２１は、プログラムＲＯＭ２３、ＲＡＭ２５、画像表示部３６、インターフェイス１２、接続コントローラ３７と電気的に接続する。また、ＣＰＵ２１は、インターフェイス１２を介して方位センサ２７、カメラ３９およびヘッドセット３５と電気的に接続する。プログラムＲＯＭ２３は、ＣＰＵ２１が実行する各種プログラム等を記憶する。各種プログラムは、投影装置１００の出荷時にプログラムＲＯＭ２３に記憶される。なおＣＰＵ２１は、後述する制御装置２００のフラッシュＲＯＭ４７に記憶されたプログラムも実行することができる。ＲＡＭ２５は、各種データを一時的に記憶する。

画像表示部３６は前述の通り、映像信号に基づいて画像を表示する。以下、画像表示部３６に表示させる画像を「表示画像」という。インターフェイス１２は方位センサ２７、カメラ３９およびヘッドセット３５に接続し、信号の入出力を制御する。接続コントローラ３７は、ハーネス１５０を介して制御装置２００の接続コントローラ４８に接続し、有線通信を行う。方位センサ２７は、例えば地磁気を検知することで投影装置１００の向いている方角を検出する電子コンパスである。カメラ３９は映像を撮影する。なお、制御装置２００のＣＰＵ４１は、方位センサ２７で検出した方角の情報を、カメラ３９の撮影方向の情報として映像に付加し、ＰＣ３００に送信する。ヘッドセット３５は骨電動イヤホンおよびマイクを備える。なお、投影装置１００または制御装置２００は、ヘッドセット３５の代わりに、スピーカおよびマイクを内蔵してもよい。

制御装置２００の電気的構成について説明する。制御装置２００は、制御装置２００全体の制御を司るＣＰＵ４１を備える。ＣＰＵ４１は、プログラムＲＯＭ４３、ＲＡＭ４５、フラッシュＲＯＭ４７、接続コントローラ４８、ビデオＲＡＭ５７、画像処理部５９、インターフェイス５５、および無線通信部５３と電気的に接続する。プログラムＲＯＭ４３は、ＣＰＵ４１が実行する各種プログラム等を記憶する。各種プログラムは、制御装置２００の出荷時にプログラムＲＯＭ４３に記憶される。なおＣＰＵ４１は、フラッシュＲＯＭ４７に記憶されたプログラムも実行することができる。

ＲＡＭ４５は、各種データを一時的に記憶する。フラッシュＲＯＭ４７は、制御装置２００の出荷後にインストールされた各種プログラム等を記憶する。接続コントローラ４８は、ハーネス１５０を介して投影装置１００の接続コントローラ３７に接続し、有線通信を行う。無線通信部５３は、ネットワーク２５０のアクセスポイント（図示略）へ無線で接続し、ネットワーク２５０に接続する他の機器と通信を行う。無線通信部５３はネットワーク２５０を介さずに、直接ＰＣ３００と無線による接続を行ってもよい。インターフェイス５５は電源スイッチ５１および電源ランプ５２を含む操作部５０に接続し、作業者による操作の入力信号やランプの点灯信号等の入出力を行う。画像処理部５９は、投影装置１００の画像表示部３６に表示させる表示画像を形成する処理を行う。ビデオＲＡＭ５７は、画像処理部５９が形成した表示画像を画像表示部３６に表示するための映像信号を生成するため、表示画像を仮想的に表示した仮想画面を記憶領域内に形成する。

ＰＣ３００は、指示者が使用する公知のパーソナルコンピュータである。ＰＣ３００は、ＰＣ３００全体の制御を司るＣＰＵ３０１を備える。ＣＰＵ３０１は、データバスを介してＲＯＭ３０３、ＲＡＭ３０５、入出力バス３０９（以下、「Ｉ／Ｏバス３０９」という。）と電気的に接続する。ＲＯＭ３０３は、ＣＰＵ３０１が実行するＢＩＯＳ等のプログラムを記憶する読出し専用の記憶装置である。ＲＡＭ３０５は、データを一時的に記憶する読み書き可能な記憶装置である。

Ｉ／Ｏバス３０９には、ハードディスクドライブ３０７（以下、「ＨＤＤ３０７」という。）、通信部３１１、音声制御部３１３、表示制御部３１５、入力検知部３３０が接続されている。ＨＤＤ３０７は、ＯＳやプログラム等（後述する作業補助プログラムを含む。）がインストールされる記憶装置である。通信部３１１は、ネットワーク２５０のアクセスポイント（図示略）へ有線または無線で接続し、ＰＣ３００をネットワーク２５０に接続する。音声制御部３１３は、イヤホンおよびマイクを備えるヘッドセット３２０に接続し、音声の入出力を制御する。表示制御部３１５は、後述する作業補助プログラム等の操作画面をディスプレイ３４０に表示するための描画処理を行う。入力検知部３３０は、例えばディスプレイ３４０の表示画面に貼設された感圧式のタッチセンサである。作業補助プログラムにおいては、指示者がタッチペン３５０（図５参照）を用いて行った操作の入力を検知する。また、図示しないが、Ｉ／Ｏバス３０９にはマウスやキーボード等の入力デバイスも接続されている。

図３〜図８を参照し、ＰＣ３００のＣＰＵ３０１が実行する作業補助プログラムの各処理について説明する。まず、作業補助プログラムの実行に伴いＣＰＵ３０１が行う各種処理の概要について説明する。ＣＰＵ３０１は、作業補助プログラムとして、画像取込処理（図３参照）と、指示画像生成処理（図４参照）を実行する。画像取込処理において、ＣＰＵ３０１は、ＨＭＤ１のカメラ３９が撮影した映像を受信し、映像を構成するコマ画像から一体画像を形成するとともに、所定のコマ画像を取込画像として取り込み、映像における時系列順にＨＤＤ３０７に記憶する。「コマ画像」とは、映像を構成する個々の画像である。例えば、映像のフレームレートが１５ｆｐｓ（Frames Per Second）であれば、映像は、１秒間に１５枚のコマ画像を順に表示することで再生される。

「一体画像」は、コマ画像をつなぎ合わせて一体に形成した画像である。一体画像は、例えば、２つのコマ画像を画像内の重複部分において重ねてつなぎ目を補正する処理を、複数のコマ画像にわたって行うことで、画像の表示範囲が複数のコマ画像の全体にわたって一体となった１枚の大きな画像として形成されたものである。ＨＭＤ１から受信する映像には、カメラ３９の撮影方向の情報が付加されている。ＣＰＵ３０１は、一体画像の形成においてコマ画像の撮影方向が所定の範囲に含まれるコマ画像を一体画像の形成に用いる。「所定の範囲」は、例えば、作業者が体の向きは変えず、頭の向きを変えるだけで視認できる範囲が、所定の範囲として設定される。

一体画像を形成する際に、ＣＰＵ３０１は、つなぎ合わせるもととなったコマ画像同士の位置関係を、ＨＤＤ３０７に記憶する。これにより、一体画像を構成する個々のコマ画像が、一体画像内においてどの位置に位置するか、その位置関係を示すマップが形成される。なお、一体画像内におけるコマ画像の位置関係は、例えば、一体画像内での位置を示す座標によって示されてもよい。あるいはコマ画像同士の相対的な座標によって示されてもよく、この場合、任意の２つのコマ画像の位置関係を示すには、その２つのコマ画像との間で位置関係を有するコマ画像をそれぞれたどればよい。

「取込画像」は映像からコマ画像の１つを画像として取り込んだものである。後述する画像取込処理において、ＣＰＵ３０１は、受信した映像を構成するコマ画像のうち、画像内に写る外界の風景の重複割合が所定割合未満のコマ画像を取込画像として取り込む。例えば、ＣＰＵ３０１は、映像からコマ画像を取得すると、先に取り込んだ取込画像と重複する部分を比較する。ＣＰＵ３０１は、重複部分が画像内で占める割合が所定割合以上であればコマ画像を取り込まず、所定割合未満であれば、コマ画像を取込画像として取り込む。

指示画像生成処理において、ＣＰＵ３０１は、映像から取り込んだ最新のコマ画像または取込画像を画像処理の対象である「対象画像」とし、対象画像に対し画像の加工処理を行って、作業者に提示する指示画像を生成する。「指示画像」は、対象画像に指示情報または案内情報を付加した画像であり、作業者に指示を提示するため、投影装置１００に表示される。「指示情報」は、作業者が行う作業についての指示の内容を示す画像の情報である。指示情報は、例えば、対象画像に写る作業位置を示す囲い線や、作業の手順を示す文章等を、対象画像に重ねて表示することのできる画像の情報である。本実施形態では、指示画面４００（図８参照）において、指示者がタッチペン３５０を用い、対象画像に重ねて描画した指示内容が、指示情報として付加される。「案内情報」は、作業者を、現在の位置から作業位置へ向けて案内するための指示内容を示す画像の情報である。案内情報は、例えば、対象画像において写る外界の風景に、矢印や、移動方向を示す文章等を重ねて表示することのできる画像の情報である。本実施形態では、指示画面４００（図５参照）において、指示者がタッチペン３５０を用いて示す方向に応じて、対象画像に重ねて描画される矢印の画像４６０等が、案内情報として付加される。

次に、作業補助プログラムの実行において指示者が操作を行う指示画面４００について説明する。図５に示す指示画面４００は、ＰＣ３００のディスプレイ３４０に表示され、指示者が、作業者の撮影した現在の映像４７０を見ながら作業者に対する指示を行うための操作を行う画面である。指示画面４００の上段右側には、作業者の現在の映像４７０が表示されるメイン画面４１０が配置される。メイン画面４１０は、現在の映像４７０の表示に限らず、指示者が指示情報または案内情報を付加する場合に、対象画像を静止画として表示する。また、メイン画面４１０では、指示者が指示情報としてタッチペン３５０で描画した内容が、画像として生成され、対象画像に重ねて表示される。

指示画面４００の下段右側には、一体画像の表示領域４２０が設けられている。表示領域４２０はメイン画面４１０よりも小さく、表示範囲は、一体画像の形成における所定の範囲として設定されている。表示領域４２０は、初期状態においては何も表示されておらず、例えば黒塗りの状態となっている。表示領域４２０は、生成される一体画像の大きさに応じて、表示内容が拡大する。また、表示領域４２０には、作業者の現在の映像４７０が一体画像において映る位置（作業者の現在の位置）を示す位置枠４２１が表示される。

指示画面４００の下段中央には、上部に、左右方向に伸びるタイムライン４３０とスクロールバー４３１が配置され、下部に、キャプチャボタン４４０が配置されている。タイムライン４３０は、映像を構成するコマ画像を、時系列に沿って左右に並べて表示したものである。タイムライン４３０は左右中央に、メイン画面４１０に表示するコマ画像を示す指定枠４３２を有する。指示者は、タッチペン３５０によるフリック操作またはスクロールバー４３１の操作でコマ画像を左右にスクロールし、メイン画面４１０に表示するコマ画像を変更することができる。なお、タイムライン４３０に表示されるコマ画像は、右側に表示される画像ほど時系列的に新しい画像であり、左側に表示される画像ほど時系列的に古い画像である。

キャプチャボタン４４０は、指示者が、メイン画面４１０に表示されているコマ画像を取込画像として取り込む場合に操作するボタンである。前述したように、ＣＰＵ３０１は、映像から取得したコマ画像のうち重複部分の少ないコマ画像同士を取込画像として取り込むが、指示者がキャプチャボタン４４０を操作することで、任意のコマ画像を取込画像として取り込むことができる。

指示画面４００の左側には、上下方向に伸びるキャプチャライン４５０とスクロールバー４５１が配置されている。キャプチャライン４５０は、取込画像を時系列に沿って上下に並べて表示したものである。指示者は、タッチペン３５０によるフリック操作やスクロールバー４５１の操作で取込画像を上下にスクロールすることができる。なお、キャプチャライン４５０に表示される取込画像は、上側に表示される取込画像ほど時系列的に古い画像であり、下側に表示される画像ほど時系列的に新しい画像である。また、キャプチャボタン４４０の操作によって取り込まれた取込画像には、右上角に、その旨を示す取込マーク４５２（図６参照）が表示される。

次に、作業補助プログラムの実行に伴いＣＰＵ３０１が行う各種処理の動作について説明する。まず、画像取込処理について説明する。指示者がＰＣ３００を操作して作業補助プログラムを起動すると、ＣＰＵ３０１は、ＨＤＤ３０７に記憶された作業補助プログラムを実行する。ＣＰＵ３０１は、作業補助プログラムの起動時に行う初期設定処理（図示略）において、ＲＡＭ３０５に記憶するフラグやデータを初期化し、通信部３１１を稼働させ、ネットワーク２５０に接続する。ＣＰＵ３０１は、ヘッドセット３２０のマイクで集音した音声のＨＭＤ１への継続的な送信を開始する。

また、作業者が電源スイッチ５１を操作してＨＭＤ１の電源がオンになると、制御装置２００のＣＰＵ４１は、無線通信部５３を稼働し、ネットワーク２５０に接続する。ＣＰＵ４１はネットワーク２５０を介してＰＣ３００と接続する。

ＰＣ３００のＣＰＵ３０１は、上記の初期設定処理が終了すると、画像取込処理（図３参照）と、指示画像生成処理（図４参照）を並行して実行する。図３に示す画像取込処理において、ＣＰＵ３０１は、ＨＭＤ１に、カメラ３９による撮影の開始を指示する指示信号を送信する（Ｓ１１）。制御装置２００のＣＰＵ４１は、投影装置１００のカメラ３９が撮影する映像に撮影方向の情報を付加し、ヘッドセット３５のマイクで集音した音声とともに、ＰＣ３００への継続的な送信を開始する。また、ＣＰＵ４１は、画像処理部５９において、カメラ３９が撮影した映像を表示画像として再構成し、投影装置１００にも送信して画像表示部３６に表示させる。

ＰＣ３００のＣＰＵ３０１は、ＨＭＤ１から受信した映像をＨＤＤ３０７に記憶する。ＣＰＵ３０１は記憶した映像から時系列において最初のコマ画像を取得する（Ｓ１３）。ＣＰＵ３０１は、取得したコマ画像の撮影方向が所定の範囲に含まれない場合（Ｓ１５：ＮＯ）、Ｓ２５に進み、作業者が行う作業への指示なされ、作業が完了したか否か確認する（Ｓ２５）。ＣＰＵ３０１は、後述する指示画像生成処理が終了した場合に作業が完了したと判断するので（Ｓ２５：ＮＯ）、Ｓ１３に戻り、映像から次のコマ画像を取得する。方位センサ２７による撮影方向の情報に基づいて、一体画像の形成に用いるコマ画像を制限することで、形成された一体画像は、作業者の頭の向きを変えるだけで視認できる範囲内の画像となる。これにより、指示者が作業者に指示を出す場合に、作業者は、体を動かさず、頭を動かすだけで作業位置を視認できるので、指示者は無理な姿勢をとらずとも容易に作業位置にたどり着くことができる。

コマ画像の撮影方向が所定の範囲内であった場合（Ｓ１５：ＹＥＳ）、ＣＰＵ３０１は、一体画像を形成するためにＲＡＭ３０５に確保された記憶領域に、コマ画像を仮想的に表示して、上記したように一体画像を形成する（Ｓ１７）。図５に示すように、形成された一体画像は指示画面４００の表示領域４２０に表示される。作業者がカメラ３９の頭を動かし撮影方向を変えることで、現在の映像４７０に映る外界の景色が変化する。図６に示すように、現在の映像４７０に映る景色の範囲が増えるに従い、一体画像として形成される画像は、次第に大きくなっていく。一体画像の形成によって、指示者は作業位置の周辺の様子がわかり、作業者を作業位置に案内する際に効率よく案内することができる。

なお、Ｓ１７において、ＣＰＵ３０１は、一体画像を形成する際に、つなぎ合わせるコマ画像同士の位置関係をＨＤＤ３０７に記憶し、一体画像内におけるコマ画像の位置を示すマップを作成する。

図３に示すように、ＣＰＵ３０１は、コマ画像が、先に取り込んだ取込画像と重複する部分が所定割合未満であるか確認する（Ｓ１９）。重複部分が所定割合未満であれば（Ｓ１９：ＹＥＳ）、先に取り込んだ取込画像に対して変化があるとして、コマ画像を取込画像としてＲＡＭ３０５に記憶する。また、Ｓ１９が初めて実行された場合には取込画像はないので、同様にＳ２３に進む。取込画像を記憶したら、ＣＰＵ３０１はＳ２５に進み、作業完了でなければＳ１３に戻る。画像内容が所定割合以上重複していないコマ画像が取込画像として作業者が指示することなく取り込まれて保存されるので、指示者が指示画像を生成する上で、作業位置の写る画像を探しやすく、効率よく指示を行うことができる。

映像から次のコマ画像を取得した後、Ｓ１９において、ＣＰＵ３０１は、コマ画像と取込画像を比較し、重複部分が所定割合以上であれば（Ｓ１９：ＮＯ）、Ｓ２１に進む。ＣＰＵ３０１は、キャプチャボタン４４０の操作の有無を参照することによって、指示者がタイムライン４３０に表示されるコマ画像に取り込みたい画像があるかを確認する（Ｓ２１）。

ＣＰＵ３０１は、指示者が取り込みたいコマ画像がなければ（Ｓ２１：ＮＯ）、Ｓ２５に進み、作業完了でなければＳ１３に戻る。指示者が取り込みたいコマ画像がある場合（Ｓ２１：ＹＥＳ）、ＣＰＵ３０１はＳ２３に進む。図６に示すように、指示者は、指示画面４００において、タイムライン４３０に表示されたコマ画像をスクロールし、取り込みたいコマ画像をメイン画面４１０に表示する。指示者はキャプチャボタン４４０を押す。図３に示すように、ＣＰＵ３０１は、メイン画面４１０に表示されたコマ画像を取込画像として取り込み（Ｓ２３）、ＨＤＤ３０７に記憶する。図６に示すように、取込画像は時系列に沿って、キャプチャライン４５０に表示される。メイン画面４１０に表示されたコマ画像は、取込マーク４５２が付加され、キャプチャライン４５０の時系列に対応する位置に取込画像として表示される。自動的に取り込まれた取込画像に作業位置が写っていなかったり、指示画像として使用するには不適切であったりする場合でも、手動で、新たな取込画像を追加することができるので、指示者が指示画像を生成する上で、作業位置の写る画像を探しやすく、効率よく指示を行うことができる。

図３に示すように、ＣＰＵ３０１は、作業完了と判断するまでＳ１３〜Ｓ２５を繰り返す。上記したように指示画像生成処理が終了した場合（Ｓ２５：ＹＥＳ）、ＣＰＵ３０１は画像取込処理を終了する。

次に、指示画像生成処理について説明する。図４に示す指示画像生成処理において、ＣＰＵ３０１は、メイン画面４１０に表示されるカメラ３９の映像に、指示者が作業の指示をしたい箇所が映っているか確認する（Ｓ３３）。指示者は、映像すなわち最新のコマ画像に作業を指示したい箇所（作業位置）が写っていなければ、メイン画面４１０における映像の視聴を継続し、指示画面４００における操作を行わない。したがってＣＰＵ３０１は、指示画面４００における操作がなければ（Ｓ３３：ＮＯ）、Ｓ３５に進む。

ＣＰＵ３０１は、キャプチャライン４５０に並べて表示される取込画像に、指示者が作業の指示をしたい箇所が写っている取込画像があるか確認する（Ｓ３５）。指示者は、取込画像に作業位置が写っていなければ、メイン画面４１０における映像の視聴を継続し、指示画面４００における操作を行わない。したがってＣＰＵ３０１は、指示画面４００における操作がなければ（Ｓ３５：ＮＯ）、Ｓ３７に進む。

ＣＰＵ３０１は、指示者が作業者に対し、現在の位置から作業位置へ向けて案内するため方向の指示を行うか否かを確認する（Ｓ３７）。指示者は、ヘッドセット３２０を用いて作業者への案内を音声で行い、指示画像では行わない場合、指示画面４００における操作を行わない。したがってＣＰＵ３０１は、指示画面４００における操作がなければ（Ｓ３７：ＮＯ）、Ｓ３３に戻る。最新コマ画像に作業位置が写っていなければ指示情報を付加した指示画像を生成できないので、情報が不十分な状態で作業の指示がなされることがない。

指示者は、作業者への案内を指示画像で行う場合、図５に示すように、指示画面４００のメイン画面４１０内において、作業者を案内したい方向（作業位置へ向かう方向）にあるメイン画面４１０の周縁部をタッチペン３５０で触れる。図４に示すように、ＣＰＵ３０１は、映像から最新のコマ画像を画像加工の対象である対象画像として取り込み、ＲＡＭ３０５に確保された記憶領域に、対象画像を仮想的に表示する（Ｓ３９）。ＣＰＵ３０１は、入力検知部３３０の検知結果に基づき、メイン画面４１０の中央から指示者が触れた周縁部の位置へ向けた矢印の画像４６０（図５参照）を生成し、対象画像に重ねて表示して指示画像を生成する（Ｓ４１）。ＣＰＵ３０１は指示画像の画像データをＨＭＤ１に送信する。ＨＭＤ１のＣＰＵ４１は、指示画像の画像データに基づき表示画像を形成し、投影装置１００の画像表示部３６に表示する（Ｓ４３）。図５に示すように、作業者は、ハーフミラー８を介して眼球に入射される表示画像において示される矢印の画像４６０に従って、撮影方向を変更する。図４に示すように、ＣＰＵ３０１はＳ３３に戻る。指示者は、案内情報を付加した指示画像を生成して作業者に提示できるので、作業者は速やかに作業位置に到達することができ、作業を効率よく行うことができる。

作業者が、案内に従って撮影方向を変更するうちに、作業者が作業位置を向き、映像に作業位置が映る場合（Ｓ３３：ＹＥＳ）、ＣＰＵ３０１は、映像から最新のコマ画像を対象画像として取り込む（Ｓ４５）。ＣＰＵ３０１は、ＲＡＭ３０５に確保された記憶領域に、対象画像を仮想的に表示して、Ｓ４９に進む。

また、図７に示すように、作業者が作業位置４２５（一体画像の表示領域４２０参照）を向いた後、さらに他の方向を向いてしまい、現在の映像４７０に作業位置４２５が映っていないことがある。この場合（Ｓ３５：ＹＥＳ）、画像取込処理のＳ１９でＣＰＵ３０１が作業位置４２５の写るコマ画像を取込画像として記憶していれば、指示者は、作業位置４２５の写る取込画像をキャプチャライン４５０から探すことができる。また、ＣＰＵ３０１が作業位置４２５の写る取込画像を記憶しなかったとしても、映像はＨＤＤ３０７に記憶されており、指示者は、作業位置４２５の写るコマ画像をタイムライン４３０から探し、取込画像として取り込むことが可能である。図８に示すように、指示者は、キャプチャライン４５０から、作業位置４２５の写る取込画像を選択する。選択された取込画像は対象画像としてメイン画面４１０に表示される。図３に示すように、ＣＰＵ３０１は、指示者によって対象画像が選択されると（Ｓ４７）、ＲＡＭ３０５に確保された記憶領域に、対象画像を仮想的に表示して、Ｓ４９に進む。

ここで、ＣＰＵ３０１は、ＨＤＤ３０１に記憶するコマ画像の位置関係を示すマップを参照する。ＣＰＵ３０１は、指示者の選択した対象画像（作業位置４２５の写るコマ画像）が一体画像内において表示される位置と、作業者の現在の映像４７０（最新のコマ画像）が一体画像内において表示される位置との位置関係を取得する。ＣＰＵ３０１は、得られた位置関係に基づいて、作業者の現在の映像４７０の位置から対象画像の位置へ向けて案内する矢印の画像４６６を、仮想的に表示した対象画像に重ねて表示する。

また、指示者は、作業者への指示を指示画像で行う場合、図８に示すように、指示画面４００のメイン画面４１０において、周縁部以外の部分をタッチペン３５０で触れる。ＣＰＵ３０１は、入力検知部３３０の検知結果に基づき、メイン画面４１０において指示者がタッチペン３５０で触れた部分を視認できるように、タッチペン３５０の軌跡を画像として表示する。指示者が、例えば作業位置４２５を丸く囲むようにタッチペン３５０でメイン画面６１０をなぞると、ＣＰＵ３０１は、作業位置４２５を囲む軌跡の画像４６５を生成する。図３に示すように、ＣＰＵ３０１は、仮想的に表示した対象画像に軌跡の画像４６５を重ねて表示し、指示画像を生成する（Ｓ４９）。このように生成される指示画像は、映像を構成するコマ画像を元とする静止画像である。したがって、動画とは異なり表示がぶれて指示が見にくくなったりすることがない。

ＣＰＵ３０１は指示画像の画像データをＨＭＤ１に送信する。ＨＭＤ１のＣＰＵ４１は、指示画像の画像データに基づいて形成した表示画像を画像表示部３６に表示する（Ｓ５１）。図８に示すように、作業者は、ハーフミラー８を介して眼球に入射される表示画像において、軌跡の画像４６５によって囲われた作業位置４２５に対し、作業を行う。図４に示すように、ＣＰＵ３０１は、作業者に指示画像を提示したら、指示画像形成処理を終了する。また、前述したように、ＣＰＵ３０１は、指示画像形成処理の終了に合わせて、画像取込処理を終了する。

なお、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々変更を加え得ることが可能である。指示情報および案内情報は、コマ画像または取込画像に重ねて表示できる画像の情報としたが、例えば、案内方向をアニメーションで表現した画像や、作業の手順を示す動画等を、コマ画像または取込画像に重ねて表示する情報であってもよい。ＣＰＵ３０１は、案内情報として矢印の画像４６０をコマ画像に重ねて合成した指示画像を生成したが、タッチペン３５０を用いて指示者が描画した画像（矢印等）をコマ画像に合成して指示画像を生成してもよい。案内情報は画像の表示によるものに限らず、指示者が一体画像を見ながら音声によって指示してもよい。この場合、指示画像はなくともよい。

また、ＨＭＤ１の制御装置２００のフラッシュＲＯＭ４７等に方向を指示する画像や動画を記憶させておき、ＰＣ３００では指示したい方向を示す信号を出力し、ＨＭＤ１において、画像表示部３６に、信号に対応する方向を指示する画像や動画を表示させてもよい。この場合、ＣＰＵ３０１は、図４のＳ３７がＮＯの場合にＳ４３に進み、指示者がタッチペン３５０でメイン画面４１０の周縁部において触れた位置に応じた方向を示す信号をＨＭＤ１に対して出力するようにすればよい。このようにすれば、指示者がタッチペン３５０でメイン画面４１０の周縁部に触れている間、作業者に対する案内が常に表示されているので、作業者はただ案内に従って撮影方向を変えるだけでよい。よって、例えば、指示者が望む撮影方向へ向けて作業者が撮影方向を変更したときに、必要以上に方向を変更しすぎてしまっても、指示者は直ちに元の方向に戻る案内を出すことができるので、作業者はただ案内に従うだけで、撮影方向の微調整を容易に行うことができる。指示画像は静止画像であることが好ましいが、指示者が表示にぶれのない部分を選んで用いるなどすれば、動画であってもよい。

なお、本実施の形態においては、ＨＭＤ１が本発明の「作業端末」に相当する。ＰＣ３００が「指示端末」に相当する。ハーフミラー８が「第一表示装置」に相当する。カメラ３９が「撮影装置」に相当する。コマ画像が「撮影画像」に相当する。無線通信部５３が「第一通信手段」に相当する。画像表示部３６が「第一表示制御手段」に相当する。ディスプレイ３４０が「第二表示装置」に相当する。通信部３１１が「第二通信手段」に相当する。ＨＤＤ３０７が「記憶手段」に相当する。表示制御部３１５が「第二表示制御手段」に相当する。入力検知部３３０が「入力手段」に相当する。Ｓ４７で取込画像をキャプチャライン４５０に選択可能に表示するＣＰＵ３０１が「選択手段」に相当する。Ｓ４９で対象画像に指示情報を付加した指示画像を生成するＣＰＵ３０１が「第一生成手段」に相当する。

Ｓ４１で対象画像に案内情報を付加した指示画像を生成するＣＰＵ３０１が「第二生成手段」に相当する。Ｓ１７で一体画像を形成するＣＰＵ３０１が「画像形成手段」に相当する。方位センサ２７が「第二検出手段」に相当する。Ｓ１９においてＹＥＳに進み、コマ画像を取込画像として取り込むＣＰＵ３０１が「取込手段」に相当する。タイムライン４３０が「閲覧手段」に相当する。キャプチャボタン４４０が「指定手段」に相当する。Ｓ１７において、一体画像を形成する際につなぎ合わせるコマ画像同士の位置関係を記憶するＣＰＵ３０１が「取得手段」に相当する。

１ ヘッドマウントディスプレイ
８ ハーフミラー
３５ ヘッドセット
３６ 画像表示部
３９ カメラ
２５０ ネットワーク
３００ ＰＣ

Claims (8)

1. 作業者が利用し、作業に対する指示を受信して前記作業者に提示可能な作業端末と、指示者が利用し、前記作業者に対する作業の指示を前記作業端末に送信可能な指示端末とがネットワークを介して接続された作業補助システムであって、
   前記作業端末は、
   前記作業者の頭部に装着可能に構成され、画像を表示可能な第一表示装置と、
   前記作業者の頭部に装着可能に構成され、前記作業者の視野の少なくとも一部を含んで撮影可能な撮影装置と、
   前記撮影装置が撮影した画像であって前記指示端末に送信する撮影画像の画像データと、作業の指示を含む画像であって前記指示端末から受信する指示画像の画像データを含む情報を、ネットワークを介し、前記指示端末との間で送受信可能な第一通信手段と、
   前記第一通信手段が前記指示端末から受信した前記指示画像を前記第一表示装置に表示する第一表示制御手段と、
   を備え、
   前記指示端末は、
   画像を表示可能な第二表示装置と、
   前記作業端末から受信する前記撮影画像の画像データと、前記作業端末に送信する前記指示画像の画像データを含む情報を、ネットワークを介し、前記作業端末との間で送受信可能な第二通信手段と、
   前記第二通信手段が前記作業端末から受信した複数の前記撮影画像を記憶する記憶手段と、
   前記記憶手段が記憶した複数の前記撮影画像を前記第二表示装置に表示可能な第二表示制御手段と、
   前記第二表示装置に表示される複数の前記撮影画像のうち、少なくとも１つの画像を対象画像として選択可能な選択手段と、
   前記指示者が前記作業者に提示する指示を入力するための入力手段と、
   前記対象画像に、前記入力手段によって入力された指示の情報である指示情報を付加して前記指示画像を生成する第一生成手段と、
   を備え、
   前記指示端末の前記第二通信手段は、前記第一生成手段が生成した前記指示画像の画像データを前記作業端末に送信し、
   前記作業端末の前記表示制御手段は、前記第一通信手段が前記指示端末から受信した前記指示画像の画像データに基づく画像を前記表示装置に表示して、前記指示情報に基づく指示を前記作業者に提示することを特徴とする作業補助システム。
2. 前記指示端末は、前記記憶手段が記憶した複数の前記撮影画像のうち、画像の内容の一部が互いに重複する画像同士を重複する部位においてつなぎ合わせて一体の画像にした一体画像を形成する画像形成手段をさらに備え、
   前記第二表示制御手段は、前記第二表示装置に前記一体画像を表示することを特徴とする請求項１に記載の作業補助システム。
3. 前記作業端末は、前記撮影装置の撮影方向を検出する第一検出手段を備え、
   前記作業端末の前記第一通信手段は、前記指示端末に、前記第一検出手段が検出した前記撮影装置の撮影方向の情報を、前記撮影画像に付加して送信し、
   前記指示端末の前記画像形成手段は、前記撮影画像に付加された前記撮影装置の撮影方向の情報に基づき、撮影方向が所定の範囲内に含まれる前記撮影画像を用いて画像同士をつなぎ合わせ、前記一体画像を形成することを特徴とする請求項２に記載の作業補助システム。
4. 前記画像形成手段が前記一体画像を形成する際に、つなぎ合わせる画像同士の位置関係を取得する取得手段と、
   前記複数の撮影画像のうち前記指示者が選択した画像を前記対象画像とするとともに、前記一体画像において、前記取得手段が取得した、前記作業端末から受信した最新の前記撮影画像が表示される位置と、前記指示者が選択した画像が表示される位置との位置関係に応じて決定される、前記作業者を前記作業位置へ案内するための案内情報を前記対象画像に付加し、前記指示画像を生成する第二生成手段と、
   をさらに備え、
   前記作業端末の前記表示制御手段は、前記第一通信手段が前記指示端末から受信した前記指示画像の画像データに基づく画像を前記表示装置に表示して、前記案内情報に基づく案内を前記作業者に提示することを特徴とする請求項２または３に記載の作業補助システム。
5. 前記指示端末は、
   前記記憶手段が記憶した複数の前記撮影画像のうち、画像の内容が重複する割合が所定割合未満の画像を取込画像として取り込む取込手段をさらに備え、
   前記第二表示制御手段は、前記第二表示装置に、前記取込画像を時系列に沿って並べて表示し、
   前記選択手段は、前記取込画像を前記対象画像として選択可能であることを特徴とする請求項１から４のいずれかに記載の作業補助システム。
6. 前記撮影画像は、前記撮影装置が撮影した映像を構成する個々の一コマの画像であり、
   前記指示端末は、前記第二表示装置に、前記撮影装置が撮影した映像をコマ単位で閲覧可能に表示する閲覧手段と、
   前記閲覧手段が表示した映像において、任意の画像をコマ単位で指定可能な指定手段と、
   をさらに備え、
   前記取込手段は、前記指定手段が指定した画像を前記取込画像として取り込むことを特徴とする請求項５に記載の作業補助システム。
7. 前記指示画像は静止画像であることを特徴とする請求項１から６のいずれかに記載の作業補助システム。
8. 指示者が利用し、作業者が利用する作業端末との間でネットワークを介した情報を送受信可能に構成された作業補助装置として用いる指示端末であり、前記作業者の頭部に装着可能に構成され、前記作業者の視野の少なくとも一部を含んで撮影可能な撮影装置を用いて前記作業者が周囲の様子を撮影した撮影画像の画像データを前記作業端末から受信するとともに、前記作業者に対する作業の指示を含む指示画像を前記作業端末に送信し、前記作業者の頭に装着可能で画像を表示可能な前記作業端末が備える第一表示装置に前記指示画像を表示して、前記作業者に作業の指示を提示可能な指示端末として機能させるためのプログラムであって、
   コンピュータに、
   前記作業端末から受信し、記憶手段に記憶された複数の前記撮影画像が、画像を表示可能な第二表示装置に表示される第二表示制御ステップと、
   前記第二表示装置に表示される複数の前記撮影画像のうち、少なくとも１つの画像が対象画像として選択される選択ステップと、
   前記指示者が前記作業者に提示する指示の入力が行われる入力ステップと、
   前記対象画像に、前記入力手段において入力された指示の情報である指示情報を付加した指示画像が生成される第一生成ステップと、
   前記第一生成ステップにおいて生成された前記指示画像の画像データが前記作業端末に送信される第二通信ステップと、
   を実行させるプログラム。

Images