JP2020086627A - 作業補助装置、表示装置、作業補助システム、及びプログラム - Google Patents

Abstract

【課題】ユーザーが第１作業を行う効率を向上させることができる作業補助装置を提供する。【解決手段】作業補助装置は、受け付けた第１操作に応じて、第１仮想手順書の姿勢が第１操作に応じた姿勢と一致するように、仮想空間内の位置のうち第１操作に応じた第１位置に第１仮想手順書を配置し、撮像部により撮像された撮像画像に基づいて算出された第１実空間内の各位置と、仮想空間内に配置された第１仮想手順書の位置との相対的な位置関係に応じて第１仮想手順書を表示部に表示させ、予め決められた第１相対位置に対応する第１仮想相対位置に第２仮想手順書を配置し、仮想空間内における表示面と第２仮想手順書との相対的な位置関係を保ったまま、撮像部により撮像された撮像画像に基づいて算出された第１実空間内の各位置と、仮想空間内に配置された第２仮想手順書の位置との相対的な位置関係に応じて第２仮想手順書を前記表示部に表示させる。【選択図】図３

Description

本発明は、作業補助装置、表示装置、作業補助システム、及びプログラムに関する。

人が行う作業を補助する装置についての研究、開発が行われている。

これに関し、複合現実（Mixed Reality）を用いて作業者が行う作業を補助する装置が知られている（特許文献１参照）。

特開２０１７−０４４４９６号公報

このような複合現実を用いて作業者が行う作業を補助する従来の装置は、作業者が頭部に装着する透過型の表示装置に仮想物体を表示し、実空間に仮想物体が重畳された空間を作業者に視認させることができる。ここで、本明細書において、実空間は、現実の空間のことである。また、本明細書において、仮想物体は、仮想空間内に配置される仮想的な物体である。また、本明細書において、仮想空間は、当該装置の記憶領域内に生成された仮想的な三次元空間のことである。

また、前述の従来の装置は、前述の表示装置に備えられた撮像部により撮像された撮像画像に基づいて、作業者の動きを認識する。これにより、当該装置は、作業者が視認している仮想的な物体に対する作業者からの仮想的な操作を受け付けることができる。

ここで、作業者に実空間内において見せる仮想物体が、作業者が行う作業についての仮想的な作業手順書であった場合、作業者は、実空間内において仮想的な作業手順書を見ながら作業を行うことができる。

しかしながら、実空間内において作業者に視認される仮想的な作業手順書の大きさは、当該仮想的な手順書に含まれる情報量が多くなるほど大きくなる。このような場合、作業中の作業者の視界を覆うような位置に仮想的な作業手順書が表示されてしまうと、作業者は、作業を行う対象となる位置を視認しづらくなることがあった。一方、当該場合、作業中の作業者の視界を覆わない位置に仮想的な作業手順書が表示されてしまうと、作業者は、作業を行う対象となる位置と仮想的な作業手順書とを交互に見ながら作業を行うことになることがあった。このように事情により、前述の従来の装置は、作業者が作業を行う効率を向上させることが困難な場合があった。

本発明は、このような事情を考慮してなされたもので、ユーザーが第１作業を行う効率を向上させることができる作業補助装置、表示装置、作業補助システム、及びプログラムを提供することを課題とする。

本発明の一態様は、ユーザーが行う第１作業に含まれる複数の第２作業それぞれの作業手順を示す情報を含む第１仮想手順書と、前記複数の前記作業手順のうちの一部の前記作業手順を示す情報を含む第２仮想手順書とを、前記ユーザーの頭部に装着可能な表示装置に表示し、前記ユーザーが行う前記第１作業を補助する作業補助装置であって、前記表示装置は、透過型の表示部と、実空間を撮像する撮像部とを有し、前記撮像部により所定の第１実空間が撮像された撮像画像に基づいて生成された仮想空間の各位置は、前記撮像部により前記第１実空間が撮像された撮像画像に基づいて算出された前記第１実空間の各位置と対応付けられており、前記作業補助装置は、前記表示部に前記第１仮想手順書及び前記第２仮想手順書を表示させる表示制御部を備え、前記表示制御部は、受け付けた第１操作に応じて、前記第１仮想手順書の姿勢が前記第１操作に応じた姿勢と一致するように、前記仮想空間内の位置のうち前記第１操作に応じた第１位置に前記第１仮想手順書を配置し、前記撮像部により撮像された撮像画像に基づいて算出された前記第１実空間内の各位置と、前記仮想空間内に配置された前記第１仮想手順書の位置との相対的な位置関係に応じて前記第１仮想手順書を前記表示部に表示させ、前記仮想空間内における前記表示部の表示面からの相対的な位置のうち予め決められた第１相対位置に対応する第１仮想相対位置に前記第２仮想手順書を配置し、前記仮想空間内における前記表示面と前記第２仮想手順書との相対的な位置関係を保ったまま、前記撮像部により撮像された撮像画像に基づいて算出された前記第１実空間内の各位置と、前記仮想空間内に配置された前記第２仮想手順書の位置との相対的な位置関係に応じて前記第２仮想手順書を前記表示部に表示させる、作業補助装置である。

また、本発明の他の態様は、ユーザーが行う第１作業に含まれる複数の第２作業それぞれの作業手順を示す情報を含む第１仮想手順書と、前記複数の前記作業手順のうちの一部の前記作業手順を示す情報を含む第２仮想手順書とを、前記ユーザーの頭部に装着可能な表示装置に表示し、前記ユーザーが行う前記第１作業を補助する作業補助装置であって、前記表示装置は、前記ユーザーに対して前記第１仮想手順書及び前記第２仮想手順書を表示するための透過型の表示部と、実空間を撮像する撮像部とを有し、前記作業補助装置は、前記撮像部により所定の第１実空間が撮像された撮像画像に基づいて、前記第１実空間に対応する仮想空間を生成し、生成した前記仮想空間の各位置と、前記撮像部により前記第１実空間が撮像された撮像画像に基づいて算出された前記第１実空間の各位置とを対応付ける仮想空間生成部と、前記表示部に前記第１仮想手順書及び前記第２仮想手順書を表示させる表示制御部と、を備え、前記表示制御部は、受け付けた第１操作に応じて、前記第１仮想手順書の姿勢が前記第１操作に応じた姿勢と一致するように、前記仮想空間内の位置のうち前記第１操作に応じた第１位置に前記第１仮想手順書を配置し、前記撮像部により撮像された撮像画像に基づいて算出された前記第１実空間内の各位置と、前記仮想空間内に配置された前記第１仮想手順書の位置との相対的な位置関係に応じて前記第１仮想手順書を前記表示部に表示させ、前記仮想空間内における前記表示部の表示面からの相対的な位置のうち予め決められた第１相対位置に対応する第１仮想相対位置に前記第２仮想手順書を配置し、前記仮想空間内における前記表示面と前記第２仮想手順書との相対的な位置関係を保ったまま、前記撮像部により撮像された撮像画像に基づいて算出された前記第１実空間内の各位置と、前記仮想空間内に配置された前記第２仮想手順書の位置との相対的な位置関係に応じて前記第２仮想手順書を前記表示部に表示させる、作業補助装置である。

また、本発明の他の態様は、上記に記載の作業補助装置を内蔵する前記表示装置である、表示装置である。

また、本発明の他の態様は、上記に記載の作業補助装置と、前記表示装置と、を備える作業補助システムである。

また、本発明の他の態様は、ユーザーが行う第１作業に含まれる複数の第２作業それぞれの作業手順を示す情報を含む第１仮想手順書と、前記複数の前記作業手順のうちの一部の前記作業手順を示す情報を含む第２仮想手順書とを、前記ユーザーの頭部に装着可能な表示装置に表示し、前記ユーザーが行う前記第１作業を補助する作業補助装置を制御するプログラムであって、前記表示装置は、透過型の表示部と、実空間を撮像する撮像部とを有し、前記撮像部により所定の第１実空間が撮像された撮像画像に基づいて生成された仮想空間の各位置は、前記撮像部により前記第１実空間が撮像された撮像画像に基づいて算出された前記第１実空間の各位置と対応付けられており、前記プログラムは、前記作業補助装置に、受け付けた第１操作に応じて、前記第１仮想手順書の姿勢が前記第１操作に応じた姿勢と一致するように、前記仮想空間内の位置のうち前記第１操作に応じた第１位置に前記第１仮想手順書を配置し、前記撮像部により撮像された撮像画像に基づいて算出された前記第１実空間内の各位置と、前記仮想空間内に配置された前記第１仮想手順書の位置との相対的な位置関係に応じて前記第１仮想手順書を前記表示部に表示させる第１ステップと、前記仮想空間内における前記表示部の表示面からの相対的な位置のうち予め決められた第１相対位置に対応する第１仮想相対位置に前記第２仮想手順書を配置し、前記仮想空間内における前記表示面と前記第２仮想手順書との相対的な位置関係を保ったまま、前記撮像部により撮像された撮像画像に基づいて算出された前記第１実空間内の各位置と、前記仮想空間内に配置された前記第２仮想手順書の位置との相対的な位置関係に応じて前記第２仮想手順書を前記表示部に表示させる第２ステップと、を実行させるためのプログラムである。

本発明によれば、ユーザーが第１作業を行う効率を向上させることができる。

実施形態に係る作業補助システム１の構成の一例を示す図である。 作業補助装置２０のハードウェア構成の一例を示す図である。 作業補助装置２０の機能構成の一例を示す図である。 第１仮想手順書ＰＭ１の一例を示す図である。 第２仮想手順書ＰＭ２の一例を示す図である。 作業者Ｏの指によって作業手順情報ＳＱ３が選択されている場合における表示部１１の表示面の一例を示す図である。 第２仮想手順書ＰＭ２に対して作業者Ｏから図６に示した矢印が示す方向Ａ２に向かってドラムロール式のＵＩを回転させる操作が行われた場合における表示部１１の表示面の一例を示す図である。 図５に示した矢印が示す方向Ａ１に向かって図５に示した表示面ＤＰ１が移動した場合における表示面ＤＰ１の一例を示す図である。 図８に示した矢印が示す方向Ａ３に向かって図８に示した表示面ＤＰ１が移動した場合における表示面ＤＰ１の一例を示す図である。 作業補助装置２０が備える表示部２５の表示面ＤＰ２の一例を示す図である。 作業準備期間内において作業補助装置２０が行う処理の流れの一例を示す図である。 仮想物体に対する仮想的な操作を受け付けた場合において作業補助装置２０が行う処理の流れの一例を示す図である。 作業補助装置２０が作業者Ｏの作業履歴を記憶する処理の流れの一例を示す図である。

＜実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。

＜作業補助システムの概要＞
まず、実施形態に係る作業補助システムの概要について説明する。

作業補助システムは、ユーザーの頭部に装着可能な表示装置と、作業補助装置を備える。

表示装置は、ユーザーに対して第１仮想手順書及び第２仮想手順書を表示するための透過型の表示部と、実空間を撮像する撮像部とを有する。

ここで、仮想手順書は、ユーザーが行う第１作業についての仮想的な手順書である。第１仮想手順書は、ユーザーが行う第１作業に含まれる複数の第２作業それぞれの作業手順を示す情報を含む仮想手順書のことである。第２仮想手順書は、複数の作業手順のうちの一部の作業手順を示す情報を含む仮想手順書のことである。

また、第１作業は、ユーザーが行う作業であれば、如何なる作業であってもよい。第２作業は、第１作業が複数の部分的な作業に分割された場合における当該複数の部分的な作業のそれぞれのことである。例えば、第１作業を、第１１作業、第１２作業、第１３作業の３つの部分的な作業に分割した場合、第２作業は、第１１作業、第１２作業、第１３作業のそれぞれのことである。

作業補助装置は、第１仮想手順書と第２仮想手順書とを表示装置に表示し、ユーザーが行う第１作業を補助する。作業補助装置は、仮想空間生成部と、表示制御部を備える。

仮想空間生成部は、撮像部により所定の第１実空間が撮像された撮像画像に基づいて、第１実空間に対応する仮想空間を生成する。仮想空間生成部は、生成した仮想空間内の各位置と、撮像部により第１実空間が撮像された撮像画像に基づいて算出された第１実空間内の各位置とを対応付ける。すなわち、撮像部により第１実空間が撮像された撮像画像に基づいて生成された仮想空間内の各位置は、撮像部により第１実空間が撮像された撮像画像に基づいて算出された第１実空間内の各位置と対応付けられている。

表示制御部は、表示部に第１仮想手順書及び第２仮想手順書を表示させる。

より具体的には、表示制御部は、受け付けた第１操作に応じて、第１仮想手順書の姿勢が第１操作に応じた姿勢と一致するように、仮想空間内の位置のうち第１操作に応じた第１位置に第１仮想手順書を配置する。そして、表示制御部は、撮像部により撮像された撮像画像に基づいて算出された第１実空間内の各位置と、仮想空間内に配置された第１仮想手順書の位置との相対的な位置関係に応じて第１仮想手順書を表示部に表示させる。

また、表示制御部は、仮想空間内における表示部の表示面からの相対的な位置のうち予め決められた第１相対位置に対応する第１仮想相対位置に第２仮想手順書を配置する。そして、表示制御部は、仮想空間内における表示面と第２仮想手順書との相対的な位置関係を保ったまま、撮像部により撮像された撮像画像に基づいて算出された第１実空間内の各位置と、仮想空間内に配置された第２仮想手順書の位置との相対的な位置関係に応じて第２仮想手順書を表示部に表示させる。

これらにより、作業補助システムは、ユーザーが第１作業を行う効率を向上させることができる。以下では、このような作業補助システムの構成と、作業補助システムが行う処理について詳しく説明する。

＜作業補助システムの構成＞
以下、図１を参照し、実施形態に係る作業補助システム１の構成について説明する。図１は、実施形態に係る作業補助システム１の構成の一例を示す図である。

以下では、作業補助システム１のユーザーが、図１に示した作業者Ｏである場合について説明する。作業者Ｏは、予め決められた第１作業Ｗ１を行う人である。第１作業Ｗ１は、前述の第１作業の一例である。第１作業Ｗ１は、作業者Ｏが行う作業であれば如何なる作業であってもよい。以下では、一例として、第１作業Ｗ１が、図１に示した電気設備Ｅのメンテナンス作業である場合について説明する。また、以下では、一例として、作業者Ｏは、補助者Ｈとともに２人で第１作業Ｗ１を行う場合について説明する。ここで、電気設備Ｅは、例えば、遮断器である。また、補助者Ｈは、作業者Ｏの作業を補助する人である。なお、電気設備Ｅは、遮断器に代えて、他の電気設備であってもよい。また、作業者Ｏは、１人で第１作業を行う構成であってもよく、３人以上で第１作業を行う構成であってもよい。

図１に示した例では、作業者Ｏは、電気設備Ｅが設置されている部屋Ｒ１において、第１作業Ｗ１を行う人である。また、当該例では、補助者Ｈは、部屋Ｒ１と異なる部屋Ｒ２において、作業者Ｏが行う第１作業Ｗ１を補助する。例えば、部屋Ｒ１と部屋Ｒ２は、発電所内において設置されている互いに異なる部屋である。この場合、作業者Ｏは、発電所内の電気設備の１つである電気設備Ｅのメンテナンス作業を行う作業者である。また、当該場合、補助者Ｈは、会議室、事務室等の部屋Ｒ１から離れた位置に位置する部屋Ｒ２から作業者Ｏを補助する人である。なお、部屋Ｒ１と部屋Ｒ２は、互いに異なる建物内の部屋であってもよく、１つの建物内において互いに異なる部屋であってもよい。

作業補助システム１は、表示装置１０と、作業補助装置２０を備える。

表示装置１０は、前述の表示装置の一例である。表示装置１０は、作業者Ｏの頭部に装着可能である。例えば、表示装置１０は、ヘッドマウントディスプレイである。図１に示した例では、表示装置１０は、作業者Ｏの頭部に装着されている。

表示装置１０は、表示部１１と、撮像部１２と、音声入力部１３と、音声出力部１４を備える。

表示部１１は、前述の表示部の一例である。例えば、表示部１１は、透過型の液晶ディスプレイを含む。なお、表示部１１は、透過型の液晶ディスプレイに代えて、他の透過型のディスプレイを含む構成であってもよい。

撮像部１２は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を、集光された光を電気信号に変換する撮像素子として備えたステレオカメラである。撮像部１２は、動画像を撮像する。なお、撮像部１２は、静止画像を撮像する構成であってもよい。

撮像部１２は、表示装置１０が有する位置のうち、予め決められた設置位置に設けられる。設置位置は、撮像部１２が撮像可能な領域と、表示装置１０が作業者Ｏの頭部に装着された場合において作業者Ｏが表示部１１を通して見ることが可能な領域とがほぼ一致する位置である。

音声入力部１３は、例えば、マイクロフォンである。なお、音声入力部１３は、マイクロフォンに代えて、音声を検出し、検出した音声を示す情報を出力可能な他の音声入力装置であってもよい。

音声出力部１４は、例えば、スピーカーである。なお、音声出力部１４は、スピーカーに代えて、音声を出力可能な他の音声出力装置であってもよい。

ここで、表示装置１０は、無線通信によって作業補助装置２０と互いに通信可能に接続されている。表示装置１０と作業補助装置２０を接続する無線通信は、無線ＬＡＮ（Local Area Network）、移動体通信網等の規格に応じた無線通信である。なお、当該無線通信は、他の規格の無線通信であってもよい。

作業補助装置２０は、前述の作業補助装置の一例である。作業補助装置２０は、サーバー、ワークステーション、デスクトップＰＣ（Personal Computer）、ノートＰＣ、携帯電話端末、多機能携帯電話端末（スマートフォン）、タブレットＰＣ等であるが、これらに限られるわけではない。なお、作業補助装置２０は、表示装置１０と一体に構成されてもよい。また、作業補助装置２０が有する各機能は、２以上の装置に分けて備えられる構成であってもよい。この場合、当該２以上の装置のそれぞれは、表示装置１０と通信可能に接続される。

作業補助装置２０は、複合現実（Mixed Reality）によって作業者Ｏが行う第１作業を補助する。より具体的には、作業補助装置２０は、撮像部１２が撮像した撮像画像を表示装置１０から取得し、取得した撮像画像に基づく複合現実によって仮想物体を表示部１１に表示させ、作業者Ｏが行う第１作業を補助する。

実施形態において、複合現実は、人が頭部に装着可能な透過型の表示装置１０の表示部１１を用いることにより、所定の第１実空間ＲＳに対応する仮想空間ＶＳを第１実空間ＲＳに重畳させ、第１実空間ＲＳに仮想空間ＶＳを重畳させた空間を人に視認させる技術である。ここで、第１実空間ＲＳは、撮像部１２により撮像可能な実空間であれば如何なる実空間であってもよい。図１に示した例では、第１実空間ＲＳは、作業者Ｏが第１作業を行う対象である電気設備Ｅが設置されている部屋Ｒ１の内側の空間である。仮想空間ＶＳは、形状が第１実空間ＲＳの形状とほぼ同じ三次元形状の仮想空間のことである。

ここで、複合現実において、第１実空間ＲＳに仮想空間ＶＳを重畳することは、具体的には、第１実空間ＲＳに対して仮想空間ＶＳ内に配置された仮想物体ＶＯを重畳することを意味する。また、複合現実では、第１実空間ＲＳに仮想空間ＶＳを重畳させた場合において重なり合う位置同士が対応付けられている。このため、複合現実では、例えば、仮想空間ＶＳ内のある位置ＶＸにある仮想物体ＶＯを配置した場合、第１実空間ＲＳ内の位置のうち位置ＶＸに対応付けられた位置ＲＸに位置する仮想物体ＶＯが、表示装置１０を装着した作業者Ｏにより視認される。

また、複合現実では、上記の表示部１１の表示面上の位置のうち仮想物体ＶＯを表示させる位置と、第１実空間ＲＳ上の位置のうち仮想物体ＶＯが位置している位置として表示装置１０を装着した作業者Ｏに視認される位置とは、キャリブレーション等によって予め対応付けられている。これにより、複合現実では、表示部１１を通して人が見える領域内に位置ＲＸが含まれる場合、位置ＲＸに対応付けられた当該表示面上の位置ＤＸに仮想物体ＶＯを表示させ、位置ＲＸに位置する仮想物体ＶＯを、表示装置１０を装着した作業者Ｏに視認させることができる。

また、複合現実では、第１実空間ＲＳに仮想空間ＶＳを重畳させた場合において、第１実空間ＲＳ内に配置されたある物体ＲＯが、仮想物体ＶＯよりも上記の表示装置１０側に位置し、物体ＲＯと仮想物体ＶＯとが部分的に重なっていると、表示部１１には、仮想物体ＶＯが有する部分のうち物体ＲＯと重なっている部分が表示されない。一方、複合現実では、当該場合において、仮想物体ＶＯが物体ＲＯよりも表示装置１０側に位置し、物体ＲＯと仮想物体ＶＯとが部分的に重なっていると、表示部１１には、仮想物体ＶＯの全部が表示される。すなわち、複合現実では、第１実空間ＲＳに仮想空間ＶＳが重畳された空間において、第１実空間ＲＳに配置された物体ＲＯと、仮想空間ＶＳに配置された仮想物体ＶＯとの相対的な位置関係を保ったまま、物体ＲＯと仮想物体ＶＯとの前後関係が、表示装置１０を装着した作業者Ｏに視認される。

また、複合現実では、表示装置１０の表示部１１に表示される仮想物体ＶＯの大きさは、第１実空間ＲＳ内における仮想物体ＶＯと表示装置１０との間の距離に応じて、変化する。当該距離が長いほど、表示装置１０の表示部１１に表示される仮想物体ＶＯの大きさは、小さくなる。また、当該距離が短いほど、表示装置１０の表示部１１に表示される仮想物体ＶＯの大きさは、大きくなる。すなわち、複合現実は、第１実空間ＲＳ内における仮想物体ＶＯと表示装置１０との間の距離に応じた遠近感を、表示装置１０を装着した作業者Ｏに感じさせることができる。

このように、複合現実では、仮想空間ＶＳ内の位置ＶＸに仮想物体ＶＯを配置することは、第１実空間ＲＳ内の位置ＲＸに位置する仮想物体ＶＯを作業者Ｏが視認するように、仮想物体ＶＯを表示部１１の表示面上の位置ＤＸに表示することを意味する。

また、複合現実では、撮像部１２により撮像された撮像画像に基づいて、第１実空間ＲＳ内の領域のうち表示部１１を通して作業者Ｏが見える領域が特定される。また、複合現実では、撮像部１２により撮像された撮像画像に基づいて、表示装置１０の第１実空間ＲＳ内における現在位置が特定される。また、複合現実では、仮想空間ＶＳ内の位置のうち特定した現在位置に対応付けられた位置が、仮想現在位置として特定される。ここで、実施形態では、表示装置１０の第１実空間ＲＳ内における位置は、例えば、表示装置１０の重心の第１実空間ＲＳ内における位置によって表される。なお、表示装置１０の第１実空間ＲＳ内における位置は、表示装置１０が有する他の部位の第１実空間ＲＳ内における位置によって表される構成であってもよい。

また、複合現実では、撮像部１２により撮像された撮像画像に基づいて、第１実空間ＲＳ内における作業者Ｏの予め決められた部位の位置が記録され（トラッキングされ）、各時刻における当該部位の仮想空間ＶＳ内における位置が特定される。これにより、複合現実では、作業者Ｏは、第１実空間ＲＳ内において作業者Ｏが視認している仮想物体ＶＯに対して、仮想的な操作を行うことができる。ここで、当該部位は、例えば、作業者Ｏの手である。なお、当該部位は、作業者Ｏの手に代えて、作業者Ｏの他の部位であってもよい。

なお、このような複合現実を実現させる方法は、既知の方法であってもよく、これから開発される方法であってもよい。

このような複合現実によって、作業補助装置２０は、第１仮想手順書ＰＭ１と第２仮想手順書ＰＭ２という２種類の仮想手順書を表示部１１に表示させる。当該２種類の仮想手順書はそれぞれ、前述の仮想物体ＶＯの一例である。当該２種類の仮想手順書は、作業者Ｏが行う第１作業Ｗ１についての仮想的な手順書である。第１仮想手順書ＰＭ１は、作業者Ｏが行う第１作業Ｗ１に含まれる複数の第２作業Ｗ２それぞれの作業手順を示す作業手順情報を含む仮想手順書のことである。第２作業Ｗ２は、前述の第２作業の一例である。すなわち、第２作業Ｗ２は、第１作業Ｗ１が当該複数の部分的な作業に分割された場合における当該複数の当該部分的な作業のそれぞれのことである。第２仮想手順書ＰＭ２は、当該複数の当該作業手順のうちの一部の当該作業手順を示す作業手順情報を含む仮想手順書のことである。作業補助装置２０は、当該２種類の仮想手順書を表示部１１に表示させることにより、作業者Ｏが行う第１作業Ｗ１を補助する。

ここで、作業補助装置２０は、作業者Ｏから受け付けた第１操作に応じて、第１実空間ＲＳ内において作業者Ｏが所望する位置に位置する第１仮想手順書ＰＭ１を作業者Ｏが視認するように、仮想空間ＶＳ内に第１仮想手順書ＰＭ１を配置する。また、作業補助装置２０は、当該第１操作に応じて、第１実空間ＲＳ内における作業者Ｏに視認される第１仮想手順書ＰＭ１の姿勢が、作業者Ｏが所望する姿勢と一致するように、仮想空間ＶＳ内に第１仮想手順書ＰＭ１を配置する。これにより、作業補助装置２０は、第１実空間ＲＳ内において作業者Ｏに視認される第１仮想手順書ＰＭ１の位置及び姿勢を、作業者Ｏが見易い位置及び姿勢と一致させることができる。

しかしながら、第１仮想手順書ＰＭ１には、第１作業Ｗ１についての複数の作業手順を示す作業手順情報、すなわち、複数の第２作業Ｗ２それぞれの作業手順を示す作業手順情報が含まれている。このため、第１実空間ＲＳ内において作業者Ｏに視認される第１仮想手順書ＰＭ１の大きさは、第１仮想手順書ＰＭ１に含まれる作業手順情報の数が多くなるほど大きくなる。このような場合、作業中の作業者Ｏの視界を覆うような位置に第１仮想手順書ＰＭ１が表示されてしまうと、作業者Ｏは、第１作業Ｗ１を行う対象となる位置を視認しづらくなることがあった。その結果、第１仮想手順書ＰＭ１は、作業者Ｏが第１作業Ｗ１を行う効率を向上させることが困難な場合があった。

そこで、作業補助装置２０は、第１実空間ＲＳ内において作業者Ｏに視認される第２仮想手順書ＰＭ２の表示装置１０に対する相対的な位置及び姿勢が変化しないように、仮想空間ＶＳ内に配置されている第２仮想手順書ＰＭ２の位置及び姿勢を変化させる。これにより、作業補助装置２０は、作業者Ｏの視界内における位置のうち作業者Ｏが所望する位置において、第２仮想手順書ＰＭ２の位置及び姿勢を変化させずに、作業者Ｏに視認させることができる。つまり、作業補助装置２０は、第２仮想手順書ＰＭ２を作業者Ｏの視界の内側に常に表示させ続けることができる。ここで、前述した通り、第２仮想手順書ＰＭ２は、第１仮想手順書ＰＭ１に含まれている複数の作業手順情報のうちの一部の作業手順情報を含む仮想的な手順書である。このため、第２仮想手順書ＰＭ２の大きさは、第１仮想手順書ＰＭ１の大きさよりも小さい。従って、作業補助装置２０は、作業補助装置２０が作業者Ｏの視界の内側に常に第２仮想手順書ＰＭ２を表示させ続けた場合であっても、作業者Ｏの視界が遮られてしまうことを抑制することができる。その結果、作業者Ｏは、第２仮想手順書ＰＭ２を見ながら第１作業Ｗ１を行うことができ、必要に応じて、第２仮想手順書ＰＭ２に含まれていない情報を見るために、作業者Ｏにとって見易い位置に配置されている第１仮想手順書ＰＭ１を見ることができる。このようにして、作業補助装置２０は、作業者Ｏが第１作業Ｗ１を行う効率を向上させることができる。

また、このような第１仮想手順書ＰＭ１と第２仮想手順書ＰＭ２との表示により、作業者Ｏが紙媒体の作業手順書を持ちながら第１作業Ｗ１を行う必要は、なくなる。作業者Ｏが当該作業手順書を持つ必要がなくなることにより、作業者Ｏは、単位時間当たりに行う作業量を増やすことができる。これはすなわち、作業補助装置２０が、作業者Ｏが行う第１作業Ｗ１の効率を向上させることができることを意味している。

なお、図１に示した例では、表示装置１０と作業補助装置２０は、別体であった。しかしながら、表示装置１０と作業補助装置２０は、一体に構成されてもよい。

＜作業補助装置のハードウェア構成＞
以下、図２を参照し、作業補助装置２０のハードウェア構成について説明する。図２は、作業補助装置２０のハードウェア構成の一例を示す図である。作業補助装置２０は、例えば、プロセッサー２１と、メモリー２２と、入力受付部２３と、通信部２４、表示部２５を備える。これらの構成要素は、バスを介して相互に通信可能に接続されている。また、作業補助装置２０は、通信部２４を介して表示装置１０と通信を行う。なお、当該通信は、サーバー等の他の装置によって中継される構成であってもよい。

プロセッサー２１は、例えば、ＣＰＵ（Central Processing Unit）である。なお、プロセッサー２１は、ＦＰＧＡ（Field Programmable Gate Array）等の他のプロセッサーであってもよい。プロセッサー２１は、作業補助装置２０が備えるメモリー２２に格納された各種の指令を実行する。

メモリー２２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read−Only Memory）、ＲＯＭ（Read−Only Memory）、ＲＡＭ（Random Access Memory）等を含む。なお、メモリー２２は、作業補助装置２０に内蔵されるものに代えて、ＵＳＢ（Universal Serial Bus）等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。メモリー２２は、プロセッサー２１が処理する各種の情報、コンピューターにより実行可能な各種の指令、各種の画像等を格納する。ここで、当該各種の指令は、例えば、複合現実によって第１仮想手順書ＰＭ１及び第２仮想手順書ＰＭ２を作業者Ｏに視認させるプログラム、コード等のことである。

入力受付部２３は、例えば、キーボード、マウス、タッチパッド等の入力装置である。なお、入力受付部２３は、表示部２５とともにタッチパネルを構成してもよい。なお、入力受付部２３は、作業補助装置２０と別体であってもよい。

通信部２４は、例えば、ＵＳＢ等のデジタル入出力ポート、イーサネット（登録商標）ポート等を含んで構成される。

表示部２５は、例えば、液晶ディスプレイパネル、有機ＥＬ（ElectroLuminescence）ディスプレイパネル等を備えた表示装置である。なお、表示部２５は、作業補助装置２０と別体であってもよい。

＜作業補助装置の機能構成＞
以下、図３を参照し、作業補助装置２０の機能構成について説明する。図３は、作業補助装置２０の機能構成の一例を示す図である。作業補助装置２０は、メモリー２２と、入力受付部２３と、通信部２４と、表示部２５と、制御部２６を備える。

制御部２６は、作業補助装置２０の全体を制御する。制御部２６は、撮像制御部２６１と、画像取得部２６２と、画像処理部２６３と、仮想空間生成部２６４と、表示制御部２６５と、記憶制御部２６６と、音声認識処理部２６７を備える。制御部２６が備えるこれらの機能部は、例えば、プロセッサー２１が、メモリー２２に記憶された各種の指令を実行することにより実現される。また、これらの機能部のうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。

撮像制御部２６１は、表示装置１０が備える撮像部１２を制御する。そして、撮像制御部２６１は、撮像部１２が撮像可能な領域を撮像部１２に撮像させる。

画像取得部２６２は、撮像部１２が撮像した撮像画像を撮像部１２から取得する。ここで、実施形態では、撮像部１２は、動画像を撮像する。この場合、画像取得部２６２は、撮像部１２が動画像として撮像した撮像画像の各フレームを時系列順に取得する。以下では、説明の便宜上、撮像部１２により撮像された撮像画像と称した場合、このように取得された各フレームのことを意味する。

画像処理部２６３は、画像取得部２６２により取得された撮像画像に基づく画像処理を行う。

仮想空間生成部２６４は、画像取得部２６２により取得された撮像画像に基づいて、第１実空間ＲＳに対応する仮想空間ＶＳを、メモリー２２の記憶領域内に生成する。

表示制御部２６５は、複合現実によって、各種の仮想物体を表示部１１に表示させる。また、表示制御部２６５は、各種の画像を表示部２５に表示させる。

記憶制御部２６６は、画像処理部２６３による画像処理の結果をメモリー２２に記憶させる。

音声認識処理部２６７は、音声入力部１３により検出された音声に基づく音声認識処理を行う。

＜第１仮想手順書と第２仮想手順書＞
ここで、第１仮想手順書ＰＭ１と第２仮想手順書ＰＭ２それぞれについて説明する。

まず、図４を参照し、第１仮想手順書ＰＭ１について説明する。図４は、第１仮想手順書ＰＭ１の一例を示す図である。

第１仮想手順書ＰＭ１は、例えば、矩形板状の仮想物体である。前述した通り、第１仮想手順書ＰＭ１には、複数の第２作業Ｗ２それぞれの作業手順を示す作業手順情報が含まれている。図４に示した第１仮想手順書ＰＭ１は、第１仮想手順書ＰＭ１が有する面のうち複数の第２作業Ｗ２それぞれの作業手順を示す作業手順情報が表示されている側の面を、当該面と直交する方向から見た場合における第１仮想手順書ＰＭ１の一例である。

図４に示した例では、第１仮想手順書ＰＭ１には、８つの第２作業Ｗ２それぞれの作業手順を示す作業手順情報として、作業手順１〜作業手順８のそれぞれを示す作業手順情報が含まれている。

例えば、作業手順１は、８つの第２作業Ｗ２のうちの１つの作業手順であり、第１作業Ｗ１において１番目に行われる作業の作業手順である。また、例えば、作業手順４は、８つの第２作業Ｗ２のうちの１つの作業手順であり、第１作業Ｗ１において４番目に行われる作業の作業手順である。また、例えば、作業手順８は、８つの第２作業Ｗ２のうちの１つの作業手順であり、第１作業Ｗ１において８番目に行われる作業の作業手順である。作業者Ｏは、これら８つの第２作業Ｗ２を順に行うことにより、第１作業Ｗ１を行う。

より具体的には、図４に示した例では、第１仮想手順書ＰＭ１には、作業手順情報ＳＱ１〜作業手順情報ＳＱ８の８つの作業手順情報が含まれている。

ここで、作業手順情報ＳＱ１は、作業手順１を示す作業手順情報の一例である。作業手順情報ＳＱ２は、作業手順２を示す作業手順情報の一例である。作業手順情報ＳＱ３は、作業手順３を示す作業手順情報の一例である。作業手順情報ＳＱ４は、作業手順４を示す作業手順情報の一例である。作業手順情報ＳＱ５は、作業手順５を示す作業手順情報の一例である。作業手順情報ＳＱ６は、作業手順６を示す作業手順情報の一例である。作業手順情報ＳＱ７は、作業手順７を示す作業手順情報の一例である。作業手順情報ＳＱ８は、作業手順８を示す作業手順情報の一例である。

また、図４に示した例では、第１仮想手順書ＰＭ１に含まれる８つの作業手順情報のそれぞれには、各作業手順情報に対応するボタンが含まれている。すなわち、作業手順情報ＳＱ１には、作業手順情報ＳＱ１に対応するボタンＰＢ１が含まれている。また、作業手順情報ＳＱ２には、作業手順情報ＳＱ２に対応するボタンＰＢ２が含まれている。また、作業手順情報ＳＱ３には、作業手順情報ＳＱ３に対応するボタンＰＢ３が含まれている。また、作業手順情報ＳＱ４には、作業手順情報ＳＱ４に対応するボタンＰＢ４が含まれている。また、作業手順情報ＳＱ５には、作業手順情報ＳＱ５に対応するボタンＰＢ５が含まれている。また、作業手順情報ＳＱ６には、作業手順情報ＳＱ６に対応するボタンＰＢ６が含まれている。また、作業手順情報ＳＱ７には、作業手順情報ＳＱ７に対応するボタンＰＢ７が含まれている。また、作業手順情報ＳＱ８には、作業手順情報ＳＱ８に対応するボタンＰＢ８が含まれている。

ここで、ボタンＰＢ１は、作業手順１に対応するボタンである。また、ボタンＰＢ２は、作業手順２に対応するボタンである。また、ボタンＰＢ３は、作業手順３に対応するボタンである。また、ボタンＰＢ４は、作業手順４に対応するボタンである。また、ボタンＰＢ５は、作業手順５に対応するボタンである。また、ボタンＰＢ６は、作業手順６に対応するボタンである。また、ボタンＰＢ７は、作業手順７に対応するボタンである。また、ボタンＰＢ８は、作業手順８に対応するボタンである。

ボタンＰＢ１〜ボタンＰＢ８のそれぞれは、動画を再生させるボタンである。例えば、作業補助装置２０は、ボタンＰＢ１に対して仮想的なタッチ操作（例えば、タップ）が行われた場合、作業手順１に関する動画を表示部１１の表示面上に表示させる。当該動画は、例えば、作業手順１のコツを解説する動画、作業手順１の流れを解説する動画、作業手順１において注意を促す事項を解説する動画等であるが、これらに限られるわけではない。

ここで、作業補助装置２０は、撮像部１２により撮像された撮像画像に基づいて、作業者Ｏが視認している仮想物体に対する作業者Ｏからの仮想的な操作を受け付けることができる。すなわち、作業補助装置２０は、ボタンＰＢ１〜ボタンＰＢ８のいずれかのボタンに対する仮想的な操作を作業者Ｏから受け付けることができる。作業補助装置２０は、当該撮像画像に基づいて、例えば、作業者Ｏの手の動きを認識し、認識した結果と、第１実空間ＲＳ内における当該ボタンの位置とに基づいて、当該ボタンに対する仮想的な操作が作業者Ｏによって行われたか否かを判定する。作業補助装置２０は、当該ボタンに対して作業者Ｏが仮想的な操作を行ったと判定した場合、当該ボタンに応じた動画を再生させ、作業者Ｏに対して当該動画を見せる。これにより、作業者Ｏは、当該動画を見ながら第１作業Ｗ１を行うことができ、第１作業Ｗ１を行う効率を向上させることができる。すなわち、作業補助装置２０は、第１仮想手順書ＰＭ１を作業者Ｏに視認させることにより、作業者Ｏが第１作業を行う効率を向上させることができる。

また、第１仮想手順書ＰＭ１では、第１仮想手順書ＰＭ１に含まれる情報のうち作業者Ｏが現在行っている第２作業Ｗ２の作業手順を示す作業手順情報の表示態様が、第１仮想手順書ＰＭ１に含まれる他の情報の表示態様と異なる。例えば、作業補助装置２０は、音声入力部１３により検出された音声によって、これから作業者Ｏが行う第２作業Ｗ２が特定された場合、第１仮想手順書ＰＭ１に含まれる情報のうち特定された第２作業Ｗ２の作業手順を示す作業手順情報の背景色を、第１仮想手順書ＰＭ１に含まれる他の作業手順情報の背景色と異なる色に変化させる。これにより、作業補助装置２０は、作業者Ｏが行う作業の作業手順を、作業者Ｏに容易に認識させることができる。図４に示した例では、作業手順情報ＳＱ３の背景色が、他の作業手順情報の背景色と異なることを、ハッチングによって表している。なお、このようにして作業補助装置２０が変化させる作業手順情報の表示態様は、作業手順情報の背景色に代えて、作業手順情報の文字の色、作業手順情報の形状等の作業手順情報の他の表示態様であってもよい。

このように、第１仮想手順書ＰＭ１には、第１作業Ｗ１において作業者Ｏが行う全ての作業についての作業手順情報が含まれている。このため、作業者Ｏは、例えば、第１仮想手順書ＰＭ１を見ることにより、第１作業Ｗ１の全体の流れを把握することができる。

次に、図５を参照し、第２仮想手順書ＰＭ２について説明する。図５は、第２仮想手順書ＰＭ２の一例を示す図である。また、図５は、第２仮想手順書ＰＭ２が表示された表示部１１の表示面の一例を示す図である。図５に示した表示面ＤＰ１は、表示部１１の表示面の一例である。

第２仮想手順書ＰＭ２は、前述した通り、作業者Ｏが行う第１作業Ｗ１に含まれる複数の第２作業Ｗ２それぞれの作業手順のうちの一部の当該作業手順を示す作業手順情報を含む仮想手順書のことである。例えば、第２仮想手順書ＰＭ２は、図５に示したように、ドラムロール式ＵＩ（User Interface）によって、複数の作業手順情報のうちの一部の作業手順情報を表示する仮想手順書である。なお、第２仮想手順書ＰＭ２は、ドラムロール式ＵＩと異なるＵＩによって、複数の作業手順情報のうちの一部の作業手順情報を表示する仮想手順書であってもよい。

例えば、第２仮想手順書ＰＭ２には、作業者Ｏが現在行っている第２作業Ｗ２についての作業手順情報と、作業者Ｏが現在行っている第２作業Ｗ２の前に行われた第２作業Ｗ２についての作業手順情報と、作業者Ｏが現在行っている第２作業Ｗ２の後に行われる第２作業Ｗ２との３つの作業手順情報が表示される。図５に示した例では、第２仮想手順書ＰＭ２には、作業者Ｏが現在行っている第２作業Ｗ２についての作業手順情報として、作業手順情報ＳＱ３が表示されている。また、当該例では、第２仮想手順書ＰＭ２には、作業者Ｏが現在行っている第２作業Ｗ２の前に行われた第２作業Ｗ２についての作業手順情報として、作業手順情報ＳＱ２が表示されている。また、当該例では、作業者Ｏが現在行っている第２作業Ｗ２の後に行われる第２作業Ｗ２についての作業手順情報として、作業手順情報ＳＱ４が表示されている。なお、第２仮想手順書ＰＭ２には、当該３つの作業手順情報に代えて、第１仮想手順書ＰＭ１に含まれる複数の作業手順情報のうち他のルールに基づいて選択された一部の作業手順情報が含まれる構成であってもよい。

ここで、作業補助装置２０は、前述した通り、撮像部１２により撮像された撮像画像に基づいて、作業者Ｏが視認している仮想物体に対する作業者Ｏからの仮想的な操作を受け付けることができる。また、図５に示した例では、第２仮想手順書ＰＭ２は、前述した通り、ドラムロール式ＵＩ（User Interface）によって、複数の作業手順情報のうちの一部の作業手順情報を表示する仮想手順書である。すなわち、作業補助装置２０は、作業者Ｏから第２仮想手順書ＰＭ２に対する仮想的な操作を受け付け、第２仮想手順書ＰＭ２に表示されている作業手順情報を変化させることができる。

例えば、図６に示したように、作業補助装置２０は、撮像部１２により撮像された撮像画像に基づいて、作業者Ｏの指によって作業手順情報ＳＱ３が選択されたことを認識する。図６は、作業者Ｏの指によって作業手順情報ＳＱ３が選択されている場合における表示部１１の表示面の一例を示す図である。作業補助装置２０は、当該撮像画像に基づいて、作業者Ｏの指が図６に示した矢印が示す方向Ａ２に向かって移動した場合、第２仮想手順書ＰＭ２に対して作業者Ｏから方向Ａ２に向かってドラムロール式のＵＩを回転させる操作（例えば、フリック操作等）が行われたと判定する。なお、当該操作は、作業者Ｏの指による操作に代えて、他の方法による操作であってもよい。

作業補助装置２０は、第２仮想手順書ＰＭ２に対して作業者Ｏから方向Ａ２に向かってドラムロール式のＵＩを回転させる操作が行われたと判定した場合、図７に示したように、第２仮想手順書ＰＭ２に表示されている作業手順情報を変化させる。図７は、第２仮想手順書ＰＭ２に対して作業者Ｏから図６に示した矢印が示す方向Ａ２に向かってドラムロール式のＵＩを回転させる操作が行われた場合における表示部１１の表示面の一例を示す図である。図７に示した例では、第２仮想手順書ＰＭ２が有する領域のうち図６において作業手順情報ＳＱ２が表示されていた領域には、作業手順情報ＳＱ３が表示されている。また、当該例では、第２仮想手順書ＰＭ２が有する領域のうち図６において作業手順情報ＳＱ３が表示されていた領域には、作業手順情報ＳＱ４が表示されている。また、当該例では、第２仮想手順書ＰＭ２が有する領域のうち図６において作業手順情報ＳＱ４が表示されていた領域には、作業手順情報ＳＱ５が表示されている。すなわち、当該場合、第２仮想手順書ＰＭ２のドラムロール式のＵＩは、方向Ａ２に向かって回転する。なお、作業補助装置２０は、当該操作が行われたと判定した場合、第２仮想手順書ＰＭ２に表示されている作業手順情報を、他の方式によって変化させる構成であってもよい。

図５に戻る。図５に示した表示面ＤＰ１からは、表示面ＤＰ１を通して電気設備Ｅが見えている。また、図５に示した表示面ＤＰ１には、電気設備Ｅの４つの側面のうち図５に示した側面Ｍの上側に配置されている第１仮想手順書ＰＭ１が表示されている。前述した通り、第１仮想手順書ＰＭ１は、仮想空間ＶＳ内において位置及び姿勢が固定されている。このため、例えば、図５に示した矢印が示す方向Ａ１に向かって表示装置１０が移動する場合、表示面ＤＰ１に表示された第１仮想手順書ＰＭ１は、図８に示したように、表示面ＤＰ１を通して見えている電気設備Ｅとともに、方向Ａ１と反対方向に移動して見える。図８は、図５に示した矢印が示す方向Ａ１に向かって図５に示した表示面ＤＰ１が移動した場合における表示面ＤＰ１の一例を示す図である。図８に示した例では、表示面ＤＰ１の輪郭内に電気設備Ｅの側面Ｍが含まれているため、表示面ＤＰ１には、第１仮想手順書ＰＭ１が側面Ｍの上部に表示されている。一方、図８に示した第２仮想手順書ＰＭ２の表示面ＤＰ１上における位置及び姿勢は、当該場合であっても、図５に示した第２仮想手順書ＰＭ２の表示面ＤＰ１上における位置及び姿勢から変化していない。また、例えば、図８に示した矢印が示す方向Ａ３に向かって表示装置１０が更に移動する場合、表示面ＤＰ１に表示された第１仮想手順書ＰＭ１は、図９に示したように、電気設備Ｅとともに方向Ａ３と反対方向に向かって表示面ＤＰ１の輪郭外に移動し、表示面ＤＰ１上から消える。このため、図９では、表示面ＤＰ１には、第２仮想手順書ＰＭ２が表示されているが、第１仮想手順書ＰＭ１が表示されていない。図９は、図８に示した矢印が示す方向Ａ３に向かって図８に示した表示面ＤＰ１が移動した場合における表示面ＤＰ１の一例を示す図である。一方、図９に示した第２仮想手順書ＰＭ２の表示面ＤＰ１上における位置及び姿勢は、当該場合であっても、図８に示した第２仮想手順書ＰＭ２の表示面ＤＰ１上における位置及び姿勢から変化していない。

前述した通り、作業補助装置２０は、第１実空間ＲＳ内において作業者Ｏに視認される第２仮想手順書ＰＭ２の表示装置１０に対する相対的な位置及び姿勢が変化しないように、仮想空間ＶＳ内に配置されている第２仮想手順書ＰＭ２の位置及び姿勢を変化させる。このため、第２仮想手順書ＰＭ２の位置及び姿勢は、図８及び図９において説明したように、表示部１１の表示面上において変化しない。これにより、作業補助装置２０は、作業者Ｏの視界内における位置のうち作業者Ｏが所望する位置において、第２仮想手順書ＰＭ２の位置及び姿勢を変化させずに、作業者Ｏに視認させることができる。

また、作業補助装置２０は、第１実空間ＲＳ内における表示装置１０から第１仮想手順書ＰＭ１までの距離と第１実空間ＲＳ内における表示装置１０から第２仮想手順書ＰＭ２までの距離とが等しい場合における第２仮想手順書ＰＭ２の大きさを、当該場合における第１仮想手順書ＰＭ１の大きさよりも小さくすることができる。これは、第２仮想手順書ＰＭ２に含まれている情報量（例えば、作業手順情報の数等）が、第１仮想手順書ＰＭ１に含まれている情報量（例えば、作業手順情報の数等）よりも少ないためである。すなわち、作業補助装置２０は、図５、図８、図９において示したように作業補助装置２０が作業者Ｏの視界の内側に常に第２仮想手順書ＰＭ２を表示させ続けた場合であっても、作業者Ｏの視界が遮られてしまうことを抑制することができる。その結果、作業者Ｏは、第２仮想手順書ＰＭ２を見ながら第１作業Ｗ１を行うことができ、必要に応じて、第２仮想手順書ＰＭ２に含まれていない情報を見るために、作業者Ｏにとって見易い位置に配置されている第１仮想手順書ＰＭ１を見ることができる。これにより、作業補助装置２０は、作業者Ｏが第１作業Ｗ１を行う効率を向上させることができる。

なお、第１仮想手順書ＰＭ１と第２仮想手順書ＰＭ２とのうちいずれか一方又は両方は、上記において説明した作業手順情報に加えて、現在時刻を示す情報、第１作業Ｗ１を開始してからの経過時間を示す情報、作業者Ｏが第１作業Ｗ１を行い終えると推定される時間を示す情報、作業者Ｏが行い終えた第２作業Ｗ２を示す情報等の他の情報を含む構成であってもよい。

＜作業補助装置が備える表示部の表示面に表示される情報＞
以下、図１０を参照し、作業補助装置２０が備える表示部２５に表示される情報について説明する。図１０は、作業補助装置２０が備える表示部２５の表示面ＤＰ２の一例を示す図である。

表示面ＤＰ２に表示される情報は、補助者Ｈが部屋Ｒ２内において見る情報である。すなわち、補助者Ｈは、当該情報を見ることにより、作業者Ｏに対して各種の指示を与える。例えば、補助者Ｈは、表示装置１０と音声の送受信が可能な通信装置を用いて、作業者Ｏが装着している表示装置１０に音声を送信する。この場合、表示装置１０は、補助者Ｈが当該通信装置に入力した音声を受信し、受信した音声を音声出力部１４から出力し、作業者Ｏに当該音声を聞かせる。また、当該場合、当該通信装置は、作業者Ｏが音声入力部１３を介して表示装置１０に入力した音声を受信し、受信した音声を補助者Ｈに出力し、補助者Ｈに当該音声を聞かせる。なお、当該通信装置は、作業補助装置２０と一体に構成されてもよく、別体に構成されてもよい。

表示面ＤＰ２には、図１０に示したように、領域ＲＡ１と領域ＲＡ２が含まれている。

領域ＲＡ１は、表示装置１０を通して作業者Ｏが見ている空間と同じ空間を表示する領域である。当該空間は、第１実空間ＲＳに仮想空間ＶＳが重畳された空間のことである。より具体的には、作業補助装置２０は、撮像部１２により撮像された撮像画像に対して、仮想空間ＶＳ内の領域のうち撮像領域に対応する領域の画像を重畳した画像を、領域ＲＡ１に表示する。ここで、当該撮像領域は、第１実空間ＲＳに含まれる領域のうち当該撮像画像に撮像された領域のことである。当該画像は、作業者Ｏが見ている当該空間の画像とほぼ同じ画像である。これにより、作業補助装置２０は、補助者Ｈに対して、作業者Ｏに視認させた空間と同じ空間を見せることができる。その結果、補助者Ｈは、作業者Ｏに対してより適切な指示を行うことができ、作業者Ｏが第１作業Ｗ１を行う効率を向上させることができる。すなわち、作業補助装置２０は、表示部２５に表示する領域ＲＡ１に基づいて、作業者Ｏが第１作業Ｗ１を行う効率を向上させることができる。

領域ＲＡ２は、図１０に示したように、第１仮想手順書ＰＭ１を表示する領域である。作業補助装置２０は、メモリー２２に予め記憶された第１仮想手順書ＰＭ１を読み出し、読み出した第１仮想手順書ＰＭ１を領域ＲＡ２に表示させる。これにより、補助者Ｈは、作業者Ｏが視認している空間と同じ空間と、第１仮想手順書ＰＭ１との両方を見ながら、作業者Ｏに行わせたい所望の動作を指示することができる。その結果、作業補助装置２０は、作業者Ｏが第１作業Ｗ１を行う効率を向上させることができる。

なお、作業補助装置２０は、領域ＲＡ１と領域ＲＡ２に加えて、表示面ＤＰ２上に、現在時刻を示す情報、第１作業Ｗ１を開始してからの経過時間を示す情報、作業者Ｏが第１作業Ｗ１を行い終えると推定される時間を示す情報、作業者Ｏが行い終えた第２作業Ｗ２を示す情報等の他の情報を表示する構成であってもよい。

＜作業準備期間内において作業補助装置が行う処理＞
以下、図１１を参照し、作業準備期間内において作業補助装置２０が行う処理について説明する。作業準備期間は、作業者Ｏが部屋Ｒ１に入ってから、第１仮想手順書ＰＭ１及び第２仮想手順書ＰＭ２のそれぞれを表示部１１に表示させるまでの間の期間のことである。図１１は、作業準備期間内において作業補助装置２０が行う処理の流れの一例を示す図である。図１１に示したフローチャートでは、一例として、図１１に示したステップＳ１１０の処理が行われるよりも前のタイミングにおいて、作業者Ｏが部屋Ｒ１に入り、第１実空間ＲＳに仮想空間ＶＳを重畳させる操作を作業補助装置２０に対して行った場合について説明する。

表示制御部２６５は、メモリー２２に予め記憶された仮想空間ＶＳをメモリー２２から読み出す（ステップＳ１１０）。仮想空間ＶＳは、表示装置１０により部屋Ｒ１内が撮像された撮像画像に基づく空間認識によって仮想空間生成部２６４により生成された情報であってもよく、他の装置によって生成された情報であってもよい。仮想空間生成部２６４が仮想空間ＶＳを生成する場合、仮想空間生成部２６４は、撮像部１２により第１実空間ＲＳが撮像された撮像画像に基づいて、第１実空間ＲＳに対応する仮想空間ＶＳを生成する。仮想空間生成部２６４は、生成した仮想空間ＶＳの各位置と、撮像部１２により第１実空間ＲＳが撮像された撮像画像に基づいて算出された第１実空間ＲＳの各位置とを対応付ける。

次に、撮像制御部２６１は、撮像部１２が撮像可能な領域の撮像を撮像部１２に開始させる。そして、画像取得部２６２は、撮像部１２が撮像した撮像画像の撮像部１２からの取得を開始する（ステップＳ１２０）。

次に、画像処理部２６３は、画像取得部２６２が撮像画像を取得する毎に、第１実空間ＲＳ内の領域のうち画像取得部２６２が取得した撮像画像に撮像された領域と、ステップＳ１１０においてメモリー２２から読み出した仮想空間ＶＳとのマッチングを行う。すなわち、画像処理部２６３は、画像取得部２６２が撮像画像を取得する毎に、仮想空間ＶＳ内の領域のうち撮像領域に対応する領域を特定する。撮像領域は、第１実空間ＲＳ内の領域のうち画像取得部２６２が取得した撮像画像に撮像された領域のことである。表示制御部２６５は、画像処理部２６３が特定した領域内に配置されている各種の仮想物体を表示部１１に表示させ、第１実空間ＲＳに対する仮想空間ＶＳの重畳を開始する（ステップＳ１３０）。これにより、表示制御部２６５は、第１実空間ＲＳに仮想空間ＶＳを重畳した空間を作業者Ｏに視認させる。また、ステップＳ１３０において、画像処理部２６３は、画像取得部２６２が撮像画像を取得する毎に、特定した領域に基づいて、第１実空間ＲＳ内における表示装置１０の位置及び姿勢を特定する。

次に、画像処理部２６３は、表示装置１０の第１実空間ＲＳ内における位置のうち画像処理部２６３によって最初に特定された位置から、作業者Ｏが第１作業Ｗ１を行う位置までの経路を示す仮想物体（例えば、仮想的な矢印等）を、仮想誘導情報として生成する。表示制御部２６５は、生成した仮想誘導情報を仮想空間ＶＳ内に配置し、表示部１１への仮想誘導情報の表示を開始する（ステップＳ１４０）。これにより、作業補助装置２０は、作業者Ｏに対して、作業者Ｏが第１作業Ｗ１を行う位置を教示することができる。その結果、作業者Ｏは、地図を持ち歩く必要がなくなる。すなわち、作業補助装置２０は、作業者Ｏが第１作業Ｗ１を行う準備段階において、作業者Ｏの利便性を向上させることができる。なお、画像処理部２６３は、仮想誘導情報が示す位置と異なる位置に作業者Ｏが向かおうとしているか否かを、撮像部１２により撮像された撮像画像に基づいて判定する構成であってもよい。この場合、表示制御部２６５は、例えば、仮想誘導情報が示す位置と異なる位置に作業者Ｏが向かおうとしていると画像処理部２６３が判定すると、表示部１１に警告を表示させる。当該警告は、仮想誘導情報が示す位置と異なる位置に作業者Ｏが向かおうとしていることを示す警告であれば、如何なる警告であってもよく、例えば、表示面ＤＰ１のうちの一部又は全部の色を変化させることであってもよく、仮想誘導情報が示す位置と異なる位置に作業者Ｏが向かおうとしていることを示す文章を表示させることであってもよい。また、作業補助装置２０は、当該場合、仮想誘導情報が示す位置と異なる位置に作業者Ｏが向かおうとしていることを示す音を音声出力部１４から出力させる音声出力制御部を備える構成であってもよい。

次に、表示制御部２６５は、第１条件が満たされるまで待機する（ステップＳ１５０）。ここで、第１条件は、第１仮想手順書ＰＭ１と第２仮想手順書ＰＭ２とのうちのいずれか一方又は両方を仮想空間ＶＳ内に配置させる操作を受け付けること、である。なお、第１条件は、これに代えて、他の条件であってもよい。なお、第１仮想手順書ＰＭ１を仮想空間ＶＳ内に配置させる操作は、第１操作の一例である。

表示制御部２６５は、第１条件が満たされたと判定した場合（ステップＳ１５０−ＹＥＳ）、満たされた第１条件に応じて、第１仮想手順書ＰＭ１と第２仮想手順書ＰＭ２とのいずれか一方又は両方を仮想空間ＶＳ内に配置する（ステップＳ１６０）。ここで、以下では、一例として、第１仮想手順書ＰＭ１と第２仮想手順書ＰＭ２と両方を仮想空間ＶＳ内に配置させる操作を作業補助装置２０が受け付けたことにより、第１条件が満たされたと表示制御部２６５がステップＳ１５０において判定した場合について説明する。

ここで、第１仮想手順書ＰＭ１を仮想空間ＶＳ内に配置する操作は、例えば、表示装置１０に対する音声入力によって行われてもよく、表示面ＤＰ１上に表示された操作パネルに対する作業者Ｏからの仮想的な操作によって行われてもよく、補助者Ｈからの作業補助装置２０に対する操作によって行われてもよく、他の方法によって行われてもよい。また、第１仮想手順書ＰＭ１を仮想空間ＶＳ内に配置する操作には、第１実空間ＲＳ内における第１仮想手順書ＰＭ１の位置及び姿勢を示す操作が含まれている。

また、第２仮想手順書ＰＭ２を仮想空間ＶＳ内に配置する操作は、例えば、表示装置１０に対する音声入力によって行われてもよく、表示面ＤＰ１上に表示された操作パネルに対する作業者Ｏからの仮想的な操作によって行われてもよく、補助者Ｈからの作業補助装置２０に対する操作によって行われてもよく、他の方法によって行われてもよい。

ステップＳ１６０において、表示制御部２６５は、第１仮想手順書ＰＭ１を仮想空間ＶＳ内に配置する操作に応じて、第１仮想手順書ＰＭ１の姿勢が当該操作に応じた姿勢と一致するように、仮想空間ＶＳ内の位置のうち当該操作に応じた位置に第１仮想手順書ＰＭ１を配置する。当該位置は、第１位置の一例である。これにより、表示装置１０は、撮像部１２により撮像された撮像画像に基づいて算出された第１実空間ＲＳ内の各位置（すなわち、生成された仮想空間ＶＳ内の各位置に対応する第１実空間ＲＳ内の各位置）と、仮想空間ＶＳ内に配置された第１仮想手順書ＰＭ１の位置との相対的な位置関係に応じて第１仮想手順書ＰＭ１を表示部１１に表示させる。

また、ステップＳ１６０において、表示制御部２６５は、仮想空間ＶＳ内における表示部１１の表示面からの相対的な位置のうち第１相対位置に対応する第１仮想相対位置に第２仮想手順書を配置し、仮想空間ＶＳ内における当該表示面と第２仮想手順書ＰＭ２との相対的な位置関係を保ったまま、撮像部１２により撮像された撮像画像に基づいて算出された第１実空間ＲＳ内の各位置と、仮想空間ＶＳ内に配置された第２仮想手順書ＰＭ２の位置との相対的な位置関係に応じて第２仮想手順書ＰＭ２を表示部１１に表示させる。この際、表示制御部２６５は、メモリー２２に予め記憶された第１相対位置を示す情報をメモリー２２から読み出す。

なお、上記において説明した第１条件は、撮像部１２により撮像された撮像画像に、作業者Ｏによって第１作業Ｗ１が行われる対象である電気設備Ｅが含まれていること、であってもよい。この場合、表示制御部２６５は、メモリー２２に予め記憶された対応情報をメモリー２２から読み出す。対応情報は、電気設備Ｅに対応付けられた第１仮想手順書ＰＭ１を示す情報と、電気設備Ｅに対応付けられた第２仮想手順書ＰＭ２を示す情報とが含まれる情報である。表示制御部２６５は、対応情報に基づいて、メモリー２２に記憶された複数の第１仮想手順書のそれぞれを示す情報の中から、第１仮想手順書ＰＭ１を示す情報を読み出し、読み出した当該情報に基づいて第１仮想手順書ＰＭ１を仮想空間ＶＳ内に配置する。この際、仮想空間ＶＳ内における第１仮想手順書ＰＭ１の位置及び姿勢は、予め決まっていてもよく、作業者Ｏから受け付けてもよい。また、表示制御部２６５は、対応情報に基づいて、メモリー２２に記憶された複数の第２仮想手順書のそれぞれを示す情報の中から、第２仮想手順書ＰＭ２を示す情報を読み出し、読み出した当該情報に基づいて第２仮想手順書ＰＭ２を仮想空間ＶＳ内に配置する。

以上のようにステップＳ１６０の処理が行われた後、表示制御部２６５は、図１１に示したフローチャートの処理を終了する。

このように第１仮想手順書ＰＭ１と第２仮想手順書ＰＭ２が仮想空間ＶＳ内に配置されることにより、作業補助装置２０は、第１仮想手順書ＰＭ１と第２仮想手順書ＰＭ２とを作業者Ｏに視認させることができ、その結果、作業者Ｏが第１作業Ｗ１を行う効率を向上させることができる。

＜仮想物体に対する仮想的な操作を受け付けた場合において作業補助装置が行う処理＞
以下、図１２を参照し、仮想物体に対する仮想的な操作を受け付けた場合において作業補助装置２０が行う処理について説明する。図１２は、仮想物体に対する仮想的な操作を受け付けた場合において作業補助装置２０が行う処理の流れの一例を示す図である。ここで、図１２に示したフローチャートの処理は、図１１に示したステップＳ１３０の処理が行われた後から、第１実空間ＲＳ内に仮想空間ＶＳが重畳された空間を表示装置１０によって作業者Ｏに視認させる処理が終了するまでの間、繰り返し行われる処理である。

画像処理部２６３は、画像取得部２６２により取得された撮像画像に基づいて、作業者Ｏの手の動きを認識する。画像処理部２６３は、画像処理部２６３によって認識された当該動きと、仮想空間ＶＳ内に配置された仮想物体（例えば、第１仮想手順書ＰＭ１、第２仮想手順書ＰＭ２等）の位置及び姿勢とに基づいて、当該仮想物体に仮想的な操作が行われたか否かを判定する（ステップＳ２１０）。

ここで、仮想空間ＶＳ内に配置された仮想物体に対して行われる仮想的な操作は、例えば、仮想物体を移動させる操作、仮想物体の表示を切り替える操作、当該仮想物体の表示を削除する操作、他の仮想物体を表示させる操作等であるが、これらに限られるわけではない。ステップＳ２１０では、画像処理部２６３は、仮想空間ＶＳ内に配置された仮想物体に対して、このような仮想的な操作が行われたか否かを判定する。

画像処理部２６３は、仮想空間ＶＳ内に配置された仮想物体に仮想的な操作が行われていないと判定した場合（ステップＳ２１０−ＮＯ）、ステップＳ２１０に遷移し、画像取得部２６２により取得された撮像画像に基づいて、作業者Ｏの手の動きを再び認識する。そして、画像処理部２６３は、画像処理部２６３によって認識された当該動きと、仮想空間ＶＳ内に配置された仮想物体の位置及び姿勢とに基づいて、当該仮想物体に仮想的な操作が行われたか否かを再び判定する。

一方、表示制御部２６５は、仮想空間ＶＳ内に配置された仮想物体に仮想的な操作が行われたと画像処理部２６３が判定した場合（ステップＳ２１０−ＹＥＳ）、当該操作に応じた処理を行う（ステップＳ２２０）。例えば、当該操作が、第２仮想手順書ＰＭ２に対する操作のうち作業者Ｏから方向Ａ２に向かってドラムロール式のＵＩを回転させる操作であった場合、図６及び図７において説明したように、表示制御部２６５は、第２仮想手順書ＰＭ２のドラムロール式ＵＩを、方向Ａ２に向かって回転させる。また、仮想空間ＶＳ内に配置された仮想物体に仮想的な操作が、ボタンＰＢ１を押下する操作であった場合、表示制御部２６５は、ボタンＰＢ１に応じた動画を再生する。

ステップＳ２２０の処理が行われた後、画像処理部２６３は、ステップＳ２１０に遷移し、画像取得部２６２により取得された撮像画像に基づいて、作業者Ｏの手の動きを再び認識する。そして、画像処理部２６３は、画像処理部２６３によって認識された当該動きと、仮想空間ＶＳ内に配置された仮想物体の位置及び姿勢とに基づいて、当該仮想物体に仮想的な操作が行われたか否かを再び判定する。

このように、作業補助装置２０は、作業者Ｏが仮想物体に対して行った仮想的な操作を受け付け、受け付けた操作に応じた処理を行う。これにより、作業補助装置２０は、例えば、第１実空間ＲＳ内における（すなわち、仮想空間ＶＳ内における）第１仮想手順書ＰＭ１の位置及び姿勢を、所望の位置及び姿勢に変更することができる。また、作業補助装置２０は、作業者Ｏが所望する仮想物体の表示、当該仮想物体の表示の削除等を行うことができる。

＜作業補助装置が作業者の作業履歴を記憶する処理＞
ここで、作業補助装置２０は、作業者Ｏの作業履歴を記憶する。これにより、作業補助装置２０は、例えば、作業者Ｏが第１作業Ｗ１を正常に行い終えたか否かを、作業者Ｏの仕事を管理する管理者に後から確認させることができる。また、これにより、作業補助装置２０は、作業者Ｏが第１作業Ｗ１を行った際に生じたであろうミス、事故等を、作業者Ｏ又は作業者Ｏと異なる人に、後から確認させることができる。

以下、図１３を参照し、作業補助装置２０が作業者Ｏの作業履歴を記憶（記録）する処理について説明する。図１３は、作業補助装置２０が作業者Ｏの作業履歴を記憶する処理の流れの一例を示す図である。ここで、図１３に示したフローチャートの処理は、図１１に示したステップＳ１３０の処理が行われた後から、第１実空間ＲＳ内に仮想空間ＶＳが重畳された空間を表示装置１０によって作業者Ｏに視認させる処理が終了するまでの間、繰り返し行われる処理である。

記憶制御部２６６は、作業者Ｏからの指示を作業補助装置２０が認識するまで待機する（ステップＳ３１０）。ここで、記憶制御部２６６は、例えば、撮像部１２により撮像された作業者Ｏの手の動き（ジェスチャー）が、各種の指示に対応付けられた動作のうちのいずれかの動作と一致したと画像処理部２６３が判定した場合、作業者Ｏからの指示を作業補助装置２０が認識したと判定する。また、記憶制御部２６６は、例えば、音声入力部１３により入力された音声が、各種の指示に対応付けられた音声のうちのいずれかの音声と一致したと音声認識処理部２６７が判定した場合、作業者Ｏからの指示を作業補助装置２０が認識したと判定する。

記憶制御部２６６は、作業者Ｏからの指示を作業補助装置２０が認識したと判定した場合（ステップＳ３１０−ＹＥＳ）、当該指示が第２作業Ｗ２を示す指示であったか否かを判定する（ステップＳ３２０）。

記憶制御部２６６は、作業補助装置２０が認識した指示が第２作業Ｗ２を示す指示であると判定した場合（ステップＳ３２０−ＹＥＳ）、複数の第２作業Ｗ２のうちの当該指示が示す第２作業Ｗ２を、これから作業者Ｏが行う第２作業Ｗ２として特定し（ステップＳ３２５）、ステップＳ３１０に遷移する。そして、記憶制御部２６６は、作業者Ｏからの指示を作業補助装置２０が認識するまで再び待機する。ここで、当該指示が音声による指示であった場合、当該音声は、例えば、「これから、ｘｘｘの作業を行う」であるが、これに限られるわけではない。なお、当該音声に含まれる「ｘｘｘ」は、当該第２作業Ｗ２を示す文言である。また、当該音声は、他の音声であってもよい。

一方、記憶制御部２６６は、作業補助装置２０が認識した指示が第２作業Ｗ２を示す指示ではないと判定した場合（ステップＳ３２０−ＮＯ）、当該指示が、直前に実行されたステップＳ３２５において特定された第２作業Ｗ２を開始する開始指示であるか否かを判定する（ステップＳ３３０）。

記憶制御部２６６は、作業補助装置２０が認識した指示が、直前に実行されたステップＳ３２５において特定された第２作業Ｗ２を開始する開始指示であると判定した場合（ステップＳ３３０−ＹＥＳ）、現在の日時を示す情報を、作業者Ｏが当該第２作業Ｗ２を行い始めた日時である作業開始日時情報（すなわち、タイムスタンプ）としてメモリー２２に記憶させる（ステップＳ３４０）。この際、記憶制御部２６６は、当該第２作業Ｗ２を示す情報を当該作業開始日時情報に対応付けて、メモリー２２に記憶させる。ここで、当該開始指示が作業者Ｏの手の動きによる指示であった場合、記憶制御部２６６は、作業開始日時情報を記憶させるための何らかの手順が必要であることを作業者Ｏに意識させることなく、作業開始日時情報を記憶させることができる。また、当該開始指示が音声による指示であった場合、当該音声は、例えば、「ｘｘｘの作業開始」であるが、これに限られるわけではない。なお、当該音声に含まれる「ｘｘｘ」は、前述した通り、当該第２作業Ｗ２を示す文言である。また、当該音声は、他の音声であってもよい。

次に、記憶制御部２６６は、直前に画像取得部２６２により取得された撮像画像を、作業開始画像としてメモリー２２に記憶させる（ステップＳ３５０）。ここで、当該作業開始画像は、直前に実行されたステップＳ３２５において特定された第２作業Ｗ２を開始したタイミングにおいて撮像部１２により撮像された画像のことである。

次に、表示制御部２６５は、第１仮想手順書ＰＭ１及び第２仮想手順書ＰＭ２のそれぞれを更新する（ステップＳ３６０）。

具体的には、表示制御部２６５は、直前に実行されたステップＳ３２５において特定された第２作業Ｗ２についての作業手順情報を、作業者Ｏが現在行っている第２作業Ｗ２についての作業手順情報として特定する。また、表示制御部２６５は、第１仮想手順書ＰＭ１に含まれる複数の作業手順情報のうち、作業者Ｏが現在行っている第２作業Ｗ２についての作業手順情報の表示態様を、作業者Ｏが現在行っていない第２作業Ｗ２についての表示態様に変化させる。そして、表示制御部２６５は、第１仮想手順書ＰＭ１に含まれる複数の作業手順情報のうち、特定した作業手順情報の表示態様を、作業者Ｏが現在行っている第２作業Ｗ２についての作業手順情報であることを示す表示態様に変化させる。このようにして、表示制御部２６５は、ステップＳ３６０において、第１仮想手順書ＰＭ１を更新する。

また、表示制御部２６５は、第２仮想手順書ＰＭ２に含まれる複数の作業手順情報のうち、作業者Ｏが現在行っている第２作業Ｗ２についての作業手順情報の表示態様を、作業者Ｏが現在行っていない第２作業Ｗ２についての表示態様に変化させる。そして、表示制御部２６５は、第２仮想手順書ＰＭ２に含まれる複数の作業手順情報のうち、特定した作業手順情報の表示態様を、作業者Ｏが現在行っている第２作業Ｗ２についての作業手順情報であることを示す表示態様に変化させる。また、表示制御部２６５は、図５に示したドラムロール式ＵＩを回転させ、特定した作業手順情報を、当該ドラムロール式ＵＩにおいて作業手順情報が表示される３つの領域のうちの真ん中の領域に表示させる。このようにして、表示制御部２６５は、ステップＳ３６０において、第２仮想手順書ＰＭ２を更新する。

ステップＳ３６０の処理が行われた後、記憶制御部２６６は、ステップＳ３１０に遷移し、作業者Ｏからの指示を作業補助装置２０が認識するまで再び待機する。

一方、記憶制御部２６６は、作業補助装置２０が認識した指示が、直前に実行されたステップＳ３２５において特定された第２作業Ｗ２を開始する開始指示ではないと判定した場合（ステップＳ３３０−ＮＯ）、当該指示が、直前に実行されたステップＳ３２５において特定された第２作業Ｗ２を終了する終了指示であるか否かを判定する（ステップＳ３７０）。

記憶制御部２６６は、作業補助装置２０が認識した指示が、直前に実行されたステップＳ３２５において特定された第２作業Ｗ２を終了する終了指示であると判定した場合（ステップＳ３７０−ＹＥＳ）、現在の日時を示す情報を、作業者Ｏが当該第２作業Ｗ２を行い終わった日時である作業終了日時情報（すなわち、タイムスタンプ）としてメモリー２２に記憶させる（ステップＳ３８０）。この際、記憶制御部２６６は、当該第２作業Ｗ２を示す情報を当該作業終了日時情報に対応付けて、メモリー２２に記憶させる。ここで、当該終了指示が作業者Ｏの手の動きによる指示であった場合、記憶制御部２６６は、作業終了日時情報を記憶させるための何らかの手順が必要であることを作業者Ｏに意識させることなく、作業終了日時情報を記憶させることができる。また、当該終了指示が音声による指示であった場合、当該音声は、例えば、「ｘｘｘの作業終了」であるが、これに限られるわけではない。なお、当該音声に含まれる「ｘｘｘ」は、前述した通り、当該第２作業Ｗ２を示す文言である。また、当該音声は、他の音声であってもよい。

次に、記憶制御部２６６は、直前に画像取得部２６２により取得された撮像画像を、作業終了画像としてメモリー２２に記憶させる（ステップＳ３９０）。ここで、当該作業終了画像は、直前に実行されたステップＳ３２５において特定された第２作業Ｗ２を終了したタイミングにおいて撮像部１２により撮像された画像のことである。

ステップＳ３９０の処理が行われた後、記憶制御部２６６は、ステップＳ３１０に遷移し、作業者Ｏからの指示を作業補助装置２０が認識するまで再び待機する。

一方、記憶制御部２６６は、作業補助装置２０が認識した指示が、直前に実行されたステップＳ３２５において特定された第２作業Ｗ２を終了する終了指示ではないと判定した場合（ステップＳ３７０−ＮＯ）、予め決められた警告条件を満たしているか否かを当該指示が判定する（ステップＳ４００）。

ここで、警告条件は、複数の条件を含んでいてもよく、１つの条件のみを含んでいてもよい。警告条件は、例えば、以下の１）、２）の２つの条件を含んでいる。なお、以下では、説明を簡略化するため、作業補助装置２０が認識した指示、音声による指示であった場合を例に挙げて説明する。

１）音声認識処理部２６７により認識された音声が作業手順を示す音声であり、且つ、直前に実行されたステップＳ３２５において特定された第２作業Ｗ２についての作業手順情報が示す作業手順と当該音声が示す作業手順とが矛盾していること
２）音声認識処理部２６７により認識された音声が作業手順を示す音声であり、且つ、撮像部１２により撮像された撮像画像に基づいて画像処理部２６３が認識した作業手順と当該音声が示す作業手順とが矛盾していること

すなわち、前述の音声認識処理部２６７は、この一例において、音声認識処理部２６７により認識された音声が警告条件を満たしているか否かの判定を行う。このような判定は、例えば、自然言語解析のアルゴリズムを用いて行われるが、他のアルゴリズムを用いる構成であってもよい。

表示制御部２６５は、作業補助装置２０が認識した指示が警告条件を満たしていると音声認識処理部２６７が判定した場合（ステップＳ４００−ＹＥＳ）、作業者Ｏに警告を行う（ステップＳ４１０）。ここで、表示制御部２６５は、例えば、表示部１１の表示面上の色を、当該警告を示す色（例えば、赤色）に変化させることにより、当該警告を行う。また、表示制御部２６５は、表示部１１に当該警告を示す文章を表示させることにより、当該警告を行う。なお、作業補助装置２０は、当該警告を行う際、表示装置１０の音声出力部１４から当該警告を示す音声を出力させる構成であってもよい。

ステップＳ４００の処理が行われた後、記憶制御部２６６は、ステップＳ３１０に遷移し、作業者Ｏからの指示を作業補助装置２０が認識するまで再び待機する。

一方、記憶制御部２６６は、作業補助装置２０が認識した指示が警告条件を満たしていないと音声認識処理部２６７が判定した場合（ステップＳ４００−ＮＯ）、ステップＳ３１０に遷移し、作業者Ｏからの指示を作業補助装置２０が認識するまで再び待機する。

以上のように、作業補助装置２０は、第１作業Ｗ１に含まれる複数の第２作業Ｗ２のいずれかの第２作業Ｗ２を行い始めるタイミングにおいて、作業履歴として、当該第２作業Ｗ２についての作業開始日時情報と、第２作業Ｗ２についての作業開始画像とを記憶する。なお、作業補助装置２０は、当該タイミングにおいて、作業履歴として、当該作業開始日時情報と、当該作業開始画像とのいずれか一方を記憶する構成であってもよい。また、作業補助装置２０は、第１作業Ｗ１に含まれる複数の第２作業Ｗ２のいずれかの第２作業Ｗ２を行い終えたタイミングにおいて、作業履歴として、当該第２作業Ｗ２についての作業終了日時情報と、第２作業Ｗ２についての作業終了画像とを記憶する。なお、作業補助装置２０は、当該タイミングにおいて、作業履歴として、当該作業終了日時情報と、当該作業終了画像とのいずれか一方を記憶する構成であってもよい。これらにより、作業補助装置２０は、作業者Ｏが第１作業Ｗ１を正常に行い終えたか否かを、作業者Ｏの仕事を管理する管理者に後から確認させることができる。また、これらにより、作業補助装置２０は、作業者Ｏが第１作業Ｗ１を行った際に生じたであろうミス、事故等を、作業者Ｏ又は作業者Ｏと異なる人に、後から確認させることができる。

また、以上のように、作業補助装置２０は、作業者Ｏに対して各種の警告を行うことができる。

なお、作業補助装置２０は、ある警告をステップＳ４１０において作業者Ｏに対して行う場合、表示部２５に当該警告を示す情報を表示させる構成であってもよい。これにより、作業補助装置２０は、補助者Ｈに対しても当該警告を行うことができる。その結果、作業者Ｏが当該警告に気づかなかった場合であっても、作業者Ｏには、補助者Ｈによって当該警告の報知が行われる。すなわち、作業補助装置２０は、作業者Ｏが何らかの誤った作業を行ってしまうことを抑制することができる。ここで、作業補助装置２０が補助者Ｈへ行う当該警告の態様（すなわち、音声、文章の表示等）と、作業補助装置２０が作業者Ｏへ行う当該警告の態様とは、同じ態様であってもよく、異なる態様であってもよい。

上記において説明した実施形態では、第１作業Ｗ１を行う人が作業者Ｏの１人のみであった。しかしながら、作業補助システム１では、第１作業Ｗ１を行う人が２人以上であってもよい。この場合、作業補助システム１は、複数の表示装置１０を備え、作業補助装置２０は、当該複数の表示装置１０のそれぞれを制御する。しかし、作業補助装置２０によって制御される個々の表示装置１０の動作は、上記において説明した表示装置１０の動作と同様の動作である。

以上のように、実施形態に係る作業補助装置は、ユーザーが行う第１作業に含まれる複数の第２作業それぞれの作業手順を示す情報を含む第１仮想手順書と、複数の作業手順のうちの一部の作業手順を示す情報を含む第２仮想手順書とを、ユーザーの頭部に装着可能な表示装置に表示し、ユーザーが行う第１作業を補助する作業補助装置であって、表示装置は、透過型の表示部と、実空間を撮像する撮像部とを有し、撮像部により所定の第１実空間が撮像された撮像画像に基づいて生成された仮想空間の各位置は、撮像部により第１実空間が撮像された撮像画像に基づいて算出された第１実空間の各位置と対応付けられており、作業補助装置は、表示部に第１仮想手順書及び第２仮想手順書を表示させる表示制御部を備え、表示制御部は、受け付けた第１操作に応じて、第１仮想手順書の姿勢が第１操作に応じた姿勢と一致するように、仮想空間内の位置のうち第１操作に応じた第１位置に第１仮想手順書を配置し、撮像部により撮像された撮像画像に基づいて算出された第１実空間内の各位置と、仮想空間内に配置された第１仮想手順書の位置との相対的な位置関係に応じて第１仮想手順書を表示部に表示させ、仮想空間内における表示部の表示面からの相対的な位置のうち予め決められた第１相対位置に対応する第１仮想相対位置に第２仮想手順書を配置し、仮想空間内における表示面と第２仮想手順書との相対的な位置関係を保ったまま、撮像部により撮像された撮像画像に基づいて算出された第１実空間内の各位置と、仮想空間内に配置された第２仮想手順書の位置との相対的な位置関係に応じて第２仮想手順書を表示部に表示させる。これにより、作業補助装置は、ユーザーが第１作業を行う効率を向上させることができる。

また、作業補助装置は、ユーザーが行う第１作業に含まれる複数の第２作業それぞれの作業手順を示す情報を含む第１仮想手順書と、複数の作業手順のうちの一部の作業手順を示す情報を含む第２仮想手順書とを、ユーザーの頭部に装着可能な表示装置に表示し、ユーザーが行う第１作業を補助する作業補助装置であって、表示装置は、ユーザーに対して第１仮想手順書及び第２仮想手順書を表示するための透過型の表示部と、実空間を撮像する撮像部とを有し、作業補助装置は、撮像部により所定の第１実空間が撮像された撮像画像に基づいて、第１実空間に対応する仮想空間を生成し、生成した仮想空間の各位置と、撮像部により第１実空間が撮像された撮像画像に基づいて算出された第１実空間の各位置とを対応付ける仮想空間生成部と、表示部に第１仮想手順書及び第２仮想手順書を表示させる表示制御部と、を備え、表示制御部は、受け付けた第１操作に応じて、第１仮想手順書の姿勢が第１操作に応じた姿勢と一致するように、仮想空間内の位置のうち第１操作に応じた第１位置に第１仮想手順書を配置し、撮像部により撮像された撮像画像に基づいて算出された第１実空間内の各位置と、仮想空間内に配置された第１仮想手順書の位置との相対的な位置関係に応じて第１仮想手順書を表示部に表示させ、仮想空間内における表示部の表示面からの相対的な位置のうち予め決められた第１相対位置に対応する第１仮想相対位置に第２仮想手順書を配置し、仮想空間内における表示面と第２仮想手順書との相対的な位置関係を保ったまま、撮像部により撮像された撮像画像に基づいて算出された第１実空間内の各位置と、仮想空間内に配置された第２仮想手順書の位置との相対的な位置関係に応じて第２仮想手順書を表示部に表示させる。これにより、作業補助装置は、ユーザーが第１作業を行う効率を向上させることができる。

また、作業補助装置では、第１作業は、電気設備に対して行う作業である、構成が用いられてもよい。

また、作業補助装置では、表示制御部は、撮像部により撮像された撮像画像に基づいて、第２仮想手順書に含ませる１以上の作業手順を特定し、特定した１以上の作業手順を含む第２仮想手順書を表示部に表示させる、構成が用いられてもよい。

また、作業補助装置では、表示制御部は、撮像部により撮像された撮像画像に基づいて、第１実空間内においてユーザーが第１作業を行う位置までの経路を示す仮想物体を仮想空間内に配置し、表示部に表示させる、構成が用いられてもよい。

また、作業補助装置では、表示装置は、音声を検出する音声入力部を備える、構成が用いられてもよい。

また、作業補助装置では、作業補助装置は、音声入力部により検出された音声に基づいて、作業履歴を記憶する記憶制御部を備える、構成が用いられてもよい。

また、作業補助装置では、表示制御部は、前記音声入力部により検出された音声に基づいて、警告を前記表示部に表示させる、構成が用いられてもよい。

また、作業補助装置では、表示装置と無線通信によって互いに通信可能に接続されている、構成が用いられてもよい。

以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。

また、以上に説明した装置における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。ここで、当該装置は、例えば、作業補助装置２０等である。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ（Compact Disk）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。

また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワークや電話回線等の通信回線のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル又は差分プログラムであってもよい。

１…作業補助システム、１０…表示装置、１１…表示部、１２…撮像部、１３…音声入力部、１４…音声出力部、２０…作業補助装置、２１…プロセッサー、２２…メモリー、２３…入力受付部、２４…通信部、２５…表示部、２６…制御部、２６１…撮像制御部、２６２…画像取得部、２６３…画像処理部、２６４…仮想空間生成部、２６５…表示制御部、２６６…記憶制御部、２６７…音声認識処理部、ＰＭ１…第１仮想手順書、ＰＭ２…第２仮想手順書、ＲＳ…第１実空間、ＶＳ…仮想空間、Ｗ１…第１作業、Ｗ２…第２作業

Claims (12)

1. ユーザーが行う第１作業に含まれる複数の第２作業それぞれの作業手順を示す情報を含む第１仮想手順書と、前記複数の前記作業手順のうちの一部の前記作業手順を示す情報を含む第２仮想手順書とを、前記ユーザーの頭部に装着可能な表示装置に表示し、前記ユーザーが行う前記第１作業を補助する作業補助装置であって、
   前記表示装置は、透過型の表示部と、実空間を撮像する撮像部とを有し、
   前記撮像部により所定の第１実空間が撮像された撮像画像に基づいて生成された仮想空間の各位置は、前記撮像部により前記第１実空間が撮像された撮像画像に基づいて算出された前記第１実空間の各位置と対応付けられており、
   前記作業補助装置は、前記表示部に前記第１仮想手順書及び前記第２仮想手順書を表示させる表示制御部を備え、
   前記表示制御部は、
   受け付けた第１操作に応じて、前記第１仮想手順書の姿勢が前記第１操作に応じた姿勢と一致するように、前記仮想空間内の位置のうち前記第１操作に応じた第１位置に前記第１仮想手順書を配置し、前記撮像部により撮像された撮像画像に基づいて算出された前記第１実空間内の各位置と、前記仮想空間内に配置された前記第１仮想手順書の位置との相対的な位置関係に応じて前記第１仮想手順書を前記表示部に表示させ、
   前記仮想空間内における前記表示部の表示面からの相対的な位置のうち予め決められた第１相対位置に対応する第１仮想相対位置に前記第２仮想手順書を配置し、前記仮想空間内における前記表示面と前記第２仮想手順書との相対的な位置関係を保ったまま、前記撮像部により撮像された撮像画像に基づいて算出された前記第１実空間内の各位置と、前記仮想空間内に配置された前記第２仮想手順書の位置との相対的な位置関係に応じて前記第２仮想手順書を前記表示部に表示させる、
   作業補助装置。
2. ユーザーが行う第１作業に含まれる複数の第２作業それぞれの作業手順を示す情報を含む第１仮想手順書と、前記複数の前記作業手順のうちの一部の前記作業手順を示す情報を含む第２仮想手順書とを、前記ユーザーの頭部に装着可能な表示装置に表示し、前記ユーザーが行う前記第１作業を補助する作業補助装置であって、
   前記表示装置は、前記ユーザーに対して前記第１仮想手順書及び前記第２仮想手順書を表示するための透過型の表示部と、実空間を撮像する撮像部とを有し、
   前記作業補助装置は、
   前記撮像部により所定の第１実空間が撮像された撮像画像に基づいて、前記第１実空間に対応する仮想空間を生成し、生成した前記仮想空間の各位置と、前記撮像部により前記第１実空間が撮像された撮像画像に基づいて算出された前記第１実空間の各位置とを対応付ける仮想空間生成部と、
   前記表示部に前記第１仮想手順書及び前記第２仮想手順書を表示させる表示制御部と、
   を備え、
   前記表示制御部は、
   受け付けた第１操作に応じて、前記第１仮想手順書の姿勢が前記第１操作に応じた姿勢と一致するように、前記仮想空間内の位置のうち前記第１操作に応じた第１位置に前記第１仮想手順書を配置し、前記撮像部により撮像された撮像画像に基づいて算出された前記第１実空間内の各位置と、前記仮想空間内に配置された前記第１仮想手順書の位置との相対的な位置関係に応じて前記第１仮想手順書を前記表示部に表示させ、
   前記仮想空間内における前記表示部の表示面からの相対的な位置のうち予め決められた第１相対位置に対応する第１仮想相対位置に前記第２仮想手順書を配置し、前記仮想空間内における前記表示面と前記第２仮想手順書との相対的な位置関係を保ったまま、前記撮像部により撮像された撮像画像に基づいて算出された前記第１実空間内の各位置と、前記仮想空間内に配置された前記第２仮想手順書の位置との相対的な位置関係に応じて前記第２仮想手順書を前記表示部に表示させる、
   作業補助装置。
3. 前記第１作業は、電気設備に対して行う作業である、
   請求項１又は２に記載の作業補助装置。
4. 前記表示制御部は、前記撮像部により撮像された撮像画像に基づいて、前記第２仮想手順書に含ませる１以上の前記作業手順を特定し、特定した１以上の前記作業手順を含む前記第２仮想手順書を前記表示部に表示させる、
   請求項１から３のうちいずれか一項に記載の作業補助装置。
5. 前記表示制御部は、前記撮像部により撮像された撮像画像に基づいて、前記第１実空間内において前記ユーザーが前記第１作業を行う位置までの経路を示す仮想物体を前記仮想空間内に配置し、前記表示部に表示させる、
   請求項１から４のうちいずれか一項に記載の作業補助装置。
6. 前記表示装置は、音声を検出する音声入力部を備える、
   請求項１から５のうちいずれか一項に記載の作業補助装置。
7. 前記作業補助装置は、前記音声入力部により検出された音声に基づいて、作業履歴を記憶する記憶制御部を備える、
   請求項６に記載の作業補助装置。
8. 前記表示制御部は、前記音声入力部により検出された音声に基づいて、警告を前記表示部に表示させる、
   請求項６又は７に記載の作業補助装置。
9. 前記表示装置と無線通信によって互いに通信可能に接続されている、
   請求項１から請求項８のうちいずれか一項に記載の作業補助装置。
10. 請求項１から請求項８のうちいずれか一項に記載の作業補助装置を内蔵する前記表示装置である、
    表示装置。
11. 請求項１から請求項９のうちいずれか一項に記載の作業補助装置と、
    前記表示装置と、
    を備える作業補助システム。
12. ユーザーが行う第１作業に含まれる複数の第２作業それぞれの作業手順を示す情報を含む第１仮想手順書と、前記複数の前記作業手順のうちの一部の前記作業手順を示す情報を含む第２仮想手順書とを、前記ユーザーの頭部に装着可能な表示装置に表示し、前記ユーザーが行う前記第１作業を補助する作業補助装置を制御するプログラムであって、
    前記表示装置は、透過型の表示部と、実空間を撮像する撮像部とを有し、
    前記撮像部により所定の第１実空間が撮像された撮像画像に基づいて生成された仮想空間の各位置は、前記撮像部により前記第１実空間が撮像された撮像画像に基づいて算出された前記第１実空間の各位置と対応付けられており、
    前記プログラムは、
    前記作業補助装置に、
    受け付けた第１操作に応じて、前記第１仮想手順書の姿勢が前記第１操作に応じた姿勢と一致するように、前記仮想空間内の位置のうち前記第１操作に応じた第１位置に前記第１仮想手順書を配置し、前記撮像部により撮像された撮像画像に基づいて算出された前記第１実空間内の各位置と、前記仮想空間内に配置された前記第１仮想手順書の位置との相対的な位置関係に応じて前記第１仮想手順書を前記表示部に表示させる第１ステップと、
    前記仮想空間内における前記表示部の表示面からの相対的な位置のうち予め決められた第１相対位置に対応する第１仮想相対位置に前記第２仮想手順書を配置し、前記仮想空間内における前記表示面と前記第２仮想手順書との相対的な位置関係を保ったまま、前記撮像部により撮像された撮像画像に基づいて算出された前記第１実空間内の各位置と、前記仮想空間内に配置された前記第２仮想手順書の位置との相対的な位置関係に応じて前記第２仮想手順書を前記表示部に表示させる第２ステップと、
    を実行させるためのプログラム。

Images