JP2018018315A - 表示システム、表示装置、情報表示方法、及び、プログラム - Google Patents
表示システム、表示装置、情報表示方法、及び、プログラム Download PDFInfo
- Publication number
- JP2018018315A JP2018018315A JP2016148329A JP2016148329A JP2018018315A JP 2018018315 A JP2018018315 A JP 2018018315A JP 2016148329 A JP2016148329 A JP 2016148329A JP 2016148329 A JP2016148329 A JP 2016148329A JP 2018018315 A JP2018018315 A JP 2018018315A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- display
- information
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】被援助者に対して、表示装置によって情報を提供する場合に、表示装置に表示される画像や情報の向きを正確に伝達できるようにする。【解決手段】表示システム１は、プロジェクター１００Ａにより、操作を検出し、検出した操作を示す情報を含む案内情報を生成してＨＭＤ２００に送信し、ＨＭＤ２００により、プロジェクター１００Ａが送信する案内情報を受信し、案内情報に基づいて、プロジェクター１００Ａの操作に対応する画像と、当該操作を行う操作者の視点または視線方向を示す画像とを表示する。【選択図】図１
Description
本発明は、表示システム、表示装置、情報表示方法、及び、プログラムに関する。
従来、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）等の表示装置を利用して、被援助者を支援する例が知られている（例えば、特許文献１、２参照）。特許文献１記載のシステムでは、被援助者用ＨＭＤユニットが備えるカメラ装置で撮像した視界画像を、管理者用ＨＭＤユニットにおいて表示することで、管理者が被援助者の作業状態を見ることができる。また、特許文献２記載のサーバーは、輸送機のパイロットが装着するＨＭＤに対し、目的の地点、物資、スケジュール等に関する情報を送信する。
ＨＭＤは装着する位置や方向が決まっているので、ＨＭＤが表示する画像や情報の向きを、被援助者が誤解する可能性はほとんどない。一方、表示装置と被援助者の身体との相対位置が固定されない場合、表示装置に表示される画像や情報の向きを誤解するおそれがある。
本発明は上記事情に鑑みてなされたものであり、被援助者に対して、表示装置によって情報を提供する場合に、表示装置に表示される画像や情報の向きを正確に伝達できるようにすることを目的とする。
本発明は上記事情に鑑みてなされたものであり、被援助者に対して、表示装置によって情報を提供する場合に、表示装置に表示される画像や情報の向きを正確に伝達できるようにすることを目的とする。
上記目的を達成するために、本発明の表示システムは、第１表示装置及び第２表示装置を備え、前記第１表示装置は、第１表示領域に画像を表示する第１表示部と、第１撮像部と、前記第２表示装置と通信を実行する第１通信部と、前記第１通信部により前記第２表示装置から案内情報を受信し、前記案内情報に基づく画像を前記第１表示部により表示する第１制御部と、を備え、前記第２表示装置は、第２表示領域に画像を表示する第２表示部と、前記第１表示装置と通信を実行する第２通信部と、操作を検出する操作検出部と、前記操作検出部が検出する操作を示す情報を含む案内情報を生成して、前記第２通信部で送信する第２制御部と、を備え、前記第１制御部は、前記第２表示装置から受信する前記案内情報に基づいて、前記第２表示装置の前記操作検出部が検出した操作に対応する画像と、当該操作を行う操作者の視点または視線方向を示す画像とを前記第１表示部により表示すること、を特徴とする。
本発明によれば、第１表示装置によって、第２表示装置において行われる操作に関する画像を表示することにより、第１表示装置を使用する人に対し、第２表示装置を操作することで情報を提供できる。また、第１表示装置が表示する画像や情報の適正な向きを案内することができるので、第１表示装置を使用する人が画像や情報の向きを誤解することなく、適切に情報を提供できる。
本発明によれば、第１表示装置によって、第２表示装置において行われる操作に関する画像を表示することにより、第１表示装置を使用する人に対し、第２表示装置を操作することで情報を提供できる。また、第１表示装置が表示する画像や情報の適正な向きを案内することができるので、第１表示装置を使用する人が画像や情報の向きを誤解することなく、適切に情報を提供できる。
また、本発明は、上記表示システムにおいて、前記第２制御部は、前記操作検出部が検出する操作を、当該操作を行う前記操作者の視点または視線方向を基準として示す情報を含む前記案内情報を生成すること、を特徴とする。
本発明によれば、第２表示装置の操作について、操作者の視点または視線方向を基準とする情報が第１表示装置に送信されるので、第１表示装置を使用する人に対して操作者の視点または視線方向を案内できる。
本発明によれば、第２表示装置の操作について、操作者の視点または視線方向を基準とする情報が第１表示装置に送信されるので、第１表示装置を使用する人に対して操作者の視点または視線方向を案内できる。
また、本発明は、上記表示システムにおいて、前記第１表示部は、作業対象物が配置される対象配置領域を含む前記第１表示領域に画像を表示し、前記第１制御部は、前記対象配置領域に配置される前記作業対象物に対応する位置に画像を表示すること、を特徴とする。
本発明によれば、作業対象物に対応する位置に画像を表示し、この画像の適正な向きを案内することができる。このため、作業対象物に関連する情報を効果的に提供できる。
本発明によれば、作業対象物に対応する位置に画像を表示し、この画像の適正な向きを案内することができる。このため、作業対象物に関連する情報を効果的に提供できる。
また、本発明は、上記表示システムにおいて、前記第１撮像部は、前記対象配置領域の少なくとも一部を含む撮像範囲を撮像し、前記第１制御部は、前記第１撮像部の撮像画像に基づいて、前記作業対象物の位置に対応する画像の表示位置を特定すること、を特徴とする。
本発明によれば、作業対象物に対応する画像の表示位置を、適切な位置に決定できる。
本発明によれば、作業対象物に対応する画像の表示位置を、適切な位置に決定できる。
また、本発明は、上記表示システムにおいて、前記第１制御部は、前記第１撮像部の撮像範囲を示す画像を、前記第１表示部により表示すること、を特徴とする。
本発明によれば、第１表示装置の撮像範囲を示すことにより、第１撮像部による撮像機能を効果的に利用できる。
本発明によれば、第１表示装置の撮像範囲を示すことにより、第１撮像部による撮像機能を効果的に利用できる。
また、本発明は、上記表示システムにおいて、前記第１制御部は、前記第２表示装置から受信する前記案内情報に基づいて、前記第２表示装置の前記操作検出部が検出した操作の操作位置に対応して、操作体の画像を表示すること、を特徴とする。
本発明によれば、第２表示装置が検出する操作の位置や内容を、第１表示装置によってわかりやすく表示できる。
本発明によれば、第２表示装置が検出する操作の位置や内容を、第１表示装置によってわかりやすく表示できる。
また、本発明は、上記表示システムにおいて、前記第１制御部は、前記第２表示装置から受信する前記案内情報に基づいて、前記第２表示装置の前記操作検出部が検出した操作の操作位置を示す画像と、操作体の画像とを表示すること、を特徴とする。
本発明によれば、第２表示装置が検出する操作の位置や内容を、第１表示装置によってわかりやすく表示できる。
本発明によれば、第２表示装置が検出する操作の位置や内容を、第１表示装置によってわかりやすく表示できる。
また、本発明は、上記表示システムにおいて、前記第１表示装置が前記案内情報に基づいて表示する前記操作体の画像は、前記第１表示装置を使用して実行される作業に関する用具あるいは器具の画像であること、を特徴とする。
本発明によれば、第２表示装置が検出する操作の位置や内容に基づき、第１表示装置を使用する人が行う作業を、よりわかりやすく案内できる。
本発明によれば、第２表示装置が検出する操作の位置や内容に基づき、第１表示装置を使用する人が行う作業を、よりわかりやすく案内できる。
また、本発明は、上記表示システムにおいて、前記第２制御部は、前記操作検出部が検出する操作に対応する前記操作体の画像として、前記第１表示装置を使用して実行される作業に関する用具あるいは器具の画像を取得し、取得した前記操作体の画像を含む前記案内情報を生成して、前記第２通信部で送信すること、を特徴とする。
本発明によれば、第２表示装置が検出する操作の位置や内容に対応する画像を利用して、第１表示装置を使用する人が行う作業をわかりやすく案内できる。
本発明によれば、第２表示装置が検出する操作の位置や内容に対応する画像を利用して、第１表示装置を使用する人が行う作業をわかりやすく案内できる。
また、本発明は、上記表示システムにおいて、前記第１制御部は、前記第１撮像部の撮像画像に基づき案内対象情報を生成して前記第１通信部により前記第２表示装置に送信し、前記第２制御部は、前記第２通信部により前記第１表示装置から前記案内対象情報を受信し、前記案内対象情報に基づき前記第２表示部により画像を表示し、前記案内対象情報に基づく画像の表示中に前記操作検出部が検出する操作を示す情報を含む前記案内情報を生成すること、を特徴とする。
本発明によれば、撮像画像を利用して、第１表示装置において行われる作業等に関する情報を、第２表示装置に伝達できる。このため、より多くの情報を用いて、第１表示装置を使用する人の作業等を支援できる。
本発明によれば、撮像画像を利用して、第１表示装置において行われる作業等に関する情報を、第２表示装置に伝達できる。このため、より多くの情報を用いて、第１表示装置を使用する人の作業等を支援できる。
また、本発明は、上記表示システムにおいて、前記第２表示装置は、少なくとも前記操作検出部が操作を検出する検出領域の一部を含む範囲を撮像する第２撮像部を備え、前記第２制御部は、前記第２撮像部の撮像画像をもとに、前記操作検出部が検出する操作を示す情報を生成して、生成した情報を含む前記案内情報を生成すること、を特徴とする。
本発明によれば、第２表示装置で行われる操作を撮像した画像等を第１表示装置によって表示できる。このため、第１表示装置を使用する人の作業等に関して、より詳細な情報を提供できる。
本発明によれば、第２表示装置で行われる操作を撮像した画像等を第１表示装置によって表示できる。このため、第１表示装置を使用する人の作業等に関して、より詳細な情報を提供できる。
また、本発明は、上記表示システムにおいて、前記第２制御部は、前記操作検出部が検出する操作に対応する操作体の画像を含む前記案内情報を生成すること、を特徴とする。
本発明によれば、第２表示装置で操作を行う操作体の画像を第１表示装置によって表示できるので、第２表示装置の操作の内容や向きを、より直感的にわかり易く表示できる。
本発明によれば、第２表示装置で操作を行う操作体の画像を第１表示装置によって表示できるので、第２表示装置の操作の内容や向きを、より直感的にわかり易く表示できる。
また、本発明は、上記表示システムにおいて、前記第１制御部は、前記第２表示装置から受信する前記案内情報に基づいて、前記第１表示装置を操作する操作者に対し動作を案内する画像を前記第１表示部により表示すること、を特徴とする。
本発明によれば、第１表示装置を使用する人に対して、動作を適切に案内できる。
本発明によれば、第１表示装置を使用する人に対して、動作を適切に案内できる。
また、本発明は、上記表示システムにおいて、前記第１表示装置は、前記第１表示部とは別体として構成され、情報を検出する外部情報検出部を備え、前記第１制御部は、前記外部情報検出部で検出した情報を含む処理情報を前記第１通信部により前記第２表示装置に送信し、前記第２制御部は、前記第２通信部により前記第１表示装置から前記処理情報を受信して、前記処理情報に基づく画像を前記第２表示部に表示すること、を特徴とする。
本発明によれば、第１表示装置が外部情報検出部により検出した情報を、第１表示装置から第２表示装置に送信することができる。これにより、第２表示装置を使用する人は、第１表示装置を使用する人の作業内容や第１表示装置の周囲の状況等に関して詳細な情報を得ることができる。さらに、外部情報検出部は、第１表示部とは別体で構成されるため、設置位置の自由度が高く、多様な情報を容易に得ることができる。
本発明によれば、第１表示装置が外部情報検出部により検出した情報を、第１表示装置から第２表示装置に送信することができる。これにより、第２表示装置を使用する人は、第１表示装置を使用する人の作業内容や第１表示装置の周囲の状況等に関して詳細な情報を得ることができる。さらに、外部情報検出部は、第１表示部とは別体で構成されるため、設置位置の自由度が高く、多様な情報を容易に得ることができる。
また、本発明は、上記表示システムにおいて、前記外部情報検出部は、画像化された情報を読み取る読取部、及び、動きセンサーを備えた動き検出部の少なくともいずれかを含むこと、を特徴とする。
本発明によれば、第１表示装置が、第１表示部とは別体で構成される外部情報検出部により、画像化された情報の読み取り或いは動きの検出を行い、検出した情報を第２表示装置に送信できる。このため、第２表示装置を使用する人に対し、より詳細な情報を提供できる。
本発明によれば、第１表示装置が、第１表示部とは別体で構成される外部情報検出部により、画像化された情報の読み取り或いは動きの検出を行い、検出した情報を第２表示装置に送信できる。このため、第２表示装置を使用する人に対し、より詳細な情報を提供できる。
また、本発明は、上記表示システムにおいて、前記外部情報検出部は、前記第１撮像部とは別体として構成される第３撮像部を含み、前記第１制御部は、前記第３撮像部の撮像画像を含む処理情報を前記第１通信部により前記第２表示装置に送信し、前記第２制御部は、前記第２通信部により前記第１表示装置から受信した前記処理情報に含まれる前記第３撮像部の撮像画像を前記第２表示部に表示すること、を特徴とする。
本発明によれば、第１表示装置が、第１表示部とは別体で構成される第３撮像部により撮像した撮像画像を、第２表示装置に送信できる。このため、第２表示装置を使用する人は、第１表示装置が、第１表示部とは異なる位置から撮像した撮像画像を見ることができる。
本発明によれば、第１表示装置が、第１表示部とは別体で構成される第３撮像部により撮像した撮像画像を、第２表示装置に送信できる。このため、第２表示装置を使用する人は、第１表示装置が、第１表示部とは異なる位置から撮像した撮像画像を見ることができる。
また、本発明は、上記表示システムにおいて、前記第１制御部は、前記第１撮像部の撮像画像と、前記第３撮像部の撮像画像とを含む処理情報を前記第１通信部により前記第２表示装置に送信し、前記第２制御部は、前記第２通信部により前記第１表示装置から受信した前記処理情報に含まれる前記第１撮像部の撮像画像、及び、前記第３撮像部の撮像画像を、前記第２表示部に表示すること、を特徴とする。
本発明によれば、第２表示装置によって、第１撮像部の撮像画像と第３撮像部の撮像画像とを見ることができる。
本発明によれば、第２表示装置によって、第１撮像部の撮像画像と第３撮像部の撮像画像とを見ることができる。
また、本発明は、上記表示システムにおいて、前記第２制御部は、前記第２通信部により前記第１表示装置から受信した前記処理情報に含まれる前記第１撮像部の撮像画像、及び、前記第３撮像部の撮像画像を、前記第２表示部に並べて表示すること、を特徴とする。
本発明によれば、第２表示装置によって、第１撮像部の撮像画像と第３撮像部の撮像画像とを同時に見ることができる。
本発明によれば、第２表示装置によって、第１撮像部の撮像画像と第３撮像部の撮像画像とを同時に見ることができる。
また、本発明は、上記表示システムにおいて、前記第１制御部は、前記第１通信部と前記第２表示装置との間の通信状態に応じて、前記処理情報に含まれる前記第１撮像部の撮像画像、及び、前記第３撮像部の撮像画像の状態を調整すること、を特徴とする。
本発明によれば、第１表示装置から第２表示装置に送信する処理情報に複数の画像が含まれることに起因して、通信状態の影響を受けやすくなった場合であっても、第１表示装置から第２表示装置へ適切に処理情報を送信できる。このため、第２表示装置において適切に撮像画像を表示できる。
本発明によれば、第１表示装置から第２表示装置に送信する処理情報に複数の画像が含まれることに起因して、通信状態の影響を受けやすくなった場合であっても、第１表示装置から第２表示装置へ適切に処理情報を送信できる。このため、第２表示装置において適切に撮像画像を表示できる。
また、上記目的を達成するために、本発明の表示装置は、画像を表示する表示部と、外部の表示装置と通信を実行する通信部と、前記外部の表示装置において行われた操作を示す情報を含む案内情報を前記通信部により受信し、前記案内情報に基づいて、前記外部の表示装置の操作に対応する画像と、当該操作を行う操作者の視点または視線方向を示す画像とを前記表示部により表示する制御部と、を備えることを特徴とする。
本発明によれば、外部の表示装置を操作することで、表示装置を使用する人に対して情報を提供できる。また、表示装置が表示する画像や情報について、外部の表示装置の操作に対応する適正な向きを案内できる。このため、表示装置を使用する人が、画像や情報の向きを誤解することなく、適切に情報を提供できる。
本発明によれば、外部の表示装置を操作することで、表示装置を使用する人に対して情報を提供できる。また、表示装置が表示する画像や情報について、外部の表示装置の操作に対応する適正な向きを案内できる。このため、表示装置を使用する人が、画像や情報の向きを誤解することなく、適切に情報を提供できる。
また、上記目的を達成するために、本発明の表示装置は、表示領域に画像を表示する表示部と、外部の表示装置と通信を実行する通信部と、操作を検出する操作検出部と、前記操作検出部が検出する操作を示す情報を含む案内情報を生成して、前記通信部により前記外部の表示装置に送信する制御部と、を備え、前記案内情報は、前記操作検出部が検出した操作に対応する画像と、当該操作を行う操作者の視点または視線方向を示す画像とを前記外部の表示装置が表示するための情報であること、を特徴とする。
本発明によれば、表示装置を操作することにより、外部の表示装置を使用する人に対して操作者の視点や視線方向と、操作の内容に関する情報を提供できる。これにより、例えば外部の表示装置が、操作者の視点や視線方向と操作の内容に関する画像等を表示することができ、当該表示装置と外部の表示装置との間で、操作に関する様々な情報を伝達できる。
本発明によれば、表示装置を操作することにより、外部の表示装置を使用する人に対して操作者の視点や視線方向と、操作の内容に関する情報を提供できる。これにより、例えば外部の表示装置が、操作者の視点や視線方向と操作の内容に関する画像等を表示することができ、当該表示装置と外部の表示装置との間で、操作に関する様々な情報を伝達できる。
また、上記目的を達成するために、本発明は、第１表示部を備える第１表示装置、及び、第２表示部を備える第２表示装置を用いる情報表示方法であって、前記第２表示装置により、操作を検出し、検出する操作を示す情報を含む案内情報を生成して前記第１表示装置に送信し、前記第１表示装置により、前記第２表示装置が送信する前記案内情報を受信し、前記案内情報に基づいて、前記第２表示装置の操作に対応する画像と、当該操作を行う操作者の視点または視線方向を示す画像とを前記第１表示部により表示すること、を特徴とする。
本発明によれば、第１表示装置を使用する人に対し、第２表示装置を操作することで情報を提供できる。また、第１表示装置が表示する画像や情報の適正な向きを案内することができるので、第１表示装置を使用する人が画像や情報の向きを誤解することなく、適切に情報を提供できる。
本発明によれば、第１表示装置を使用する人に対し、第２表示装置を操作することで情報を提供できる。また、第１表示装置が表示する画像や情報の適正な向きを案内することができるので、第１表示装置を使用する人が画像や情報の向きを誤解することなく、適切に情報を提供できる。
また、上記目的を達成するために、本発明は、画像を表示する第１表示部を有する第１表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターにより、外部の第２表示装置から、前記第２表示装置において行われた操作を示す情報を含む案内情報を受信し、前記案内情報に基づいて、前記第２表示装置の操作に対応する画像と、当該操作を行う操作者の視点または視線方向を示す画像とを前記第１表示部により表示すること、を特徴とするプログラムである。
本発明によれば、第１表示装置を使用する人に対し、第２表示装置を操作することで情報を提供できる。また、第１表示装置が表示する画像や情報の適正な向きを案内することができるので、第１表示装置を使用する人が画像や情報の向きを誤解することなく、適切に情報を提供できる。
また、本発明は、このプログラムを記憶した記憶媒体として構成してもよい。
本発明によれば、第１表示装置を使用する人に対し、第２表示装置を操作することで情報を提供できる。また、第１表示装置が表示する画像や情報の適正な向きを案内することができるので、第１表示装置を使用する人が画像や情報の向きを誤解することなく、適切に情報を提供できる。
また、本発明は、このプログラムを記憶した記憶媒体として構成してもよい。
［第１実施形態］
図１は、本発明を適用した実施形態に係る表示システム１の概略構成図である。
この図１に示すように、表示システム１は、プロジェクター１００Ａと、ＨＭＤ２００とを、通信ネットワーク４を介して相互に通信可能に接続したシステムである。図１には１台のプロジェクター１００Ａと、２台のＨＭＤ２００とを通信ネットワーク４に接続する例を示すが、表示システム１が備えるプロジェクター１００Ａ、及びＨＭＤ２００の数に制限はない。
図１は、本発明を適用した実施形態に係る表示システム１の概略構成図である。
この図１に示すように、表示システム１は、プロジェクター１００Ａと、ＨＭＤ２００とを、通信ネットワーク４を介して相互に通信可能に接続したシステムである。図１には１台のプロジェクター１００Ａと、２台のＨＭＤ２００とを通信ネットワーク４に接続する例を示すが、表示システム１が備えるプロジェクター１００Ａ、及びＨＭＤ２００の数に制限はない。
ＨＭＤ２００は、図１に示すように使用者が頭部に装着する表示装置であり、頭部装着型表示装置（ヘッドマウントディスプレイ、Head Mounted Display）とも呼ばれる。ＨＭＤ２００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のＨＭＤである。なお、以下の説明では、ＨＭＤ２００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
表示システム１は、作業を行う被援助者ＵＢがＨＭＤ２００を使用し、被援助者ＵＢに対して指示や管理を行う援助者ＵＡ（図２）がプロジェクター１００Ａを使用し、援助者ＵＡと被援助者ＵＢの間で指示や管理のための情報を送受信する。これにより、援助者ＵＡが被援助者ＵＢに対して、作業の手順や内容に関する情報を提供し、作業を支援できる。援助者ＵＡは、被援助者ＵＢ、ＵＣに何らかの情報を与える側として定義でき、指令を行う場合は指令者と呼んでもよいし、作業の補助を行う観点から補助者あるいは援助者と呼んでもよい。また、被援助者ＵＢ、ＵＣは、援助者ＵＡから何らかの情報による援助を受ける側として定義でき、作業を行う場合は作業者と呼んでもよい。
以下の各実施形態では、被援助者ＵＢ、ＵＣが行う作業について援助者ＵＡが支援する用途を例として説明するが、表示システム１の用途はこれに限定されない。
以下の各実施形態では、被援助者ＵＢ、ＵＣが行う作業について援助者ＵＡが支援する用途を例として説明するが、表示システム１の用途はこれに限定されない。
援助者ＵＡの居場所を援助サイトＡとし、被援助者ＵＢが作業を行う場所を被援助サイトＢとする。また、図１には、被援助サイトＣを示し、被援助サイトＣで作業を行う被援助者ＵＣが、被援助者ＵＢと同様にＨＭＤ２００を装着する。この構成では、被援助サイトＢの被援助者ＵＢと、被援助サイトＣの被援助者ＵＣとに対し、プロジェクター１００Ａを使用する援助者ＵＡが、作業支援を行うことができる。援助サイトＡと被援助サイトＢ、Ｃとは、通信ネットワーク４に接続可能であれば地理的制約はなく、遠隔地であってもよいし、近接した場所であってもよい。援助サイトＡを、援助者ＵＡが指令を行う指令サイトＡと呼ぶこともでき、被援助サイトＢ、Ｃを、被援助者ＵＢ、ＵＣが作業を行う作業サイトと呼ぶこともできる。
援助者ＵＡはプロジェクター１００Ａの操作者であり、被援助者ＵＢ、ＵＣはＨＭＤ２００の使用者、別の表現では使用者に相当する。
援助者ＵＡはプロジェクター１００Ａの操作者であり、被援助者ＵＢ、ＵＣはＨＭＤ２００の使用者、別の表現では使用者に相当する。
図２は、プロジェクター１００Ａの設置状態の例を示す図である。
プロジェクター１００Ａは、作業用のテーブルに固定され、テーブルの上面である作業台Ｔに対して画像を投射（表示）する。プロジェクター１００Ａは作業台Ｔの表示領域に画像を表示する。プロジェクター１００Ａが画像を表示する領域を表示領域ＤＡとする。
作業台Ｔは、人が立って作業を行う場合に作業場所として使用可能な高さに設定され、好ましくは平面であり、作業用の台座（図示略）等が設置されていてもよい。作業台Ｔには作業対象物ＯＢを置くことができ、援助サイトＡの援助者ＵＡは、図２に示すように作業台Ｔに手を載せて作業対象物ＯＢに対する作業を行うことができる。作業台Ｔには、図２に示すように作業対象物ＯＢを載せることができ、この作業対象物ＯＢに重なるように、プロジェクター１００Ａが画像光を投射して、画像を表示できる。援助者ＵＡは、プロジェクター１００Ａの表示画像を見ながら作業台Ｔで作業を行える。
プロジェクター１００Ａは、作業用のテーブルに固定され、テーブルの上面である作業台Ｔに対して画像を投射（表示）する。プロジェクター１００Ａは作業台Ｔの表示領域に画像を表示する。プロジェクター１００Ａが画像を表示する領域を表示領域ＤＡとする。
作業台Ｔは、人が立って作業を行う場合に作業場所として使用可能な高さに設定され、好ましくは平面であり、作業用の台座（図示略）等が設置されていてもよい。作業台Ｔには作業対象物ＯＢを置くことができ、援助サイトＡの援助者ＵＡは、図２に示すように作業台Ｔに手を載せて作業対象物ＯＢに対する作業を行うことができる。作業台Ｔには、図２に示すように作業対象物ＯＢを載せることができ、この作業対象物ＯＢに重なるように、プロジェクター１００Ａが画像光を投射して、画像を表示できる。援助者ＵＡは、プロジェクター１００Ａの表示画像を見ながら作業台Ｔで作業を行える。
プロジェクター１００Ａは、作業台Ｔを撮像する機能を有する。プロジェクター１００Ａが撮像する範囲は、表示領域ＤＡの少なくとも一部を含み、図２の例では作業台Ｔの一部を含む。プロジェクター１００Ａが撮像する範囲を撮像範囲ＰＡとする。
プロジェクター１００Ａは、撮像範囲を示す撮像境界線ＢＬを作業台Ｔに表示する。撮像境界線ＢＬは、撮像範囲ＰＡの外縁を示す境界線であり、人が視認可能な表示色で表示される。
プロジェクター１００Ａは、撮像範囲を示す撮像境界線ＢＬを作業台Ｔに表示する。撮像境界線ＢＬは、撮像範囲ＰＡの外縁を示す境界線であり、人が視認可能な表示色で表示される。
プロジェクター１００Ａの撮像機能により、撮像範囲ＰＡで援助者ＵＡが行う作業の様子を撮像できる。表示システム１では、被援助者ＵＢ、ＵＣが装着するＨＭＤ２００が、被援助者ＵＢ、ＵＣの視界を撮像し、撮像画像を含む作業情報（案内対象情報）をプロジェクター１００Ａに送信する機能を有する。プロジェクター１００Ａは、作業情報を受信して、ＨＭＤ２００の撮像画像を含む画像を表示する。つまり、プロジェクター１００Ａは、作業情報を受信して、被援助者の視界の撮像画像を表示する。援助者ＵＡは、プロジェクター１００Ａを操作し、説明用のコンテンツの選択、指示体（例えば、腕、手または指）を動かす動作等を行う。これにより、プロジェクター１００ＡからＨＭＤ２００に、選択されたコンテンツ及び指示体の動きを示すデータを含む指示情報（案内情報）が送信される。ここで、援助者ＵＡは、プロジェクター１００Ａが表示する、被援助者ＵＢの作業を示す画像を見ながら、操作を行う。
ＨＭＤ２００は、プロジェクター１００Ａが送信する指示情報を受信して、指示情報に基づく画像を画像表示部２２０に表示する。ＨＭＤ２００はシースルー型の表示装置であるため、被援助者は、画像表示部２２０が表示する画像を見ながら、手元を見て作業を行うことができる。これにより、表示システム１では、被援助サイトＢ、Ｃで作業を行う被援助者ＵＢ、ＵＣの視界を、援助者ＵＡが視認できる。そして、被援助者ＵＢ、ＵＣのＨＭＤ２００に対し、プロジェクター１００Ａが撮像する援助者ＵＡの操作や指示コンテンツに含まれる画像を送信し、ＨＭＤ２００が表示する。これにより、援助者ＵＡが、指示体やコンテンツを利用して、作業の案内や説明等を行って被援助者ＵＢ、ＵＣに見せることができ、被援助者ＵＢの作業に関する指示や助言を行える。また、被援助者ＵＢ、ＵＣは、コンテンツの画像や指示体の動きを見ながら作業を行うことができる。ＨＭＤ２００の動作は、被援助者ＵＣについても同様であり、被援助者ＵＣが装着するＨＭＤ２００によって、プロジェクター１００Ａを操作する援助者ＵＡが、作業に関する指示や助言を行える。指示体は操作者である援助者ＵＡが操作に使用する操作体と呼ぶこともできる。
ＨＭＤ２００は、プロジェクター１００Ａが送信する指示情報を受信して、指示情報に基づく画像を画像表示部２２０に表示する。ＨＭＤ２００はシースルー型の表示装置であるため、被援助者は、画像表示部２２０が表示する画像を見ながら、手元を見て作業を行うことができる。これにより、表示システム１では、被援助サイトＢ、Ｃで作業を行う被援助者ＵＢ、ＵＣの視界を、援助者ＵＡが視認できる。そして、被援助者ＵＢ、ＵＣのＨＭＤ２００に対し、プロジェクター１００Ａが撮像する援助者ＵＡの操作や指示コンテンツに含まれる画像を送信し、ＨＭＤ２００が表示する。これにより、援助者ＵＡが、指示体やコンテンツを利用して、作業の案内や説明等を行って被援助者ＵＢ、ＵＣに見せることができ、被援助者ＵＢの作業に関する指示や助言を行える。また、被援助者ＵＢ、ＵＣは、コンテンツの画像や指示体の動きを見ながら作業を行うことができる。ＨＭＤ２００の動作は、被援助者ＵＣについても同様であり、被援助者ＵＣが装着するＨＭＤ２００によって、プロジェクター１００Ａを操作する援助者ＵＡが、作業に関する指示や助言を行える。指示体は操作者である援助者ＵＡが操作に使用する操作体と呼ぶこともできる。
通信ネットワーク４は、公衆回線網、専用線、携帯電話回線を含む無線通信回線、及び、これらの回線のバックボーン通信回線など、各種の通信回線またはその組合せで実現され、その具体的構成は限定されない。通信ネットワーク４は、遠隔地を接続できる広域通信回線網であってもよいし、特定の施設や建物内に敷設されたＬＡＮ（Local Area Network）であってもよい。また、通信ネットワーク４、上記各種通信回線を接続するサーバー装置、ゲートウェイ装置、ルーター装置等のネットワーク機器を含んでもよい。また、通信ネットワーク４が複数の通信回線で構成されてもよい。
プロジェクター１００Ａは、有線または無線通信回線を介して通信ネットワーク４に接続される。また、被援助サイトＢには、通信ネットワーク４に接続する無線アクセスポイント３Ｂが設置され、被援助サイトＣには通信ネットワーク４に接続する無線アクセスポイント３Ｃが設置される。無線アクセスポイント３Ｂ、３Ｃは、アクセスポイントやルーター等の通信装置であり、ＨＭＤ２００と通信ネットワーク４とのデータ通信を中継する。ＨＭＤ２００は、無線アクセスポイント３Ｂ、３Ｃを介して他のＨＭＤ２００やプロジェクター１００Ａとデータ通信を実行する。なお、それぞれのＨＭＤ２００は、他のＨＭＤ２００との間で、例えばアドホックモードで直接、無線通信を実行してもよい。また、有線の通信回線によりＨＭＤ２００が接続されてもよい。すなわち、表示システム１は、プロジェクター１００Ａ及びＨＭＤ２００が通信可能であれば、その構成は特に限定されない。
プロジェクター１００Ａは、有線または無線通信回線を介して通信ネットワーク４に接続される。また、被援助サイトＢには、通信ネットワーク４に接続する無線アクセスポイント３Ｂが設置され、被援助サイトＣには通信ネットワーク４に接続する無線アクセスポイント３Ｃが設置される。無線アクセスポイント３Ｂ、３Ｃは、アクセスポイントやルーター等の通信装置であり、ＨＭＤ２００と通信ネットワーク４とのデータ通信を中継する。ＨＭＤ２００は、無線アクセスポイント３Ｂ、３Ｃを介して他のＨＭＤ２００やプロジェクター１００Ａとデータ通信を実行する。なお、それぞれのＨＭＤ２００は、他のＨＭＤ２００との間で、例えばアドホックモードで直接、無線通信を実行してもよい。また、有線の通信回線によりＨＭＤ２００が接続されてもよい。すなわち、表示システム１は、プロジェクター１００Ａ及びＨＭＤ２００が通信可能であれば、その構成は特に限定されない。
また、プロジェクター１００ＡとＨＭＤ２００とは、通信ネットワーク４を経由せず直接、データ通信を行ってもよい。例えば、無線ＬＡＮ（ＷｉＦｉ（登録商標）、Ｄｉｒｅｃｔ Ｗｉ−Ｆｉ等を含む）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行することにより、通信ネットワーク４や無線アクセスポイント３Ｂを介さずに通信を行ってもよい。この方法は、例えば、援助サイトＡと被援助サイトＢ或いは被援助サイトＣとが遠隔地でなく、数メートル程度の距離にある場合に有効である。
図３は、プロジェクター１００Ａの構成を示す機能ブロック図である。
プロジェクター１００Ａは、外部の装置に接続されるインターフェイスとして、Ｉ／Ｆ（インターフェイス）部１１及び画像Ｉ／Ｆ（インターフェイス）部１２を備える。Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は有線接続用のコネクターを備え、上記コネクターに対応するインターフェイス回路を備えていてもよい。
インターフェイス部１１は、制御データ等のデジタルデータを送受信する通信インターフェイスであり、画像インターフェイス部１２は、画像データ及び／又はアナログ画像信号を入力可能な入力インターフェイスである。インターフェイス部１１は、有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等のインターフェイスを備え、無線通信インターフェイスを備えてもよい。また、画像Ｉ／Ｆ部１２は、ＨＤＭＩ（登録商標）インターフェイス等を用いることができ、音声データや音声信号が入力されるインターフェイスを備えてもよい。
プロジェクター１００Ａは、外部の装置に接続されるインターフェイスとして、Ｉ／Ｆ（インターフェイス）部１１及び画像Ｉ／Ｆ（インターフェイス）部１２を備える。Ｉ／Ｆ部１１及び画像Ｉ／Ｆ部１２は有線接続用のコネクターを備え、上記コネクターに対応するインターフェイス回路を備えていてもよい。
インターフェイス部１１は、制御データ等のデジタルデータを送受信する通信インターフェイスであり、画像インターフェイス部１２は、画像データ及び／又はアナログ画像信号を入力可能な入力インターフェイスである。インターフェイス部１１は、有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等のインターフェイスを備え、無線通信インターフェイスを備えてもよい。また、画像Ｉ／Ｆ部１２は、ＨＤＭＩ（登録商標）インターフェイス等を用いることができ、音声データや音声信号が入力されるインターフェイスを備えてもよい。
インターフェイス部１１及び画像インターフェイス部１２には、ＰＣ（パーソナルコンピューター）、ビデオ再生装置、ＤＶＤ再生装置等の外部の画像供給装置（図示略）を接続可能である。プロジェクター１００Ａは、インターフェイス部１１または画像インターフェイス部１２に接続された画像供給装置から供給されるアナログ画像信号またはディジタル画像データに基づき、作業台Ｔに画像を投射することもできる。
プロジェクター１００Ａは、光学的な画像の形成を行う投射部２０を備える。投射部２０は、光源部２１、光変調装置２２、および投射光学系２３を有する。光源部２１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、或いはレーザー光源等からなる光源を備える。また、光源部２１は、光源が発した光を光変調装置２２に導くリフレクターおよび補助リフレクターを備えていてもよい。さらに、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を光変調装置２２に至る経路上で低減させる調光素子等を備えていてもよい。
光変調装置２２は、例えばＲＧＢの三原色に対応した３枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調して画像光を生成する。光源部２１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系２３に射出される。
光変調装置２２は、例えばＲＧＢの三原色に対応した３枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調して画像光を生成する。光源部２１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系２３に射出される。
投射光学系２３は、光変調装置２２により変調された画像光を作業台Ｔ方向へ導き、作業台Ｔ上に結像させるレンズ群を備える。また、投射光学系２３は、投射画像の拡大・縮小および焦点の調整を行うズーム機構、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。プロジェクター１００Ａが短焦点型である場合、投射光学系２３に、画像光を作業台Ｔに向けて反射する凹面鏡を備えていてもよい。
投射部２０には、制御部３０の制御に従って光源部２１を点灯させる光源駆動部４５、及び、制御部３０の制御に従って光変調装置２２を動作させる光変調装置駆動部４６が接続される。光源駆動部４５は、光源部２１の点灯／消灯の切り替えを行い、光源部２１の光量を調整する機能を有していてもよい。
プロジェクター１００Ａは、投射部２０が投射する画像を処理する画像処理系を備える。この画像処理系は、プロジェクター１００Ａを制御する制御部３０、記憶部５０、操作取得部１７、画像処理部４０、光源駆動部４５、及び光変調装置駆動部４６を含む。また、画像処理系に、画像処理部４０に接続されるフレームメモリー４４を含めてもよい。
制御部３０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部３０は、上記ＲＯＭまたは記憶部５０が記憶するコンピュータープログラムを読み出して実行することにより、プロジェクター１００Ａの各部を制御する。制御部３０は、上記プログラムを実行し、オペレーティングシステム（ＯＳ）３１、投射制御部３２、及び通信制御部３３として機能する。また、制御部３０は、上記プログラムを実行し、受信情報処理部３４、操作検出部３５、操作時表示制御部３６、送信画像取得部３７、指示情報生成部３８、及び、音声処理部４９として機能する。
記憶部５０は、制御部３０が実行するオペレーティングシステムを含む各種のプログラム、および、制御部３０が処理するデータを不揮発的に記憶する。記憶部５０は、設定データ５１を記憶する。設定データ５１は、制御部３０が使用する各種の設定値を含む。設定データ５１が含む設定値は、予め操作取得部１７が検出する操作で入力された値であってもよいし、通信部１３またはインターフェイス部１１を介して外部の装置（図示略）から設定値を受信して記憶してもよい。
また、記憶部５０は、検出用データ５２、メニュー画像データ５３、送信画像データ５４、及び指示コンテンツデータ５５を記憶する。
検出用データ５２は、画像データから作業対象物ＯＢの画像を検出するために利用されるデータである。作業対象物ＯＢは、ＨＭＤ２００を使用する被援助者ＵＢ、ＵＣが行う作業の対象であり、被援助者ＵＢ、ＵＣから見える位置、すなわち視野内に配置されると考えることができる。
検出用データ５２は、例えば、画像データから作業対象物ＯＢの画像を抽出する処理に用いるデータを含み、より具体的には、作業対象物ＯＢの画像の特徴量のデータを含む。特徴量は、色の特徴量であっても形状の特徴量であってもよく、処理対象の画像データの色数や解像度に対応して、複数の特徴量を含んでもよい。表示システム１では、被援助者ＵＢが作業対象とする作業対象物ＯＢが事前に判明している場合に、この作業対象物ＯＢに関する検出用データ５２が、記憶部５０に記憶される。
検出用データ５２は、画像データから作業対象物ＯＢの画像を検出するために利用されるデータである。作業対象物ＯＢは、ＨＭＤ２００を使用する被援助者ＵＢ、ＵＣが行う作業の対象であり、被援助者ＵＢ、ＵＣから見える位置、すなわち視野内に配置されると考えることができる。
検出用データ５２は、例えば、画像データから作業対象物ＯＢの画像を抽出する処理に用いるデータを含み、より具体的には、作業対象物ＯＢの画像の特徴量のデータを含む。特徴量は、色の特徴量であっても形状の特徴量であってもよく、処理対象の画像データの色数や解像度に対応して、複数の特徴量を含んでもよい。表示システム１では、被援助者ＵＢが作業対象とする作業対象物ＯＢが事前に判明している場合に、この作業対象物ＯＢに関する検出用データ５２が、記憶部５０に記憶される。
メニュー画像データ５３は、投射部２０によりメニュー画像を表示するための画像のデータである。メニュー画像は、例えば、操作用のアイコンが列をなして配置されたメニューバー、或いは、アイコンが円形の枠内に配置されたダイヤル型のメニュー等である。
送信画像データ５４は、プロジェクター１００ＡがＨＭＤ２００に送信する指示情報に用いられる画像データであり、例えば、腕、手、指、或いは指示棒等の指示体の画像の画像データである。詳細は後述するが、指示情報には、撮像部１５が撮像する撮像画像を含めることができるが、撮像画像の代わりに、予め用意された指示体の画像を用いることもできる。送信画像データ５４は、撮像画像の代わりに指示情報に含めることが可能な画像データである。送信画像データ５４は、例えば、援助者ＵＡまたは被援助者ＵＢの腕や手指を模した画像の画像データであるが、矢印等の記号で構成されるポインターの画像の画像データであってもよく、その種類や内容は制限されない。
指示コンテンツデータ５５は、プロジェクター１００ＡがＨＭＤ２００に送信するコンテンツのデータであり、テキストデータ、静止画像データ、動画像データ、及び音声データ等を含むことができる。
送信画像データ５４は、プロジェクター１００ＡがＨＭＤ２００に送信する指示情報に用いられる画像データであり、例えば、腕、手、指、或いは指示棒等の指示体の画像の画像データである。詳細は後述するが、指示情報には、撮像部１５が撮像する撮像画像を含めることができるが、撮像画像の代わりに、予め用意された指示体の画像を用いることもできる。送信画像データ５４は、撮像画像の代わりに指示情報に含めることが可能な画像データである。送信画像データ５４は、例えば、援助者ＵＡまたは被援助者ＵＢの腕や手指を模した画像の画像データであるが、矢印等の記号で構成されるポインターの画像の画像データであってもよく、その種類や内容は制限されない。
指示コンテンツデータ５５は、プロジェクター１００ＡがＨＭＤ２００に送信するコンテンツのデータであり、テキストデータ、静止画像データ、動画像データ、及び音声データ等を含むことができる。
画像処理部４０は、制御部３０の制御に従って画像データを処理し、光変調装置駆動部４６に画像信号を出力する。画像処理部４０が実行する処理は、３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等である。画像処理部４０は、制御部３０により指定された処理を実行し、必要に応じて、制御部３０から入力されるパラメーターを使用して処理を行う。また、上記のうち複数の処理を組み合わせて実行することも勿論可能である。
画像処理部４０はフレームメモリー４４に接続される。画像処理部４０は、表示する画像の画像データをフレームメモリー４４に展開して、展開した画像データに対し上記の各種処理を実行する。画像処理部４０は、処理後の画像データをフレームメモリー４４から読み出して、この画像データに対応するＲ、Ｇ、Ｂの画像信号を生成し、光変調装置駆動部４６に出力する。
光変調装置駆動部４６は、光変調装置２２の液晶パネルに接続される。光変調装置駆動部４６は、画像処理部４０から入力される画像信号に基づいて液晶パネルを駆動し、各液晶パネルに画像を描画する。
操作取得部１７は、入力デバイスとして機能するリモコン受光部１８および操作パネル１９に接続され、リモコン受光部１８及び操作パネル１９が出力する操作信号を取得することにより、操作を検出する。
リモコン受光部１８は、プロジェクター１００Ａのユーザーが使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を、リモコン受光部１８によって受光する。リモコン受光部１８は、上記リモコンから受光した赤外線信号をデコードして、上記リモコンにおける操作内容を示す操作内容に対応する操作信号を、操作取得部１７に出力する。
操作パネル１９は、プロジェクター１００Ａの外装筐体に設けられ、各種スイッチおよびインジケーターランプ等を有する。操作取得部１７は、制御部３０の制御に従い、プロジェクター１００Ａの動作状態や設定状態に応じて操作パネル１９のインジケーターランプを適宜点灯及び消灯させる。操作パネル１９のスイッチが操作されると、操作パネル１９は、操作されたスイッチに対応する操作信号を操作取得部１７に出力する。
操作取得部１７は、リモコン受光部１８または操作パネル１９から入力される操作信号に基づいて、操作の内容を示す操作データを生成して制御部３０に出力する。
リモコン受光部１８は、プロジェクター１００Ａのユーザーが使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を、リモコン受光部１８によって受光する。リモコン受光部１８は、上記リモコンから受光した赤外線信号をデコードして、上記リモコンにおける操作内容を示す操作内容に対応する操作信号を、操作取得部１７に出力する。
操作パネル１９は、プロジェクター１００Ａの外装筐体に設けられ、各種スイッチおよびインジケーターランプ等を有する。操作取得部１７は、制御部３０の制御に従い、プロジェクター１００Ａの動作状態や設定状態に応じて操作パネル１９のインジケーターランプを適宜点灯及び消灯させる。操作パネル１９のスイッチが操作されると、操作パネル１９は、操作されたスイッチに対応する操作信号を操作取得部１７に出力する。
操作取得部１７は、リモコン受光部１８または操作パネル１９から入力される操作信号に基づいて、操作の内容を示す操作データを生成して制御部３０に出力する。
撮像部１５は、撮像光学系、ＣＣＤやＣＭＯＳ等の撮像素子、インターフェイス回路等を有し、撮像を実行し、撮像画像データを制御部３０に出力する。撮像部１５の撮像方向は、投射光学系２３の投射方向と概ね同じ向きに設定され、上述のように投射光学系２３の表示領域ＤＡの少なくとも一部を含む撮像範囲ＰＡを撮像する。
通信部１３は、無線ＬＡＮ（ＷｉＦｉを含む）、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ等の規格に準じた無線データ通信を実行する。ここで、通信部１３が通信ネットワーク４に接続する例を示す。プロジェクター１００Ａは、通信部１３によって、通信ネットワーク４を経由する通信を実行し、例えばＨＭＤ２００との間でデータを送受信する。また、プロジェクター１００Ａは、通信部１３によって外部の機器に接続して、外部の機器からコンテンツデータ等を取得してもよい。
制御部３０には、音声入出力部１４が接続される。音声入出力部１４は音声を集音するマイク（図示略）、及び、音声を出力するスピーカー（図示略）を備える。音声入出力部１４は、制御部３０から入力される音声信号に基づきスピーカーを駆動して音声を出力し、マイクで集音した音声の音声信号を制御部３０に出力する。また、音声入出力部１４は、アナログ音声信号とディジタル音声データとを変換するＡ／Ｄコンバーター及びＤ／Ａコンバーター（図示略）を備えてもよい。この場合、音声入出力部１４は、制御部３０から入力されるディジタル音声データに基づき音声を出力し、マイクで集音した音声のディジタル音声データを制御部３０に出力する。
投射制御部３２は、操作取得部１７により検出した操作、及び、制御部３０が実行するプログラムに応じて、画像処理部４０、光源駆動部４５、及び光変調装置駆動部４６を制御して、投射部２０により画像を投射（表示）する。ここで、投射制御部３２は、画像処理部４０を制御して、上述した３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等を実行させてもよい。また、投射制御部３２は、画像処理部４０の処理に合わせて光源駆動部４５を制御し、光源部２１の光量を制御してもよい。
通信制御部３３は、通信部１３を制御して、ＨＭＤ２００との間の通信を制御する。通信制御部３３は、ＨＭＤ２００から作業情報を受信し、受信した作業情報を受信情報処理部３４に出力する。また、通信制御部３３は、指示情報生成部３８が生成する指示情報を、ＨＭＤ２００に送信する。
受信情報処理部３４は、通信制御部３３が受信する作業情報を解析して、作業情報に含まれる画像データを抽出する。受信情報処理部３４は、例えば、記憶部５０が記憶する検出用データ５２を用い、作業情報に含まれる画像データから作業対象物ＯＢの画像を検出する。
操作検出部３５は、援助者ＵＡの操作を検出する。操作検出部３５は、操作取得部１７から入力される操作データに基づき、リモコン受光部１８または操作パネル１９による操作を検出する。また、操作検出部３５は、撮像部１５を利用して、作業台Ｔにおける援助者ＵＡの操作を検出する。この場合、操作検出部３５は、撮像部１５の撮像画像データから、援助者ＵＡが使用する指示体の画像を検出する。援助者ＵＡが使用する指示体（操作体）は、例えば、援助者ＵＡの腕、手、指、指示棒等を含む。操作検出部３５は、撮像画像における指示体の画像の位置に基づき、指示体の指示位置を特定する。操作検出部３５は、撮像部１５の撮像画像における位置と、撮像部１５の撮像範囲ＰＡ（図２）における位置と、表示領域ＤＡにおける位置とを対応付けるデータを有する。このデータは、例えば事前のキャリブレーションにより設定され、設定データ５１に含めて記憶部５０に記憶される。これにより、操作検出部３５は、作業台Ｔの撮像範囲ＰＡにおいて援助者ＵＡが指示体を用いて作業ないし操作を行った場合に、指示体の位置を、撮像範囲ＰＡにおける座標として検出できる。また、操作検出部３５は、指示体の位置を、表示領域ＤＡにおける座標、或いは、投射部２０が表示領域ＤＡに表示する表示画像における相対的な座標に換算することも可能である。
また、操作検出部３５は、指示体の指示位置が、予め設定されたパターンに該当する軌跡を形成する場合に、操作を検出してもよい。この動作は、援助者ＵＡが指示体を動かして、その動きの種類により異なる指示を行う、いわゆるジェスチャー操作である。
また、操作検出部３５は、指示体の指示位置が、予め設定されたパターンに該当する軌跡を形成する場合に、操作を検出してもよい。この動作は、援助者ＵＡが指示体を動かして、その動きの種類により異なる指示を行う、いわゆるジェスチャー操作である。
操作時表示制御部３６は、操作検出部３５が操作を検出する間の、投射部２０による表示を制御する。操作時表示制御部３６は、記憶部５０からメニュー画像データ５３等を読み出し、投射制御部３２を制御して、メニュー画像等を表示させる。これにより、例えば、援助者ＵＡが指示体による操作やリモコン受光部１８、操作パネル１９の操作を行う場合に、指示体の動きの指標や目安となる文字や画像、或いは、位置入力を可能とするメニューバーの画像を、表示領域ＤＡに表示できる。
これにより、プロジェクター１００Ａでは、援助者ＵＡが指示体としての腕、手、指、指示棒等を、作業台Ｔで操作することにより、プロジェクター１００Ａを操作できる。この場合、例えば、操作時表示制御部３６の制御により表示されるメニュー画像を利用して、ＧＵＩ（Graphical User Interface）操作を行ってもよい。
プロジェクター１００Ａにおいて、腕、手、指、指示棒等の指示体による操作が可能な範囲は、撮像部１５が指示体を撮像できる範囲であり、具体的には撮像範囲ＰＡである。プロジェクター１００Ａは、撮像範囲ＰＡの外縁を示す撮像境界線ＢＬを、作業台Ｔに表示できる。このため、援助者ＵＡは、撮像境界線ＢＬによって操作可能な範囲を容易に知ることができる。
プロジェクター１００Ａにおいて、腕、手、指、指示棒等の指示体による操作が可能な範囲は、撮像部１５が指示体を撮像できる範囲であり、具体的には撮像範囲ＰＡである。プロジェクター１００Ａは、撮像範囲ＰＡの外縁を示す撮像境界線ＢＬを、作業台Ｔに表示できる。このため、援助者ＵＡは、撮像境界線ＢＬによって操作可能な範囲を容易に知ることができる。
送信画像取得部３７は、ＨＭＤ２００に送信する指示情報に含める指示体の画像を取得する。送信画像取得部３７は、撮像部１５で指示体を撮像した場合には、撮像部１５の撮像画像から指示体の画像を抽出して取得する。また、援助者ＵＡの操作または事前の設定で、指示体の画像を記憶部５０から取得するよう設定された場合、送信画像取得部３７は送信画像データ５４を取得する。
指示情報生成部３８は、ＨＭＤ２００に送信する指示情報を生成する。指示情報は、プロジェクター１００ＡがＨＭＤ２００に送信するデータである。本実施形態では、コンテンツの画像データ及び／又は音声データ、指示体の画像データ、音声処理部４９が生成する援助者ＵＡの音声のデータ、指示体の位置または動きを示すデータを含む。
指示情報生成部３８は、ＨＭＤ２００に送信する指示情報を生成する。指示情報は、プロジェクター１００ＡがＨＭＤ２００に送信するデータである。本実施形態では、コンテンツの画像データ及び／又は音声データ、指示体の画像データ、音声処理部４９が生成する援助者ＵＡの音声のデータ、指示体の位置または動きを示すデータを含む。
音声処理部４９は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、音声入出力部１４に出力する。また、音声処理部４９は、音声入出力部１４が備えるマイク（図示略）により集音される音声を取得してディジタル音声データに変換する。音声処理部４９は、ディジタル音声データに対して予め設定された処理を行ってもよい。
図４は、ＨＭＤ２００の外観構成を示す図である。本実施形態では、被援助者ＵＢ及び被援助者ＵＣは同一の構成を有するＨＭＤ２００を使用するものとして説明する。
画像表示部２２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２２０は、右保持部２２１と、右表示駆動部２２２と、左保持部２２３と、左表示駆動部２２４と、右光学像表示部２２６と、左光学像表示部２２８と、カメラ２６１と、マイク２６３とを備える。右光学像表示部２２６及び左光学像表示部２２８は、それぞれ、使用者が画像表示部２２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２２６の一端と左光学像表示部２２８の一端とは、使用者が画像表示部２２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部２２１は、右光学像表示部２２６の他端である端部ＥＲから、使用者が画像表示部２２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２２３は、左光学像表示部２２８の他端である端部ＥＬから、使用者が画像表示部２２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２２１及び左保持部２２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２２０を保持する。
右表示駆動部２２２と左表示駆動部２２４とは、使用者が画像表示部２２０を装着した際の使用者（被援助者ＵＢ、ＵＣ）の頭部に対向する側に配置されている。なお、右表示駆動部２２２及び左表示駆動部２２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２２６及び左光学像表示部２２８を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部２２２，２２４は、液晶ディスプレイ２８４，２９４（Liquid Crystal Display、以下「ＬＣＤ２８４，２９４」とも呼ぶ）や投写光学系２８５，２９５等を含む（図５参照）。表示駆動部２２２，２２４の構成の詳細は後述する。光学部材としての光学像表示部２２６，２２８は、導光板２８６，２９６（図５参照）と調光板２２７とを備える。導光板２８６，２９６は、光透過性の樹脂等によって形成され、表示駆動部２２２，２２４から出力された画像光を使用者の眼に導く。調光板２２７は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２２０の表側を覆うように配置されている。調光板２２７は、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２２７の光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２２６及び左光学像表示部２２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、ＨＭＤ２００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２２７を用いる場合について説明する。調光板２２７は、右導光板２８６及び左導光板２９６を保護し、右導光板２８６及び左導光板２９６の損傷や汚れの付着等を抑制する。
調光板２２７は、右光学像表示部２２６及び左光学像表示部２２８に対し着脱可能としてもよく、複数種類の調光板２２７を交換して装着可能としてもよいし、省略してもよい。
調光板２２７は、右光学像表示部２２６及び左光学像表示部２２８に対し着脱可能としてもよく、複数種類の調光板２２７を交換して装着可能としてもよいし、省略してもよい。
カメラ２６１は、右光学像表示部２２６と左光学像表示部２２８との境目部分に配置される。使用者が画像表示部２２０を装着した状態で、カメラ２６１の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。カメラ２６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ２６１は、画像表示部２２０の表側方向、換言すれば、ＨＭＤ２００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ２６１の画角の広さは適宜設定可能であるが、カメラ２６１の撮像範囲が、使用者が右光学像表示部２２６、左光学像表示部２２８を通して視認する外界を含む範囲であることが好ましい。さらに、調光板２２７を通した使用者の視界の全体を撮像できるようにカメラ２６１の撮像範囲が設定されているとより好ましい。カメラ２６１は、制御部３００の制御に従って撮像を実行し、撮像画像データを制御部３００に出力する。
カメラ２６１は、画像表示部２２０の表側方向、換言すれば、ＨＭＤ２００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ２６１の画角の広さは適宜設定可能であるが、カメラ２６１の撮像範囲が、使用者が右光学像表示部２２６、左光学像表示部２２８を通して視認する外界を含む範囲であることが好ましい。さらに、調光板２２７を通した使用者の視界の全体を撮像できるようにカメラ２６１の撮像範囲が設定されているとより好ましい。カメラ２６１は、制御部３００の制御に従って撮像を実行し、撮像画像データを制御部３００に出力する。
図５は、画像表示部２２０が備える光学系の構成を示す要部平面図である。図５には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２２４は、左バックライト２９３、左ＬＣＤ２９４、及び、左投写光学系２９５を備える。左バックライト２９３は、ＬＥＤ等の光源と拡散板とを有する。左ＬＣＤ２９４は、複数の画素をマトリクス状に配置した透過型液晶パネルであり、左バックライト２９３の拡散板から発せられる光の光路上に配置される。左投写光学系２９５は、左ＬＣＤ２９４を透過した画像光Ｌを導くレンズ群等を備える。
左表示駆動部２２４は、左バックライト２９３、左ＬＣＤ２９４、及び、左投写光学系２９５を備える。左バックライト２９３は、ＬＥＤ等の光源と拡散板とを有する。左ＬＣＤ２９４は、複数の画素をマトリクス状に配置した透過型液晶パネルであり、左バックライト２９３の拡散板から発せられる光の光路上に配置される。左投写光学系２９５は、左ＬＣＤ２９４を透過した画像光Ｌを導くレンズ群等を備える。
左投写光学系２９５は、左ＬＣＤ２９４から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２９６に入射される。左導光板２９６は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２９６の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２９６には、左眼ＬＥの眼前に位置するハーフミラー２９６Ａ（反射面）が形成される。
ハーフミラー２９６Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。
ハーフミラー２９６Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。
右表示駆動部２２２は、左表示駆動部２２４と左右対称に構成される。右表示駆動部２２２は、右バックライト２８３、右ＬＣＤ２８４、及び、右投写光学系２８５を備える。右バックライト２８３は、ＬＥＤ等の光源と拡散板とを有する。右ＬＣＤ２８４は、複数の画素をマトリクス状に配置した透過型液晶パネルであり、右バックライト２８３の拡散板から発せられる光の光路上に配置される。右投写光学系２８５は、右ＬＣＤ２８４を透過した画像光Ｌを導くレンズ群等を備えた右投写光学系２８５を備える。
右投写光学系２８５は、右ＬＣＤ２８４から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２８６に入射される。右導光板２８６は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２８６の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２８６には、右眼ＲＥの眼前に位置するハーフミラー２８６Ａ（反射面）が形成される。
ハーフミラー２８６Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。
ハーフミラー２８６Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。
使用者の右眼ＲＥには、ハーフミラー２８６Ａで反射した画像光Ｌと、調光板２２７を透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２９６Ａで反射した画像光Ｌと、調光板２２７を透過した外光ＯＬとが入射する。このように、ＨＭＤ２００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２２７を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、ＨＭＤ２００は、シースルー型の表示装置として機能する。
なお、左投写光学系２９５と左導光板２９６とを総称して「左導光部」とも呼び、右投写光学系２８５と右導光板２８６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
画像表示部２２０は、制御装置２１０に接続部２４０を介して接続する。接続部２４０は、制御装置２１０に接続される本体コード２４８、右コード２４２、左コード２４４、及び、連結部材２４６を備える。右コード２４２及び左コード２４４は、本体コード２４８が２本に分岐したコードである。右コード２４２は、右保持部２２１の延伸方向の先端部ＡＰから右保持部２２１の筐体内に挿入され、右表示駆動部２２２に接続される。同様に、左コード２４４は、左保持部２２３の延伸方向の先端部ＡＰから左保持部２２３の筐体内に挿入され、左表示駆動部２２４に接続される。
連結部材２４６は、本体コード２４８と、右コード２４２及び左コード２４４との分岐点に設けられ、イヤホンプラグ２３０を接続するためのジャックを有する。イヤホンプラグ２３０からは、右イヤホン２３２及び左イヤホン２３４が延伸する。イヤホンプラグ２３０の近傍にはマイク２６３が設けられる。イヤホンプラグ２３０からマイク２６３までは一本のコードにまとめられ、マイク２６３からコードが分岐して、右イヤホン２３２と左イヤホン２３４のそれぞれに繋がる。
マイク２６３は、例えば図４に示すように、マイク２６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部３２９（図６）に出力する。マイク２６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
右コード２４２、左コード２４４、及び、本体コード２４８は、デジタルデータを伝送可能であればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード２４２と左コード２４４とを一本のコードにまとめた構成としてもよい。
画像表示部２２０と制御装置２１０とは、接続部２４０を介して各種信号を伝送する。本体コード２４８の連結部材２４６とは反対側の端部、及び、制御装置２１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード２４８のコネクターと制御装置２１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置２１０と画像表示部２２０とを接離できる。
制御装置２１０は、ＨＭＤ２００を制御する。制御装置２１０は、決定キー２１１、点灯部２１２、表示切替キー２１３、輝度切替キー２１５、方向キー２１６、メニューキー２１７、及び電源スイッチ２１８を含むスイッチ類を備える。また、制御装置２１０は、使用者が手指で操作するトラックパッド２１４を備える。
決定キー２１１は、押下操作を検出して、制御装置２１０で操作された内容を決定する信号を出力する。点灯部２１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、ＨＭＤ２００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー２１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。
トラックパッド２１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー２１５は、押下操作に応じて画像表示部２２０の輝度の増減を指示する信号を出力する。方向キー２１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ２１８は、ＨＭＤ２００の電源オン／オフを切り替えるスイッチである。
図６は、ＨＭＤ２００の機能ブロック図である。
図６に示すように、ＨＭＤ２００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス２７４を備える。インターフェイス２７４は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、ＨＭＤ２００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。
図６に示すように、ＨＭＤ２００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス２７４を備える。インターフェイス２７４は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、ＨＭＤ２００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。
制御装置２１０は、制御部３００、入力情報取得部２７０、記憶部１２０、送信部（Ｔｘ）２５１及び送信部（Ｔｘ）２５２を有する。
入力情報取得部２７０は、上記のトラックパッド２１４、方向キー２１６、電源スイッチ２１８等を含む操作部２７９に接続される。入力情報取得部２７０は、操作部２７９から入力される信号に基づき、操作部２７９における操作内容を検出し、操作内容を示す操作データを制御部３００に出力する。また、制御装置２１０は、電源部２７８を備え、制御装置２１０及び画像表示部２２０の各部に電源を供給する。
入力情報取得部２７０は、上記のトラックパッド２１４、方向キー２１６、電源スイッチ２１８等を含む操作部２７９に接続される。入力情報取得部２７０は、操作部２７９から入力される信号に基づき、操作部２７９における操作内容を検出し、操作内容を示す操作データを制御部３００に出力する。また、制御装置２１０は、電源部２７８を備え、制御装置２１０及び画像表示部２２０の各部に電源を供給する。
記憶部３４０は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部３４０は、画像表示部２２０に表示する静止画像や動画像のデータを記憶しても良い。
記憶部３４０は、設定データ３４１を記憶する。設定データ３４１は、制御部３００が使用する各種の設定値を含む。設定データ３４１が含む設定値は、予め操作部２７９の操作で入力された値であってもよいし、通信部２７７またはインターフェイス２７４を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。
記憶部３４０は、設定データ３４１を記憶する。設定データ３４１は、制御部３００が使用する各種の設定値を含む。設定データ３４１が含む設定値は、予め操作部２７９の操作で入力された値であってもよいし、通信部２７７またはインターフェイス２７４を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。
また、記憶部３４０は、不揮発性の記憶装置であって、制御部３００が実行する種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部３４０は、設定データ３４１、検出用データ３４３、および、メニュー画像データ３４５を記憶する。
記憶部３４０は、設定データ３４１を記憶する。設定データ３４１は、制御部３００が使用する各種の設定値を含む。設定データ３４１が含む設定値は、予め操作部２７９の操作で入力された値であってもよいし、通信部２７７またはインターフェイス２７４を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。
記憶部３４０は、設定データ３４１を記憶する。設定データ３４１は、制御部３００が使用する各種の設定値を含む。設定データ３４１が含む設定値は、予め操作部２７９の操作で入力された値であってもよいし、通信部２７７またはインターフェイス２７４を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。
検出用データ３４３は、画像データから作業対象物の画像を検出するために利用されるデータである。作業対象物とは、ＨＭＤ２００を装着した被援助者が行う作業の対象であり、作業時に被援助者の視界に位置すると考えることができる。検出用データ３４３は、例えば、画像データから作業対象物の画像を抽出する処理に用いるデータを含み、より具体的には、作業対象物の画像の特徴量のデータを含む。特徴量は、色の特徴量であっても形状の特徴量であってもよく、処理対象の画像データの色数や解像度に対応して、複数の特徴量を含んでもよい。表示システム１では、ＨＭＤ２００を装着する被援助者が対象とする作業対象物が事前に判明している場合に、この作業対象物に関する検出用データ３４３が、記憶部３４０に記憶される。
メニュー画像データ３４５は、画像処理部３０３及び表示制御部３０５の制御により、画像表示部２２０にメニュー画像を表示するための画像のデータである。メニュー画像は、例えば、操作用のアイコンが列をなして配置されたメニューバー、或いは、アイコンが円形の枠内に配置されたダイヤル型のメニュー等である。
メニュー画像データ３４５は、画像処理部３０３及び表示制御部３０５の制御により、画像表示部２２０にメニュー画像を表示するための画像のデータである。メニュー画像は、例えば、操作用のアイコンが列をなして配置されたメニューバー、或いは、アイコンが円形の枠内に配置されたダイヤル型のメニュー等である。
制御部３００には、３軸センサー２７３、ＧＰＳ２７５、及び通信部２７７が接続される。３軸センサー２７３は３軸の加速度センサーであり、制御部３００は３軸センサー２７３の検出値を取得する。３軸センサー２７３により、制御部３００は、制御装置２１０の動きを検出することができ、例えば制御装置２１０を振る等の操作を検出できる。また、３軸センサー２７３は９軸センサーに置き換えてもよい。この場合、制御部３００は、３軸の加速度センサー、３軸の角速度センサー、及び３軸の地磁気センサーの検出値を取得し、例えば、制御装置２１０の姿勢、向き、動きを検出できる。
ＧＰＳ２７５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置２１０の現在位置を算出する。ＧＰＳ２７５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部３００に出力する。また、ＧＰＳ２７５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部３００が計時する時刻を修正させる機能を備えていてもよい。
ＧＰＳ２７５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置２１０の現在位置を算出する。ＧＰＳ２７５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部３００に出力する。また、ＧＰＳ２７５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部３００が計時する時刻を修正させる機能を備えていてもよい。
通信部２７７は、無線ＬＡＮ（ＷｉＦｉを含む）、Ｍｉｒａｃａｓｔ、Ｂｌｕｅｔｏｏｔｈ等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部２７７に無線接続された場合、制御部３００は、コンテンツデータを通信部２７７より取得して、画像表示部２２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス２７４に有線接続された場合、制御部３００は、コンテンツデータをインターフェイス２７４より取得して、画像表示部２２０に画像を表示させる。通信部２７７及びインターフェイス２７４は、外部機器ＯＡからコンテンツデータを取得するデータ取得部ＤＡとして機能する。
外部機器ＯＡが、通信部２７７に無線接続された場合、制御部３００は、コンテンツデータを通信部２７７より取得して、画像表示部２２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス２７４に有線接続された場合、制御部３００は、コンテンツデータをインターフェイス２７４より取得して、画像表示部２２０に画像を表示させる。通信部２７７及びインターフェイス２７４は、外部機器ＯＡからコンテンツデータを取得するデータ取得部ＤＡとして機能する。
制御部３００は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部３００は、記憶部３４０が記憶するコンピュータープログラムを読み出して実行し、オペレーティングシステム（ＯＳ）３０１、画像処理部３０３、表示制御部３０５、及び、表示制御部３０５として機能する。また、制御部３００は、通信制御部３１１、撮像制御部３１３、作業情報生成部３１５、受信情報解析部３１７、指示検出部３１９、表示位置算出部３２１、操作検出部３２３、表示情報生成部３２５、及び、音声処理部３２９として機能する。
画像処理部３０３は、コンテンツに含まれる画像信号を取得する。画像処理部３０３は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部３０３は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部３０３は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。画像処理部３０３は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに、制御部３００のＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部３０３は、必要に応じて、画像データの解像度を右表示駆動部２２２及び左表示駆動部２２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部３０３は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。
なお、画像処理部３０３は、必要に応じて、画像データの解像度を右表示駆動部２２２及び左表示駆動部２２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部３０３は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。
画像処理部３０３は、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、ＲＡＭに格納された画像データＤａｔａのそれぞれを、送信部２５１、２５２を介して送信する。送信部２５１、２５２は、トランシーバーとして機能し、制御装置１０と画像表示部２２０との間におけるシリアル伝送を実行する。なお、送信部２５１を介して送信される画像データＤａｔａを「右眼用画像データ」と呼び、送信部２５２を介して送信される画像データＤａｔａを「左眼用画像データ」と呼ぶ。
表示制御部３０５は、右表示駆動部２２２及び左表示駆動部２２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２２及び左表示駆動部２２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２８２による右ＬＣＤ２８４の駆動ＯＮ／ＯＦＦ、右バックライト制御部２８１による右バックライト２８３の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部３０５は、左ＬＣＤ制御部２９２による左ＬＣＤ２９４の駆動ＯＮ／ＯＦＦ、左バックライト制御部２９１による左バックライト２９３の駆動ＯＮ／ＯＦＦを制御する。
通信制御部３１１は、通信部２７７を制御して、プロジェクター１００Ａとの間の通信を制御する。通信制御部３１１は、作業情報生成部３１５が生成する送信情報を含むデータを、プロジェクター１００Ａに送信する処理を行う。また、通信制御部３１１は、プロジェクター１００Ａが送信するデータを受信し、受信したデータを受信情報解析部３１７に出力する。
撮像制御部３１３は、カメラ２６１を制御して撮像を実行させ、撮像画像データを取得する。
作業情報生成部３１５は、プロジェクター１００Ａに送信するデータを取得し、取得したデータに基づき作業情報を生成する。作業情報生成部３１５は、カメラ２６１の撮像画像データを取得する。また、作業情報生成部３１５は、距離センサー２６４、９軸センサー２６６、及び視線センサー２６８の少なくとも一部のセンサーの検出値を取得してもよく、この場合、カメラ２６１の撮像画像データ、及び、センサーの検出値を含む作業情報を生成する。作業情報生成部３１５が検出値を取得するセンサーは予め設定されるが、プロジェクター１００ＡがＨＭＤ２００に設定用のコマンドを送信して、取得する検出値を指定してもよい。また、作業情報生成部３１５は、カメラ２６１の撮像画像データそのものに限らず、撮像画像データから生成した画像データを含む作業情報を生成してもよい。
受信情報解析部３１７は、通信制御部３１１が受信したデータを解析する。本実施形態では、受信情報解析部３１７は、通信制御部３１１が受信した指示情報に含まれる指示体の画像データ、コンテンツの画像データ、音声データ、及び、その他の等を抽出する。また、受信情報解析部３１７は、通信制御部３１１が受信した指示情報から、指示体の位置や動きを示すデータを抽出する。
作業情報生成部３１５は、プロジェクター１００Ａに送信するデータを取得し、取得したデータに基づき作業情報を生成する。作業情報生成部３１５は、カメラ２６１の撮像画像データを取得する。また、作業情報生成部３１５は、距離センサー２６４、９軸センサー２６６、及び視線センサー２６８の少なくとも一部のセンサーの検出値を取得してもよく、この場合、カメラ２６１の撮像画像データ、及び、センサーの検出値を含む作業情報を生成する。作業情報生成部３１５が検出値を取得するセンサーは予め設定されるが、プロジェクター１００ＡがＨＭＤ２００に設定用のコマンドを送信して、取得する検出値を指定してもよい。また、作業情報生成部３１５は、カメラ２６１の撮像画像データそのものに限らず、撮像画像データから生成した画像データを含む作業情報を生成してもよい。
受信情報解析部３１７は、通信制御部３１１が受信したデータを解析する。本実施形態では、受信情報解析部３１７は、通信制御部３１１が受信した指示情報に含まれる指示体の画像データ、コンテンツの画像データ、音声データ、及び、その他の等を抽出する。また、受信情報解析部３１７は、通信制御部３１１が受信した指示情報から、指示体の位置や動きを示すデータを抽出する。
指示検出部３１９は、受信情報解析部３１７が抽出したデータから、指示体による操作を行うことを示すデータを検出する。援助者ＵＡはプロジェクター１００Ａを操作して、指示体による位置指示操作を行い、この位置指示操作によってＨＭＤ２００を制御することが可能である。この場合、プロジェクター１００Ａが送信する指示情報に含まれる位置指示操作に関するデータを、ＨＭＤ２００が、ＧＵＩの操作として検出する。プロジェクター１００Ａが送信する指示情報には、援助者ＵＡの操作をＧＵＩの操作として検出するか否かを指定するデータが含まれ、このデータを指示検出部３１９が検出する。
表示位置算出部３２１は、受信情報解析部３１７が抽出した画像データに基づき画像を表示する位置を算出する。受信情報解析部３１７が抽出する画像データは、指示体の画像データ、コンテンツの画像データ、及びその他の画像データである。これらのデータに基づき、表示位置算出部３２１は、指示体の画像の表示位置、コンテンツの画像データの表示位置、及び、その他の画像の表示位置を算出する。また、表示位置算出部３２１は、各画像の表示サイズを算出してもよい。また、指示検出部３１９が、援助者の操作をＧＵＩの操作とすることを指示するデータを検出した場合、表示位置算出部３２１は、ＧＵＩ操作を行うためのメニュー画像の表示位置を算出する。
表示位置算出部３２１は、受信情報解析部３１７が抽出した画像データに基づき画像を表示する位置を算出する。受信情報解析部３１７が抽出する画像データは、指示体の画像データ、コンテンツの画像データ、及びその他の画像データである。これらのデータに基づき、表示位置算出部３２１は、指示体の画像の表示位置、コンテンツの画像データの表示位置、及び、その他の画像の表示位置を算出する。また、表示位置算出部３２１は、各画像の表示サイズを算出してもよい。また、指示検出部３１９が、援助者の操作をＧＵＩの操作とすることを指示するデータを検出した場合、表示位置算出部３２１は、ＧＵＩ操作を行うためのメニュー画像の表示位置を算出する。
操作検出部３２３は、受信情報解析部３１７が抽出した指示体の位置や動きを示すデータをＧＵＩの操作として検出する場合に、操作を検出する。操作検出部３２３は、表示位置算出部３２１が算出したメニュー画像のアイコン等の表示位置と、指示体の画像の表示位置とに基づき、ＧＵＩの操作を検出する。
表示情報生成部３２５は、画像表示部２２０により表示する画面の表示情報を生成する。表示情報生成部３２５は、受信情報解析部３１７が抽出した画像データに基づく画像を、表示位置算出部３２１が算出した表示位置に配置して、一画面分の表示情報を生成する。表示情報生成部３２５が生成する表示情報は、表示制御部３０５の動作により、画像表示部２２０に送信され、画像表示部２２０が表示する。
音声処理部３２９は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン２３２および左イヤホン２３４に出力する。また、音声処理部３２９は、マイク２６３により集音される音声を取得してディジタル音声データに変換する。音声処理部３２９は、ディジタル音声データに対して予め設定された処理を行ってもよい。
画像表示部２２０は、上述したようにカメラ２６１及び距離センサー２６４を備える。画像表示部２２０は、インターフェイス２２５、右表示駆動部２２２、左表示駆動部２２４、右光学像表示部２２６としての右導光板２８６、左光学像表示部２２８としての左導光板２９６、９軸センサー２６６、及び、視線センサー２６８を備える。
９軸センサー２６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。制御部３００は、画像表示部２２０が使用者の頭部に装着されているとき、９軸センサー２６６の検出値に基づいて使用者の頭部の動きを検出できる。例えば、制御部３００は、９軸センサー２６６の検出値に基づき、画像表示部２２０の傾きの大きさと傾きの向きを推定できる。
インターフェイス２２５は、右コード２４２と左コード２４４とが接続されるコネクターを備える。インターフェイス２２５は、送信部２５１から送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）２５３、２５４に出力する。また、インターフェイス２２５は、表示制御部３０５から送信される制御信号を、対応する受信部２５３、２５４、右バックライト制御部２８１又は左バックライト制御部２９１に出力する。
また、インターフェイス２２５は、カメラ２６１、距離センサー２６４、９軸センサー２６６及び視線センサー２６８を接続するインターフェイスである。カメラ２６１の撮像データ、距離センサー２６４の検出結果、９軸センサー２６６による加速度（３軸）、角速度（３軸）、地磁気（３軸）の検出結果、及び、視線センサー２６８の検出結果は、インターフェイス２２５を介して制御部３００に送られる。
また、インターフェイス２２５は、カメラ２６１、距離センサー２６４、９軸センサー２６６及び視線センサー２６８を接続するインターフェイスである。カメラ２６１の撮像データ、距離センサー２６４の検出結果、９軸センサー２６６による加速度（３軸）、角速度（３軸）、地磁気（３軸）の検出結果、及び、視線センサー２６８の検出結果は、インターフェイス２２５を介して制御部３００に送られる。
右表示駆動部２２２は、上述した右バックライト２８３、右ＬＣＤ２８４、及び右投写光学系２８５を備える。また、右表示駆動部２２２は、受信部２５３、右バックライト（ＢＬ）２２１を制御する右バックライト（ＢＬ）制御部２０１、及び、右ＬＣＤ２８４を駆動する右ＬＣＤ制御部２８２を備える。
受信部２５３は、送信部２５１に対応するレシーバーとして動作し、制御装置２１０と画像表示部２２０との間におけるシリアル伝送を実行する。右バックライト制御部２８１は、入力された制御信号に基づいて、右バックライト２８３を駆動する。右ＬＣＤ制御部２８２は、受信部２５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、右ＬＣＤ２８４を駆動する。
左表示駆動部２２４は、右表示駆動部２２２と同様の構成を有する。左表示駆動部２２４は、上述した左バックライト２９３、左ＬＣＤ２９４、及び左投写光学系２９５を備える。また、左表示駆動部２２４は、受信部２５４、左バックライト２９３を駆動する左バックライト制御部２９１、及び、左ＬＣＤ２９４を駆動する左ＬＣＤ制御部２９２を備える。
受信部２５４は、送信部２５２に対応するレシーバーとして動作し、制御装置２１０と画像表示部２２０との間におけるシリアル伝送を実行する。左バックライト制御部２９１は、入力された制御信号に基づいて、左バックライト２９３を駆動する。左ＬＣＤ制御部２９２は、受信部２５４を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、左ＬＣＤ２９４を駆動する。
なお、右バックライト制御部２８１と、右ＬＣＤ制御部２８２と、右バックライト２８３と、右ＬＣＤ２８４とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２９１と、左ＬＣＤ制御部２９２と、左バックライト２９３と、左ＬＣＤ２９４とを総称して、左の「画像光生成部」とも呼ぶ。
なお、右バックライト制御部２８１と、右ＬＣＤ制御部２８２と、右バックライト２８３と、右ＬＣＤ２８４とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２９１と、左ＬＣＤ制御部２９２と、左バックライト２９３と、左ＬＣＤ２９４とを総称して、左の「画像光生成部」とも呼ぶ。
このように構成される表示システム１において、ＨＭＤ２００は表示装置、及び第１表示装置に相当し、プロジェクター１００Ａは第２表示装置に相当する。ＨＭＤ２００が備える画像表示部２２０は第１表示部に相当し、通信部２７７は第１通信部に相当し、制御部３００は制御部及び第１制御部に相当し、カメラ２６１は撮像部に相当する。
また、プロジェクター１００Ａの操作検出部３５は操作検出部に相当し、通信部１３は第２通信部に相当し、撮像部１５は第２撮像部に相当し、制御部３０は第２制御部に相当し、投射部２０は第２表示部に相当する。また、記憶部５０は第２記憶部ということができる。表示領域ＤＡは第２表示領域に相当し、撮像範囲ＰＡは検出領域に相当する。
また、プロジェクター１００Ａの操作検出部３５は操作検出部に相当し、通信部１３は第２通信部に相当し、撮像部１５は第２撮像部に相当し、制御部３０は第２制御部に相当し、投射部２０は第２表示部に相当する。また、記憶部５０は第２記憶部ということができる。表示領域ＤＡは第２表示領域に相当し、撮像範囲ＰＡは検出領域に相当する。
図７は、表示システム１の動作を示すフローチャートであり、（Ａ）はプロジェクター１００Ａの動作を示し、（Ｂ）はＨＭＤ２００の動作を示す。図７には、１台のプロジェクター１００Ａと、１台のＨＭＤ２００とが動作する例を示す。
ＨＭＤ２００では、撮像制御部３１３がカメラ２６１を制御して撮像を実行して撮像画像データを取得する（ステップＳ２１）。
作業情報生成部３１５は、ステップＳ２１の撮像画像データを含む作業情報を生成し、このデータを通信制御部３１１がプロジェクター１００Ａに送信する（ステップＳ２２）。ステップＳ２２で、作業情報生成部３１５は、入力情報取得部２７０により検出した操作に関するデータを作業情報に含めてもよい。
作業情報生成部３１５は、ステップＳ２１の撮像画像データを含む作業情報を生成し、このデータを通信制御部３１１がプロジェクター１００Ａに送信する（ステップＳ２２）。ステップＳ２２で、作業情報生成部３１５は、入力情報取得部２７０により検出した操作に関するデータを作業情報に含めてもよい。
プロジェクター１００Ａでは、ＨＭＤ２００から送信された作業情報を、通信制御部３３が受信し、受信した作業情報を受信情報処理部３４が解析する（ステップＳ１１）。受信情報処理部３４は、受信した作業情報から撮像画像のデータを抽出して、投射制御部３２により、撮像画像を表示させる（ステップＳ１２）。また、通信制御部３３が受信した作業情報に操作に関するデータが含まれる場合、受信情報処理部３４は、操作に関する情報を撮像画像に重ねて表示するデータを生成し、投射制御部３２に表示させてもよい。
プロジェクター１００Ａでは、援助者ＵＡの操作によりコンテンツが選択され（ステップＳ１３）、援助者ＵＡが被援助者ＵＢに指示等をするための操作が行われる（ステップＳ１４）。ステップＳ１３では、例えば、テキストと画像を含む支援用のコンテンツが選択される。ステップＳ１４では、例えば、通信制御部３３が受信して表示中の画像について、被援助者ＵＢに注目させる位置を指し示す操作が行われる。ステップＳ１４の操作は、リモコン受光部１８または操作パネル１９の操作、或いは、援助者ＵＡがプロジェクター１００Ａの前方で指示体を動かす操作である。この操作は操作検出部３５により検出され（ステップＳ１５）、操作検出部３５は検出した操作のデータを生成する。
操作検出部３５は、検出した操作の操作位置や操作の軌跡を、表示中のＨＭＤ２００の撮像画像に対応付けるデータを生成する（ステップＳ１６）。これにより、被援助サイトＢの表示領域ＤＡにおいて特定の位置を示すデータが得られる。送信画像取得部３７は、ステップＳ１４の操作中に撮像部１５が撮像した撮像画像から指示体の画像を切り出し、或いは、記憶部５０から送信画像データ５４を読み出して、送信画像を取得する（ステップＳ１７）。
指示情報生成部３８は、送信画像取得部３７が取得した指示体の画像の画像データと、操作位置や操作の軌跡を示すデータと、操作位置や操作の軌跡をＨＭＤ２００の撮像画像と対応付けるデータとを含む指示情報を生成して送信する（ステップＳ１８）。
ここで、指示情報生成部３８は、援助者ＵＡの視点または視線方向を示す画像のデータ、または当該画像を表示するために必要な座標や方向のデータを含む指示情報を生成する。このデータの具体例は、例えば、援助者ＵＡが使用する指示体の画像のデータや、指示体の向き及び位置を示すデータが挙げられる。この場合の指示体は向きが明らかに判別できる程度の大きさ、形状を有することが好ましい。
ここで、指示情報生成部３８は、援助者ＵＡの視点または視線方向を示す画像のデータ、または当該画像を表示するために必要な座標や方向のデータを含む指示情報を生成する。このデータの具体例は、例えば、援助者ＵＡが使用する指示体の画像のデータや、指示体の向き及び位置を示すデータが挙げられる。この場合の指示体は向きが明らかに判別できる程度の大きさ、形状を有することが好ましい。
制御部３０は、動作の終了条件が成立したか否かを判定し（ステップＳ１９）、終了条件が成立していない場合は（ステップＳ１９；ＮＯ）、ステップＳ１１に戻る。また、終了条件が成立した場合は（ステップＳ１９；ＹＥＳ）、本処理を終了する。終了条件は、例えばリモコン受光部１８または操作パネル１９の操作により、動作終了やプロジェクター１００Ａのシャットダウンが指示されること等が挙げられる。
ＨＭＤ２００は、プロジェクター１００Ａが送信する指示情報を通信制御部３１１で受信し（ステップＳ２３）、受信した指示情報を受信情報解析部３１７が解析して画像データを抽出する（ステップＳ２４）。次いで、表示位置算出部３２１が各画像データに基づいて画像を表示する位置を算出する（ステップＳ２５）。さらに、表示情報生成部３２５が、算出した表示位置に画像を配置した表示情報を生成して、画像処理部３０３及び表示制御部３０５により表示させる（ステップＳ２６）。
制御部３００は、動作の終了条件が成立したか否かを判定し（ステップＳ２７）、終了条件が成立していない場合は（ステップＳ２７；ＮＯ）、ステップＳ２２に戻る。また、終了条件が成立した場合は（ステップＳ２７；ＹＥＳ）、本処理を終了する。終了条件は、例えば操作部２７９の操作により、動作終了やＨＭＤ２００のシャットダウンが指示されること等が挙げられる。
制御部３００は、動作の終了条件が成立したか否かを判定し（ステップＳ２７）、終了条件が成立していない場合は（ステップＳ２７；ＮＯ）、ステップＳ２２に戻る。また、終了条件が成立した場合は（ステップＳ２７；ＹＥＳ）、本処理を終了する。終了条件は、例えば操作部２７９の操作により、動作終了やＨＭＤ２００のシャットダウンが指示されること等が挙げられる。
図８は、表示システム１における表示例を示す図であり、（Ａ）はプロジェクター１００Ａの表示例を示し、（Ｂ）はＨＭＤ２００の表示例を示す。また、（Ｃ）はプロジェクター１００Ａの別の表示例を示す。なお、図８（Ｂ）は被援助者ＵＢの右眼の視野の例を示しており、左眼の視野は各図と同一または左右対称であるため図示を省略する。また、図８（Ｂ）の表示例は被援助者ＵＣが装着するＨＭＤ２００においても同様である。
ここで、指示情報生成部３８が生成する指示情報（案内情報）において、操作と作業情報とを関連付ける情報、或いは、作業情報に含まれる撮像画像に対応付ける情報の具体的な態様は、特に制限されない。上記の例では、操作位置や操作の軌跡をＨＭＤ２００の撮像画像と対応付けるデータとして説明したが、単に操作位置や操作の軌跡そのものを上記情報としてもよい。また、ファイル名による対応付け、データのタイプ、ＩＤ、属性、位置等により、操作位置や操作の軌跡をＨＭＤ２００の撮像画像と対応付けるデータであってもよく、結果として対応を認識できる情報であればよい。
図８（Ａ）に示すように、プロジェクター１００Ａは、作業台Ｔの表示領域ＤＡに画像を表示する。図８（Ａ）の例では表示領域ＤＡに、援助者用画面４０２が表示される。援助者用画面４０２は、ＯＳ３１の機能やＯＳ３１上で動作するアプリケーションプログラムの機能により表示される画面であり、図８（Ａ）の例ではファイル及びフォルダーの操作に係る画面である。
プロジェクター１００Ａは、ＨＭＤ２００から作業情報を受信した場合に、図８（Ａ）に示すようにＨＭＤ２００の撮像画像を表示する（図７のステップＳ１２）。表示領域ＤＡには撮像画像を含む援助者用画面４０２が表示される。援助者用画面４０２は、ステップＳ２１でＨＭＤ２００により撮像された撮像画像４０３を含み、撮像画像４０３には作業対象物ＯＢの画像４０４が含まれる。つまり、図８（Ａ）の表示により、援助者ＵＡは、被援助サイトＢで被援助者ＵＢの視界（視野）に作業対象物ＯＢがあることを知ることができる。
撮像画像４０３は、ＯＳ３１の機能やＯＳ３１上で動作するアプリケーションプログラムの機能により表示される画面に重ねて表示される。投射制御部３２は、ＨＭＤ２００から作業情報を受信した場合、ＨＭＤ２００から作業情報を受信する前に表示していた画面に重ねて、撮像画像４０３を表示できる。
また、表示領域ＤＡには、撮像境界線ＢＬが表示される。撮像境界線ＢＬの内側が、プロジェクター１００Ａが撮像する撮像範囲ＰＡであるから、援助者ＵＡは撮像範囲ＰＡに指示体が位置するように操作を行う。
図８（Ａ）の例で、指示体２は援助者ＵＡの手である。援助者ＵＡは、表示領域ＤＡに表示される作業対象物ＯＢの画像４０４に対し、例えば、指示体２で指し示す操作を行う。プロジェクター１００Ａは、操作検出部３５により指示体２が指示する指示位置４０５を検出し、指示位置４０５と、表示領域ＤＡに表示中の撮像画像との相対位置を算出する。プロジェクター１００Ａは、指示情報生成部３８により、指示体２の指示位置４０５に関するデータと、指示体２の向きに関するデータとを含む指示情報を生成する。
上述のように、指示情報生成部３８が生成する指示情報は、援助者ＵＡの視点または視線方向を示す画像のデータ、または当該画像を表示するために必要な座標や方向のデータを含む。図８（Ａ）の操作が行われた場合、指示情報生成部３８は、指示体２が指示する位置と指示体２の向きとが明らかになる指示情報を生成する。
図８（Ｂ）に示す被援助者の視野ＶＲＢ１では、ハーフミラー２８６Ａ（図５）に相当する領域が表示領域４５１となり、表示領域４５１に、右ＬＣＤ２８４（図５）に描画される画像が表示される。ハーフミラー２８６Ａは外景を透過するので、被援助者の視野にある作業対象物ＯＢが表示領域４５１越しに視認される。そして、表示領域４５１には、指示画像４２１が表示される。指示画像４２１は、援助者が指示体２で指し示した指示位置４０５を示すマーク、及び、指示体画像４２２を含む。指示体画像４２２は、指示位置４０５を、援助者ＵＡが指示体２で指し示した場合と同じ向きで表示される画像であり、図８（Ｂ）の例ではプロジェクター１００Ａが撮像部１５で撮像した撮像画像を利用している。指示位置４０５を示すマーク、及び、指示体画像４２２は、作業対象物ＯＢに重なるように表示される。また、指示体画像４２２は、ＨＭＤ２００が、図７のステップＳ２３でプロジェクター１００Ａから受信する指示情報に含まれる画像データに基づき表示する画像であってもよい。この場合、指示位置４０５の位置及び指示体の向きは、指示情報に含まれるデータで指定され、このデータに基づきＨＭＤ２００が指示体画像４２２を表示してもよい。
図２に示したように、プロジェクター１００Ａは作業台Ｔに固定されて表示領域ＤＡに画像を投射するが、援助者ＵＡの位置は、図２のようにプロジェクター１００Ａに対向する位置に限定されない。援助者ＵＡは、作業台Ｔに対して任意の方向から手等を伸ばして作業を行える。また、被援助者ＵＢは、両手を自由に使えるハンズフリーの状態で、位置の制約なく、ＨＭＤ２００が表示する画像を見ながら作業対象物ＯＢに対して作業を行える。
このため、援助者ＵＡが表示領域ＤＡを見る方向と、被援助者ＵＢがＨＭＤ２００の画像を視認する方向とが、一致するとは限らない。そこで、表示システム１では、援助者ＵＡが行った操作や指示に関する画像等をＨＭＤ２００で表示する場合、援助者ＵＡが操作や指示を行ったときの援助者ＵＡの位置や視点、或いは視線方向を反映するように、表示することが好ましい。図８（Ｂ）の例では、指示位置４０５を示す画像や記号（マーク）を表示するだけでなく、指示位置４０５を指し示したときの援助者ＵＡの身体の向きを、被援助者ＵＢが把握できる方が、より正確な指示或いは案内を行える。このため、プロジェクター１００Ａは、操作を行う援助者ＵＡの視点または視線方向を示す画像（例えば、図８（Ｂ）の指示体画像４２２）を表示するためのデータを指示情報に含めて送信する。また、ＨＭＤ２００は、指示情報に基づき、操作を行う援助者ＵＡの視点または視線方向を示す画像を表示する。図８（Ｂ）の例では、位置および方向を把握できる指示体画像４２２が、指示位置４０５に対応する位置に、援助者ＵＡの操作に対応する方向で、表示される。
このため、援助者ＵＡが表示領域ＤＡを見る方向と、被援助者ＵＢがＨＭＤ２００の画像を視認する方向とが、一致するとは限らない。そこで、表示システム１では、援助者ＵＡが行った操作や指示に関する画像等をＨＭＤ２００で表示する場合、援助者ＵＡが操作や指示を行ったときの援助者ＵＡの位置や視点、或いは視線方向を反映するように、表示することが好ましい。図８（Ｂ）の例では、指示位置４０５を示す画像や記号（マーク）を表示するだけでなく、指示位置４０５を指し示したときの援助者ＵＡの身体の向きを、被援助者ＵＢが把握できる方が、より正確な指示或いは案内を行える。このため、プロジェクター１００Ａは、操作を行う援助者ＵＡの視点または視線方向を示す画像（例えば、図８（Ｂ）の指示体画像４２２）を表示するためのデータを指示情報に含めて送信する。また、ＨＭＤ２００は、指示情報に基づき、操作を行う援助者ＵＡの視点または視線方向を示す画像を表示する。図８（Ｂ）の例では、位置および方向を把握できる指示体画像４２２が、指示位置４０５に対応する位置に、援助者ＵＡの操作に対応する方向で、表示される。
このように、表示システム１では、プロジェクター１００Ａが、ＨＭＤ２００の撮像画像を含む援助者用画面４０２を表示するので、援助者ＵＡは、被援助者ＵＢの作業環境を見ながら作業に関する指示等を行うことができる。また、援助者ＵＡが指示体２で指示した指示位置、及び、指示を行ったときの援助者ＵＡの視点または視線方向を示すデータを含む指示情報がＨＭＤ２００に送信される。このため、被援助者ＵＢは、ＨＭＤ２００により援助者ＵＡの指示あるいは操作の位置、内容、様子を見ることができ、この場合の援助者ＵＡの視点または視線方向を知ることができる。
さらに、ＨＭＤ２００は、実空間の物体である作業対象物ＯＢの位置に対応する位置に、指示位置４０５を示すマークと指示体画像４２２とを含む指示画像４２１を表示する。指示画像４２１が含むマーク、或いは指示体画像４２２の表示位置は、表示位置算出部３２１が作業対象物ＯＢの位置を特定し、特定した作業対象物ＯＢの位置に対応して決定する位置である。従って、作業対象物ＯＢに重なって、或いは作業対象物ＯＢに対応する位置に、情報を表示することで、一種のＡＲ（Augmented Reality、拡張現実）としての表示効果を得ることができる。ここで、指示体画像４２２を表示するための画像データをＨＭＤ２００の記憶部３４０に記憶しておき、プロジェクター１００ＡがＨＭＤ２００に送信する指示情報に、ＨＭＤ２００が記憶する画像を指定するデータを含めても良い。
また、ＨＭＤ２００は、図８（Ｂ）に示すように、表示領域４５１に、カメラ２６１により撮像可能な範囲の境界を示す撮像境界線ＢＬを表示してもよい。例えば、カメラ２６１の撮像範囲が、ＨＭＤ２００越しに視認できる外景（実空間）の視野ＶＲＢ１よりも狭い場合、被援助者ＵＢに対してカメラ２６１の撮像範囲を報せるために、撮像境界線ＢＬを表示してもよい。この場合、被援助者ＵＢは、カメラ２６１の撮像範囲を意識して、例えば、作業対象物ＯＢが撮像範囲に収まるような視点で作業を行うことができる。従って、ＨＭＤ２００がプロジェクター１００Ａに送信する作業情報に含まれる撮像画像に、作業対象物ＯＢや、被援助者ＵＢの手等が確実に含まれるようになるという利点がある。なお、ＨＭＤ２００においてカメラ２６１の撮像範囲が、被援助者ＵＢの視野ＶＲＢ１を含む場合、被援助者ＵＢは視野ＶＲＢ１に作業対象物ＯＢや手が視認されるように作業を行えばよいので、撮像境界線ＢＬを表示しなくてもよい。言い換えれば、撮像境界線ＢＬは必須ではなく、カメラ２６１の撮像範囲（画角）の仕様等により、視野ＶＲＢ１の少なくとも一部が撮像範囲に含まれない場合に、撮像境界線ＢＬを表示してもよい。
また、カメラ２６１により光学的に、或いは、制御部３００がカメラ２６１の撮像画像データを処理することにより、ズーム機能を利用し、ズームされた撮像画像データに基づき、プロジェクター１００Ａに送信する作業情報が生成されることがある。この場合、ズーム倍率を高めるほど、撮像画像データに含まれる範囲、すなわち撮像範囲が狭くなるので、撮像範囲が視野ＶＲＢ１の全体を含まない場合に、撮像境界線ＢＬを表示してもよい。つまり、カメラ２６１の撮像画像に対するズーム機能により、撮像範囲が変化する場合に、撮像範囲と視野ＶＲＢ１との相対的な状態に基づき撮像境界線ＢＬを表示してもよい。
また、カメラ２６１により光学的に、或いは、制御部３００がカメラ２６１の撮像画像データを処理することにより、ズーム機能を利用し、ズームされた撮像画像データに基づき、プロジェクター１００Ａに送信する作業情報が生成されることがある。この場合、ズーム倍率を高めるほど、撮像画像データに含まれる範囲、すなわち撮像範囲が狭くなるので、撮像範囲が視野ＶＲＢ１の全体を含まない場合に、撮像境界線ＢＬを表示してもよい。つまり、カメラ２６１の撮像画像に対するズーム機能により、撮像範囲が変化する場合に、撮像範囲と視野ＶＲＢ１との相対的な状態に基づき撮像境界線ＢＬを表示してもよい。
図１に示したように、表示システム１は、複数のＨＭＤ２００を通信ネットワーク４に接続して使用できる。この場合、プロジェクター１００Ａでは、複数のＨＭＤ２００から作業情報を受信して表示できる。この場合の表示例を図８（Ｃ）に示す。
図８（Ｃ）はプロジェクター１００Ａが２つのＨＭＤ２００から受信した作業情報に基づく画像を表示する例を示す。図８（Ｃ）の例では、表示領域ＤＡに、撮像画像を表示する２つの表示領域４０９、４１０が配置される。表示領域４０９には一方のＨＭＤ２００が送信した作業情報に基づく画像が表示される。また、表示領域４１０には他方のＨＭＤ２００が送信した作業情報に基づく画像が表示される。これら表示領域４０９、４１０に表示された画像に対し、指示体２による指示が行われた場合、プロジェクター１００Ａは、指示された位置に対応する作業情報を送信したＨＭＤ２００に対して、指示情報を生成して送信する。
表示システム１が複数のＨＭＤ２００を含む場合に、いずれかのＨＭＤ２００にプロジェクター１００Ａが送信する指示情報を、他のＨＭＤ２００に送信してもよい。つまり、複数のＨＭＤ２００に同内容の指示情報を送信してもよい。この場合、いずれかのＨＭＤ２００が図７（Ｂ）のステップＳ２２でプロジェクター１００Ａに送信する作業情報に対応して、プロジェクター１００Ａが指示情報を生成すると、この指示情報がＨＭＤ２００にも送信される。この例では、いずれかの被援助者ＵＢに対して送信した指示情報の内容を、他の被援助者（例えば、被援助者ＵＣ）が知ることができる。
以上説明したように、本発明を適用した第１実施形態に係る表示システム１は、ＨＭＤ２００及びプロジェクター１００Ａを備える。ＨＭＤ２００は、画像を表示する画像表示部２２０と、カメラ２６１と、プロジェクター１００Ａと通信を実行する通信部２７７とを備える。ＨＭＤ２００は、制御部３００の制御に従って、通信部２７７によりプロジェクター１００Ａから指示情報を受信し、指示情報に基づく画像を画像表示部２２０により表示する。プロジェクター１００Ａは、表示領域ＤＡに画像を表示する投射部２０と、ＨＭＤ２００と通信を実行する通信部１３と、操作を検出する操作検出部３５とを備える。プロジェクター１００Ａは、制御部３０の制御により、操作検出部３５が検出する操作を示す情報を含む指示情報を生成して、通信部１３で送信する。ＨＭＤ２００は、制御部３００の制御により、プロジェクター１００Ａから受信する指示情報に基づいて、プロジェクター１００Ａの操作検出部３５が検出した操作に対応する画像を表示する。さらに、ＨＭＤ２００は、操作を行う援助者ＵＡの視点または視線方向を示す画像を画像表示部２２０により表示する。
このように構成される表示システム１、ＨＭＤ２００、及び、表示システム１を利用した情報表示方法を実行することにより、次の作用効果が得られる。すなわち、ＨＭＤ２００によって、プロジェクター１００Ａにおいて行われる操作に関する画像を表示するので、援助者ＵＡがプロジェクター１００Ａを操作することで、被援助者ＵＢに対して情報を提供できる。また、ＨＭＤ２００が表示する画像や情報において、援助者ＵＡがプロジェクター１００Ａで行う操作等の向きを案内することができるので、被援助者ＵＢが画像や情報の向きを誤解することがない。従って、援助者ＵＡから被援助者ＵＢに対し、適切に情報を提供できる。
また、プロジェクター１００Ａの制御部３０は、操作検出部３５が検出する操作を、当該操作を行う援助者ＵＡの視点または視線方向を基準として示す情報を含む指示情報を生成する。これにより、プロジェクター１００Ａの操作について、援助者ＵＡの視点または視線方向を基準とする情報がＨＭＤ２００に送信されるので、被援助者ＵＢに対して援助者ＵＡの視点または視線方向を案内できる。
また、ＨＭＤ２００の画像表示部２２０は、被援助者ＵＢの視野ＶＲＢ１において、作業対象物ＯＢが配置される対象配置領域を含む表示領域４５１に画像を表示する。制御部３００は、視野ＶＲＢ１に配置される作業対象物ＯＢに対応する位置に画像を表示する。これにより、作業対象物ＯＢに対応する位置に画像を表示し、この画像の適正な向きを案内することができる。このため、作業対象物ＯＢに関連する情報を効果的に提供できる。
ＨＭＤ２００のカメラ２６１は、作業対象物ＯＢが配置される対象配置領域の少なくとも一部を含む撮像範囲を撮像する。制御部３００は、表示位置算出部３２１により、カメラ２６１の撮像画像に基づいて、作業対象物ＯＢの位置に対応する画像の表示位置を特定する。これにより、作業対象物ＯＢに対応する画像の表示位置を、適切な位置に決定できる。
また、制御部３００は、表示領域４５１、或いは視野ＶＲＢ１におけるカメラ２６１の撮像範囲を示す画像である撮像境界線ＢＬを、画像表示部２２０により表示してもよい。この場合、被援助者ＵＢがＨＭＤ２００の表示画像を視認する領域において撮像範囲を認識できるので、カメラ２６１の撮像機能を効果的に利用できる。
また、制御部３００は、カメラ２６１の撮像画像に基づき作業情報を生成して通信部２７７によりプロジェクター１００Ａに送信する。プロジェクター１００Ａの制御部３０は、通信部１３によりＨＭＤ２００から作業情報を受信し、作業情報に基づき投射部２０により画像を表示する。さらに、制御部３０は、作業情報に基づく画像の表示中に操作検出部３５が検出する操作を示す情報を含む指示情報を生成する。これにより、撮像画像を利用して、ＨＭＤ２００を装着する被援助者ＵＢが行う作業等に関する情報を、プロジェクター１００Ａを使用する援助者ＵＡに伝達できる。このため、より多くの情報を用いて、被援助者ＵＢの作業等を支援できる。
また、プロジェクター１００Ａは、少なくとも操作検出部３５が操作を検出する検出領域である撮像範囲ＰＡの一部を含む範囲を撮像する撮像部１５を備える。制御部３０は、撮像部１５の撮像画像をもとに、操作検出部３５が検出する操作を示す情報を生成して、生成した情報を含む指示情報を生成する。これにより、プロジェクター１００Ａの撮像範囲で行われる操作の撮像画像等を、ＨＭＤ２００によって表示できる。このため、援助者ＵＡが被援助者ＵＢに対し、作業等に関するより詳細な情報を提供できる。
また、制御部３０は、操作検出部３５が検出する操作に対応する指示体の画像を含む指示情報を生成してもよい。この場合、プロジェクター１００Ａで操作を行う指示体の画像をＨＭＤ２００が表示できるので、プロジェクター１００Ａの操作の内容や向きを、より直感的にわかり易く、ＨＭＤ２００により表示できる。
また、制御部３００は、プロジェクター１００Ａから受信する指示情報に基づいて、ＨＭＤ２００を装着する被援助者ＵＢに対して動作を案内する画像を、画像表示部２２０により表示してもよい。この場合、被援助者ＵＢに対して、動作を適切に案内できる。
表示システム１の適用例について、具体例を挙げて説明する。
表示システム１は、例えば、被援助者ＵＢが機器を操作する作業を行う場合に、機器の操作を説明し、案内するなど、遠隔地から援助者ＵＡが機器の操作に関する情報を提供して、作業を支援する目的で使用できる。具体的には、パーソナルコンピューターを作業対象物として、セットアップやアプリケーションプログラムの操作を行う場合に適用できる。また、例えば、工作機械、工業機械、家庭用各種電子機器などの機械を作業対象物として、機械の操作やメンテナンスを行う場合に適用できる。すなわち、各種機械のメンテナンスを行う被援助者ＵＢが、ユーザーの依頼に応じて作業対象の機械の設置場所を訪問し、メンテナンスを行う場合に、習熟度の低い被援助者ＵＢを援助者ＵＡが支援する用途で表示システム１を使用できる。
表示システム１は、例えば、被援助者ＵＢが機器を操作する作業を行う場合に、機器の操作を説明し、案内するなど、遠隔地から援助者ＵＡが機器の操作に関する情報を提供して、作業を支援する目的で使用できる。具体的には、パーソナルコンピューターを作業対象物として、セットアップやアプリケーションプログラムの操作を行う場合に適用できる。また、例えば、工作機械、工業機械、家庭用各種電子機器などの機械を作業対象物として、機械の操作やメンテナンスを行う場合に適用できる。すなわち、各種機械のメンテナンスを行う被援助者ＵＢが、ユーザーの依頼に応じて作業対象の機械の設置場所を訪問し、メンテナンスを行う場合に、習熟度の低い被援助者ＵＢを援助者ＵＡが支援する用途で表示システム１を使用できる。
この例において、作業対象の作業対象物ＯＢとして、工作機械、工業機械、家庭用各種電子機器などの機械、パーソナルコンピューター等を、作業台Ｔに設置することができる。また、これらの機器やパーソナルコンピューター等が設置された位置を、作業台Ｔを見なすこともできる。この場合、ＨＭＤ２００を装着する被援助者ＵＢは、作業対象である工作機械、工業機械、家庭用各種電子機器などの機械、パーソナルコンピューター等の設置場所において、ハンズフリーで作業を行うことができる。
このような場合、遠隔地の被援助サイトＢにいる被援助者ＵＢとサービスセンター等の援助サイトＡにいる援助者ＵＡが情報を共有し、援助サイトＡの援助者ＵＡはＨＭＤ２００によりＡＲ画像を表示させて、指示、表示の変更ができる。そして、ＨＭＤ２００により、援助サイトＡにいる援助者ＵＡの手や手指による操作をバーチャル画像として見せて、支援できる。この場合、援助サイトＡにおいて援助者ＵＡの前に被援助サイトＢの作業対象物と同じ機器を置いて実際に操作しながら説明することも有効である。援助者ＵＡにとっては、現場の現物の特定部位に対して位置指示操作により指示や教示を行うことができ、シンプルな操作で効率よく支援できる。
他の適用例として、プロジェクター１００Ａから送信する指示情報に、名刺の画像データやテキストを含めることで、被援助者ＵＢに名刺を見せることができる。この場合、援助者ＵＡの腕を模した画像の画像データを指示情報に含めることで、ＨＭＤ２００により名刺を差し出す腕を表示させて、バーチャルな名刺交換を実現できる。
この名刺交換を、援助サイトＡの援助者ＵＡと被援助サイトＢの被援助者ＵＢとの間で実行し、その後に、上記実施形態で説明した動作を実行してもよい。
この名刺交換を、援助サイトＡの援助者ＵＡと被援助サイトＢの被援助者ＵＢとの間で実行し、その後に、上記実施形態で説明した動作を実行してもよい。
さらに、プロジェクター１００Ａがコンテンツのデータを指示情報に含めてＨＭＤ２００に送信することで、ＨＭＤ２００の画像表示部２２０に、テキストや画像を含むコンテンツを表示させることができる。この場合、コンテンツのテキストや画像の表示位置は、視野ＶＲＢ１に位置する現実の作業対象物ＯＢの位置に合わせて、作業対象物ＯＢの視認を妨げない位置とすることが好ましい。
また、コンテンツのデータとして、音声データを指示情報に含めて、プロジェクター１００ＡからＨＭＤ２００に送信してもよい。コンテンツの音声データは、予め記憶部８０に記憶されたデータであってもよいし、援助者ＵＡの音声を音声入出力部１４で集音した音声データであってもよい。この場合、ＨＭＤ２００は、指示情報に含まれる音声データに基づき、音声入出力部１４により音声を出力する。
さらに、指示体の画像として、援助者ＵＡ役のアバターや援助者ＵＡの実際の顔、上半身、或いは全身の画像を利用することで、作業員の代わりにコンシューマーを対象としたサービスを実現することも可能である。この場合、援助者ＵＡはコールセンターのスタッフ、家庭教師や塾の講師スタッフ等となる。このシステムの用途は、電子機器のソフトウェアのインストールや操作の案内またはトレーニング、語学教育、資格試験等の受験指導、運手免許等の公的資格のための講習、スポーツの指導等も挙げられる。また、例えば、外国語会話の講習では、視覚的に発音を教授することができる。この場合、受講者はＨＭＤ２００を使用する。この場合、講師がプロジェクター１００Ａを使用し、受講者がＨＭＤ２００によって講師の口の形を視認できる。この場合、受講者が実空間の鏡を見れば、鏡に映る受講者の口の像と、画像表示部２２０により表示される講師の口の像とを重ねて、或いは比較して見ることができる。また、ＨＭＤ２００によって、鏡に映る受講者の口の像に重なるように、講師の口の像をＡＲ表示してもよい。
また、学習やスポーツの指導を行う場合、指導する側が援助サイトＡにおいてプロジェクター１００Ａを使用し、指導を受ける側がＨＭＤ２００を使用する。このような場合を含み、援助サイトＡは、指導或いは管理を行う者がいる「管理サイト」と呼ぶことができ、プロジェクター１００Ａは管理用装置といえる。また、被援助サイトＢ、Ｃは、指導や教授を受けて学習を実行する者や作業を実行する者がいる「実行サイト」と呼ぶことができ、ＨＭＤ２００は実行側装置といえる。
この態様では、プロジェクター１００Ａが画像を投射する表示領域ＤＡを、例えば人が動き回ることが可能な程度に大きな面積とし、床面を表示領域ＤＡとすると、より効果的である。この場合、例えばプロジェクター１００Ａは、床面より上方に設置され、好ましくは援助者ＵＡよりも上方に設置されて、下向きに画像を投射し、撮像を行う構成にできる。具体的には、プロジェクター１００Ａを天井から吊り下げ設置すればよい。
この態様では、プロジェクター１００Ａが画像を投射する表示領域ＤＡを、例えば人が動き回ることが可能な程度に大きな面積とし、床面を表示領域ＤＡとすると、より効果的である。この場合、例えばプロジェクター１００Ａは、床面より上方に設置され、好ましくは援助者ＵＡよりも上方に設置されて、下向きに画像を投射し、撮像を行う構成にできる。具体的には、プロジェクター１００Ａを天井から吊り下げ設置すればよい。
また、ＨＭＤ２００がプロジェクター１００Ａに送信する作業情報は、案内対象情報、或いは実行側情報と呼ぶことができ、指示情報は、案内情報、指導情報、或いは、管理情報と呼ぶことができる。
指導の具体例としては、数学、英語、国語、社会科、文字の書き順等の学習課目について、指導を行う者がプロジェクター１００Ａを使用し、指導を受ける者がＨＭＤ２００に表示される内容により教授、指導を受ける態様が考えられる。パーソナルコンピューター等の機器の操作方法をガイドする目的で使用する場合も同様である。
また、プロジェクター１００Ａ及びＨＭＤ２００において、特定の情報を、ポップアップ、ブリンキング、蛍光色で表示する等して、目立つように表示してもよい。また、表示される画像の表示色や表示輝度を、作業台Ｔにおける作業対象物ＯＢの視認性が高まるように変更してもよい。この場合、投射部２０が投射する画像光の輝度を低下させる、画像光の色調や彩度を低くする等の手法が挙げられる。この場合、外景に対する表示画像の視認性が相対的に低下するので、この表示画像に含まれる文字や画像を補助的に見せる効果がある。また、ＨＭＤ２００が画像表示部２２０により表示する際に、表示される画像の表示色や表示輝度を、実空間の作業対象物ＯＢの視認性が高まるように変更してもよい。この場合、右光学像表示部２２６及び左光学像表示部２２８から右眼ＲＥ及び左眼ＬＥに入射する画像光の輝度を低下させる、画像光の色調や彩度を低くする等の手法が挙げられる。この場合、実空間に対する表示画像の視認性が相対的に低下するので、この表示画像に含まれる文字や画像を補助的に見せる効果がある。
表示システム１では、ＨＭＤ２００を使用する被援助者ＵＢの作業内容等を、遠隔地のプロジェクター１００Ａで見ることができ、被援助者ＵＢは、援助者ＵＡがプロジェクター１００Ａの撮像範囲ＰＡで行う位置指示操作の内容を見ることができる。ＨＭＤ２００は、位置指示操作の内容を、例えば指示体画像４２２として、ＡＲ表示する。すなわち、ＨＭＤ２００では、作業対象物ＯＢに重なるように、指示体画像４２２が表示され、この指示体画像４２２と作業対象物ＯＢとの位置により、ＡＲとしての表示効果が期待できる。
ＨＭＤ２００は、ＡＲ表示の効果を高めるため、指示体画像４２２等を表示する際に、立体画像を表示してもよい。この場合、制御部３００は、作業対象物ＯＢの種類や作業内容に対応して、左眼用の画像と右眼用の画像との視差の方向及び大きさを決定する。制御部３００の表示情報生成部３２５は、指示情報に基づいて視差を有する画像を生成して、表示制御部３０５により表示させる。また、制御部３００は、距離センサー２６４によって、作業対象物ＯＢまでの距離を検出してもよい。この場合、制御部３００は、検出した作業対象物ＯＢまでの距離に基づき、ＡＲ表示する指示体の画像の視差の方向及び大きさを算出してもよい。例えば、予め設定された距離条件に基づき、視差を設けてもよい。この場合、被援助者ＵＢに対して画像が立体的に表示される。また、プロジェクター１００Ａが立体画像を表示して、援助者ＵＡが立体的に画像を視認できるようにしてもよい。
また、表示システム１では、図８（Ｂ）に例示したように、制御部３００が、プロジェクター１００Ａから受信する指示情報に基づいて、プロジェクター１００Ａで検出した操作の操作位置に対応して、指示体画像４２２を表示する。このため、プロジェクター１００Ａが検出する操作の位置や内容を、ＨＭＤ２００により、わかりやすく表示できる。
また、表示システム１では、図８（Ｂ）に例示したように、制御部３００が、プロジェクター１００Ａから受信する指示情報に基づいて、プロジェクター１００Ａで検出した操作の指示位置４０５を示すマークと、指示体画像４２２とを表示する。このため、プロジェクター１００Ａが検出する操作の位置や内容を、ＨＭＤ２００により、わかりやすく表示できる。
また、表示システム１では、被援助サイトＣにおいて、被援助サイトＢの被援助者ＵＢの作業操作を、遠隔地からＡＲ画像として見ることができる。これにより、作業手順等の作業支援の内容を共有できる。
また、プロジェクター１００Ａにより２以上の表示領域に、プロジェクター１００Ａの表示とＨＭＤ２００の撮像画像、或いは、２以上のＨＭＤ２００の作業情報に基づく画像を表示すれば、援助者ＵＡが多くの状況を視認できる。ここで、図８（Ｃ）に示すように、２以上の表示領域に２以上のＨＭＤ２００に対応する画像を表示する場合、各表示領域におけるポインター等の形状、色を変えることで、各表示領域の混同を防止する構成も考えられる。
その他、表示システム１の適用範囲は何ら制限されず、他の用途への利用も勿論可能である。
また、プロジェクター１００Ａにより２以上の表示領域に、プロジェクター１００Ａの表示とＨＭＤ２００の撮像画像、或いは、２以上のＨＭＤ２００の作業情報に基づく画像を表示すれば、援助者ＵＡが多くの状況を視認できる。ここで、図８（Ｃ）に示すように、２以上の表示領域に２以上のＨＭＤ２００に対応する画像を表示する場合、各表示領域におけるポインター等の形状、色を変えることで、各表示領域の混同を防止する構成も考えられる。
その他、表示システム１の適用範囲は何ら制限されず、他の用途への利用も勿論可能である。
指示体画像は、援助者ＵＡの腕、手、指、指示棒等に限らず、被援助者ＵＢが実行する作業に関する用具、器具等であってもよい。つまり、援助者ＵＡは、被援助者ＵＢが使用する用具や器具を指示体として使ってもよい。この場合、援助者ＵＡが使用するプロジェクター１００Ａは、指示体を撮像した撮像画像を、指示体画像としてＨＭＤ２００に送信してもよい。また、プロジェクター１００Ａは、指示体を撮像した撮像画像に基づき、指示体と同種あるいは指示体に予め対応付けられた用具や器具の画像を送信画像データから選択して、指示体画像として送信してもよい。また、援助者ＵＡがプロジェクター１００Ａを操作して、指示体画像として、被援助者ＵＢが実行する作業に関する用具、器具等の画像を選択し、この画像を指示体画像としてＨＭＤ２００に送信してもよい。例えば、被援助者ＵＢが工具を使用する作業を行う場合、指示体画像として、ドライバー、ペンチ、モンキースパナ、通電テスターのテスト端子、包丁、その他の特殊工具の画像を採用できる。また、表示システム１により援助者ＵＡが被援助者ＵＢにスポーツの指導を行う場合、テニスラケット、ゴルフクラブ等の画像を指示体として採用できる。
このように、ＨＭＤ２００が案内情報に基づいて表示する指示体の画像が、ＨＭＤ２００を使用して実行される作業に関する用具あるいは器具の画像であることで、ＨＭＤ２００を使用する人が行う作業を、よりわかりやすく案内できる。
また、制御部３０は、操作検出部３５が検出する操作に対応する指示体の画像として、ＨＭＤ２００を使用して実行される作業に関する用具あるいは器具の画像を取得し、取得した指示体の画像を含む案内情報を生成してＨＭＤ２００に送信する。この場合、プロジェクター１００Ａが検出する操作の位置や内容に対応する画像を利用して、ＨＭＤ２００を使用する被援助者ＵＢに対し、被援助者ＵＢが行う作業をわかりやすく案内できる。
［第２実施形態］
図９及び図１０は、第２実施形態における表示システム１の動作を示すフローチャートである。図９（Ａ）はプロジェクター１００Ａの動作を示し、図９（Ｂ）はＨＭＤ２００の動作を示す。また、図１１は、第２実施形態におけるプロジェクター１００Ａ及びＨＭＤ２００の表示例を示す図である。
第２実施形態の表示システム１は、上記第１実施形態で説明した表示システム１と同様に構成されるため、表示システム１の各部の構成について図示及び説明を省略する。また、図９（Ａ）、（Ｂ）のフローチャートにおいて第１実施形態で説明した動作（図７（Ａ）、（Ｂ））と共通する動作については、同一のステップ番号を付す。
図９及び図１０は、第２実施形態における表示システム１の動作を示すフローチャートである。図９（Ａ）はプロジェクター１００Ａの動作を示し、図９（Ｂ）はＨＭＤ２００の動作を示す。また、図１１は、第２実施形態におけるプロジェクター１００Ａ及びＨＭＤ２００の表示例を示す図である。
第２実施形態の表示システム１は、上記第１実施形態で説明した表示システム１と同様に構成されるため、表示システム１の各部の構成について図示及び説明を省略する。また、図９（Ａ）、（Ｂ）のフローチャートにおいて第１実施形態で説明した動作（図７（Ａ）、（Ｂ））と共通する動作については、同一のステップ番号を付す。
第２実施形態では、ＨＭＤ２００のカメラ２６１で撮像した撮像画像を含む作業情報がプロジェクター１００Ａに送信され、プロジェクター１００Ａで表示される点等は第１実施形態と同様である。第２実施形態では、プロジェクター１００Ａで行われる位置指示操作により、ＨＭＤ２００の動作を制御することができる。
図１０（Ａ）に示すプロジェクター１００Ａの動作において、ステップＳ１１〜Ｓ１７は上記第１実施形態で説明した通りである。
ステップＳ１７において、送信画像取得部３７が送信画像を取得した後、リモコン受光部１８または操作パネル１９の操作により、ＨＭＤ２００に対するメニュー操作を行うか否かが指定される（ステップＳ３１）。そして、指示情報生成部３８は、メニュー操作を行うか否かを指定するデータを含む指示情報を生成し、ＨＭＤ２００に送信する（ステップＳ３２）。ステップＳ３２で生成される指示情報は、送信画像取得部３７が取得した指示体の画像の画像データと、操作位置や操作の軌跡を示すデータと、操作位置や操作の軌跡をＨＭＤ２００の撮像画像と対応付けるデータとを含む。
ステップＳ１７において、送信画像取得部３７が送信画像を取得した後、リモコン受光部１８または操作パネル１９の操作により、ＨＭＤ２００に対するメニュー操作を行うか否かが指定される（ステップＳ３１）。そして、指示情報生成部３８は、メニュー操作を行うか否かを指定するデータを含む指示情報を生成し、ＨＭＤ２００に送信する（ステップＳ３２）。ステップＳ３２で生成される指示情報は、送信画像取得部３７が取得した指示体の画像の画像データと、操作位置や操作の軌跡を示すデータと、操作位置や操作の軌跡をＨＭＤ２００の撮像画像と対応付けるデータとを含む。
図１０（Ｂ）に示すＨＭＤ２００の動作において、ステップＳ２１〜Ｓ２６及びステップＳ２７は上記第１実施形態で説明した通りである。
ＨＭＤ２００は、ステップＳ２６において、プロジェクター１００Ａが送信する指示情報を通信部２７７で受信し、この指示情報に基づく表示情報を表示情報生成部３２５により生成して、画像処理部３０３及び表示制御部３０５により表示する。その後、ＨＭＤ２００は、操作検出処理を実行する（ステップＳ３５）。
ＨＭＤ２００は、ステップＳ２６において、プロジェクター１００Ａが送信する指示情報を通信部２７７で受信し、この指示情報に基づく表示情報を表示情報生成部３２５により生成して、画像処理部３０３及び表示制御部３０５により表示する。その後、ＨＭＤ２００は、操作検出処理を実行する（ステップＳ３５）。
図１１は、ＨＭＤ２００が実行する操作検出処理を詳細に示すフローチャートである。
この操作検出処理において、ＨＭＤ２００の操作検出部３２３は、ステップＳ２４で受信した指示情報から、メニュー操作を行うか否かを指定するデータを抽出し、このデータに基づきメニュー操作を行うか否かを判定する（ステップＳ４１）。メニュー操作を行わないと判定した場合は（ステップＳ４１；ＮＯ）、図１０（Ｂ）のステップＳ２７に移行する。
この操作検出処理において、ＨＭＤ２００の操作検出部３２３は、ステップＳ２４で受信した指示情報から、メニュー操作を行うか否かを指定するデータを抽出し、このデータに基づきメニュー操作を行うか否かを判定する（ステップＳ４１）。メニュー操作を行わないと判定した場合は（ステップＳ４１；ＮＯ）、図１０（Ｂ）のステップＳ２７に移行する。
メニュー操作を行うと判定した場合（ステップＳ４１；ＹＥＳ）、操作検出部３２３は、メニュー画像の表示位置を決定し、メニュー画像を表示する（ステップＳ４２）。ここで、メニュー画像の表示位置は、プロジェクター１００Ａが送信する指示情報に含まれるデータで指定されてもよいし、予め設定された位置であってもよい。また、操作検出部３２３が自動的に位置を決定してもよい。次いで、操作検出部３２３は、指示情報から操作位置を示すデータを取得し（ステップＳ４３）、取得した操作位置がメニュー画像に対応する位置であるか否かを判定する（ステップＳ４４）。
ここで、操作位置がメニュー画像に対応する位置でないと判定した場合（ステップＳ４４；ＮＯ）、制御部３００はステップＳ２７に移行する。
ここで、操作位置がメニュー画像に対応する位置でないと判定した場合（ステップＳ４４；ＮＯ）、制御部３００はステップＳ２７に移行する。
操作検出部３２３は、操作位置がメニュー画像に対応する位置である場合（ステップＳ４４）、メニュー画像に対する操作を検出する（ステップＳ４５）。このステップＳ４５で、操作検出部３２３は、メニュー画像に配置される複数のアイコン等の操作用画像のうち、操作位置に対応する操作用画像を特定する。制御部３００は、操作検出部３２３が特定した操作用画像に対応付けられた動作を実行し（ステップＳ４６）、当該動作の後にステップＳ２７に移行する。
図１１（Ａ）はプロジェクター１００Ａの表示例を示し、図１１（Ｂ）は（Ｂ）はＨＭＤ２００の表示例であり、ＨＭＤ２００を装着する被援助者の視野ＶＲＢ１を示す。図１１（Ｃ）はプロジェクター１００Ａの別の表示例を示す。
図１１（Ａ）に示すプロジェクター１００Ａの表示例では、表示領域ＤＡに、ＨＭＤ２００の撮像画像４０３が表示される。リモコン受光部１８または操作パネル１９の操作により、メニュー操作を行うことが指定された場合、プロジェクター１００Ａは、表示領域ＤＡにメニュー画像４１１を表示する。
メニュー画像４１１は、プロジェクター１００Ａに対する操作を行う画像ではなく、ＨＭＤ２００に対する操作を行うために表示される画像である。メニュー画像４１１は、例えば、ボタン形状の複数のアイコン（操作用画像）を含む。各アイコンには、それぞれ、ＨＭＤ２００で実行する動作が対応付けられる。この種の動作としては、例えば、表示拡大／縮小、描画開始／終了、描画する図形の指定、描画色の指定等が挙げられる。メニュー画像４１１は、操作時表示制御部３６がメニュー画像データ５３に基づいて表示させる。
メニュー画像４１１は、プロジェクター１００Ａに対する操作を行う画像ではなく、ＨＭＤ２００に対する操作を行うために表示される画像である。メニュー画像４１１は、例えば、ボタン形状の複数のアイコン（操作用画像）を含む。各アイコンには、それぞれ、ＨＭＤ２００で実行する動作が対応付けられる。この種の動作としては、例えば、表示拡大／縮小、描画開始／終了、描画する図形の指定、描画色の指定等が挙げられる。メニュー画像４１１は、操作時表示制御部３６がメニュー画像データ５３に基づいて表示させる。
メニュー画像４１１に対して指示体２による操作が行われると、操作検出部３５が操作を検出し、操作位置を特定する。また、操作検出部３５は、操作時のメニュー画像４１１及びメニュー画像４１１に含まれるアイコン等の操作部の位置を取得する。指示情報生成部３８は、指示情報生成部３８がメニュー画像４１１を表示させた状態で、操作検出部３５が操作を検出した場合、メニュー操作を指示するデータを、指示情報に含ませる。また、指示情報生成部３８は、操作検出部３５が検出した操作の操作位置と、操作検出部３５が取得したメニュー画像４１１等の位置を含む指示情報を生成する。
これにより、プロジェクター１００ＡからＨＭＤ２００に対し、援助者ＵＡがプロジェクター１００Ａで行った操作の操作位置と、操作時のメニュー画像４１１等の位置と、メニュー操作を指定するデータとを含む指示情報が送信される。ＨＭＤ２００の表示位置算出部３２１は、メニュー画像４１１等の位置に合わせて、図１１（Ｂ）に示すようにメニュー画像４７１を表示させる。なお、メニュー画像４７１が有するアイコン等の操作部の配置は、プロジェクター１００Ａにおけるメニュー画像４１１と同一または類似していることが好ましい。このため、プロジェクター１００Ａが生成し送信する指示情報には、メニュー画像４１１の種類や構成を指定するデータを含めてもよい。表示位置算出部３２１は、指示情報に基づいて指示体画像４２２を表示する。指示検出部６７は、指示体画像４２２の表示位置が、メニュー画像４７１のアイコン等の操作部の表示位置に重なる場合、指示検出部３１９は当該操作部に対する操作を検出する。なお、指示体画像４２２の種類や表示態様については、第１実施形態と同様とすることができる。
従って、援助者ＵＡがプロジェクター１００Ａにおいて指示体２で位置指示操作を行うと、この位置指示操作に対応して、ＨＭＤ２００が操作を検出し、この操作に対応する動作をＨＭＤ２００に実行させることができる。このため、援助者ＵＡがＨＭＤ２００を遠隔操作することが可能となる。
また、表示システム１が複数のＨＭＤ２００を含んで構成される場合、プロジェクター１００Ａは、複数のＨＭＤ２００から作業情報を受信してもよく、複数のＨＭＤ２００から受信した作業情報に基づく表示を行ってもよい。
図１１（Ｃ）はプロジェクター１００Ａが２つのＨＭＤ２００から受信した作業情報に基づき撮像画像を表示する例を示す。表示領域ＤＡに配置された表示領域４０９、４１０のうち、メニュー画像による操作の対象となる側の表示領域（ここでは表示領域４０９）にはメニュー画像４１３が表示される。このメニュー画像４１３の位置に合わせて指示体２を用いた操作が行われると、表示領域４０９に対応するＨＭＤ２００に対し、操作位置とメニュー画像４１３等の位置とを含む指示情報が送信される。また、表示領域４０９に対する操作中、表示領域ＤＡには、他のＨＭＤ２００の作業情報に基づく表示が継続される。
また、本実施形態の表示システムが複数のＨＭＤ２００を含む場合、いずれかのＨＭＤ２００にプロジェクター１００Ａが送信する作業情報を、他のＨＭＤ２００に送信してもよい。例えば、被援助サイトＢの被援助者ＵＢが装着するＨＭＤ２００に対しプロジェクター１００Ａが送信する作業情報を、被援助サイトＣの被援助者ＵＣが装着するＨＭＤ２００に送信してもよい。この場合、被援助者ＵＢが装着するＨＭＤ２００が、例えば図１１（Ｂ）に示すように表示領域ＤＢに表示する内容を、被援助者ＵＣが装着するＨＭＤ２００により表示できる。
この場合、被援助者ＵＣの視野に作業対象物ＯＢがあるとは限らない。このため、被援助者ＵＣが装着するＨＭＤ２００は、指示体画像やメニュー画像とともに、被援助者ＵＢが装着するＨＭＤ２００がカメラ２６１により撮像した作業対象物ＯＢの撮像画像を表示してもよい。
また、この場合、被援助者ＵＣが装着するＨＭＤ２００は、プロジェクター１００Ａによる操作の対象とならなくてもよい。すなわち、被援助者ＵＢが装着するＨＭＤ２００は指示情報に基づき動作を実行し、被援助者ＵＣが装着するＨＭＤ２００は、指示情報に基づく表示を行うが指示情報による制御がされない構成としてもよい。この場合、被援助者ＵＣが装着するＨＭＤ２００は指示体２の操作に対応した動作を実行しなくてもよい。
或いは、被援助者ＵＣが装着するＨＭＤ２００が、被援助者ＵＢが装着するＨＭＤ２００と同様に、指示体２の操作に対応した動作を行ってもよい。この場合、援助者ＵＡが、プロジェクター１００Ａを用いて、複数のＨＭＤ２００を遠隔操作して、動作を実行させることができる。
この場合、被援助者ＵＣの視野に作業対象物ＯＢがあるとは限らない。このため、被援助者ＵＣが装着するＨＭＤ２００は、指示体画像やメニュー画像とともに、被援助者ＵＢが装着するＨＭＤ２００がカメラ２６１により撮像した作業対象物ＯＢの撮像画像を表示してもよい。
また、この場合、被援助者ＵＣが装着するＨＭＤ２００は、プロジェクター１００Ａによる操作の対象とならなくてもよい。すなわち、被援助者ＵＢが装着するＨＭＤ２００は指示情報に基づき動作を実行し、被援助者ＵＣが装着するＨＭＤ２００は、指示情報に基づく表示を行うが指示情報による制御がされない構成としてもよい。この場合、被援助者ＵＣが装着するＨＭＤ２００は指示体２の操作に対応した動作を実行しなくてもよい。
或いは、被援助者ＵＣが装着するＨＭＤ２００が、被援助者ＵＢが装着するＨＭＤ２００と同様に、指示体２の操作に対応した動作を行ってもよい。この場合、援助者ＵＡが、プロジェクター１００Ａを用いて、複数のＨＭＤ２００を遠隔操作して、動作を実行させることができる。
また、ＨＭＤ２００の制御部３００は、通信部２７７で受信した指示情報に含まれる操作を示す情報に基づき、ＨＭＤ２００に対する操作を検出する。より具体的には、制御部３００は、画像表示部２２０によりＧＵＩ操作用の画像であるメニュー画像４７１を表示させる。指示検出部３１９は、メニュー画像４７１の表示位置と、通信部２７７が受信した指示情報に含まれる操作位置とに基づいて操作を検出する。このため、プロジェクター１００Ａで位置指示操作を行うことにより、ＨＭＤ２００に対するＧＵＩ操作を行い、ＨＭＤ２００を制御できる。
［第３実施形態］
図１２は、第３実施形態における表示システム１の動作を示すフローチャートである。図１２（Ａ）はプロジェクター１００Ａの動作を示し、図１２（Ｂ）はＨＭＤ２００の動作を示す。
第３実施形態の表示システム１は、上記第１実施形態で説明した表示システム１と同様に構成されるため、表示システム１の各部の構成について図示及び説明を省略する。また、図１２（Ａ）、図１２（Ｂ）のフローチャートにおいて第１実施形態で説明した動作（図７（Ａ）、（Ｂ））と共通する動作については、同一のステップ番号を付す。
図１２は、第３実施形態における表示システム１の動作を示すフローチャートである。図１２（Ａ）はプロジェクター１００Ａの動作を示し、図１２（Ｂ）はＨＭＤ２００の動作を示す。
第３実施形態の表示システム１は、上記第１実施形態で説明した表示システム１と同様に構成されるため、表示システム１の各部の構成について図示及び説明を省略する。また、図１２（Ａ）、図１２（Ｂ）のフローチャートにおいて第１実施形態で説明した動作（図７（Ａ）、（Ｂ））と共通する動作については、同一のステップ番号を付す。
第３実施形態では、ＨＭＤ２００のカメラ２６１で撮像した撮像画像を含む作業情報がプロジェクター１００Ａに送信され、プロジェクター１００Ａで表示される点は第１実施形態と同様である。第３実施形態では、プロジェクター１００Ａの位置指示操作により、ＨＭＤ２００が撮像した撮像画像を編集し、編集した撮像画像をＨＭＤ２００が受信して表示する。
図１２（Ａ）に示すプロジェクター１００Ａの動作において、ステップＳ１１〜Ｓ１５は上記第１実施形態で説明した通りである。第３実施形態の表示システム１では、ステップＳ１４においてコンテンツに対応する操作が行われ、この操作を操作検出部３５が検出した後、さらに、表示中の撮像画像に対する操作を行うことができる（ステップＳ５１）。
操作検出部３５は、撮像画像に対する操作を検出し（ステップＳ５２）、ステップＳ１５及びＳ５２で検出した操作を撮像画像に対応付ける（ステップＳ５３）。具体的には、操作検出部３５は、ステップＳ１５で検出した操作位置を、撮像画像に対する相対位置として示すデータを生成する。また、操作検出部３５は、ステップＳ５２で検出した操作により編集された撮像画像のデータを生成する。
続いて、送信画像取得部３７が送信画像を取得し（ステップＳ５４）、指示情報生成部３８は、送信画像取得部３７が取得した指示体の画像の画像データと、操作検出部３５が生成したデータとを含む指示情報を生成して送信する（ステップＳ５５）。送信画像取得部３７が送信画像を取得する処理は、例えばステップＳ１７と同様の処理である。
また、図１２（Ｂ）に示すＨＭＤ２００の動作は、上記第１実施形態で説明した通りである。すなわち、ＨＭＤ２００は、プロジェクター１００Ａが送信する指示情報を受信し（ステップＳ２３）、受信した指示情報を受信情報解析部３１７が解析して画像データを抽出する（ステップＳ２４）。このステップＳ２４では、プロジェクター１００Ａにおいて編集された、ＨＭＤ２００の撮像画像データ、及び、指示体の画像データが抽出される。次いで、表示位置算出部３２１が画像を表示する位置を算出し（ステップＳ２５）、表示情報生成部３２５が表示情報を生成して、画像処理部３０３及び表示制御部３０５により表示させる（ステップＳ２６）。
この第３実施形態の表示システム１によれば、制御部３０が、ＨＭＤ２００から受信した作業情報が撮像画像を含む場合に、この撮像画像を投射部２０に表示させ、撮像画像の表示中に操作検出部３５が検出する操作に基づいて撮像画像を編集する。そして、編集後の撮像画像を含む指示情報を生成してＨＭＤ２００に送信する。ＨＭＤ２００は、編集された撮像画像を含む指示情報を受信して、編集された撮像画像を画像表示部２２０により表示する。
これにより、援助者ＵＡが、被援助者ＵＢの視野にある作業対象物ＯＢに対応する操作や作業を仮想的に行い、この操作ＨＭＤ２００を装着する被援助者ＵＢに対し、作業対象物ＯＢに対する援助者ＵＡの操作や作業を見せることができる。このため、作業対象物ＯＢに対する作業に関して、援助者ＵＡが被援助者ＵＢに対し、より多くの情報を提供できる。
これにより、援助者ＵＡが、被援助者ＵＢの視野にある作業対象物ＯＢに対応する操作や作業を仮想的に行い、この操作ＨＭＤ２００を装着する被援助者ＵＢに対し、作業対象物ＯＢに対する援助者ＵＡの操作や作業を見せることができる。このため、作業対象物ＯＢに対する作業に関して、援助者ＵＡが被援助者ＵＢに対し、より多くの情報を提供できる。
また、第３実施形態では、ＨＭＤ２００が撮像した撮像画像をプロジェクター１００Ａで編集する例を説明した。この他に、例えば、ＨＭＤ２００からプロジェクター１００Ａに文書データや図面データを送信し、この文書データや図面データをプロジェクター１００Ａで編集してもよい。この場合、編集後の文書データや図面データがＨＭＤ２００に送信され、プロジェクターＨＭＤ２００は、編集後の文書データや図面データに基づき表示を行う。これにより、文書の編集や図面作成・編集の作業に関して、援助者ＵＡが編集を行って、被援助者ＵＢに対し、いわゆる手本を見せることができる。
［第４実施形態］
図１３は、本発明を適用した第４実施形態に係る表示システム１Ａの構成を示す図である。
表示システム１Ａは、援助サイトＡのプロジェクター１００Ａと、被援助サイトＢのＨＭＤ２００とが通信ネットワーク４に接続される。さらに、表示システム１Ａは、援助サイトＡ´で使用される複数のプロジェクター１００Ａを備える。援助サイトＡ´は、援助サイトＡと同様に援助者ＵＡまたは援助者ＵＡと同様の立場のユーザーが使用するプロジェクターであり、上記第１〜第３実施形態で説明した例と同様に構成される。
図１３は、本発明を適用した第４実施形態に係る表示システム１Ａの構成を示す図である。
表示システム１Ａは、援助サイトＡのプロジェクター１００Ａと、被援助サイトＢのＨＭＤ２００とが通信ネットワーク４に接続される。さらに、表示システム１Ａは、援助サイトＡ´で使用される複数のプロジェクター１００Ａを備える。援助サイトＡ´は、援助サイトＡと同様に援助者ＵＡまたは援助者ＵＡと同様の立場のユーザーが使用するプロジェクターであり、上記第１〜第３実施形態で説明した例と同様に構成される。
表示システム１Ａでは、援助サイトＡ及び援助サイトＡ´の複数のプロジェクター１００Ａが、いずれも、通信ネットワーク４を介してＨＭＤ２００と通信可能である。
具体的には、複数のプロジェクター１００ＡがＨＭＤ２００と同時に通信を実行可能な構成としてもよい。或いは、プロジェクター１００ＡがＨＭＤ２００と通信する間はＨＭＤ２００を占有し、時分割で複数のプロジェクター１００Ａが順にＨＭＤ２００と通信する構成としてもよい。また、それぞれのプロジェクター１００ＡとＨＭＤ２００との通信を制御するサーバー装置（図示略）を通信ネットワーク４に接続してもよい。
具体的には、複数のプロジェクター１００ＡがＨＭＤ２００と同時に通信を実行可能な構成としてもよい。或いは、プロジェクター１００ＡがＨＭＤ２００と通信する間はＨＭＤ２００を占有し、時分割で複数のプロジェクター１００Ａが順にＨＭＤ２００と通信する構成としてもよい。また、それぞれのプロジェクター１００ＡとＨＭＤ２００との通信を制御するサーバー装置（図示略）を通信ネットワーク４に接続してもよい。
表示システム１Ａでは、複数のプロジェクター１００Ａが図７（Ａ）の動作を実行し、ＨＭＤ２００が、複数のプロジェクター１００Ａに対して図７（Ｂ）に示した動作を実行する。
ＨＭＤ２００は、撮像制御部３１３によりカメラ２６１を制御して撮像を実行して撮像画像データを取得する（ステップＳ２１）。ＨＭＤ２００は、作業情報生成部３１５により作業情報を生成し、作業情報のデータを通信制御部３１１によって、複数のプロジェクター１００Ａに送信する（ステップＳ２２）。
複数のプロジェクター１００Ａのそれぞれは、ＨＭＤ２００から送信される作業情報を、通信制御部３３により受信し、受信した作業情報を受信情報処理部３４により解析する（ステップＳ１１）。受信情報処理部３４は、受信した作業情報から撮像画像のデータを抽出して、投射制御部３２により、撮像画像を表示させる（ステップＳ１２）。これにより、援助サイトＡ、Ａ´において、各々のプロジェクター１００Ａが、ＨＭＤ２００の撮像画像を表示する。
プロジェクター１００Ａでは、援助者ＵＡの操作によりコンテンツが選択され（ステップＳ１３）、援助者ＵＡが被援助者ＵＢに指示等をするための操作が行われる（ステップＳ１４）。
本実施形態の適用例として、ＨＭＤ２００を装着する被援助者ＵＢが実行する作業について、複数の援助者ＵＡが、指示あるいは支援を行う例が挙げられる。例えば、プロジェクター１００Ａを使用する複数の援助者ＵＡと被援助者ＵＢとが参加者として、ブレインストーミングを行い、被援助者ＵＢが、書記としてホワイトボードや台紙への記入をする場合を挙げる。この場合、それぞれの援助者ＵＡが、被援助者ＵＢに対して、記入を行うアイデアの内容の伝達、記入する位置に関する指示を行う。
ステップＳ１３では、例えば、テキストと画像を含む支援用のコンテンツが選択される。このコンテンツが含むテキストは、援助者ＵＡが発する音声を制御部３０が音声認識により生成したテキストである。また、このコンテンツが含む画像は、アイデアの記入位置や記入形態の指示に用いられる画像である。ステップＳ１４では、例えば、アイデアの記入位置を指示する操作が行われる。ステップＳ１４の操作は、リモコン受光部１８または操作パネル１９の操作、或いは、援助者ＵＡがプロジェクター１００Ａの前方で指示体を動かす操作である。この操作は操作検出部３５により検出され（ステップＳ１５）、操作検出部３５は検出した操作のデータを生成する。
操作検出部３５は、検出した操作に基づいて、表示中の画像であるＨＭＤ２００の撮像画像に対応付けるデータを生成する（ステップＳ１６）。送信画像取得部３７は、ステップＳ１４の操作中に撮像部１５が撮像した撮像画像から指示体の画像を切り出し、或いは、記憶部５０から送信画像データ５４を読み出して、送信画像を取得する（ステップＳ１７）。
指示情報生成部３８は、送信画像取得部３７が取得した画像データと、コンテンツのデータと、操作の内容を示すデータと、操作位置をＨＭＤ２００の撮像画像と対応付けるデータとを含む指示情報を生成して送信する（ステップＳ１８）。
制御部３０は、動作の終了条件が成立したか否かを判定し（ステップＳ１９）、終了条件が成立していない場合は（ステップＳ１９；ＮＯ）、ステップＳ１１に戻る。また、終了条件が成立した場合は（ステップＳ１９；ＹＥＳ）、本処理を終了する。終了条件は上述した通りである。
制御部３０は、動作の終了条件が成立したか否かを判定し（ステップＳ１９）、終了条件が成立していない場合は（ステップＳ１９；ＮＯ）、ステップＳ１１に戻る。また、終了条件が成立した場合は（ステップＳ１９；ＹＥＳ）、本処理を終了する。終了条件は上述した通りである。
ＨＭＤ２００は、プロジェクター１００Ａが送信する指示情報を通信制御部３１１で受信し（ステップＳ２３）、受信した指示情報を受信情報解析部３１７が解析して、画像データやテキストデータを抽出する（ステップＳ２４）。抽出されたデータに基づき、表示位置算出部３２１が、画像やテキストを表示する位置を算出する（ステップＳ２５）。さらに、表示情報生成部３２５が、算出した表示位置に画像やテキストを配置した表示情報を生成して、画像処理部３０３及び表示制御部３０５により表示させる（ステップＳ２６）。
制御部３００は、動作の終了条件が成立したか否かを判定し（ステップＳ２７）、終了条件が成立していない場合は（ステップＳ２７；ＮＯ）、ステップＳ２２に戻る。ステップＳ２３で、ＨＭＤ２００は、複数のプロジェクター１００Ａから指示情報を受信可能である。ＨＭＤ２００は、指示情報を受信するごとに、ステップＳ２３〜Ｓ２６の動作を実行する。このため、終了条件が成立していない場合（ステップＳ２７；ＮＯ）に、制御部３００は、ステップＳ２３に戻って、他の指示情報の受信を待機してもよい。終了条件が成立した場合（ステップＳ２７；ＹＥＳ）、制御部３００は、本処理を終了する。
このように、表示システム１Ａでは、複数の援助者ＵＡがプロジェクター１００Ａを利用して、被援助者ＵＢが装着するＨＭＤ２００との通信を実行することにより、それぞれの援助者ＵＡが被援助者ＵＢに対して情報を送ることができる。
従って、援助サイトＡ、Ａ´及び被援助サイトＢを含む多地点における同時作業のような運用が可能となる。上記のブレインストーミングの例のように、援助サイトＡ、Ａ´及び被援助サイトＢを含む多地点間の遠隔地会議を実現できる。この例では、それぞれの援助者ＵＡの指示により、被援助者ＵＢが、会議を進行させ、連関図や系統図を並び替えて作成する作業を行うことができる。
従って、援助サイトＡ、Ａ´及び被援助サイトＢを含む多地点における同時作業のような運用が可能となる。上記のブレインストーミングの例のように、援助サイトＡ、Ａ´及び被援助サイトＢを含む多地点間の遠隔地会議を実現できる。この例では、それぞれの援助者ＵＡの指示により、被援助者ＵＢが、会議を進行させ、連関図や系統図を並び替えて作成する作業を行うことができる。
［第５実施形態］
図１４は、第５実施形態における表示システム１Ｂの概略構成を示す図である。
この図１４に示す表示システム１Ｂは、援助サイトＡだけでなく、被援助サイトＢ、Ｃにおいてもプロジェクターを使用する。被援助サイトＢ、Ｃに設置されるプロジェクターは、被援助者ＵＢ、ＵＣ用のプロジェクター１００Ｂであり、基本的な構成はプロジェクター１００Ａと共通である。以下では、プロジェクター１００Ａ、１００Ｂを区別する必要のない場合、プロジェクター１００と記載する。
プロジェクター１００Ｂは、通信ネットワーク４に接続され、通信ネットワーク４を介してプロジェクター１００Ａと相互にデータ通信可能である。プロジェクター１００Ｂは、例えばＨＭＤ２００と同様に、無線アクセスポイントを介して通信ネットワーク４に接続されてもよい。
図１４は、第５実施形態における表示システム１Ｂの概略構成を示す図である。
この図１４に示す表示システム１Ｂは、援助サイトＡだけでなく、被援助サイトＢ、Ｃにおいてもプロジェクターを使用する。被援助サイトＢ、Ｃに設置されるプロジェクターは、被援助者ＵＢ、ＵＣ用のプロジェクター１００Ｂであり、基本的な構成はプロジェクター１００Ａと共通である。以下では、プロジェクター１００Ａ、１００Ｂを区別する必要のない場合、プロジェクター１００と記載する。
プロジェクター１００Ｂは、通信ネットワーク４に接続され、通信ネットワーク４を介してプロジェクター１００Ａと相互にデータ通信可能である。プロジェクター１００Ｂは、例えばＨＭＤ２００と同様に、無線アクセスポイントを介して通信ネットワーク４に接続されてもよい。
表示システム１Ｂは、作業を行う被援助者ＵＢがプロジェクター１００Ｂを使用し、被援助者ＵＢに対して指示や管理を行う援助者ＵＡがプロジェクター１００Ａを使用する。援助者ＵＡと被援助者ＵＢの間で指示や管理のための情報を送受信することにより、援助者ＵＡが被援助者ＵＢに対して、作業の手順や内容に関する情報の提供、作業の支援を可能とする。
援助者ＵＡはプロジェクター１００Ａの操作者であり、被援助者ＵＢはプロジェクター１００Ｂの操作者に相当する。
援助者ＵＡはプロジェクター１００Ａの操作者であり、被援助者ＵＢはプロジェクター１００Ｂの操作者に相当する。
図１４に示すように、表示システム１Ｂは、被援助サイトＣの被援助者ＵＣが使用するプロジェクター１００Ｂを備え、複数のプロジェクター１００Ｂを含む構成であってもよい。この場合、援助サイトＡにいる援助者ＵＡが、被援助サイトＢ、Ｃのそれぞれの被援助者ＵＢ、ＵＣに対して情報を提供できる。また、被援助サイトＢの被援助者ＵＢのみがプロジェクター１００Ｂを使用する構成とすることも勿論可能である。なお以下において、被援助者ＵＢが使用するプロジェクター１００Ｂについての説明は、被援助者ＵＣが使用するプロジェクター１００Ｂについても同様である。
プロジェクター１００Ｂの設置状態は、図２に示したプロジェクター１００Ａの設置状態と共通の設置状態とすることができる。
プロジェクター１００Ｂは、作業用のテーブルに固定され、テーブルの上面である作業台Ｔ（図２）に対して画像を投射（表示）する。プロジェクター１００Ｂは作業台Ｔの表示領域に画像を表示する。プロジェクター１００Ｂが画像を投射（表示）する表示領域は、プロジェクター１００Ａの表示領域ＤＡと同様である。この領域を表示領域ＤＢとする。
被援助サイトＢにおいても、作業台Ｔは、人が立って作業を行う場合に作業場所として使用可能な高さに設定され、好ましくは平面であり、作業用の台座（図示略）等が設置されていてもよく、この作業台Ｔに作業対象物ＯＢを置くことができる。被援助サイトＢの被援助者ＵＢは、それぞれ、図２に示すように作業台Ｔに手を載せて作業対象物ＯＢに対する作業を行うことができる。そして、プロジェクター１００Ｂは、作業台Ｔにの作業対象物ＯＢに重なるように、画像光を投射して、画像を表示できる。被援助者ＵＢは、それぞれ、プロジェクター１００Ｂの表示画像を見ながら作業台Ｔで作業を行える。
プロジェクター１００Ｂは、作業用のテーブルに固定され、テーブルの上面である作業台Ｔ（図２）に対して画像を投射（表示）する。プロジェクター１００Ｂは作業台Ｔの表示領域に画像を表示する。プロジェクター１００Ｂが画像を投射（表示）する表示領域は、プロジェクター１００Ａの表示領域ＤＡと同様である。この領域を表示領域ＤＢとする。
被援助サイトＢにおいても、作業台Ｔは、人が立って作業を行う場合に作業場所として使用可能な高さに設定され、好ましくは平面であり、作業用の台座（図示略）等が設置されていてもよく、この作業台Ｔに作業対象物ＯＢを置くことができる。被援助サイトＢの被援助者ＵＢは、それぞれ、図２に示すように作業台Ｔに手を載せて作業対象物ＯＢに対する作業を行うことができる。そして、プロジェクター１００Ｂは、作業台Ｔにの作業対象物ＯＢに重なるように、画像光を投射して、画像を表示できる。被援助者ＵＢは、それぞれ、プロジェクター１００Ｂの表示画像を見ながら作業台Ｔで作業を行える。
プロジェクター１００Ｂは、作業台Ｔを撮像する機能を有する。プロジェクター１００Ｂが撮像する範囲は、表示領域ＤＢの少なくとも一部を含み、この範囲を撮像範囲ＰＢとする。プロジェクター１００Ｂは、撮像範囲を示す撮像境界線ＢＬを作業台Ｔに表示する。撮像境界線ＢＬは、撮像範囲ＰＢの外縁を示す境界線であり、人が視認可能な表示色で表示される。撮像境界線ＢＬ及び撮像範囲ＰＢの態様は、図２の撮像境界線ＢＬ及び撮像範囲ＰＡと同様である。
プロジェクター１００Ｂの撮像機能により、撮像範囲ＰＢで被援助者ＵＢが行う作業の様子を撮像できる。表示システム１Ｂは、プロジェクター１００Ｂが被援助者ＵＢの作業の様子を撮像し、撮像画像を含む作業情報をプロジェクター１００Ａに送信する機能を有する。プロジェクター１００Ａは、作業情報を受信して、プロジェクター１００Ｂの撮像画像を含む画像を表示する。
援助者ＵＡは、上記第１〜第４実施形態と同様に、プロジェクター１００Ａを操作し、説明用のコンテンツの選択、指示体（例えば、腕、手または指）を動かす動作等を行う。これにより、プロジェクター１００Ａからプロジェクター１００Ｂに、選択されたコンテンツ及び指示体の動きを示すデータを含む指示情報（案内情報）が送信される。ここで、援助者ＵＡは、プロジェクター１００Ａが表示する被援助者ＵＢの作業を示す画像を見ながら、操作を行う。プロジェクター１００Ｂは、プロジェクター１００Ａが送信する指示情報を受信して、指示情報に基づく画像を作業台Ｔに表示する。これにより、プロジェクター１００Ａが撮像する援助者ＵＡの操作や指示コンテンツに含まれる画像を、プロジェクター１００Ｂが表示して被援助者ＵＢに見せることができ、被援助者ＵＢの作業に関する指示や助言を行える。また、被援助者ＵＢは、コンテンツの画像や指示体の動きを見ながら作業を行うことができる。
援助者ＵＡは、上記第１〜第４実施形態と同様に、プロジェクター１００Ａを操作し、説明用のコンテンツの選択、指示体（例えば、腕、手または指）を動かす動作等を行う。これにより、プロジェクター１００Ａからプロジェクター１００Ｂに、選択されたコンテンツ及び指示体の動きを示すデータを含む指示情報（案内情報）が送信される。ここで、援助者ＵＡは、プロジェクター１００Ａが表示する被援助者ＵＢの作業を示す画像を見ながら、操作を行う。プロジェクター１００Ｂは、プロジェクター１００Ａが送信する指示情報を受信して、指示情報に基づく画像を作業台Ｔに表示する。これにより、プロジェクター１００Ａが撮像する援助者ＵＡの操作や指示コンテンツに含まれる画像を、プロジェクター１００Ｂが表示して被援助者ＵＢに見せることができ、被援助者ＵＢの作業に関する指示や助言を行える。また、被援助者ＵＢは、コンテンツの画像や指示体の動きを見ながら作業を行うことができる。
図１５は、プロジェクター１００Ｂの構成を示す機能ブロック図である。
プロジェクター１００Ｂの構成は、制御部６０が実行するプログラム及び当該プログラムにより実現される機能、記憶部８０が記憶するデータ等を除き、基本的にプロジェクター１００Ａと共通である。従って、プロジェクター１００Ａと共通する構成については、説明を省略する。具体的には、インターフェイス部１１、画像インターフェイス部１２、通信部１３、音声入出力部１４、撮像部１５、操作取得部１７、リモコン受光部１８、及び操作パネル１９の構成は共通とすることができる。また、投射部２０、光源部２１、光変調装置２２、投射光学系２３、画像処理部４０、フレームメモリー４４、光源駆動部４５、及び音声処理部４９の構成も共通とすることができる。
プロジェクター１００Ｂの構成は、制御部６０が実行するプログラム及び当該プログラムにより実現される機能、記憶部８０が記憶するデータ等を除き、基本的にプロジェクター１００Ａと共通である。従って、プロジェクター１００Ａと共通する構成については、説明を省略する。具体的には、インターフェイス部１１、画像インターフェイス部１２、通信部１３、音声入出力部１４、撮像部１５、操作取得部１７、リモコン受光部１８、及び操作パネル１９の構成は共通とすることができる。また、投射部２０、光源部２１、光変調装置２２、投射光学系２３、画像処理部４０、フレームメモリー４４、光源駆動部４５、及び音声処理部４９の構成も共通とすることができる。
制御部６０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部６０は、上記ＲＯＭまたは記憶部８０が記憶するコンピュータープログラムを読み出して実行することにより、プロジェクター１００Ｂの各部を制御する。
制御部６０は、上記プログラムを実行し、オペレーティングシステム（ＯＳ）３１、投射制御部６２、及び通信制御部６３として機能する。また、制御部６０は、上記プログラムを実行し、受信情報処理部３４、操作検出部３５、操作時表示制御部３６、送信画像取得部３７、指示情報生成部３８、及び、音声処理部４９として機能する。
制御部６０は、上記プログラムを実行し、オペレーティングシステム（ＯＳ）３１、投射制御部６２、及び通信制御部６３として機能する。また、制御部６０は、上記プログラムを実行し、受信情報処理部３４、操作検出部３５、操作時表示制御部３６、送信画像取得部３７、指示情報生成部３８、及び、音声処理部４９として機能する。
記憶部８０は、記憶部５０と同様の不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。記憶部８０は、制御部６０が実行するオペレーティングシステムを含む各種のプログラム、および、制御部６０が処理するデータを不揮発的に記憶する。記憶部８０は、設定データ８１を記憶する。設定データ８１は、制御部６０が使用する各種の設定値を含む。設定データ８１が含む設定値は、予め操作取得部１７が検出する操作で入力された値であってもよいし、通信部１３またはインターフェイス部１１を介して外部の装置（図示略）から設定値を受信して記憶してもよい。
記憶部８０は、検出用データ８２、及び、メニュー画像データ８３を記憶する。
検出用データ８２は、画像データから作業対象物ＯＢの画像を検出するために利用されるデータである。作業対象物ＯＢは、プロジェクター１００Ｂを使用する被援助者ＵＢが行う作業の対象であり、作業時に作業台Ｔに配置されると考えることができる。
検出用データ８２は、例えば、画像データから作業対象物ＯＢの画像を抽出する処理に用いるデータを含み、より具体的には、作業対象物ＯＢの画像の特徴量のデータを含む。特徴量は、色の特徴量であっても形状の特徴量であってもよく、処理対象の画像データの色数や解像度に対応して、複数の特徴量を含んでもよい。表示システム１Ｂでは、被援助者ＵＢが作業対象とする作業対象物ＯＢが事前に判明している場合に、この作業対象物ＯＢに関する検出用データ８２が、記憶部８０に記憶される。
検出用データ８２は、画像データから作業対象物ＯＢの画像を検出するために利用されるデータである。作業対象物ＯＢは、プロジェクター１００Ｂを使用する被援助者ＵＢが行う作業の対象であり、作業時に作業台Ｔに配置されると考えることができる。
検出用データ８２は、例えば、画像データから作業対象物ＯＢの画像を抽出する処理に用いるデータを含み、より具体的には、作業対象物ＯＢの画像の特徴量のデータを含む。特徴量は、色の特徴量であっても形状の特徴量であってもよく、処理対象の画像データの色数や解像度に対応して、複数の特徴量を含んでもよい。表示システム１Ｂでは、被援助者ＵＢが作業対象とする作業対象物ＯＢが事前に判明している場合に、この作業対象物ＯＢに関する検出用データ８２が、記憶部８０に記憶される。
メニュー画像データ８３は、投射部２０によりメニュー画像を表示するための画像のデータである。メニュー画像は、例えば、操作用のアイコンが列をなして配置されたメニューバー、或いは、アイコンが円形の枠内に配置されたダイヤル型のメニュー等である。
記憶部８０が記憶する検出用データ８２は、記憶部５０（図３）が記憶する設定データ５１と同一であってもよいし、設定データ５１とは異なるデータであってもよい。また、メニュー画像データ８５は、記憶部５０が記憶するメニュー画像データ５３と同一であってもよいし、異なるデータであってもよい。
画像処理部４０は、制御部６０の制御に従って画像データを処理し、光変調装置駆動部４６に画像信号を出力する。画像処理部４０が実行する処理は、３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等である。画像処理部４０は、制御部６０により指定された処理を実行し、必要に応じて、制御部６０から入力されるパラメーターを使用して処理を行う。また、上記のうち複数の処理を組み合わせて実行することも勿論可能である。
投射制御部６２は、操作取得部１７により検出した操作、及び、制御部６０が実行するプログラムに応じて、画像処理部４０、光源駆動部４５、及び光変調装置駆動部４６を制御して、投射部２０により画像を投射（表示）する。ここで、投射制御部６２は、画像処理部４０を制御して、上述した３Ｄ（立体）画像と２Ｄ（平面）画像の判別処理、解像度変換処理、フレームレート変換処理、歪み補正処理、デジタルズーム処理、色調補正処理、輝度補正処理等を実行させてもよい。また、投射制御部６２は、画像処理部４０の処理に合わせて光源駆動部４５を制御し、光源部２１の光量を制御してもよい。
通信制御部６３は、通信部１３を制御して、プロジェクター１００Ａとの間の通信を制御する。通信制御部６３は、プロジェクター１００Ａから作業情報を受信し、受信した指示情報を受信情報解析部６６に出力する。また、通信制御部６３は、作業情報生成部６５が生成する作業情報を、プロジェクター１００Ａに送信する。
撮像制御部６４は、撮像部１５を制御して撮像を実行させ、撮像画像データを取得する。
作業情報生成部６５は、プロジェクター１００Ａに送信する作業情報を生成する。作業情報生成部６５は、撮像部１５の撮像画像データを取得する。また、作業情報生成部６５は、操作取得部１７により検出される操作の内容を示すデータを取得してもよく、この場合、撮像部１５の撮像画像データ、及び、操作内容のデータを含む作業情報を生成する。作業情報生成部６５は、撮像部１５の撮像画像データそのものに限らず、撮像画像データをもとに生成する画像データを含む作業情報を生成してもよい。
受信情報解析部６６は、通信制御部６３が受信するデータを解析する。本実施形態では、受信情報解析部６６は、通信制御部６３がプロジェクター１００Ａから受信する指示情報に含まれる指示体の画像データ、コンテンツの画像データ、音声データ、及び、その他の等を抽出する。また、受信情報解析部６６は、通信制御部６３が受信した指示情報から、指示体の位置や動きを示すデータを抽出する。
作業情報生成部６５は、プロジェクター１００Ａに送信する作業情報を生成する。作業情報生成部６５は、撮像部１５の撮像画像データを取得する。また、作業情報生成部６５は、操作取得部１７により検出される操作の内容を示すデータを取得してもよく、この場合、撮像部１５の撮像画像データ、及び、操作内容のデータを含む作業情報を生成する。作業情報生成部６５は、撮像部１５の撮像画像データそのものに限らず、撮像画像データをもとに生成する画像データを含む作業情報を生成してもよい。
受信情報解析部６６は、通信制御部６３が受信するデータを解析する。本実施形態では、受信情報解析部６６は、通信制御部６３がプロジェクター１００Ａから受信する指示情報に含まれる指示体の画像データ、コンテンツの画像データ、音声データ、及び、その他の等を抽出する。また、受信情報解析部６６は、通信制御部６３が受信した指示情報から、指示体の位置や動きを示すデータを抽出する。
指示検出部６７は、受信情報解析部６６が抽出したデータから、指示体による操作を行うことを示すデータを検出する。例えば、援助者ＵＡはプロジェクター１００Ａを操作して、指示体による位置指示操作を行い、この位置指示操作によってプロジェクター１００Ｂを制御することが可能である。この場合、プロジェクター１００Ａが送信する指示情報に含まれる位置指示操作に関するデータを、プロジェクター１００Ｂが、ＧＵＩの操作として検出する。プロジェクター１００Ａが送信する指示情報には、援助者ＵＡの操作をＧＵＩの操作として検出するか否かを指定するデータが含まれ、このデータを指示検出部６７が検出する。
表示位置算出部６８は、受信情報解析部６６が抽出した画像データに基づき画像を表示する位置を算出する。受信情報解析部６６が抽出する画像データは、指示体の画像データ、コンテンツの画像データ、及びその他の画像データである。これらのデータに基づき、表示位置算出部６８は、指示体の画像の表示位置、コンテンツの画像データの表示位置、及び、その他の画像の表示位置を算出する。また、表示位置算出部６８は、各画像の表示サイズを算出してもよい。また、指示検出部６７が、援助者ＵＡの操作をＧＵＩの操作とすることを指示するデータを検出した場合、表示位置算出部６８は、ＧＵＩ操作を行うためのメニュー画像の表示位置を算出する。投射制御部６２は、表示位置算出部６８が算出した表示位置に基づいて、画像処理部４０により画像データの処理を実行させ、投射部２０で画像を表示する。
操作検出部６９は、受信情報解析部６６が抽出した指示体の位置や動きを示すデータをＧＵＩの操作として検出する場合に、操作を検出する。操作検出部６９は、表示位置算出部６８が算出したメニュー画像のアイコン等の表示位置と、指示体の画像の表示位置とに基づき、ＧＵＩの操作を検出する。
表示情報生成部７０は、投射部２０により表示する画面の表示情報を生成する。表示情報生成部７０は、受信情報解析部６６が抽出する画像データに基づく画像を、表示位置算出部６８が算出した表示位置に配置して、一画面分の表示情報を生成する。表示情報生成部７０が生成する表示情報は、投射制御部６２の制御により投射部２０に送信され、投射部２０が表示する。
このように構成される表示システム１Ｂにおいて、プロジェクター１００Ｂは第１表示装置に相当し、プロジェクター１００Ａは第２表示装置に相当する。
プロジェクター１００Ｂが備える通信部１３は第１通信部に相当し、撮像部１５は第１撮像部に相当し、投射部２０は第１表示部に相当し、表示領域ＤＢは第１表示領域に相当し、制御部６０は第１制御部に相当する。また、記憶部８０は第１記憶部ということができる。
プロジェクター１００Ｂが備える通信部１３は第１通信部に相当し、撮像部１５は第１撮像部に相当し、投射部２０は第１表示部に相当し、表示領域ＤＢは第１表示領域に相当し、制御部６０は第１制御部に相当する。また、記憶部８０は第１記憶部ということができる。
表示システム１Ｂにおけるプロジェクター１００Ａ、１００Ｂの動作は、図７を参照して説明した動作と同様である。
すなわち、表示システム１Ｂのプロジェクター１００Ａは図７（Ａ）の動作を実行できる。また、プロジェクター１００Ｂは、図７（Ｂ）の動作を実行する。
すなわち、表示システム１Ｂのプロジェクター１００Ａは図７（Ａ）の動作を実行できる。また、プロジェクター１００Ｂは、図７（Ｂ）の動作を実行する。
プロジェクター１００Ｂでは、撮像制御部６４が撮像部１５を制御して撮像を実行して撮像画像データを取得する（ステップＳ２１）。
作業情報生成部６５は、ステップＳ２１の撮像画像データを含む作業情報を生成し、このデータを通信制御部６３がプロジェクター１００Ａに送信する（ステップＳ２２）。ステップＳ２２で、作業情報生成部６５は、操作取得部１７により検出した操作に関するデータを作業情報に含めてもよい。
作業情報生成部６５は、ステップＳ２１の撮像画像データを含む作業情報を生成し、このデータを通信制御部６３がプロジェクター１００Ａに送信する（ステップＳ２２）。ステップＳ２２で、作業情報生成部６５は、操作取得部１７により検出した操作に関するデータを作業情報に含めてもよい。
プロジェクター１００Ａは、プロジェクター１００Ｂから送信された作業情報を、通信制御部３３が受信し、受信した作業情報を受信情報処理部３４が解析する（ステップＳ１１）。受信情報処理部３４は、受信した作業情報から撮像画像のデータを抽出して、投射制御部３２により、撮像画像を表示させる（ステップＳ１２）。
プロジェクター１００Ａでは、援助者ＵＡの操作によりコンテンツが選択され（ステップＳ１３）、援助者ＵＡが被援助者ＵＢに指示等をするための操作が行われる（ステップＳ１４）。ステップＳ１４の操作は、リモコン受光部１８または操作パネル１９の操作、或いは、援助者ＵＡがプロジェクター１００Ａの前方で指示体を動かす操作である。この操作は操作検出部３５により検出され（ステップＳ１５）、操作検出部３５は検出した操作のデータを生成する。
操作検出部３５は、検出した操作の操作位置や操作の軌跡を、表示中のプロジェクター１００Ｂの撮像画像に対応付けるデータを生成する（ステップＳ１６）。送信画像取得部３７は、ステップＳ１４の操作中に撮像部１５が撮像した撮像画像から指示体の画像を切り出し、或いは、記憶部５０から送信画像データ５４を読み出して、送信画像を取得する（ステップＳ１７）。
指示情報生成部３８は、指示情報を生成して送信する（ステップＳ１８）。ここで、指示情報は、例えば、送信画像取得部３７が取得した指示体の画像の画像データと、操作位置や操作の軌跡を示すデータと、操作位置や操作の軌跡をプロジェクター１００Ｂの撮像画像と対応付けるデータとを含む。
制御部３０は、動作の終了条件が成立したか否かを判定し（ステップＳ１９）、終了条件が成立していない場合は（ステップＳ１９；ＮＯ）、ステップＳ１１に戻る。また、終了条件が成立した場合は（ステップＳ１９；ＹＥＳ）、本処理を終了する。終了条件は上述した通りである。
プロジェクター１００Ｂは、プロジェクター１００Ａが送信する指示情報を通信制御部６３で受信し（ステップＳ２３）、受信した指示情報を受信情報解析部６６が解析して画像データを抽出する（ステップＳ２４）。次いで、表示位置算出部６８が各画像データに基づいて画像を表示する位置を算出する（ステップＳ２５）。さらに、表示情報生成部７０が、算出した表示位置に画像を配置した表示情報を生成して、投射制御部６２により表示させる（ステップＳ２６）。
制御部６０は、動作の終了条件が成立したか否かを判定し（ステップＳ２７）、終了条件が成立していない場合は（ステップＳ２７；ＮＯ）、ステップＳ２２に戻る。また、終了条件が成立した場合は（ステップＳ２７；ＹＥＳ）、本処理を終了する。終了条件は、例えばリモコン受光部１８または操作パネル１９の操作により、動作終了やプロジェクター１００Ｂのシャットダウンが指示されること等が挙げられる。
制御部６０は、動作の終了条件が成立したか否かを判定し（ステップＳ２７）、終了条件が成立していない場合は（ステップＳ２７；ＮＯ）、ステップＳ２２に戻る。また、終了条件が成立した場合は（ステップＳ２７；ＹＥＳ）、本処理を終了する。終了条件は、例えばリモコン受光部１８または操作パネル１９の操作により、動作終了やプロジェクター１００Ｂのシャットダウンが指示されること等が挙げられる。
図１６は、表示システム１Ｂにおける表示例を示す図であり、（Ａ）はプロジェクター１００Ａの表示例を示し、（Ｂ）はプロジェクター１００Ｂの表示例を示す。また、（Ｃ）はプロジェクター１００Ａの別の表示例を示す。
上述したように、プロジェクター１００Ａの指示情報生成部３８が生成する指示情報において、操作と作業情報とを関連付ける情報、或いは、作業情報に含まれる撮像画像に対応付ける情報の具体的な態様は、特に制限されない。上記の例では、操作位置や操作の軌跡をプロジェクター１００Ｂの撮像画像と対応付けるデータとして説明したが、単に操作位置や操作の軌跡そのものを上記情報としてもよい。また、ファイル名による対応付け、データのタイプ、ＩＤ、属性、位置等により、操作位置や操作の軌跡をプロジェクター１００Ｂの撮像画像と対応付けるデータであってもよく、結果として対応を認識できる情報であればよい。
図１６（Ａ）に示すように、プロジェクター１００Ａは、作業台Ｔの表示領域ＤＡに画像を表示する。この表示状態は、例えば、図８（Ａ）に図示した状態と同様である。
また、図１６（Ｂ）に示すように、被援助サイトＢの作業台Ｔにおいては、表示領域ＤＢに、指示画像４２１が表示される。作業台Ｔには実空間の物体である作業対象物ＯＢが置かれており、作業対象物ＯＢに重なるように、指示位置４０５を示すマーク、及び、指示体画像４２２が表示される。指示体画像４２２は、指示位置４０５を、援助者ＵＡが指示体２で指し示した場合と同じ向きで表示される画像であり、図１６（Ｂ）の例ではプロジェクター１００Ａが撮像部１５で撮像した撮像画像を利用している。なお、指示体画像４２２の種類や表示態様については、第１実施形態と同様とすることができる。
また、図１６（Ｂ）に示すように、被援助サイトＢの作業台Ｔにおいては、表示領域ＤＢに、指示画像４２１が表示される。作業台Ｔには実空間の物体である作業対象物ＯＢが置かれており、作業対象物ＯＢに重なるように、指示位置４０５を示すマーク、及び、指示体画像４２２が表示される。指示体画像４２２は、指示位置４０５を、援助者ＵＡが指示体２で指し示した場合と同じ向きで表示される画像であり、図１６（Ｂ）の例ではプロジェクター１００Ａが撮像部１５で撮像した撮像画像を利用している。なお、指示体画像４２２の種類や表示態様については、第１実施形態と同様とすることができる。
プロジェクター１００Ｂは作業台Ｔに固定されて表示領域ＤＢに画像を投射するが、被援助者ＵＢの位置は、図２のようにプロジェクター１００Ａ、１００Ｂに対向する位置に限定されない。援助者ＵＡ及び被援助者ＵＢは、それぞれ、作業台Ｔに対して任意の方向から手等を伸ばして作業を行えるので、援助者ＵＡと被援助者ＵＢが表示領域ＤＡ、ＤＢを同じ方向から見るとは限らない。
このため、援助者ＵＡが行った操作や指示についてプロジェクター１００Ｂで表示する場合、援助者ＵＡが操作や指示を行ったときの援助者ＵＡの位置や視点、或いは視線方向を反映するように、表示することが好ましい。図１６（Ｂ）の例では、指示位置４０５を示す画像や記号（マーク）を表示するだけでなく、指示位置４０５を指し示したときの援助者ＵＡの身体の向きを、被援助者ＵＢが把握できる方が、より正確な指示或いは案内を行える。このため、プロジェクター１００Ａは、操作を行う援助者ＵＡの視点または視線方向を示す画像（例えば、図１６（Ｂ）の指示体画像４２２）を表示するためのデータを指示情報に含めて送信する。また、プロジェクター１００Ｂは、指示情報に基づき、操作を行う援助者ＵＡの視点または視線方向を示す画像を表示する。
このため、援助者ＵＡが行った操作や指示についてプロジェクター１００Ｂで表示する場合、援助者ＵＡが操作や指示を行ったときの援助者ＵＡの位置や視点、或いは視線方向を反映するように、表示することが好ましい。図１６（Ｂ）の例では、指示位置４０５を示す画像や記号（マーク）を表示するだけでなく、指示位置４０５を指し示したときの援助者ＵＡの身体の向きを、被援助者ＵＢが把握できる方が、より正確な指示或いは案内を行える。このため、プロジェクター１００Ａは、操作を行う援助者ＵＡの視点または視線方向を示す画像（例えば、図１６（Ｂ）の指示体画像４２２）を表示するためのデータを指示情報に含めて送信する。また、プロジェクター１００Ｂは、指示情報に基づき、操作を行う援助者ＵＡの視点または視線方向を示す画像を表示する。
このように、表示システム１Ｂでは、プロジェクター１００Ａが、プロジェクター１００Ｂの撮像画像を含む援助者用画面４０２を表示するので、援助者ＵＡは、被援助者ＵＢの作業環境を見ながら作業に関する指示等を行うことができる。また、援助者ＵＡが指示体２で指示した指示位置、及び、指示を行ったときの援助者ＵＡの視点または視線方向を示すデータを含む指示情報がプロジェクター１００Ｂに送信される。このため、プロジェクター１００Ｂは、援助者ＵＡの指示あるいは操作の位置、内容、様子を見ることができ、この場合の援助者ＵＡの視点または視線方向を知ることができる。
さらに、プロジェクター１００Ｂは、実空間の物体である作業対象物ＯＢの位置に対応する位置に、指示位置４０５を示すマークと指示体画像４２２とを表示する。この表示位置は、表示位置算出部６８が作業対象物ＯＢの位置を特定し、この特定した作業対象物ＯＢの位置に対応して決定する位置である。従って、作業対象物ＯＢに重なって、或いは作業対象物ＯＢに対応する位置に、情報をＡＲ表示できる。ここで、指示体画像４２２を表示するための画像データをプロジェクター１００Ｂの記憶部８０に記憶しておき、プロジェクター１００Ａがプロジェクター１００Ｂに送信する指示情報に、プロジェクター１００Ｂが記憶する画像を指定するデータを含めても良い。
また、表示システム１Ｂが備える複数のプロジェクター１００Ｂがプロジェクター１００Ａと通信を実行することにより、プロジェクター１００Ａは、複数のプロジェクター１００Ｂから作業情報を受信して表示できる。この場合の表示例を図１６（Ｃ）に示す。
図１６（Ｃ）の表示例は、上記第１実施形態で、図８（Ｃ）を参照して説明した通りである。すなわち、図１６（Ｃ）に示すように、表示領域ＤＡには２つの表示領域４０９、４１０が配置され、表示領域４０９には一方のプロジェクター１００Ｂが送信した作業情報に基づく画像が表示される。また、表示領域４１０には他方のプロジェクター１００Ｂが送信した作業情報に基づく画像が表示される。これら表示領域４０９、４１０に表示された画像に対し、指示体２による指示が行われた場合、プロジェクター１００Ａは、指示された位置に対応する作業情報を送信したプロジェクター１００Ｂに対して、指示情報を生成して送信する。
図１６（Ｃ）の表示例は、上記第１実施形態で、図８（Ｃ）を参照して説明した通りである。すなわち、図１６（Ｃ）に示すように、表示領域ＤＡには２つの表示領域４０９、４１０が配置され、表示領域４０９には一方のプロジェクター１００Ｂが送信した作業情報に基づく画像が表示される。また、表示領域４１０には他方のプロジェクター１００Ｂが送信した作業情報に基づく画像が表示される。これら表示領域４０９、４１０に表示された画像に対し、指示体２による指示が行われた場合、プロジェクター１００Ａは、指示された位置に対応する作業情報を送信したプロジェクター１００Ｂに対して、指示情報を生成して送信する。
また、複数のプロジェクター１００Ｂのうち、いずれかのプロジェクター１００Ｂにプロジェクター１００Ａが送信する指示情報を、他のプロジェクター１００Ｂに送信してもよい。この場合、いずれかのプロジェクター１００Ｂが、図７（Ｂ）の動作により送信する作業情報に対応して、プロジェクター１００Ａが指示情報を生成すると、この指示情報が他のプロジェクター１００Ｂにも送信される。この例では、いずれかの被援助者ＵＢに対して送信した指示情報の内容を、他の被援助者ＵＢが知ることができる。
以上説明したように、第５実施形態に係る表示システム１Ｂは、プロジェクター１００Ｂ及びプロジェクター１００Ａを備える。プロジェクター１００Ｂは、表示領域ＤＢに画像を表示する投射部２０と、撮像部１５と、プロジェクター１００Ａと通信を実行する通信部１３とを備える。プロジェクター１００Ｂは、制御部６０の制御により、撮像部１５の撮像範囲を示す撮像境界線ＢＬを投射部２０により表示し、通信部１３によりプロジェクター１００Ａから指示情報を受信し、指示情報に基づく画像を投射部２０により表示する。プロジェクター１００Ａは、表示領域ＤＡに画像を表示する投射部２０と、プロジェクター１００Ｂと通信を実行する通信部１３と、操作を検出する操作検出部３５とを備える。プロジェクター１００Ａは、制御部３０の制御により、操作検出部３５が検出する操作を示す情報を含む指示情報を生成して、通信部１３で送信する。プロジェクター１００Ｂは、制御部６０により、プロジェクター１００Ａから受信する指示情報に基づいて、プロジェクター１００Ａの操作検出部３５が検出した操作に対応する画像を表示する。さらに、プロジェクター１００Ｂは、操作を行う援助者ＵＡの視点または視線方向を示す画像を投射部２０により表示する。
このように構成される表示システム１Ｂ、プロジェクター１００Ｂ、及び、表示システム１を利用した情報表示方法を実行することにより、次の作用効果が得られる。すなわち、プロジェクター１００Ｂによって、プロジェクター１００Ａにおいて行われる操作に関する画像を表示し、被援助者ＵＢに対し、プロジェクター１００Ａを操作することで情報を提供できる。また、プロジェクター１００Ｂが表示する画像や情報の適正な向きを案内することができるので、被援助者ＵＢが画像や情報の向きを誤解することなく、適切に情報を提供できる。
表示システム１Ａは、表示システム１と同様の効果を奏するものである。また、表示システム１Ｂは、ＨＭＤ２００をプロジェクター１００Ｂに置き換えることによる差異を除き、表示システム１と同様の各種の効果を奏する。
表示システム１Ａの適用例については、表示システム１の適用例と同様に様々な具体例が挙げられる。表示システム１Ｂの適用例についても同様である。
表示システム１Ｂは、例えば、被援助者ＵＢが機器を操作する作業を行う場合に、機器の操作を説明し、案内するなど、遠隔地から援助者ＵＡが機器の操作に関する情報を提供して、作業を支援する目的で使用できる。具体例としては、上述のように、パーソナルコンピューターを作業対象物とするセットアップやアプリケーションプログラムの操作、工作機械、工業機械、家庭用各種電子機器などの機械を作業対象物とする操作やメンテナンスが挙げられる。
表示システム１Ａの適用例については、表示システム１の適用例と同様に様々な具体例が挙げられる。表示システム１Ｂの適用例についても同様である。
表示システム１Ｂは、例えば、被援助者ＵＢが機器を操作する作業を行う場合に、機器の操作を説明し、案内するなど、遠隔地から援助者ＵＡが機器の操作に関する情報を提供して、作業を支援する目的で使用できる。具体例としては、上述のように、パーソナルコンピューターを作業対象物とするセットアップやアプリケーションプログラムの操作、工作機械、工業機械、家庭用各種電子機器などの機械を作業対象物とする操作やメンテナンスが挙げられる。
これらの例において、作業対象の作業対象物ＯＢとして、工作機械、工業機械、家庭用各種電子機器などの機械、パーソナルコンピューター等を、作業台Ｔに設置することができる。また、これらの機器やパーソナルコンピューター等が設置された位置を、作業台Ｔを見なすこともできる。この場合、プロジェクター１００Ｂを、作業対象である工作機械、工業機械、家庭用各種電子機器などの機械、パーソナルコンピューター等の設置場所が表示領域ＤＢに含まれるように配置すればよい。例えば、プロジェクター１００Ｂを、移動可能な台座に設置して、作業対象の設置位置に合わせて移動すればよい。また、プロジェクター１００Ｂを任意の位置に固定可能なステーを用いてもよい。
このような場合、遠隔地の被援助サイトＢにいる被援助者ＵＢとサービスセンター等の援助サイトＡにいる援助者ＵＡが情報を共有し、援助サイトＡの援助者ＵＡは被援助者ＵＢのプロジェクター１００ＢにＡＲ画像を表示させて、指示、表示の変更ができる。そして、プロジェクター１００Ｂにより、援助サイトＡにいる援助者ＵＡの手や手指による操作をバーチャル画像として見せて、支援できる。この場合、援助サイトＡにおいて援助者ＵＡの前に被援助サイトＢの作業対象物と同じ機器を置いて実際に操作しながら説明することも有効である。援助者ＵＡにとっては、現場の現物の特定部位に対して位置指示操作により指示や教示を行うことができ、シンプルな操作で効率よく支援できる。
他の適用例として、プロジェクター１００Ａから送信する指示情報に、名刺の画像データやテキストを含めることで、被援助者ＵＢに名刺を見せて、バーチャルな名刺交換を実現できる。
さらに、プロジェクター１００Ａがコンテンツのデータを指示情報に含めてプロジェクター１００Ｂに送信することで、プロジェクター１００Ｂの投射部２０に、テキストや画像を含むコンテンツを表示させることができる。この場合、コンテンツのテキストや画像の表示位置は、表示領域ＤＢに位置する現実の作業対象物の位置に合わせて、作業対象物の視認を妨げない位置とすることが好ましい。
さらに、プロジェクター１００Ａがコンテンツのデータを指示情報に含めてプロジェクター１００Ｂに送信することで、プロジェクター１００Ｂの投射部２０に、テキストや画像を含むコンテンツを表示させることができる。この場合、コンテンツのテキストや画像の表示位置は、表示領域ＤＢに位置する現実の作業対象物の位置に合わせて、作業対象物の視認を妨げない位置とすることが好ましい。
さらに、指示体の画像として、援助者ＵＡ役のアバターや援助者ＵＡの実際の顔、上半身、或いは全身の画像を利用することで、作業員の代わりにコンシューマーを対象としたサービスを実現することも可能である。この場合、援助者ＵＡはコールセンターのスタッフ、家庭教師や塾の講師スタッフ等となる。このシステムの用途は、電子機器のソフトウェアのインストールや操作の案内またはトレーニング、語学教育、資格試験等の受験指導、運手免許等の公的資格のための講習、スポーツの指導等も挙げられる。また、例えば、外国語会話の講習では、視覚的に発音を教授することができる。この場合、受講者がプロジェクター１００Ｂを使用して、壁等に設置されたスクリーンに画像を投射する構成とすることが好ましい。この場合、講師がプロジェクター１００Ａを使用し、プロジェクター１００Ｂが、講師の口の形をスクリーンに表示する。また、スクリーンに、プロジェクター１００Ｂが撮像する受講者としての被援助者ＵＢの顔を重ねて表示できれば、より効果的である。例えば、プロジェクター１００Ｂをスクリーンの背面に配置する背面投射型の構成において、スクリーンの前面が反射面となった構成では、プロジェクター１００Ｂが表示する口の画像と反射面に反射する受講者の口の像とが重なるようにＡＲ表示できる。
また、学習やスポーツの指導を行う場合に、指導する側が援助サイトＡにおいてプロジェクター１００Ａを使用し、指導を受ける側が被援助サイトＢにおいてプロジェクター１００Ｂを使用する例も挙げられる。この態様では、プロジェクター１００Ａ、１００Ｂが画像を投射する表示領域ＤＡ、ＤＢを、例えば人が動き回ることが可能な程度に大きな面積とし、床面を表示領域ＤＡ、ＤＢとすると、より効果的である。この場合、例えばプロジェクター１００Ａ、１００Ｂは、床面より上方に設置され、好ましくは援助者ＵＡまたは被援助者ＵＢよりも上方に設置されて、下向きに画像を投射し、撮像を行う構成にできる。具体的には、プロジェクター１００Ａ、１００Ｂを天井から吊り下げ設置すればよい。
また、プロジェクター１００Ｂからプロジェクター１００Ａに送信する作業情報は、案内対象情報、或いは実行側情報と呼ぶことができ、指示情報は、案内情報、指導情報、或いは、管理情報と呼ぶことができる。
指導の具体例としては、数学、英語、国語、社会科、文字の書き順等の学習課目について、指導を行う者がプロジェクター１００Ａを使用し、指導を受ける者が、プロジェクター１００Ｂに表示される内容により教授、指導を受ける態様が考えられる。パーソナルコンピューター等の機器の操作方法をガイドする目的で使用する場合も同様である。
また、プロジェクター１００Ａ、１００Ｂにおいて、特定の情報を、ポップアップ、ブリンキング、蛍光色で表示する等して、目立つように表示してもよい。また、表示される画像の表示色や表示輝度を、作業台Ｔにおける作業対象物ＯＢの視認性が高まるように変更してもよい。この場合、投射部２０が投射する画像光の輝度を低下させる、画像光の色調や彩度を低くする等の手法が挙げられる。この場合、外景に対する表示画像の視認性が相対的に低下するので、この表示画像に含まれる文字や画像を補助的に見せる効果がある。
表示システム１Ｂでは、プロジェクター１００Ｂを使用する被援助者ＵＢの作業内容等を、遠隔地のプロジェクター１００Ａで見ることができ、被援助者ＵＢは、援助者ＵＡがプロジェクター１００Ａの撮像範囲ＰＡで行う位置指示操作の内容を見ることができる。プロジェクター１００Ｂは、位置指示操作の内容を、例えば指示体画像４２２として、ＡＲ表示する。すなわち、プロジェクター１００Ｂでは、作業対象物ＯＢに重なるように、指示体画像４２２が表示され、この指示体画像４２２と作業対象物ＯＢとの位置により、ＡＲとしての表示効果が期待できる。
プロジェクター１００Ｂは、ＡＲ表示の効果を高めるため、指示体画像４２２等を表示する際に、立体画像を表示してもよい。この場合、制御部６０は、作業対象物ＯＢの種類や作業内容に対応して、左眼用の画像と右眼用の画像との視差の方向及び大きさを決定する。制御部６０の表示情報生成部７０は、指示情報に基づいて視差を有する画像を生成して、投射制御部６２により表示させる。また、制御部６０は、距離センサー（図示略）を備え、作業対象物ＯＢまでの距離を検出してもよい。この場合、制御部６０は、検出した作業対象物ＯＢまでの距離に基づき、ＡＲ表示する指示体の画像の視差の方向及び大きさを算出してもよい。例えば、予め設定された距離条件に基づき、視差を設けてもよい。この場合、被援助者ＵＢが作業を行う作業台Ｔにおいて、画像が立体的に表示される。また、プロジェクター１００Ａが立体画像を表示して、援助者ＵＡが立体的に画像を視認できるようにしてもよい。
また、表示システム１Ｂでは、被援助サイトＣにおいて、被援助サイトＢの被援助者ＵＢの作業操作を、遠隔地からＡＲ画像として見ることができる。これにより、作業手順等の作業支援の内容を共有できる。
また、プロジェクター１００Ａにより２以上の表示領域に、プロジェクター１００Ａの表示とプロジェクター１００Ｂの撮像画像、或いは、２以上のプロジェクター１００Ｂの作業情報に基づく画像を表示すれば、援助者ＵＡが多くの状況を視認できる。ここで、図１６（Ｃ）に示すように、２以上の表示領域に２以上のプロジェクター１００Ｂに対応する画像を表示する場合、各表示領域におけるポインター等の形状、色を変えることで、各表示領域の混同を防止する構成も考えられる。その他、表示システム１Ｂの適用範囲は制限されず、他の用途への利用も勿論可能である。
また、プロジェクター１００Ａにより２以上の表示領域に、プロジェクター１００Ａの表示とプロジェクター１００Ｂの撮像画像、或いは、２以上のプロジェクター１００Ｂの作業情報に基づく画像を表示すれば、援助者ＵＡが多くの状況を視認できる。ここで、図１６（Ｃ）に示すように、２以上の表示領域に２以上のプロジェクター１００Ｂに対応する画像を表示する場合、各表示領域におけるポインター等の形状、色を変えることで、各表示領域の混同を防止する構成も考えられる。その他、表示システム１Ｂの適用範囲は制限されず、他の用途への利用も勿論可能である。
なお、本発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、プロジェクター１００Ａ、１００Ｂは、投射部２０を備える本体に撮像部１５を設け、投射部２０の投射方向を撮像する構成として説明した。本発明はこれに限定されるものではなく、少なくとも表示領域ＤＡ、ＤＢの一部を含む範囲を撮像部１５で撮像する構成であればよい。例えば、撮像部１５を、投射部２０とは別体として構成される撮像装置とし、この撮像装置の撮像画像データを、プロジェクター１００Ａの制御部３０またはプロジェクター１００Ｂの制御部６０が取得可能な構成とすればよい。また、撮像部１５を、投射部２０を含むプロジェクター１００Ａ、１００Ｂの本体から突出した構成としてもよい。
例えば、プロジェクター１００Ａ、１００Ｂは、投射部２０を備える本体に撮像部１５を設け、投射部２０の投射方向を撮像する構成として説明した。本発明はこれに限定されるものではなく、少なくとも表示領域ＤＡ、ＤＢの一部を含む範囲を撮像部１５で撮像する構成であればよい。例えば、撮像部１５を、投射部２０とは別体として構成される撮像装置とし、この撮像装置の撮像画像データを、プロジェクター１００Ａの制御部３０またはプロジェクター１００Ｂの制御部６０が取得可能な構成とすればよい。また、撮像部１５を、投射部２０を含むプロジェクター１００Ａ、１００Ｂの本体から突出した構成としてもよい。
また、上記実施形態では、プロジェクター１００Ａ、１００Ｂが備える光変調装置２２として、ＲＧＢの各色に対応した３枚の透過型の液晶パネルを用いた構成を例に挙げて説明した。しかしながら、本発明はこれに限定されるものではなく、例えば、反射型の液晶パネルを用いてもよい。また、例えば、１枚の液晶パネルとカラーホイールを組み合わせた方式により構成してもよい。また、ＲＧＢ各色の色光を変調する３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式により構成してもよい。また、１枚のデジタルミラーデバイスとカラーホイールを組み合わせた方式等により構成してもよい。ここで、表示部として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。
また、本発明の表示装置は、ＨＭＤ、或いは画像を投射するプロジェクターに限定されない。例えば、液晶表示パネルに画像を表示する液晶モニター又は液晶テレビ、或いは、ＰＤＰ（プラズマディスプレイパネル）に画像を表示するモニター装置又はテレビ受像機であってもよい。また、ＯＬＥＤ（Organic light-emitting diode）、ＯＥＬ（Organic Electro-Luminescence）等と呼ばれる有機ＥＬ表示パネルに画像を表示するモニター装置又はテレビ受像機等の自発光型の表示装置など、各種の表示装置も本発明の表示装置に含まれる。
また、ＨＭＤ２００についても上記各実施形態の構成に限定されない。例えば、画像表示部２２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
さらに、上記各実施形態では、ＨＭＤ２００は、画像表示部２２０と制御装置２１０とが分離され、接続部２４０を介して接続された構成として説明した。本発明はこれに限定されず、制御装置２１０と画像表示部２２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、ＨＭＤ２００は、少なくとも、表示を行う画像表示部２２０が、使用者（被援助者、指令者）の頭部に装着される装置であればよく、制御装置２１０の装着状態は限定されない。このため、制御装置２１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置２１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置２１０が画像表示部２２０と分離して構成され、制御装置２１０と画像表示部２２０との間で無線通信により各種信号を送受信する構成としてもよい。
また、ＨＭＤ２００は、少なくとも、表示を行う画像表示部２２０が、使用者（被援助者、指令者）の頭部に装着される装置であればよく、制御装置２１０の装着状態は限定されない。このため、制御装置２１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置２１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置２１０が画像表示部２２０と分離して構成され、制御装置２１０と画像表示部２２０との間で無線通信により各種信号を送受信する構成としてもよい。
また、例えば、画像表示部２２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。
また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有する構成としてもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２８６及び左導光板２９６のように、複数回の反射を経て光を導く部品であってもよく、ハーフミラー面を利用してもよい。
また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有する構成としてもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２８６及び左導光板２９６のように、複数回の反射を経て光を導く部品であってもよく、ハーフミラー面を利用してもよい。
さらに、本発明の光学素子は、ハーフミラー２８６Ａ、２９６Ａを有する右導光板２８６、左導光板２９６に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
ここで、本発明の表示装置を、プロジェクター１００Ａ、１００Ｂ及びＨＭＤ２００とは異なる表示装置で構成した例を、第６実施形態として説明する。
［第６実施形態］
第６実施形態の表示システムは、表示システム１、１Ａにおけるプロジェクター１００Ａ、ＨＭＤ２００、或いは、表示システム１Ｂにおけるプロジェクター１００Ｂの少なくともいずれかを、タブレット型コンピューター６００に置き換えた構成を有する。本第６実施形態では、上記第５実施形態の表示システム１Ｂにおいて第１表示装置に相当するプロジェクター１００Ｂを、タブレット型コンピューター６００に代えた構成について説明する。
第６実施形態の表示システムは、表示システム１、１Ａにおけるプロジェクター１００Ａ、ＨＭＤ２００、或いは、表示システム１Ｂにおけるプロジェクター１００Ｂの少なくともいずれかを、タブレット型コンピューター６００に置き換えた構成を有する。本第６実施形態では、上記第５実施形態の表示システム１Ｂにおいて第１表示装置に相当するプロジェクター１００Ｂを、タブレット型コンピューター６００に代えた構成について説明する。
図１７は、タブレット型コンピューター６００の構成例及び使用状態を示す図である。
図１７に示すように、タブレット型コンピューター６００は、薄型の板形状の筐体６０２を有し、筐体６０２の前面には表示パネル６１７が配置される。
タブレット型コンピューター６００は、装着治具６０１により被援助者ＵＢの身体に保持され、好ましくは固定される。
図１７に示すように、タブレット型コンピューター６００は、薄型の板形状の筐体６０２を有し、筐体６０２の前面には表示パネル６１７が配置される。
タブレット型コンピューター６００は、装着治具６０１により被援助者ＵＢの身体に保持され、好ましくは固定される。
図１７に示す構成例では、被援助者ＵＢは、タブレット型コンピューター６００を装着治具６０１により装着した状態で、作業台Ｔに置かれた作業対象物ＯＢを、上方から視認できる。被援助者ＵＢは、表示パネル６１７に表示される画面を見ながら、作業対象物ＯＢに対する作業を行える。
図１８は、タブレット型コンピューター６００の機能ブロック図である。
タブレット型コンピューター６００は、有線または無線により、外部の装置に接続されるＩ／Ｆ部６１１を備える。インターフェイス部６１１には、ＰＣ、ビデオ再生装置、ＤＶＤ再生装置等の外部の画像供給装置（図示略）を接続可能である。
タブレット型コンピューター６００は、有線または無線により、外部の装置に接続されるＩ／Ｆ部６１１を備える。インターフェイス部６１１には、ＰＣ、ビデオ再生装置、ＤＶＤ再生装置等の外部の画像供給装置（図示略）を接続可能である。
タブレット型コンピューター６００は、第２表示部として機能する表示パネル６１７を備える。表示パネル６１７は、例えば液晶表示パネルで構成され、制御部６３０の制御に従って画像を表示する。
操作取得部６１２は、表示パネル６１７に重ねて配設されるタッチパネル６１６へのタッチ操作を検出し、操作位置を示す操作データを制御部６３０に出力する。
撮像部６１５は、撮像光学系、ＣＣＤやＣＭＯＳ等の撮像素子、インターフェイス回路等を有し、撮像を実行し、撮像画像データを制御部６３０に出力する。
通信部６１３は、通信部１３に対応する。通信部６１３は、無線ＬＡＮ（ＷｉＦｉを含む）、Ｍｉｒａｃａｓｔ、Ｂｌｕｅｔｏｏｔｈ等の規格に準じた無線データ通信を実行し、通信ネットワーク４に接続する。タブレット型コンピューター６００は、通信部６１３によって、通信ネットワーク４を経由する通信を実行し、例えばプロジェクター１００Ａとの間でデータを送受信する。また、タブレット型コンピューター６００は、通信部６１３によって外部の機器に接続して、外部の機器からコンテンツデータ等を取得してもよい。
制御部６３０には、音声入出力部６１４が接続される。音声入出力部６１４は音声を集音するマイク（図示略）、及び、音声を出力するスピーカー（図示略）を備える。音声入出力部６１４は、制御部６３０から入力される音声信号に基づきスピーカーを駆動して音声を出力し、マイクで集音した音声の音声信号を制御部６３０に出力する。また、音声入出力部６１４は、アナログ音声信号とディジタル音声データとを変換するＡ／Ｄコンバーター及びＤ／Ａコンバーター（図示略）を備えてもよい。この場合、音声入出力部６１４は、制御部６３０から入力されるディジタル音声データに基づき音声を出力し、マイクで集音した音声のディジタル音声データを制御部６３０に出力する。
記憶部６５０は、制御部６３０が実行するオペレーティングシステムを含む各種のプログラム、および、制御部６３０が処理するデータを不揮発的に記憶する。記憶部６５０は、設定データ６５１を記憶する。設定データ６５１は、設定データ８１（図１５）に相当するデータであって、制御部６３０が使用する各種の設定値を含む。設定データ６５１が含む設定値は、予め操作取得部６１２が検出する操作で入力された値であってもよいし、通信部６１３またはインターフェイス部６１１を介して外部の装置（図示略）から設定値を受信して記憶してもよい。
また、記憶部６５０は、検出用データ６５２、及び、メニュー画像データ６５３を記憶する。
検出用データ６５２は、検出用データ８２（図１５）に相当するデータである。画像データから作業対象物ＯＢの画像を検出するために利用されるデータである。作業対象物ＯＢは、タブレット型コンピューター６００を使用する被援助者ＵＢが行う作業の対象であり、作業時に作業台Ｔに配置されると考えることができる。
検出用データ６５２は、例えば、画像データから作業対象物ＯＢの画像を抽出する処理に用いるデータを含み、より具体的には、作業対象物ＯＢの画像の特徴量のデータを含む。特徴量は、色の特徴量であっても形状の特徴量であってもよく、処理対象の画像データの色数や解像度に対応して、複数の特徴量を含んでもよい。タブレット型コンピューター６００を含む表示システムでは、被援助者ＵＢが作業対象とする作業対象物ＯＢが事前に判明している場合に、この作業対象物ＯＢに関する検出用データ６５２が、記憶部６５０に記憶される。
検出用データ６５２は、検出用データ８２（図１５）に相当するデータである。画像データから作業対象物ＯＢの画像を検出するために利用されるデータである。作業対象物ＯＢは、タブレット型コンピューター６００を使用する被援助者ＵＢが行う作業の対象であり、作業時に作業台Ｔに配置されると考えることができる。
検出用データ６５２は、例えば、画像データから作業対象物ＯＢの画像を抽出する処理に用いるデータを含み、より具体的には、作業対象物ＯＢの画像の特徴量のデータを含む。特徴量は、色の特徴量であっても形状の特徴量であってもよく、処理対象の画像データの色数や解像度に対応して、複数の特徴量を含んでもよい。タブレット型コンピューター６００を含む表示システムでは、被援助者ＵＢが作業対象とする作業対象物ＯＢが事前に判明している場合に、この作業対象物ＯＢに関する検出用データ６５２が、記憶部６５０に記憶される。
メニュー画像データ６５３は、メニュー画像データ８３（図１５）に相当するデータであり、表示パネル６１７によりメニュー画像を表示するための画像のデータである。メニュー画像は、例えば、操作用のアイコンが列をなして配置されたメニューバー、或いは、アイコンが円形の枠内に配置されたダイヤル型のメニュー等である。
制御部６３０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部６３０は、上記ＲＯＭまたは記憶部６５０が記憶するコンピュータープログラムを読み出して実行することにより、タブレット型コンピューター６００の各部を制御する。
制御部６３０は、上記プログラムを実行し、オペレーティングシステム（ＯＳ）６３１、表示制御部６３２、及び通信制御部６３３として機能する。また、制御部６３０は、撮像制御部６３４、作業情報生成部６３５、受信情報解析部６３６、指示検出部６３７、表示位置算出部６３８、操作検出部６３９、表示情報生成部６４０、及び音声処理部６４９として機能する。
表示制御部６３２は、制御部６３０が実行するプログラムに応じて、表示パネル６１７に画像を表示させる。
通信制御部６３３は、通信制御部６３（図１５）に相当する機能部であり、通信部６１３を制御して、プロジェクター１００Ａとの間の通信を制御する。通信制御部６３３は、プロジェクター１００Ａから作業情報を受信し、受信した指示情報を受信情報解析部６３６に出力する。また、通信制御部６３３は、作業情報生成部６３５が生成する作業情報を、プロジェクター１００Ａに送信する。
撮像制御部６３４は、撮像制御部６４（図１５）に相当する機能部であり、撮像部６１５を制御して撮像を実行させ、撮像画像データを取得する。
作業情報生成部６３５は、作業情報生成部６５（図１５）に相当する機能部であり、プロジェクター１００Ａに送信する作業情報を生成する。作業情報生成部６３５は、撮像部６１５の撮像画像データを取得する。また、作業情報生成部６３５は、操作取得部６１２により検出される操作の内容を示すデータを取得してもよく、この場合、撮像部６１５の撮像画像データ、及び、操作内容のデータを含む作業情報を生成する。作業情報生成部６３５は、撮像部６１５の撮像画像データそのものに限らず、撮像画像データをもとに生成する画像データを含む作業情報を生成してもよい。
作業情報生成部６３５は、作業情報生成部６５（図１５）に相当する機能部であり、プロジェクター１００Ａに送信する作業情報を生成する。作業情報生成部６３５は、撮像部６１５の撮像画像データを取得する。また、作業情報生成部６３５は、操作取得部６１２により検出される操作の内容を示すデータを取得してもよく、この場合、撮像部６１５の撮像画像データ、及び、操作内容のデータを含む作業情報を生成する。作業情報生成部６３５は、撮像部６１５の撮像画像データそのものに限らず、撮像画像データをもとに生成する画像データを含む作業情報を生成してもよい。
受信情報解析部６３６は、受信情報解析部６６（図１５）に相当する機能部であり、通信制御部６３３が受信するデータを解析する。本実施形態では、受信情報解析部６３６は、通信制御部６３３がプロジェクター１００Ａから受信する指示情報に含まれる指示体の画像データ、コンテンツの画像データ、音声データ、及び、その他の等を抽出する。また、受信情報解析部６３６は、通信制御部６３３が受信した指示情報から、指示体の位置や動きを示すデータを抽出する。
指示検出部６３７は、指示検出部６７（図１５）に相当する機能部であり、受信情報解析部６３６が抽出したデータから、指示体による操作を行うことを示すデータを検出する。例えば、援助者ＵＡはプロジェクター１００Ａを操作して、指示体による位置指示操作を行い、この位置指示操作によってプロジェクター１００Ａを制御することが可能である。この場合、プロジェクター１００Ａが送信する指示情報に含まれる位置指示操作に関するデータを、タブレット型コンピューター６００が、ＧＵＩの操作として検出する。プロジェクター１００Ａが送信する指示情報には、援助者ＵＡの操作をＧＵＩの操作として検出するか否かを指定するデータが含まれ、このデータを指示検出部６３７が検出する。
表示位置算出部６３８は、表示位置算出部６８（図１５）に相当する機能部であり、受信情報解析部６３６が抽出した画像データに基づき画像を表示する位置を算出する。受信情報解析部６３６が抽出する画像データは、指示体の画像データ、コンテンツの画像データ、及びその他の画像データである。これらのデータに基づき、表示位置算出部６３８は、指示体の画像の表示位置、コンテンツの画像データの表示位置、及び、その他の画像の表示位置を算出する。また、表示位置算出部６３８は、各画像の表示サイズを算出してもよい。また、指示検出部６３７が、援助者ＵＡの操作をＧＵＩの操作とすることを指示するデータを検出した場合、表示位置算出部６３８は、ＧＵＩ操作を行うためのメニュー画像の表示位置を算出する。表示制御部６３２は、表示位置算出部６３８が算出した表示位置に基づいて、表示パネル６１７に画像を表示する。
操作検出部６３９は、操作検出部６９（図１５）に相当する機能部であり、受信情報解析部６３６が抽出した指示体の位置や動きを示すデータをＧＵＩの操作として検出する場合に、操作を検出する。操作検出部６３９は、表示位置算出部６３８が算出したメニュー画像のアイコン等の表示位置と、指示体の画像の表示位置とに基づき、ＧＵＩの操作を検出する。
表示情報生成部６４０は、表示パネル６１７により表示する画面の表示情報を生成する。表示情報生成部６４０は、受信情報解析部６３６が抽出する画像データに基づく画像を、表示位置算出部６３８が算出した表示位置に配置して、一画面分の表示情報を生成する。表示情報生成部６４０が生成する表示情報は、表示制御部６３２の制御により表示パネル６１７が表示する。
音声処理部６４９は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、音声入出力部６１４に出力する。また、音声処理部６４９は、音声入出力部６１４が備えるマイク（図示略）により集音される音声を取得してディジタル音声データに変換する。音声処理部６４９は、ディジタル音声データに対して予め設定された処理を行ってもよい。
図１９は、タブレット型コンピューター６００の表面及び裏面の構成を示す図であり、図１９（Ａ）はタブレット型コンピューター６００の裏面の外観図であり、図１９（Ｂ）はタブレット型コンピューター６００の表面の外観及び表示例を示す。
図１９（Ａ）に示すように、タブレット型コンピューター６００の筐体６０２の裏面側には撮像部６１５の撮像レンズが露出する。つまり、撮像部６１５の撮像範囲は筐体６０２の裏面側であり、図１７の装着状態においては筐体６０２の下方が撮像範囲となる。
このように構成されるタブレット型コンピューター６００は、上記第１〜第４実施形態で説明したＨＭＤ２００、或いは、第５実施形態で説明したプロジェクター１００Ｂと同様の機能を実行可能である。
図１９（Ｂ）に示すように、タブレット型コンピューター６００の制御部６３０は、表示パネル６１７に、撮像部６１５により撮像した撮像画像を表示する。制御部６３０は、撮像画像の縁を、撮像部６１５の撮像範囲を示す撮像境界線ＢＬとして明瞭に表示する。また、制御部６３０は、プロジェクター１００Ａから受信する指示情報に基づいて、指示位置４０５を示す画像と、指示位置４０５に対する援助者ＵＡの指示体２を示す指示体画像４２２とを表示する。なお、指示体画像４２２の種類や表示態様については、第１実施形態と同様とすることができる。
また、制御部６３０は、撮像部６１５により撮像された、作業対象物ＯＢを含む撮像画像を、表示パネル６１７に表示する。
図１９（Ｂ）に示すように、タブレット型コンピューター６００の制御部６３０は、表示パネル６１７に、撮像部６１５により撮像した撮像画像を表示する。制御部６３０は、撮像画像の縁を、撮像部６１５の撮像範囲を示す撮像境界線ＢＬとして明瞭に表示する。また、制御部６３０は、プロジェクター１００Ａから受信する指示情報に基づいて、指示位置４０５を示す画像と、指示位置４０５に対する援助者ＵＡの指示体２を示す指示体画像４２２とを表示する。なお、指示体画像４２２の種類や表示態様については、第１実施形態と同様とすることができる。
また、制御部６３０は、撮像部６１５により撮像された、作業対象物ＯＢを含む撮像画像を、表示パネル６１７に表示する。
指示位置４０５及び指示体画像４２２の表示位置は、制御部６３０が表示位置算出部６３８の機能により算出する。表示位置算出部６３８は、撮像部６１５の撮像画像から作業対象物ＯＢの画像を検出し、この作業対象物ＯＢの画像に対応する位置を、表示位置とする。
ここで、タブレット型コンピューター６００は、図１７に示したように装着治具６０１により被援助者ＵＢの身体に保持されるので、被援助者ＵＢが動かない限り撮像部６１５の撮像範囲における作業対象物ＯＢの相対位置は動かない。このため、指示位置４０５及び指示体画像４２２を適切な位置に表示できる。
このように構成されるタブレット型コンピューター６００を、プロジェクター１００Ｂに代えて用いた場合、上述した第１から第３実施形態と同様の効果を得ることができる。
また、プロジェクター１００Ａを、タブレット型コンピューター６００に置き換えて用いることも可能であり、この場合も、上述した第１から第３実施形態と同様の効果を得ることができる。
また、プロジェクター１００Ａを、タブレット型コンピューター６００に置き換えて用いることも可能であり、この場合も、上述した第１から第３実施形態と同様の効果を得ることができる。
［第７実施形態］
図２０は、第７実施形態における表示システム１Ｃの構成図である。第７実施形態の表示システム１Ｃは、第１〜第５実施形態と同様に、本発明の表示装置（第１表示装置）としてＨＭＤ２００Ａを利用する。一例として、作業サイトＢ及び作業サイトＣにいる被援助者ＵＢ、ＵＣは、それぞれ、ＨＭＤ２００Ａを使用する。また、表示システム１Ｃは、援助サイトＡにいる援助者ＵＡが使用する表示装置として、タブレット型コンピューター６００Ａ（第２表示装置）を用いる。表示システム１Ｃは、１または複数のタブレット型コンピューター６００Ａ、及び、１または複数のＨＭＤ２００Ａにより構成され、タブレット型コンピューター６００Ａ及びＨＭＤ２００Ａの数は任意であり、図２０に示す構成に限定されない。第７実施形態は、第１〜第５実施形態においてタブレット型コンピューター６００Ａを用いる構成例であり、第１〜第５実施形態で説明した表示システム１、１Ａ、１Ｂと同様の動作を実行して、同様の効果を得ることが可能である。
図２０は、第７実施形態における表示システム１Ｃの構成図である。第７実施形態の表示システム１Ｃは、第１〜第５実施形態と同様に、本発明の表示装置（第１表示装置）としてＨＭＤ２００Ａを利用する。一例として、作業サイトＢ及び作業サイトＣにいる被援助者ＵＢ、ＵＣは、それぞれ、ＨＭＤ２００Ａを使用する。また、表示システム１Ｃは、援助サイトＡにいる援助者ＵＡが使用する表示装置として、タブレット型コンピューター６００Ａ（第２表示装置）を用いる。表示システム１Ｃは、１または複数のタブレット型コンピューター６００Ａ、及び、１または複数のＨＭＤ２００Ａにより構成され、タブレット型コンピューター６００Ａ及びＨＭＤ２００Ａの数は任意であり、図２０に示す構成に限定されない。第７実施形態は、第１〜第５実施形態においてタブレット型コンピューター６００Ａを用いる構成例であり、第１〜第５実施形態で説明した表示システム１、１Ａ、１Ｂと同様の動作を実行して、同様の効果を得ることが可能である。
また、本実施形態ではタブレット型コンピューター６００Ａを例示するが、援助者ＵＡが使用する表示装置（第２表示装置）は、タブレット型コンピューター６００Ａに限定されない。例えば、パーソナルコンピューター、スマートフォンなど、画像を表示可能な表示画面とカメラとを有する汎用的な機器を、第２表示装置として使用できる。
本第７実施形態では、上記第１〜第５実施形態で説明した表示システム１、１Ａ、１Ｂと共通する構成部には同符号を付して説明を省略する。
タブレット型コンピューター６００Ａは、薄型の板形状の筐体６０２を有し、筐体６０２の前面に表示パネル６１７（第２表示部）が配置される。タブレット型コンピューター６００Ａは、装着治具６０１により援助者ＵＡの身体に保持され、好ましくは固定される。図２１に示すように、援助者ＵＡは、タブレット型コンピューター６００Ａを装着治具６０１により装着した状態で、表示パネル６１７の画像を視認できる。
また、筐体６０２の裏面には、タブレット型コンピューター６００と同様に、撮像部６１５（図１９）が設置される。撮像部６１５で撮像した画像を表示パネル６１７に表示することができ、撮像部６１５が撮像する画像と、ＨＭＤ２００Ａから受信する画像とを重畳して、ＡＲ表示することができる。例えば、タブレット型コンピューター６００Ａが、被援助者ＵＢが装着するＨＭＤ２００Ａから、作業台Ｔに設置された作業対象物ＯＢを撮像した画像を受信した場合にＡＲ表示を効果的に使用できる。この場合、タブレット型コンピューター６００Ａは、撮像部６１５によって作業台Ｔ´を撮像した撮像画像と、作業対象物ＯＢの画像とを重ねて表示パネル６１７に表示し、作業台Ｔ´に存在しない仮想の作業対象物ＯＢ´をＡＲ表示できる。援助者ＵＡは、表示パネル６１７に表示される画面を見ながら、作業対象物ＯＢに対する作業を行える。
図２１は、タブレット型コンピューター６００Ａの機能ブロック図である。タブレット型コンピューター６００Ａは、第６実施形態で説明したタブレット型コンピューター６００（図１７）と同様のハードウェア構成を有する。
すなわち、タブレット型コンピューター６００Ａは、タブレット型コンピューター６００（図１８）と同様に構成される。タブレット型コンピューター６００Ａは、インターフェイス部６１１、操作取得部６１２、通信部６１３（第２通信部）、音声入出力部６１４、撮像部６１５、タッチパネル６１６、及び、表示パネル６１７を備える。これらの各部の構成もタブレット型コンピューター６００の構成部と同様であるため、説明を省略する。
タブレット型コンピューター６００Ａは、制御部６６０（第２制御部）、及び、記憶部６８０を備える。制御部６６０は、制御部６３０と同様に、インターフェイス部６１１、操作取得部６１２、通信部６１３、音声入出力部６１４、撮像部６１５、及び、表示パネル６１７に接続される。また、制御部６６０は記憶部６８０に接続される。
記憶部６８０は、制御部６６０が実行するオペレーティングシステム６６１を含む各種のプログラム、および、制御部６６０が処理するデータを不揮発的に記憶する。記憶部６８０は、設定データ６８１を記憶する。設定データ６８１は、設定データ５１（図３）に相当するデータであり、制御部６６０が使用する各種の設定値を含む。設定データ６８１が含む設定値は、予め操作取得部６１２が検出する操作で入力された値であってもよいし、通信部６１３またはインターフェイス部６１１を介して外部の装置（図示略）から設定値を受信して記憶してもよい。
記憶部６８０は、検出用データ６８２、メニュー画像データ６８３、送信画像データ６８４、及び、指示コンテンツデータ６８５を記憶する。
検出用データ６８２は、検出用データ５２（図３）に相当するデータであり、画像データから作業対象物ＯＢの画像を検出するために利用されるデータである。作業対象物ＯＢは、ＨＭＤ２００Ａを使用する被援助者ＵＢ、ＵＣが行う作業の対象であり、被援助者ＵＢ、ＵＣから見える位置、すなわち視野内に配置されると考えることができる。検出用データ６８２は、例えば、画像データから作業対象物ＯＢの画像を抽出する処理に用いるデータを含み、より具体的には、作業対象物ＯＢの画像の特徴量のデータを含む。特徴量は、色の特徴量であっても形状の特徴量であってもよく、処理対象の画像データの色数や解像度に対応して、複数の特徴量を含んでもよい。表示システム１では、被援助者ＵＢが作業対象とする作業対象物ＯＢが事前に判明している場合に、この作業対象物ＯＢに関する検出用データ６８２が、記憶部６８０に記憶される。
検出用データ６８２は、検出用データ５２（図３）に相当するデータであり、画像データから作業対象物ＯＢの画像を検出するために利用されるデータである。作業対象物ＯＢは、ＨＭＤ２００Ａを使用する被援助者ＵＢ、ＵＣが行う作業の対象であり、被援助者ＵＢ、ＵＣから見える位置、すなわち視野内に配置されると考えることができる。検出用データ６８２は、例えば、画像データから作業対象物ＯＢの画像を抽出する処理に用いるデータを含み、より具体的には、作業対象物ＯＢの画像の特徴量のデータを含む。特徴量は、色の特徴量であっても形状の特徴量であってもよく、処理対象の画像データの色数や解像度に対応して、複数の特徴量を含んでもよい。表示システム１では、被援助者ＵＢが作業対象とする作業対象物ＯＢが事前に判明している場合に、この作業対象物ＯＢに関する検出用データ６８２が、記憶部６８０に記憶される。
メニュー画像データ６８３は、メニュー画像データ５３（図３）に相当するデータであり、表示パネル６１７にメニュー画像を表示するための画像のデータである。メニュー画像は、例えば、操作用のアイコンが列をなして配置されたメニューバー、或いは、アイコンが円形の枠内に配置されたダイヤル型のメニュー等である。
送信画像データ６８４は、送信画像データ５４（図３）に相当するデータであり、タブレット型コンピューター６００ＡがＨＭＤ２００Ａに送信する指示情報に用いられる画像データである。送信画像データ６８４は、例えば、腕、手、指、或いは指示棒等の指示体の画像の画像データなどである。
指示コンテンツデータ６８５は、指示コンテンツデータ５５（図３）に相当するデータであり、タブレット型コンピューター６００ＡがＨＭＤ２００Ａに送信するコンテンツのデータである。指示コンテンツデータ６８５は、例えば、テキストデータ、静止画像データ、動画像データ、及び音声データ等を含むことができる。
送信画像データ６８４は、送信画像データ５４（図３）に相当するデータであり、タブレット型コンピューター６００ＡがＨＭＤ２００Ａに送信する指示情報に用いられる画像データである。送信画像データ６８４は、例えば、腕、手、指、或いは指示棒等の指示体の画像の画像データなどである。
指示コンテンツデータ６８５は、指示コンテンツデータ５５（図３）に相当するデータであり、タブレット型コンピューター６００ＡがＨＭＤ２００Ａに送信するコンテンツのデータである。指示コンテンツデータ６８５は、例えば、テキストデータ、静止画像データ、動画像データ、及び音声データ等を含むことができる。
制御部６６０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部６６０は、上記ＲＯＭまたは記憶部６８０が記憶するコンピュータープログラムを読み出して実行することにより、タブレット型コンピューター６００Ａの各部を制御する。
制御部６６０は、上記プログラムを実行し、オペレーティングシステム（ＯＳ）６６１、表示制御部６６２、及び通信制御部６６３として機能する。また、制御部６６０は、撮像制御部６６４、受信情報処理部６６５、操作検出部６６６、操作時表示制御部６６７、送信画像取得部６６８、指示情報生成部６６９、表示位置算出部６７０、及び、音声処理部６７１として機能する。
表示制御部６６２は、制御部６６０が実行するプログラムに応じて、表示パネル６１７に画像を表示させる。
通信制御部６６３は、通信制御部３３（図３）に相当する機能部であり、通信部６１３を制御して、ＨＭＤ２００Ａとの間の通信を制御する。通信制御部６６３は、ＨＭＤ２００Ａから作業情報（処理情報）を受信し、受信した作業情報を受信情報処理部６６５に出力する。また、通信制御部６６３は、指示情報生成部６６９が生成する指示情報を、ＨＭＤ２００Ａに送信する。
撮像制御部６６４は、撮像制御部６４（図１５）と同様に機能し、撮像部６１５を制御して撮像を実行させ、撮像画像データを取得する。
受信情報処理部６６５は、受信情報処理部３４（図３）に相当する。受信情報処理部６６５は、通信制御部６６３が受信する作業情報を解析して、作業情報に含まれる画像データを抽出する。受信情報処理部６６５は、例えば、記憶部６８０が記憶する検出用データ６８２を用い、作業情報に含まれる画像データから作業対象物ＯＢの画像を検出する。
操作検出部６６６は、操作検出部３５（図３）に相当し、援助者ＵＡの操作を検出する。操作検出部６６６は、操作取得部６１２から入力される操作データに基づき、タッチパネル６１６の操作を検出する。また、操作検出部６６６は、撮像部６１５を利用して、撮像部６１５の撮像範囲における援助者ＵＡの操作を検出する。この場合、操作検出部６６６は、撮像部６１５の撮像画像データから、援助者ＵＡが使用する指示体の画像を検出する。援助者ＵＡが使用する指示体（操作体）は、例えば、援助者ＵＡの腕、手、指、指示棒等を含む。操作検出部６６６は、撮像画像における指示体の画像の位置に基づき、指示体の指示位置を特定する。操作検出部６６６は、撮像部６１５の撮像画像における位置と、撮像部６１５の撮像範囲における位置と、表示領域における位置とを対応付けるデータを有する。このデータは、例えば事前のキャリブレーションにより設定され、設定データ６８１に含めて記憶部６８０に記憶される。これにより、操作検出部６６６は、撮像範囲において援助者ＵＡが指示体を用いて作業ないし操作を行った場合に、指示体の位置を、撮像範囲における座標として検出できる。また、操作検出部６６６は、指示体の位置を、表示領域ＤＡにおける座標、或いは、表示パネル６１７に表示される表示画像における相対的な座標に換算することも可能である。
また、指示体としては、援助者ＵＡの腕、手、指、指示棒等に限らず、被援助者ＵＢが実行する作業に関する用具、器具等であってもよい。つまり、援助者ＵＡは、被援助者ＵＢが使用する用具や器具を指示体として使ってもよい。この場合、タブレット型コンピューター６００Ａは、指示体を撮像した撮像画像を、指示体画像としてＨＭＤ２００Ａに送信してもよい。また、タブレット型コンピューター６００Ａは、指示体を撮像した撮像画像に基づき、指示体と同種あるいは指示体に予め対応付けられた用具や器具の画像を送信画像データ６８４から選択して、指示体画像として送信してもよい。また、援助者ＵＡがタブレット型コンピューター６００Ａを操作して、指示体画像として、被援助者ＵＢが実行する作業に関する用具、器具等の画像を選択し、この画像を指示体画像としてＨＭＤ２００Ａに送信してもよい。例えば、被援助者ＵＢが工具を使用する作業を行う場合、指示体画像として、ドライバー、ペンチ、モンキースパナ、通電テスターのテスト端子、包丁、その他の特殊工具の画像を採用できる。また、表示システム１Ｃにより援助者ＵＡが被援助者ＵＢにスポーツの指導を行う場合、テニスラケット、ゴルフクラブ等の画像を指示体がとして採用できる。
操作検出部６６６は、指示体の指示位置が、予め設定されたパターンに該当する軌跡を形成する場合に、操作を検出してもよい。この動作は、援助者ＵＡが指示体を動かして、その動きの種類により異なる指示を行う、いわゆるジェスチャー操作である。
操作時表示制御部６６７は、操作時表示制御部３６（図３）に相当する。操作時表示制御部６６７は、操作検出部６６６が操作を検出する間の、表示パネル６１７の表示を制御する。操作時表示制御部６６７は、記憶部６８０からメニュー画像データ６８３等を読み出し、表示制御部６６２を制御して、メニュー画像等を表示させる。これにより、例えば、援助者ＵＡが指示体による操作やタッチパネル６１６の操作を行う場合に、指示体の動きの指標や目安となる文字や画像、或いは、位置入力を可能とするメニューバーの画像を、表示パネル６１７に表示できる。
これにより、タブレット型コンピューター６００Ａでは、援助者ＵＡが指示体としての腕、手、指、指示棒等を使って操作を行うことができる。例えば、操作時表示制御部６６７の制御により表示されるメニュー画像を利用して、ＧＵＩ操作を行ってもよい。
タブレット型コンピューター６００Ａにおいて、腕、手、指、指示棒等の指示体による操作が可能な範囲は、撮像部６１５が指示体を撮像できる範囲であり、具体的には撮像部６１５の撮像範囲である。
タブレット型コンピューター６００Ａにおいて、腕、手、指、指示棒等の指示体による操作が可能な範囲は、撮像部６１５が指示体を撮像できる範囲であり、具体的には撮像部６１５の撮像範囲である。
送信画像取得部６６８は、送信画像取得部３７（図３）に相当する。送信画像取得部６６８は、ＨＭＤ２００Ａに送信する指示情報に含める指示体の画像を取得する。送信画像取得部６６８は、撮像部６１５で指示体を撮像した場合には、撮像部６１５の撮像画像から指示体の画像を抽出して取得する。また、援助者ＵＡの操作または事前の設定で、指示体の画像を記憶部６８０から取得するよう設定された場合、送信画像取得部６６８は送信画像データ６８４を取得する。
指示情報生成部６６９は、指示情報生成部３８（図３）に相当する。指示情報生成部６６９は、ＨＭＤ２００Ａに送信する指示情報を生成する。指示情報は、タブレット型コンピューター６００ＡがＨＭＤ２００Ａに送信するデータである。例えば、コンテンツの画像データ及び／又は音声データ、指示体の画像データ、音声処理部６７１が生成する援助者ＵＡの音声のデータ、指示体の位置または動きを示すデータを含む。
音声処理部６７１は、音声処理部４９（図３）に相当する。音声処理部６７１は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、音声入出力部６１４に出力する。また、音声処理部６７１は、音声入出力部６１４が備えるマイク（図示略）により集音される音声を取得してディジタル音声データに変換する。音声処理部６７１は、ディジタル音声データに対して予め設定された処理を行ってもよい。
図２３は、ＨＭＤ２００Ａの外観構成を示す図である。本実施形態では、被援助者ＵＢ及び被援助者ＵＣは同一の構成を有するＨＭＤ２００Ａを使用するものとして説明する。
ＨＭＤ２００Ａは、ＨＭＤ２００（図４）と同様に構成されるため、ＨＭＤ２００と共通する構成には同符号を付して説明を省略する。
ＨＭＤ２００Ａは、ＨＭＤ２００（図４）と同様に構成されるため、ＨＭＤ２００と共通する構成には同符号を付して説明を省略する。
ＨＭＤ２００Ａは、制御装置２１０が備える制御部３００（第１制御部）の制御に従って動作する。ＨＭＤ２００Ａは、制御装置２１０及び画像表示部２２０（第１表示部）を備え、バーコードリーダー７０１、外部カメラ７３１、及び、モーションセンサーユニット７６１に接続される。つまり、ＨＭＤ２００Ａは、ＨＭＤ２００に、外部情報検出部としてのバーコードリーダー７０１、外部カメラ７３１、及びモーションセンサーユニット７６１を接続した構成である。ＨＭＤ２００Ａは、バーコードリーダー７０１、外部カメラ７３１、及びモーションセンサーユニット７６１のすべてを備える構成に限定されない。これら外部情報検出部のうち少なくとも１以上が制御装置２１０と接続されていればよい。
バーコードリーダー７０１（外部情報検出部、読取部）は、バーコード、二次元コード、或いはその他の画像コード等、画像化された情報を読み取る読み取り装置である。バーコードリーダー７０１は、画像コードを読み取って復号し、読取データを生成する。バーコードリーダー７０１は、読取データを制御装置２１０に無線送信する。バーコードリーダー７０１は、コード化（符号化）された情報に限らず、例えば、文字を直接読み取ってもよい。
外部カメラ７３１（外部情報検出部、第３撮像部）は、少なくとも画像表示部２２０とは別体として構成されるカメラである。外部カメラ７３１は、画像表示部２２０から分離して、例えば被援助者ＵＢ、ＵＣの身体や作業サイトＢ、Ｃに設置される。
モーションセンサーユニット７６１（外部情報検出部、動き検出部）は、被援助者ＵＢ、ＵＣの身体に装着されるユニットであり、例えば図２３に示すように円盤形状であるが、その他の形状であってもよい。
バーコードリーダー７０１、外部カメラ７３１、及びモーションセンサーユニット７６１は、いずれも、図示しないバッテリーを内蔵し、ワイヤレスで使用できることが好ましいが、外部のバッテリーや電源に接続されてもよい。
図２４は、ＨＭＤ２００Ａの機能ブロック図である。
ＨＭＤ２００Ａを構成する機能ブロックは、ＨＭＤ２００（図６）と同様である。通信部２７７は、上述のように、無線ＬＡＮ（ＷｉＦｉを含む）、Ｍｉｒａｃａｓｔ、Ｂｌｕｅｔｏｏｔｈ等の規格に準じた無線データ通信を実行する。特に、本実施形態ではＢｌｕｅｔｏｏｔｈでバーコードリーダー７０１、外部カメラ７３１、及びモーションセンサーユニット７６１のそれぞれと通信を実行することが好ましい。
ＨＭＤ２００Ａを構成する機能ブロックは、ＨＭＤ２００（図６）と同様である。通信部２７７は、上述のように、無線ＬＡＮ（ＷｉＦｉを含む）、Ｍｉｒａｃａｓｔ、Ｂｌｕｅｔｏｏｔｈ等の規格に準じた無線データ通信を実行する。特に、本実施形態ではＢｌｕｅｔｏｏｔｈでバーコードリーダー７０１、外部カメラ７３１、及びモーションセンサーユニット７６１のそれぞれと通信を実行することが好ましい。
バーコードリーダー７０１は、読取部７０２、制御部７０３、及び、通信部７０４を備える。読取部７０２は、画像コードを光学的に読み取って、読取り信号を生成する。読取部７０２は読取信号を制御部７０３に出力する。読取部７０２による読み取り方式は、例えば、読み取り対象にレーザー光を照射して反射光を検出する方式、読み取り対象を撮像して撮像画像から画像コードを検出する方式などが挙げられる。
通信部７０４は、制御部７０３の制御に従って、通信部２７７と、例えばＢｌｕｅｔｏｏｔｈで無線通信を実行する。
制御部７０３は、読取部７０２を制御して読み取りを実行し、読み取り信号を取得する。制御部７０３は読み取り信号をデコードして読取データを生成し、読取データを通信部７０４により制御装置２１０に送信する。
通信部７０４は、制御部７０３の制御に従って、通信部２７７と、例えばＢｌｕｅｔｏｏｔｈで無線通信を実行する。
制御部７０３は、読取部７０２を制御して読み取りを実行し、読み取り信号を取得する。制御部７０３は読み取り信号をデコードして読取データを生成し、読取データを通信部７０４により制御装置２１０に送信する。
外部カメラ７３１は、撮像部７３２、制御部７３３、及び、通信部７３４を備える。撮像部７３２は、ＣＣＤ、ＣＭＯＳ等の撮像素子により撮像を実行し、撮像画像データを制御部７３３に出力する。撮像部７３２が第３撮像部に相当するともいえる。
通信部７３４は、制御部７３３の制御に従って、通信部２７７と、例えばＢｌｕｅｔｏｏｔｈで無線通信を実行する。
制御部７３３は、撮像部７３２を制御して撮像を実行し、撮像画像データを取得する。制御部７３３は、撮像画像データを通信部７３４により制御装置２１０に送信する。
通信部７３４は、制御部７３３の制御に従って、通信部２７７と、例えばＢｌｕｅｔｏｏｔｈで無線通信を実行する。
制御部７３３は、撮像部７３２を制御して撮像を実行し、撮像画像データを取得する。制御部７３３は、撮像画像データを通信部７３４により制御装置２１０に送信する。
モーションセンサーユニット７６１は、センサーユニット７６２（動きセンサー）、制御部７６３、及び、通信部７６４を備える。モーションセンサーユニット７６１は、動きを検出する動きセンサーを備える。動きセンサーは、例えば、加速度センサー、角速度センサー等である。センサーユニット７６２は複数のセンサーを備えてもよい。
通信部７６４は、制御部７６３の制御に従って、通信部２７７と、例えばＢｌｕｅｔｏｏｔｈで無線通信を実行する。
制御部７６３は、センサーユニット７６２を制御して、予め設定されたサンプリング周期でセンサーユニット７６２が備える動きセンサーの検出値を取得する。制御部７６３は、センサーユニット７６２の検出値を示す検出データを生成し、通信部７６４により制御装置２１０に送信する。
モーションセンサーユニット７６１は、被援助者ＵＢの頭部、腕、腰、脚等に、専用のハーネスを使用して、或いは衣服により、装着できる。
通信部７６４は、制御部７６３の制御に従って、通信部２７７と、例えばＢｌｕｅｔｏｏｔｈで無線通信を実行する。
制御部７６３は、センサーユニット７６２を制御して、予め設定されたサンプリング周期でセンサーユニット７６２が備える動きセンサーの検出値を取得する。制御部７６３は、センサーユニット７６２の検出値を示す検出データを生成し、通信部７６４により制御装置２１０に送信する。
モーションセンサーユニット７６１は、被援助者ＵＢの頭部、腕、腰、脚等に、専用のハーネスを使用して、或いは衣服により、装着できる。
通信部７０４、７３４、７６４は、通信部２７７との間で近距離無線通信を実行できればよく、Ｂｌｕｅｔｏｏｔｈ以外の通信方式を用いることも勿論可能である。
作業情報生成部３１５は、カメラ２６１の撮像画像データを含む作業情報を生成する。また、作業情報生成部３１５は、バーコードリーダー７０１が読み取った読取データ、外部カメラ７３１が撮像した撮像画像データ、及び、モーションセンサーユニット７６１が検出した動き検出の検出データの少なくともいずれかを含む作業情報を生成できる。例えば、作業情報生成部３１５は、カメラ２６１の撮像画像データと、外部カメラ７３１の撮像画像データとを含む作業情報を生成できる。この作業情報をタブレット型コンピューター６００Ａが受信すると、タブレット型コンピューター６００Ａは２つの撮像画像データを処理できる。外部カメラ７３１は設置位置の自由度が高く、外部カメラ７３１の画角（撮像範囲）は画像表示部２２０の位置や向きに制限されない。このため、ＨＭＤ２００Ａを装着する被援助者ＵＢの体や顔の向きに制限されず、作業対象物ＯＢを、自由な角度から撮像できる。
また、タブレット型コンピューター６００Ａは、ＨＭＤ２００Ａから、バーコードリーダー７０１の読取データを含む作業情報を受信した場合、読取データに基づく処理を行える。例えば、タブレット型コンピューター６００Ａは、被援助者ＵＢが使用する作業対象物ＯＢに関する情報を、外部のサーバー（図示略）から取得して、取得した情報を表示できる。
バーコードリーダー７０１の読取データは、ＨＭＤ２００Ａを装着する被援助者ＵＢが実行する作業記録として利用できる。例えば、バーコードリーダー７０１の読取データがタブレット型コンピューター６００Ａに送信された場合に、この読取データを、視点共有のトリガーとしてもよい。この場合、タブレット型コンピューター６００Ａは、視点共有を開始し、ＨＭＤ２００Ａが送信する作業情報に含まれる撮像画像データに基づく画像を、表示パネル６１７の全面に表示する動作を開始する。また、予めタブレット型コンピューター６００ＡまたはＨＭＤ２００Ａが記憶する作業手順データ（作業標準）において、バーコードリーダー７０１の読取データに基づき、各作業の進捗状況を記録してもよい。また、バーコードリーダー７０１の読取データをキーとして、ＨＭＤ２００Ａが送信する作業情報に含まれる撮像画像データを、記憶部６８０或いはクラウドサーバー（図示略）に保存してもよい。
また、タブレット型コンピューター６００Ａは、ＨＭＤ２００Ａから、モーションセンサーユニット７６１の検出データを含む作業情報を受信した場合、検出データに基づき、被援助者ＵＢの動きに関する処理を行える。例えば、タブレット型コンピューター６００Ａは、被援助者ＵＢの動きを示すゲージや画像を表示パネル６１７に表示できる。また、被援助者ＵＢの動きを入力操作に利用できる。例えば、モーションセンサーユニット７６１の検出データが、被援助者ＵＢがうなずく動作を示すデータである場合に、うなずきを検出する。この処理はいわゆるジェスチャー入力に相当する。タブレット型コンピューター６００Ａは、モーションセンサーユニット７６１が検出した動きが、予め設定されたジェスチャーに該当する場合に、このジェスチャーに対応付けられた入力を検出する。また、作業情報生成部３１５は、９軸センサー２６６の検出データとモーションセンサーユニット７６１の検出データとを含めることが可能である。タブレット型コンピューター６００Ａは、９軸センサー２６６の検出データとモーションセンサーユニット７６１の検出データとを含む作業情報を受信した場合、これらの検出データを統計的に処理することができる。例えば、９軸センサー２６６の検出データとモーションセンサーユニット７６１の検出データとの差分から、被援助者ＵＢの頭部と、被援助者ＵＢの身体においてモーションセンサーユニット７６１が取り付けられた部位との相対位置の変化を検出できる。このため、被援助者ＵＢの動きに関して詳細な解析が可能になり、より複雑なジェスチャー入力を実現できる。
ジェスチャー入力を利用して、例えば、タブレット型コンピューター６００ＡがＨＭＤ２００Ａに送信して表示させる指示コンテンツデータ６８５を切り替えることができる。また、ＨＭＤ２００Ａがタブレット型コンピューター６００Ａから受信する指示コンテンツデータ６８５が、複数の画像を含む場合に、これらの画像の表示切替、表示送り／戻しの指示を、ジェスチャー入力により行ってもよい。
また、例えば、ＨＭＤ２００Ａにおいて９軸センサー２６６及びモーションセンサーユニット７６１の検出データをもとに検出されるジェスチャーの種類毎に、入力内容を予め設定してもよい。この場合、複数種類のジェスチャーを利用して、複数の入力を行うことができる。例えば、ＨＭＤ２００Ａにおいて、被援助者ＵＢに対して「Ｙｅｓ」及び「Ｎｏ」のいずれかを選択して入力する状態で、被援助者ＵＢの頭部の前後の動きを「Ｙｅｓ」の入力として受け付け、頭部を左右に頭を振る動きを「Ｎｏ」の入力として受け付けてもよい。この場合、被援助者ＵＢの頭部の前後のジェスチャーを「Ｙｅｓ」の入力として受け付け、頭部を左右に頭を振るジェスチャーを「Ｎｏ」の入力として受け付けるよう設定されていればよい。これらの利用法により、ＨＭＤ２００Ａにおけるハンズフリー操作を実現できる。
また、例えば、ＨＭＤ２００Ａにおいて９軸センサー２６６及びモーションセンサーユニット７６１の検出データをもとに検出されるジェスチャーの種類毎に、入力内容を予め設定してもよい。この場合、複数種類のジェスチャーを利用して、複数の入力を行うことができる。例えば、ＨＭＤ２００Ａにおいて、被援助者ＵＢに対して「Ｙｅｓ」及び「Ｎｏ」のいずれかを選択して入力する状態で、被援助者ＵＢの頭部の前後の動きを「Ｙｅｓ」の入力として受け付け、頭部を左右に頭を振る動きを「Ｎｏ」の入力として受け付けてもよい。この場合、被援助者ＵＢの頭部の前後のジェスチャーを「Ｙｅｓ」の入力として受け付け、頭部を左右に頭を振るジェスチャーを「Ｎｏ」の入力として受け付けるよう設定されていればよい。これらの利用法により、ＨＭＤ２００Ａにおけるハンズフリー操作を実現できる。
また、制御部６６０は、モーションセンサーユニット７６１の検出データに基づいて、被援助者ＵＢの動作を解析できる。この場合、作業情報生成部３１５が、９軸センサー２６６の検出データを含む作業情報を生成して、通信制御部３１１によりタブレット型コンピューター６００Ａに送信してもよい。制御部６６０は、モーションセンサーユニット７６１の検出データを解析し、可能な場合は９軸センサー２６６の検出データを解析する。これにより、制御部６６０は、作業中における被援助者ＵＢの動きと、被援助者ＵＢが実行する作業内容とを対応させて、被援助者ＵＢの作業効率を評価してもよい。この評価においては、作業サイトＢにおける被援助者ＵＢの移動の動線を算出してもよい。また、被援助者ＵＢが実行する作業内容に対応付けて、標準的な作業者の動きを示すデータを、評価用のデータとして、記憶部６８０に予め記憶してもよい。そして、制御部６６０は、ＨＭＤ２００Ａから受信した作業情報に含まれる検出データと評価用のデータとを対照させて、被援助者ＵＢの動きを評価してもよい。また、被援助者ＵＢの作業効率を向上させるために被援助者ＵＢの動きに関する助言を含むテキストデータ、音声データ、画像データをＨＭＤ２００Ａに送信してもよい。また、この助言を表示パネル６１７に表示してもよい。
図２５は、タブレット型コンピューター６００Ａの表示例を示す図である。図２５（Ａ）は表示パネル６１７に２つの画像を並べて表示する２画面表示状態を示し、図２５（Ｂ）は表示パネル６１７に１つの画像を表示する通常表示状態を示す。
タブレット型コンピューター６００Ａの受信情報処理部６６５は、ＨＭＤ２００Ａから受信する作業情報に２つの撮像画像データが含まれる場合、これら２つの撮像画像データを抽出することができる。受信情報処理部６６５が２つの撮像画像データを抽出した場合、表示制御部６６２は、いずれか一方の撮像画像データに基づく１の画像を表示する通常表示状態と、２つの撮像画像データに基づく２の画像を表示する２画面表示状態とを切り替えることができる。表示制御部６６２は、通常表示状態と２画面表示状態とのいずれかを、設定データ６８１に従って自動的に選択しても良いし、操作取得部６１２が取得する操作に基づき選択してもよい。
２画面表示状態では、図２５（Ａ）に示すように、表示パネル６１７に表示領域６１７Ａ、６１７Ｂが設定される。そして、表示領域６１７Ａには、例えばカメラ２６１の撮像画像データに基づく画像が表示される。また、表示領域６１７Ｂには、例えば、外部カメラ７３１の撮像画像データに基づく画像が表示される。これにより、図２５（Ａ）に例示するように、カメラ２６１が撮像する作業対象物ＯＢの作業箇所の拡大画像と、外部カメラ７３１が撮像する俯瞰画像とを並べて表示できる。また、通常表示状態では、例えば図２５（Ｂ）に示すように外部カメラ７３１の撮像画像データに基づく画像を表示して、被援助者ＵＢの作業内容、或いはＨＭＤ２００Ａを装着する被援助者ＵＢが注視する方向にかかわらず、俯瞰画像を表示できる。
ここで、指示情報生成部６６９は、操作検出部６６６が検出する操作に基づいて、カメラ２６１及び／または外部カメラ７３１のズーム倍率を指示する情報を、指示情報に含めることができる。この機能はカメラ２６１、及び／または外部カメラ７３１が光学ズーム機能またはデジタルズーム機能を備える場合に有効である。この場合、タブレット型コンピューター６００Ａの操作により、ＨＭＤ２００Ａが送信する作業情報に含まれる撮像画像データのズーム倍率を調整できる。外部カメラ７３１は、予め設定された条件に基づき、自動でズーム倍率を調整してもよい。また、外部カメラ７３１が撮像用の照明装置を備えてもよく、この照明装置は可視光を発するものであっても赤外光を発するものであってもよい。撮像部７３２は照明装置が発する光による撮像を行える構成であることが好ましい。また、タブレット型コンピューター６００Ａの操作によって、タブレット型コンピューター６００Ａが受信する作業情報に含まれる撮像画像データに基づく画像の表示倍率を調整する構成であってもよい。例えば図２５（Ａ）に示す２画面表示状態において、表示領域６１７Ａ、６１７Ｂに表示される画像の倍率を調整することで、援助者ＵＡは、作業対象物ＯＢの細部の拡大画像や作業対象物ＯＢの全体を含む俯瞰画像を並べて表示させることができる。
ＨＭＤ２００Ａが外部カメラ７３１を備えることにより、援助者ＵＡは、被援助者ＵＢの作業中の手元の画像と俯瞰画像とを同時に見ることができる。外部カメラ７３１は、被援助者ＵＢの身体に限らず、被援助者ＵＢとは反対側から作業対象物ＯＢを撮像する位置に設けてもよく、この場合、援助者ＵＡは作業対象物ＯＢの裏側の画像を見ることができる。外部カメラ７３１を広角カメラとすれば、より広い範囲を撮像した撮像画像データを、援助者ＵＡが見ることができる。また、表示制御部６６２は、作業情報に含まれる撮像画像データに基づく画像と、指示コンテンツデータ６８５の画像とを、２画面表示状態で並べて表示してもよい。援助者ＵＡは、作業マニュアルや部品の画像、標準作業を示す画像等を、被援助者ＵＢの作業の状態を示す画像とともに見ることができる。この場合、制御部６６０は、バーコードリーダー７０１の読取データに基づき指示コンテンツデータ６８５を選択することもできる。
表示パネル６１７の表示状態は、図２５（Ａ）に示したように表示パネル６１７の全体を複数の表示領域６１７Ａ、６１７Ｂに分割する例に限らない。表示制御部６６２は、表示パネル６１７の周縁に表示領域６１７Ａ、６１７Ｂを配置し、表示領域６１７Ａ、６１７Ｂ以外の部分に撮像部６１５の撮像画像を表示してもよい。また、カメラ２６１と外部カメラ７３１の露出等の撮像条件を異ならせてもよい。また、表示領域６１７Ａ、６１７Ｂの位置を入れ替えてもよく、これらのバリエーションにより、援助者ＵＡが視線を大きく移動させずに、見やすく画像を視認できるように、表示できる。
また、タブレット型コンピューター６００Ａにおいて、２画面表示状態で、被援助者ＵＢ、ＵＣがそれぞれ装着する２台のＨＭＤ２００Ａが送信する作業情報に含まれる撮像画像データを並べて表示してもよい。
ＨＭＤ２００Ａが、図２５（Ａ）に示す２画面分割表示を実行可能な構成としてもよい。この場合、ＨＭＤ２００Ａにおいて実行可能としてもよい。この場合、ＨＭＤ２００Ａが表示する画像の輝度、ガンマー値、色度等を、表示する画像データの内容に応じて、或いは、ＨＭＤ２００Ａの環境の明るさに応じて、表示制御部３０５が自動的に調整する構成であってもよい。この場合、ＨＭＤ２００Ａを装着する被援助者ＵＢの視線を妨げないように、撮像画像データに基づく画像やタブレット型コンピューター６００Ａが送信する画像データに基づく画像を、画像表示部２２０の表示領域の周縁に配置してもよい。また、作業内容に応じて、これらの画像を非表示としてもよく、これらの画像を表示していた領域にハッチングや枠を表示してもよい。
また、本実施形態において、ＨＭＤ２００Ａが備える作業情報生成部３１５は、音声処理部３２９により生成される被援助者ＵＢの音声データ、カメラ２６１の撮像画像データ、及び、外部カメラ７３１の撮像画像データを、分離して作業情報に含めてもよい。すなわち、作業情報生成部３１５は、通信制御部３１１が、音声処理部３２９により生成される被援助者ＵＢの音声データ、カメラ２６１の撮像画像データ、及び、外部カメラ７３１の撮像画像データを、分離して送受信できるように、作業情報を生成する。この場合、作業情報生成部３１５は、複数の作業情報を生成する。
この構成では、通信制御部３１１は、通信部２７７とタブレット型コンピューター６００Ａとの間の通信状態に対応して、タブレット型コンピューター６００Ａに送信するデータ量を調整できる。通信部２７７とタブレット型コンピューター６００Ａとの間の通信状態とは、例えば、通信帯域（通信速度）が十分に確保できるか否かを指す。通信制御部３１１は、通信帯域が十分な場合は、音声処理部３２９により生成される被援助者ＵＢの音声データ、カメラ２６１の撮像画像データ、及び、外部カメラ７３１の撮像画像データの全てを送信する。また、通信帯域が不良な場合は、音声処理部３２９により生成される被援助者ＵＢの音声データを送信し、カメラ２６１の撮像画像データ及び外部カメラ７３１の撮像画像データのいずれか一方を送信し、他方の撮像画像データの送信を抑制する。通信制御部３１１は、通信帯域がさらに不良な場合には、音声処理部３２９の音声データを含む作業情報を優先的に送信する。撮像画像データを含む作業情報の送信を抑制する。
通信制御部３１１が撮像画像データを含む作業情報の送信を抑制する方法は、例えば、撮像画像データの送信頻度を抑制し、１秒当たりのフレーム数を低下させる方法が挙げられる。また、撮像画像データのフレームを構成する画素数（解像度）を低下させて送信してもよい。また、作業情報生成部３１５が、事前の設定に従って、カメラ２６１の撮像画像データ及び外部カメラ７３１の撮像画像データを異なる解像度の画像として、作業情報に含めてもよい。例えば、カメラ２６１の撮像画像データを高解像度とし、外部カメラ７３１の撮像画像データを低解像度の画像としてもよい。さらに、カメラ２６１の撮像画像データを、例えば３０フレーム／秒の動画像データとし、外部カメラ７３１の撮像画像データを、数秒に１回更新される静止画像データとしてもよい。すなわち、外部カメラ７３１の撮像画像データを含む作業情報を、数秒に１回、作業情報生成部３１５が生成して通信制御部３１１が送信する構成であってもよい。
さらに、受信情報処理部６６５は、作業情報に含まれる複数の撮像画像データのそれぞれを、作業記録として記憶部６８０に記憶してもよい。この場合、より詳細な作業内容の記録を保存できる。
図２６は、表示システム１Ｃの動作を示すフローチャートであり、（Ａ）はタブレット型コンピューター６００Ａの動作を示し、（Ｂ）はＨＭＤ２００Ａの動作を示す。図２６には、１台のタブレット型コンピューター６００Ａと、１台のＨＭＤ２００Ａとが動作する例を示す。
ＨＭＤ２００Ａでは、撮像制御部３１３がカメラ２６１を制御して撮像を実行し、撮像画像データを生成する。また、操作検出部３２３は、外部カメラ７３１から送信される撮像画像データを受信する。作業情報生成部３１５は、カメラ２６１の撮像画像データ、及び、外部カメラ７３１の撮像画像データを取得する（ステップＳ８１）。ここで、外部カメラ７３１が制御装置２１０に接続されていない場合、作業情報生成部３１５はステップＳ８１でカメラ２６１の撮像画像データのみを取得する。
ＨＭＤ２００Ａでは、音声処理部３２９が、マイク２６３で集音した音声を予め設定されたサンプリング周期で取得して、音声データを生成する。作業情報生成部３１５は、音声処理部３２９が生成する音声データを取得する（ステップＳ８２）。
また、操作検出部３２３は、通信部２７７を介して、モーションセンサーユニット７６１が送信する検出データを受信する。作業情報生成部３１５は、操作検出部３２３が受信する検出データを取得する（ステップＳ８３）。ここで、モーションセンサーユニット７６１が制御装置２１０に接続されていない場合、作業情報生成部３１５はステップＳ８３の動作をスキップする。
制御装置２１０にバーコードリーダー７０１が接続されている場合、操作検出部３２３は７１１を介して、バーコードリーダー７０１が読み取った読取データを受信する。作業情報生成部３１５は、操作検出部３２３が読取データを受信した場合、この読取データを取得する（ステップＳ８４）。ここで、バーコードリーダー７０１が制御装置２１０に接続されていない場合や、操作検出部３２３が読取データを受信していない場合、作業情報生成部３１５はステップＳ８４をスキップする。
作業情報生成部３１５は、作業情報を生成し、この作業情報を通信制御部３１１がタブレット型コンピューター６００Ａに送信する（ステップＳ８５）。ステップＳ８５で作業情報生成部３１５が生成する作業情報は、ステップＳ８１で取得した撮像画像データ、ステップＳ８３で取得した検出データ、及び、ステップＳ８４で取得した読取データを含む。
また、作業情報生成部３１５は、ステップＳ８２で取得した音声データを含む作業情報を生成し、この作業情報を通信制御部３１１がタブレット型コンピューター６００Ａに送信する（ステップＳ８６）。
作業情報生成部３１５がステップＳ８５及びステップＳ８６で生成する作業情報は、通信制御部３１１がタブレット型コンピューター６００Ａと通信する通信状態により、上述したように、変更してもよい。これにより、通信状態が不良の場合であっても、音声が途切れないようにＨＭＤ２００Ａからタブレット型コンピューター６００Ａに音声データを送信できる。同様に、カメラ２６１または外部カメラ７３１のいずれか一方の撮像画像データを、途切れないように送信できる。
また、作業情報生成部３１５は、入力情報取得部２７０により検出した操作に関するデータを、ステップＳ８５、Ｓ８６で生成する作業情報に含めてもよい。
タブレット型コンピューター６００Ａでは、ＨＭＤ２００Ａから送信された作業情報を、通信制御部６６３が受信し、受信した作業情報を受信情報処理部６６５が解析する（ステップＳ６１）。受信情報処理部６６５は、受信した作業情報から撮像画像のデータを抽出して、抽出した撮像画像データのうち表示する撮像画像データを選択する（ステップＳ６２）。例えば、作業情報がカメラ２６１の撮像画像データと外部カメラ７３１の撮像画像データとを含む場合、受信情報処理部６６５は表示する撮像画像データを選択する。この選択は、表示制御部６６２が、表示パネル６１７により通常表示状態で表示するか、２画面表示状態で表示するかによっても決定される。
表示制御部６６２は、受信情報処理部６６５が選択した撮像画像データを表示パネル６１７に表示する（ステップＳ６３）。ここで、受信情報処理部６６５は作業情報に音声データが含まれる場合に、音声処理部６７１によって音声を出力させてもよい。
タブレット型コンピューター６００Ａでは、援助者ＵＡが被援助者ＵＢに指示等をするための操作が行われる（ステップＳ６４〜Ｓ６６）。ステップＳ６４では、例えば、テキストと画像を含む支援用のコンテンツが選択される。ステップＳ６５では、例えば、通信制御部６６３が受信して表示中の画像について、被援助者ＵＢに注目させる位置を指し示す操作が行われる。ステップＳ６５の操作は、タッチパネル６１６の操作、或いは、援助者ＵＡが撮像部６１５の撮像範囲で指示体を動かす操作である。この操作は操作検出部６６６により検出され（ステップＳ６６）、操作検出部６６６は検出した操作のデータを生成する。
操作検出部６６６は、検出した操作の操作位置や操作の軌跡を、表示中のＨＭＤ２００Ａの撮像画像に対応付けるデータを生成する（ステップＳ６７）。これにより、被援助サイトＢの表示領域ＤＡにおいて特定の位置を示すデータが得られる。送信画像取得部６６８は、ステップＳ６５の操作中に撮像部６１５が撮像した撮像画像から指示体の画像を切り出し、或いは、記憶部５０から送信画像データ６８４を読み出して、送信画像を取得する（ステップＳ６８）。
指示情報生成部６６９は、送信画像取得部６６８が取得した指示体の画像の画像データと、操作位置や操作の軌跡を示すデータと、操作位置や操作の軌跡をＨＭＤ２００Ａの撮像画像と対応付けるデータとを含む指示情報を生成して送信する（ステップＳ６９）。
ここで、指示情報生成部６６９は、援助者ＵＡの視点または視線方向を示す画像のデータ、または当該画像を表示するために必要な座標や方向のデータを含む指示情報を生成する。このデータの具体例は、例えば、援助者ＵＡが使用する指示体の画像のデータや、指示体の向き及び位置を示すデータが挙げられる。この場合の指示体は向きが明らかに判別できる程度の大きさ、形状を有することが好ましい。
ここで、指示情報生成部６６９は、援助者ＵＡの視点または視線方向を示す画像のデータ、または当該画像を表示するために必要な座標や方向のデータを含む指示情報を生成する。このデータの具体例は、例えば、援助者ＵＡが使用する指示体の画像のデータや、指示体の向き及び位置を示すデータが挙げられる。この場合の指示体は向きが明らかに判別できる程度の大きさ、形状を有することが好ましい。
制御部６６０は、動作の終了条件が成立したか否かを判定し（ステップＳ７０）、終了条件が成立していない場合は（ステップＳ７０；ＮＯ）、ステップＳ６１に戻る。また、終了条件が成立した場合は（ステップＳ７０；ＹＥＳ）、本処理を終了する。終了条件は、例えば表示パネル６１７または図示しない電源スイッチの操作により、動作終了やタブレット型コンピューター６００Ａのシャットダウンが指示されること等が挙げられる。
ＨＭＤ２００Ａは、タブレット型コンピューター６００Ａが送信する指示情報を通信制御部３１１で受信し（ステップＳ８７）、受信した指示情報を受信情報解析部３１７が解析して画像データを抽出する（ステップＳ８８）。次いで、表示位置算出部３２１が各画像データに基づいて画像を表示する位置を算出する（ステップＳ８９）。さらに、表示情報生成部３２５が、算出した表示位置に画像を配置した表示情報を生成して、画像処理部３０３及び表示制御部３０５により表示させる（ステップＳ９０）。
制御部３００は、動作の終了条件が成立したか否かを判定し（ステップＳ９１）、終了条件が成立していない場合は（ステップＳ９１；ＮＯ）、ステップＳ８１に戻る。また、終了条件が成立した場合は（ステップＳ９１；ＹＥＳ）、本処理を終了する。終了条件は、例えば操作部２７９の操作により、動作終了やＨＭＤ２００Ａのシャットダウンが指示されること等が挙げられる。
制御部３００は、動作の終了条件が成立したか否かを判定し（ステップＳ９１）、終了条件が成立していない場合は（ステップＳ９１；ＮＯ）、ステップＳ８１に戻る。また、終了条件が成立した場合は（ステップＳ９１；ＹＥＳ）、本処理を終了する。終了条件は、例えば操作部２７９の操作により、動作終了やＨＭＤ２００Ａのシャットダウンが指示されること等が挙げられる。
このように、第７実施形態の表示システム１Ｃでは、ＨＭＤ２００Ａが備える外部カメラ７３１を活用して、作業サイトＢ、Ｃにおいて被援助者ＵＢ、ＵＣが行う作業の様子を、援助者ＵＡをより詳細に知ることができる。また、タブレット型コンピューター６００Ａが撮像部６１５により撮像した撮像画像データをＨＭＤ２００Ａに送信し、ＨＭＤ２００Ａが画像表示部２２０により表示してもよい。この場合に、上述したように、画像表示部２２０において２画面表示状態を利用してもよい。また、複数のタブレット型コンピューター６００Ａがそれぞれ撮像部６１５により撮像する撮像画像データを、画像表示部２２０が同時に表示してもよい。これらの構成により、複数のＨＭＤ２００Ａ、及び、複数のタブレット型コンピューター６００Ａの間で、実行中の作業に関する情報を共有し、共同で作業を行うことが可能となる。この場合において、画像表示部２２０が表示する画像と、表示パネル６１７に表示される画像とに共通のポインターを表示し、ポインターを動かす操作を共有してもよい。すなわち、ＨＭＤ２００Ａにおいてポインターを動かす操作が行われた場合に、ＨＭＤ２００Ａが表示するポインター及びタブレット型コンピューター６００Ａが表示するポインターの両方を同様に動作させ、その逆も同様とする。これにより、視点を共有した作業を、より容易に行うことができる。また、援助者ＵＡがＨＭＤ２００Ａを使用し、被援助者ＵＢ、ＵＣがタブレット型コンピューター６００Ａを使用する構成であってもよい。この場合、タブレット型コンピューター６００Ａはタブレット型コンピューター６００（図１７）と同様に機能すればよい。この場合、援助者ＵＡと、被援助者ＵＢ、ＵＣとが互いの役割を交代しながら、作業を行うことが可能となる。
以上説明したように、本発明を適用した第７実施形態の表示システム１Ｃにおいて、ＨＭＤ２００Ａは、画像表示部２２０とは別体として構成され、情報を検出する外部情報検出部を備える。制御部３００は、外部情報検出部で検出した情報を含む作業情報を通信部２７７によりタブレット型コンピューター６００Ａに送信し、制御部６６０は、通信部６１３によりＨＭＤ２００Ａから作業情報を受信して、作業情報に基づく画像を表示パネル６１７に表示する。これにより、ＨＭＤ２００Ａが外部情報検出部により検出した情報を、ＨＭＤ２００Ａからタブレット型コンピューター６００Ａに送信することができる。このため、タブレット型コンピューター６００Ａを使用する援助者ＵＡは、ＨＭＤ２００Ａを使用する被援助者ＵＢの作業内容やＨＭＤ２００Ａの周囲の状況等に関して詳細な情報を得ることができる。さらに、外部情報検出部は、画像表示部２２０とは別体で構成されるため、設置位置の自由度が高く、多様な情報を容易に得ることができる。
また、外部情報検出部は、画像化された情報を読み取るバーコードリーダー７０１、及び、動きセンサーを備えたモーションセンサーユニット７６１の少なくともいずれかを含む。これにより、ＨＭＤ２００Ａが、画像表示部２２０とは別体で構成される外部情報検出部により、画像化された情報の読み取り或いは動きの検出を行い、検出した情報をタブレット型コンピューター６００Ａに送信できる。このため、タブレット型コンピューター６００Ａを使用する援助者ＵＡに対し、より詳細な情報を提供できる。
また、外部情報検出部は、カメラ２６１とは別体として構成される外部カメラ７３１を含む。制御部３００は、外部カメラ７３１の撮像画像を含む作業情報を通信部２７７によりタブレット型コンピューター６００Ａに送信し、制御部６６０は、通信部６１３によりＨＭＤ２００Ａから受信した作業情報に含まれる外部カメラ７３１の撮像画像を表示パネル６１７に表示する。これにより、ＨＭＤ２００Ａが、画像表示部２２０とは別体で構成される外部カメラ７３１により撮像した撮像画像を、タブレット型コンピューター６００Ａに送信できる。このため、タブレット型コンピューター６００Ａを使用する援助者ＵＡは、ＨＭＤ２００Ａが、画像表示部２２０とは異なる位置から撮像した撮像画像を見ることができる。
また、制御部３００は、カメラ２６１の撮像画像と、外部カメラ７３１の撮像画像とを含む作業情報を通信部２７７によりタブレット型コンピューター６００Ａに送信し、制御部６６０は、通信部６１３によりＨＭＤ２００Ａから受信した作業情報に含まれるカメラ２６１の撮像画像、及び、外部カメラ７３１の撮像画像を、表示パネル６１７に表示する。これにより、タブレット型コンピューター６００Ａによって、カメラ２６１の撮像画像と外部カメラ７３１の撮像画像とを見ることができる。
また、制御部６６０は、通信部６１３によりＨＭＤ２００Ａから受信した作業情報に含まれるカメラ２６１の撮像画像、及び、外部カメラ７３１の撮像画像を、表示パネル６１７に並べて表示する。これにより、タブレット型コンピューター６００Ａによって、カメラ２６１の撮像画像と外部カメラ７３１の撮像画像とを同時に見ることができる。
制御部３００は、通信部２７７とタブレット型コンピューター６００Ａとの間の通信状態に応じて、作業情報に含まれるカメラ２６１の撮像画像、及び、外部カメラ７３１の撮像画像の状態を調整する。これにより、ＨＭＤ２００Ａからタブレット型コンピューター６００Ａに送信する作業情報に複数の画像が含まれることに起因して、データ量が増大しても、通信状態に対応して適切に送信できる。このため、通信状態の影響を受けやすい構成において、ＨＭＤ２００Ａからタブレット型コンピューター６００Ａへ適切に作業情報を送信し、タブレット型コンピューター６００Ａにおいて適切に撮像画像を表示できる。
上記実施形態では、第３撮像部として、制御装置２１０と無線接続される外部カメラ７３１を例示したが、本発明はこれに限定されない。例えば、ＵＳＢケーブルによる制御装置２１０に有線接続される外付カメラ等を第３撮像部として用いてもよい。また、腕時計型、手持ち型のカメラを第３撮像部としてもよい。また、第３撮像部を制御装置２１０に接続する方式は、Ｂｌｕｅｔｏｏｔｈに限らず、無線ＬＡＮ等を用いてもよい。
また、タブレット型コンピューター６００Ａは、筐体６０２の背面に１個の撮像部６１５を備える構成に限らず、表示パネル６１７の側方に、さらにカメラを設けてもよい。この場合、筐体６０２の表示パネル６１７側、及び、背面側のそれぞれに、カメラを備える構成となる。この構成では、表示パネル６１７側に設置されるカメラをインカメラ、撮像部６１５をアウトカメラと呼ぶことができる。そして、タブレット型コンピューター６００Ａが撮像部６１５のＨＭＤ２００Ａからタブレット型コンピューター６００Ａに送信する作業データに、タブレット型コンピューター６００Ａで使用するカメラを指定するデータを含めてもよい。例えば、タブレット型コンピューター６００Ａが撮像画像を含む案内情報をＨＭＤ２００Ａに送信する構成で、ＨＭＤ２００Ａが送信する作業情報に、タブレット型コンピューター６００Ａのインカメラとアウトカメラを指定する情報を含めることができる。この場合、被援助者ＵＢは、ＨＭＤ２００Ａにより表示したい画像を、タブレット型コンピューター６００Ａの援助者ＵＡ側、或いは作業台Ｔ′側から選ぶことができる。
なお、図３、図６、図１５、図１８、図２２、及び図２４に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよい。その構成は、図３、図６、図１５、図１８、図２２、及び図２４に示した通りに独立したハードウェア資源を配置する構成に限定されない。
また、上記実施形態で説明した制御部３０、６０、３００、６３０、６６０の動作をプログラムとして実現することも可能である。上記のプログラムは、その一部または全部をハードウェアとして実現してもよい。例えば、制御部３０、６０、３００、６３０、６６０が備える上記の各処理部は、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。また、ＦＰＧＡ（Field-Programmable Gate Array）等のＰＬＤ（Programmable Logic Device）をプログラミングして構成してもよい。また、複数の半導体デバイスを含む回路として実現してもよい。
また、ハードウェアがプログラムを実行して上記機能を実現する場合、このプログラムは、制御部３０、６０、３００、６３０、６６０のＲＯＭ、或いは、記憶部５０、８０、３４０、６５０、６８０または別の記憶装置に記憶されてもよい。或いは、プロジェクター１００Ａ、１００Ｂ、ＨＭＤ２００、２００Ａまたはタブレット型コンピューター６００、６００Ａに外部接続される記憶装置や記憶媒体に上記プログラムを格納してもよい。この場合、これらの記憶装置や記憶媒体から、プログラムを記憶部５０、８０、３４０、６５０、６８０等に取り込んで実行することも可能である。また、外部の装置に記憶されたプログラムを通信部やインターフェイス部を介して取得して実行する構成としてもよい。
また、上記実施形態で説明した制御部３０、６０、３００、６３０、６６０の動作をプログラムとして実現することも可能である。上記のプログラムは、その一部または全部をハードウェアとして実現してもよい。例えば、制御部３０、６０、３００、６３０、６６０が備える上記の各処理部は、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。また、ＦＰＧＡ（Field-Programmable Gate Array）等のＰＬＤ（Programmable Logic Device）をプログラミングして構成してもよい。また、複数の半導体デバイスを含む回路として実現してもよい。
また、ハードウェアがプログラムを実行して上記機能を実現する場合、このプログラムは、制御部３０、６０、３００、６３０、６６０のＲＯＭ、或いは、記憶部５０、８０、３４０、６５０、６８０または別の記憶装置に記憶されてもよい。或いは、プロジェクター１００Ａ、１００Ｂ、ＨＭＤ２００、２００Ａまたはタブレット型コンピューター６００、６００Ａに外部接続される記憶装置や記憶媒体に上記プログラムを格納してもよい。この場合、これらの記憶装置や記憶媒体から、プログラムを記憶部５０、８０、３４０、６５０、６８０等に取り込んで実行することも可能である。また、外部の装置に記憶されたプログラムを通信部やインターフェイス部を介して取得して実行する構成としてもよい。
１、１Ａ、１Ｂ、１Ｃ…表示システム、１３…通信部（第１通信部、第２通信部）、１５…撮像部（第１撮像部、第２撮像部）、１７…操作取得部、２０…投射部（第１表示部、第２表示部）、３０…制御部（第２制御部）、３２…投射制御部、３３…通信制御部、３４…受信情報処理部、３５…操作検出部、３６…操作時表示制御部、３７…送信画像取得部、３８…指示情報生成部、４０…画像処理部、５０…記憶部、５１…設定データ、５２…検出用データ、５３…メニュー画像データ、５４…送信画像データ、５５…指示コンテンツデータ、６０…制御部（第１制御部）、６２…投射制御部、６３…通信制御部、６４…撮像制御部、６５…作業情報生成部、６６…受信情報解析部、６７…指示検出部、６８…表示位置算出部、６９…操作検出部、７０…表示情報生成部、８０…記憶部、８１…設定データ、８２…検出用データ、８３…メニュー画像データ、８５…メニュー画像データ、１００Ａ…プロジェクター（第２表示装置）、１００Ｂ…プロジェクター（第１表示装置）、２００、２００Ａ…ＨＭＤ（第１表示装置）、２１０…制御装置、２２０…画像表示部（第１表示部）、２２２…右表示駆動部、２２４…左表示駆動部、２２５…インターフェイス、２６１…カメラ（第１撮像部）、２６３…マイク、２６４…距離センサー、２６６…９軸センサー、２６８…視線センサー、２７０…入力情報取得部、２７３…３軸センサー、２７４…インターフェイス、２７７…通信部（第１通信部）、２７９…操作部、２８６…右導光板、２８６Ａ…ハーフミラー、２９６…左導光板、２９６Ａ…ハーフミラー、３００…制御部（第１制御部）、３０３…画像処理部、３０５…表示制御部、３１１…通信制御部、３１３…撮像制御部、３１５…作業情報生成部、３１７…受信情報解析部、３１９…指示検出部、３２１…表示位置算出部、３２３…操作検出部、３２５…表示情報生成部、３２９…音声処理部、３４０…記憶部、３４１…設定データ、３４３…検出用データ、３４５…メニュー画像データ、６００…タブレット型コンピューター（第１表示装置）、６０２…筐体、６１２…操作取得部、６１３…通信部（第１通信部）、６１５…撮像部（第１撮像部）、６１７…表示パネル（第１表示部、第２表示部）、６３０…制御部（第１制御部）、６３２…表示制御部、６３３…通信制御部、６３４…撮像制御部、６３５…作業情報生成部、６３６…受信情報解析部、２３７…指示検出部、２３８…表示位置算出部、６３９…操作検出部、６４０…表示情報生成部、６５０…記憶部、６５１…設定データ、６５２…検出用データ、６５３…メニュー画像データ、６５５…メニュー画像データ、６００Ａ…タブレット型コンピューター（第２表示装置）、６６０…制御部（第２制御部）、６６１…ＯＳ、６６２…表示制御部、６６３…通信制御部、６６４…撮像制御部、６６５…受信情報処理部、６６６…操作検出部、６６７…操作時表示制御部、６６８…送信画像取得部、６６９…指示情報生成部、６７０…表示位置算出部、６７１…音声処理部、６８０…記憶部、６８１…設定データ、６８２…検出用データ、６８３…メニュー画像データ、６８４…送信画像データ、６８５…指示コンテンツデータ、７０１…バーコードリーダー（外部情報検出部、読取部）、７０２…読取部、７０３…制御部、７０４…通信部、７３１…外部カメラ（外部情報検出部、第３撮像部）、７３２…撮像部、７３３…制御部、７３４…通信部、７６１…モーションセンサーユニット（外部情報検出部、動き検出部）、７６２…センサーユニット（動きセンサー）、７６３…制御部、７６４…通信部、ＢＬ…撮像境界線、ＤＡ…表示領域（第２表示領域）、ＤＢ…表示領域（第１表示領域）、ＯＢ…作業対象物、ＰＡ…撮像範囲、ＰＢ…撮像範囲、Ｔ…作業台、ＵＡ…援助者、ＵＢ…被援助者、ＵＣ…被援助者。
Claims (23)
- 第１表示装置及び第２表示装置を備え、
前記第１表示装置は、
第１表示領域に画像を表示する第１表示部と、
第１撮像部と、
前記第２表示装置と通信を実行する第１通信部と、
前記第１通信部により前記第２表示装置から案内情報を受信し、前記案内情報に基づく画像を前記第１表示部により表示する第１制御部と、を備え、
前記第２表示装置は、
第２表示領域に画像を表示する第２表示部と、
前記第１表示装置と通信を実行する第２通信部と、
操作を検出する操作検出部と、
前記操作検出部が検出する操作を示す情報を含む案内情報を生成して、前記第２通信部で送信する第２制御部と、を備え、
前記第１制御部は、前記第２表示装置から受信する前記案内情報に基づいて、前記第２表示装置の前記操作検出部が検出した操作に対応する画像と、当該操作を行う操作者の視点または視線方向を示す画像とを前記第１表示部により表示すること、
を特徴とする表示システム。 - 前記第２制御部は、前記操作検出部が検出する操作を、当該操作を行う前記操作者の視点または視線方向を基準として示す情報を含む前記案内情報を生成すること、を特徴とする請求項１記載の表示システム。
- 前記第１表示部は、作業対象物が配置される対象配置領域を含む前記第１表示領域に画像を表示し、
前記第１制御部は、前記対象配置領域に配置される前記作業対象物に対応する位置に画像を表示すること、を特徴とする請求項１または２記載の表示システム。 - 前記第１撮像部は、前記対象配置領域の少なくとも一部を含む撮像範囲を撮像し、
前記第１制御部は、前記第１撮像部の撮像画像に基づいて、前記作業対象物の位置に対応する画像の表示位置を特定すること、を特徴とする請求項３記載の表示システム。 - 前記第１制御部は、前記第１撮像部の撮像範囲を示す画像を、前記第１表示部により表示すること、を特徴とする請求項３または４記載の表示システム。
- 前記第１制御部は、前記第２表示装置から受信する前記案内情報に基づいて、前記第２表示装置の前記操作検出部が検出した操作の操作位置に対応して、操作体の画像を表示すること、
を特徴とする請求項１から５のいずれかに記載の表示システム。 - 前記第１制御部は、前記第２表示装置から受信する前記案内情報に基づいて、前記第２表示装置の前記操作検出部が検出した操作の操作位置を示す画像と、操作体の画像とを表示すること、
を特徴とする請求項１から５のいずれかに記載の表示システム。 - 前記第１表示装置が前記案内情報に基づいて表示する前記操作体の画像は、前記第１表示装置を使用して実行される作業に関する用具あるいは器具の画像であること、
を特徴とする請求項６または７記載の表示システム。 - 前記第２制御部は、前記操作検出部が検出する操作に対応する前記操作体の画像として、前記第１表示装置を使用して実行される作業に関する用具あるいは器具の画像を取得し、取得した前記操作体の画像を含む前記案内情報を生成して、前記第２通信部で送信すること、を特徴とする請求項８記載の表示システム。
- 前記第１制御部は、前記第１撮像部の撮像画像に基づき案内対象情報を生成して前記第１通信部により前記第２表示装置に送信し、
前記第２制御部は、前記第２通信部により前記第１表示装置から前記案内対象情報を受信し、前記案内対象情報に基づき前記第２表示部により画像を表示し、前記案内対象情報に基づく画像の表示中に前記操作検出部が検出する操作を示す情報を含む前記案内情報を生成すること、
を特徴とする請求項１から９のいずれかに記載の表示システム。 - 前記第２表示装置は、少なくとも前記操作検出部が操作を検出する検出領域の一部を含む範囲を撮像する第２撮像部を備え、
前記第２制御部は、前記第２撮像部の撮像画像をもとに、前記操作検出部が検出する操作を示す情報を生成して、生成した情報を含む前記案内情報を生成すること、を特徴とする請求項１０記載の表示システム。 - 前記第２制御部は、前記操作検出部が検出する操作に対応する操作体の画像を含む前記案内情報を生成すること、を特徴とする請求項１から１１のいずれかに記載の表示システム。
- 前記第１制御部は、前記第２表示装置から受信する前記案内情報に基づいて、前記第１表示装置を操作する操作者に対し動作を案内する画像を前記第１表示部により表示すること、を特徴とする請求項１から１２のいずれかに記載の表示システム。
- 前記第１表示装置は、
前記第１表示部とは別体として構成され、情報を検出する外部情報検出部を備え、
前記第１制御部は、前記外部情報検出部で検出した情報を含む処理情報を前記第１通信部により前記第２表示装置に送信し、
前記第２制御部は、前記第２通信部により前記第１表示装置から前記処理情報を受信して、前記処理情報に基づく画像を前記第２表示部に表示すること、を特徴とする請求項１から１３のいずれかに記載の表示システム。 - 前記外部情報検出部は、画像化された情報を読み取る読取部、及び、動きセンサーを備えた動き検出部の少なくともいずれかを含むこと、を特徴とする請求項１４記載の表示システム。
- 前記外部情報検出部は、前記第１撮像部とは別体として構成される第３撮像部を含み、
前記第１制御部は、前記第３撮像部の撮像画像を含む処理情報を前記第１通信部により前記第２表示装置に送信し、
前記第２制御部は、前記第２通信部により前記第１表示装置から受信した前記処理情報に含まれる前記第３撮像部の撮像画像を前記第２表示部に表示すること、を特徴とする請求項１４または１５記載の表示システム。 - 前記第１制御部は、前記第１撮像部の撮像画像と、前記第３撮像部の撮像画像とを含む処理情報を前記第１通信部により前記第２表示装置に送信し、
前記第２制御部は、前記第２通信部により前記第１表示装置から受信した前記処理情報に含まれる前記第１撮像部の撮像画像、及び、前記第３撮像部の撮像画像を、前記第２表示部に表示すること、を特徴とする請求項１６記載の表示システム。 - 前記第２制御部は、前記第２通信部により前記第１表示装置から受信した前記処理情報に含まれる前記第１撮像部の撮像画像、及び、前記第３撮像部の撮像画像を、前記第２表示部に並べて表示すること、を特徴とする請求項１７記載の表示システム。
- 前記第１制御部は、前記第１通信部と前記第２表示装置との間の通信状態に応じて、前記処理情報に含まれる前記第１撮像部の撮像画像、及び、前記第３撮像部の撮像画像の状態を調整すること、を特徴とする請求項１７または１８記載の表示システム。
- 画像を表示する表示部と、
外部の表示装置と通信を実行する通信部と、
前記外部の表示装置において行われた操作を示す情報を含む案内情報を前記通信部により受信し、前記案内情報に基づいて、前記外部の表示装置の操作に対応する画像と、当該操作を行う操作者の視点または視線方向を示す画像とを前記表示部により表示する制御部と、
を備えることを特徴とする表示装置。 - 表示領域に画像を表示する表示部と、
外部の表示装置と通信を実行する通信部と、
操作を検出する操作検出部と、
前記操作検出部が検出する操作を示す情報を含む案内情報を生成して、前記通信部により前記外部の表示装置に送信する制御部と、を備え、
前記案内情報は、前記操作検出部が検出した操作に対応する画像と、当該操作を行う操作者の視点または視線方向を示す画像とを前記外部の表示装置が表示するための情報であること、
を特徴とする表示装置。 - 第１表示部を備える第１表示装置、及び、第２表示部を備える第２表示装置を用いる情報表示方法であって、
前記第２表示装置により、操作を検出し、検出する操作を示す情報を含む案内情報を生成して前記第１表示装置に送信し、
前記第１表示装置により、前記第２表示装置が送信する前記案内情報を受信し、前記案内情報に基づいて、前記第２表示装置の操作に対応する画像と、当該操作を行う操作者の視点または視線方向を示す画像とを前記第１表示部により表示すること、
を特徴とする情報表示方法。 - 画像を表示する第１表示部を有する第１表示装置を制御するコンピューターが実行可能なプログラムであって、
前記コンピューターにより、
外部の第２表示装置から、前記第２表示装置において行われた操作を示す情報を含む案内情報を受信し、前記案内情報に基づいて、前記第２表示装置の操作に対応する画像と、当該操作を行う操作者の視点または視線方向を示す画像とを前記第１表示部により表示すること、
を特徴とするプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016148329A JP6733401B2 (ja) | 2016-07-28 | 2016-07-28 | 表示システム、表示装置、情報表示方法、及び、プログラム |
| US15/264,740 US10133532B2 (en) | 2015-09-25 | 2016-09-14 | Display system, display device, information display method, and program |
| US16/161,776 US10642564B2 (en) | 2015-09-25 | 2018-10-16 | Display system, display device, information display method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016148329A JP6733401B2 (ja) | 2016-07-28 | 2016-07-28 | 表示システム、表示装置、情報表示方法、及び、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018018315A true JP2018018315A (ja) | 2018-02-01 |
| JP6733401B2 JP6733401B2 (ja) | 2020-07-29 |
Family
ID=61081801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016148329A Active JP6733401B2 (ja) | 2015-09-25 | 2016-07-28 | 表示システム、表示装置、情報表示方法、及び、プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6733401B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021010101A (ja) * | 2019-07-01 | 2021-01-28 | 株式会社日立製作所 | 遠隔作業支援システム |
| WO2023275919A1 (ja) * | 2021-06-28 | 2023-01-05 | 京セラ株式会社 | ウェアラブル端末装置、プログラムおよび表示方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007042073A (ja) * | 2005-07-01 | 2007-02-15 | Canon Inc | 映像提示システム、映像提示方法、該映像提示方法をコンピュータに実行させるためのプログラム、および記憶媒体 |
| WO2012081194A1 (ja) * | 2010-12-17 | 2012-06-21 | パナソニック株式会社 | 医療支援装置、医療支援方法および医療支援システム |
| JP2016126365A (ja) * | 2014-12-26 | 2016-07-11 | セイコーエプソン株式会社 | 表示システム、表示装置、情報表示方法、及び、プログラム |
-
2016
- 2016-07-28 JP JP2016148329A patent/JP6733401B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007042073A (ja) * | 2005-07-01 | 2007-02-15 | Canon Inc | 映像提示システム、映像提示方法、該映像提示方法をコンピュータに実行させるためのプログラム、および記憶媒体 |
| WO2012081194A1 (ja) * | 2010-12-17 | 2012-06-21 | パナソニック株式会社 | 医療支援装置、医療支援方法および医療支援システム |
| JP2016126365A (ja) * | 2014-12-26 | 2016-07-11 | セイコーエプソン株式会社 | 表示システム、表示装置、情報表示方法、及び、プログラム |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021010101A (ja) * | 2019-07-01 | 2021-01-28 | 株式会社日立製作所 | 遠隔作業支援システム |
| JP7372061B2 (ja) | 2019-07-01 | 2023-10-31 | 株式会社日立製作所 | 遠隔作業支援システム |
| WO2023275919A1 (ja) * | 2021-06-28 | 2023-01-05 | 京セラ株式会社 | ウェアラブル端末装置、プログラムおよび表示方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6733401B2 (ja) | 2020-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11231897B2 (en) | Display system, display device, information display method, and program | |
| US10642564B2 (en) | Display system, display device, information display method, and program | |
| JP6693060B2 (ja) | 表示システム、表示装置、表示装置の制御方法、及び、プログラム | |
| KR101773892B1 (ko) | 표시 장치, 두부 장치형 표시 장치, 표시 시스템 및 표시 장치의 제어 방법 | |
| US9898868B2 (en) | Display device, method of controlling the same, and program | |
| JP6149403B2 (ja) | 表示装置、および、表示装置の制御方法 | |
| JP6590050B2 (ja) | 表示装置、表示システム、表示装置の制御方法、及び、プログラム | |
| CN107710284B (zh) | 用于在虚拟图像生成系统中更有效地显示文本的技术 | |
| CN105045375A (zh) | 头部佩戴型显示装置、其控制方法、控制系统及计算机程序 | |
| JP2014137396A (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム | |
| CN111630477A (zh) | 提供增强现实服务的设备及其操作方法 | |
| JP6554948B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
| JP2019164420A (ja) | 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム | |
| JP2016024208A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
| JP2017134575A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
| JP6540426B2 (ja) | 表示システム、表示装置、情報表示方法、及び、プログラム | |
| JP2014187574A (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
| JP6733401B2 (ja) | 表示システム、表示装置、情報表示方法、及び、プログラム | |
| JP6740613B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
| JP2016033763A (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
| JP2017182413A (ja) | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム | |
| JP2016142966A (ja) | 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム | |
| JP2016092567A (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム | |
| JP2018085595A (ja) | 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 | |
| JP2018067160A (ja) | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190624 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200518 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200609 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200622 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6733401 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |