JP2019105885A - 頭部装着型表示装置、情報処理装置、情報処理システム、及び頭部装着型表示装置の制御方法 - Google Patents

Abstract

【課題】動作ステップごとに撮像画像データの利用の可否を制御することで、セキュリティー性の確保と使用者の利便性の向上とを両立させる。【解決手段】使用者の頭部に装着されるＨＭＤ１００であって、実行順序が予め定められた複数の作業ブロックを含む工程フローを定義する工程フローデータ１６２を記憶する記憶部１６０と、外景を撮像するカメラ６０と、工程フローデータ１６２に従って工程フローを実行する制御部１５０と、を備え、工程フローデータ１６２の少なくともいずれかの作業ブロックは、カメラ６０の撮像画像データの利用を許可するか否かの設定を含み、制御部１５０は、工程フローを実行する場合に、作業ブロックに関する工程フローデータ１６２の設定に従って、作業ブロックごとの撮像画像データの利用の可否を制御するＨＭＤ１００。【選択図】図６

Description

本発明は、頭部装着型表示装置、情報処理装置、情報処理システム、及び頭部装着型表示装置の制御方法に関する。

従来、使用者の頭部に装着され、使用者に視認可能に画像を表示する頭部装着型表示装置が知られている（例えば、特許文献１参照）。この頭部装着型表示装置には、様々な機能が搭載され高機能が進んでいる。このため、頭部装着型表示装置を作業現場で使用する場合、情報漏洩に対する対策が必要となる。
特許文献１は、撮影機能を制限する機能を備えた頭部装着型表示装置を開示する。

特開２０１６−２１２３４５号公報

ところで、頭部装着型表示装置を作業支援に用いる場合、作業の場面によっては頭部装着型表示装置の撮像部に撮像を実行させて、撮像画像データを保存しておきたい場合もある。ところが頭部装着型表示装置にインストールされた基本制御プログラム（ＯＳ）の機能により撮像制限を行う場合、一律に撮像機能を制限するか否かを設定するしかできず、利便性が低下する要因となっていた。
本発明は、動作ステップごとに撮像画像データの利用の可否を制御することで、セキュリティー性の確保と使用者の利便性の向上とを両立させることを目的とする。

上記課題を解決するため、本発明は、使用者の頭部に装着される頭部装着型表示装置であって、実行順序が予め定められた複数の動作ステップを含む動作フローを定義する制御データを記憶する記憶部と、外景を撮像する撮像部と、前記制御データに従って前記動作フローを実行する制御部と、を備え、前記制御データの少なくともいずれかの前記動作ステップは、前記撮像部の撮像画像データの利用を許可するか否かの設定を含み、前記制御部は、前記動作フローを実行する場合に、前記動作ステップに関する前記制御データの設定に従って、前記動作ステップごとの前記撮像画像データの利用の可否を制御する。
この構成によれば、制御部が制御データを実行する場合に、動作ステップごとの撮像画像データの利用の可否を制御することができる。従って、動作ステップごとに撮像画像データの利用の可否を制御して、セキュリティー性の確保と使用者の利便性の向上とを両立させることができる。

また、本発明は、前記制御部は、前記動作ステップを実行する場合に、前記動作ステップに関する前記制御データの設定に従って、前記撮像部を動作させる状態と停止させる状態とを切り替える。
この構成によれば、制御部に制御データを実行させることで、撮像部の動作状態の切り替えが実行できる。

また、本発明は、前記撮像部の撮像画像データを記憶する画像記憶部を備え、前記制御部は、前記動作ステップを実行する場合に、前記動作ステップに関する前記制御データの設定に従って、前記画像記憶部に記憶された前記撮像部の撮像画像データを利用するか否かを制御する。
この構成によれば、制御部に制御データを実行させることで、画像記憶部に記憶された撮像画像データの利用の可否を制御することができる。

また、本発明は、前記制御部は、コード情報を含む画像を撮像する処理を含む前記動作ステップを実行する場合に、前記撮像部の撮像画像データを利用する制御を行い、前記撮像部の撮像撮像データから前記コード情報を抽出して前記記憶部に記憶させる。
この構成によれば、コード情報を含む画像を撮像する処理を実行する場合に、撮像撮像データからコード情報を抽出することができる。

また、本発明は、前記制御部は、コード情報を含む画像を撮像する処理を含む前記動作ステップを実行する場合に、前記撮像画像データから抽出された前記コード情報に基づき前記撮像撮像データの使用可能回数を決定し、前記動作フローに含まれる他の前記動作ステップで前記使用可能回数を上限として前記撮像画像データの利用を可能とする。
この構成によれば、撮像画像データを利用可能な回数の上限を設定することできる。

また、本発明は、前記制御部は、前記撮像画像データの利用が可能に設定された前記動作ステップを実行する場合に、前記撮像部の複数回の撮像に相当する前記撮像画像データの利用を可能とする。
この構成によれば、撮像画像データの利用が可能に設定された動作ステップにおいて、複数回の撮像を行うことができる。

また、本発明は、報知部を備え、前記制御部は、前記画像記憶部に記憶された前記撮像部の前記撮像画像データを前記記憶部に記憶させる際に前記報知部による報知を行う。
この構成によれば、撮像画像データを記憶部に記憶させることを報知することができる。

上記課題を解決するため、本発明は、実行順序が定められた複数の動作ステップを含む動作フローを定義する制御データを編集可能な編集装置であって、入力を受け付ける入力部と、表示面に表示を行う表示部と、作業領域を含む作業用画面を前記表示面に表示させ、前記入力部により受け付けられた入力に応じて、前記動作ステップを示すオブジェクトであって前記動作ステップの内容を示す画像を含む前記オブジェクトを前記作業領域に配置し、前記作業領域における前記オブジェクトの配置に基づき前記動作フローを作成し、作成した前記動作フローを定義する前記制御データを生成する制御部と、を備え、前記制御データは、少なくともいずれかの前記動作ステップについて、撮像部の撮像画像データの利用を許可するか否かの設定を含む。
この構成によれば、動作フローの動作ステップごとに、撮像部の撮像画像データの利用を許可するか否かが設定された動作フローを作成することができる。

また、本発明は、頭部装着型表示装置との接続部を備え、前記制御部は、前記接続部に接続された前記頭部装着型表示装置に、前記頭部装着型表示装置に対応付けて作成された前記動作フローを定義する前記制御データを出力する。
この構成によれば、頭部装着型表示装置に対応付けて作成された制御データを頭部装着型表示装置に出力して、頭部装着型表示装置において制御データを実行させることができる。

また、本発明は、前記接続部には、複数の前記頭部装着型表示装置を接続可能であり、前記制御部は、前記接続部に接続された複数の前記頭部装着型表示装置の各々に対し、前記頭部装着型表示装置に対応付けて作成された前記動作フローを定義する前記制御データを出力する。
この構成によれば、複数の頭部装着型表示装置の各々に対応付けて作成された制御データを、対応する頭部装着型表示装置に出力し、対応する頭部装着型表示装置において制御データを実行させることができる。

上記課題を解決するため、本発明は、使用者の頭部に装着される頭部装着型表示装置と、情報処理装置とを備える情報処理システムであって、前記頭部装着型表示装置は、通信を行う第１通信部と、実行順序が予め定められた複数の動作ステップを含む動作フローを定義する制御データを記憶する記憶部と、外景を撮像する撮像部と、前記制御データに従って前記動作フローを実行する第１制御部と、を備え、前記制御データの少なくともいずれかの前記動作ステップは、前記撮像部の撮像画像データの利用を許可するか否かの設定を含み、前記第１制御部は、前記動作フローを実行する場合に、前記動作ステップに関する前記制御データの設定に従って、前記動作ステップごとの前記撮像画像データの利用の可否を制御し、前記撮像画像データの利用を許可する場合に、前記撮像部により撮像された前記撮像画像データを前記第１通信部により前記情報処理装置に送信する。
この構成によれば、動作ステップごとの撮像画像データの利用の可否を制御することが可能となり、撮像画像データの利用を許可する場合には、撮像された撮像画像データを情報処理装置に送信することができる。従って、撮像画像データの利用を許可する場合に、撮像された撮像画像データを情報処理装置に送信して、撮像画像データの外部への流出を防止し、セキュリティー性を確保することができる。

また、本発明は、前記第１制御部は、前記撮像画像データに、前記撮像画像データの利用を制限する制限情報を付加して前記情報処理装置に送信する。
この構成によれば、撮像画像データの外部への流出をより効果的に防止して、セキュリティー性を確保することができる。

また、本発明は、前記第１制御部は、前記撮像画像データに、前記頭部装着型表示装置を識別する第１識別情報を付加して前記情報処理装置に送信する。
この構成によれば、撮像画像データの外部への流出をより効果的に防止して、セキュリティー性を確保することができる。

また、本発明は、前記情報処理装置は、通信を行う第２通信部と、前記頭部装着型表示装置から受信した前記撮像画像データ及び前記第１識別情報を対応付けて記憶するデータ記憶部と、前記撮像画像データを利用可能な外部装置を識別する第２識別情報と、前記第２識別情報に対応した前記外部装置が撮像画像データを取得可能な前記頭部装着型表示装置の前記第１識別情報とを対応付けて記憶する識別情報記憶部と、前記第２通信部により前記第２識別情報を受信した場合に、前記識別情報記憶部に、受信した前記第２識別情報に一致する前記第２識別情報が記憶されているか否かを判定し、一致する前記第２識別情報が前記識別情報記憶部に記憶されている場合に、一致する前記第２識別情報に対応付けられた前記第１識別情報の前記撮像画像データを、前記第２識別情報を受信した前記外部装置に送信させる第２制御部と、を備える。
この構成によれば、撮像画像データの外部への流出をより効果的に防止して、セキュリティー性を確保することができる。

上記課題を解決するため、本発明は、使用者の頭部に装着される頭部装着型表示装置の制御方法であって、実行順序が予め定められた複数の動作ステップを含む動作フローが定義された制御データを実行するステップと、実行する前記動作ステップに含まれる撮像部の撮像を許可するか否かの設定に従って、前記撮像部を制御するステップとを有する。
この構成によれば、制御部が制御データを実行する場合に、動作ステップごとの撮像画像データの利用の可否を制御することができる。従って、動作ステップごとに撮像画像データの利用の可否を制御して、セキュリティー性の確保と使用者の利便性の向上とを両立させることができる。

システム構成図。 情報管理テーブルを示す図。 ＨＭＤの外観構成を示す図。 ＨＭＤの光学系の構成を示す要部平面図。 画像表示部の構成を示す斜視図。 ＨＭＤのブロック図。 制御装置の機能ブロック図。 ＨＭＤの第１の動作を示すフローチャート。 ＨＭＤの第２の動作を示すフローチャート。 サーバー装置の動作を示すフローチャート。 ＨＭＤの第３の動作を示すフローチャート。 ＰＣの構成図。 制御部の動作を示すフローチャート。 ＰＣの表示例を示す図。 ＰＣの表示例を示す図。

図１は、情報処理システム１のシステム構成図である。
情報処理システム１は、システム構成として、複数の頭部装着型表示装置（以下、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｔｅ Ｄｉｓｐｌａｙ）と表記する）１００と、サーバー装置５とを通信ネットワーク７を介して接続した構成を備える。図１には、ＨＭＤ１００Ａと、ＨＭＤ１００Ｂとの２台のＨＭＤ１００を示すが、ＨＭＤ１００の台数は２台に限定されず、任意である。また、以下では、ＨＭＤ１００ＡとＨＭＤ１００Ｂとを区別する必要がない場合、ＨＭＤ１００と表記する。

通信ネットワーク７は、公衆回線網、専用線、携帯電話回線を含む無線通信回線、及びこれらの回線のバックボーンの通信回線等、各種の通信回線又はその組合せで実現され、その具体的構成は限定されない。通信ネットワーク７は、遠隔地を接続できる広域通信回線網であってもよいし、特定の施設や建物内に敷設されたＬＡＮ（Local Area Network）であってもよい。また、通信ネットワーク７は、上記各種通信回線を接続するサーバー装置、ゲートウェイ装置、ルーター装置等のネットワーク機器を含んでもよい。

ＨＭＤ１００は、無線アクセスポイント９を介して他のＨＭＤ１００やサーバー装置５とデータ通信を行う。無線アクセスポイント９は、アクセスポイントやルーター等の通信装置であり、ＨＭＤ１００ＡとＨＭＤ１００Ｂとの間のデータ通信、及びＨＭＤ１００Ａ、ＨＭＤ１００Ｂと通信ネットワーク７とのデータ通信を中継する。

サーバー装置５は、通信部５１と、記憶部５３と、制御部５５とを備える。サーバー装置５は、本発明の「情報処理装置」に相当する。通信部５１は、本発明の「第２通信部」に相当する。また、記憶部５３は、本発明の「データ記憶部」及び「識別情報記憶部」に相当する。また、制御部５５は、本発明の「第２制御部」に相当する。

通信部５１は、通信ネットワーク７に接続され、通信ネットワーク７に接続されたＨＭＤ１００Ａや、ＨＭＤ１００Ｂ、他の装置とデータ通信を行う。

記憶部５３は、例えば、ハードディスク装置や半導体記憶装置等の補助記憶装置により構成される。記憶部５３は、制御部５５が実行する制御プログラムや、ＨＭＤ１００から受信した撮像画像データを記憶する。また、記憶部５３は、情報管理テーブル５７を記憶する。

図２は、情報管理テーブル５７の構成を示す図である。
情報管理テーブル５７は、ＨＭＤ識別情報、使用者ＩＤやパスワードといった使用者識別情報、及び画像識別情報を端末識別情報に対応付けて登録したテーブルである。
ＨＭＤ識別情報は、ＨＭＤ１００の識別情報である。ＨＭＤ１００Ａ及びＨＭＤ１００Ｂには異なるＨＭＤ識別情報が付与され、ＨＭＤ識別情報に基づいてＨＭＤ１００ＡとＨＭＤ１００Ｂとを識別することができる。例えば、ＨＭＤ識別情報として、ＭＡＣ（Media Access Control）アドレスやＩＰ（Internet Protocol）アドレスを用いることができる。また、ＨＭＤ識別情報は、情報処理システム１のシステム管理者が独自に設定してもよい。

使用者識別情報に含まれる使用者ＩＤやパスワードは、情報処理システム１を使用する使用者の各々を識別する情報である。また、１台のＨＭＤ１００を複数の使用者が使用する場合、ＨＭＤ１００を利用する使用者の各々を識別する必要がある。このため、情報管理テーブル５７には、使用者識別情報がＨＭＤ識別情報に対応付けて登録される。
画像識別情報は、ＨＭＤ１００から受信した撮像画像データの識別情報である。画像識別情報は、撮像画像データをサーバー装置５に送信する前に、ＨＭＤ１００が付与してもよいし、サーバー装置５で付与してもよい。また、撮像画像データの送信者や、撮像画像データを受信したＨＭＤ１００を特定するため、報管理テーブル３７には、画像識別情報が、ＨＭＤ識別情報や使用者識別情報に対応付けて登録される。

端末識別情報は、サーバー装置５から撮像画像データのダウンロードを許可された端末装置（外部装置）を識別する識別情報である。端末識別情報は、本発明の「第２識別情報」に相当する。端末識別情報には、ＭＡＣ（Media Access Control）アドレスやＩＰ（Internet Protocol）アドレスを用いてもよいし、情報処理システム１のシステム管理者が独自に設定してもよい。
また、本実施形態では、ＨＭＤ１００ごとに、撮像画像データのダウンロードを許可された端末装置が設定される場合について説明する。このため、情報管理テーブル５７には、端末識別情報がＨＭＤ識別情報に対応付けて登録される。端末識別情報は、例えば、作業者を管理する管理者が使用する端末装置の識別情報である。

また、管理者の識別情報（管理者識別情報）を、管理者の部下に相当する使用者の使用者情報に対応付けて情報管理テーブル５７に登録してもよい。管理者識別情報には、管理者のＩＤやパスワードが用いられる。この構成の場合、管理者は、ＩＤやパスワードを入力してサーバー装置５にログインし、自身が管理する作業者がサーバー装置５にアップロードした撮像画像データをサーバー装置５からダウンロードすることができる。

制御部５５は、ハードウェアとして、ＣＰＵや、ＲＯＭ、ＲＡＭ等（いずれも図示略）を備える。ＲＡＭは、ＣＰＵのワークエリアとして使用される。ＣＰＵは、ＲＯＭや記憶部（図示略）から読み出した制御プログラムをＲＡＭに展開し、展開した制御プログラムを実行してサーバー装置５の各部を制御する。また、制御部５５は、一つのＣＰＵ（又は半導体チップ）を備える構成であってもよいし、複数のＣＰＵ（又は半導体チップ）を備える構成であってもよい。

図３は、ＨＭＤ１００の外観構成を示す図である。ＨＭＤ１００ＡとＨＭＤ１００Ｂとはほぼ同一の構成を備えるため、以下ではＨＭＤ１００の構成として説明する。ＨＭＤ１００は、制御装置１０と画像表示部２０とを備える表示装置である。

制御装置１０は、使用者の操作を受け付ける操作部を備え、使用者がＨＭＤ１００を操作するコントローラーとして機能する。制御装置１０は、使用者の操作を受け付けて、受け付けた操作に応じて画像表示部２０を制御する。画像表示部２０は、使用者の頭部に装着され、使用者に虚像を視認させる。使用者とは、画像表示部２０を頭部に装着した者をいう。

制御装置１０は、図３に示すように平たい箱形のケース１０Ａ（筐体又は本体ともいえる）を備える。ケース１０Ａには、操作ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６及び電源スイッチ１８の各部を備える。操作ボタン１１、上下キー１５、切替スイッチ１６及び電源スイッチ１８を総称して操作子１３（図６）という。使用者は、操作子１３やトラックパッド１４を操作することによりＨＭＤ１００を操作できる。

操作ボタン１１は、メニューキー、ホームキー、戻るキー等を含み、特に、これらのキーやスイッチのうち押圧操作により変位するものを含む。ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、又は点滅する。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。トラックパッド１４の操作面における操作の検出方式は、静電式、圧力検出式、光学式等、種々の検出方式を採用できる。

上下キー１５は、右イヤホン３２及び左イヤホン３４から出力される音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチにより構成される。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６及び左導光板２８を備える。

右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と、右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者の頭部に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示を実現する。右表示ユニット２２は、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を実現する。左表示ユニット２４は、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。

右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムによって構成される。右導光板２６及び左導光板２８は、右表示ユニット２２及び左表示ユニット２４が出力する画像光を使用者の眼に導く。

右導光板２６及び左導光板２８の表面には、調光板（図示略）を設けてもよい。調光板は、光の波長域により透過率が異なる薄板上の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、使用者の眼の側と反対の側である前部フレーム２７の表側を覆うように配置される。この調光板の光学特性を適宜選択することにより、可視光、赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６及び左導光板２８に入射し、右導光板２６及び左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、外光を透過することにより外景を視認させる透過型の表示装置である。画像表示部２０は、右表示ユニット２２及び左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６及び左導光板２８に導く。右導光板２６及び左導光板２８に導かれた画像光は使用者の右眼と左眼に入射され、使用者に虚像を視認させる。これにより、画像表示部２０は画像を表示する。画像表示部２０を頭部に装着した使用者の視野範囲ＦＶにおいて、画像表示部２０が画像を表示可能な領域を表示領域という。

使用者の前方から、右導光板２６及び左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光及び外光が入射されることとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択又は調整することによって、虚像の視認のしやすさを調整できる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を用いることができる。また、調光板を用いると、右導光板２６及び左導光板２８を保護し、右導光板２６及び左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、又は、右導光板２６及び左導光板２８のそれぞれに対して着脱可能に構成してもよく、複数種類の調光板を交換して装着可能としてもよい。また、調光板を設けない構成の画像表示部２０としてもよい。

画像表示部２０の前部フレーム２７には、カメラ６０が配設される。カメラ６０は、本発明の「撮像部」に相当する。カメラ６０の構成及び配置は、使用者が画像表示部２０を装着した状態で視認する外景を撮像するように決められる。外景とは、画像表示部２０を頭部に装着した使用者の視線方向の外部の景色をいう。例えば、カメラは、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図３に示す例では、カメラ６０は、前部フレーム２７の端部ＥＲ側に配置され、指示体として使用者の身体の一部や身体に取り付けられた物体を検出する検出部として機能する。

カメラ６０は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態では、カメラ６０は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６０は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。別の表現では、カメラ６０は、使用者の視界と重なる範囲又は方向を撮像し、使用者が注視する方向を撮像する。カメラ６０の画角の方向及び広さは適宜設定可能である。本実施形態では、後述するように、カメラ６０の画角が、使用者が右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、カメラ６０の画角は、右導光板２６及び左導光板２８を透過して視認可能な使用者の視界の全体を撮像できるように設定される。

カメラ６０は、制御部１５０が備える撮像制御部１５３（図７）の制御に従って撮像を実行する。メインプロセッサー１４０は、電源スイッチ１８がオンされ、電源部１３０の電源供給を受けて起動すると、電源部１３０にカメラ６０への電源供給を開始させ、カメラ６０の電源をオンさせる。撮像制御部１５３は、カメラ６０の電源がオンすると、一定時間ごとにカメラ６０に撮像を実行させて撮像画像データを生成させる。撮像画像データは、メモリー１２１（図６参照）に書き込まれ、一時的に記憶される。

ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー（図示略）を備えてもよい。距離センサーは、例えば、前部フレーム２７において右導光板２６と左導光板２８との連結部分に配置できる。この場合、画像表示部２０の装着状態において、距離センサーの位置は、水平方向では使用者の両眼のほぼ中間であり、鉛直方向では使用者の両眼より上である。距離センサーの測定方向は、例えば、前部フレーム２７の表側方向とすることができ、言い換えればカメラ６０の撮像方向と重複する方向である。距離センサーは、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部１５０の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部１５０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。

図４は、画像表示部２０が備える光学系の構成を示す要部平面図である。図４には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図４に示すように、右表示ユニット２２及び左表示ユニット２４は、左右対称に構成される。右表示ユニット２２は、使用者の右眼ＲＥに画像を視認させる構成として、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ユニット２２１と、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１とを備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１５０（図７）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

また、左表示ユニット２４は、使用者の左眼ＬＥに画像を視認させる構成として、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１５０（図７）の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

この構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、又は外景の周辺に画像光Ｌによる画像が視認可能に表示される。ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

図３に戻り、制御装置１０及び画像表示部２０は、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの下部に設けられるコネクター（図示略）に着脱可能に接続され、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブル又は光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６及び制御装置１０は、例えばアナログ音声信号を伝送するラインで接続される。図３に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２と左イヤホン３４、及びマイク６３を有するヘッドセット３０が、コネクター４６に接続される。
制御装置１０と画像表示部２０とを無線接続してもよい。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格に準拠した無線通信により、制御装置１０と画像表示部２０とが制御信号やデータを相互に送受信する構成としてもよい。

マイク６３は、例えば図３に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス１８０（図６）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

図５は、画像表示部２０の構成を示す斜視図であり、画像表示部２０を使用者の頭部側から見た要部構成を示す。この図５は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。
図５では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１、及び左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。

カメラ６０は、画像表示部２０において右側の端部に配置され、使用者の両眼が向く方向、すなわち使用者にとっての前方を撮像する。カメラ６０の光軸は、右眼ＲＥ及び左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で、使用者の前方に位置する対象物を注視する場合、使用者から対象物までの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることがより多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物までの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし、使用者が設定してもよい。カメラ６０の光軸及び画角は、通常使用時における対象物までの距離が、設定された上限の目安に相当する場合、及び下限の目安に相当する場合に、この対象物が画角に含まれるように設定されることが好ましい。

一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。注視点が使用者の前方に位置する対象物であるとき、使用者の視野において、右眼ＲＥ及び左眼ＬＥのそれぞれの視線を中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者が右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）と呼ぶことができる。図３及び図４に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。

カメラ６０は、画像表示部２０が表示する画像と共に視認可能な外景を含む範囲を撮像する。カメラ６０の画角は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角が、使用者の実視野よりも広いことがより好ましい。さらに好ましくは、画角が、使用者の安定注視野よりも広く、最も好ましくは、画角が使用者の両眼の視野角よりも広いことがより好ましい。

カメラ６０が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６０が備える構成であってもよい。

図６は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１２１や不揮発性記憶部１２３が接続される。また、メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３が接続される。また、メインプロセッサー１４０には、ＧＰＳ受信部１１５、通信部１１７、音声コーデック１８２、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２及びＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。また、メインプロセッサー１４０には、ＬＥＤインジケーター１２や、ＬＥＤ表示部１７、バイブレーター１９、操作部１１０、電源部１３０が接続される。

メインプロセッサー１４０は、制御装置１０に内蔵されたコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１２１、不揮発性記憶部１２３、６軸センサー１１１、磁気センサー１１３、ＧＰＳ受信部１１５、通信部１１７、音声コーデック１８２等がさらに実装される。また、本実施形態は、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４及びインターフェイス１９６がコントローラー基板１２０に実装される。

メモリー１２１は、メインプロセッサー１４０が制御プログラムを実行する場合に、実行される制御プログラム、及び処理されるデータを一時的に記憶するワークエリアを構成する。メモリー１２１は、本発明の「画像記憶部」に相当する。不揮発性記憶部１２３は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）で構成される。不揮発性記憶部１２３は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。

図６には一つのメインプロセッサー１４０により制御装置１０の機能を実現する構成を示すが、複数のプロセッサー又は半導体チップにより制御装置１０の機能を実現するようにしてもよい。例えば、コントローラー基板１２０に、ＳｏＣ（System-on-a-Chip）やＭＣＵ（Micro Control Unit）、ＦＰＧＡ（Field-Programmable Gate Array）等の副処理装置（co-processor）をさらに搭載してもよい。また、制御装置１０は、メインプロセッサー１４０及び副処理装置の双方を協働させるか、あるいは双方のうちの一方を選択的に用いて各種の制御を行ってもよい。

６軸センサー１１１は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。

６軸センサー１１１及び磁気センサー１１３は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。また、６軸センサー１１１及び磁気センサー１１３は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。

ＧＰＳ受信部１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信されるＧＰＳ信号を受信する。ＧＰＳ受信部１１５は、受信したＧＰＳ信号をメインプロセッサー１４０に出力する。また、ＧＰＳ受信部１１５は、受信したＧＰＳ信号の信号強度を計測し、メインプロセッサー１４０に出力する。信号強度には、例えば、受信信号強度（ＲＳＳＩ：Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｉｏｎ）、電界強度、磁界強度、信号雑音比（ＳＮＲ： Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ ｒａｔｉｏ）等の情報を用いることができる。

通信部１１７は、外部の機器との間で無線通信を実行する。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、又はこれらが統合されたデバイスで構成される。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）等の規格に準拠した無線通信を行う。通信部１１７は、本発明の「第１通信部」に相当する。

音声インターフェイス１８０は、音声信号を入出力するインターフェイスである。本実施形態では、音声インターフェイス１８０は、接続ケーブル４０に設けられたコネクター４６（図３）を含む。コネクター４６はヘッドセット３０に接続される。音声インターフェイス１８０が出力する音声信号は右イヤホン３２、及び左イヤホン３４に入力され、これにより右イヤホン３２及び左イヤホン３４が音声を出力する。また、ヘッドセット３０が備えるマイク６３は、音声を集音して、音声信号を音声インターフェイス１８０に出力する。マイク６３から音声インターフェイス１８０に入力される音声信号は、外部コネクター１８４に入力される。

音声コーデック１８２は、音声インターフェイス１８０に接続され、音声インターフェイス１８０を介して入出力される音声信号のエンコード及びデコードを行う。音声コーデック１８２はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及びその逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８２は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス１８０を介して出力する。また、音声コーデック１８２は、音声インターフェイス１８０に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続して、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。

外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。

ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備える。ＵＳＢコネクター１８８は、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。

センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して、画像表示部２０に接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。また、ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及びインターフェイス１９６を介した伝送を実行する。

ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、又は点滅する。ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤインジケーター１２の点灯及び消灯を制御する。また、ＬＥＤ表示部１７は、トラックパッド１４の直下に配置されるＬＥＤ（図示略）、及びこのＬＥＤを点灯させる駆動回路を含む構成であってもよい。この場合、ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。
また、ＬＥＤインジケーター１２は、カメラ６０の撮像画像データを記憶部１６０に記憶させる場合や、サーバー装置３にアップロードする場合に点灯又は点滅し、撮像画像データが保存されたことを報知する。

バイブレーター１９は、モーター、偏心した回転子（いずれも図示略）を備え、その他の必要な構成を備えてもよい。バイブレーター１９は、メインプロセッサー１４０の制御に従って上記モーターを回転させることにより振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合や、カメラ６０の撮像画像データを記憶部１６０に記憶する場合、サーバー装置３にアップロードする場合等に、所定の振動パターンでバイブレーター１９により振動を発生する。

操作部１１０は、操作子１３及びトラックパッド１４を備える。操作子１３には、操作ボタン１１、上下キー１５、切替スイッチ１６及び電源スイッチ１８が含まれる。操作部１１０は、操作子１３やトラックパッド１４が操作を受けた場合に、操作を受けた操作子１３やトラックパッド１４の識別情報と、受けた操作内容を示す情報とを含む操作信号を制御部１５０に出力する。
また、本実施形態では、操作子１３に含まれるいずれかのキーは、カメラ６０のシャッターボタンの操作が対応付けられている。操作子１３のキーが押下された場合、後述する撮像制御部１５３は、カメラ６０に撮像を実行させる。また、本実施形態は、操作子１３に含まれるいずれかのキーがシャッターボタンの操作に対応付けられているが、トラックパッド１４の操作をシャッターボタンの操作に対応付けてもよい。

制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は、充電可能なバッテリー１３２、及びバッテリー１３２の残容量の検出及びバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、又は電圧の検出値をメインプロセッサー１４０に出力する。また、電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。また、電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。

画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図３に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが制御装置１０に接続される。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及びＥＥＰＲＯＭ２１５が実装される。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６０、照度センサー６５及びＬＥＤインジケーター６７を、制御装置１０に接続する。

ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２又は左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。

カメラ６０は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、又は撮像結果を示す信号を制御装置１０に出力する。

照度センサー６５は、図３に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。

ＬＥＤインジケーター６７は、図３に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６０の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６０による撮像を実行中に点灯して、撮像中であることを報知する。また、ＬＥＤインジケーター６７は、カメラ６０の撮像画像データを記憶部１６０に記憶させる場合や、サーバー装置３にアップロードする場合に点灯又は点滅し、撮像画像データが保存されたことを報知する。

温度センサー２１７は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図４）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５（図４）に出力する。

左表示ユニット２４は、表示ユニット基板２３０を有する。表示ユニット基板２３０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２１０には、６軸センサー２３５及び磁気センサー２３７が実装される。インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を制御装置１０に接続する。

６軸センサー２３５は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図４）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。また、温度センサー２３９が、ＯＬＥＤパネル２４３又はＯＬＥＤ駆動回路２４５に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

右表示ユニット２２が備えるカメラ６０、照度センサー６５、温度センサー２１７、及び左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。

センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ１９２は、各センサーの出力値の信号形式、又はデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
また、センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６０が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯又は点滅させる。

図７は、制御装置１０の制御系を構成する記憶部１６０及び制御部１５０の機能ブロック図である。図７に示す記憶部１６０は、不揮発性記憶部１２３（図６）やＥＥＰＲＯＭ２１５により構成される論理的な記憶部である。

記憶部１６０は、アプリケーションプログラム１６１、工程フローデータ１６２、コンテンツデータ１６３、ＨＭＤ識別情報１６４及び使用者識別情報１６５を記憶する。

アプリケーションプログラム１６１は、ＯＳ１５１上で実行される特定の機能を持つアプリケーションプログラムである。アプリケーションプログラム１６１は、ＨＭＤ１００が、後述するＰＣ３００（図１２参照）により作成された工程フローを実行するためのプログラムである。アプリケーションプログラム１６１は、工程フローの実行用の専用のアプリケーションプログラムであってもよいし、ウェブブラウザー等の汎用的なプログラムであってもよい。アプリケーションプログラム１６１の具体的な構成は、工程フローデータ１６２の仕様と対応させて任意に選択可能である。

工程フローデータ１６２は、本発明の「制御データ」に相当し、ＰＣ３００により作成された工程フローのデータである。制御部１５０は、ＰＣ３００が作成した出力データ３２７（図１２参照）を取得し、記憶部１６０に、工程フローデータ１６２として記憶させる。工程フローデータ１６２は、ＨＭＤ１００を含む各種機器（例えば、カメラ６０を持たない装置）や、種類や仕様が異なるＨＭＤ１００でも実行可能な汎用的なデータであってもよい。

ここで、工程フロー及び工程フローデータ１６２について説明する。
工程フローは、複数の作業で構成される業務を表す、いわゆるワークフローである。工程フローは、本発明の「動作フロー」の具体例である。動作フローは、１又は複数の動作ステップを含み、各々の動作ステップの実行順序が定義されたシーケンスである。例えば、表示等の情報の出力、情報の入力、及び、判定等の処理である。動作ステップは動作フローを作成及び編集する際に一つの単位として扱われるほか、特に制限はなく、動作ステップに複数の動作や処理が含まれてもよい。

また、工程フローは、設定された目的を達成するために作業者が行う複数の作業を含み、これら複数の作業を行う間に作業者に対して情報を出力する工程を含む。作業者が行う１つの作業単位、及び、作業者に対する１回の情報出力は、工程フローにおける作業ブロックに相当する。作業ブロックは、本発明の「動作ステップ」に相当する。

また、工程フローデータ１６２は、作業者に実行させる作業の作業工程を示すデータである。工程フローデータ１６２には、工程フローに含まれる作業ブロック、作業ブロックの実行順序、各作業ブロックに設定された設定内容を含み、また、その他の情報を含んでもよい。

コンテンツデータ１６３は、制御部１５０の制御によって画像表示部２０が表示する表示画像や映像を含むコンテンツのデータであり、画像データ又は映像データを含む。また、コンテンツデータ１６３として、音楽や音声のデータを含んでもよい。

ＨＭＤ識別情報１６４は、ＨＭＤ１００を識別する識別情報であり、例えば、ＨＭＤ１００のＭＡＣアドレスやＩＰアドレスを用いることができる。

使用者識別情報１６５は、ＨＭＤ１００の使用者を識別する使用者により設定された使用者ＩＤやパスワードである。１台のＨＭＤ１００を複数の使用者により共用する場合、使用者それぞれを識別する必要がある。このため、使用者は、ＨＭＤ１００を使用する際に、操作部１１０から使用者ＩＤやパスワードを入力する。制御部１５０は、操作部１１０は、操作部１１０により受け付けた使用者ＩＤやパスワードにより使用者認証を行って、ログイン処理を行う。

制御部１５０は、記憶部１６０が記憶するデータを利用して各種処理を実行し、ＨＭＤ１００を制御する。制御部１５０は、本発明の「制御部」及び「第１制御部」に相当する。制御部１５０は、ＯＳ（Operating System）１５１、画像処理部１５２、撮像制御部１５３、入力検出部１５４、通信制御部１５５、表示制御部１５６、情報取得部１５７、工程フロー実行部１５８を機能ブロックとして備える。機能ブロックとは、メインプロセッサー１４０が制御プログラムを実行することで実現される機能をブロックとして便宜的に示したものであり、特定のアプリケーションプログラムやハードウェアを示すものではない。

ＯＳ１５１の機能は、記憶部１６０が記憶する制御プログラムの機能であり、その他の各部は、ＯＳ１５１上で実行されるアプリケーションプログラムの機能である。

画像処理部１５２は、例えば、記憶部１６０からコンテンツデータ１６３を読み出し、読み出したコンテンツデータ１６３から垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。画像処理部１５２は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。また、画像処理部１５２は、コンテンツデータ１６３に含まれる画像データに対して解像度変換、輝度、彩度の調整、２Ｄ／３Ｄ変換処理等の種々の画像処理を必要に応じて実行してもよい。
画像処理部１５２は、画像処理を施した画像データを、画像の表示単位である１フレームごとに記憶部１６０内のＤＲＡＭに展開する。画像データの１フレームが展開されるＤＲＡＭの領域を、以下ではフレーム領域という。画像処理部１５２は、フレーム領域から画像データを読み出し、読み出した画像データを画像表示部２０により表示させる。

画像処理部１５２は、メインプロセッサー１４０がプログラムを実行して実現される構成のほか、メインプロセッサー１４０と別のハードウェア（例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ））で構成してもよい。

撮像制御部１５３は、カメラ６０を制御する。撮像制御部１５３は、ＨＭＤ１００の電源がオンの間、一定時間ごとにカメラ６０に撮像を実行させて撮像画像データを生成する。また、撮像制御部１５３は、シャッターボタンの操作が対応付けられた操作子１３のキーが操作された場合もカメラ６０に撮像を実行させて撮像画像データを生成する。カメラ６０が撮像した撮像画像データはメモリー１２１に書き込まれ、撮像画像データが一時的に保存される。メモリー１２１は揮発性のメモリーであるため、ＨＭＤ１００の電源がオフされると、メモリー１２１に書き込まれた撮像画像データは消去される。また、撮像制御部１５３は、一定時間ごとに生成される撮像画像データをメモリー１２１に上書きして保存する。すなわち、撮像画像データを書き込み済みのメモリー１２１の領域に、新しく生成された撮像画像データを上書きする。

また、撮像制御部１５３は、所定の条件を満たす場合に、メモリー１２１に書き込まれた撮像画像データを記憶部１６０に記憶させ、撮像画像データが消去されないようにする。所定の条件は、制御部１５０が工程フローデータ１６２を実行する場合であって、工程フローデータ１６２に含まれる作業ブロックにおいて撮像画像データの利用が許可されている場合である。本実施形態において「利用」とは、撮像画像データの保存を許可し、工程フローデータ１６２の実行中、又は工程フローデータ１６２の実行後に撮像画像データを用いた処理を許可することを意味する。撮像制御部１５３は、撮像画像データの利用が許可された作業ブロックを実行中に撮像された撮像画像データを記憶部１６０に記憶させる。また、撮像制御部１５３は、撮像画像データの利用が許可された作業ブロックを実行中に撮像された撮像画像データをメモリー１２１から読み出し、サーバー装置５にアップロードする。

また、撮像制御部１５３は、工程フローデータ１６２の実行中に、撮像画像データの利用が許可されている作業ブロックを実行する場合に、カメラ６０に電源を供給して、カメラ６０を動作させる状態としてもよい。この場合、撮像制御部１５３は、一定時間ごとにカメラ６０に撮像を実行させて撮像画像データを記憶部１６０に記憶させる。また、撮像制御部１５３は、シャッターボタンの操作が対応付けられた操作子１３のキーが操作された場合に、カメラ６０に撮像を実行させてもよい。
また、撮像制御部１５３は、撮像画像データの利用が許可されている作業ブロックの実行が終了した場合に、カメラ６０への電源の供給を停止して、カメラ６０の動作を停止させる状態とする。

入力検出部１５４は、操作部１１０から入力される操作データに基づき、作業者による入力を検出する。

通信制御部１５５は、通信部１１７を制御してサーバー装置５や、他のＨＭＤ１００とデータ通信を実行する。

表示制御部１５６は、画像表示部２０を制御して、表示領域に各種画面を表示させる。例えば、表示制御部１５６は、制御部１５０がアプリケーションプログラム１６１を実行する場合に、作業ブロックに相当する各種画面を表示させる。

情報取得部１５７は、外部コネクター１８４や、外部メモリーＩ／Ｆ部１８６、ＵＳＢコネクター１８８を介して接続された外部装置からデータ読み取りを実行する。情報取得部１５７は、例えば、外部メモリーＩ／Ｆ部１８６に、記憶デバイスが接続されたことを検出した場合、記憶デバイスからデータを読み取り記憶部１６０に記憶させる。これにより、ＨＭＤ１００は、記憶デバイスに記憶された工程フローデータ１６２を読み取って利用できる。

工程フロー実行部１５８は、記憶部１６０が記憶するアプリケーションプログラム１６１を実行し、工程フローデータ１６２に従って工程フローを実行する。工程フローデータ１６２には、工程フローに含まれる作業ブロック、作業ブロックの実行順序、各作業ブロックに設定された設定内容を少なくとも含む。

各作業ブロックに設定される設定内容には、制御部１５０が実行する処理が含まれる。制御部１５０が実行する処理には、画像やテキストを含む画面表示を作業者に対する情報として表示させる処理や、ＱＲコード（登録商標）等の二次元コード（２Ｄコード）の読み込みが含まれる。また、制御部１５０が実行する処理には、テキスト入力の受け付け、作業結果がＯＫかＮＧかの入力を受け付ける処理が含まれる。また、制御部１５０が実行する処理には、作業ブロックとして、チェックボックスを利用した選択入力の受け付け、ラジオボタンを利用した選択入力の受け付け等が含まれる。

作業ブロックには、例えば、手順表示ブロック、読込ブロック、入力ブロック、判定ブロック、選択入力ブロック及び終端ブロックが少なくとも含まれる。

手順表示ブロックは、作業手順を示す画面やテキストを画像表示部２０により表示領域に表示させるブロックである。作業者は、画像表示部２０により表示領域に表示された画面やテキストを参照しながら作業を行う。

読込ブロックは、カメラ６０に撮像を実行させて、カメラ６０の撮像画像データからＱＲコード（登録商標）や、バーコード等の二次元コードを読み取るブロックである。
制御部１５０は、例えば、二次元コードの読み取り枠と、二次元コードが読み取り枠内に納まるように作業者を案内する案内表示とを表示させる。制御部１５０は、読み取り枠に二次元コードの画像が検出された場合に、検出された二次元コードの画像を記憶部１６０に記憶させ、二次元コードに含まれるコード情報を解析する。

入力ブロックは、作業者からの入力を操作部１１０等により受け付けるブロックである。作業者の入力を受け付ける方法は、操作部１１０を用いる方法に限定されない。例えば、カメラ６０の撮像画像データを用いた文字認識処理や、マイク６３で集音した音声に対し音声認識処理により、テキストを含む各種入力を検出してもよい。また、外部コネクター１８４により接続されたバーコードリーダーから、バーコードを読み取った読取データを取得し、取得したデータを、作業者の入力として受け付けてもよい。また、６軸センサー２３５、１１１の検出値から求められる作業者の動きを作業者の入力として受け付けてもよい。

判定ブロックは、作業の実行結果を作業者から受け付けるブロックである。作業者は、例えば、手順表示ブロックにおいて表示された作業手順に従って作業を行い、作業結果として、「ＯＫ」又は「ＮＧ」の作業結果を操作部１１０等により入力する。制御部１５０は、操作部１１０により「ＯＫ」の入力を受け付けた場合、肯定判定する。この場合、制御部１５０は、手順表示ブロックを実行して次の作業内容が表示された画面を表示する等、肯定判定に対応した作業ブロックを実行する。また、制御部１５０は、操作部１１０により「ＮＧ」の入力を受け付けた場合、否定判定する。この場合、制御部１５０は、同一の作業内容を再度表示させて、同一の作業を再度実行させる、カメラ６０により作業結果を撮像する等の否定判定に対応した作業ブロックを実行する。

選択入力ブロックは、チェックボックスやラジオボタンを利用した選択の入力を受け付けるブロックである。制御部１５０は、選択入力ブロックを実行する場合に、作業者がチェックボックスやラジオボタンを視認可能なように表示して、チェックボックス又はラジオボタンを選択する操作を受け付ける。制御部１５０は、選択する操作を受け付けると、受け付けた選択に対応した作業ブロックを実行する。

終端ブロックは、工程フローの終端を示すブロックである。

また、手順表示ブロック、読込ブロック、入力ブロック及び判定ブロックの各作業ブロックには、設定内容として、撮像画像データの利用を許可するか否かを設定した許否情報が含まれる。制御部１５０は、許否情報が許可に設定された作業ブロックを実行中に、操作部１１０のシャッターボタンに対応するキーが押下されると、カメラ６０により撮像される撮像画像データを記憶部１６０に記憶させる。また、制御部１５０は、許否情報が許可に設定された作業ブロックを実行中に、操作部１１０のシャッターボタンに対応するキーが押下されると、カメラ６０により撮像される撮像画像データをサーバー装置５にアップロードする。

撮像画像データを記憶部１６０に記憶させるか、サーバー装置５にアップロードするかの切り替えは、作業ブロックごとに設定内容として設定することも可能であるし、作業者ごとに設定してもよい。すなわち、撮像画像データをサーバー装置５にアップロードするか、記憶部１６０に記憶させるかを設定した設定情報を、使用者情報に対応付けて記憶部１６０に記憶させてもよい。

また、制御部１５０は、実行中の作業ブロックが許否情報を含まないブロックである場合、又は許否情報が拒否に設定されている場合、カメラ６０により撮像される撮像画像データを記憶部１６０には記憶させない。同様に、制御部１５０は、実行中の作業ブロックに許否情報が含まれな場合、又は許否情報が拒否に設定されている場合、カメラ６０により撮像される撮像画像データをサーバー装置５にアップロードしない。

図８は、制御部１５０の第１の動作を示すフローチャートである。この第１の動作は、制御部１５０が、許否情報が許可に設定された作業ブロックを実行する場合に、撮像画像データを記憶部１６０に記憶させる動作である。

制御部１５０は、記憶部１６０から工程フローデータ１６２を読み込み、工程フローデータ１６２に含まれる作業ブロックを実行する。具体的には、制御部１５０は、工程フローデータ１６２に含まれる実行順序に従って実行する作業ブロックを選択する（ステップＳ１）。次に、制御部１５０は、選択した作業ブロックが終端ブロックであるか否かを判定する（ステップＳ２）。制御部１５０は、選択した作業ブロックが終端ブロックである場合（ステップＳ２／ＹＥＳ）、この処理フローを終了させる。また、制御部１５０は、選択した作業ブロックが終端ブロックではない場合（ステップＳ２／ＮＯ）、選択した作業ブロックに許否情報が含まれるか否かを判定する（ステップＳ３）。

制御部１５０は、選択した作業ブロックに許否情報が含まれない場合（ステップＳ３／ＮＯ）、作業ブロックの設定内容に従って処理を実行する（ステップＳ４）。制御部１５０が実行する処理には、例えば、作業者に実行させる作業内容や作業手順を示す画面やテキストを画像表示部２０により表示させる処理や、カメラ６０に撮像を実行させて二次元コードを読み取る処理等が含まれる。

制御部１５０は、設定内容に従って処理を実行すると、選択した作業ブロックの設定内容に設定された処理が完了したか否かを判定する（ステップＳ５）。例えば、選択した作業ブロックの設定内容に設定された処理が二次元コードを読み取る処理であった場合、制御部１５０は、カメラ６０の撮像画像データから二次元コードの画像を取得したか否かを判定する。制御部１５０は、二次元コードの画像を取得することができた場合、作業ブロックの設定内容に設定された処理が完了したと判定する。
制御部１５０は、作業ブロックの設定内容に設定された処理が完了していない場合（ステップＳ５／ＮＯ）、ステップＳ４に戻り設定内容に従って処理を継続する。また、制御部１５０は、作業ブロックの設定内容に設定された処理が完了した場合（ステップＳ５／ＹＥＳ）、ステップＳ１に戻り次の作業ブロックを選択する（ステップＳ１）。

また、制御部１５０は、ステップＳ３において許否情報が含まれると判定した場合（ステップＳ３／ＹＥＳ）、許否情報が“許可”に設定されているか否かを判定する（ステップＳ６）。制御部１５０は、許否情報が“許可”に設定されていない、すなわち“拒否”に設定されている場合（ステップＳ６／ＮＯ）、ステップＳ４に移行して作業ブロックの設定内容に従って処理を実行する。その後、制御部１５０は、ステップＳ５で、作業ブロックで設定された処理の実行が完了したか否かを判定する。

また、制御部１５０は、許否情報が“許可”に設定されている場合（ステップＳ６／ＹＥＳ）、作業ブロックに設定された設定内容に従って処理を実行する（ステップＳ７）。制御部１５０は、処理の実行中、シャッターボタンに対応するキーの操作を受け付けたか否かを判定する（ステップＳ８）。シャッターボタンに対応するキーの操作を受け付けていない場合（ステップＳ８／ＮＯ）、制御部１５０は、作業ブロックの設定内容に設定された処理が完了したか否かを判定する（ステップＳ１１）。制御部１５０は、作業ブロックの設定内容に設定された処理が完了していない場合（ステップＳ１１／ＮＯ）、ステップＳ８に戻り処理の実行中、シャッターボタンに対応するキーの操作を受け付けたか否かを判定する（ステップＳ８）。また、制御部１５０は、作業ブロックの設定内容に設定された処理が完了した場合（ステップＳ１１／ＹＥＳ）、ステップＳ１に戻り次の作業ブロックを選択する（ステップＳ１）。

また、制御部１５０は、シャッターボタンに対応するキーの操作を受け付けた場合（ステップＳ８／ＹＥＳ）、カメラ６０に撮像を実行させ（ステップＳ９）、撮像された撮像画像データを記憶部１６０に記憶させる（ステップＳ１０）。また、制御部１５０は、撮像画像データを記憶部１６０に記憶させるときに報知を行う（ステップＳ１１）。本実施形態では、制御部１５０は、報知としてＬＥＤインジケーター１２及び６７の少なくとも一方を点灯又は点滅させる。この他に、イヤホン３２、３４から予め設定された音声を出力して報知を行ってもよいし、バイブレーター１９を所定の振動パターンで振動させて報知を行ってもよい。ＬＥＤインジケーター１２及び６７や、イヤホン３２、３４、バイブレーター１９は、本発明の「報知部」に相当する。

制御部１５０は、報知を行って撮像画像データを記憶部１６０に記憶させると、作業ブロックの設定内容に設定された処理が完了したか否かを判定する（ステップＳ１２）。制御部１５０は、作業ブロックの設定内容に設定された処理が完了していない場合（ステップＳ１２／ＮＯ）、ステップＳ８に戻り処理の実行中、シャッターボタンに対応するキーの操作を受け付けたか否かを判定する（ステップＳ８）。また、制御部１５０は、作業ブロックの設定内容に設定された処理が完了した場合（ステップＳ１２／ＹＥＳ）、ステップＳ１に戻り次の作業ブロックを選択する（ステップＳ１）。

図９は、制御部１５０の第２の動作を示すフローチャートである。この第２の動作は、許否情報が許可に設定された作業ブロックを実行する場合に、撮像画像データをサーバー装置５にアップロードする動作である。なお、図９において、ステップＳ２１〜Ｓ２７までの動作は、図８で説明した第１の動作と同一であるため説明を省略する。

制御部１５０は、許否情報が“許可”に設定されている場合（ステップＳ２６／ＹＥＳ）、作業ブロックに設定された設定内容に従って処理を実行し（ステップＳ２７）。処理の実行中に、シャッターボタンに対応するキーの操作を受け付けたか否かを判定する（ステップＳ２８）。制御部１５０は、シャッターボタンに対応するキーの操作を受け付けていない場合（ステップＳ２８／ＮＯ）、ステップＳ３２に移行して作業ブロックの設定内容に設定された処理が完了したか否かを判定する（ステップＳ３２）。制御部１５０は、処理が完了した場合（ステップＳ３２／ＹＥＳ）、ステップＳ２１に移行して作業ブロックを選択する。

制御部１５０は、シャッターボタンに対応するキーの操作を受け付けた場合（ステップＳ２８／ＹＥＳ）、カメラ６０に撮像を実行させ（ステップＳ２９）、撮像された撮像画像データをメモリー１２１に書き込み一時的に記憶させる。また、制御部１５０は、撮像画像データを識別する画像識別情報を生成し、生成した撮像画像データを撮像画像データに対応付ける。画像識別情報は、例えば、ＨＭＤ１００がサーバー装置５にアップロードした撮像画像データの各々に対応付けられたシリアル番号等が用いられる。

次に、制御部１５０は、記憶部１６０からログイン中の作業者の作業者情報と、ＨＭＤ識別情報とを取得する（ステップＳ３０）。記憶部１６０から取得する作業者情報は、使用者ＩＤ及びパスワードのいずれか少なくとも一方であればよい。次に、制御部１５０は、メモリー１２１に一時的に記憶させた撮像画像データに、画像識別情報、作業者情報及びＨＭＤ識別情報を付加してサーバー装置５にアップロードする（ステップＳ３１）。作業者情報、使用者ＩＤ及びパスワードは、本発明の「制限情報」に相当する。また、ＨＭＤ識別情報は、本発明の「第１識別情報」に相当する。
また、カメラ６０の撮像画像データをサーバー装置３にアップロードするタイミングは、カメラ６０が撮像を実行して撮像画像データを生成したタイミングだけに限定されない。例えば、作業ブロックの設定内容に設定された処理が完了し、ステップＳ２１で次に実行する作業ブロックを選択する前や、工程フローデータ１６２の実行完了後に撮像画像データをサーバー装置３にアップロードしてもよい。また、ＨＭＤ１００の電源スイッチがオフされた後のシャットダウンシーケンスにおいて撮像画像データをサーバー装置５にアップロードしてもよい。

制御部１５０は、撮像画像データをサーバー装置５にアップロードすると、作業ブロックの設定内容に設定された処理が完了したか否かを判定する（ステップＳ３２）。制御部１５０は、作業ブロックの設定内容に設定された処理が完了していない場合（ステップＳ３２／ＮＯ）、ステップＳ２８に戻り処理の実行中、シャッターボタンに対応するキーの操作を受け付けたか否かを判定する（ステップＳ２８）。また、制御部１５０は、作業ブロックの設定内容に設定された処理が完了した場合（ステップＳ３２／ＹＥＳ）、ステップＳ２１に戻り次の作業ブロックを選択する（ステップＳ２１）。

図１０は、サーバー装置５の動作を示すフローチャートである。
制御部５５は、通信ネットワーク７を介して通信部５１によりデータを受信すると（ステップＳ４１／ＹＥＳ）、受信したデータを特定する。まず、制御部５５は、受信したデータに、ＨＭＤ１００から送信される撮像画像データが含まれるか否かを判定する（ステップＳ４２）。
制御部５５は、受信したデータに撮像画像データが含まれる場合（ステップＳ４２／ＹＥＳ）、受信したデータから画像識別情報、作業者情報及びＨＭＤ識別情報を取り出す。制御部５５は、取り出した情報を、情報管理テーブル５７の該当するＨＭＤ識別情報が登録されたセルに登録する。また、制御部５５は、受信した撮像画像データを画像識別情報に対応付けて記憶部５３に記憶させる（ステップＳ４３）。

また、制御部５５は、通信ネットワーク７を介して受信したデータが撮像画像データではない場合（ステップＳ４２／ＮＯ）、受信したデータが撮像画像データの取得要求であるか否かを判定する（ステップＳ４４）。制御部５５は、受信したデータが撮像画像データの取得要求ではない場合（ステップＳ４４／ＮＯ）、受信したデータに対応した処理を実行する（ステップＳ４５）。また、制御部５５は、受信したデータが撮像画像データの取得要求である場合（ステップＳ４４／ＹＥＳ）、ステップＳ４１でデータを受信した端末装置から、又はステップＳ４１で受信したデータから端末識別情報を取得する（ステップＳ４６）。制御部５５は、取得した端末識別情報が情報管理テーブル５７に登録されているか否かを判定する（ステップＳ４７）。

制御部５５は、取得した端末識別情報が情報管理テーブル５７に登録されていない場合（ステップＳ４７／ＮＯ）、データを受信した端末装置に、撮像画像データをダウンロードすることなく処理フローを終了させる。
また、制御部５５は、取得した端末識別情報が情報管理テーブル５７に登録された識別情報である場合（ステップＳ４７／ＹＥＳ）、ダウンロード可能な撮像画像データの一覧を端末装置に表示させる。例えば、制御部５５はサムネイル画像を生成して、端末装置に表示させる。撮像画像データは、取得した端末識別情報に対応付けて情報管理テーブル５７に登録された画像識別情報の撮像画像データである。制御部５５は、端末装置から撮像画像データを選択する入力を受け付けると、選択された撮像画像データを端末装置にダウンロードする（ステップＳ４８）。

次に、図１１に示すフローチャートを参照しながら制御部１５０の第３の動作を説明する。この第３の動作は、カメラ６０の撮像画像データからバーコードを撮像した撮像画像データを取得して、バーコードに設定された回数だけ、撮像画像データの記憶部１６０への記憶を許可する動作である。図１１に示すステップＳ５１及びＳ５２の動作は、図８に示すステップＳ１及びＳ２と同一であるため、説明を省略する。

制御部１５０は、選択した作業ブロックが読込ブロックであるか否かを判定する（ステップＳ５３）。制御部１５０は、選択した作業ブロックが読込ブロックではないと判定した場合（ステップＳ５３／ＮＯ）、選択した作業ブロックに対応した処理を実行する（ステップＳ５４）。ステップＳ５４及びＳ５５の処理は、図８のステップＳ４及びＳ５と同一であるため説明を省略する。

制御部１５０は、選択ブロックが読込ブロックである場合（ステップＳ５３／ＹＥＳ）、メモリー１２１から撮像画像データを取得する（ステップＳ２６）。制御部１５０は、一定時間ごとにカメラ６０に撮像を実行させ、生成された撮像画像データをメモリー１２１に書き込み一時的に記憶させる。
制御部１５０は、取得した撮像画像データを解析して、撮像画像データにバーコードの画像が含まれるか否かを判定する（ステップＳ５７）。制御部１５０は、バーコードの画像が含まれない場合（ステップＳ５７／ＮＯ）、ステップＳ５６に戻りメモリー１２１から次の撮像画像データを取得してバーコードの画像が含まれるか否かを判定する。

また、制御部１５０は、撮像画像データにバーコードの画像が含まれる場合（ステップＳ５７／ＹＥＳ）、バーコードの画像からコード情報を抽出し（ステップＳ５８）、抽出したコード情報を記憶部１６０又はメモリー１２１に記憶させる。また、制御部１５０は、抽出したコード情報を解析して使用可能回数を決定する（ステップＳ５９）。使用可能回数は、撮像画像データを記憶部１６０に記憶させることを許可する回数の上限を規定する。制御部１５０は、実行中の作業ブロックにおいて、使用可能回数を上限として撮像画像データの利用を許可する。また、シャッターボタンに対応するキーの操作を受け付けたときだけ、カメラ６０に撮像を実行させる場合、使用可能回数は、カメラ６０による撮像を許可する回数の上限を規定する。使用可能回数は、バーコードのコード情報として設定することも可能であるし、使用者識別情報ごとや、作業ブロックごとに予め設定しておくことも可能である。
また、制御部１５０は、取得したコード情報により使用可能回数を決定できない場合、すなわち、バーコードの画像がＨＭＤ１００による識別が不可能なバーコードの画像であった場合、画像表示部２０によりエラーを表示させてもよい。制御部１５０は、画像表示部２０によりエラーを表示させると、ステップＳ５６の処理に移行してメモリー１２１から撮像画像データを取得してコード情報を抽出する。

制御部１５０は、使用可能回数を決定すると、工程フローデータ１６２に従って、作業者からの入力を操作部１１０等により受け付ける入力ブロックを実行する（ステップＳ６０）。制御部１５０は、入力ブロックを実行する場合に、シャッターボタンに対応するキーの操作を受け付けたか否かを判定する（ステップＳ６１）。制御部１５０は、シャッターボタンに対応するキーの操作を受け付けていない場合（ステップＳ６１／ＮＯ）、処理が完了したか否かを判定する（ステップＳ６２）。ステップＳ６２の判定は、操作部１１０により処理の完了を示す操作を受け付けたか否かを判定するものであってもよいし、使用可能回数に対応する枚数の撮像画像データを記憶部１６０に記憶させたか否かを判定してもよい。制御部１５０は、処理が完了していないと判定した場合（ステップＳ６２／ＮＯ）、ステップＳ６１に戻りシャッターボタンに対応するキーの操作を受け付けたか否かを判定する。また、制御部１５０は、処理が完了したと判定した場合（ステップＳ６２／ＹＥＳ）、ステップＳ５１に戻って作業ブロックを選択する。

また、制御部１５０は、シャッターボタンに対応するキーの操作を受け付けた場合（ステップＳ６１／ＹＥＳ）、カメラ６０に撮像を実行させ（ステップＳ６３）、撮像された撮像画像データを記憶部１６０に記憶させる（ステップＳ６４）。また、制御部１５０は、撮像画像データを記憶部１６０に記憶させるときに報知を行う（ステップＳ６５）。

次に、制御部１５０は、撮像画像データを記憶部１６０に記憶させた回数が、使用可能回数に達したか否かを判定する（ステップＳ６６）。制御部１５０は、使用可能回数に達していない場合（ステップＳ６６／ＮＯ）、ステップＳ６１に戻りシャッターボタンに対応するキーの操作を受け付けたか否かを判定する。また、制御部１５０は、使用可能回数に達した場合（ステップＳ６６／ＹＥＳ）、撮像画像データを記憶部１６０に記憶させない設定に変更し（ステップＳ６７）、ステップＳ５１に戻り作業ブロックを選択する。このとき、制御部１５０は、使用可能回数に達した旨を画像表示部２０により表示させてもよい。

以上説明したように本実施形態のＨＭＤ１００は、記憶部１６０、カメラ６０と、制御部１５０とを備える。
記憶部１６０は、実行順序が予め定められた複数の作業ブロックを含む工程フローを定義する工程フローデータ１６２を記憶する。カメラ６０は、外景を撮像する。制御部１５０は、工程フローデータ１６２に従って工程フローを実行する。工程フローデータ１６２に含まれる少なくともいずれかの作業ブロックは、カメラ６０の撮像画像データの利用を許可するか否かを設定した許可情報を含む。制御部１５０は、工程フローを実行する場合に、作業ブロックに関する工程フローデータ１６２の設定に従って、作業ブロックごとの撮像画像データの利用の可否を制御する。

ＯＳによりカメラ６０の撮像機能を制御する場合、一律にカメラ６０を動作させるか否かの設定しかできず、また、ＯＳのプログラムを書き換えるともできないため、利便性が低下する要因となっていた。
本実施形態では、ＯＳ１５１上で実行される特定の機能を持つアプリケーションプログラムである工程フローデータ１６２によりカメラ６０の撮像を制御する。工程フローデータ１６２を実行する場合に、工程フローに含まれる作業ブロックごとに撮像画像データの利用の可否が制御される。従って、作業ブロックごとに、撮像画像データの利用の可否を制御することができ、セキュリティー性の確保と使用者の利便性の向上とを両立させることができる。

また、制御部１５０は、作業ブロックを実行する場合に、作業ブロックに関する工程フローデータ１６２の設定に従って、カメラ６０を動作させる状態と停止させる状態とを切り替える。
従って、制御部１５０に工程フローデータ１６２を実行させることで、作業ブロックごとにカメラ６０を動作させる状態と停止させる状態とを切り替えることができる。

また、ＨＭＤ１００は、カメラ６０の撮像画像データを記憶するメモリー１２１を備える。制御部１５０は、作業ブロックを実行する場合に、作業ブロックに関する工程フローデータ１６２の設定に従って、メモリー１２１に記憶されたカメラ６０の撮像画像データを利用するか否かを制御する。
従って、工程フローデータ１６２の設定に従って、メモリー１２１に記憶された撮像画像データの利用の可否を制御することができる。

また、制御部１５０は、コード情報を含む画像を撮像する処理を含む作業ブロックを実行する場合に、カメラ６０の撮像画像データを利用する制御を行う。制御部１５０は、カメラ６０の撮像画像データを利用する制御を行う場合に、カメラ６０の撮像撮像データからコード情報を抽出して記憶部１６０に記憶させる。
従って、コード情報を含む画像を撮像する作業ブロックを実行する場合に、撮像撮像データからコード情報を抽出し、抽出したコード情報に対応した処理を実行することができる。

また、制御部１５０は、コード情報を含む画像を撮像する処理を含む作業ブロックを実行する場合に、撮像画像データから抽出されたコード情報に基づき撮像撮像データの使用可能回数を決定する。制御部１５０は、工程フローに含まれる他の作業ブロックで使用可能回数を上限として撮像画像データの利用を可能とする。
この構成によれば、撮像撮像データの使用可能回数の上限を設定することができる。

また、制御部１５０は、撮像画像データの利用が可能に設定された作業ブロックを実行する場合に、カメラ６０の複数回の撮像に相当する撮像画像データの利用を可能とする。
従って、撮像画像データの利用が可能に設定された作業ブロックにおいて、複数回の撮像を実行させることができる。

また、ＨＭＤ１００は、報知部としてＬＥＤインジケーター１２及び６７を備える。
制御部１５０は、メモリー１２１に記憶されたカメラ６０の撮像画像データを記憶部１６０に記憶させる際に報知を行う。
従って、撮像画像データを記憶部１６０に記憶させたことを報知することができる。

また、ＨＭＤ１００の制御部１５０は、撮像画像データの利用を許可する場合に、カメラ６０により撮像された撮像画像データを通信部１１７によりサーバー装置５に送信する。
従って、撮像画像データの利用を許可する場合に、撮像画像データがサーバー装置５に送信される。従って、撮像画像データの外部への流出を防止することができる。

また、制御部１５０は、撮像画像データに、撮像画像データの利用を制限する制限情報としてのパスワードを付加してサーバー装置５に送信する。
従って、撮像画像データが第３者に視認されるのを防止して、情報の流出をより効果的に防止することができる。

また、制御部１５０は、撮像画像データに、ＨＭＤ１００を識別するＨＭＤ識別情報を付加してサーバー装置５に送信する。
従って、サーバー装置５において、撮像画像データを生成したＨＭＤ１００を特定することができ、撮像画像データが外部装置に送信されるのを防止することができる。

また、サーバー装置５は、通信部５１、記憶部５３、制御部５５を備える。
記憶部５３は、ＨＭＤ１００から受信した撮像画像データ及びＨＭＤ識別情報を対応付けて記憶する。また、記憶部５３は、撮像画像データを利用可能な端末装置を識別する端末識別情報と、端末識別情報に対応する端末装置が撮像画像データを取得可能なＨＭＤ１００のＨＭＤ識別情報とを対応付けて記憶する。
制御部５５は、通信部５１により端末識別情報を受信した場合に、記憶部５３に、受信した端末識別情報に一致する端末識別情報が記憶されているか否かを判定する。
制御部５５は、一致する端末識別情報が記憶部５３に記憶されている場合に、一致する端末識別情報に対応付けられたＨＭＤ識別情報の撮像画像データを、端末識別情報に対応する端末装置に送信する。
従って、撮像画像データが外部装置に送信されるのを防止することができる。

次に、工程フローデータ１６２の作成及び編集を行う編集装置について説明する。
図１２は、編集装置として動作するＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）３００の機能ブロック図である。ＰＣ３００は、ディスプレイ３３２及び入力デバイス３３４を備え、ユーザーにより操作が可能なコンピューターであれば、具体的な形態は限定されない。例えば、デスクトップ型のコンピューターであってもよいし、ノート型コンピューターやタブレット型のコンピューター等の可搬型のコンピューターであってもよい。また、図１２に示す機能を備える構成であれば、スマートフォン等の小型の装置であってもよい。

ＰＣ３００は、制御部３１０、記憶部３２０、表示部３３１、入力部３３３、通信部３３６及びＩ／Ｆ部３３７を備え、これらはバス３３９により接続される。Ｉ／Ｆ部３３７は、本発明の「接続部」に相当する。

制御部３１０は、ＣＰＵ等のプロセッサーを備え、プロセッサーによりプログラムを実行することで、ＰＣ３００を制御し、ＰＣ３００の各種機能を実現する。制御部３１０は、プロセッサーのワークエリアを形成するＲＡＭを備えてもよい。また、制御部３１０は、プロセッサーが実行する基本制御プログラムを不揮発的に記憶するＲＯＭを備えてもよい。

記憶部３２０は、磁気的記憶媒体、光学的記憶媒体、又は半導体記憶デバイス等を備えて構成され、プログラムやデータを記憶する記憶領域を有する。記憶部３２０は、制御部３１０により実行されるプログラム、及び制御部３１０により処理されるデータを不揮発的に記憶する。記憶部３２０が記憶するプログラムやデータについては後述する。

表示部３３１は、ディスプレイ３３２に接続され、制御部３１０の制御に従って、文字や画像を含む各種画面をディスプレイ３３２に表示させる。ディスプレイ３３２は、本発明の「表示面」に相当する。
ディスプレイ３３２は、液晶表示装置、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置、又はその他の表示装置で構成され、表示部３３１によって駆動される。

入力部３３３は、入力デバイス３３４に接続され、入力デバイス３３４の操作を検出し、入力デバイス３３４の操作による入力を受け付ける。入力部３３３は、入力デバイス３３４による入力内容を示すデータを制御部３１０に出力する。
入力デバイス３３４は、例えば、キーボード等の文字入力デバイスや、マウス、デジタイザー、ペンタブレット等のポインティングデバイス等である。入力デバイス３３４は、ディスプレイ３３２とともに一体となった形態、例えば、タッチパネルにより構成されてもよい。また、入力デバイス３３４は、ディスプレイ３３２に表示される画面と組み合わされるソフトウェアキーボードや、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）で構成されてもよい。

Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）部３３７は、ＰＣ３００の外部装置を接続するインターフェイスであり、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インターフェイスで構成される。Ｉ／Ｆ部３３７は、ケーブルを接続するコネクター及びインターフェイス回路（いずれも図示略）を複数備え、複数のＨＭＤ１００を同時に接続可能である。Ｉ／Ｆ部３３７は、制御部３１０の制御により、Ｉ／Ｆ部３３７に接続された外部装置との間でデータを入出力する。

通信部３３６は、制御部３１０の制御に従って、ＰＣ３００の外部装置との間で有線又は無線通信を実行する。通信部３３６は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）プロトコル、無線ＬＡＮ（ＷｉＦｉ（登録商標）を含む）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の各種プロトコルに従って通信を実行する。

記憶部３２０が記憶するプログラム及びデータの例として、図１２には、ＯＳ３２１、工程フロー定義ツール３２２、表示関連データ３２３、条件定義情報３２４、工程フローデータ３２５、出力設定データ３２６、及び出力データ３２７を示す。ＯＳ３２１は、制御部３１０がＰＣ３００を制御する制御プログラムであり、制御部３１０によってアプリケーションプログラムを動作させるためのプラットフォームを形成する。ＯＳ３２１を制御部３１０が実行することにより、制御部３１０が実行するアプリケーションプログラムに対し、ＰＣ３００の基本的機能がＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）として提供される。ＰＣ３００の基本的機能とは、例えば、表示部３３１による表示処理、入力部３３３による入力検出処理、Ｉ／Ｆ部３３７によるデータ入出力処理、通信部３３６による通信処理、及び、その他の処理を含む。

工程フロー定義ツール３２２は、ＰＣ３００により工程フローを作成及び編集するためのアプリケーションプログラムである。制御部３１０が工程フロー定義ツール３２２を実行することにより、ＨＭＤ１００が実行する動作作フローを作成及び編集できる。工程フロー定義ツール３２２により作成される工程フローは、動作フローの一具体例である。

表示関連データ３２３は、制御部３１０が工程フロー定義ツール３２２を実行する場合に表示部３３１により表示される画像やテキストのデータを含む。制御部３１０は、工程フロー定義ツール３２２を実行する際に、表示関連データ３２３を参照し、表示関連データ３２３に基づく画像やテキストを、表示部３３１によってディスプレイ３３２に表示させる。

条件定義情報３２４は、工程フローに含まれる各作業ブロックについて、条件を定義する情報であり、工程フロー定義ツール３２２の実行により作成又は編集される一部又は全部の作業ブロックについての情報を含む。作業ブロックの条件とは、作業ブロックの内容に関して設定される条件である。例えば、情報の入力に相当する作業ブロックには、入力される情報のフォーマット、入力方法、入力されない場合の動作等が設定される必要がある。条件定義情報３２４は、情報の入力に相当する作業ブロックの条件として、入力される情報のフォーマット、入力方法、入力されない場合の動作を定義することが設定される。

工程フローデータ３２５は、制御部３１０が工程フロー定義ツール３２２を実行することにより生成された工程フローのデータである。工程フローデータ３２５は、工程フローが含む作業ブロック、作業ブロックの実行順序、作業ブロックについて入力された設定内容を含み、その他の情報を含んでもよい。工程フローデータ３２５は、制御部３１０が工程フロー定義ツール３２２を実行することにより解釈可能なデータフォーマットを有する。このため、制御部３１０は、工程フロー定義ツール３２２を実行する際に、記憶部３２０から工程フローデータ３２５を読み出して、読み出した工程フローデータ３２５が示す工程フローを編集することができる。この場合、編集後の工程フローに基づき、記憶部３２０に記憶された工程フローデータ３２５を制御部３１０が更新することもできる。

出力設定データ３２６は、工程フローデータ３２５を出力データ３２７に変換する場合の設定に関するデータである。出力データ３２７は、ＨＭＤ１００又はＨＭＤ１００以外の装置において、工程フローデータ３２５の通りに工程フローを実行するためのデータであり、工程フローデータ３２５とはデータフォーマット等が異なる。

出力データ３２７は、ＨＭＤ１００が解釈して実行可能なデータであり、例えば、汎用性を有するデータフォーマットで記述される。汎用性を有するデータフォーマットとは、例えば、ＨＭＤ１００がウェブブラウザーによって処理可能なデータフォーマットである。具体的には、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）等で記述されるデータである。

出力データ３２７は、ＰＣ等の汎用的な機器を含む各種機器で工程フローを実行するための汎用性を有するデータであってもよい。また、出力データ３２７は、工程フローを実行する機器の種類、構成、又は仕様のいずれかに対応させたデータであってもよい。例えば、カメラを備える機器に対応する出力データ３２７は、情報を入力する方法としてカメラの撮像画像データを用いた文字認識を指定する出力データ３２７であってもよい。この出力データ３２７は、カメラを備える機器で実行された場合に、カメラを利用することで作業者の入力に係る負担を軽減できる。また、バーコードリーダーを備える機器に対応する出力データ３２７は、情報を入力する方法としてバーコードリーダーの読取データを取得するデータであってもよい。また、出力データ３２７は、ＨＭＤ１００に対応させるため、表示される画面の背景色、画面の解像度、画面に表示される画像や文字のサイズ等が調整される。これらの情報を調整することで、ＨＭＤ１００を装着する作業者の視機能の負荷が軽減される。

制御部３１０は、工程フロー定義ツール３２２を実行して工程フローデータ３２５の生成及び編集を行う。また、制御部３１０は、工程フロー定義ツール３２２を実行することにより、工程フローデータ３２５から出力データ３２７を生成（変換）する。

図１３は、ＰＣ３００の動作を示すフローチャートである。
図１３の動作は、制御部３１０がＯＳ３２１を実行している状態で実行される。ユーザーの操作等に対応して、制御部３１０は、記憶部３２０から工程フロー定義ツール３２２を読み出して起動する（ステップＳ１０１）。制御部３１０は、表示関連データ３２３を読み出し、表示関連データ３２３に含まれる画像等を配置した編集画面を、表示部３３１により表示させる（ステップＳ１０２）。

制御部３１０は、編集画面４０１を表示し（ステップＳ１０２）、ユーザーの操作に従って工程フローデータ３２５を作成又は編集する工程フロー編集処理を実行する（ステップＳ１０３）。この工程フロー編集処理で作成又は編集される工程フローデータ３２５は、複数のＨＭＤ１００を共通に動作させるための工程フローデータ３２５であってもよいし、ＨＭＤ１００ごとに作成する工程フローデータ３２５であってもよい。工程フローデータ３２５をＨＭＤ１００ごとに作成する場合、ステップＳ１０１〜Ｓ１０４のフローを、工程フローデータ３２５を生成するＨＭＤ１００の台数に対応した回数実行させる。また、複数のＨＭＤ１００のいずれかに対応する工程フローデータ３２５を作成済みである場合、制御部３１０は、この作成済みの工程フローデータ３２５を編集して、他のＨＭＤ１００に実行させる工程フローデータ３２５を生成することもできる。

制御部３１０は、工程フロー編集処理で作成又は編集された工程フローの工程フローデータ３２５を、記憶部３２０に記憶させる（ステップＳ１４）。すでに、同じ工程フローの工程フローデータ３２５が記憶されている場合には、この工程フローデータ３２５を上書きし、更新する。

制御部３１０は、ＨＭＤ１００等の外部の装置に工程フローデータ３２５を出力するか否かを判定する（ステップＳ１０５）。入力デバイス３３４の操作等により、工程フローデータ３２５の出力が指示された場合（ステップＳ１０５／ＹＥＳ）、制御部３１０は、出力設定データ３２６を参照して、出力先の装置の種別や機能に対応する設定を取得する（ステップＳ１０６）。出力設定データ３２６は、汎用の１種類の設定のみを含んでもよく、この場合、制御部３１０は出力設定データ３２６に含まれる１種類の設定を取得すればよい。

制御部３１０は、ステップＳ１０６で取得した設定に従って、工程フローデータ３２５をもとに出力データ３２７を生成し、出力する（ステップＳ１０７）。ステップＳ１０７で、制御部３１０は、出力データ３２７を記憶部３２０に記憶してもよいし、出力データ３２７をＩ／Ｆ部３３７６に接続された機器に出力してもよいし、出力データ３２７を通信部３３６により送信してもよい。また、出力データ３２７がＨＭＤ１００Ａに実行させる工程フローデータ３２５をもとに生成された出力データ３２７である場合、ＨＭＤ１００Ａが接続されたＩ／Ｆ部３３７に出力データ３２７を出力する。同様に、出力データ３２７がＨＭＤ１００Ｂに実行させる工程フローデータ３２５をもとに生成された出力データ３２７である場合、ＨＭＤ１００Ｂが接続されたＩ／Ｆ部３３７に出力データ３２７を出力する。また、工程フローデータ３２５を出力しない場合（ステップＳ１０５／ＮＯ）、制御部３１０は本処理を終了する。

図１４は、ＰＣ３００の表示例を示す図であり、編集画面４０１の構成例を示す。
編集画面４０１は、工程フローを作成及び編集するために工程フロー定義ツール３２２の機能により表示される画面である。編集画面４０１は、大別して候補領域４１０及び編集領域４２０を有する。また、編集画面４０１の上部には、工程フローの作成及び編集の終了を指示するアイコンや工程フローの保存を指示するアイコンを含む指示部４０１ａが配置される。編集画面４０１は、本発明の「作業用画面」に相当する。また、編集領域４２０は、本発明の「作業領域」に相当する。

候補領域４１０には、作成又は編集される工程フローに組み込むことが可能な作業ブロックが一覧表示される。候補領域４１０は、作業ブロック毎に区分された領域に、作業ブロックを説明するテキストと、作業ブロックを示すシンボルとしての画像であるアイコンとが配置されて構成される。

図１４の編集画面４０１において、候補領域４１０には、７の作業ブロックに対応して、作業ブロック表示部４１１、４１２、４１３、４１４、４１５、４１６、４１７が配置される。
作業ブロック表示部４１１は、手順表示ブロック対応することを示すテキストとして作業ブロック説明表示部４１１ａを含み、手順表示ブロックを示すアイコン４１１ｂを含む。また、作業ブロック表示部４１２は、読込ブロックに対応することを示すテキストとして作業ブロック説明表示部４１２ａを含み、読込ブロックを示すアイコン４１２ｂを含む。また、作業ブロック表示部４１３は、入力ブロックに対応することを示すテキストとして作業ブロック説明表示部４１３ａを含み、入力ブロックを示すアイコン４１３ｂを含む。また、作業ブロック表示部４１４は、判定ブロックに対応することを示すテキストとして作業ブロック説明表示部４１４ａを含み、判定ブロックを示すアイコン４１４ｂを含む。また、作業ブロック表示部４１５は、チェックボックスによる選択入力ブロックに対応することを示すテキストとして作業ブロック説明表示部４１５ａを含み、選択入力ブロックを示すアイコン４１５ｂを含む。また、作業ブロック表示部４１６は、ラジオボタンによる選択入力ブロックに対応することを示すテキストとして作業ブロック説明表示部４１６ａを含み、選択入力ブロックを示すアイコン４１６ｂを含む。また、作業ブロック表示部４１７は、終端ブロックに対応することを示すテキストとして作業ブロック説明表示部４１７ａを含み、終端ブロックを示すアイコン４１７ｂを含む。

候補領域４１０に配置された作業ブロック表示部４１１〜４１７は、工程フローを作成及び編集する際に、工程フローに組み込む作業ブロックの候補である。ユーザーは、入力デバイス３３４の操作により、作業ブロック表示部４１１〜４１７のいずれかを選択して編集領域４２０にドラッグアンドドロップすることで、所望の作業ブロックを工程フローに組み込むことができる。

編集領域４２０は工程フローを表示する表示領域である。編集領域４２０には、候補領域４１０に配置された作業ブロック表示部４１１〜４１７のうち、ユーザーにより選択された作業ブロックが配置され、編集領域４２０に配置された１又は複数の作業ブロックによって１つの工程フローが構成される。編集領域４２０には、作業ブロックに対応する画像であるオブジェクトが配置される。

ユーザーは、作業ブロック表示部４１１からいずれか１つの作業ブロックのアイコンを選択（ドラッグ）し、選択したアイコンを編集領域４２０にドロップする。アイコンが編集領域４２０にドロップされると、編集領域４２０にはオブジェクト４２１が表示される。オブジェクト４２１は、作業ブロック表示部４１１の作業ブロックを示している。オブジェクト４２１は、アイコン４１１ｂと同じ画像であるアイコン４２１ａを含む。このアイコン４２１ａにより、オブジェクト４２１が、作業ブロック表示部４１１の作業ブロックを示していることが、目視により容易に確認できる。

また、編集領域４２０には、オブジェクトを追加可能な位置を示すガイド４３０が表示される。ガイド４３０は、オブジェクト４２１の下に位置しており、オブジェクト４２１の次に実行される作業ブロックを配置できることを示す。ユーザーは、作業ブロック表示部４１１からいずれか１つの作業ブロックのアイコンを選択（ドラッグ）して、ガイド４３０にドロップする。この操作により、編集領域４２０にはオブジェクト４２１の次に実行するオブジェクトと、オブジェクトを追加可能な位置を示すガイド４３０とが表示される。

図１５は、ＰＣ３００の表示例を示す図であり、詳細設定画面４５１の構成例を示す。図１５は、編集画面４０１で編集領域４２０に複数のオブジェクトが配置された状態で、詳細設定画面４５１に表示が切り替えられた状態の例である。

詳細設定画面４５１は、工程フロー表示領域４６０、ビュー編集領域４７０、及び詳細設定領域４８０を含む。また、詳細設定画面４５１の上部には、詳細設定の保存を指示するアイコンや詳細設定処理の終了を指示するアイコンを含む指示部４５１ａが配置される。

工程フロー表示領域４６０は、工程フロー４６１が表示される領域であり、工程フロー４６１を構成する作業ブロックを示すオブジェクトが、実行順に並べて配置される。図１５の例ではオブジェクト４２１及びオブジェクト４２２を含む工程フロー４６１が表示される。また、工程フロー４６１は終端を示すオブジェクトを含まず、作成途中である。このため、工程フロー４６１の末端にはガイド４３０が表示される。

ビュー編集領域４７０は、本処理で作成される工程フロー４６１をＨＭＤ１００が実行する場合に、ＨＭＤ１００により表示される画面の構成を表示する領域である。ビュー編集領域４７０には、工程フロー表示領域４６０に表示された工程フロー４６１を構成するオブジェクトのいずれかに対応して、画面の構成が表示される。

図１５には、ビュー編集領域４７０には、工程フロー４６１の１番目のオブジェクトであるオブジェクト４２１に対応する画面（ユーザービューという）４７１の構成を示す。このユーザービュー４７１は、工程フロー４６１に含まれる複数の作業ブロックにおける順番を表示する工程表示部４７２を含む。工程表示部４７２は、実行中の作業ブロックが全行程における何番目かを、作業者に知らせる表示部である。

詳細設定領域４８０は、工程フロー４６１において選択されているオブジェクト４２１について、条件定義情報３２４に定義された設定内容を入力するための領域である。図１５の詳細設定領域４８０には、オブジェクト４２１の設定内容に即した入力を行うため、タイトル設定部４８１及び作業情報設定部４８２が配置される。タイトル設定部４８１は、作業名及び作業ＩＤを入力する入力ボックスを含む。作業情報設定部４８２は、作業手順や作業におけるポイント等の作業者に示す内容を入力するための入力ボックスを含む。
また、詳細設定領域４８０には、カメラ６０により撮像される撮像画像データの利用を許可するか否かを示すチェックボックス４８３が表示される。チェックボックス４８３にチェックが入力されることで、オブジェクト４２１に対応する作業ブロックに、撮像画像データの利用を許可する許否情報が設定される。また、チェックボックス４８３のチェックを外すことで、オブジェクト４２１に対応する作業ブロックに、撮像画像データの利用を拒否する許否情報が設定される。

以上説明したように本実施形態のＰＣ３００は、実行順序が定められた複数の作業ブロックを含む工程フローを定義する制御データを編集可能な編集装置である。
ＰＣ３００は、入力部３３３、ディスプレイ３３２に表示を行う表示部３３１と、制御部３１０とを備える。
制御部３１０は、編集領域４２０を含む編集画面４０１をディスプレイ３３２に表示させる。また、制御部３１０は、入力部３３３により受け付けられた入力に応じて、動作ステップを示すオブジェクトであって動作ステップの内容を示す画像を含むオブジェクトを編集領域４２０に配置する。また、制御部３１０は、編集領域４２０におけるオブジェクトの配置に基づき工程フローを作成し、作成した工程フローを定義する工程フローデータ１６２を生成する。
工程フローデータ１６２は、少なくともいずれかの動作ステップについて、カメラ６０の撮像画像データの利用を許可するか否かの設定を含む。
従って、カメラ６０の撮像画像データの利用を許可するか否かを作業ブロックごとに設定した工程フローを作成することができる。

また、ＰＣ３００は、ＨＭＤ１００との接続部としてＩ／Ｆ部３３７を備える。制御部３１０は、Ｉ／Ｆ部３３７に接続されたＨＭＤ１００に、ＨＭＤ１００に対応付けて作成された工程フローを定義する出力データ３２７を出力する。
従って、ＨＭＤ１００で実行可能な出力データ３２７をＨＭＤ１００に出力して実行させることができる。

また、Ｉ／Ｆ部３３７には、複数のＨＭＤ１００を接続可能である。
制御部３１０は、複数のＨＭＤ１００の各々に対応付けて作成された工程フローを、対応するＨＭＤ１００に出力する。
従って、複数のＨＭＤ１００の各々に対応付けて作成された工程フローを、対応するＨＭＤ１００において実行させることができる。

上述した実施形態は、本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、上述した実施形態では、透過型の頭部装着型表示装置を例にして説明したが、頭部装着型表示装置は、装着状態において外界を視認することができない非透過型であってもよい。また、本実施形態では、ＨＭＤ１００を例に挙げて説明したが、タブレットＰＣであってもよいし、プロジェクターであっても適用可能である。

また、ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス（図示略）を備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータ１６３に基づく画像や音声を出力できる。

また、上述した実施形態では、制御装置１０が画像表示部２０と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置１０に対して画像表示部２０が無線接続される構成であってもよい。この場合の無線通信方式は通信部１１７が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。

また、制御装置１０が備える一部の機能を画像表示部２０に設けてもよく、制御装置１０を複数の装置により実現してもよい。すなわち、制御装置１０は、箱形のケース１０Ａを備える構成に限定されない。例えば、制御装置１０に代えて、使用者の身体、着衣、又は使用者が身につけられるデバイスを用いてもよい。使用者が身につけられるデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。

さらに、上記の実施形態では、画像表示部２０と制御装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼ＬＥに対応して画像を表示する表示部と、使用者の右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、画像表示部２０に代えてヘッドアップディスプレイを用いることで、自動車や飛行機等の車両に搭載することも可能である。例えば、車両にヘッドアップディスプレイを搭載する場合、トラックパッド１４の操作面に相当する操作面を車両のハンドル等に設ける。
また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び当該部分に対し位置決めされる部分を装着部とすることができる。

また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図６、図７等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２３又は制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１１７や外部コネクター１８４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０が使用者インターフェイス（ＵＩ）として形成されてもよい。

また、図８、図９及び図１１に示すフローチャートの処理単位は、ＨＭＤ１００の制御部１５０の処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって本発明が制限されることはない。また、制御部１５０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
図１０に示すサーバー装置３の動作を示すフローチャート、及び図１３に示すＰＣ３００の動作を示すフローチャートについても同様である。

１…情報処理システム、５…サーバー装置、７…通信ネットワーク、９…無線アクセスポイント、１０…制御装置、１０Ａ…ケース、１１…操作ボタン、１２…ＬＥＤインジケーター、１３…操作子、１４…トラックパッド、１５…上下キー、１６…切替スイッチ、１７…ＬＥＤ表示部、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、５１…通信部、５３…記憶部、５５…制御部、５７…情報管理テーブル、６０…カメラ、６３…マイク、６５…照度センサー、６７…ＬＥＤインジケーター、１００、１００Ａ、１００Ｂ…ＨＭＤ、１１０…操作部、１１１、２３５…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ受信部、１１７…通信部、１２０…コントローラー基板、１２１…メモリー、１２３…不揮発性記憶部、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１５０…制御部、１５１…ＯＳ、１５２…画像処理部、１５３…撮像制御部、１５４…入力検出部、１５５…通信制御部、１５７…情報取得部、１５８…工程フロー実行部、１６０…記憶部、１６１…アプリケーションプログラム、１６２…工程フローデータ、１６３…コンテンツデータ、１６４…ＨＭＤ識別情報、１６５…使用者識別情報、１８０…音声インターフェイス、１８２…音声コーデック、１８４…外部コネクター、１８６…外部メモリーＩ／Ｆ部、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９４…ＦＰＧＡ、１９６、２１１、２３１…インターフェイス、２１３、２３３…受信部受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１、２４１…ＯＬＥＤユニット、２２３、２４３…ＯＬＥＤパネル、２２５、２４５…ＯＬＥＤ駆動回路、２３７…磁気センサー、２３９…温度センサー、２５１…右光学系、２５２…左光学系、２６１、２８１…ハーフミラー、３００…ＰＣ、３１０…制御部、３２０…記憶部、３２１…ＯＳ、３２２…工程フロー定義ツール、３２４…条件定義情報、３２５…工程フローデータ、３２６…出力設定データ、３２７…出力データ、３３２…ディスプレイ、３３３…入力部、３３４…入力デバイス、３３６…通信部、３３７…Ｉ／Ｆ部、３３９…バス、４０１…編集画面、４０１ａ…指示部、４１０…候補領域、４１１、４１２、４１３、４１５、４１６、４１７…作業ブロック表示部、４１１ａ、４１２ａ、４１３ａ、４１４ａ、４１５ａ、４１６ａ、４１７ａ…作業ブロック説明表示部、４１１ｂ、４１２ｂ、４１３ｂ、４１４ｂ、４１５ｂ、４１６ｂ、４１７ｂ、４２１ａ…アイコン、４２０…編集領域、４２１、４２２…オブジェクト、４３０…ガイド、４５１…詳細設定画面、４５１ａ…指示部、４６０…工程フロー表示領域、４６１…工程フロー、４７０…ビュー編集領域、４７１…ユーザービュー、４７２…工程表示部、４８０…詳細設定領域、４８１…タイトル設定部、４８２…作業情報設定部、４８３…チェックボックス。

Claims (15)

1. 使用者の頭部に装着される頭部装着型表示装置であって、
   実行順序が予め定められた複数の動作ステップを含む動作フローを定義する制御データを記憶する記憶部と、
   外景を撮像する撮像部と、
   前記制御データに従って前記動作フローを実行する制御部と、を備え、
   前記制御データの少なくともいずれかの前記動作ステップは、前記撮像部の撮像画像データの利用を許可するか否かの設定を含み、
   前記制御部は、前記動作フローを実行する場合に、前記動作ステップに関する前記制御データの設定に従って、前記動作ステップごとの前記撮像画像データの利用の可否を制御する、頭部装着型表示装置。
2. 前記制御部は、前記動作ステップを実行する場合に、前記動作ステップに関する前記制御データの設定に従って、前記撮像部を動作させる状態と停止させる状態とを切り替える、請求項１記載の頭部装着型表示装置。
3. 前記撮像部の撮像画像データを記憶する画像記憶部を備え、
   前記制御部は、前記動作ステップを実行する場合に、前記動作ステップに関する前記制御データの設定に従って、前記画像記憶部に記憶された前記撮像部の撮像画像データを利用するか否かを制御する、請求項１記載の頭部装着型表示装置。
4. 前記制御部は、コード情報を含む画像を撮像する処理を含む前記動作ステップを実行する場合に、前記撮像部の撮像画像データを利用する制御を行い、前記撮像部の撮像撮像データから前記コード情報を抽出して前記記憶部に記憶させる、請求項１から３のいずれか１項に記載の頭部装着型表示装置。
5. 前記制御部は、コード情報を含む画像を撮像する処理を含む前記動作ステップを実行する場合に、前記撮像画像データから抽出された前記コード情報に基づき前記撮像撮像データの使用可能回数を決定し、前記動作フローに含まれる他の前記動作ステップで前記使用可能回数を上限として前記撮像画像データの利用を可能とする、請求項４記載の頭部装着型表示装置。
6. 前記制御部は、前記撮像画像データの利用が可能に設定された前記動作ステップを実行する場合に、前記撮像部の複数回の撮像に相当する前記撮像画像データの利用を可能とする、請求項１から６のいずれか１項記載の頭部装着型表示装置。
7. 報知部を備え、
   前記制御部は、前記画像記憶部に記憶された前記撮像部の前記撮像画像データを前記記憶部に記憶させる際に前記報知部による報知を行う、請求項３記載の頭部装着型表示装置。
8. 実行順序が定められた複数の動作ステップを含む動作フローを定義する制御データを編集可能な編集装置であって、
   入力を受け付ける入力部と、
   表示面に表示を行う表示部と、
   作業領域を含む作業用画面を前記表示面に表示させ、前記入力部により受け付けられた入力に応じて、前記動作ステップを示すオブジェクトであって前記動作ステップの内容を示す画像を含む前記オブジェクトを前記作業領域に配置し、前記作業領域における前記オブジェクトの配置に基づき前記動作フローを作成し、作成した前記動作フローを定義する前記制御データを生成する制御部と、を備え、
   前記制御データは、少なくともいずれかの前記動作ステップについて、撮像部の撮像画像データの利用を許可するか否かの設定を含む、編集装置。
9. 頭部装着型表示装置との接続部を備え、
   前記制御部は、前記接続部に接続された前記頭部装着型表示装置に、前記頭部装着型表示装置に対応付けて作成された前記動作フローを定義する前記制御データを出力する、請求項８記載の編集装置。
10. 前記接続部には、複数の前記頭部装着型表示装置を接続可能であり、
    前記制御部は、前記接続部に接続された複数の前記頭部装着型表示装置の各々に対し、前記頭部装着型表示装置に対応付けて作成された前記動作フローを定義する前記制御データを出力する、請求項８記載の編集装置。
11. 使用者の頭部に装着される頭部装着型表示装置と、情報処理装置とを備える情報処理システムであって、
    前記頭部装着型表示装置は、
    通信を行う第１通信部と、
    実行順序が予め定められた複数の動作ステップを含む動作フローを定義する制御データを記憶する記憶部と、
    外景を撮像する撮像部と、
    前記制御データに従って前記動作フローを実行する第１制御部と、を備え、
    前記制御データの少なくともいずれかの前記動作ステップは、前記撮像部の撮像画像データの利用を許可するか否かの設定を含み、
    前記第１制御部は、前記動作フローを実行する場合に、前記動作ステップに関する前記制御データの設定に従って、前記動作ステップごとの前記撮像画像データの利用の可否を制御し、前記撮像画像データの利用を許可する場合に、前記撮像部により撮像された前記撮像画像データを前記第１通信部により前記情報処理装置に送信する、情報処理システム。
12. 前記第１制御部は、前記撮像画像データに、前記撮像画像データの利用を制限する制限情報を付加して前記情報処理装置に送信する、請求項１１記載の情報処理システム。
13. 前記第１制御部は、前記撮像画像データに、前記頭部装着型表示装置を識別する第１識別情報を付加して前記情報処理装置に送信する、請求項１１記載の情報処理システム。
14. 前記情報処理装置は、
    通信を行う第２通信部と、
    前記頭部装着型表示装置から受信した前記撮像画像データ及び前記第１識別情報を対応付けて記憶するデータ記憶部と、
    前記撮像画像データを利用可能な外部装置を識別する第２識別情報と、前記第２識別情報に対応した前記外部装置が撮像画像データを取得可能な前記頭部装着型表示装置の前記第１識別情報とを対応付けて記憶する識別情報記憶部と、
    前記第２通信部により前記第２識別情報を受信した場合に、前記識別情報記憶部に、受信した前記第２識別情報に一致する前記第２識別情報が記憶されているか否かを判定し、一致する前記第２識別情報が前記識別情報記憶部に記憶されている場合に、一致する前記第２識別情報に対応付けられた前記第１識別情報の前記撮像画像データを、前記第２識別情報を受信した前記外部装置に送信させる第２制御部と、
    を備える請求項１３記載の情報処理システム。
15. 使用者の頭部に装着される頭部装着型表示装置の制御方法であって、
    実行順序が予め定められた複数の動作ステップを含む動作フローが定義された制御データを実行するステップと、
    実行する前記動作ステップに含まれる撮像部の撮像を許可するか否かの設定に従って、前記撮像部を制御するステップと、
    を有する頭部装着型表示装置の制御方法。
    

Images