JP2020135306A - 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法 - Google Patents

Abstract

【課題】スマートフォンの個人認証にかかる手間を削減する。【解決手段】表示システム１は、使用者の頭部に装着されるＨＭＤ１００と、ＨＭＤ１００が接続されるスマートフォン３００とを備える。スマートフォン３００は、位置入力操作を受け付けて、操作位置の座標を検出するタッチセンサー３３２と、使用者のスマートフォン３００に対する動作を検出する第１センサーＳ１と、使用者が位置入力操作を開始するまでの第１センサーＳ１の検出結果に基づき、使用者の個人認証を実行する第１実行部３１１と、を備える。【選択図】図５

Description

本発明は、表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法に関する。

スマートフォンのような携帯端末装置に表示される画像を、ＨＭＤのような表示装置にミラーリング表示することが知られている（例えば、特許文献１参照）。
特許文献１に記載の携帯端末装置は、タッチパネルと、プロセッサーとを備える。プロセッサーは、コンテンツに関連付けられた設定情報に基づいて、タッチパネルにコンテンツを表示させてタッチ入力を受け付ける第１のモードから、タッチパネルにコンテンツを表示させずにタッチ入力を受け付ける第２のモードに携帯端末装置の操作モードを切り換える。そして、操作モードが切り替えられた場合に、コンテンツを表示装置のディスプレイに表示させる。

特開２０１５−１９７６９４号公報

特許文献１記載の構成では、スマートフォンの個人認証に手間がかかる場合があるという課題があった。
例えば、スマートフォンがスリープ状態になった場合には、スマートフォンに対して、認証コードを入力する等の方法によって個人認証処理を実行させる必要があった。

上記課題を解決する一態様は、使用者の頭部に装着される表示装置と、前記表示装置が接続される情報処理装置とを備える表示システムであって、前記情報処理装置は、位置入力操作を受け付けて、操作位置の座標を検出する位置入力部と、前記使用者の前記情報処理装置に対する動作を検出する第１センサーと、前記使用者が前記位置入力操作を開始するまでの前記第１センサーの検出結果に基づき、前記使用者の個人認証を実行する第１実行部と、を備える、表示システムである。

上記表示システムにおいて、前記情報処理装置は、前記第１実行部による前記使用者の個人認証が失敗した場合に、前記表示システムに対する前記使用者の入力を規制する規制部を備える構成であってもよい。

上記表示システムにおいて、前記情報処理装置は、前記使用者の個人認証が失敗した場合に、認証コードの入力を受け付ける受付部と、前記認証コードに基づき、前記使用者の個人認証を実行する第２実行部と、を備え、前記第２実行部による前記使用者の個人認証が成功した場合に、前記規制部は、前記表示システムに対する前記使用者の入力の規制を解除する構成であってもよい。

上記表示システムにおいて、前記情報処理装置は、前記第１センサーによって検出された前記使用者の前記情報処理装置に対する動作のプロファイルデータセットを記憶する記憶部を備え、前記１実行部は、前記プロファイルデータセットに基づき、前記使用者の個人認証を実行する構成であってもよい。

上記表示システムにおいて、前記情報処理装置は、前記使用者を含む複数のユーザーの各々による前記情報処理装置に対する動作のプロファイルデータセットに基づいて、前記複数のユーザーの各々の識別情報を学習する機械学習部と、前記機械学習部に前記第１センサーの検出結果に対応する識別情報を出力させる出力部と、を備え、前記第１実行部は、前記出力部の出力した識別情報に基づいて、前記使用者の個人認証を実行する構成であってもよい。

上記表示システムにおいて、前記第１センサーは、照度センサーを含み、前記第１実行部は、前記照度センサーの検出した照度が閾値照度以上に到達してから、前記使用者が前記位置入力操作を開始するまでの前記第１センサーの検出結果に基づき、前記使用者の個人認証を実行する構成であってもよい。

上記表示システムにおいて、前記第１センサーは、加速度センサー、ジャイロセンサー、及び地磁気センサーの少なくとも１つを含み、前記第１センサーは、前記使用者が前記位置入力操作を開始するまでの前記情報処理装置の動きを検出する構成であってもよい。

上記表示システムにおいて、前記表示装置は、前記使用者の前記情報処理装置に対する動作を検出する第２センサーを備え、前記第１実行部は、前記第１センサーの検出結果、及び前記第２センサーの検出結果に基づき、前記使用者の個人認証を実行する構成であってもよい。

上記表示システムにおいて、前記第２センサーは、加速度センサー、ジャイロセンサー、及び地磁気センサーの少なくとも１つを含み、前記第２センサーは、前記使用者の頭部の動作を検出する構成であってもよい。

上記表示システムにおいて、前記第２センサーは、外景を撮像する撮像センサーを含み、前記第１実行部は、前記撮像センサーの生成する画像に基づき、前記情報処理装置を把持する前記使用者の指の位置を検出する構成であってもよい。

上記課題を解決する別の一態様は、位置入力操作を受け付けて、操作位置の座標を検出する位置入力部と、使用者の前記情報処理装置に対する動作を検出するセンサーと、コンピューターとを備え、前記使用者の頭部に装着される表示装置が接続される情報処理装置の制御プログラムであって、前記コンピューターを、前記使用者が前記位置入力操作を開始するまでの前記センサーの検出結果に基づき、前記使用者の個人認証を実行する実行部として機能させる、制御プログラムである。

上記課題を解決する更に別の一態様は、位置入力操作を受け付けて、操作位置の座標を検出する位置入力部と、使用者の前記情報処理装置に対する動作を検出するセンサーと、コンピューターとを備え、前記用者の頭部に装着される表示装置が接続される情報処理装置の制御方法であって、前記使用者が前記位置入力操作を開始するまでの前記センサーの検出結果に基づき、前記使用者の個人認証を実行する実行ステップ、を含む、情報処理装置の制御方法である。

表示システムの構成を示す図。 画像表示部の光学系の構成を示す図。 画像表示部の要部構成を示す斜視図。 ＨＭＤを構成する各部の構成を示す図。 ＨＭＤの第２制御部とスマートフォンとの構成を示す図。 スマートフォンに配置されたセンサーの軸方向の一例を示す図。 加速度センサーの検出結果の一例を示す図。 磁気センサーの検出結果の一例を示す図。 スマートフォンを把持する使用者の指の位置の一例を示す図。 認証が失敗した場合に表示される画面の一例を示す画面図。 スマートフォンの第１制御部の処理を示すフローチャート。 スマートフォンの第１制御部の処理を示すフローチャート。

以下、図面を参照して実施形態について説明する。

［１．表示システムの構成］
［１−１．表示システムの全体構成］
図１は、表示システム１の概略構成を示す図である。
図１に示すように、表示システム１は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１００を備える。ＨＭＤ１００は、使用者の頭部に装着される映像表示部２０と、接続装置１０とを備え、映像表示部２０により、使用者の頭部に装着された状態で使用者に虚像を視認させる装置である。ＨＭＤ１００は、「表示装置」の一例に対応する。以下の説明において、使用者とは、ＨＭＤ１００を装着して使用するユーザーを指す。

接続装置１０は、箱形のケースに、コネクター１１Ａ及びコネクター１１Ｄを備える。コネクター１１Ａには、映像表示部２０が接続ケーブル４０を介して接続される。以下、コネクター１１Ａ、１１Ｄを区別しない場合はコネクター１１と表記する場合がある。接続装置１０のケースは、筐体、或いは本体ということもできる。

表示システム１は、ＨＭＤ１００にスマートフォン３００を接続して構成されるシステムである。コネクター１１Ｄは、ＨＭＤ１００においてスマートフォン３００が接続されるインターフェイスである。すなわち、本実施形態では、コネクター１１Ｄにスマートフォン３００が接続される。スマートフォン３００は、「情報処理装置」の一例に対応する。
なお、スマートフォン３００は情報処理装置の一例に過ぎない。情報処理装置は、使用者が携帯可能であって、画像を表示する表示部と、タッチセンサーのような位置入力部と、使用者の情報処理装置に対する動作を検出するセンサーと、コンピューターとを備えればよい。例えば、情報処理装置として、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）端末、タブレット型パーソナルコンピューター等を接続装置１０に接続可能である。

コネクター１１は、通信ケーブルを接続する有線インターフェイスであり、この通信ケーブルにより、接続装置１０は外部の装置と接続される。コネクター１１Ａは、接続ケーブル４０を接続する端子、及び、コネクター１１Ａを介して信号を送受信するインターフェイス回路を備える。

コネクター１１Ａは、接続装置１０に映像表示部２０を接続するために設けられる。接続ケーブル４０は、接続装置１０から映像表示部２０に対する電源供給を行うとともに、映像表示部２０と接続装置１０とが相互にデータを送受信する機能を有する。

コネクター１１Ｄは、スマートフォン３００から映像データが入力され、スマートフォン３００に対してセンサーデータの出力が可能なインターフェイスである。スマートフォン３００は、不揮発性記憶部に記録されたコンテンツデータを再生する。コネクター１１Ｄは、例えば、公知の通信インターフェイス規格に準拠するコネクターである。
本実施形態では、コネクター１１Ｄは、一例として、映像データ及び各種データの入出力に対応するインターフェイスであり、ＵＳＢケーブル４６を介してスマートフォン３００が接続される。

コネクター１１Ｄとして、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）−ＴｙｐｅＣ規格のコネクターを採用することができる。ＵＳＢ−ＴｙｐｅＣに対応するインターフェイスは、ＵＳＢ３．１規格に従ったデータの伝送、及び、２０ボルト、５アンペア以内の直流電力の供給が可能である。
また、ＵＳＢ−ＴｙｐｅＣの代替モードの機能として、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格の映像データ、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）規格の映像データ等を伝送できる。スマートフォン３００は、ＵＳＢケーブル４６を介して、電源供給、データの送受信、及び、映像や音声のストリーミングデータの供給等を行うことができる。ＵＳＢ−ＴｙｐｅＣの代替モードは、Ａｌｔｅｒｎａｔｉｖｅモードとして知られている。ＨＤＭＩは登録商標である。

映像表示部２０は、本実施形態では眼鏡形状を有する。映像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示部２２、左表示部２４、右導光板２６、及び左導光板２８を備える。

右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者の頭部Ｕに映像表示部２０を保持する。前部フレーム２７の両端部のうち、映像表示部２０の装着時に頭部Ｕの右側に位置する端部を端部ＥＲとし、左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、映像表示部２０の装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、映像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、映像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、映像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が映像表示部２０を装着する装着状態で、使用者の眉間に対応する。
前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、映像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合には、鼻当て部と右保持部２１及び左保持部２３とにより映像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、映像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合には、ベルトによって映像表示部２０を使用者の頭部Ｕに保持できる。

右表示部２２及び左表示部２４の各々は、光学ユニット及び周辺回路をユニット化したモジュールである。
右表示部２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示部２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示部２２及び左表示部２４を総称して単に「表示駆動部」と呼ぶこともできる。

右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、右表示部２２及び左表示部２４が出力する画像光を、使用者の眼に導く。右導光板２６及び左導光板２８は、例えばプリズムである。

使用者の右眼には、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、左眼には、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。

映像表示部２０の前部フレーム２７には、第２照度センサー６５が配置される。第２照度センサー６５は、映像表示部２０を装着する使用者の前方からの外光を受光する。
カメラ６１は、映像表示部２０の前部フレーム２７に配設される。カメラ６１は、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置されているが、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。
カメラ６１は、「撮像センサー」の一例に対応する。また、カメラ６１は、「第２センサーＳ２」の一例に対応する。

カメラ６１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。

前部フレーム２７には、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）インジケーター６７が配置される。ＬＥＤインジケーター６７は、端部ＥＲにおいてカメラ６１の近傍に配置され、カメラ６１の動作中に点灯して、撮像中であることを報知する。

前部フレーム２７には、距離センサー６４が設けられる。距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する光反射式距離センサーであってもよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える超音波式の距離センサーであってもよい。また、距離センサー６４は、レーザーレンジスキャナーを用いてもよく、この場合には、映像表示部２０の前方を含む広範囲の領域に対し測域を行える。

映像表示部２０の右表示部２２及び左表示部２４の各々は、接続装置１０に接続される。ＨＭＤ１００では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が映像表示部２０内部に敷設され、右表示部２２及び左表示部２４の各々が接続装置１０に接続される。

接続ケーブル４０は、オーディオコネクター３６を備え、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、オーディオコネクター３６に接続される。右イヤホン３２は、使用者の右耳に装着され、左イヤホン３４は、使用者の左耳に装着される。右イヤホン３２及び左イヤホン３４は、音声出力部ということもできる。

右イヤホン３２及び左イヤホン３４は、接続装置１０が出力する音声信号に基づき音声を出力する。
マイク６３は、音声を集音して、音声信号を接続装置１０に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

接続装置１０は、使用者により操作される被操作部として、輝度調整キー１３、輝度調整キー１４、音量調整キー１５及び音量調整キー１６を備える。輝度調整キー１３、輝度調整キー１４、音量調整キー１５及び音量調整キー１６の各々は、ハードウェアキーで構成される。これらの被操作部は接続装置１０の本体の表面に配置され、例えば、使用者の手指により操作される。

輝度調整キー１３、１４は映像表示部２０により表示する映像の表示輝度を調整するためのハードウェアキーである。輝度調整キー１３は輝度の増大を指示し、輝度調整キー１４は輝度の低減を指示する。音量調整キー１５、１６は、右イヤホン３２及び左イヤホン３４から出力される音声の音量を調整するためのハードウェアキーである。音量調整キー１５は音量の増大を指示し、音量調整キー１６は音量の低減を指示する。

［１−２．ＨＭＤの画像表示部の光学系の構成］
図２は、映像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図２に示すように、右表示部２２と左表示部２４とは、左右対称に構成される。使用者の右眼ＲＥに画像を視認させる構成として、右表示部２２は、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ユニット２２１を備える。また、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１を備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、第２制御部１２０の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。第２制御部１２０については、後述にて図４を参照して説明する。
ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には図４に示す温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

また、使用者の左眼ＬＥに画像を視認させる構成として、左表示部２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、第２制御部１２０の指示に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。
ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、図４に示す温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

この構成によれば、ＨＭＤ１００は、透過型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示部２２及び左表示部２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

図３は、映像表示部２０の要部の構成を示す図である。図３は、映像表示部２０を使用者の頭部側から見た要部斜視図である。なお、図３では接続ケーブル４０の図示を省略する。

図３は、映像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、図３では、右導光板２６及び左導光板２８の裏側が見えている。
図３では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１及び左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１を含む右導光板２６の全体、及びハーフミラー２８１を含む左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。

また、映像表示部２０の使用者側には内側カメラ６８が配置される。内側カメラ６８は、使用者の右眼ＲＥ及び左眼ＬＥの各々に対応するように、右導光板２６と左導光板２８との中央位置に一対、設けられる。内側カメラ６８は、使用者の右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラである。内側カメラ６８は、第２制御部１２０の指示に従って撮像を行う。第２制御部１２０は、内側カメラ６８の撮像画像データを解析する。例えば、第２制御部１２０は、内側カメラ６８の撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、使用者の視線方向を特定する。また、第２制御部１２０は、使用者の視線方向の変化を求めることができ、右眼ＲＥ及び左眼ＬＥのそれぞれの眼球運動を検出してもよい。
ここで、使用者の視線の移動は、使用者の仮想視点の移動とみることもできる。

また、第２制御部１２０は、内側カメラ６８の撮像画像から右眼ＲＥ及び左眼ＬＥの視線方向を検出した場合に、右眼ＲＥ及び左眼ＬＥの輻輳角を求めることができる。輻輳角は、使用者が注視する対象物までの距離に対応する。すなわち、使用者が立体的に画像や物体を視認する場合、視認する対象までの距離に対応して、右眼ＲＥ及び左眼ＬＥの輻輳角が定まる。したがって、輻輳角を検出することで、使用者が注視する距離を求めることができる。また、使用者の輻輳角を誘導するように画像を表示することにより、立体視を誘導できる。

［１−３．ＨＭＤの各部の構成］
図４は、ＨＭＤ１００を構成する各部の構成を示す図である。
映像表示部２０の右表示部２２は、右表示部基板２１０を有する。右表示部基板２１０には、接続ケーブル４０に接続される右Ｉ／Ｆ部２１１、右Ｉ／Ｆ部２１１を介して接続装置１０から入力されるデータを受信する受信部２１３及びＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１５が実装される。右Ｉ／Ｆ部２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、距離センサー６４、第２照度センサー６５、ＬＥＤインジケーター６７、及び内側カメラ６８を、接続装置１０に接続する。受信部２１３は、ＯＬＥＤユニット２２１を接続装置１０に接続する。

左表示部２４は、左表示部基板２３０を有する。左表示部基板２３０には、接続ケーブル４０に接続される左Ｉ／Ｆ部２３１及び左Ｉ／Ｆ部２３１を介して接続装置１０から入力されるデータを受信する受信部２３３が実装される。また、左表示部基板２３０には、第２の６軸センサー２３５及び第２磁気センサー２３７が実装される。
左Ｉ／Ｆ部２３１は、受信部２３３、第２の６軸センサー２３５、第２磁気センサー２３７及び温度センサー２３９を、接続装置１０に接続する。受信部２３３は、ＯＬＥＤユニット２４１を接続装置１０に接続する。

Ｉ／Ｆは、インターフェイスの略記である。なお、本実施形態においては、受信部２１３及び受信部２３３の各々を、Ｒｘ２１３、Ｒｘ２３３と記載する場合がある。

ＥＥＰＲＯＭ２１５は、各種のデータを不揮発的に記憶する。ＥＥＰＲＯＭ２１５は、例えば、映像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示部２２又は左表示部２４が備えるセンサーの特性に関するデータ等を記憶する。
具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。ＥＥＰＲＯＭ２１５が記憶するデータは、第２制御部１２０により読取り可能である。

カメラ６１は、右Ｉ／Ｆ部２１１を介して入力される信号に従って撮像を実行し、撮像画像データを、右Ｉ／Ｆ部２１１に出力する。
第２照度センサー６５は、外光を受光し、受光量又は受光強度に対応する検出値を出力する。ＬＥＤインジケーター６７は、右Ｉ／Ｆ部２１１を介して入力される制御信号又は駆動電流に従って点灯する。
内側カメラ６８は、右Ｉ／Ｆ部２１１を介して入力される信号に従って撮像を実行し、撮像画像データを、右Ｉ／Ｆ部２１１に出力する。
温度センサー２１７は、ＯＬＥＤユニット２２１の温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。

距離センサー６４は、距離検出を実行し、検出結果を示す信号を、右Ｉ／Ｆ部２１１を介して接続装置１０に出力する。距離センサー６４は、例えば、赤外線式深度センサー、超音波式距離センサー、Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ式距離センサー、画像検出と音声検出とを組み合わせた距離検出ユニット等を用いることができる。また、距離センサー６４が、ステレオカメラや単眼カメラによるステレオ撮影で得られる画像を処理して距離を検出する構成であってもよい。

受信部２１３は、右Ｉ／Ｆ部２１１を介して接続装置１０から伝送される表示用の映像データを受信し、ＯＬＥＤユニット２２１に出力する。ＯＬＥＤユニット２２１は、接続装置１０が伝送する映像データに基づく映像を表示する。
また、受信部２３３は、左Ｉ／Ｆ部２３１を介して接続装置１０から伝送される表示用の映像データを受信し、ＯＬＥＤユニット２４１に出力する。ＯＬＥＤユニット２４１は、接続装置１０が伝送する映像データに基づく映像を表示する。

第２の６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロセンサーを備えるモーションセンサーである。第２の６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。第２磁気センサー２３７は、例えば、３軸の地磁気センサーである。ジャイロセンサーは、角速度センサーとも呼ばれる。以下の説明において、第２の６軸センサー２３５の３軸加速度センサーを第２加速度センサーと記載する場合がある。
第２の６軸センサー２３５及び第２磁気センサー２３７の各々は、「第２センサーＳ２」の一例に対応する。

温度センサー２３９は、ＯＬＥＤユニット２４１の温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。

映像表示部２０の各部は、接続ケーブル４０により接続装置１０から供給される電力により動作する。

映像表示部２０は、右表示部２２に電源部２２９を備え、左表示部２４に電源部２４９を備える。電源部２２９は、接続装置１０が接続ケーブル４０を介して供給する電力を、右表示部基板２１０を含む右表示部２２の各部に分配し、供給する。同様に、電源部２４９は、接続装置１０が接続ケーブル４０を介して供給する電力を、左表示部基板２３０を含む左表示部２４の各部に分配し、供給する。右表示部２２及び左表示部２４は、電圧を変換する変換回路等を備えてもよい。

接続装置１０は、Ｉ／Ｆ部１１０、第２制御部１２０、センサー制御部１２２、表示制御部１２４、電源制御部１２６、不揮発性記憶部１３０、操作部１４０、接続部１４５及び音声処理部１４７を備える。

Ｉ／Ｆ部１１０は、コネクター１１Ｄを備える。また、Ｉ／Ｆ部１１０は、コネクター１１Ｄに接続されて、各種通信規格に準拠した通信プロトコルを実行するインターフェイス回路を備える。

Ｉ／Ｆ部１１０は、例えば、コネクター１１Ｄ及びインターフェイス回路を実装したインターフェイス基板であってもよい。また、接続装置１０の第２制御部１２０やセンサー制御部１２２、表示制御部１２４、電源制御部１２６が、図示しない接続装置メイン基板に実装される構成としてもよい。この場合には、接続装置メイン基板にＩ／Ｆ部１１０のコネクター１１Ｄ及びインターフェイス回路を実装してもよい。
また、Ｉ／Ｆ部１１０は、例えば、外部の記憶装置や記憶媒体を接続可能なメモリーカード用インターフェイス等を備えてもよいし、Ｉ／Ｆ部１１０を無線通信インターフェイスで構成してもよい。

第２制御部１２０は、ＨＭＤ１００の各部を制御する。第２制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサーを有する。第２制御部１２０において、プロセッサーが制御プログラムを実行することによって、ソフトウェアとハードウェアとの協働によりＨＭＤ１００の各部を制御する。第２制御部１２０には、不揮発性記憶部１３０、操作部１４０、接続部１４５及び音声処理部１４７が接続される。

センサー制御部１２２は、カメラ６１、距離センサー６４、第２照度センサー６５、温度センサー２１７、第２の６軸センサー２３５、第２磁気センサー２３７及び温度センサー２３９を制御する。具体的には、センサー制御部１２２は、第２制御部１２０の制御に従って各センサーのサンプリング周期の設定及び初期化を行い、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。

センサー制御部１２２は、Ｉ／Ｆ部１１０のコネクター１１Ｄに接続され、予め設定されたタイミングで、各センサーから取得した検出値に関するデータをコネクター１１Ｄに出力する。コネクター１１Ｄに接続されたスマートフォン３００は、ＨＭＤ１００の各センサーの検出値、カメラ６１の撮像画像データを取得できる。

表示制御部１２４は、Ｉ／Ｆ部１１０に入力される画像データや映像データに基づく画像を映像表示部２０により表示するための各種処理を実行する。本実施形態では、コネクター１１Ｄに、スマートフォン３００が出力する映像信号が入力される。映像信号は、デジタル映像データであるが、アナログ映像信号であってもよい。
表示制御部１２４は、例えば、フレームの切り出し、解像度変換、中間フレーム生成、フレームレート変換等の各種処理を実行する。解像度変換は、いわゆるスケーリングを含む。表示制御部１２４は、ＯＬＥＤユニット２２１及びＯＬＥＤユニット２４１の各々に対応する画像データを接続部１４５に出力する。接続部１４５に入力された画像データは、コネクター１１Ａから、映像信号２０１として右Ｉ／Ｆ部２１１及び左Ｉ／Ｆ部２３１に伝送される。映像信号２０１は、ＯＬＥＤユニット２２１及びＯＬＥＤユニット２４１の各々に対応して処理されたデジタル映像データである。

本実施形態では、コネクター１１ＤがＵＳＢ−ＴｙｐｅＣコネクターで構成される。表示制御部１２４は、コネクター１１Ｄを介して、ＵＳＢ−ＴｙｐｅＣの代替モードで伝送される映像データを受信する。

センサー制御部１２２及び／又は表示制御部１２４は、プロセッサーがプログラムを実行することにより、ソフトウェアとハードウェアとの協働により実現されてもよい。すなわち、センサー制御部１２２及び表示制御部１２４は、プロセッサーにより構成され、プログラムを実行することで上記の動作を実行する。この例で、センサー制御部１２２及び表示制御部１２４は、第２制御部１２０を構成するプロセッサーがプログラムを実行することで実現されてもよい。言い換えれば、プロセッサーがプログラムを実行することで、第２制御部１２０、表示制御部１２４及びセンサー制御部１２２として機能してもよい。ここで、プロセッサーは、コンピューターと言い換えることができる。

また、表示制御部１２４及びセンサー制御部１２２は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等、プログラムされたハードウェアにより構成されてもよい。また、センサー制御部１２２及び表示制御部１２４を統合して、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）−ＦＰＧＡとして構成してもよい。

電源制御部１２６は、コネクター１１Ｄに接続される。電源制御部１２６は、コネクター１１Ｄから供給される電力に基づき、接続装置１０の各部および映像表示部２０に対する電源供給を行う。また、電源制御部１２６は、図示しない電圧変換回路を備え、電圧を変換して接続装置１０及び映像表示部２０の各部に供給する構成であってもよい。電源制御部１２６は、ロジック回路やＦＰＧＡ等のプログラムされた半導体デバイスで構成されてもよい。また、電源制御部１２６をセンサー制御部１２２及び／又は表示制御部１２４と共通のハードウェアで構成してもよい。

センサー制御部１２２、表示制御部１２４及び電源制御部１２６は、データ処理を行うためのワークメモリーを具備してもよく、第２制御部１２０のメモリーを利用して処理を行ってもよい。

操作部１４０は、接続装置１０が備える被操作部に対する操作を検出し、操作内容を示すデータ、又は、操作された被操作部を示す操作信号を第２制御部１２０に出力する。

音声処理部１４７は、第２制御部１２０から入力される音声データに従って、音声信号を生成し、接続部１４５に出力する。この音声信号は接続部１４５からオーディオコネクター３６を介して右イヤホン３２及び左イヤホン３４に出力される。また、音声処理部１４７は、第２制御部１２０の制御に従って、音声信号のボリュームを調整する。また、音声処理部１４７は、マイク６３が集音した音声の音声データを生成し、第２制御部１２０に出力する。この音声データは、第２制御部１２０により、映像表示部２０が備えるセンサーの検出値と同様に処理されてもよい。

また、接続装置１０は図示しないバッテリーを備え、このバッテリーから接続装置１０及び映像表示部２０の各部に電力を供給する構成であってもよい。接続装置１０が備えるバッテリーは、充電可能な二次電池であってもよい。

［１−４．スマートフォンの構成］
図５は、ＨＭＤ１００の第２制御部１２０とスマートフォン３００との構成を示す図である。
スマートフォン３００は、第１制御部３１０、不揮発性記憶部３２０、表示部３３０、Ｉ／Ｆ部３４１、通信部３４５、第１の６軸センサー３５１、第１磁気センサー３５２、及び第１照度センサー３５３を備える。
第１制御部３１０は、ＣＰＵやマイコン等のプロセッサーを備え、このプロセッサーにより制御プログラムを実行することにより、スマートフォン３００の各部を制御する。第１制御部３１０は、プロセッサーが実行する制御プログラムを不揮発的に記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、プロセッサーのワークエリアを構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のようなメモリーを備えてもよい。プロセッサーは、「コンピューター」の一例に対応する。第１制御部３１０のメモリーに記憶された制御プログラムは、「制御プログラム」の一例に対応する。

不揮発性記憶部３２０は、第１制御部３１０により実行される制御プログラムや、第１制御部３１０が処理するデータを不揮発的に記憶する。不揮発性記憶部１３０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気的記録装置、又は、フラッシュメモリー等の半導体記憶素子を用いた記憶装置である。

不揮発性記憶部３２０は、例えば、映像を含むコンテンツのコンテンツデータ３２１を記憶する。コンテンツデータ３２１は、第１制御部３１０により処理可能なフォーマットのファイルであり、映像データを含み、音声データを含んでもよい。
また、不揮発性記憶部３２０は、第１制御部３１０が実行する基本制御プログラムとしてのオペレーティングシステム（ＯＳ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、ＯＳをプラットフォームとして動作するアプリケーションプログラム等を記憶する。また、不揮発性記憶部３２０は、アプリケーションプログラムの実行時に処理されるデータや処理結果のデータを記憶する。
不揮発性記憶部３２０は、「記憶部」の一例に対応する。

表示部３３０が備える表示パネル３３１及びタッチセンサー３３２は、第１制御部３１０に接続される。表示パネル３３１は、第１制御部３１０の制御に基づき各種画像を表示する。表示パネル３３１は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）で構成される。表示パネル３３１は、矩形状に構成される。本実施形態では、表示パネル３３１は、長方形状である。
タッチセンサー３３２は、タッチ操作を検出し、検出した操作を示すデータを第１制御部３１０に出力する。タッチセンサー３３２は、表示パネル３３１と一体に形成される。具体的には、タッチセンサー３３２は、表示パネル３３１の画像表示面に形成される。本実施形態では、タッチセンサー３３２は、長方形状である。タッチセンサー３３２が出力するデータは、タッチセンサー３３２における操作位置を示す座標データ等である。
タッチセンサー３３２は、「位置入力部」の一例に対応する。

Ｉ／Ｆ部３４１は、外部の装置に接続されるインターフェイスである。Ｉ／Ｆ部３４１は、例えば、ＨＤＭＩインターフェイス、ＵＳＢインターフェイス等の規格に準拠した通信を実行する。Ｉ／Ｆ部３４１は、ＵＳＢケーブル４６を接続するコネクター、及びコネクターを伝送される信号を処理するインターフェイス回路を備える。Ｉ／Ｆ部３４１は、コネクター及びインターフェイス回路を有するインターフェイス基板であり、第１制御部３１０のプロセッサー等が実装されるメイン基板に接続される。或いは、Ｉ／Ｆ部３４１を構成するコネクター及びインターフェイス回路が、スマートフォン３００のメイン基板に実装される。
本実施形態で、Ｉ／Ｆ部３４１は、ＵＳＢインターフェイスを備え、ＵＳＢケーブル４６により、コネクター１１Ｄに接続される。第１制御部３１０は、例えば、ＵＳＢケーブル４６により映像データを出力し、接続装置１０からセンサーの出力値に関するデータ等を受信する。
また、Ｉ／Ｆ部３４１は、無線通信インターフェイスであってもよい。この場合には、Ｉ／Ｆ部３４１は、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）部を含む通信回路を実装したインターフェイス基板、又は、メイン基板に実装される回路とすることができる。

通信部３４５は、外部の装置とデータ通信を実行する通信インターフェイスである。通信部３４５は、ケーブルを接続可能な有線通信インターフェイスであってもよいし、無線通信インターフェイスであってもよい。例えば、Ｅｔｈｅｒｎｅｔ（登録商標）に対応する有線ＬＡＮインターフェイスや、ＩＥＥＥ８０２．１１規格に対応する無線ＬＡＮインターフェイスであってもよい。
また、通信部３４５は、例えば、他のスマートフォンと無線電話回線で接続する通信インターフェイスである。

第１の６軸センサー３５１は、３軸加速度センサー、及び、３軸ジャイロセンサーを備えるモーションセンサーである。第１の６軸センサー３５１は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。第１磁気センサー３５２は、例えば、３軸の地磁気センサーである。ジャイロセンサーは、角速度センサーとも呼ばれる。以下の説明において、第１の６軸センサー３５１の３軸加速度センサーを第１加速度センサーと記載する場合がある。
第１の６軸センサー３５１及び第１磁気センサー３５２の各々は、「第１センサー」の一例に対応する。

第１照度センサー３５３は、外光を受光し、受光量又は受光強度に対応する検出値を出力する。第１照度センサー３５３は、例えば、表示パネル３３１の法線方向からの外光を受光する。
第１照度センサー３５３は、「第１センサー」の一例に対応する。

第１制御部３１０は、第１実行部３１１と、規制部３１２と、受付部３１３と、第２実行部３１４と、機械学習部３１５と、出力部３１６とを備える。具体的には、第１制御部３１０は、第１制御部３１０が備えるプロセッサーが制御プログラムを実行することにより、第１実行部３１１、規制部３１２、受付部３１３、第２実行部３１４、機械学習部３１５及び出力部３１６として機能する。

第１制御部３１０は、コンテンツデータ３２１を再生し、コンテンツデータ３２１に含まれる映像データに対応する第２画像ＰＴ２を表示部３３０の表示パネル３３１に表示する。
また、第１制御部３１０は、第２画像ＰＴ２を示すデータをＨＭＤ１００に伝送する。具体的には、第１制御部３１０は、Ｉ／Ｆ部３４１及びコネクター１１Ｄを介して、第２画像ＰＴ２を示すデータをＨＭＤ１００の第２制御部１２０に伝送する。

第１実行部３１１は、使用者がタッチセンサー３３２に対する位置入力操作を開始するまでの第１センサーＳ１の検出結果に基づき、使用者の個人認証を実行する。第１センサーＳ１は、使用者のスマートフォン３００に対する動作を検出する。第１センサーＳ１は、第１照度センサー３５３、第１の６軸センサー３５１及び第１磁気センサー３５２を含む。

第１実行部３１１は、使用者がタッチセンサー３３２に対する位置入力操作を開始するまでの第１センサーＳ１及び第２センサーＳ２の検出結果に基づき、使用者の個人認証を実行する。第２センサーＳ２は、カメラ６１、第２の６軸センサー２３５及び第２磁気センサー２３７を含む。カメラ６１は、外景を撮像して、外景画像を生成する。第１実行部３１１は、外景画像に基づいて、スマートフォン３００を把持する使用者の指の位置を検出する。第２の６軸センサー２３５及び第２磁気センサー２３７は、使用者の頭部Ｕの動作を検出する。

第１実行部３１１は、使用者によるスマートフォン３００に対する動作のプロファイルデータセットに基づき、使用者の個人認証を実行する。プロファイルデータセットは、第１センサーＳ１の検出結果を示す。具体的には、プロファイルデータセットは、第１照度センサー３５３、第１の６軸センサー３５１及び第１磁気センサー３５２の検出結果を含む。

規制部３１２は、第１実行部３１１による使用者の個人認証が失敗した場合に、表示システム１に対する使用者の入力を規制する。
規制部３１２は、例えば、タッチセンサー３３２に対する使用者の入力を禁止する。また、規制部３１２は、例えば、ＨＭＤ１００の輝度調整キー１３、輝度調整キー１４、音量調整キー１５及び音量調整キー１６に対する使用者の入力を禁止する。

受付部３１３は、使用者の個人認証が失敗した場合に、使用者からの認証コードの入力を受け付ける。認証コードは、例えば、英字及び数字の少なくとも一方から構成される４桁のコードである。受付部３１３は、認証コードに換えて、認証パターンの入力を受け付けてもよい。

第２実行部３１４は、認証コードに基づき、使用者の個人認証を実行する。

機械学習部３１５は、使用者を含む複数のユーザーの各々によるスマートフォン３００に対する動作のプロファイルデータセットに基づいて、複数のユーザーの各々の識別情報を学習する。プロファイルデータセットは、第１センサーＳ１の検出結果を示す。具体的には、プロファイルデータセットは、第１照度センサー３５３、第１の６軸センサー３５１及び第１磁気センサー３５２の検出結果を含む。
機械学習部３１５は、例えばディープラーニングを用いて機械学習を実行する。

複数のユーザーの各々によるスマートフォン３００に対する動作のプロファイルデータセットは、複数のユーザーの各々の識別情報と対応付けて、例えば不揮発性記憶部３２０に記憶される。
機械学習部３１５は、複数のユーザーの各々について、不揮発性記憶部３２０から、プロファイルデータセットと識別情報とを読み出して、機械学習を実行し、学習済みモデルを生成する。
学習済みモデルは、例えば、第１制御部３１０のメモリーに記憶される。

出力部３１６は、機械学習部３１５に使用者による第１センサーＳ１の検出結果に対応する識別情報を出力させる。具体的には、出力部３１６は、使用者による第１センサーＳ１の検出結果に対応する識別情報を、学習済みモデルに出力させる。

［１−５．ＨＭＤの第１制御部の構成］
ＨＭＤ１００の第２制御部１２０は、第１表示制御部１２１を備える。具体的には、第２制御部１２０は、第２制御部１２０が備えるプロセッサーが制御プログラムを実行することにより、第１表示制御部１２１として機能する。

第１表示制御部１２１は、第１画像ＰＴ１を表示する。具体的には、第１表示制御部１２１は、スマートフォン３００から第２画像ＰＴ２を受信し、受信した第２画像ＰＴ２を映像表示部２０により第１画像ＰＴ１として表示させる。すなわち、第１画像ＰＴ１は、第２画像ＰＴ２と一致する。換言すれば、第１画像ＰＴ１は、第２画像ＰＴ２と同一の画像を示す。この場合には、ＨＭＤ１００の映像表示部２０は、表示パネル３３１に表示している画像と同じ画像を表示し、いわゆる「ミラーリング表示」を行う。

更に具体的には、第１表示制御部１２１は、スマートフォン３００から受信した第２画像ＰＴ２から、右画像と左画像とを生成する。そして、第１表示制御部１２１は、右画像を右表示部２２により表示させ、左画像を左表示部２４により表示させる。
更に具体的には、第１表示制御部１２１は、右画像を右Ｉ／Ｆ部２１１を介してＯＬＥＤユニット２２１に伝送し、ＯＬＥＤユニット２２１により右画像を表示させる。また、第１表示制御部１２１は、左画像を左Ｉ／Ｆ部２３１を介してＯＬＥＤユニット２４１に伝送し、ＯＬＥＤユニット２４１により左画像を表示させる。

［２．センサーの検出結果］
［２−１．第１センサーの検出結果］
次に、図６〜図８を参照して、第１センサーＳ１の検出結果の一例について説明する。
図６は、スマートフォン３００に配置された第１の６軸センサー３５１及び第１磁気センサー３５２の各々の軸方向の一例を示す図である。

図６に示すように、第１の６軸センサー３５１及び第１磁気センサー３５２の各々の軸は、互いに直交するＸ軸、Ｙ軸及びＺ軸で構成される。Ｚ軸の正方向は、表示パネル３３１の表示面の法線方向を示す。Ｙ軸は、表示パネル３３１の長辺方向と平行である。また、Ｙ軸の正方向は、表示パネル３３１の上方向を示す。Ｘ軸は、表示パネル３３１の短辺方向と平行である。Ｘ軸の正方向は、表示パネル３３１の右方向を示す。

図７は、第１照度センサー３５３と、第１の６軸センサー３５１のうちの３軸加速度センサーとの検出結果の一例を示す図である。
図７の符号Ａは、第１照度センサー３５３の検出結果を示すグラフである。図７の符号Ｂは、３軸加速度センサーのうちのＸ軸加速度センサーの検出結果を示すグラフである。図７の符号Ｃは、３軸加速度センサーのうちのＹ軸加速度センサーの検出結果を示すグラフである。図７の符号Ｄは、３軸加速度センサーのうちのＹ軸加速度センサーの検出結果を示すグラフである。

図７の符号Ａ、図７の符号Ｂ、図７の符号Ｃ、及び図７の符号Ｄの各々に示すグラフの横軸は時間Ｔを示す。図７の符号Ａの示すグラフの縦軸は、照度ＬＧを示す。図７の符号Ｂの示すグラフの縦軸は、Ｘ軸方向の加速度αＸを示す。図７の符号Ｃの示すグラフの縦軸は、Ｙ軸方向の加速度αＹを示す。図７の符号Ｄの示すグラフの縦軸は、Ｚ軸方向の加速度αＺを示す。

図７の符号Ａのグラフに示すように、時間Ｔ１において、照度ＬＧが閾値照度ＬＧＮ以上になる。閾値照度ＬＧＮは、例えば３０ｌｘ（ルクス）である。時間Ｔ１より前の時間においては、照度ＬＧが零である。本実施形態では、時間Ｔ１より前の時間においては、スマートフォン３００が使用者のポケットに収納されており、時間Ｔ１においてスマートフォン３００がポケットから取り出される。

図７の符号Ａのグラフに示すように、時間Ｔ１から照度ＬＧが増加している。使用者は、天井に蛍光灯が配置された部屋でスマートフォン３００をポケットから取り出す。ポケットからスマートフォン３００が取り出された直後は、表示パネル３３１の法線方向は水平方向を向いている。また、第１照度センサー３５３は表示パネル３３１の法線方向からの外光を受光する。よって、スマートフォン３００が取り出された直後は、照度ＬＧが小さい。
その後、スマートフォン３００のタッチセンサー３３２を操作するために、使用者は、スマートフォン３００の表示パネル３３１の法線方向が上方向を向くようにスマートフォン３００の姿勢を変更する。その結果、照度ＬＧが増加している。

図７の符号Ｄのグラフに示すように、時間Ｔ２において、加速度αＺが増加している。時間Ｔ２では、スマートフォン３００のタッチセンサー３３２に対して使用者がタッチ操作をした結果、スマートフォン３００がＺ軸方向に移動し、加速度αＺが増加している。

図７の符号Ｂのグラフに示すように、時間Ｔ１から時間Ｔ２の間において、時間Ｔ１の直後に加速度αＸが急激に増加し、その後の変化は小さい。図７の符号Ｃのグラフに示すように、時間Ｔ１から時間Ｔ２の間において、時間Ｔ１の直後に加速度αＹが急激に減少し、その後の変化は小さい。加速度αＸ及び加速度αＹのこのような変化は、使用者のスマートフォン３００に対する以下の動作を示している。
すなわち、時間Ｔ１においてスマートフォン３００を使用者が取り出した直後に、スマートフォン３００のタッチセンサー３３２を使用者が操作するための準備動作を行った。準備動作は、スマートフォン３００の表示パネル３３１の法線方向がＨＭＤ１００を向くように、使用者がスマートフォン３００の姿勢を変更する動作である。

第１実行部３１１は、第１照度センサー３５３の検出した照度ＬＧが閾値照度ＬＧＮ以上に到達してから、使用者が位置入力操作を開始するまでの第１の６軸センサー３５１のうちの３軸加速度センサーの検出結果を取得する。
具体的には、第１実行部３１１は、時間Ｔ１から時間Ｔ２までの第１の６軸センサー３５１のうちの３軸加速度センサーの検出結果を取得する。時間Ｔ１は、照度ＬＧが閾値照度ＬＧＮ以上に到達した時間を示す。時間Ｔ２は、使用者が位置入力操作を開始した時間を示す。位置入力操作は、例えば、タッチセンサー３３２に対するタッチ操作である。

図８は、第１照度センサー３５３と、第１磁気センサー３５２との検出結果の一例を示す図である。
図８の符号Ｅ、図８の符号Ｆ、図８の符号Ｇ、及び図８の符号Ｈの各々に示すグラフの横軸は時間Ｔを示す。図８の符号Ｅの示すグラフの縦軸は、照度ＬＧを示す。図８の符号Ｆの示すグラフの縦軸は、Ｘ軸方向の磁気ＭＸを示す。図８の符号Ｇの示すグラフの縦軸は、Ｙ軸方向の磁気ＭＹを示す。図８の符号Ｈの示すグラフの縦軸は、Ｚ軸方向の磁気ＭＺを示す。

図８の符号Ｅのグラフに示すように、時間Ｔ１において、照度ＬＧが閾値照度ＬＧＮ以上になる。閾値照度ＬＧＮは、例えば３０ｌｘ（ルクス）である。時間Ｔ１より前の時間においては、照度ＬＧが零である。本実施形態では、スマートフォン３００が、時間Ｔ１より前の時間においては、使用者のポケットに収納されており、時間Ｔ１においてスマートフォン３００がポケットから取り出される。

図８の符号Ｅのグラフに示すように、時間Ｔ１から照度ＬＧが増加している。使用者は、天井に蛍光灯が配置された部屋でスマートフォン３００をポケットから取り出す。ポケットからスマートフォン３００が取り出された直後は、表示パネル３３１の法線方向は水平方向を向いている。また、第１照度センサー３５３は表示パネル３３１の法線方向からの外光を受光する。よって、スマートフォン３００が取り出された直後は、照度ＬＧが小さい。
その後、スマートフォン３００のタッチセンサー３３２を操作するために、使用者は、スマートフォン３００の表示パネル３３１の法線方向が上方向を向くようにスマートフォン３００の姿勢を変更する。その結果、照度ＬＧが増加している。

図８の符号Ｆのグラフに示すように、時間Ｔ２において、磁気ＭＸが増加している。時間Ｔ２では、スマートフォン３００のタッチセンサー３３２に対して使用者がタッチ操作をした結果、スマートフォン３００の姿勢が変化し、磁気ＭＸが増加している。

図８の符号Ｇのグラフに示すように、時間Ｔ１から時間Ｔ２の間において、時間Ｔ１の直後に磁気ＭＹが急激に増加し、その後の変化は小さい。図８の符号Ｈのグラフに示すように、時間Ｔ１から時間Ｔ２の間において、時間Ｔ１の直後に磁気ＭＺが急激に減少し、その後の変化は小さい。磁気ＭＹ及び磁気ＭＺのこのような変化は、使用者のスマートフォン３００に対する以下の動作を示している。
すなわち、時間Ｔ１においてスマートフォン３００を使用者が取り出した直後に、スマートフォン３００のタッチセンサー３３２を使用者が操作するための準備動作を行った。準備動作は、スマートフォン３００の表示パネル３３１の法線方向がＨＭＤ１００を向くように、使用者がスマートフォン３００の姿勢を変更する動作である。

第１実行部３１１は、第１照度センサー３５３の検出した照度ＬＧが閾値照度ＬＧＮ以上に到達してから、使用者が位置入力操作を開始するまでの第１磁気センサー３５２の検出結果を取得する。
具体的には、第１実行部３１１は、時間Ｔ１から時間Ｔ２までの第１磁気センサー３５２の検出結果を取得する。時間Ｔ１は、照度ＬＧが閾値照度ＬＧＮ以上に到達した時間を示す。時間Ｔ２は、使用者が位置入力操作を開始した時間を示す。位置入力操作は、例えば、タッチセンサー３３２に対するタッチ操作である。

図７及び図８を参照して説明したように、第１実行部３１１は、第１照度センサー３５３の検出した照度ＬＧが閾値照度ＬＧＮ以上に到達してから、使用者が位置入力操作を開始するまでの第１センサーＳ１の検出結果を取得する。
具体的には、第１実行部３１１は、時間Ｔ１から時間Ｔ２までの第１センサーＳ１の検出結果を取得する。時間Ｔ１は、照度ＬＧが閾値照度ＬＧＮ以上に到達した時間を示す。時間Ｔ１は、第１照度センサー３５３の検出結果に基いて決定される。時間Ｔ２は、使用者が位置入力操作を開始した時間を示す。時間Ｔ２は、タッチセンサー３３２の検出結果に基いて決定される。

［２−２．第２センサーの検出結果］
図９は、スマートフォン３００を把持する使用者の指の位置の一例を示す図である。
図９の符号Ｊは、スマートフォン３００を使用者が左手ＨＬで把持して、右手ＨＲでタッチセンサー３３２を操作する場合におけるスマートフォン３００を把持する使用者の左手ＨＬの指の位置の一例を示す図である。
図９の符号Ｋは、スマートフォン３００を使用者が右手ＨＲで把持して、右手ＨＲの親指ＲＦ１でタッチセンサー３３２を操作する場合におけるスマートフォン３００を把持する使用者の右手ＨＲの指の位置の一例を示す図である。

図９の符号Ｊの図に示すように、左手ＨＬの親指ＬＦ１は、スマートフォン３００の筐体の左側面の長辺方向に当接している。親指ＬＦ１のスマートフォン３００の筐体との当接位置は、スマートフォン３００の筐体の左側面の長辺方向の中央である。
左手ＨＬの人差し指ＬＦ２、中指ＬＦ３、薬指ＬＦ４及び小指ＬＦ５の各々は、スマートフォン３００の筐体の右側面の長辺方向に沿って当接している。人差し指ＬＦ２、中指ＬＦ３、薬指ＬＦ４及び小指ＬＦ５の各々は、スマートフォン３００の筐体の右側面の長辺方向に沿って配列している。

人差し指ＬＦ２のスマートフォン３００の筐体との当接位置は、スマートフォン３００の筐体の右側面の長辺方向の中央である。小指ＬＦ５のスマートフォン３００の筐体との当接位置は、スマートフォン３００の筐体の右側面の長辺方向の下部である。中指ＬＦ及び薬指ＬＦ４の各々のスマートフォン３００の筐体との当接位置は、人差し指ＬＦ２のスマートフォン３００の筐体との当接位置と、小指ＬＦ５のスマートフォン３００の筐体との当接位置との間である。人差し指ＬＦ２、中指ＬＦ３、薬指ＬＦ４及び小指ＬＦ５の各々は、互いに接している。

図９の符号Ｋの図に示すように、右手ＨＲの親指ＲＦ１の位置は、タッチセンサー３３２上である。すなわち、使用者は、右手ＨＲの親指ＲＦ１でタッチセンサー３３２を操作する。
右手ＨＲの人差し指ＲＦ２のスマートフォン３００の筐体との当接位置は、スマートフォン３００の筐体の左側面の長辺方向の中央である。小指ＲＦ５のスマートフォン３００の筐体との当接位置は、スマートフォン３００の筐体の左側面の長辺方向の下部である。中指ＲＦ３及び薬指ＲＦ４の各々のスマートフォン３００の筐体との当接位置は、人差し指ＲＦ２のスマートフォン３００の筐体との当接位置と、小指ＲＦ５のスマートフォン３００の筐体との当接位置との間である。人差し指ＲＦ２、中指ＲＦ３、薬指ＲＦ４及び小指ＲＦ５の各々は、互いに接している。
なお、スマートフォン３００の筐体の右側面は右手ＨＲの手のひらに当接している。

カメラ６１は、スマートフォン３００を含む外景を撮像して、外景画像を生成する。第１実行部３１１は、外景画像に基づいて、スマートフォン３００を把持する使用者の指の位置を検出する。具体的には、第１実行部３１１は、スマートフォン３００を把持する使用者の左手ＨＬの親指ＬＦ１、人差し指ＬＦ２、中指ＬＦ３、薬指ＬＦ４及び小指ＬＦ５の位置、又は右手ＨＲの親指ＲＦ１、人差し指ＲＦ２、中指ＲＦ３、薬指ＲＦ４及び小指ＲＦ５の位置を検出する。そして、第１実行部３１１は、スマートフォン３００を把持する使用者の指の位置の検出結果に基づいて、使用者の個人認証を実行する。

［３．受付部の処理］
図１０は、認証が失敗した場合に表示パネル３３１に表示されるコード認証画面の一例を示す画面図である。
図１０に示すように、使用者の個人認証が失敗した場合には、受付部３１３によって、コード認証画面が表示パネル３３１に表示される。コード認証画面は、メッセージ表示部ＰＭと、パスワード入力部ＰＰとを含む。

メッセージ表示部ＰＭには、パスワードを入力することを使用者に指示するメッセージが表示される。具体的には、「個人認証が失敗しました。パスワードを入力してください。」という文字画像がメッセージ表示部ＰＭに表示される。

パスワード入力部ＰＰには、パスワードの入力を受け付けることを使用者に指示するメッセージが表示される。具体的には、「パスワード：＿＿＿＿＿」という文字画像がパスワード入力部ＰＰに表示される。なお、パスワード入力部ＰＰのうち下線が表示された範囲は、パスワードの入力を受け付ける位置を示す。また、パスワードは、「認証コード」の一例に対応する。

［４．スマートフォンの第１制御部の処理の説明］
図１１及び図１２の各々は、スマートフォン３００の第１制御部３１０の処理の一例を示すフローチャートである。
まず、図１１に示すように、ステップＳ１０１において、第１制御部３１０は、第１照度センサー３５３の検出結果を取得する。
次に、ステップＳ１０３において、第１制御部３１０は、第１照度センサー３５３が検出した照度ＬＧが閾値照度ＬＧＮ以上であるか否かを判定する。
第１照度センサー３５３が検出した照度ＬＧが閾値照度ＬＧＮ以上ではないと第１制御部３１０が判定した場合（ステップＳ１０３：ＮＯ）には、処理がステップＳ１０１に戻る。第１照度センサー３５３が検出した照度ＬＧが閾値照度ＬＧＮ以上であると第１制御部３１０が判定した場合（ステップＳ１０３：ＹＥＳ）には、処理がステップＳ１０５に進む。
そして、ステップＳ１０５において、第１制御部３１０は、第１加速度センサーの検出結果を取得する。第１加速度センサーは、第１の６軸センサー３５１の３軸加速度センサーを示す。

次に、ステップＳ１０７において、第１制御部３１０は、第１磁気センサー３５２の検出結果を取得する。
次に、ステップＳ１０９において、第１制御部３１０は、ＨＭＤ１００の第２加速度センサーの検出結果を取得する。第２加速度センサーは、第２の６軸センサー２３５の３軸加速度センサーを示す。
次に、ステップＳ１１１において、第１制御部３１０は、ＨＭＤ１００の第２磁気センサー２３７の検出結果を取得する。
次に、ステップＳ１１３において、第１制御部３１０は、ＨＭＤ１００のカメラ６１の撮像した外景画像を取得する。
次に、ステップＳ１１５において、第１実行部３１１は、外景画像からスマートフォン３００を把持する使用者の指の位置を検出する。

次に、ステップＳ１１７において、第１制御部３１０は、タッチセンサー３３２に対する位置入力操作を検出したか否かを判定する。
タッチセンサー３３２に対する位置入力操作を検出していないと第１制御部３１０が判定した場合（ステップＳ１１７：ＮＯ）には、処理がステップＳ１０１に戻る。タッチセンサー３３２に対する位置入力操作を検出したと第１制御部３１０が判定した場合（ステップＳ１１７：ＹＥＳ）には、処理がステップＳ１１９に進む。
そして、ステップＳ１１９において、第１実行部３１１は、個人認証を実行する。具体的には、第１実行部３１１は、第１照度センサー３５３の検出した照度ＬＧが閾値照度ＬＧＮ以上に到達してから使用者がタッチセンサー３３２に対する位置入力操作を開始するまでの第１センサーＳ１及び第２センサーＳ２の検出結果に基づき、使用者の個人認証を実行する。第１センサーＳ１は、第１照度センサー３５３、第１の６軸センサー３５１及び第１磁気センサー３５２を含む。第２センサーＳ２は、カメラ６１、第２の６軸センサー２３５及び第２磁気センサー２３７を含む。

次に、ステップＳ１２１において、第１制御部３１０は、第１実行部３１１による個人認証が成功したか否かを判定する。
第１実行部３１１による個人認証が成功したと第１制御部３１０が判定した場合（ステップＳ１２１：ＹＥＳ）には、処理が終了する。第１実行部３１１による個人認証が失敗したと第１制御部３１０が判定した場合（ステップＳ１２１：ＮＯ）には、処理が図１２のステップＳ１２３に進む。
そして、図１２に示すように、ステップＳ１２３において、規制部３１２が、表示システム１に対する使用者の入力を規制する。

次に、ステップＳ１２５において、受付部３１３は、使用者からの認証コードの入力を受け付ける。
次に、ステップＳ１２７において、第２実行部３１４は、認証コードに基づき、使用者の個人認証を実行する。
次に、ステップＳ１２９において、第１制御部３１０は、第２実行部３１４による個人認証が成功したか否かを判定する。
第２実行部３１４による個人認証が失敗したと第１制御部３１０が判定した場合（ステップＳ１２９：ＮＯ）には、処理が終了する。第２実行部３１４による個人認証が成功したと第１制御部３１０が判定した場合（ステップＳ１２９：ＹＥＳ）には、処理がステップＳ１３１に進む。
そして、ステップＳ１３１において、規制部３１２は、表示システム１に対する使用者の入力の規制を解除する。その後、処理が終了する。

なお、図１０のステップＳ１１９は、「実行ステップ」の一例に対応する。

［５．本実施形態の効果］
以上説明したように、本実施形態では、表示システム１は、使用者の頭部に装着されるＨＭＤ１００と、ＨＭＤ１００が接続されるスマートフォン３００とを備える。スマートフォン３００は、位置入力操作を受け付けて、操作位置の座標を検出するタッチセンサー３３２と、使用者のスマートフォン３００に対する動作を検出する第１センサーＳ１と、使用者が位置入力操作を開始するまでの第１センサーＳ１の検出結果に基づき、使用者の個人認証を実行する第１実行部３１１と、を備える。
したがって、第１実行部３１１が、使用者が位置入力操作を開始するまでの第１センサーＳ１の検出結果に基づき使用者の個人認証を実行するため、スマートフォン３００の個人認証に要する手間が削減される。

また、スマートフォン３００は、第１実行部３１１による使用者の個人認証が失敗した場合に、表示システム１に対する使用者の入力を規制する規制部３１２を備える。
したがって、権限のない使用者によって表示システム１が使用されることを規制できる。

また、スマートフォン３００は、使用者の個人認証が失敗した場合に、認証コードの入力を受け付ける受付部３１３と、認証コードに基づき、使用者の個人認証を実行する第２実行部３１４と、を備え、第２実行部３１４による使用者の個人認証が成功した場合に、規制部３１２は、表示システム１に対する使用者の入力の規制を解除する。
よって、第１センサーＳ１の検出結果に基づく個人認証が失敗した場合であっても、認証コードを入力することによって表示システム１に対する入力が許可される。したがって、使用者の利便性を向上できる。

また、スマートフォン３００は、第１センサーＳ１によって検出された使用者のスマートフォン３００に対する動作のプロファイルデータセットを記憶する不揮発性記憶部３２０を備え、第１実行部３１１は、プロファイルデータセットに基づき、使用者の個人認証を実行する。
したがって、プロファイルデータセット及び第１センサーＳ１の検出結果に基づき、使用者の個人認証が実行されるため、個人認証の精度を向上できる。

また、スマートフォン３００は、使用者を含む複数のユーザーの各々によるスマートフォン３００に対する動作のプロファイルデータセットに基づいて、複数のユーザーの各々の識別情報を学習する機械学習部３１５と、機械学習部３１５に使用者が位置入力操作を開始するまでの第１センサーＳ１の検出結果に対応する識別情報を出力させる出力部３１６と、を備え、第１実行部３１１は、出力部３１６の出力した識別情報に基づいて、使用者の個人認証を実行する。
したがって、使用者が位置入力操作を開始するまでの第１センサーＳ１の検出結果に対応する識別情報を機械学習部３１５に出力させ、出力した識別情報に基づいて、使用者の個人認証を実行するため、個人認証の精度を向上できる。

また、第１センサーＳ１は、第１照度センサー３５３を含み、第１実行部３１１は、第１照度センサー３５３の検出した照度ＬＧが閾値照度ＬＧＮ以上に到達してから、使用者が位置入力操作を開始するまでの第１センサーＳ１の検出結果に基づき、使用者の個人認証を実行する。
したがって、第１照度センサー３５３の検出した照度ＬＧが閾値照度ＬＧＮ以上に到達してから、使用者が位置入力操作を開始するまでの第１センサーＳ１の検出結果に基づき、使用者の個人認証を実行するため、個人認証の精度を向上できる。

また、第１センサーＳ１は、加速度センサー、ジャイロセンサー、及び地磁気センサーの少なくとも１つを含み、第１センサーＳ１は、使用者が位置入力操作を開始するまでのスマートフォン３００の動きを検出する。
よって、使用者が位置入力操作を開始するまでのスマートフォン３００の動きを的確に検出できる。したがって、個人認証の精度を向上できる。

また、ＨＭＤ１００は、使用者のスマートフォン３００に対する動作を検出する第２センサーＳ２を備え、第１実行部３１１は、第１センサーＳ１の検出結果、及び第２センサーＳ２の検出結果に基づき、使用者の個人認証を実行する。
したがって、第１センサーＳ１の検出結果、及び第２センサーＳ２の検出結果に基づき、使用者の個人認証を実行するため、個人認証の精度を向上できる。

また、第２センサーＳ２は、加速度センサー、ジャイロセンサー、及び地磁気センサーの少なくとも１つを含み、第２センサーＳ２は、使用者の頭部Ｕの動作を検出する。
したがって、第２センサーＳ２は、使用者の頭部Ｕの動作を検出し、第２センサーＳ２の検出結果に基づき、使用者の個人認証を実行するため、個人認証の精度を向上できる。

また、第２センサーＳ２は、外景を撮像するカメラ６１を含み、第１実行部３１１は、カメラ６１の生成する画像に基づき、スマートフォン３００を把持する使用者の指の位置を検出する。
よって、第１実行部３１１は、スマートフォン３００を把持する使用者の指の位置に基づいて、使用者の個人認証を実行できる。したがって、個人認証の精度を向上できる。

［６．他の実施形態］
本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態では、「情報処理装置」がスマートフォン３００であるが、これに限定されない。「情報処理装置」は、使用者が携帯可能に構成され、表示部と、位置入力部と、使用者の情報処理装置に対する動作を検出するセンサーと、制御部とを備えればよい。例えば、「情報処理装置」がＰＤＡ端末でもよいし、タブレット型パーソナルコンピューターでもよい。

また、上記実施形態では、第１制御部３１０が、第１実行部３１１と、規制部３１２と、受付部３１３と、第２実行部３１４と、機械学習部３１５と、出力部３１６とを備えるが、本発明はこれに限定されない。第２制御部１２０が、第１実行部３１１、規制部３１２、受付部３１３、第２実行部３１４、機械学習部３１５及び出力部３１６の少なくとも１つを備えてもよい。

また、上記実施形態では、第１実行部３１１は、第１照度センサー３５３の検出した照度ＬＧが閾値照度ＬＧＮ以上に到達してから、使用者が位置入力操作を開始するまでの第１センサーＳ１の検出結果に基づき、使用者の個人認証を実行するが、本発明はこれに限定されない。第１実行部３１１が、使用者がタッチセンサー３３２に対する位置入力操作を開始するまでの第１センサーＳ１の検出結果に基づき、使用者の個人認証を実行すればよい。例えば、第１実行部３１１が、使用者がタッチセンサー３３２に対する位置入力操作を開始するまでの所定期間の第１センサーＳ１の検出結果に基づき、使用者の個人認証を実行してもよい。所定期間は、例えば１０秒間である。

また、上記実施形態では、接続装置１０が映像表示部２０と有線接続される構成を例示したが、これに限定されず、接続装置１０に対して映像表示部２０が無線接続される構成であってもよい。
また、スマートフォン３００は、第１の６軸センサー３５１及び第１磁気センサー３５２を統合した９軸のＩＭＵを備える構成としてもよい。同様に、ＨＭＤ１００は、第２の６軸センサー２３５及び第２磁気センサー２３７を統合した９軸のＩＭＵを備える構成としてもよい。

また、接続装置１０が備える一部の機能を映像表示部２０に設けてもよく、接続装置１０を複数の装置により実現してもよい。例えば、接続装置１０に代えて、使用者の身体、着衣、或いは、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。

また、上記実施形態では、映像表示部２０と接続装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。これに限定されず、接続装置１０と映像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板２６及び左導光板２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。例えば、カメラ６１により撮像する外景の画像と、表示画像とを合成した合成画像を映像表示部２０により表示する構成とすれば、映像表示部２０が外光を透過しなくても、使用者に外景と画像とを視認可能に表示できる。このような、いわゆるビデオシースルー型の表示装置に適用することも勿論可能である。

また、例えば、映像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼ＬＥに対応して画像を表示する表示部と、使用者の右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、表示装置は、例えば、自動車や飛行機等の車両に搭載されるＨＭＤとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたＨＭＤとして構成されてもよい。この場合には、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。これに限定されず、右導光板２６及び左導光板２８の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合には、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
更に、光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図４、図５等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。
また、第１制御部３１０が実行する制御プログラムは、不揮発性記憶部３２０又は第１制御部３１０内の他の記憶部に記憶されてもよい。また、外部の装置に記憶された制御プログラムを、通信部３４５等を介して取得して実行する構成としてもよい。
また、接続装置１０に形成された構成が重複して映像表示部２０に形成されていてもよい。例えば、接続装置１０のプロセッサーと同様のプロセッサーが映像表示部２０に配置されてもよいし、接続装置１０が備えるプロセッサーと映像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

また、図１１及び図１２に示すフローチャートの処理単位は、スマートフォン３００の第１制御部３１０の処理を理解容易にするために、主な処理内容に応じて分割したものである。図１１及び図１２に示すフローチャートに示す処理単位の分割の仕方や名称によって実施形態が制限されることはない。また、第１制御部３１０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。

また、スマートフォン３００の制御方法は、スマートフォン３００が備えるコンピューターに、スマートフォン３００の制御方法に対応した制御プログラムを実行させることで実現できる。また、この制御プログラムは、コンピューターで読み取り可能に記録した記録媒体に記録しておくことも可能である。記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、画像表示装置が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。また、スマートフォン３００の制御方法に対応した制御プログラムをサーバー装置等に記憶させておき、サーバー装置からスマートフォン３００に、制御プログラムをダウンロードすることでスマートフォン３００の制御方法を実現することもできる。

１…表示システム、１０…接続装置、１１、１１Ａ、１１Ｄ…コネクター、１３、１４…輝度調整キー、１５、１６…音量調整キー、２０…映像表示部、２１…右保持部、２２…右表示部、２３…左保持部、２４…左表示部、２６…右導光板、２６１…ハーフミラー、２８…左導光板、２８１…ハーフミラー、４０…接続ケーブル、４６…ＵＳＢケーブル、６１…カメラ（撮像センサー、第２センサー）、６４…距離センサー、６８…内側カメラ、１００…ＨＭＤ（表示装置）、１２０…第１制御部、１２１…第１表示制御部、１２２…視線検出部、１２３…赤外線検出部、１３０…不揮発性記憶部、１４０…操作部、１４５…接続部、１４７…音声処理部、２１０…右表示部基板、２２１…ＯＬＥＤユニット、２３０…左表示部基板、２３５…６軸センサー（第２センサー）、２３７…磁気センサー（第２センサー）、２４１…ＯＬＥＤユニット、２４９…電源部、３００…スマートフォン（情報処理装置）、３１０…第２制御部、３１１…第１実行部、３１２…規制部、３１３…受付部、３１４…第２実行部、３１５…機械学習部、３１６…出力部、３２０…不揮発性記憶部（記憶部）、３２１…コンテンツデータ、３３０…表示部、３３１…表示パネル（第２表示部）、３３２…タッチセンサー（位置入力部）、３４１…Ｉ／Ｆ部、３４５…通信部、３５１…第１の６軸センサー（第１センサー）、３５２…磁気センサー（第１センサー）、３５３…照度センサー（第１センサー）、ＬＧ…照度、ＬＧＮ…閾値照度、ＭＸ、ＭＹ、ＭＺ…磁気、ＰＴ１…第１画像、ＰＴ２…第２画像、Ｓ１…第１センサー、Ｓ２…第２センサー、Ｔ、Ｔ１、Ｔ２…時間、Ｕ…頭部、αＸ、αＹ、αＺ…加速度。

Claims (12)

1. 使用者の頭部に装着される表示装置と、前記表示装置が接続される情報処理装置とを備える表示システムであって、
   前記情報処理装置は、
   位置入力操作を受け付けて、操作位置の座標を検出する位置入力部と、
   前記使用者の前記情報処理装置に対する動作を検出する第１センサーと、
   前記使用者が前記位置入力操作を開始するまでの前記第１センサーの検出結果に基づき、前記使用者の個人認証を実行する第１実行部と、を備える、表示システム。
2. 前記情報処理装置は、前記第１実行部による前記使用者の個人認証が失敗した場合に、前記表示システムに対する前記使用者の入力を規制する規制部を備える、請求項１に記載の表示システム。
3. 前記情報処理装置は、
   前記使用者の個人認証が失敗した場合に、認証コードの入力を受け付ける受付部と、
   前記認証コードに基づき、前記使用者の個人認証を実行する第２実行部と、を備え、
   前記第２実行部による前記使用者の個人認証が成功した場合に、前記規制部は、前記表示システムに対する前記使用者の入力の規制を解除する、請求項２に記載の表示システム。
4. 前記情報処理装置は、
   前記第１センサーによって検出された前記使用者の前記情報処理装置に対する動作のプロファイルデータセットを記憶する記憶部を備え、
   前記第１実行部は、前記プロファイルデータセットに基づき、前記使用者の個人認証を実行する、請求項１から３のいずれか１項に記載の表示システム。
5. 前記情報処理装置は、
   前記使用者を含む複数のユーザーの各々による前記情報処理装置に対する動作のプロファイルデータセットに基づいて、前記複数のユーザーの各々の識別情報を学習する機械学習部と、
   前記機械学習部に前記使用者が前記位置入力操作を開始するまでの前記第１センサーの検出結果に対応する識別情報を出力させる出力部と、を備え、
   前記第１実行部は、前記出力部の出力した識別情報に基づいて、前記使用者の個人認証を実行する、請求項１から４のいずれか１項に記載の表示システム。
6. 前記第１センサーは、照度センサーを含み、
   前記第１実行部は、前記照度センサーの検出した照度が閾値照度以上に到達してから、前記使用者が前記位置入力操作を開始するまでの前記第１センサーの検出結果に基づき、前記使用者の個人認証を実行する、請求項１から５のいずれか１項に記載の表示システム。
7. 前記第１センサーは、加速度センサー、ジャイロセンサー、及び地磁気センサーの少なくとも１つを含み、
   前記第１センサーは、前記使用者が前記位置入力操作を開始するまでの前記情報処理装置の動きを検出する、請求項１から６のいずれか１項に記載の表示システム。
8. 前記表示装置は、前記使用者の前記情報処理装置に対する動作を検出する第２センサーを備え、
   前記第１実行部は、前記第１センサーの検出結果、及び前記第２センサーの検出結果に基づき、前記使用者の個人認証を実行する、請求項１から７に記載の表示システム。
9. 前記第２センサーは、加速度センサー、ジャイロセンサー、及び地磁気センサーの少なくとも１つを含み、
   前記第２センサーは、前記使用者の頭部の動作を検出する、請求項８に記載の表示システム。
10. 前記第２センサーは、外景を撮像する撮像センサーを含み、
    前記第１実行部は、前記撮像センサーの生成する画像に基づき、前記情報処理装置を把持する前記使用者の指の位置を検出する、請求項８又は９に記載の表示システム。
11. 位置入力操作を受け付けて、操作位置の座標を検出する位置入力部と、使用者の情報処理装置に対する動作を検出するセンサーと、コンピューターとを備え、前記使用者の頭部に装着される表示装置が接続される情報処理装置の制御プログラムであって、前記コンピューターを、
    前記使用者が前記位置入力操作を開始するまでの前記センサーの検出結果に基づき、前記使用者の個人認証を実行する実行部として機能させる、制御プログラム。
12. 位置入力操作を受け付けて、操作位置の座標を検出する位置入力部と、使用者の情報処理装置に対する動作を検出するセンサーと、コンピューターとを備え、前記使用者の頭部に装着される表示装置が接続される情報処理装置の制御方法であって、
    前記使用者が前記位置入力操作を開始するまでの前記センサーの検出結果に基づき、前記使用者の個人認証を実行する実行ステップ、を含む、情報処理装置の制御方法。

Images