本実施形態における電子メール閲覧システムSは、図1に示すように、携帯端末装置の一例である携帯電話1と、利用者3の頭部に装着するヘッドマウントディスプレイ2とを備えている。
携帯電話1は、無線基地局5を介して無線電話網4に接続された他の携帯電話やプロバイダなどと通信可能に構成されている。また、無線電話網4は電子メールサーバ7などが接続されたインターネットなどのネットワーク6に接続されている。
携帯電話1には、クライアント用の電子メールプログラムが格納されており、携帯電話1はこのプログラムを実行することによって、無線基地局5及び無線電話網4を介してインターネットなどのネットワーク6に接続された電子メールサーバ7との間で電子メールの送受信を行う。
ヘッドマウントディスプレイ2は、画像に応じて変調されたレーザ光を2次元に走査した後、プリズムやハーフミラーなどを介して利用者3の網膜に投射することによって利用者3に画像を視認させると共に、外界を視認させるものである。
ここで、携帯電話1からヘッドマウントディスプレイ2へデータを送信することができるように、携帯電話1にはデータ送信部が設けられ、ヘッドマウントディスプレイ2にはデータ受信部が設けられる。
携帯電話1は、上述の電子メールプログラムを実行することによって、電子メールサーバ7から電子メールを受信し、携帯電話1において電子メールを表示する際に、その電子メールの属性情報が所定の条件を満たすときには、電子メールを携帯電話1ではなくヘッドマウントディスプレイで表示するようにしており、ヘッドマウントディスプレイ2に対して電子メールのデータを送信する。
このように、携帯電話1において電子メールを表示する際に、所定の条件を満たす電子メールを携帯電話1ではなくヘッドマウントディスプレイ2で表示するようにしているために、周囲に人がいる場合であっても、所定の条件を満たす電子メールを他人に閲覧されてしまうことを防止することができる。
ここで、本実施形態においては、携帯電話1において所定の条件を満たす電子メールであるか否かを、電子メールの属性情報に基づいて判定するようにしている。
電子メールの属性情報として、電子メールのサイズ(容量)の他、電子メールのヘッダに含まれる情報などがある。
電子メールのヘッダに含まれる情報として、送信元情報(Fromヘッダフィールドの情報)、件名情報(Subjectヘッダフィールドの情報)、独自に追加されたヘッダフィールドの情報などがある。
また、電子メールの属性情報を電子メールの本文とし、電子メールの本文に所定のキーワードが含まれているときには、上記所定の条件を満たす電子メールであると判定することもできる。
以下、携帯電話1の構成、ヘッドマウントディスプレイ2の構成、携帯電話1の動作及びヘッドマウントディスプレイ2の動作について順に具体的に説明する。
(携帯電話の構成)
まず、携帯電話1の構成について、図面を参照して具体的に説明する。図2は本実施形態1における携帯電話1のブロック図である。
図2に示すように、携帯電話1は、無線基地局5と無線通信を行う携帯電話網通信部10と、各種操作やデータの入力を行うための入力部11と、各種の画像を表示するための表示部12と、音声の入出力を行うため音声処理部13と、ヘッドマウントディスプレイ2へデータを送信するための近距離無線通信部14と、表示部12に表示する画像(グラフィック)やテキストのデータを格納するビデオRAM(VRAM)19と、携帯電話1全体を制御する制御部16と、電源部17とを備えている。
携帯電話網通信部10は、アンテナや無線回路を備え、電波を用いた通信を無線基地局5との間で行う携帯電話モジュール20と、携帯電話モジュール20を制御して、無線基地局5とのデータの送受信を行う携帯電話網通信制御回路21とを備えている。
ここで、携帯電話網通信部10は、無線基地局5との音声信号を送受信を行う電話通信部としての機能の他、無線基地局5を介して電子メールサーバ7から電子メールのデータを受信する電子メール受信部及び電子メールサーバ7へ電子メールを送信する電子メール送信部としての機能などを有している。
入力部11は、テンキー、矢印(選択)キー、決定キー、通話キー、終話キー、各種機能キー(ソフトキーを含む)などからなる操作ボタン群22と、操作ボタン群22のキーが操作されたことを検出し、制御部16に通知する入力制御回路23を備えている。
表示部12は、LCD(Liquid Crystal Display)24と、LCD24を照射するためのバックライト25と、制御部16からの制御によりLCD24に画像を表示し、バックライト25を駆動させる表示制御回路26とを備えている。
音声処理部13は、利用者3の発する音声を収集するマイク27と、マイク27を動作させるためにマイク27に所定電圧を印加して、マイク27によって収集した音声を電気信号に変換後、増幅してアナログ信号として出力するマイク制御回路28と、マイク制御回路28から出力されるアナログ信号をデジタル信号に変換して出力したり、入力されるデジタル信号をアナログ信号に変換して出力したりするCODEC29と、CODEC29により変換されたアナログ信号を増幅するスピーカ制御回路30と、スピーカ制御回路30から出力されるアナログ信号を音に変換して出力するスピーカ31とから構成される。
近距離無線通信部14は、2.4GHz帯の電波を利用してデータの送受信を行うBluetooth(登録商標)規格に準拠した無線通信を行う近距離無線通信モジュール32と、この近距離無線通信モジュール32を制御してヘッドマウントディスプレイ2とデータの送受信を行う近距離無線通信制御回路33とを備えている。なお、近距離無線通信部14が、データ送信部の一例に相当する。
なお、携帯電話1とヘッドマウントディスプレイ2との間のデータのやり取りは、無線通信に限らず、有線ケーブルによって有線通信により行うようにしてもよい。例えば、近距離無線通信部14に代えて、コンポジット映像信号(例えばNTSC映像信号)やコンポーネント映像信号(例えばRGB信号)などの映像信号の送信を有線ケーブルを用いて行うための映像信号出力モジュールと、この映像信号出力モジュールを制御してヘッドマウントディスプレイ2へビデオデータの送信を行う映像信号出力制御回路とを備える映像信号出力部を設けるようにしてもよい。
電源部17は、携帯電話1を駆動させるための電源となる電池37と、電池37の電力を携帯電話1の各部に供給すると共に、充電用アダプタ(図示せず)から供給される電力を電池37へ供給して電池37の充電を行う充電制御回路38とを備えている。
制御部16は、携帯電話1全体を制御する機能を有しており、例えば、利用者3による入力部11への操作に応じて携帯電話網通信部10を制御し、無線基地局5を介して他の携帯電話1との音声通話路を接続したり、無線基地局5を介して電子メールサーバ7と電子メールの送受信を行う。
ここで、制御部16は、CPU(Central Processing Unit)34、各種プログラムを格納したROM(Read Only Memory)35、ワーキングメモリや各種データを格納する記憶部として機能するRAM(Random Access Memory)18などから構成されている。
そして、制御部16においては、CPU34がROM35に格納した電子メールプログラムなどの各種プログラムを読み出して実行することによって、他の携帯電話との通話を制御する通話制御手段としての機能に加え、受信した電子メールの属性情報を抽出する属性抽出手段、受信した電子メールの属性情報が所定の条件を満たすか否かを判定する判定手段、電子メールの属性情報が所定の条件を満たさないと判定されたとき、電子メールの内容を携帯電話1の表示部に表示する表示制御手段、電子メールの属性情報が所定の条件を満たすと判定されたとき、電子メールのデータを近距離無線通信部14を介してヘッドマウントディスプレイに送信する送信制御手段などとして機能する。
電子メールの属性情報として、電子メールのサイズ、電子メールのヘッダや本文に含まれる情報などがあり、制御部16は、属性抽出手段として機能することによりこれらの情報を抽出し、判定手段として機能することにより電子メールの属性情報が所定の条件を満たすか否かを判定する。そして、例えば、電子メールのヘッダに含まれる送信元情報が特定の送信元情報であるときには、所定の条件を満たすと判定する。
RAM18は、携帯電話網通信部10によって電子メールサーバ7から受信した電子メールを格納するための記憶部としての機能、各種フラグやデータを格納するための機能を有するものである。
(ヘッドマウントディスプレイの構成)
次に、ヘッドマウントディスプレイ2の概略構成について図面を参照して説明する。図3は本実施形態1におけるヘッドマウントディスプレイ2の外観図である。
ヘッドマウントディスプレイ2は、画像に関する画像信号に応じて変調されたビーム光(以降、画像光Z2(図3参照)と呼ぶこともある)を走査させて出射させることで、利用者3(観察者)の少なくとも一方の眼の網膜に画像を投影し、画像を表示する装置である。
このヘッドマウントディスプレイ2は、図3に示すように、画像に関する画像信号に応じて画像光Z2を出射する出射装置100と、その出射装置100から出射された画像光Z2を導くと共に、その画像光Z2を利用者3の眼に向かって反射させるプリズム150と、出射装置100及びプリズム150を支持する支持部材200とを含む構成である。
また、出射装置100は、画像に関する画像信号に応じて変調された画像光Z2を走査させてプリズム150に対して出射させる。プリズム150は、出射装置100に対して固定的な位置にあり、その出射装置100から出射された画像光Z2を導き、その画像光Z2を利用者3の眼に向かって反射させる。このプリズム150は、図示しないビームスプリッタ部を備えており、外界からの外光Z1を透過させ、利用者3の眼に導く。
このようにプリズム150は、利用者3の側方から入射された画像光Z2を利用者3の眼に入射させると共に、外界からの外光Z1を利用者3の眼に入射させる光学系であり、実際の視界はもちろんのこと、出射装置100から出射された画像光Z2に基づく画像が視認可能となる。
また、出射装置100は、利用者3の側方からプリズム150に向かって画像光Z2を出射する。従って、画像光Z2や外光Z1の干渉を防止することができる。もちろん、利用者3の動作を制限させる機会が少なく、出射装置100を配設することができる。
なお、本実施形態においては、プリズム150によって外光Z1と画像光Z2とを同時に視認することができるように構成したが、プリズム150に代えてハーフミラーを用いることもできる。すなわち、出射装置100からの画像光Z2はハーフミラーに反射させて利用者3の眼に入射させると共に、外光Z1はハーフミラーを透過させて利用者3の眼に入射させるのである。
また、本実施形態においては、ヘッドマウントディスプレイとして、網膜走査を用いたシースルーのヘッドマウントディスプレイを例に挙げて説明したが、特開2003−87363号公報に記載されているが如く、反射型LCDを利用したヘッドマウントディスプレイとしてもよい。
次に、ヘッドマウントディスプレイ2の具体的構成について、図面を参照して具体的に説明する。図4は本実施形態1におけるヘッドマウントディスプレイ2のブロック図、図5は本実施形態1におけるヘッドマウントディスプレイ2の表示部のブロック図である。
図4に示すように、利用者3に画像を視認させる表示部40と、各種操作やデータの入力を行うための入力部41と、音声の入出力を行うため音声処理部42と、携帯電話1から送信されるデータを受信するための近距離無線通信部43と、表示部40に表示する画像(グラフィック)やテキストなどのイメージデータを格納するビデオRAM44と、表示部40に表示するテキストのフォントデータを格納するフォントROM45と、ヘッドマウントディスプレイ2全体を制御する制御部46と、電源部47とを備えている。
入力部41は、各種機能キーなどからなる操作ボタン群50と、操作ボタン群50のキーが操作されたことを検出し、制御部46に通知する入力制御回路51を備えている。
表示部40は、利用者3の網膜に画像に応じて変調され、走査されたレーザ光を投射して、利用者3に画像を視認させる網膜走査型ディスプレイであり、出射装置100に内蔵される。この表示部40については後述で詳説する。
音声処理部42は、利用者3の発する音声を収集するマイク52と、マイク52を動作させるためにマイク52に所定電圧を印加して、マイク52によって収集した音声を電気信号に変換後、増幅してアナログ信号として出力するマイク制御回路53と、マイク制御回路53から出力されるアナログ信号をデジタル信号に変換して出力したり、入力されるデジタル信号をアナログ信号に変換して出力したりするCODEC54と、CODEC54により変換されたアナログ信号を増幅するスピーカ制御回路55と、スピーカ制御回路55から出力されるアナログ信号を音に変換して出力するスピーカ56とから構成される。
近距離無線通信部43は、2.4GHz帯の電波を利用してデータの送受信を行うBluetooth(登録商標)規格に準拠した無線通信を行う近距離無線通信モジュール57と、この近距離無線通信モジュール57を制御して携帯電話1とデータの送受信を行う近距離無線通信制御回路58とを備えている。なお、近距離無線通信部43がデータ受信部の一例に相当する。
なお、本実施形態においては、携帯電話1とヘッドマウントディスプレイ2との間のデータのやり取りをBluetooth(登録商標)を利用して行うことにしているが、近距離の無線通信を行うことができるのであれば、これに限られることはなく、UWB(Ultra WideBand)規格、無線LAN(IEEE802.11bなど)規格、WirelessUSB規格などに準拠した無線通信を用いてもよい。また、赤外線を利用したIrDA(Infrared Data Association)規格に準拠した無線通信などを用いてもよい。
映像信号入力部49は、DVDプレーヤなどのビデオ再生装置(図示せず)から有線ケーブルを介して映像信号を受信する機能を有しており、ビデオ再生装置から出力される映像信号を有線ケーブルを介して受信する映像信号入力モジュール64と、この映像信号入力モジュール64を制御してビデオ再生装置から映像信号を受信する映像信号入力制御回路63とを備えている。なお、映像信号としては、前述したコンポジット映像信号やコンポーネント映像信号などがある。
電源部47は、ヘッドマウントディスプレイ2を駆動させるための電源となる電池59と、電池59の電力をヘッドマウントディスプレイ2に供給すると共に、充電用アダプタ(図示せず)から供給される電力を電池59へ供給して電池59の充電を行う充電制御回路60とを備えている。
なお、携帯電話1とヘッドマウントディスプレイ2との間の通信を有線ケーブルを用いた通信で行う場合、充電アダプタから電力の供給を受けるのではなく、有線ケーブルを用いて携帯電話1からヘッドマウントディスプレイ2へ電力を供給するようにしてもよい。
制御部46は、ヘッドマウントディスプレイ2全体を制御する機能を有しており、例えば、近距離無線通信部43を介して携帯電話1から受信した電子メールのデータを表示部40に表示させたり、利用者3による入力部41の操作に応じて所定の動作を行う。
ここで、制御部46は、CPU61、各種プログラムを格納したROM(Read Only Memory)62、ワーキングメモリや各種データを格納する記憶部として機能するRAM(Random Access Memory)48などから構成されている。
そして、制御部46は、CPU61がROM62に格納した電子メール閲覧プログラムなどの各種プログラムを読み出して実行することによって、携帯電話1から近距離無線通信部43を介して受信した電子メールのデータの表示制御を行う表示制御手段として機能する。なお、携帯電話1から電子メールの添付ファイルのデータが送信されてきたときには、制御部46は、このデータをヘッドマウントディスプレイ2で表示可能なデータに変換する添付ファイル展開処理手段としての機能も有する。
RAM48は、近距離無線通信部43によって携帯電話1から受信した電子メールのデータを格納するための記憶部としての機能、各種フラグやデータを格納するための機能などを有するものである。
次に、表示部40の具体的構成について、図4及び図5を参照して詳説する。
ヘッドマウントディスプレイ2には、上述のように携帯電話1から添付ファイルデータや各種制御信号を受信する近距離無線通信部43と、図示しないビデオ再生装置から映像信号や各種制御信号を受信する映像信号入力部49とを備えており、制御部46は、携帯電話1(第1入力)からの添付ファイルデータに基づいた映像を利用者が視認可能に表示するのか、ビデオ再生装置(第2入力)からの映像信号に基づいた映像を利用者が視認可能に表示するのか、を選択するための入力切替部91として機能する。
入力切替部91は、ビデオ再生装置からの映像信号の入力及び携帯電話1からの添付ファイルデータの入力を検出する信号有無検出部92として機能し、ビデオ再生装置からの映像信号を受信しているときには、ビデオ再生装置から受信した映像信号に基づいた映像を利用者が視認可能に表示する。一方、携帯電話1からの表示要求の制御信号及び添付ファイルデータを受信してからキャンセルボタン操作信号(以下、「添付ファイルデータ表示期間」とする。)を受信するまでの間、携帯電話1から受信した添付ファイルデータに基づいた映像を利用者が視認可能に表示する。また、添付ファイルデータ表示期間には、ビデオ再生装置からの映像信号が入力されても、添付ファイルデータに基づいた映像を優先して利用者が視認可能に表示する。
また、入力部41に切替SW93を設けており、この切替SW93の押下などによりビデオ再生装置からの映像信号と携帯電話1からの添付ファイルデータのいずれかを表示するのかを選択することができる。例えば、ビデオ再生装置からの映像信号を選択する第1モードと、携帯電話1からの添付ファイルデータを選択する第2モードと、添付ファイルデータ表示期間には、ビデオ再生装置からの映像信号が入力されても、添付ファイルデータに基づいた映像を優先する第3モードとを切替SW93を押下する毎に切替えるようにする。
図5に示すように、表示部40には、携帯電話1から供給される電子メールの本文データの表示処理を行なうための光源ユニット部65が設けられている。
光源ユニット部65には、映像信号としてビデオRAM44に展開された電子メールの本文データ、或いは第2入力であるビデオ再生装置からの映像信号としてビデオRAM44に展開された映像信号が入力され、それに応じた映像を合成するための要素となる各信号を発生する映像信号処理部70が設けられ、この映像信号処理部70から各画素毎の輝度信号66、水平同期信号68垂直同期信号67、及び奥行き信号84が出力される。
また、光源ユニット部65には、映像信号処理部70から輝度信号として伝達される赤(R),緑(G),青(B)の各輝度信号をもとにそれぞれ強度変調されたレーザ光を出射するように、Rレーザ72a,Gレーザ72b,Bレーザ72cを、それぞれ駆動するためのRレーザドライバ71a,Gレーザドライバ71b,Bレーザドライバ71cが設けられている。
更に、各レーザ72a〜72cより出射されたレーザ光を平行光にコリメートするように設けられたコリメート光学系73a〜73cと、それぞれコリメートされたレーザ光を合波するダイクロイックミラー74a〜74cと、合波されたレーザ光を光ファイバ76に導く結合光学系75とが設けられている。尚、Rレーザ72a,Gレーザ72b,Bレーザ72cとして、レーザダイオード等の半導体レーザや固体レーザを利用してもよい。
また、光源ユニット部65から光ファイバ76を介して伝搬されたレーザ光を波面曲率変調部78に導くコリメート光学系77と、コリメートされたレーザ光の波面曲率を変調するための波面曲率変調部78と、変調されたレーザ光をガルバノミラー79bを利用して水平方向に走査する水平走査系79と、水平走査系79によって走査されたレーザ光を垂直走査系81に導く第1リレー光学系80と、水平走査系79に走査され、第1リレー光学系80を介して入射されたレーザ光を、ガルバノミラー81bを利用して垂直方向に走査する垂直走査系81と、垂直走査系81に走査されたレーザ光をユーザの瞳孔90に入射するように第2リレー光学系82とが設けられている。
第1リレー光学系80は、水平走査系79のガルバノミラー79bと、垂直走査系81のガルバノミラー81bとが共役となるように、また、第2リレー光学系82は、ガルバノミラー81bと、ユーザの瞳孔90とが共役となるように、各々設けられている。
また、プリズム150は、第2リレー光学系82と利用者3の瞳孔90との間に配置され、出射装置100から出射された画像光Z2を、全反射させるなどして、ユーザの瞳孔90に導くこととなる。
なお、具体的な一例としては、水平走査系79は、表示すべき画像の1走査線毎に、レーザビームを水平方向に水平走査(1次走査の一例)させる光学系である。また、水平走査系79は、レーザビームを水平方向に走査するガルバノミラー79bと、そのガルバノミラー79bの駆動制御を行う水平走査制御回路79aとを備えている。
これに対し、垂直走査系81は、表示すべき画像の1フレーム毎に、レーザビームを最初の走査線から最後の走査線に向かって垂直に垂直走査(2次走査の一例)する光学系である。また、垂直走査系81は、垂直走査するガルバノミラー81bと、そのガルバノミラー81bの駆動制御を行う垂直走査制御回路81aとを備えている。
水平走査系79は、垂直走査系81より高速にすなわち高周波数でレーザビームを走査するように設計されている。また、水平走査系79,垂直走査系81は、図4及び図5に示すように、各々映像信号処理部70に接続され、映像信号処理部70より出力される水平同期信号68,垂直同期信号67にそれぞれ同期してレーザ光を走査するように構成されている。
また、波面曲率変調部78は、入射したレーザ光を透過光と、透過光の垂直方向に反射された反射光とに分離するビームスプリッタ78bと、ビームスプリッタ78bに反射されたレーザ光を収束する凸レンズ78cと、凸レンズ78cに収束されたレーザ光を入射方向に反射する、可動可能な可動ミラー78dとにより構成されている。
また、可動ミラー78dは、例えばガラス等の透過性の板材の表面に金属膜の鏡面コートを施した反射面を有するミラー78eと、例えば圧電型のピエゾ素子を積層した圧電アクチュエータ(図示せず)とで構成される。圧電アクチュエータは、波面曲率変調器78aからの駆動電圧が印加されることで駆動され、圧電アクチュエータに固定したミラー78eと凸レンズ78cとの位置関係が変動されるようになっており、これによりレーザービームの波面曲率(拡がり具合)が変わるため、利用者3が視認する画像の奥行きを調整することができる。なお、波面曲率変調器78aは駆動信号69によって駆動される。この駆動信号69は、映像信号処理部70によって生成され出力される奥行き信号84によって駆動する波面曲率駆動回路83から出力される。
また、ビームスプリッタ78bは、斜面に誘電体多層膜の施された直角プリズム2つが張り合わされたキューブ状の形状を成しており、その斜面において、入射光の光量の約50%を直角方向に反射し、約50%を透過するようになっている。
次に、本発明の一実施形態のヘッドマウントディスプレイ2が、外部からの映像信号を受けてから、ユーザの網膜上に映像を投影するまでの過程について図5を用いて説明する。
図5に示すように、本実施形態のヘッドマウントディスプレイ2では、光源ユニット部65に設けられた映像信号処理部70が携帯電話1から電子メールの本文データに応じた映像信号の供給を受けると、映像信号処理部70は、赤,緑,青の各色のレーザ光を出力させるためのR輝度信号,G輝度信号,B輝度信号からなる輝度信号66と、水平同期信号68と、垂直同期信号67とを出力する。
Rレーザドライバ71a,Gレーザドライバ71b,Bレーザドライバ71cは各々入力されたR輝度信号,G輝度信号,B輝度信号に基づいてRレーザ72a,Gレーザ72b,Bレーザ72cに対してそれぞれの駆動信号を出力する。
この駆動信号に基づいて、Rレーザ72a,Gレーザ72b,Bレーザ72cはそれぞれ強度変調されたレーザ光を発生し、各々をコリメート光学系73a〜73cに出力する。また、映像信号処理部70は、後述するガルバノミラー79bの駆動状態を示すBD信号(図示せず)に応じて、レーザ光を発生し、各々をコリメート光学系73a〜73cに出力するタイミングを制御する。
つまり、映像信号処理部70は、ガルバノミラー79bなどにビーム光を出射させるタイミングを制御することとなる。
点光源から発生されるレーザ光は、このコリメート光学系73によってそれぞれが平行光にコリメートされ、更に、ダイクロイックミラー74a〜74cに入射されて1つのビーム光となるよう合成された後、結合光学系75によって光ファイバ76に入射されるよう導かれる。
光ファイバ76によって伝搬されたレーザ光は、光ファイバ76からコリメート光学系77によって導かれて波面曲率変調部78に出射される。
このように出射されたレーザ光は、ビームスプリッタ78b及び凸レンズ78cを介してミラー78eに入射される。その波面曲率が変更された後、凸レンズ78c及びビームスプリッタ78bを介して水平走査系79に出射される。
この出射されたレーザ光は、水平走査系79のガルバノミラー79bの偏向面79cに入射される。ガルバノミラー79bの偏向面79cに入射したレーザ光は水平同期信号68に同期して水平方向に走査されて第1リレー光学系80を介し、垂直走査系81のガルバノミラー81bの偏向面81cに入射する。
第1リレー光学系80ではガルバノミラー79bの偏向面79cとガルバノミラー81bの偏向面81cとが共役の関係となるように調整され、また、ガルバノミラー79bの面倒れが補正されている。
ガルバノミラー81bは、ガルバノミラー79bが水平同期信号68に同期することと同様に垂直同期信号67に同期して、その偏向面81cが入射光を垂直方向に反射するように往復振動をしており、このガルバノミラー81bによってレーザ光は垂直方向に走査される。
水平走査系79及び垂直走査系81によって垂直方向及び水平方向に2次元に走査されたレーザ光は、ガルバノミラー81bの偏向面81cと、ユーザの瞳孔90とが共役の関係となるように設けられた第2リレー光学系82、プリズム150によりユーザの瞳孔90へ入射され、網膜上に投影される。
ユーザはこのように2次元走査されて網膜上に投影されたレーザ光による画像を認識することができる。なお、水平走査系79のガルバノミラー79bと、垂直走査系81のガルバノミラー81bとは、名称を同じように説明したが、光を走査するように其の反射面が揺動(回転)させられるものであれば、共振タイプ、非共振タイプ等、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよいことは言うまでもない。
以上のように構成された携帯電話1及びヘッドマウントディスプレイ2とを有する電子メール閲覧システムSにおいて、携帯電話1で受信した電子メールのデータの表示動作について図面を参照し、携帯電話1の動作、ヘッドマウントディスプレイ2の動作の順に具体的に説明する。
(携帯電話の具体的動作)
まず、携帯電話1の具体的動作について図6〜図16を参照して具体的に説明する。図6は本実施形態における携帯電話のメイン処理フローチャート、図7は本実施形態における携帯電話の表示部への表示例を示す図、図8は本実施形態における携帯電話のメール機能処理フローチャート、図9は本実施形態における携帯電話のメール閲覧処理フローチャート、図10及び図11は本実施形態における携帯電話のメール表示処理フローチャート、図12は本実施形態におけるメールデータの構成例を示す図、図13は本実施形態における携帯電話の携帯電話表示処理フローチャート、図14は本実施形態における携帯電話のHMD表示処理フローチャート、図15及び図16は本実施形態における携帯電話及びヘッドマウントディスプレイの表示例を示す図である。
図6に示すように、携帯電話1の電源がONになると、携帯電話1のCPU34は、RAM18のアクセス許可、作業領域確保を初期化等の初期設定動作を実行し、ROM35に格納された各プログラムをCPU34による実行状態とし、制御部16としての機能を動作させた後(ステップS1)、ステップS2に処理を移す。
ステップS2において、制御部16は、ROM35からメニュー画面表示用のデータを取り出し、携帯電話1のLCD24にメニュー画面を表示し、ステップS3の処理に移行する。このように表示されるメニュー画面の一例を図7(a)に示す。メニュー画面は、図7(a)に示すように、「Mail」,「Config」などの各種機能選択ボタンがGUI表示されており、利用者3による入力部11の操作によって各種機能画面に移行できるようになっている。
ステップS3の処理において、制御部16は、入力部11の電源ボタン(図示せず)が押下されたか否かを判定する。
この処理において、電源ボタンが押下されたと判定すると(ステップS3:Yes)、制御部16は、携帯電話1の動作を停止して、メイン処理を終了する。
一方、この処理において、電源ボタンが押下されていないと判定すると(ステップS3:No)、制御部16は、ステップS4の処理に移行し、メール機能が選択されたか否かを判定する。
この処理において、制御部16は、入力部11の矢印キー及び決定キーの操作により、メニュー画面(図7(a)参照)における「Mail」ボタンが選択されたか否かを判定することにより、メール機能が選択されたか否かを判定する。
メール機能が選択されたと判定すると(ステップS4:Yes)、制御部16は、メール機能処理を実行する(ステップS5)。このメール機能処理は、図8におけるS10〜S15の処理であり、後述で詳説する。
ステップS4において、メール機能が選択されていないと判定すると(ステップS4:No)、制御部16は、ステップS6に移行し、設定機能の選択が行われたか否かを判定する。
この処理において、制御部16は、入力部11の矢印キー及び決定キーの操作により、メニュー画面(図7(a)参照)における「Config」ボタンが選択されたか否かを判定することにより、設定機能が選択されたか否かを判定する。
設定機能が選択されたと判定すると(ステップS6:Yes)、制御部16は、ステップS7に移行し、LCDに設定画面を表示し、利用者3に各種設定を促し、設定処理を行う。
一方、設定機能が選択されていないと判定すると(ステップS6:No)、制御部16は、ステップS8に移行し、その他の機能が選択されたか否かを判定する。
この処理において、制御部16は、入力部11の矢印キー及び決定キーの操作により、メニュー画面(図7(a)参照)における「Mail」ボタンや「Config」ボタン以外のボタン例えば「Address」ボタンが選択されたか否かを判定することにより、他の機能が選択されたか否かを判定する。
他の機能処理が選択されたと判定すると(ステップS8:Yes)、制御部16は、ステップS9に移行し、LCDに選択された機能に関する画面を表示し、利用者3に選択した機能に応じた操作を促し、対応する処理を行う。
ステップS5,S7,S9の処理が終了したときには、制御部16は、処理をステップS2へ移行し、ステップS2からの処理を繰り返し行う。一方、ステップS8において、他の機能が選択されていないと判定すると(ステップS8:No)、制御部16は、ステップS3に処理を移行し、ステップS3からの処理を繰り返す。
ここで、ステップS5におけるメール機能処理について、図8に示すフローチャートを参照して具体的に説明する。
図8に示すように、メール機能処理を開始すると、ステップS10において、制御部16は、ROM35からメール機能のメニュー画面表示用のデータを取り出し、携帯電話1のLCD24にメール機能のメニュー画面を表示し、ステップS11の処理に移行する。このように表示されるメール機能のメニュー画面の一例を図7(b)に示す。メニュー画面は、図7(b)に示すように、「メール作成」,「メール閲覧」,「メール削除」などの各種メール処理選択ボタンがGUI表示されており、利用者3による入力部11の操作によって各種メール処理画面に移行できるようになっている。
次に、制御部16は、入力部11に設けられたキャンセルボタン(図示せず)が押下されたか否かを判定する(ステップS11)。
この処理において、入力部11に設けられたキャンセルボタンが押下されたと判定すると(ステップS11:Yes)、制御部16は、メール機能処理の動作を終了する。
一方、この処理において、キャンセルボタンが押下されていないと判定すると(ステップS11:No)、制御部16は、ステップS12の処理に移行し、メール閲覧が選択されたか否かを判定する。
この処理において、制御部16は、入力部11の矢印キー及び決定キーの操作により、メール機能のメニュー画面(図7(b)参照)における「メール閲覧」ボタンが選択されたか否かを判定することにより、メール閲覧が選択されたか否かを判定する。
メール閲覧が選択されたと判定すると(ステップS12:Yes)、制御部16は、メール閲覧処理を実行する(ステップS13)。このメール閲覧処理は、図9におけるS20〜S23の処理であり、後述で詳説する。
ステップS12において、メール閲覧が選択されていないと判定すると(ステップS12:No)、制御部16は、ステップS14に移行し、その他の機能が選択されたか否かを判定する。
この処理において、制御部16は、入力部11の矢印キー及び決定キーの操作により、メニュー画面(図7(b)参照)における「メール閲覧」ボタン以外のボタンが選択されたか否かを判定することにより、その他の機能が選択されたか否かを判定する。
その他の機能処理が選択されたと判定すると(ステップS14:Yes)、制御部16は、ステップS15に移行し、LCDに選択された機能に関する画面を表示し、利用者3に選択した機能に応じた操作を促し、対応する処理を行う。
ステップS13,S15の処理が終了したときには、制御部16は、処理をステップS10へ移行し、ステップS10からの処理を繰り返し行う。一方、ステップS14において、他の機能が選択されていないと判定すると(ステップS14:No)、制御部16は、ステップS11に処理を移行し、ステップS11からの処理を繰り返す。
次に、ステップS13におけるメール閲覧処理について、図9に示すフローチャートを参照して具体的に説明する。
図9に示すように、メール閲覧処理を開始すると、ステップS20において、制御部16は、内部のRAM18から受信メールのデータを取り出し、携帯電話1のLCD24に受信メールの一覧(リスト)を表示し、ステップS21の処理に移行する。
このように表示される受信メールの一覧の一例を図7(c)に示す。メニュー画面は、図7(c)に示すように、受信された複数の電子メールの日時及び送信元(差出人)などがそれぞれ表示されたメール選択ボタンがGUI表示されており、利用者3による入力部11の操作によって各電子メールの詳細内容の閲覧に移行できるようになっている。
ここで、RAM18に格納される電子メールのデータは、電子メールサーバ7から携帯電話網通信部10を介して受信したデータであり、受信した各電子メール毎に、ヘッダ部分、メール本文及び添付ファイルなどが互いに関連付けられてRAM18に格納される。なお、メール選択ボタンに表示される電子メールの日時及び送信元などは、各電子メールのヘッダ部分の情報から制御部16によって抽出した情報である。
ステップS21において、制御部16は、入力部11に設けられたキャンセルボタン(図示せず)が押下されたと判定すると(ステップS21:Yes)、制御部16は、メール機能処理の動作を終了する。
一方、この処理において、キャンセルボタンが押下されていないと判定すると(ステップS21:No)、制御部16は、ステップS22の処理に移行し、特定のメールが選択されたか否かを判定する。
この処理において、制御部16は、入力部11の矢印キー及び決定キーの操作により、受信メールのリスト表示画面(図7(c)参照)におけるいずれかのメール選択ボタンが選択されたか否かを判定することにより、特定のメールが選択されたか否かを判定する。
特定のメールが選択されたと判定すると(ステップS22:Yes)、制御部16は、メール表示処理を実行する(ステップS23)。このメール表示処理は、図10におけるS31〜S44の処理であり、後述で詳説する。
一方、ステップS22において、特定のメールが選択されていないと判定すると(ステップS22:No)、制御部16は、ステップS21に移行し、ステップS21からの処理を繰り返し行う。また、ステップS23の処理が終了すると、ステップS20からの処理を繰り返し行う。
次に、ステップS23におけるメール表示処理について、図10に示すフローチャートを参照して具体的に説明する。
図10に示すように、メール表示処理を開始すると、ステップS31において、制御部16は、ステップS22において選択された特定の電子メールのデータを内部のRAM18から読み出し、ステップS32の処理に移行する。
ここで、携帯電話1で受信する電子メールは、例えば、MIMEのbase64形式のメールデータは、ヘッダ(header)部分とメール本文(body)部分とが、図12に示すように記述される。電子メールのヘッダ部分には、電子メールのヘッダフィールドの情報が記載されており、例えば、メールの送信元情報(Fromヘッダフィールドの情報)、送信先情報(Toヘッダフィールドの情報)、件名情報(Subjectヘッダフィールドの情報)、送信日時情報(Dateヘッダフィールドの情報)、独自ヘッダフィールドなどの情報が含まれる。
ステップS32において、制御部16は、ステップS22において選択された特定の電子メールにヘッダ部分が存在するか否かをチェックする。
ステップS32において、特定の電子メールにヘッダ部分がないと判定すると(ステップS32:No)、制御部16は、後述するステップS43の携帯電話表示処理に移行する。この携帯電話表示処理は、図13におけるステップS66〜S70の処理であり、後述で詳説する。
ステップS32において、特定の電子メールにヘッダ部分があると判定すると(ステップS32:Yes)、制御部16は、この特定の電子メールのヘッダ部分に、Fromヘッダフォールド、Subjectヘッダフィールド、独自ヘッダフィールドのいずれかのヘッダフィールドが存在するか否かを判定する(ステップS33)。
ステップS33において、特定の電子メールのヘッダ部分に、上記いずれかのヘッダフィールドが存在しないと判定すると(ステップS33:No)、制御部16は、後述するステップS40の処理に移行する。
一方、特定の電子メールのヘッダ部分に、上記いずれかのヘッダフィールドが存在すると判定すると(ステップS33:Yes)、制御部16は、内部のRAM18からヘッドマウントディスプレイ2用の表示アドレスのリスト(以下、「HMD表示アドレスのリスト」と呼ぶ。)を読み出し(ステップS34)、次のステップS35の処理に移行する。このHMD表示アドレスは、電子メールが特定の送信元情報から送信されたか否かを判定するためのアドレスであり、送信元の電子メールアドレス情報がこれに当たる。
ステップS35において、制御部16は、Fromヘッダフィールドに記載のアドレスがHMD表示アドレスのリスト内に含まれているかを判定する。すなわち、ステップS22において選択された特定の電子メールのヘッダ部分に含まれるFromヘッダフィールドの送信元情報(ここでは、電子メールアドレスとする。)が、ステップS34において読み出したHMD表示アドレスのリスト中に含まれているかを判定する。例えば、特定の電子メールのヘッダ部分が図12に示すように記述されている場合、図12中の(A)に示すように、From:から始まる行の“<”と“>”との間に記述される“jdoe@machine.example”が送信元情報となる。
この処理において、制御部16は、Fromヘッダフィールドに記載のアドレスがHMD表示アドレスのリスト内に含まれていると判定すると(ステップS35:Yes)、ステップS44のHMD表示処理に処理を移行する。このHMD表示処理は、図14におけるステップS60〜S66の処理であり、後述で詳説する。
一方、ステップS35において、Fromヘッダフィールドに記載の送信元情報がHMD表示アドレスのリスト内に含まれていないと判定すると(ステップS35:No)、制御部16は、内部のRAM18からヘッドマウントディスプレイ2用の表示キーワードのリスト(以下、「HMD表示キーワードのリスト」と呼ぶ。)を読み出し(ステップS36)、次のステップS37の処理に移行する。このHMD表示キーワードは、電子メールが特定の件名情報を有するか否かを判定するためのキーワードであり、例えば、「厳秘」、「親展」など様々なキーワードを設定することができる。このキーワードの設定は、入力部11の操作によりHMD表示キーワードとしてRAM18に記憶することができるように構成されている。
ステップS37において、制御部16は、Subjectヘッダフィールドに、HMD表示キーワードのリスト内のキーワードが一つでも含まれているか否かを判定する。例えば、特定の電子メールのヘッダ部分が図12に示すように記述されている場合、図12中の(B)に示すように、Subject:から始まる行の“Subject:”以降の記述内容が件名情報になり、HMD表示キーワードを検索する領域になる。HMD表示キーワードの一つが「親展」であるとき、図12に示す電子メールの件名情報においては、「親展」の語が含まれているので、Subjectヘッダフィールドの件名情報にHMD表示キーワードのリスト内に含まれていると判定されることになる。
この処理において、HMD表示キーワードのリスト内のキーワードが含まれていると判定すると(ステップS37:Yes)、制御部16は、ステップS44のHMD表示処理に処理を移行する。
一方、ステップS37において、Subjectヘッダフィールドに記載の件名情報がHMD表示キーワードのリスト内に含まれていないと判定すると(ステップS37:No)、制御部16は、内部のRAM18から独自ヘッダフィールドのリストを読み出し(ステップS38)、次のステップS39の処理に移行する。
ステップS39において、制御部16は、独自ヘッダフィールドがヘッドマウントディスプレイ2での表示を示しているかを判定する。
この処理において、独自ヘッダフィールドがヘッドマウントディスプレイ2での表示を示しているかは、ステップS22において選択された特定の電子メールのヘッダ部分に、ヘッドマウントディスプレイ2での表示を要求する独自ヘッダフィールドが含まれているか否かにより判定する。例えば、図12中の(C)に示すように、この特定の電子メールに「X−RSD:withHMD」という記述が含まれているか否かによって、制御部16は、上記独自ヘッダフィールドが含まれているか否かを判定する。
ステップS39において、制御部16は、ヘッドマウントディスプレイ2での表示を要求する独自ヘッダフィールドが含まれていると判定すると(ステップS39:Yes)、ステップS44のHMD表示処理に処理を移行する。
一方、ステップS39において、ヘッドマウントディスプレイ2での表示を要求する独自ヘッダフィールドが含まれていないと判定すると(ステップS39:No)、制御部16は、内部のRAM18からヘッドマウントディスプレイ表示用のデータ用閾値容量(以下、「HMD表示用データ閾値容量」と呼ぶ。)を読み出し(ステップS40)、次のステップS41の処理に移行する。
ステップS41において、制御部16は、ステップS22において選択された特定の電子メールのデータサイズをチェックし、処理をステップS42に移行する。本実施形態においては、電子メールの容量は電子メールの本文部分のデータ容量とするが、件名情報や送信元情報などのヘッダ部分の一部又は全部の情報を含めたデータ容量としてもよい。また、上記特定の電子メールを携帯電話1の表示部12に表示したときの行数をデータサイズとすることもできる。
また、電子メールの本文において引用記号により特定される引用部分を除いた電子メールの本文のデータサイズをステップS41においてチェックする電子メールのデータサイズとすることもできる。ここで、引用記号により特定される引用部分とは、図12に示すように、引用記号を含む(D)の部分である。
このように、引用部分については、データ容量として判定しないことにより、ほとんど閲覧する必要のない引用部分が多くてもそれ以外の部分が少ないときには携帯電話1で閲覧することができるため、閲覧性を向上させることができる。すなわち、電子メールを送信するときには引用部分を除く部分が本文データに先頭になるように記述することが多く、このような場合にはその先頭の部分さえ閲覧すればよいため、携帯電話1の表示部12での表示で十分な場合が多いからである。
なお、引用部分がそれ以外の部分よりも後にしか存在しないと制御部16により判定されたときに、引用部分については、データ容量として判定しないようにすることもできる。このようにすれば、引用部分とそれ以外の部分が交互に配置されているときにまで、データ容量から引用部分を除くことがなく、閲覧性を低下させることもない。
ステップS42において、制御部16は、メールデータのデータサイズが閾値を超えたか否かを判定する。すなわち、ステップS22において選択された特定の電子メールのデータサイズが、HMD表示用データ閾値容量よりも大きいか否かを判定するのである。
この処理において、制御部16は、メールデータのデータサイズが閾値を超えたと判定すると(ステップS42:Yes)、ステップS44のHMD表示処理に移行する。
一方、ステップS42において、メールデータのデータサイズが閾値を超えていないと判定すると(ステップS42:No)、制御部16は、ステップS43の携帯電話表示処理に移行する。
以上のように携帯電話1の制御部16は、メールを閲覧する際に、閲覧する電子メールの属性情報(Fromヘッダフィールド、Subjectヘッダフィールド、電子メールのデータサイズなど)が所定の条件を満たさないときに、携帯電話1の表示部12で電子メールの表示を行い(携帯電話表示処理)、電子メールの属性情報が所定の条件を満たすときに、ヘッドマウントディスプレイ2で電子メールの表示を行う(HMD表示処理)ようにしている。以下、携帯電話表示処理及びHMD表示処理の具体的処理について説明する。
まず、ステップS43における携帯電話表示処理について、図13に示すフローチャートを参照して具体的に説明する。
携帯電話表示処理を開始すると、制御部16は、携帯電話1の表示部12にメール本文の描画イメージを展開する(ステップS66)。
ここで、メール本文の描画イメージの展開は、ステップS31で読み出された電子メールの本文データの各文字に対応するフォントデータを制御部16がROM35から取り出して、ビデオRAM19に展開することによって行われる。
次に、制御部16は、携帯画面(携帯電話1の表示部12)にビデオRAM19に展開したイメージを表示する(ステップS67)。
次に、制御部16は、入力部11に設けられたキャンセルボタン(図示せず)が押下されたか否かを判定する(ステップS68)。
この処理において、入力部11に設けられたキャンセルボタンが押下されたと判定すると(ステップS68:Yes)、制御部16は、携帯電話表示処理の動作を終了する。
一方、この処理において、キャンセルボタンが押下されていないと判定すると(ステップS68:No)、制御部16は、ステップS69の処理に移行し、スクロールボタンが押下されたか否かを判定する。
ステップS69において、スクロールボタンが押下されたと判定すると(ステップS69:Yes)、制御部16は、スクロールの方向に応じて表示部12に表示する描画イメージを変更する(ステップS70)。
ステップS70の処理が終了したとき、或いは、ステップS69においてスクロールボタンが押下されたと判定したとき、制御部16は、処理をステップS68に移行し、ステップS68からの処理を繰り返す。
次に、ステップS44におけるHMD表示処理について、図14に示すフローチャートを参照して具体的に説明する。
HMD表示処理を開始すると、制御部16は、ヘッドマウントディスプレイ(HMD)2に、表示要求制御信号を送信する(ステップS60)。この表示要求制御信号は、ヘッドマウントディスプレイ2での表示を開始するための要求信号であり、この表示要求制御信号に続いて携帯電話1から出力するイメージデータがヘッドマウントディスプレイ2に表示されることになる。
表示要求制御信号を送信すると、次に制御部16は、展開ソフトでヘッドマウントディスプレイ2用に電子メールにおける本文データの描画イメージをビデオRAM19に展開する(ステップS61)。
制御部16は、このように展開した本文データの描画イメージを近距離無線通信部14を介してヘッドマウントディスプレイ2に送信する(ステップS62)。
次に、制御部16は、入力部11に設けられたキャンセルボタン(図示せず)が押下されたか否かを判定する(ステップS63)。
この処理において、入力部11に設けられたキャンセルボタンが押下されたと判定すると(ステップS63:Yes)、制御部16は、ヘッドマウントディスプレイ2に対して近距離無線通信部14を介してキャンセルボタン操作信号を送信し(ステップS66)、HMD表示処理を終了する。
一方、この処理において、キャンセルボタンが押下されていないと判定すると(ステップS63:No)、制御部16は、ステップS64の処理に移行し、スクロールボタンが押下されたか否かを判定する。
ステップS64において、スクロールボタンが押下されたと判定すると(ステップS64:Yes)、制御部16は、ヘッドマウントディスプレイ2に近距離無線通信部14を介してスクロール操作信号を送信する(ステップS65)。
ステップS65の処理が終了したとき、或いはステップS64においてスクロールボタンが押下されていないと判定されたとき(ステップS64:No)、制御部16は、処理をステップS63に移行し、ステップS63からの処理を繰り返す。
このように携帯電話1において、携帯電話網通信部10で受信した電子メールの属性情報が所定の条件を満たさないとき、電子メールの内容を表示部12に表示し(図16参照)、電子メールの属性情報が所定の条件を満たすとき、近距離無線通信部14によって電子メールのデータをヘッドマウントディスプレイ2に送信して、ヘッドマウントディスプレイ2に表示するようにしている(図15参照)ので、所定の条件を満たす電子メールの閲覧の秘匿性を高めることができる。なお、図15(a)及び図16(a)は、電子メールの閲覧を選択する前の携帯電話1及びヘッドマウントディスプレイ2における各表示内容であり、図15(b)及び図16(b)は、電子メールの閲覧を選択した後の携帯電話1及びヘッドマウントディスプレイ2における各表示内容である。また、図15は電子メールの属性情報が所定の条件を満たすときの表示例を示し、図16は電子メールの属性情報が所定の条件を満たさないときの表示例を示している。
(ヘッドマウントディスプレイ2の動作)
次に、ヘッドマウントディスプレイ2の具体的動作について図17〜図20のフローチャートを参照して具体的に説明する。図17は本実施形態におけるヘッドマウントディスプレイのメイン処理フローチャート、図18は本実施形態におけるヘッドマウントディスプレイの画面表示処理フローチャート、図19は本実施形態におけるヘッドマウントディスプレイのイメージ表示処理フローチャート、図20は本実施形態におけるヘッドマウントディスプレイのスクロール表示処理フローチャートである。
図17に示すように、ヘッドマウントディスプレイ2の電源がONになると、ヘッドマウントディスプレイ2のCPU61は、RAM48のアクセス許可、作業領域確保を初期化等の初期設定動作を実行し、ROM62に格納された各プログラムをCPU61による実行状態とし、制御部46としての機能を動作させた後(ステップS100)、ステップS101に処理を移す。
ステップS101において、制御部46は、入力部41の電源ボタン(図示せず)が押下されたか否かを判定する。
この処理において、電源ボタンが押下されたと判定すると(ステップS101:Yes)、制御部46は、ヘッドマウントディスプレイ2の動作を停止して、HMDメイン処理を終了する。
一方、この処理において、電源ボタンが押下されていないと判定すると(ステップS101:No)、制御部46は、ステップS102の処理に移行し、携帯電話1(第1入力)から表示要求制御信号を受信したか否かを判定する(ステップS102)。
この処理において、制御部46は、表示要求制御信号を受信したと判定すると(ステップS102:Yes)、ヘッドマウントディプレイ画面表示処理(以下、「HMD画面表示処理」とする。)を行う。このHMD画面表示処理は、図18におけるS110〜S120の処理であり、後述で詳解する。
一方、表示要求制御信号を受信していないと判定すると(ステップS102:No)、制御部46は、ステップS104の処理に移行し、第2入力としてビデオ再生装置から映像信号が入力されているか否かを判定する(ステップS104)。
この処理において、制御部46は、ビデオ再生装置から映像信号が入力されたと判定すると(ステップS104:Yes)、ビデオ再生装置から映像信号をビデオRAM44に展開して表示部40により映像信号に基づいた映像を利用者が視認可能に表示する(ステップS105)。一方、ビデオ再生装置から映像信号が入力されていないと判定すると(ステップS104:No)、制御部46は、ステップS106の処理に移行し、その他の機能が選択されたか否かを判定する。
この処理において、制御部46は、入力部41の矢印キー及び決定キーの操作により、他の機能が選択されたか否かを判定する。
他の機能処理が選択されたと判定すると(ステップS106:Yes)、制御部46は、ステップS107に移行し、LCDに選択された機能に関する画面を表示し、利用者3に選択した機能に応じた操作を促し、対応する処理を行う。
ステップS103,S105,S107の処理が終了したとき、或いは、他の機能が選択されていないと判定すると(ステップS106:No)、制御部46は、処理をステップS101へ移行し、ステップS101からの処理を繰り返し行う。
次に、HMD画面表示処理について、図18を参照して具体的に説明する。
HMD画面表示処理を開始すると、制御部46は、携帯電話1から何らかの信号を受信したか否かを判定する(ステップS110)。携帯電話1から何らの信号も受信しないとき(ステップS110:No)、制御部46は、引き続きステップS110の判定を繰り返す。
一方、携帯電話1から何らの信号を受信したと判定すると(ステップS110:Yes)、制御部46は、受信した信号がキャンセルボタン操作信号であるか否かを判定する(ステップS111)。
受信した信号がキャンセルボタン操作信号であると判定すると(ステップS111:Yes)、制御部46は、ヘッドマウントディスプレイ2の表示動作を停止して(ステップS120)、HMD画面表示処理を終了する。
一方、受信した信号がキャンセルボタン操作信号ではないと判定すると(ステップS111:No)、制御部46は、受信した信号が展開イメージデータであるか否かを判定する(ステップS112)。
この処理において、受信した信号が展開イメージデータであると判定すると(ステップS112:Yes)、制御部46は、受信した展開イメージデータを内部のRAM48に格納し、ヘッドマウントディプレイイメージ表示処理(以下、「HMDイメージ表示処理」とする。)に移行する(ステップS113)。このHMDイメージ表示処理は、図19におけるS130〜S138までの処理であり、後述で詳説する。
一方、受信した信号が展開イメージデータではないと判定すると(ステップS112:NO)、制御部46は、受信した信号が展開前のデータであるか否かを判定する(ステップS114)。
この処理において、受信した信号が展開前のデータであると判定すると(ステップS114:Yes)、制御部46は、受信した展開前のデータを内部のRAM48に格納し、ヘッドマウントディプレイファイル表示処理(HMDファイル表示処理)を実行する(ステップS115)。
一方、受信した信号が展開前のデータではないと判定すると(ステップS114:NO)、制御部46は、受信した信号がスクロール操作信号であるか否かを判定する(ステップS116)。
この処理において、受信した信号がスクロール操作信号であると判定すると(ステップS116:Yes)、制御部46は、ヘッドマウントディプレイスクロール表示処理(以下、「HMDスクロール表示処理」とする。)に移行する(ステップS117)。このHMDスクロール表示処理は、図20におけるS150〜S153までの処理であり、後述で詳説する。
一方、受信した信号がスクロール操作信号ではないと判定すると(ステップS116:NO)、制御部46は、受信した信号がその他の機能選択であるか否かを判定する(ステップS118)。
この処理において、受信した信号がその他の機能選択であると判定すると(ステップS118:Yes)、制御部46は、その他の機能選択を実行する(ステップS119)。
一方、受信した信号がその他の機能選択ではないと判定すると(ステップS118:No)、制御部46は、ステップS110からの処理を繰り返す。
次に、ステップS113におけるHMDイメージ表示処理について、図19を参照して具体的に説明する。
HMDイメージ表示処理において、まず制御部46は、内部のRAM48から展開イメージデータを読み出す(ステップS130)。
次に、制御部46は、展開イメージが画面に収まるか否かを判定する(ステップS131)。すなわち、RAM48から読み出した展開イメージデータの全てをヘッドマウントディスプレイ2の表示部40において一度に表示できるか否かを判定するのである。
この処理において、展開イメージが画面に収まると判定すると(ステップS131:Yes)、制御部46は、展開イメージデータをビデオRAM44に書き込む(ステップS132)。このようにビデオRAM44に書き込まれた展開イメージデータは、表示部40によって読み出され、利用者3に視認できるように、展開イメージデータに応じた画像が利用者3の網膜上に投影される。
次に、制御部46は、内部のRAM48の所定領域に割り当てられたスクロール可能フラグをOFFに設定(ステップS134)して、HMDイメージ表示処理を終了する。
一方、展開イメージが画面に収まらないと判定すると(ステップS131:No)、制御部46は、今回表示する部分をイメージから切り出し(ステップS135)、ステップS136の処理に移行する。表示する部分をイメージから切り出す処理は、展開イメージのうち表示部40に表示する領域を選択し、この選択した領域に対応する展開イメージデータの一部を取り出すことによって行う。
ステップS136において、制御部46は、切り出した領域に関する情報を内部のRAM48に保存して、ステップS137の処理に移行する。ここで、切り出した領域に関する情報とは、切り出した部分が展開イメージ全領域中のどの範囲に対応するのかを示す情報である。
ステップS137において、制御部46は、ステップS135において切り出したイメージのデータをビデオRAM44に書き込む。このようにビデオRAM44に書き込まれた展開イメージデータは、表示部40によって読み出され、利用者3に視認できるように、展開イメージデータに応じた画像が利用者3の網膜上に投影される。
次に、制御部46は、内部のRAM48の所定領域に割り当てられたスクロール可能フラグをONに設定(ステップS138)して、HMDイメージ表示処理を終了する。
次に、ステップS117におけるHMDスクロール表示処理について、図20を参照して具体的に説明する。
HMDスクロール表示処理において、まず制御部46は、内部のRAM48に設定されたスクロール可能フラグがONであるか否かを判定する(ステップS150)。
この処理において、スクロール可能フラグがONであると判定すると(ステップS150:Yes)、制御部46は、内部のRAM48に格納されたイメージのうち、スクロール後の表示に対応する範囲のデータを取り出す(ステップS151)。
その後、制御部46は、ステップS151において読み出したイメージデータをビデオRAM44に書き込む(ステップS152)。このようにビデオRAM44に格納されたイメージデータは、表示部40によって読み出され、利用者3に視認できるように、展開イメージデータに応じた画像が利用者3の網膜上に投影される。
ステップS152の処理が終了すると、制御部46は、ステップS151において読み出した範囲(領域)に関する情報を内部のRAM48に保存して(ステップS153)、HMDスクロール表示処理を終了する。
以上のように、本実施形態における電子メール閲覧システムSにおいては、携帯電話1において電子メールを表示する際にその電子メールの属性情報が所定の条件を満たすときには、電子メールを携帯電話1ではなくヘッドマウントディスプレイ2で表示するようにしているため、見られたくない電子メールについて、第三者からの閲覧を防止することができる。また、電子メールの閲覧操作は、携帯電話の入力部11で操作することができるため、携帯電話1で表示する電子メールとヘッドマウントディスプレイ2により表示する電子メールとで別々の操作を行う必要がないため、操作性に優れている。
以上、本発明の実施の形態のうちのいくつかを図面に基づいて詳細に説明したが、これらは例示であり、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
例えば、携帯電話1で受信した電子メールの属性情報が所定の条件を満たすか否かを、電子メールを受信したときに判定するようにしてもよい。すなわち、携帯電話1で受信した電子メールの属性情報が所定の条件を満たすか否かを、携帯電話1においてメール閲覧の操作が行われたときに判定するのではなく、電子メールを受信したときに判定するのである。
このように、電子メールを受信したときに、電子メールの属性情報が所定の条件を満たすと判定することにより、メール閲覧時の携帯電話1の処理負担を減らすことができる。なお、この場合、電子メールにヘッドマウントディスプレイ2に表示するか否かのフラグを電子メールに関連付けてRAM18に記憶しておくようにする。
また、携帯電話1がヘッドマウントディスプレイ2と通信ができないときに、携帯電話1の入力部11によるメール閲覧操作で、属性情報が所定の条件を満たす電子メールが選択されたとき、携帯電話1の表示部12で表示することができない旨を表示部12又は音声処理部13から報知するようにしてもよい。
また、電子メールの属性情報として、Fromヘッダフィールド、Subjectヘッダフィールド、独自ヘッダフィールド、電子メールのデータサイズを例にとり説明したが、携帯電話1が複数のメールアドレスを有しているときには、制御部16において、特定のメールアドレスを宛先とした電子メールを上記所定の条件を満たす電子メールと判定するようにしてもよい。すなわち、Toヘッダフィールドを参照するのである。
例えば、携帯電話1が受信可能な電子メールのアドレスが図12に示すような”mary@example.net”に加え、”mary-mary@sanple.net”の電子メールを受信可能となっている場合には、“mary@example.net”を宛先情報(図12に示す、Toヘッダフィールドの“<”と“>”との間に記述されたメールアドレス)とした電子メールを所定の条件を満たすと判定するようにして、ヘッドマウントディスプレイ2に表示する。この場合、見られたくない電子メールは、電子メールの送信者に”mary@example.net”を宛先として送信してもらえばよいことになる。
また、携帯電話1の制御部16は、特定のヘッドマウントディスプレイ2に対して、属性情報が所定の条件を満たす電子メールを送信し、それ以外のヘッドマウントディスプレイ2に対してはその電子メールを送信しないようにすることもできる。この場合、例えば、携帯電話1は、ヘッドマウントディスプレイ2の制御部16から近距離無線通信部14を介してヘッドマウントディスプレイ2の識別情報を取得し、RAM18に記憶した識別情報と一致したときに、特定のヘッドマウントディスプレイ2であると判定するようにする。
このように構成することにより、携帯電話1を拾った第三者が他のヘッドマウントディスプレイ2を用いて、メールを閲覧することを防止することができる。
なお、本実施形態においては、所定のリストに含まれる情報を有しているか否かによって所定の条件を満たす電子メールであると判定しているが、所定のリストに含まれない情報を有しているかによって所定の条件を満たす電子メールであると判定するようにしてもよい。
このようにすれば、人に見られてもよい電子メールを携帯電話1の表示部12で表示し、人に見られたくない若しくは人に見られてもよいかどうか不明な電子メールをヘッドマウントディスプレイ2で表示することができるため、人に見られてもよい電子メールが少ない場合に、電子メールのリスト作成が容易になる。