JP2010067154A - ヘッドマウントディスプレイ、情報閲覧システム及び管理サーバ - Google Patents
ヘッドマウントディスプレイ、情報閲覧システム及び管理サーバ Download PDFInfo
- Publication number
- JP2010067154A JP2010067154A JP2008234822A JP2008234822A JP2010067154A JP 2010067154 A JP2010067154 A JP 2010067154A JP 2008234822 A JP2008234822 A JP 2008234822A JP 2008234822 A JP2008234822 A JP 2008234822A JP 2010067154 A JP2010067154 A JP 2010067154A
- Authority
- JP
- Japan
- Prior art keywords
- additional information
- identifier
- display
- observer
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】識別体に対応する付加情報に関して利便性の向上を図ることができるヘッドマウントディスプレイ、情報閲覧システム及び管理サーバを提供する。
【解決手段】ヘッドマウントディスプレイは、観察者の視野範囲のうち少なくとも一部を撮像し、撮像領域内における識別体を検出する。また、ヘッドマウントディスプレイは、識別体に対応する付加情報を入力し、その入力された付加情報を識別体に対応させて記憶する。また、ヘッドマウントディスプレイは、検出された識別体に対応し、記憶された付加情報を、表示手段を透過して観察者に視認される当該識別体と関連させて表示手段により表示させる制御を行う。
【選択図】図9
【解決手段】ヘッドマウントディスプレイは、観察者の視野範囲のうち少なくとも一部を撮像し、撮像領域内における識別体を検出する。また、ヘッドマウントディスプレイは、識別体に対応する付加情報を入力し、その入力された付加情報を識別体に対応させて記憶する。また、ヘッドマウントディスプレイは、検出された識別体に対応し、記憶された付加情報を、表示手段を透過して観察者に視認される当該識別体と関連させて表示手段により表示させる制御を行う。
【選択図】図9
Description
本発明は、ヘッドマウントディスプレイ、情報閲覧システム及び管理サーバに関するものであり、特に、外光を透過しつつ、コンテンツ情報に応じた画像光を観察者の眼に投射するシースルー型のヘッドマウントディスプレイ、又は、そのヘッドマウントディスプレイを含む情報閲覧システム、及びそのヘッドマウントディスプレイと通信可能な管理サーバに関するものである。
従来より、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報を記憶する記憶手段と、この記憶手段に記憶したコンテンツ情報を再生する再生手段とを備えた情報処理装置が知られている。
この情報処理装置の代表例としては、パーソナルコンピュータがある。一般にパーソナルコンピュータは、前記記憶手段や前記再生手段等を備えたコンピュータ本体と、このコンピュータ本体に所定の動作を行わせるために使用者が操作するキーボードやマウス等の機械的な操作手段と、再生手段により再生されたコンテンツ情報を画像として表示するディスプレイ等とから構成されている。
この表示情報を表示するディスプレイとしては、観察者が頭部に装着した状態で画像を視認することができるHMD(ヘッドマウントディスプレイ)が開発されている。このようなHMDとしては、CRT(Cathode Ray Tube)ディスプレイや液晶ディスプレイ等の卓上に載置して使用する表示装置や、画像光の走査を行う光走査部を備えた表示装置が一般的に採用されている。
この表示情報を表示するディスプレイとしては、CRT(Cathode Ray Tube)ディスプレイや液晶ディスプレイ等の卓上に載置して使用する表示装置が一般的であったが、液晶表示素子を画像表示デバイスとして用い、観察者が頭部に装着した状態で画像を視認することができるHMD(ヘッドマウントディスプレイ)等も開発されてきていた。
この表示情報を表示するディスプレイとしては、CRT(Cathode Ray Tube)ディスプレイや液晶ディスプレイ等の卓上に載置して使用する表示装置が一般的であったが、液晶表示素子を画像表示デバイスとして用い、観察者が頭部に装着した状態で画像を視認することができるHMD(ヘッドマウントディスプレイ)等も開発されてきていた。
この光走査部は、表示情報を画像信号に変換し、この画像信号に基づいて生成した画像光(以下、「画像光」という。)を観察者の眼に導いて走査するものである。そして、観察者が頭部に装着した状態でこのような光走査部を動作させることによって、画像光を観察者の網膜上で2次元方向に走査させて、観察者に画像を視認させることができる。
しかし、近年、画像信号に基づいて生成した画像光(以下、「画像光」という。)を2次元方向に走査し、観察者の眼に導く光走査部を備え、観察者が頭部に装着した状態で前記光走査部を動作させることによって、その2次元方向に走査された画像光を観察者の網膜上に投影表示し、観察者に画像を視認させることができるものも開発されている。
しかし、近年、画像信号に基づいて生成した画像光(以下、「画像光」という。)を2次元方向に走査し、観察者の眼に導く光走査部を備え、観察者が頭部に装着した状態で前記光走査部を動作させることによって、その2次元方向に走査された画像光を観察者の網膜上に投影表示し、観察者に画像を視認させることができるものも開発されている。
これらのようなHMDには、外界視野が透過して視認可能であるシースルー型のHMDがある。このようなシースルー型のHMDにおいては、例えば、特許文献1に示すように、掲示物等の識別体に対して赤外線を照射させ、反射させることによって得ることができる識別体ID等に基づき識別体に対応付けられたコンテンツ情報が、その識別体に重ねて関連付けて表示される装置が開示されている。
特開2003−242168号公報
ところが、上記従来の装置では、識別体が検出された場合には、その識別体に対応するコンテンツ情報を表示させたが、例えば、そのコンテンツ情報に対するメモ書きをするなど、そのコンテンツ情報に対してユーザが新たな情報(以下、付加情報と称することがある)を付加することができず、利便性の向上が望まれている。
本発明は、上述したような課題に鑑みてなされたものであり、識別体に対応する付加情報に関して利便性の向上を図ることができるヘッドマウントディスプレイ、情報閲覧システム及び管理サーバを提供することを目的とする。
以上のような目的を達成するために、本発明は、以下のようなものを提供する。
すなわち、請求項1記載の本発明では、外光を透過しつつ、表示情報に応じた画像光を観察者の眼に投射して当該観察者に前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、前記観察者の視野範囲のうち少なくとも一部を撮像する撮像手段と、前記撮像手段による撮像領域内における識別体を検出する識別体検出手段と、識別体に対応する付加情報を入力する付加情報入力手段と、前記付加情報入力手段によって入力された付加情報を前記識別体に対応させて記憶する付加情報記憶手段と、前記識別体検出手段によって検出された識別体に対応し、前記付加情報記憶手段に記憶された付加情報を、前記表示手段を透過して前記観察者に視認される当該識別体と関連させて前記表示手段により表示させる制御を行う表示制御手段と、を備えたことを特徴とするものである。
すなわち、請求項2記載の本発明では、請求項1に記載の発明において、ネットワークを介して通信可能な外部装置から識別体に対応する付加情報を受信する受信手段を備え、前記付加情報入力手段は、前記受信手段によって受信された識別体に対応する付加情報を入力し、前記付加情報記憶手段は、前記受信手段によって受信された付加情報を前記識別体に対応させて記憶することを特徴とするものである。
すなわち、請求項3記載の本発明では、請求項2に記載の発明において、前記付加情報記憶手段によって新たに付加情報が識別体に対応させて記憶された場合には、当該新たな付加情報を当該識別体と対応させて前記外部装置に送信する送信手段を備えたことを特徴とするものである。
すなわち、請求項4記載の本発明では、請求項1から3のいずれかに記載の発明において、前記付加情報入力手段は、前記撮像手段によって撮像された結果に応じた付加情報を前記撮像手段によって撮像された識別体に対応する付加情報として入力し、 前記付加情報記憶手段は、前記撮像手段によって撮像された結果に応じた付加情報を前記識別体に対応させて記憶することを特徴とするものである。
すなわち、請求項5記載の本発明では、請求項4に記載の発明において、前記撮像手段によって撮像された結果に基づいて、前記識別体に対する観察者の接触度合いを検出する接触度合い検出手段を備え、前記付加情報入力手段は、前記接触度合い検出手段によって検出された前記識別体に対する観察者の接触度合いを、前記撮像手段によって撮像された識別体に対応する付加情報として入力し、前記付加情報記憶手段は、前記接触度合い検出手段によって検出された観察者の接触度合いを前記識別体に対応させて記憶することを特徴とするものである。
すなわち、請求項6記載の本発明では、請求項5に記載の発明において、前記接触度合い検出手段は、前記撮像手段によって撮像領域内において識別体として撮像された識別体領域、前記撮像手段によって撮像領域内において所定色の画素として撮像された所定色領域に基づいて、前記識別体に対する観察者の接触度合いを検出することを特徴とするものである。
すなわち、請求項7記載の本発明では、請求項1から6のいずれかに記載の発明において、前記識別体の各々に対応する対応情報を記憶する対応情報記憶手段を備え、前記表示制御手段は、前記識別体に対応付けられた対応情報を所定の表示態様で、前記表示手段を透過して前記観察者に視認される識別体と関連させて前記表示手段により表示させる制御を行い、前記付加情報入力手段は、前記表示制御手段によって表示された前記識別体に対応付けられた対応情報の表示態様を、前記表示制御手段によって表示された識別体に対応する付加情報として入力し、前記付加情報記憶手段は、前記表示制御手段によって表示された前記識別体に対応付けられた対応情報の表示態様を、当該識別体に対応して記憶することを特徴とするものである。
すなわち、請求項8記載の本発明では、請求項1から7のいずれかに記載の発明において、観察者によって操作可能な操作手段を有し、前記付加情報入力手段は、前記操作手段の操作に応じて識別体に対応する付加情報を入力し、前記付加情報記憶手段は、前記操作手段の操作に応じた付加情報を前記識別体に対応させて記憶することを特徴とするものである。
すなわち、請求項9記載の本発明では、請求項1から8のいずれかに記載の発明において、前記付加情報記憶手段は、前記付加情報入力手段によって入力された付加情報を、当該付加情報を入力した観察者を識別可能な観察者識別情報に対応させて記憶することを特徴とするものである。
すなわち、請求項10記載の本発明では、請求項1から9のいずれかに記載の発明において、前記付加情報記憶手段は、前記付加情報入力手段によって付加情報を、当該付加情報を入力したヘッドマウントディスプレイを識別可能な装置識別情報に対応させて記憶することを特徴とするものである。
すなわち、請求項11記載の本発明では、外光を透過しつつ、表示情報に応じた画像光を観察者の眼に投射して当該観察者に前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイと、当該ヘッドマウントディスプレイとネットワークを介して通信可能とする管理サーバと、を備えた情報閲覧システムにおいて、前記ヘッドマウントディスプレイは、前記観察者の視野範囲のうち少なくとも一部を撮像する撮像手段と、前記撮像手段による撮像領域内における識別体を検出する識別体検出手段と、識別体に対応する付加情報を入力する付加情報入力手段と、前記付加情報入力手段によって入力された付加情報を前記識別体に対応させて記憶する付加情報記憶手段と、前記付加情報記憶手段に対応する付加情報を、前記表示手段を透過して前記観察者に視認される当該識別体と関連させて前記表示手段により表示させる制御を行う表示制御手段と、を有することを特徴とするものである。
すなわち、請求項12記載の本発明では、請求項11に記載の発明において、前記管理サーバは、前記ヘッドマウントディスプレイから、当該ヘッドマウントディスプレイにおける前記付加情報入力手段によって入力された識別体に対応する付加情報を受信する付加情報受信手段と、前記付加情報受信手段によって受信された付加情報を前記識別体に対応させて記憶する第二の付加情報記憶手段と、前記第二の付加情報記憶手段に記憶されている識別体に対応する付加情報をヘッドマウントディスプレイに送信する付加情報送信手段と、を有することを特徴とするものである。
すなわち、請求項13記載の本発明では、請求項11又は12に記載の発明において、前記管理サーバは、前記ヘッドマウントディスプレイとの通信履歴を記憶する通信履歴記憶手段を有することを特徴とするものである。
本発明によれば、識別体に対応した付加情報を付加可能とし、表示させることによって、識別体に対応する付加情報に関して利便性の向上を図ることができる。
以下、本発明の一実施形態について、図面を参照して具体的に説明する。図1は、本実施形態に係る情報閲覧システムを示す説明図である。図2は、本実施形態に係るヘッドマウントディスプレイシステムを示す説明図である。
[情報閲覧システム構成]
情報閲覧システムS1は、図1に示すように、ヘッドマウントディスプレイ(以下、「HMD」という。)1、管理サーバ300、パーソナルコンピュータ310及び携帯型端末装置312が、ネットワーク網302に接続され、相互に通信可能に構成する。
情報閲覧システムS1は、図1に示すように、ヘッドマウントディスプレイ(以下、「HMD」という。)1、管理サーバ300、パーソナルコンピュータ310及び携帯型端末装置312が、ネットワーク網302に接続され、相互に通信可能に構成する。
詳しく後述するが、HMD1は、外光を透過しつつ、画像光を観察者の眼に投射して観察者に画像光に応じた画像を視認させるシースルー型のヘッドマウントディスプレイである。
管理サーバ300は、各種のコンテンツに関する情報を管理する装置である。特に、管理サーバ300は、コンテンツに対応する付加情報などを記憶している。また、管理サーバ300は、所定のタイミングでHMD1との通信によってそれら情報を供給するが、これに限らず、例えば、これらの通信をパーソナルコンピュータ310や携帯型端末装置312を介して行ってもよい。
なお、本実施形態においては、HMD1において操作スイッチ7(図3参照)などが設けられ、その操作に応じて、自体で各種の処理を行っていたが、これに限らず、例えば、HMD1と、パーソナルコンピュータ310や携帯型端末装置312とが接続され、相互に通信可能に構成することによって、操作信号がHMD1に供給されるようにしてもよい。
[HMD概観]
図2に示すように、本実施形態に係るHMDシステムSは、観察者Pが頭部に装着した状態で、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報を画像としてその観察者Pに視認可能に表示するHMD1を備えている。
図2に示すように、本実施形態に係るHMDシステムSは、観察者Pが頭部に装着した状態で、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報を画像としてその観察者Pに視認可能に表示するHMD1を備えている。
このHMD1は、内部又は外部に記憶されている各種コンテンツ情報を画像信号に変換し、この画像信号に基づいて生成した画像光(以下、「画像光」という。)を観察者Pの眼に導いて走査する光走査部10(図3参照)を備え、観察者Pが頭部に装着した状態で光走査部10を動作させることによって、画像光を観察者の網膜上で2次元方向に走査させることにより、観察者Pにコンテンツ情報に対応する画像(以下、単に「コンテンツ」という。)を視認させることができるように構成している。なお、このHMD1の具体的構成については、後に詳述する。
また、このHMD1は、コンテンツを表示している最中であっても、観察者Pの視野の中で、そのコンテンツを表示している領域以外の領域では、観察者Pが外界を視認できるように構成している。
すなわち、このHMD1は、外光を透過しつつ、コンテンツ情報に応じた画像光を観察者Pの眼に投射するシースルー型のヘッドマウントディスプレイである。
そして、このHMDシステムSでは、2次元コード(例えば、QRコード)などの識別体を検出し、その識別体に対応付けられたコンテンツ情報を表示させる表示制御をHMD1に実行させることができるように構成している。このため、識別体に対応するコンテンツ情報を対応情報として以下に称することがある。
すなわち、本実施形態のHMD1は、観察者Pの視野範囲のうち少なくとも一部の領域を撮像する撮像手段としてのCCD(Charge Coupled Devices)センサ2を備え、このCCDセンサ2の撮像領域に識別体があることを条件に、複数種類のコンテンツ情報の中から、その識別体に対応付けられたコンテンツ情報を選択し、表示させることとなる。
また、本実施形態においては、コンテンツ情報以外に、検出された識別体に対応して付加情報が付加されていることがある。この場合において、この付加情報は、通信制御回路9(図3参照)を介して管理サーバ300から供給される情報か、HMD1の操作に応じた情報である。
なお、図1に示すように、HMD1は、外界の明るさを検出する輝度センサ8と、CCDセンサ2の撮像領域を照らす照明手段としてのLED(Light Emitting Diode)3と、を備えており、輝度センサ8により外界の明るさが所定の明るさを下回ったことが検知されたときに、LED3がCCDセンサ2の撮像領域を照らすこととなる。
[HMD電気的構成]
ここで、本実施形態に係るHMD1の電気的構成等について、図3を参照して説明する。図3は、本実施形態に係るHMD1の電気的及び光学的構成を示す説明図である。
ここで、本実施形態に係るHMD1の電気的構成等について、図3を参照して説明する。図3は、本実施形態に係るHMD1の電気的及び光学的構成を示す説明図である。
図3に示すように、このHMD1は、当該HMD1全体の動作を統括制御する制御部110と、この制御部110から供給される画像信号に基づいて生成した画像光を2次元的に走査することにより画像を表示することによって、画像信号に応じた画像を視認させる光走査部10と、を備えている。
光走査部10は、この制御部110から供給される画像信号をドットクロック毎に読み出し、読み出した映像信号に応じて強度変調された画像光を生成して出射する画像光生成部20を備え、さらに、その画像光生成部20と観察者Pの眼Eとの間には、画像光生成部20で生成され、光ファイバ100を介して出射されるレーザビーム(画像光)を平行光化するコリメート光学系61と、このコリメート光学系61で平行光化された画像光を画像表示のために水平方向(第1方向)に往復走査する第1光走査部として機能する水平走査部70と、水平走査部70で水平方向に走査された画像光を垂直方向(第1方向と略直交する第2方向)に往復走査する第2光走査部として機能する垂直走査部80と、水平走査部70と垂直走査部80との間に設けられたリレー光学系75と、このように水平方向と垂直方向に走査(2次元的に走査)された画像光を瞳孔Eaへ出射するためのリレー光学系90と、を備えている。
また、画像光生成部20には、パーソナルコンピュータ(図示略)等の外部装置から供給される画像データが、インターフェース104と制御部110とを介して入力され、それに基づいて画像を合成するための要素となる各信号等を発生する信号処理回路21が設けられ、この信号処理回路21において、青(B)、緑(G)、赤(R)の各画像信号22a〜22cが生成され、出力される。また、信号処理回路21は、水平走査部70で使用される水平駆動信号23と、垂直走査部80で使用される垂直駆動信号24とをそれぞれ出力する。
さらに、画像光生成部20は、信号処理回路21からドットクロック毎に出力される3つの画像信号(B,R,G)22a〜22cをそれぞれ画像光にする画像光出力部として機能する光源部30と、これらの3つの画像光を1つの画像光に結合して任意の画像光を生成するための光合成部40を備えている。
光源部30は、青色の画像光を発生させるBレーザ34及びBレーザ34を駆動するBレーザドライバ31と、緑色の画像光を発生させるGレーザ35及びGレーザ35を駆動するGレーザドライバ32と、赤色の画像光を発生させるRレーザ36及びRレーザ36を駆動するRレーザドライバ33とを備えている。なお、各レーザ34、35、36は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、画像光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて画像光の強度変調を行う必要がある。
光合成部40は、光源部30から入射する画像光を平行光にコリメートするように設けられたコリメート光学系41、42、43と、このコリメートされた画像光を合成するためのダイクロイックミラー44、45、46と、合成された画像光を光ファイバ100に導く結合光学系47とを備えている。
各レーザ34、35、36から出射したレーザ光は、コリメート光学系41、42、43によってそれぞれ平行化された後に、ダイクロイックミラー44、45、46に入射される。その後、これらのダイクロイックミラー44、45、46により、各画像光が波長に関して選択的に反射・透過される。
具体的には、Bレーザ34から出射した青色画像光は、コリメート光学系41によって平行光化された後に、ダイクロイックミラー44に入射される。Gレーザ35から出射した緑色画像光は、コリメート光学系42を経てダイクロイックミラー45に入射される。Rレーザ36から出射した赤色画像光は、コリメート光学系43を経てダイクロイックミラー46に入射される。
それら3つのダイクロイックミラー44、45、46にそれぞれ入射した3原色の画像光は、波長選択的に反射または透過して結合光学系47に達し、集光され光ファイバ100へ出力される。
水平走査部70及び垂直走査部80は、光ファイバ100から入射された画像光を画像として投影可能な状態にするために、水平方向と垂直方向に走査して走査画像光とするものである。
水平走査部70は、画像光を水平方向に走査するための反射面を有する共振型偏向素子71と、この共振型偏向素子71を共振させ、共振型偏向素子71の反射面を揺動させる駆動信号を発生する駆動信号発生器としての水平走査駆動回路72と、共振型偏向素子71から出力される変位信号に基づいて、共振型偏向素子71の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する水平走査角検出回路73とを有している。
本実施形態において、水平走査角検出回路73は、検出した共振型偏向素子71の揺動状態を示す信号を制御部110へ入力するようにしている。
垂直走査部80は、画像光を垂直方向に走査するための偏向素子81と、この偏向素子81を駆動させる垂直走査制御回路82と、この垂直走査制御回路82による反射面の揺動範囲及び揺動周波数等の揺動状態を検出する垂直走査角検出回路83とを備えている。
また、水平走査駆動回路72と垂直走査制御回路82は、信号処理回路21から出力される水平駆動信号23と垂直駆動信号24に基づいてそれぞれ駆動し、垂直走査角検出回路83は、検出した偏向素子81の揺動状態を示す信号を制御部110へ入力するようにしている。
そして、後に詳述する制御部110は、信号処理回路21の動作を制御することによって、これら水平駆動信号23と垂直駆動信号24とを調整することによって、水平走査部70と垂直走査部80に画像光の走査角を変更させて、表示する画像の輝度を調整するようにしている。
こうして変更された走査角度は水平走査角検出回路73および垂直走査角検出回路83からの検出信号に基づいて制御部110により検出され、信号処理回路21と水平走査駆動回路72とを介して水平駆動信号23にフィードバックされると共に、信号処理回路21と垂直走査制御回路82とを介して垂直駆動信号24にフィードバックされる。
また、水平走査部70と垂直走査部80との間での画像光を中継するリレー光学系75を備えており、共振型偏向素子71によって水平方向に走査された光は、リレー光学系75によって偏向素子81の反射面に収束され、偏向素子81によって垂直方向に走査されて、2次元的に走査された走査画像光として、リレー光学系90へ出射される。
リレー光学系90は、正の屈折力を持つレンズ系91、94を有している。垂直走査部80から出射された表示用の走査画像光は、レンズ系91によって、それぞれの画像光がその画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。そして、レンズ系94によってそれぞれほぼ平行な画像光となると共に、これらの画像光の中心線が観察者の瞳孔Eaに収束するように変換される。
なお、本実施形態においては、光ファイバ100から入射された画像光を、水平走査部70で水平方向に走査した後、垂直走査部80によって垂直方向に走査することとしたが、水平走査部70と垂直走査部80との配置を入れ替え、垂直走査部80によって垂直方向に走査した後、水平走査部70で水平方向に走査するようにしてもよい。
また、制御部110は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)としての不揮発性メモリであるフラッシュメモリ(図中においてはFlash Memoryと示す)102と、RAM(Random Access Memory)103と、表示させる画像データを記憶しておくVRAM(Video Random Access Memory)105とを備えている。
そして、これらCPU101、フラッシュメモリ102、RAM103、VRAM105は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。
また、この制御部110は、当該HMD1の電源スイッチSW、識別体を含む画像を撮像するCCDセンサ2、外界の明るさ(輝度)を検知する輝度センサ8、輝度センサ8により外界の明るさが所定の明るさを下回ったことが検知されたときに、CCDセンサ2の撮像領域A(図9参照)を照らすLED3、観察者によって操作可能な操作スイッチ7、他の装置との通信を制御するための通信制御回路9、パーソナルコンピュータ等の外部装置と接続可能なインターフェース104とも接続されている。
CPU101は、フラッシュメモリ102に記憶されている各種情報処理プログラムを実行することにより、HMD1を構成する図示しない各種回路を動作させて、HMD1が備える各種機能を実行させる演算処理装置である。
フラッシュメモリ102は、HMD1により表示するコンテンツの再生、停止、早送り、巻き戻し等の表示制御を行う際に画像光生成部20、水平走査部70、垂直走査部80等を動作させるための情報処理プログラム等、制御部110がHMD1全体の動作を統括制御するためにCPU101により実行される各種情報処理プログラムを記憶している。
さらに、このフラッシュメモリ102には、制御部110がCCDセンサ2により撮像した識別体の形態を判別するために用いるテーブル等、制御部110が各種表示制御を行う際に参照する複数種類のテーブルが記憶されている。
[HMD機能構成]
ここで、本実施形態に係るHMD1の機能構成等について、図4を参照して説明する。図4は、本実施形態に係るHMD1の機能構成を示す説明図である。
ここで、本実施形態に係るHMD1の機能構成等について、図4を参照して説明する。図4は、本実施形態に係るHMD1の機能構成を示す説明図である。
図4に示すように、このHMD1におけるCCDセンサ2は、撮像手段201を有している。この撮像手段201は、観察者の視野範囲のうち少なくとも一部を撮像する。そして、撮像手段201は、制御部110にその撮像データを供給することとなる。
そして、HMD1における制御部110は、対応情報記憶手段202と、識別体検出手段203と、付加情報入力手段204と、接触度合い検出手段205と、付加情報記憶手段206と、表示制御手段207と、を有している。HMD1の制御部110において、後述のCPU101が所定の情報処理プログラムを実行することによって、識別体検出手段203、付加情報入力手段204、接触度合い検出手段205、付加情報記憶手段206、表示制御手段207として制御部110が機能することとなる。
対応情報記憶手段202は、上述したフラッシュメモリ102が相当し、識別体の各々に対応するコンテンツ情報(対応情報)を記憶する。また、識別体の種別によっては、識別体の各々に対応するコンテンツ情報として一種類又は複数種類のコンテンツ情報が対応付けられている。複数種類のコンテンツ情報としては、例えば、識別体の各々に対応付けられたコンテンツ情報を示す図柄、文字、静止画像、動画像である。
識別体検出手段203は、撮像手段201による撮像領域内における画像データから識別体を検出する。
付加情報入力手段204は、識別体に対応する付加情報を入力する。具体的には、付加情報入力手段204は、管理サーバ300から受信された識別体に対応する付加情報や、識別体に対する観察者の接触度合いなどの撮像された結果に応じた付加情報、識別体に対応付けられたコンテンツ情報(対応情報)の表示態様を示す付加情報、操作スイッチ7の操作に応じて識別体に対応する付加情報を入力することとなる。
接触度合い検出手段205は、撮像領域内において識別体として撮像された識別体領域、所定色の画素として撮像された所定色領域に基づいて、識別体に対する観察者の接触度合いを検出する。
付加情報記憶手段206は、付加情報入力手段204によって入力された付加情報を識別体に対応させて記憶する。
表示制御手段207は、識別体検出手段203によって検出された識別体に対応するコンテンツ情報を所定の表示態様で表示させる制御を行う。特に、この表示制御手段207は、識別体に対応付けられた対応情報を、表示手段211を透過して観察者に視認される識別体と関連させて表示手段211により表示させる制御を行う。
また、表示制御手段207は、識別体検出手段203によって検出された識別体に対応し、付加情報記憶手段206に記憶された付加情報を、表示手段211を透過して観察者に視認される識別体と関連させて表示手段211により表示させる制御を行うこととなる。
このHMD1における操作スイッチ7は、観察者によって操作可能な操作手段208を有している。
また、このHMD1における通信制御回路9は、受信手段209と、送信手段210とを有している。この受信手段209は、ネットワーク網302を介して通信可能な管理サーバ300(外部装置)から識別体に対応する付加情報を受信する。一方、送信手段210は、付加情報記憶手段206によって新たに付加情報が識別体に対応させて記憶された場合には、その新たな付加情報を識別体と対応させて管理サーバ300(外部装置)に送信する。
また、このHMD1における光走査部10は、表示手段211を有している。この表示手段211は、外光を透過しつつ、画像情報(表示情報)に応じた画像光を観察者の眼に投射してその観察者に前記画像光に応じた画像を視認させる。
[管理サーバ電気的構成]
ここで、本実施形態に係る管理サーバ300の電気的構成等について、図5を参照して説明する。図5は、本実施形態に係る管理サーバ300の電気的及び光学的構成を示す説明図である。
ここで、本実施形態に係る管理サーバ300の電気的構成等について、図5を参照して説明する。図5は、本実施形態に係る管理サーバ300の電気的及び光学的構成を示す説明図である。
図5に示すように、この管理サーバ300は、当該管理サーバ300全体の動作を統括制御する制御部320と、外部装置との通信を行うための通信制御回路325と、を備えている。
制御部320は、CPU(Central Processing Unit)321と、各種プログラム等が記憶されたROM(Read Only Memory)322と、RAM(Random Access Memory)323と、ハードディスクドライブ(図中においてはHDDと示し、以下、HDDと称する)324と、を備えている。
そして、これらCPU321、ROM322、RAM323、HDD324は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。
また、この制御部320は、他の装置との通信を制御するための通信制御回路9とも接続されている。
CPU321は、ROM322に記憶されている各種情報処理プログラムを実行することにより、管理サーバ300を構成する図示しない各種回路を動作させて、管理サーバ300が備える各種機能を実行させる演算処理装置である。
ROM322は、制御部320が管理サーバ300全体の動作を統括制御するためにCPU321により実行される各種情報処理プログラムを記憶している。
HDD324は、各種のデータが記憶されている。具体的には、HDD324には、コンテンツ情報や付加情報が識別体に対応して記憶されている。
[コンテンツ対応テーブル]
ここで、管理サーバ300のHDD324内に記憶されたコンテンツ対応テーブルについて図6を用いて以下に説明する。尚、このコンテンツ対応テーブルは、管理サーバ300のHDD324と同じように、HMD1のフラッシュメモリ102にも記憶されている。
ここで、管理サーバ300のHDD324内に記憶されたコンテンツ対応テーブルについて図6を用いて以下に説明する。尚、このコンテンツ対応テーブルは、管理サーバ300のHDD324と同じように、HMD1のフラッシュメモリ102にも記憶されている。
上述したHDD324には、図6に示すようなコンテンツ対応テーブルが記憶されている。コンテンツ対応テーブルは、識別体に対応するコンテンツ情報を関連付けるためのテーブルである。
このコンテンツ対応テーブルには、識別体と、一又は複数のコンテンツ情報と、が対応付けられている。このコンテンツ情報は、例えば、識別体の存在を示す画像や、識別体に対応するコンテンツの名称、識別体に対応するコンテンツの静止画像、識別体に対応するコンテンツの動画像などが含まれている。
[付加情報対応テーブル]
また、管理サーバ300のHDD324内に記憶された付加情報対応テーブルについて図7を用いて以下に説明する。尚、この付加情報対応テーブルは、管理サーバ300のHDD324と同じように、HMD1のフラッシュメモリ102にも記憶されている。
また、管理サーバ300のHDD324内に記憶された付加情報対応テーブルについて図7を用いて以下に説明する。尚、この付加情報対応テーブルは、管理サーバ300のHDD324と同じように、HMD1のフラッシュメモリ102にも記憶されている。
上述したHDD324には、図7に示すような付加情報対応テーブルが記憶されている。付加情報対応テーブルは、識別体に対応する付加情報を関連付けるためのテーブルである。
この付加情報対応テーブルには、識別体と、一又は複数の付加情報と、が対応付けられている。この付加情報には、例えば、付加情報を識別するためのID、付加情報の種別、付加情報の内容、付加情報が入力されたユーザ、付加情報が入力された装置、付加情報が入力された日時等が含まれている。付加情報の種類としては、HMD1等の各種の端末装置などによって入力されたコンテンツ情報(識別体)に対応する文章情報(例えば、コメント)や、HMD1等の各種の端末装置などによってどのコンテンツ情報を表示させたかの情報(例えば、静止画像を表示した)、ユーザによって識別体がふされた物に対する接触度合い(例えば、CDを手に取った)などが含まれている。
このように、識別体やコンテンツ情報に付加情報が対応付けられている。
[管理サーバ機能構成]
ここで、本実施形態に係る管理サーバ300の機能構成等について、図8を参照して説明する。図8は、本実施形態に係る管理サーバ300の機能構成を示す説明図である。
ここで、本実施形態に係る管理サーバ300の機能構成等について、図8を参照して説明する。図8は、本実施形態に係る管理サーバ300の機能構成を示す説明図である。
図8に示すように、この管理サーバ300における制御部320は、対応情報記憶手段331と、第二の付加情報記憶手段332と、通信履歴記憶手段333と、を有している。管理サーバ300の制御部320において、後述のCPU321が所定の情報処理プログラムを実行することによって、第二の付加情報記憶手段332、通信履歴記憶手段333として制御部320が機能することとなる。
対応情報記憶手段331は、上述したHDD324が相当し、識別体の各々に対応するコンテンツ情報(対応情報)を記憶する。また、識別体の種別によっては、識別体の各々に対応するコンテンツ情報として一種類又は複数種類のコンテンツ情報が対応付けられている。複数種類のコンテンツ情報としては、例えば、識別体の各々に対応付けられたコンテンツ情報を示す図柄、文字、静止画像、動画像である。
第二の付加情報記憶手段332は、付加情報を識別体に対応させて記憶する。
通信履歴記憶手段333は、HMD1との通信履歴を記憶する。
また、この管理サーバ300における通信制御回路325は、付加情報受信手段334と、付加情報送信手段335とを有している。この付加情報受信手段334は、ネットワーク網302を介して通信可能なHMD1から、そのHMD1における付加情報入力手段204によって入力された識別体に対応する付加情報を受信する。一方、付加情報送信手段335は、第二の付加情報記憶手段332に記憶されている識別体に対応する付加情報をHMD1に送信する。
[HMD表示内容]
ここで、本実施形態に係るHMD1における表示内容等について、図9を参照して説明する。図9は、本実施形態に係るHMD1の表示内容等を示す説明図である。
ここで、本実施形態に係るHMD1における表示内容等について、図9を参照して説明する。図9は、本実施形態に係るHMD1の表示内容等を示す説明図である。
HMD1を装着した観察者Pが、レンタル店のような場所でレンタル物を探すような状況を一例とする。図9(a)に示すように、レンタル店の棚には、各種レンタル物が並べられている。観察者Pの視野範囲のうちの一部の領域が撮像領域Aとして設定されている。
このような状況において、図9(a)に示すように撮像領域A内において10個の識別体が検出された場合には、撮像領域A内における全ての識別体の各々に対応するコンテンツ情報として、その識別体に関連付けるように黒丸印のドットや、コンテンツ情報のタイトル(名称)が表示される。これによって、識別体が付された場所が認識可能であり、大まかなレンタル物の数が認識可能となる。具体的には、7つの識別体に関連付けるようにタイトルが表示され、3つの識別体に関連付けるようにドットが表示される。
そして、観察者Pがレンタル物に近づくと、図9(b)に示すように撮像領域A内において3個の識別体が検出される。この場合には、撮像領域A内における全ての識別体の各々に対応するコンテンツ情報として、その識別体に関連付けるように画像、タイトルが表示される。具体的には、2つの識別体に関連付けるように静止画像が表示され、1つの識別体に関連付けるようにタイトルが表示される。
これによって、識別体が付されたレンタル物に関連する画像が認識可能であり、大まかなレンタル物の内容が認識可能となる。
更に、図9(c)に示す状態において、操作スイッチ7の操作に応じて静止画像が指定されると、図9(c)に示すように、指定された静止画像に対応する識別体に関連付けられたコメント画像が表示される。このコメント画像は、そのコンテンツ情報に対するコメントであり、ユーザによって付加される付加情報である。
このように、撮像領域Aにおける識別体の存在や、その識別体におけるコンテンツ情報のタイトル情報などが認識可能であり、更には、その識別体に対応して付加された付加情報が視認可能となる。
また、図9(d)に示すように、撮像領域Aにおいて撮像された結果に応じて、ユーザなどによって識別体がふされたレンタル物に手が接触したか否かなどの接触度合いが認識可能である。そして、識別体に対応してこのような接触度合いが付加情報として記憶されることもある。これによって、以前の接触度合いが認識可能となる。これは、識別体のサイズが大きくなることによって近づいて視認したことが認識可能となり、撮像領域A内において肌の色として撮像された範囲によって手に取ったか否かなどが認識可能となる。
[制御動作]
次に、図10から図12のフローチャートを参照して、HMD1や管理サーバ300の動作について説明する。図10から図12は、HMD1や管理サーバ300において実行される処理の動作を示すフローチャートである。特に、図10に示すメイン処理は、HMD1の電源がオンされた際に制御部110によって実行される。ここでは、HMD1の制御部110(以下、単に「制御部110」という。)がメイン処理について説明することとし、その他の処理については説明を省略する。
次に、図10から図12のフローチャートを参照して、HMD1や管理サーバ300の動作について説明する。図10から図12は、HMD1や管理サーバ300において実行される処理の動作を示すフローチャートである。特に、図10に示すメイン処理は、HMD1の電源がオンされた際に制御部110によって実行される。ここでは、HMD1の制御部110(以下、単に「制御部110」という。)がメイン処理について説明することとし、その他の処理については説明を省略する。
本実施形態のHMD1において、制御部110は、フラッシュメモリ102内に記憶している情報処理プログラムを実行することによって、上記した識別体検出手段203、付加情報入力手段204、接触度合い検出手段205、付加情報記憶手段206、表示制御手段207等として機能することとなる。
[メイン処理]
最初に、図10に示すように、HMD1に電源が投入されると、制御部110は、初期設定を行う(ステップS11)。この処理において、制御部110は、RAMアクセス許可、作業領域の初期化等を実行する。また、制御部110は、観察者(ユーザ)を示すIDやHMD1の装置独自のIDをRAM103にセットする。この処理が終了した場合には、ステップS12に処理を移す。
最初に、図10に示すように、HMD1に電源が投入されると、制御部110は、初期設定を行う(ステップS11)。この処理において、制御部110は、RAMアクセス許可、作業領域の初期化等を実行する。また、制御部110は、観察者(ユーザ)を示すIDやHMD1の装置独自のIDをRAM103にセットする。この処理が終了した場合には、ステップS12に処理を移す。
ステップS12において、制御部110は、撮像処理を実行する。この処理において、制御部110は、撮像手段201としてのCCDセンサ2に撮像領域Aの画像を撮像させる制御を行う。この処理が終了した場合には、ステップS13に処理を移す。
ステップS13において、制御部110は、対応情報制御処理を実行する。この処理において、制御部110は、CCDセンサ2によって撮像された撮像領域Aの画像を取り込み、その画像から識別体を検出し、その検出結果(例えば、識別体の数)に基づいて、複数種類の表示態様の中から、表示手段211によって識別体の各々に対応付けられるコンテンツ情報の表示態様を決定することとなる。つまり、制御部110は、取り込んだ撮像領域Aの画像から、識別体を検出する。このような処理を実行することによって、制御部110は、識別体検出手段203として機能する。この処理が終了した場合には、ステップS14に処理を移す。
ステップS14において、制御部110は、付加情報制御処理を実行する。詳しくは図11及び図12を用いて後述するが、この処理において、制御部110は、撮像領域Aにおいて検出された識別体に対応する付加情報に関して、付加情報記憶手段206に記憶されていない場合にはその付加情報を管理サーバ300に要求し、HMD1において付加情報が新たに更新された場合には、その更新を行い、その更新結果を管理サーバ300に供給することとなる。この処理が終了した場合には、ステップS15に処理を移す。
ステップS15において、制御部110は、検出された識別体に対応するコンテンツ情報、付加情報を表示させるための画像データをフラッシュメモリ102から読み込み、画像としてVRAM105におけるフレームバッファ上に描画する。これによって、制御部110は、このフレームバッファ上に描画した画像を光走査部10に供給することとなり、観察者Pによって視認可能に表示させることとなる。つまり、制御部110は、ステップS13において決定された表示態様で、識別体に対応付けられたコンテンツ情報及び付加情報を、その識別体と関連させて表示させる制御を行うこととなる。また、表示手段211は、図9に示すように、透過して視認可能な視野範囲の識別体と関連付けることができるように、識別体と対応するコンテンツ情報、付加情報を表示させることとなる。つまり、制御部110は、識別体の各々に対応するコンテンツ情報、付加情報を、表示手段211を透過して観察者に視認される当該識別体と関連させて表示させる制御を行うこととなる。このような処理を実行することによって、制御部110は、表示制御手段207として機能する。尚、制御部110は、選択された識別体に対応する対応情報が動画コンテンツである場合にも、識別体に対応する対応情報を所定周期毎に画像としてフレームバッファ上に描画する。この処理が終了した場合には、ステップS16に処理を移す。
ステップS16において、制御部110は、操作検知処理を実行する。この処理において、制御部110は、操作スイッチ7からの操作信号の有無を検知する。この処理が終了した場合には、ステップS17に処理を移す。
ステップS17において、制御部110は、その他制御処理を実行する。そして、制御部110は、電源オフであるか否かを判定する(ステップS18)。この処理において、制御部110は、電源スイッチSWの操作等に応じて、電源オフであるか否かを判定することとなる。制御部110は、電源オフであると判定すると(ステップS18:YES)、メイン処理を終了する。一方、制御部110は、電源オフではないと判定すると(ステップS18:NO)、再度、ステップS12に処理を移す。これによって、制御部110は、電源オフとなるまで、ステップS12からステップS17を繰り返し実行することとなる。
[付加情報制御処理]
図10のステップS14において実行されるサブルーチンについて図11及び図12を用いて説明する。
図10のステップS14において実行されるサブルーチンについて図11及び図12を用いて説明する。
最初に、図11に示すように、HMD1の制御部110は、撮像領域Aにおいて検知した識別体の付加情報が付加情報記憶手段206に記憶されているか否かを判定する(ステップS21)。
制御部110は、識別体の付加情報が付加情報記憶手段206に記憶されていると判定した場合には(ステップS21:YES)、ステップS22からステップS24を実行することなく、ステップS25に処理を移す。
一方、制御部110は、識別体の付加情報が付加情報記憶手段206に記憶されていないと判定した場合には(ステップS21:NO)、付加情報要求処理を実行する(ステップS22)。この処理において、制御部110は、記憶されていないと判定された付加情報の要求を、ネットワーク網302を介して管理サーバ300に行う。この処理においては、制御部110は、識別体の種別、ユーザID、装置IDなどを管理サーバ300に送信することとなる。
管理サーバ300において、制御部320は、付加情報要求を受信した場合には(ステップS101)、その要求の識別体に対応する付加情報を取得する付加情報取得処理を実行し(ステップS102)、要求のあったHMD1に対して通信制御回路325を介して送信する付加情報送信処理を実行する(ステップS103)。このような処理を実行することによって、通信制御回路325は、付加情報送信手段335として機能する。
また、制御部320は、ユーザ、HMD1毎に通信履歴を記憶する通信履歴記憶処理を実行する(ステップS104)。このような処理を実行することによって、制御部320は、通信履歴記憶手段333として機能する。これによって、管理サーバ300において、観察者、HMD1毎の通信履歴が認識可能となり、情報閲覧システムの利用状況を認識可能となる。
HMD1において、制御部110は、管理サーバ300からの付加情報を受信する付加情報受信処理を実行し(ステップS23)、その受信した付加情報をフラッシュメモリ102に記憶する付加情報記憶処理を実行する(ステップS24)。これによって、通信制御回路9は、ネットワーク網302を介して通信可能な管理サーバ300から識別体に対応する付加情報を受信し、制御部110は、通信制御回路9(受信手段209)によって受信された識別体に対応する付加情報を入力し、その付加情報を識別体に対応させて記憶することとなる。このような処理を実行することによって、制御部110は、付加情報入力手段204、付加情報記憶手段206として機能する。この処理が終了した場合には、ステップS25に処理を移す。
HMD1では、ステップS25において、制御部110は、付加情報表示指示があったか否かを判定する。この処理において、制御部110は、操作スイッチ7からの操作信号に応じて、付加情報表示指示があったか否かを判定することとなる。
制御部110は、付加情報表示指示があったと判定した場合には(ステップS25:YES)、付加情報表示指示をRAM103の所定領域にセットし(ステップS26)、ステップS27に処理を移す。これによって、制御部110は、上述したステップS15において、付加情報表示指示のあった識別体に対応する付加情報を表示させる制御を行うこととなる。
一方、制御部110は、付加情報表示指示がなかったと判定した場合には(ステップS25:NO)、ステップS26を実行することなく、ステップS27に処理を移す。
ステップS27において、制御部110は、操作スイッチ7の操作に応じて付加情報入力があったか否かを判定する。
この処理において、制御部110は、操作スイッチ7の操作に応じて付加情報入力があったと判定した場合には(ステップS27:YES)、操作に応じて入力された付加情報をフラッシュメモリ102に記憶する付加情報記憶処理を実行し(ステップS28)、ステップS29に処理を移す。
具体的な一例としては、制御部110は、コンテンツ情報のコメントを操作スイッチ7に応じて入力した場合には、そのコメントが付加情報として識別体に対応付けられることとなる。また、例えば、制御部110は、そのコンテンツ情報としてレンタル物を借りた場合において、操作スイッチ7に応じてその借りた旨が付加情報として入力したときには、その旨が識別体に対応付けられることとなる。
これによって、制御部110は、操作手段208の操作に応じて識別体に対応する付加情報を入力し、識別体に対応させて記憶することとなる。また、制御部110は、付加情報を、識別体以外に、ユーザID、装置IDに対応して記憶することとなる。このユーザIDは、付加情報を入力した観察者を識別可能な観察者識別情報であり、装置IDは、付加情報を入力したHMD1を識別可能な装置識別情報である。このような処理を実行することによって、制御部110は、付加情報入力手段204、付加情報記憶手段206として機能する。
一方、制御部110は、操作スイッチ7の操作に応じて付加情報入力がなかったと判定した場合には(ステップS27:NO)、ステップS28を実行することなく、ステップS29に処理を移す。
ステップS29において、制御部110は、対応情報(コンテンツ情報)の表示態様が更新されたか否かを判定する。この処理において、制御部110は、表示手段211によって表示された識別体の表示態様が新規に表示された表示態様であるか否かによって、対応情報の表示態様が更新されたか否かを判定することとなる。
制御部110は、対応情報の表示態様が更新されたと判定した場合には(ステップS29:YES)、表示された表示態様に応じて入力された付加情報をフラッシュメモリ102に記憶する付加情報記憶処理を実行し(ステップS30)、図12のステップS31に処理を移す。
具体的な一例としては、制御部110は、識別体に対応するコンテンツ情報の表示態様としてタイトルが表示された場合には、そのタイトルまで表示した旨を付加情報として記憶することとなる。また、その後、制御部110は、識別体に対応するコンテンツ情報の表示態様として静止画像が表示された場合には、その静止画像まで表示した旨を付加情報として記憶することとなる。
これによって、制御部110は、表示された識別体に対応付けられた対応情報の表示態様を、識別体に対応する付加情報として入力し、識別体に対応させて記憶することとなる。また、制御部110は、付加情報を、識別体以外に、ユーザID、装置IDに対応して記憶することとなる。このような処理を実行することによって、制御部110は、付加情報入力手段204、付加情報記憶手段206として機能する。
一方、制御部110は、対応情報の表示態様が更新されていないと判定した場合には(ステップS29:NO)、ステップS30を実行することなく、図12のステップS31に処理を移す。
図12のステップS31において、制御部110は、撮像手段201によって撮像領域A内において識別体として撮像された識別体領域のサイズを検出する識別体サイズ検出処理を実行する。そして、制御部110は、撮像手段201によって撮像領域A内において所定色(肌の色)の画素として撮像された所定色領域を検出する所定色領域検出処理を実行する(ステップS32)。
そして、制御部110は、その識別体領域、所定色領域に基づいて、識別体に対する観察者の接触度合いを検出し、その結果をRAM103の所定領域にセットすることとなる(ステップS33)。具体的には、識別体として撮像された識別体領域が所定サイズ以上となった場合には、ある程度の近距離で視認したと判定し、接触度合いを近くで観た旨として認識することとなる。また、制御部110は、肌の色などの所定色の画素として撮像された所定色領域と、上述した識別体領域との組合せによって、識別体領域が変化し、その識別体領域の近傍に所定色領域が位置している場合には、手に取ってレンタル物等を視認したと判定し、接触度合いを手に取った旨として認識することとなる。
これによって、制御部110は、撮像手段201によって撮像された結果(識別体領域、所定色領域)に基づいて、識別体に対する観察者の接触度合いを検出することとなる。このような処理を実行することによって、制御部110は、付加情報入力手段204、接触度合い検出手段205として機能する。
そして、制御部110は、ステップS33において検出された接触度合いが更新されたか否かを判定する(ステップS34)。
この処理において、制御部110は、接触度合いが更新されたと判定した場合には(ステップS34:YES)、その接触度合いを付加情報としてフラッシュメモリ102に記憶する付加情報記憶処理を実行し(ステップS35)、ステップS36に処理を移す。
具体的な一例としては、制御部110は、識別体に対応する接触度合いが手に取ったと新たに検出された場合には、その接触度合いを付加情報として記憶することとなる。
これによって、制御部110は、撮像手段201によって撮像された結果、言い換えると、識別体に対する観察者の接触度合いを、識別体に対応する付加情報として入力し、識別体に対応させて記憶することとなる。また、制御部110は、付加情報を、識別体以外に、ユーザID、装置IDに対応して記憶することとなる。このような処理を実行することによって、制御部110は、付加情報入力手段204、付加情報記憶手段206として機能する。
一方、この処理において、制御部110は、接触度合いが更新されていないと判定した場合には(ステップS34:NO)、ステップS35を実行することなく、ステップS36に処理を移す。
HMD1では、ステップS36において、制御部110は、識別体の付加情報の更新があったか否かを判定する。この処理において、制御部110は、識別体に対応して新たに付加情報が記憶された場合に、識別体の付加情報の更新があったか否かを判定することとなる。
制御部110は、識別体の付加情報の更新があったと判定した場合には(ステップS36:YES)、その更新された付加情報を、ネットワーク網302を介して管理サーバ300に送信する付加情報送信処理を実行する(ステップS37)。この処理において、制御部110は、付加情報として、その付加情報の種別、内容、ユーザID、装置ID、更新日時等を管理サーバ300に送信することとなる。
これによって、通信制御回路9は、新たに付加情報が識別体に対応させて記憶された場合には、それら新たな付加情報を識別体と対応させて管理サーバ300に送信する。このような処理を実行することによって、通信制御回路9は、送信手段210として機能する。この処理が終了した場合には、本サブルーチンを終了する。
一方、制御部110は、識別体の付加情報の更新がなかったと判定した場合には(ステップS36:NO)、ステップS37を実行することなく、本サブルーチンを終了する。
また、管理サーバ300では、ステップS111において、制御部320は、HMD1から付加情報を受信する付加情報受信処理を実行し、その付加情報を記憶する付加情報記憶処理を実行する(ステップS112)。この処理において、制御部320は、付加情報として、その付加情報の種別、内容、ユーザID、装置ID、更新日時等をHMD1から受信し、付加情報対応テーブルとして記憶することとなる。
これによって、制御部320は、HMD1から、そのHMD1における付加情報入力手段204によって入力された識別体に対応する付加情報を受信し、受信された付加情報を識別体に対応させて記憶することとなる。このような処理を実行することによって、通信制御回路325は、付加情報受信手段334として機能し、制御部320は、第二の付加情報記憶手段332として機能する。
また、制御部320は、ユーザ、HMD1毎に通信履歴を記憶する通信履歴記憶処理を実行する(ステップS113)。このような処理を実行することによって、制御部320は、通信履歴記憶手段333として機能する。これによって、管理サーバ300において、観察者、HMD1毎の通信履歴が認識可能となり、情報閲覧システムの利用状況を認識可能となる。
このように、観察者の視野範囲のうち少なくとも一部を撮像し、撮像領域内における識別体を検出する。また、識別体に対応する付加情報を入力し、その入力された付加情報を識別体に対応させて記憶する。また、検出された識別体に対応し、記憶された付加情報を、表示手段を透過して観察者に視認される当該識別体と関連させて表示手段により表示させる制御を行う。従って、識別体に対応した付加情報を付加可能とし、表示させることによって、識別体に対応する付加情報に関して利便性の向上を図ることができる。具体的には、識別体に対して観察者自身がメモを残せたりする。
また、ネットワークを介して通信可能な外部装置から識別体に対応する付加情報を受信した場合には、その受信された識別体に対応する付加情報を入力し、識別体に対応させて記憶する。また、新たに付加情報が識別体に対応させて記憶された場合には、それら新たな付加情報を識別体と対応させて外部装置に送信する。また、管理サーバは、ヘッドマウントディスプレイから、そのヘッドマウントディスプレイにおける前記付加情報入力手段によって入力された識別体に対応する付加情報を受信し、その付加情報を前記識別体に対応させて記憶する。また、管理サーバは、記憶されている識別体に対応する付加情報をヘッドマウントディスプレイに送信する。従って、複数のヘッドマウントディスプレイによって入力された付加情報がそれぞれの装置で共有することができ、簡便である。
また、撮像された結果に応じた付加情報を撮像された識別体に対応する付加情報として入力し、その付加情報を識別体に対応させて記憶する。従って、撮像された結果に基づく付加情報を記憶可能であり、簡便である。特に、撮像された結果に基づいて、識別体に対する観察者の接触度合いを検出し、検出された識別体に対する観察者の接触度合いを、識別体に対応する付加情報として入力し、記憶する。従って、観察者の接触度合いを付加情報とすることができ、観察者の接触度合いに基づく制御が可能となる。具体的には、識別体に対応する物を手に取ったか否かが付加情報によって認識可能となるため、既に手に取っているような物に関しては、興味がある可能性が高いと認識可能である。尚、上述した実施形態においては、撮像領域内において識別体として撮像された識別体領域、撮像領域内において所定色の画素として撮像された所定色領域に基づいて、識別体に対する観察者の接触度合いを検出することとなる。
また、識別体に対応付けられた対応情報を所定の表示態様で、表示手段を透過して観察者に視認される識別体と関連させて表示させる。また、表示された識別体に対応付けられた対応情報の表示態様を、表示された識別体に対応する付加情報として入力し、その識別体に対応付けられた対応情報の表示態様を、識別体に対応して記憶する。従って、対応情報の表示態様を付加情報とすることができ、表示態様に基づく制御が可能となる。例えば、以前にタイトルを表示したと付加情報として記憶されていれば、次に、静止画像を表示し、更に、その静止画像を表示したことを付加情報として記憶すれば、次に、動画像を表示するといった制御が可能である。
また、観察者によって操作可能な操作手段の操作に応じて識別体に対応する付加情報を入力し、その付加情報を識別体に対応させて記憶する。従って、観察者の意思によって付加情報が入力可能となり、入力した観察者だけではなく、他の観察者も簡便である。
また、入力された付加情報を、その付加情報を入力した観察者を識別可能な観察者識別情報や、その付加情報を入力したヘッドマウントディスプレイを識別可能な装置識別情報に対応させて記憶する。従って、観察者識別情報や装置識別情報に基づく付加情報が記憶可能であり、簡便である。具体的には、付加情報を表示する場合に、その付加情報を入力した観察者が認識可能であり、簡便である。
[その他の実施形態]
なお、上述した実施形態においては、識別体に対応するコメント、識別体の表示態様、識別体に対応する操作入力、識別体に対応する観察者の接触度合いなどを全て付加情報としたが、これに限らず、例えば、これらのいずれかであればよい。
なお、上述した実施形態においては、識別体に対応するコメント、識別体の表示態様、識別体に対応する操作入力、識別体に対応する観察者の接触度合いなどを全て付加情報としたが、これに限らず、例えば、これらのいずれかであればよい。
また、上述した実施形態においては、操作スイッチ7の操作に応じて付加情報を表示させたが、これに限らず、例えば、操作スイッチ7の操作に拘わらず、必ず、付加情報を表示させてもよい。また、例えば、所定時間、識別体が表示されていることを条件に、付加情報を表示させてもよい。
また、上述した実施形態においては、HMD1自体に設置された操作スイッチ7の操作に応じて、各種の操作指示を行うようにしたが、これに限らず、例えば、操作手段としてレーザマーカを用いて、レーザが照射されたか否かによって各種の設定や決定を行うようにしてもよい。
また、上述した実施形態においては、コンテンツ情報や付加情報の表示位置を識別体周囲の近傍としたが、これに限らず、例えば、関連付けられていれば、その識別体周囲でなくてもよい。
また、上述した実施形態においては、HMD1によって各種の付加情報が入力され、管理サーバ300に供給されたが、これに限らず、例えば、付加情報は、上述したパーソナルコンピュータ310や携帯型端末装置312の入力によって管理サーバ300に供給され、その管理サーバ300からHMD1に供給されることがあってもよい。
また、上述した実施形態においては、HMD1、管理サーバ300、パーソナルコンピュータ310、携帯型端末装置312がネットワーク網302で通信可能に接続されていたが、これに限らず、パーソナルコンピュータ310、携帯型端末装置312などが接続されていなくてもよい。もちろん、例えば、管理サーバ300がない構成や、HMD1が通信しない構成であっても問題ない。
1 HMD
2 CCDセンサ
110 制御部
300 サーバ
320 制御部
S1 情報閲覧システム
2 CCDセンサ
110 制御部
300 サーバ
320 制御部
S1 情報閲覧システム
Claims (13)
- 外光を透過しつつ、表示情報に応じた画像光を観察者の眼に投射して当該観察者に前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、
前記観察者の視野範囲のうち少なくとも一部を撮像する撮像手段と、
前記撮像手段による撮像領域内における識別体を検出する識別体検出手段と、
識別体に対応する付加情報を入力する付加情報入力手段と、
前記付加情報入力手段によって入力された付加情報を前記識別体に対応させて記憶する付加情報記憶手段と、
前記識別体検出手段によって検出された識別体に対応し、前記付加情報記憶手段に記憶された付加情報を、前記表示手段を透過して前記観察者に視認される当該識別体と関連させて前記表示手段により表示させる制御を行う表示制御手段と、を備えたことを特徴とするヘッドマウントディスプレイ。 - ネットワークを介して通信可能な外部装置から識別体に対応する付加情報を受信する受信手段を備え、
前記付加情報入力手段は、前記受信手段によって受信された識別体に対応する付加情報を入力し、
前記付加情報記憶手段は、前記受信手段によって受信された付加情報を前記識別体に対応させて記憶することを特徴とする請求項1に記載のヘッドマウントディスプレイ。 - 前記付加情報記憶手段によって新たに付加情報が識別体に対応させて記憶された場合には、当該新たな付加情報を当該識別体と対応させて前記外部装置に送信する送信手段を備えたことを特徴とする請求項2に記載のヘッドマウントディスプレイ。
- 前記付加情報入力手段は、前記撮像手段によって撮像された結果に応じた付加情報を前記撮像手段によって撮像された識別体に対応する付加情報として入力し、
前記付加情報記憶手段は、前記撮像手段によって撮像された結果に応じた付加情報を前記識別体に対応させて記憶することを特徴とする請求項1から3のいずれかに記載のヘッドマウントディスプレイ。 - 前記撮像手段によって撮像された結果に基づいて、前記識別体に対する観察者の接触度合いを検出する接触度合い検出手段を備え、
前記付加情報入力手段は、前記接触度合い検出手段によって検出された前記識別体に対する観察者の接触度合いを、前記撮像手段によって撮像された識別体に対応する付加情報として入力し、
前記付加情報記憶手段は、前記接触度合い検出手段によって検出された観察者の接触度合いを前記識別体に対応させて記憶することを特徴とする請求項4に記載のヘッドマウントディスプレイ。 - 前記接触度合い検出手段は、前記撮像手段によって撮像領域内において識別体として撮像された識別体領域、前記撮像手段によって撮像領域内において所定色の画素として撮像された所定色領域に基づいて、前記識別体に対する観察者の接触度合いを検出することを特徴とする請求項5に記載のヘッドマウントディスプレイ。
- 前記識別体の各々に対応する対応情報を記憶する対応情報記憶手段を備え、
前記表示制御手段は、前記識別体に対応付けられた対応情報を所定の表示態様で、前記表示手段を透過して前記観察者に視認される識別体と関連させて前記表示手段により表示させる制御を行い、
前記付加情報入力手段は、前記表示制御手段によって表示された前記識別体に対応付けられた対応情報の表示態様を、前記表示制御手段によって表示された識別体に対応する付加情報として入力し、
前記付加情報記憶手段は、前記表示制御手段によって表示された前記識別体に対応付けられた対応情報の表示態様を、当該識別体に対応して記憶することを特徴とする請求項1から6のいずれかに記載のヘッドマウントディスプレイ。 - 観察者によって操作可能な操作手段を有し、
前記付加情報入力手段は、前記操作手段の操作に応じて識別体に対応する付加情報を入力し、
前記付加情報記憶手段は、前記操作手段の操作に応じた付加情報を前記識別体に対応させて記憶することを特徴とする請求項1から7のいずれかに記載のヘッドマウントディスプレイ。 - 前記付加情報記憶手段は、前記付加情報入力手段によって入力された付加情報を、当該付加情報を入力した観察者を識別可能な観察者識別情報に対応させて記憶することを特徴とする請求項1から8のいずれかに記載のヘッドマウントディスプレイ。
- 前記付加情報記憶手段は、前記付加情報入力手段によって付加情報を、当該付加情報を入力したヘッドマウントディスプレイを識別可能な装置識別情報に対応させて記憶することを特徴とする請求項1から9のいずれかに記載のヘッドマウントディスプレイ。
- 外光を透過しつつ、表示情報に応じた画像光を観察者の眼に投射して当該観察者に前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイと、当該ヘッドマウントディスプレイとネットワークを介して通信可能とする管理サーバと、を備えた情報閲覧システムにおいて、
前記ヘッドマウントディスプレイは、
前記観察者の視野範囲のうち少なくとも一部を撮像する撮像手段と、
前記撮像手段による撮像領域内における識別体を検出する識別体検出手段と、
識別体に対応する付加情報を入力する付加情報入力手段と、
前記付加情報入力手段によって入力された付加情報を前記識別体に対応させて記憶する付加情報記憶手段と、
前記付加情報記憶手段に対応する付加情報を、前記表示手段を透過して前記観察者に視認される当該識別体と関連させて前記表示手段により表示させる制御を行う表示制御手段と、を有することを特徴とする情報閲覧システム。 - 前記管理サーバは、
前記ヘッドマウントディスプレイから、当該ヘッドマウントディスプレイにおける前記付加情報入力手段によって入力された識別体に対応する付加情報を受信する付加情報受信手段と、
前記付加情報受信手段によって受信された付加情報を前記識別体に対応させて記憶する第二の付加情報記憶手段と、
前記第二の付加情報記憶手段に記憶されている識別体に対応する付加情報をヘッドマウントディスプレイに送信する付加情報送信手段と、を有することを特徴とする請求項11に記載の情報閲覧システム。 - 前記管理サーバは、前記ヘッドマウントディスプレイとの通信履歴を記憶する通信履歴記憶手段を有することを特徴とする請求項11又は12に記載の情報閲覧システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008234822A JP2010067154A (ja) | 2008-09-12 | 2008-09-12 | ヘッドマウントディスプレイ、情報閲覧システム及び管理サーバ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008234822A JP2010067154A (ja) | 2008-09-12 | 2008-09-12 | ヘッドマウントディスプレイ、情報閲覧システム及び管理サーバ |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010067154A true JP2010067154A (ja) | 2010-03-25 |
Family
ID=42192665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008234822A Pending JP2010067154A (ja) | 2008-09-12 | 2008-09-12 | ヘッドマウントディスプレイ、情報閲覧システム及び管理サーバ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010067154A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012007985A (ja) * | 2010-06-24 | 2012-01-12 | Nec Corp | 確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法およびプログラム |
JP2012053629A (ja) * | 2010-08-31 | 2012-03-15 | Canon Inc | 画像生成装置、画像生成方法、及びプログラム |
JP2012205191A (ja) * | 2011-03-28 | 2012-10-22 | Nippon Telegr & Teleph Corp <Ntt> | 映像付加情報表示制御装置およびその動作方法 |
US8494212B2 (en) | 2008-09-11 | 2013-07-23 | Brother Kogyo Kabushiki Kaisha | Head mounted display |
US8761980B2 (en) * | 2010-10-19 | 2014-06-24 | Denso Corporation | Start support apparatus for electromotive vehicle |
CN103913842A (zh) * | 2013-01-07 | 2014-07-09 | 精工爱普生株式会社 | 显示装置以及显示装置的控制方法 |
WO2015111655A1 (ja) * | 2014-01-27 | 2015-07-30 | 村田機械株式会社 | ヘッドマウントディスプレイ装置 |
JP2016181244A (ja) * | 2015-03-24 | 2016-10-13 | 富士ゼロックス株式会社 | ユーザ注意判定システム、方法及びプログラム |
-
2008
- 2008-09-12 JP JP2008234822A patent/JP2010067154A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8494212B2 (en) | 2008-09-11 | 2013-07-23 | Brother Kogyo Kabushiki Kaisha | Head mounted display |
JP2012007985A (ja) * | 2010-06-24 | 2012-01-12 | Nec Corp | 確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法およびプログラム |
JP2012053629A (ja) * | 2010-08-31 | 2012-03-15 | Canon Inc | 画像生成装置、画像生成方法、及びプログラム |
US8761980B2 (en) * | 2010-10-19 | 2014-06-24 | Denso Corporation | Start support apparatus for electromotive vehicle |
JP2012205191A (ja) * | 2011-03-28 | 2012-10-22 | Nippon Telegr & Teleph Corp <Ntt> | 映像付加情報表示制御装置およびその動作方法 |
CN103913842A (zh) * | 2013-01-07 | 2014-07-09 | 精工爱普生株式会社 | 显示装置以及显示装置的控制方法 |
JP2014132718A (ja) * | 2013-01-07 | 2014-07-17 | Seiko Epson Corp | 表示装置、および、表示装置の制御方法 |
CN103913842B (zh) * | 2013-01-07 | 2017-11-10 | 精工爱普生株式会社 | 显示装置以及显示装置的控制方法 |
WO2015111655A1 (ja) * | 2014-01-27 | 2015-07-30 | 村田機械株式会社 | ヘッドマウントディスプレイ装置 |
JP2015141215A (ja) * | 2014-01-27 | 2015-08-03 | 村田機械株式会社 | ヘッドマウントディスプレイ装置 |
JP2016181244A (ja) * | 2015-03-24 | 2016-10-13 | 富士ゼロックス株式会社 | ユーザ注意判定システム、方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5293025B2 (ja) | ヘッドマウントディスプレイ | |
JP5104679B2 (ja) | ヘッドマウントディスプレイ | |
US10445579B2 (en) | Head mounted display device, image display system, and method of controlling head mounted display device | |
JP2010067154A (ja) | ヘッドマウントディスプレイ、情報閲覧システム及び管理サーバ | |
JP5195537B2 (ja) | ヘッドマウントディスプレイ | |
JP6066037B2 (ja) | 頭部装着型表示装置 | |
JP2009245392A (ja) | ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム | |
JP5423716B2 (ja) | ヘッドマウントディスプレイ | |
US9792710B2 (en) | Display device, and method of controlling display device | |
JP2010152443A (ja) | ヘッドマウントディスプレイ | |
CN105009039A (zh) | 使用imu的直接全息图操纵 | |
JP2010145436A (ja) | ヘッドマウントディスプレイ | |
JP2010139901A (ja) | ヘッドマウントディスプレイ | |
US20130003028A1 (en) | Floating virtual real image display apparatus | |
JP6135162B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム | |
JP5109952B2 (ja) | ヘッドマウントディスプレイ | |
JP5012780B2 (ja) | ヘッドマウントディスプレイ | |
CN113382228B (zh) | 头戴显示设备和头戴显示系统 | |
JP5126047B2 (ja) | ヘッドマウントディスプレイ | |
JP5348004B2 (ja) | ストライクゾーン提示システム | |
JP5375481B2 (ja) | ヘッドマウントディスプレイ | |
JP2010200209A (ja) | ヘッドマウントディスプレイ | |
US9335158B2 (en) | Projector and projector system | |
JP2011124898A (ja) | ヘッドマウントディスプレイ | |
JP2011070251A (ja) | ヘッドマウントディスプレイ |