JP2016085554A - 情報処理装置、表示装置、及び表示システム - Google Patents
情報処理装置、表示装置、及び表示システム Download PDFInfo
- Publication number
- JP2016085554A JP2016085554A JP2014217021A JP2014217021A JP2016085554A JP 2016085554 A JP2016085554 A JP 2016085554A JP 2014217021 A JP2014217021 A JP 2014217021A JP 2014217021 A JP2014217021 A JP 2014217021A JP 2016085554 A JP2016085554 A JP 2016085554A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- unit
- display
- user
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】表示装置と、操作部が設けられた情報処理装置とを備える表示システムの携帯性を向上する。【解決手段】ユーザーの第1部位に装着される生体情報計測装置3であって、ユーザーの動作に応じて第1信号を出力する加速度センサー338及びジャイロセンサー359と、ユーザーの動作に係る情報を算出するために第1信号を用いる第1モードと、ユーザーの第2部位に装着される表示装置への入力信号として第1信号を扱う第2モードとに情報処理装置3を設定可能なMCU336と、第2モードにおいて、第1信号に基づいて生成した第2信号又は第1信号をHMDに送信する無線通信部335と、を備える。【選択図】図3
Description
本発明は、情報処理装置、表示装置、及び表示システムに関する。
頭部に装着する表示装置である頭部装着型表示装置(Head Mounted Display(以下、HMDという。))が知られている。HMDは、例えば液晶ディスプレイ及び光源を利用して画像を表す画像光を生成し、その画像光を投写光学系や導光板によってユーザーの眼に導いて虚像を視認させる。
HMDにおいては、携帯性や操作性を向上させるための技術が種々提案されている。例えば、頭部に装着するHMD本体に操作部が設けられたものが知られている。この構成によれば、HMD本体と操作部とが一体の装置として構成されているため、HMDの携帯性は良好である。しかしながら、ユーザーは操作のたびに手を頭部まで持ち上げる必要があるため、ユーザーに煩わしさを感じさせてしまう可能性がある。
HMDにおいては、携帯性や操作性を向上させるための技術が種々提案されている。例えば、頭部に装着するHMD本体に操作部が設けられたものが知られている。この構成によれば、HMD本体と操作部とが一体の装置として構成されているため、HMDの携帯性は良好である。しかしながら、ユーザーは操作のたびに手を頭部まで持ち上げる必要があるため、ユーザーに煩わしさを感じさせてしまう可能性がある。
そこで、HMD本体とは別体の装置に操作部を設けた構成が提案されている。例えば、特許文献1及び特許文献2には、操作部として、HMD本体とは別体のタッチパッドを備えるHMDが開示されている。これらの先行後術において、ユーザーはHMD本体を頭部に装着した状態で、タッチパッドを操作して、各種の指示を入力する。この場合、タッチパッドはHMD本体を操作するための専用の装置であった。
しかしながら、特許文献1及び特許文献2に開示された技術では、HMD本体と共にタッチパッドも使用場所へ持ち運ばなければならないため、携帯性が良好であるとは言い難い。
本発明は、前記の事情を鑑みて成されたものであり、表示装置と、その操作部が設けられた情報処理装置とを備える表示システムの携帯性を向上させることを解決課題の一つとする。
本発明は、前記の事情を鑑みて成されたものであり、表示装置と、その操作部が設けられた情報処理装置とを備える表示システムの携帯性を向上させることを解決課題の一つとする。
以上の課題を解決するため、本発明の一態様に係る情報処理装置は、ユーザーの第1部位に装着される情報処理装置であって、前記ユーザーの動作に応じて第1信号を出力するセンサーと、前記動作に係る情報を算出するために前記第1信号を用いる第1モードと、前記ユーザーの第2部位に装着される表示装置への入力信号として前記第1信号を扱う第2モードとに当該情報処理装置を設定可能なモード設定部と、前記第2モードにおいて、前記第1信号に基づいて生成した第2信号又は前記第1信号を前記表示装置に送信する送信部と、を備えることを特徴とする。
この態様によれば、ユーザーの第2部位に装着される表示装置(例えばHMDなど)への入力信号(例えば操作信号など)が、当該ユーザーの第1部位に装着される情報処理装置(例えば生体情報計測装置など)で生成されて表示装置へ送信される。ここで、当該情報処理装置は、ユーザーの動作に係る情報を収集する装置として単体で当該ユーザーに利用され得る。従って、当該情報処理装置のユーザーは、表示装置を使用する際に、当該表示装置を操作するためだけの専用の装置を必要としない。よって、情報処理装置と表示装置とを備える表示システムに、本態様の情報処理装置を適用することで、表示装置を操作するためだけの装置を不要とすることができる。これによって、ユーザーは専用の装置でなくても、表示装置を操作できるようになるから、表示システムの利便性が向上する。
また、情報処理装置が備えるセンサーは、第1モードにおいてはユーザーの動作に係る情報を収集するために用いられ、且つ、第2モードにおいては表示装置へ信号を入力するために用いられる。つまり、当該情報処理装置では、センサーが、異なる動作モードで兼用されている。従って、各動作モードの機能を実現するためにそれぞれ別個の部材を設ける構成と比較して、当該情報処理装置の構成の簡略化及び小型化が実現する。
この態様によれば、ユーザーの第2部位に装着される表示装置(例えばHMDなど)への入力信号(例えば操作信号など)が、当該ユーザーの第1部位に装着される情報処理装置(例えば生体情報計測装置など)で生成されて表示装置へ送信される。ここで、当該情報処理装置は、ユーザーの動作に係る情報を収集する装置として単体で当該ユーザーに利用され得る。従って、当該情報処理装置のユーザーは、表示装置を使用する際に、当該表示装置を操作するためだけの専用の装置を必要としない。よって、情報処理装置と表示装置とを備える表示システムに、本態様の情報処理装置を適用することで、表示装置を操作するためだけの装置を不要とすることができる。これによって、ユーザーは専用の装置でなくても、表示装置を操作できるようになるから、表示システムの利便性が向上する。
また、情報処理装置が備えるセンサーは、第1モードにおいてはユーザーの動作に係る情報を収集するために用いられ、且つ、第2モードにおいては表示装置へ信号を入力するために用いられる。つまり、当該情報処理装置では、センサーが、異なる動作モードで兼用されている。従って、各動作モードの機能を実現するためにそれぞれ別個の部材を設ける構成と比較して、当該情報処理装置の構成の簡略化及び小型化が実現する。
本発明の他の態様に係る情報処理装置は、上述の態様に係る情報処理装置であって、前記第2モードにおいて前記第1信号に基づいて前記第2信号を生成する信号生成部を備え、前記送信部は、前記第2モードにおいて、前記第2信号を送信し、前記第2信号は、前記表示装置を操作する操作信号である、ことを特徴とする。
この態様によれば、ユーザーは、情報処理装置を装着した状態で、所定の動作を行うことで、当該情報処理装置を用いて表示装置を操作することができる。
この態様によれば、ユーザーは、情報処理装置を装着した状態で、所定の動作を行うことで、当該情報処理装置を用いて表示装置を操作することができる。
本発明の他の態様に係る情報処理装置は、上述の態様に係る情報処理装置であって、前記センサーは、加速度を検出する加速度センサーと、回転運動の角速度を検出するジャイロセンサーとのうち少なくとも一方を含み、前記第1部位は、前記ユーザーの手首を含む腕部位である、ことを特徴とする。
この態様によれば、情報処理装置は、例えば腕時計型やブレスレット型の装置であって、加速度センサーとジャイロセンサーとのうち少なくとも一方を備える、例えば生体情報計測装置である。すなわち、生体情報計測装置を、表示装置の操作部としても兼用できるため、ユーザーは、表示装置の操作部が設けられただけの装置を別途持ち運ぶ必要がない。
この態様によれば、情報処理装置は、例えば腕時計型やブレスレット型の装置であって、加速度センサーとジャイロセンサーとのうち少なくとも一方を備える、例えば生体情報計測装置である。すなわち、生体情報計測装置を、表示装置の操作部としても兼用できるため、ユーザーは、表示装置の操作部が設けられただけの装置を別途持ち運ぶ必要がない。
本発明の他の態様に係る表示システムは、ユーザーの第1部位に装着される情報処理装置と、前記ユーザーの第2部位に装着される表示装置と、を備える表示システムであって、前記情報処理装置は、前記ユーザーの動作に応じて第1信号を出力するセンサーと、前記動作に係る情報を算出するために前記第1信号を用いる第1モードと、前記表示装置への入力信号として前記第1信号を扱う第2モードとに、当該情報処理装置を設定可能なモード設定部と、前記第2モードにおいては、前記第1信号に基づいて生成した第2信号又は前記第1信号を送信部と、を備え、前記表示装置は、表示部と、前記第1信号又は前記第2信号を受信する受信部と、前記第1信号又は前記第2信号に基づいて前記表示部を制御する表示制御部と、を備える、ことを特徴とする。
この態様によれば、ユーザーの第2部位に装着される表示装置への入力信号が、当該ユーザーの第1部位に装着される情報処理装置で生成されて表示装置へ送信される。ここで、当該情報処理装置は、ユーザーの動作に係る情報を収集する装置として単体で当該ユーザーに利用され得る装置である。従って、当該情報処理装置のユーザーは、表示装置を使用する際に当該表示装置を操作するためだけの装置を必要としない。よって、表示装置を操作するためだけの装置を不要とした、携帯性に優れた表示システムが実現する。
また、情報処理装置が備えるセンサーは、第1モードにおいてはユーザーの動作に係る情報を収集するために用いられ、且つ、第2モードにおいては表示装置へ信号を入力するために用いられる。つまり、当該情報処理装置では、センサーが、複数の動作モードでそれぞれ異なる機能を担うように構成されているため、各動作モードの機能を実現するためにそれぞれ別個の部材を設ける必要がない。従って、各動作モードの機能を実現するためにそれぞれ別個の部材を設ける構成と比較して、当該情報処理装置の構成の簡略化及び小型化が実現する。
この態様によれば、ユーザーの第2部位に装着される表示装置への入力信号が、当該ユーザーの第1部位に装着される情報処理装置で生成されて表示装置へ送信される。ここで、当該情報処理装置は、ユーザーの動作に係る情報を収集する装置として単体で当該ユーザーに利用され得る装置である。従って、当該情報処理装置のユーザーは、表示装置を使用する際に当該表示装置を操作するためだけの装置を必要としない。よって、表示装置を操作するためだけの装置を不要とした、携帯性に優れた表示システムが実現する。
また、情報処理装置が備えるセンサーは、第1モードにおいてはユーザーの動作に係る情報を収集するために用いられ、且つ、第2モードにおいては表示装置へ信号を入力するために用いられる。つまり、当該情報処理装置では、センサーが、複数の動作モードでそれぞれ異なる機能を担うように構成されているため、各動作モードの機能を実現するためにそれぞれ別個の部材を設ける必要がない。従って、各動作モードの機能を実現するためにそれぞれ別個の部材を設ける構成と比較して、当該情報処理装置の構成の簡略化及び小型化が実現する。
本発明の他の態様に係る表示システムは、上述の態様に係る表示システムであって、前記第2信号は、前記表示装置を操作する操作信号であり、前記情報処理装置は、前記第2モードにおいて前記第1信号に基づいて前記第2信号を生成する信号生成部を含む、ことを特徴とする。
この態様によれば、ユーザーは、情報処理装置を装着した状態で、所定の動作を行うことで、情報処理装置を用いて表示装置を操作することができる。
この態様によれば、ユーザーは、情報処理装置を装着した状態で、所定の動作を行うことで、情報処理装置を用いて表示装置を操作することができる。
本発明の他の態様に係る表示システムは、上述の態様に係る表示システムであって、前記センサーは、加速度を検出する加速度センサーと、回転運動の角速度を検出するジャイロセンサーとのうち少なくとも一方を含む、ことを特徴とする。
この態様によれば、情報処理装置は、例えば腕時計型やブレスレット型の装置であって、加速度センサーとジャイロセンサーとのうち少なくとも一方を備える、例えば生体情報計測装置である。すなわち、生体情報計測装置を、表示装置の操作部としても兼用できるため、ユーザーは、表示装置の操作部が設けられただけの装置を別途持ち運ぶ必要がない。
この態様によれば、情報処理装置は、例えば腕時計型やブレスレット型の装置であって、加速度センサーとジャイロセンサーとのうち少なくとも一方を備える、例えば生体情報計測装置である。すなわち、生体情報計測装置を、表示装置の操作部としても兼用できるため、ユーザーは、表示装置の操作部が設けられただけの装置を別途持ち運ぶ必要がない。
本発明の他の態様に係る表示装置は、ユーザーの第1部位に装着される情報処理装置であって、前記ユーザーの動作に応じて第1信号を出力するセンサーと、前記動作に係る情報を算出するために前記第1信号を用いる第1モードと、前記ユーザーの第2部位に装着される表示装置への入力信号として前記第1信号を処理する第2モードと、に設定可能なモード設定部と、前記第2モードにおいて、前記第1信号に基づいて生成した第2信号又は前記第1信号を前記表示装置に送信する送信部と、を備える情報処理装置と通信可能な表示装置であって、前記第1信号又は前記第2信号を受信する受信部と、表示部と、前記第2モードにおいて、前記第1信号又は前記第2信号に基づいて前記表示部を制御する表示制御部と、を備えることを特徴とする。
この態様によれば、ユーザーの第2部位に装着される表示装置への入力信号が、当該ユーザーの第1部位に装着される情報処理装置で生成されて表示装置へ送信される。ここで、当該情報処理装置は、ユーザーの動作に係る情報を収集する装置として単体で当該ユーザーに利用され得る装置である。従って、当該情報処理装置のユーザーは、表示装置を使用する際に当該表示装置を操作するためだけの装置を必要としない。従って、情報処理装置と表示装置とを備える表示システムに、本態様の表示装置を適用することで、表示装置を操作するためだけの装置を不要とした、携帯性に優れた表示システムが実現し得る。
この態様によれば、ユーザーの第2部位に装着される表示装置への入力信号が、当該ユーザーの第1部位に装着される情報処理装置で生成されて表示装置へ送信される。ここで、当該情報処理装置は、ユーザーの動作に係る情報を収集する装置として単体で当該ユーザーに利用され得る装置である。従って、当該情報処理装置のユーザーは、表示装置を使用する際に当該表示装置を操作するためだけの装置を必要としない。従って、情報処理装置と表示装置とを備える表示システムに、本態様の表示装置を適用することで、表示装置を操作するためだけの装置を不要とした、携帯性に優れた表示システムが実現し得る。
以下、本発明の実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
図1は、本発明の実施形態に係る表示システム1の外観構成を示す外観斜視図である。本実施形態に係る表示システム1は、主にユーザーの手首(第1部位)に装着される生体情報計測装置3と、主にユーザーの頭部(第2部位)に装着される頭部装着型表示装置(以下、HMDという。))2と、を備える。HMD2は、ユーザーが虚像を視認すると同時に外景も直接視認可能な光学透過型HMDである。本実施形態に係る生体情報計測装置3は、いわゆるウェアラブル型の活動量計として機能すると共に、HMD2の操作部としても機能する。
図1に示す例では、HMD2は略眼鏡形状を有する。同図に示すように、HMD2は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、右イヤホン32と、左イヤホン34と、カメラ61と、加圧部62と、振動モーター63と、を備える。
右光学像表示部26及び左光学像表示部28は、HMD2の装着時におけるユーザーの右及び左の眼前に対応する位置に配置されている。右光学像表示部26の一端と、左光学像表示部28の一端は、それぞれ、HMD2の装着時におけるユーザーの眉間に対応する位置で接続されている。右光学像表示部26の他端である端部ERからは、右保持部21が延伸している。同様に、左光学像表示部28の他端である端部ELからは、左保持部23が延伸している。
右光学像表示部26及び左光学像表示部28は、HMD2の装着時におけるユーザーの右及び左の眼前に対応する位置に配置されている。右光学像表示部26の一端と、左光学像表示部28の一端は、それぞれ、HMD2の装着時におけるユーザーの眉間に対応する位置で接続されている。右光学像表示部26の他端である端部ERからは、右保持部21が延伸している。同様に、左光学像表示部28の他端である端部ELからは、左保持部23が延伸している。
右保持部21は、右光学像表示部26の端部ERから、HMD2の装着時におけるユーザーの側頭部に対応する位置にかけて、右光学像表示部26とほぼ直角をなすように延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の端部ELから、HMD2の装着時におけるユーザーの側頭部に対応する位置にかけて、左光学像表示部28とほぼ直角をなすように延伸して設けられた部材である。右保持部21と、左保持部23とは、眼鏡のテンプル(つる)のようにして、ユーザーの頭部にHMD2を保持する。
右表示駆動部22は、右保持部21の内側、換言すれば、HMD2の装着時におけるユーザーの頭部に対向する側であって、右光学像表示部26の端部ER側に配置されている。また、左表示駆動部24は、左保持部23の内側であって、左光学像表示部28の端部EL側に配置されている。
なお、以降では、右保持部21及び左保持部23を「保持部」と総称し、右表示駆動部22及び左表示駆動部24を「表示駆動部」と総称し、右光学像表示部26及び左光学像表示部28を「光学像表示部」と総称することがある。
なお、以降では、右保持部21及び左保持部23を「保持部」と総称し、右表示駆動部22及び左表示駆動部24を「表示駆動部」と総称し、右光学像表示部26及び左光学像表示部28を「光学像表示部」と総称することがある。
表示駆動部は、図示しないLCD(Liquid Crystal Display:液晶ディスプレイ)や、投写光学系等を含む。詳細は後述する。光学部材としての光学像表示部は、図示しない導光板と、調光板とを含んでいる。
導光板は、光透過性の樹脂材料等によって形成され、表示駆動部から取り込んだ画像光をユーザーの眼に向けて射出させる。
調光板は、薄板状の光学素子であり、HMD2の表側(ユーザーの眼の側とは反対の側)を覆うように配置されている。調光板は、導光板を保護し、導光板の損傷や、汚れの付着等を抑制するとともに、調光板の光透過率を調整することにより、ユーザーの眼に入る外光量を調整し、虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
導光板は、光透過性の樹脂材料等によって形成され、表示駆動部から取り込んだ画像光をユーザーの眼に向けて射出させる。
調光板は、薄板状の光学素子であり、HMD2の表側(ユーザーの眼の側とは反対の側)を覆うように配置されている。調光板は、導光板を保護し、導光板の損傷や、汚れの付着等を抑制するとともに、調光板の光透過率を調整することにより、ユーザーの眼に入る外光量を調整し、虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
カメラ61は、HMD2の装着時におけるユーザーの眉間に対応する位置に配置された撮像装置である。カメラ61は、HMD2の表側方向、換言すれば、ユーザーの眼の側とは反対側方向の外景(外部の景色)を撮像し、外景画像を取得する。本実施形態においては、カメラ61が取得した外景画像が「外界の情報」に相当する。また、カメラ61を「撮像装置」とも称する。なお、本実施形態におけるカメラ61は、単眼カメラとして例示するが、ステレオカメラを採用してもよい。
加圧部62は、右保持部21及び左保持部23の内側、換言すれば、HMD2の装着時におけるユーザーの頭部に対向する側であって、HMD2の装着時におけるユーザーの側頭部に対応する位置に配置されている。加圧部62は、伸縮可能な外側部材に空気を内包している。加圧部62は、内包された空気量を増減させることによって、自身の体積を増減することができる。HMD2がユーザーの頭部に装着された状態において、加圧部62は、自身の体積を増加させることによって、ユーザーの頭部へ圧力を加えること、換言すれば、ユーザーに対して触覚を通じた刺激を加えることができる。
なお、加圧部62の外側部材は、例えば、ゴムやポリウレタン等の肌当たりの良い材料により形成されることが好ましい。これにより、ヘッドマウントディスプレイ2の装着感を向上させることができる。
なお、加圧部62の外側部材は、例えば、ゴムやポリウレタン等の肌当たりの良い材料により形成されることが好ましい。これにより、ヘッドマウントディスプレイ2の装着感を向上させることができる。
振動モーター63は、加圧部62と同様に、右保持部21及び左保持部23の内側であって、HMD2の装着時におけるユーザーの側頭部に対応する位置に配置されている触覚刺激部である。振動モーター63は、モーターの軸に偏芯回転のための錘が設けられ、作動時に振動を発生することができる。HMD2がユーザーの頭部に装着された状態において、振動モーター63は、モーターを作動させることによって、ユーザーの頭部へ振動を加えること、換言すれば、ユーザーに対して触覚を通じた刺激を加えることができる。
また、右保持部21の下側であって、HMD2の装着時におけるユーザーの右耳に対応する位置には、右イヤホン32が配置されている。同様に、左保持部23の下側であって、HMD2の装着時におけるユーザーの左耳に対応する位置には、左イヤホン34が配置されている。
また、右保持部21の下側であって、HMD2の装着時におけるユーザーの右耳に対応する位置には、右イヤホン32が配置されている。同様に、左保持部23の下側であって、HMD2の装着時におけるユーザーの左耳に対応する位置には、左イヤホン34が配置されている。
生体情報計測装置3は、ユーザーに密着されて生体情報を検出する機器本体5と、機器本体5をユーザーに装着するためのバンド部7と、を有する。
ここで、生体情報計測装置3とHMD2とは無線通信可能に構成されている。詳細は後述するが、生体情報計測装置3はHMD2と無線通信を行うための無線通信部335(図3参照)を備え、HMD2は生体情報計測装置3と無線通信を行うための無線通信部110(図2参照)を備える。なお、生体情報計測装置3については、図3乃至図8を参照して後に詳述する。
ここで、生体情報計測装置3とHMD2とは無線通信可能に構成されている。詳細は後述するが、生体情報計測装置3はHMD2と無線通信を行うための無線通信部335(図3参照)を備え、HMD2は生体情報計測装置3と無線通信を行うための無線通信部110(図2参照)を備える。なお、生体情報計測装置3については、図3乃至図8を参照して後に詳述する。
図2は、HMD2のシステム構成を機能的に示すブロック図である。同図に示すように、HMD2は、右表示駆動部22と、左表示駆動部24と、無線通信部110と、記憶部120と、電源130と、CPU140と、インターフェイス180と、カメラ61と、加圧部62と、振動モーター63と、右イヤホン32と、左イヤホン34と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、を備える。
右表示駆動部22は、光源として機能する右バックライト(BL)制御部201及び右バックライト(BL)221と、表示素子として機能する右LCD制御部211及び右LCD241と、右投写光学系251とを備える。
なお、以降、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを、「右画像光生成部」と総称することがある。また、右投写光学系251と、右導光板261とを「右導光部」と総称することがある。
なお、以降、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを、「右画像光生成部」と総称することがある。また、右投写光学系251と、右導光板261とを「右導光部」と総称することがある。
右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する機能を有する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。
右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号Vsyncと、水平同期信号Hsyncと、右眼用画像データーData1とに基づいて、右LCD241を駆動する機能を有する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号Vsyncと、水平同期信号Hsyncと、右眼用画像データーData1とに基づいて、右LCD241を駆動する機能を有する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右LCD241はマトリクス状に配置された各画素位置に対応する液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表す有効な画像光PLへと変調する機能を有する。
なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。
右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつユーザーの右眼REに導く。なお、以降、右投写光学系251と右導光板261とを「導光部」と総称することがある。
右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつユーザーの右眼REに導く。なお、以降、右投写光学系251と右導光板261とを「導光部」と総称することがある。
左表示駆動部24は、光源として機能する左バックライト(BL)制御部202及び左バックライト(BL)222と、表示素子として機能する左LCD制御部212及び左LCD242と、左投写光学系252とを備える。
なお、以降、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242とを、「左画像光生成部」と総称することがある。また、左投写光学系252と、左導光板262とを「左導光部」と総称することがある。
ここで、右表示駆動部22と左表示駆動部24とは対になって構成されており、左表示駆動部24の各部は、上述した右表示駆動部22の各部と同様の構成及び動作であるため、説明の重複を避けるために詳細な説明は省略する。
なお、以降、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242とを、「左画像光生成部」と総称することがある。また、左投写光学系252と、左導光板262とを「左導光部」と総称することがある。
ここで、右表示駆動部22と左表示駆動部24とは対になって構成されており、左表示駆動部24の各部は、上述した右表示駆動部22の各部と同様の構成及び動作であるため、説明の重複を避けるために詳細な説明は省略する。
無線通信部110は、生体情報計測装置3から送信された操作信号を受信する。操作信号は、ユーザーによる操作入力に応じた信号である。CPU140は、この操作信号に基づいてHMD2の各部を制御する。なお、生体情報計測装置3による操作信号の生成に係る処理については、後に詳述する。
記憶部120は、図示しないROM、RAM、DRAM、ハードディスク等を含む記憶部である。また、記憶部120には、効果画像記憶部122が含まれている。詳細は後述する。
記憶部120は、図示しないROM、RAM、DRAM、ハードディスク等を含む記憶部である。また、記憶部120には、効果画像記憶部122が含まれている。詳細は後述する。
電源130は、ヘッドマウントディスプレイ2の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。
CPU140は、予めインストールされたプログラムを実行することで、オペレーティングシステム(ОS)150としての機能を提供する。また、CPU140は、ROMやハードディスクに格納されているファームウェアやコンピュータープログラムをRAMに展開して実行することにより、解析部142、演出部144、画像処理部160、音声処理部170、表示制御部190としても機能する。
CPU140は、予めインストールされたプログラムを実行することで、オペレーティングシステム(ОS)150としての機能を提供する。また、CPU140は、ROMやハードディスクに格納されているファームウェアやコンピュータープログラムをRAMに展開して実行することにより、解析部142、演出部144、画像処理部160、音声処理部170、表示制御部190としても機能する。
解析部142及び演出部144は、OS150からの演出処理開始要求や、特定のゲームアプリケーションからの演出処理開始要求をトリガーとして、演出処理(詳細は後述)を実行する。解析部142は、演出処理において、外界情報取得部として機能するカメラ61により取得された外界の情報を解析する。演出部144は、解析の結果に応じ、視覚効果のための効果画像を生成する。
画像処理部160は、後述の演出処理において指定された効果画像データーや、インターフェイス180を介して入力されるコンテンツ等に基づき、クロック信号PCLK、垂直同期信号Vsync、水平同期信号Hsync、画像データーDataを生成し、右表示駆動部22及び左表示駆動部24に供給する。
画像処理部160は、後述の演出処理において指定された効果画像データーや、インターフェイス180を介して入力されるコンテンツ等に基づき、クロック信号PCLK、垂直同期信号Vsync、水平同期信号Hsync、画像データーDataを生成し、右表示駆動部22及び左表示駆動部24に供給する。
指定された効果画像データーに基づいてクロック信号PCLK、垂直同期信号Vsync、水平同期信号Hsync、画像データーDataの供給を行う場合、画像処理部160は、デフォルト値として予め定められ、記憶部120内に格納された表示設定(Vsync、Hsyncなど)を取得する。
画像処理部160は、取得した表示設定に応じて、図示しないPLL(Phase Locked Loop)回路等を利用してクロック信号PCLKを生成する。その後、画像処理部160は、効果画像データーData(RGBデーター)を記憶部120内のDRAMに格納する。
画像処理部160は、取得した表示設定に応じて、図示しないPLL(Phase Locked Loop)回路等を利用してクロック信号PCLKを生成する。その後、画像処理部160は、効果画像データーData(RGBデーター)を記憶部120内のDRAMに格納する。
一方、コンテンツに基づいてクロック信号PCLK、垂直同期信号Vsync、水平同期信号Hsync、画像データーDataの供給を行う場合、まず、画像処理部160は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に、1秒あたり30枚のフレーム画像から構成されているアナログ信号である。
画像処理部160は、取得した画像信号から、垂直同期信号Vsyncや水平同期信号Hsync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号Vsyncや水平同期信号Hsyncの周期に応じて、図示しないPLL回路等を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、図示しないA/D変換回路等を用いてディジタル画像信号に変換する。その後、画像処理部160は、変換後のディジタル画像信号を、対象画像データーData(RGBデーター)として、1フレームごとに記憶部120内のDRAMに格納する。
画像処理部160は、取得した画像信号から、垂直同期信号Vsyncや水平同期信号Hsync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号Vsyncや水平同期信号Hsyncの周期に応じて、図示しないPLL回路等を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、図示しないA/D変換回路等を用いてディジタル画像信号に変換する。その後、画像処理部160は、変換後のディジタル画像信号を、対象画像データーData(RGBデーター)として、1フレームごとに記憶部120内のDRAMに格納する。
なお、効果画像データーやコンテンツがディジタル形式で与えられる場合は、クロック信号PCLKが画像信号に同期して出力されるため、垂直同期信号Vsync及び水平同期信号Hsync、アナログ画像信号のA/D変換は不要である。
また、以降では、効果画像データー及び対象画像データーを「画像データーData」と総称することがある。画像処理部160は、必要に応じて、記憶部120に格納された画像データーDataに対して、解像度変換処理、輝度や彩度の調整、拡大・縮小・角度調整等の画像補正処理といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
また、以降では、効果画像データー及び対象画像データーを「画像データーData」と総称することがある。画像処理部160は、必要に応じて、記憶部120に格納された画像データーDataに対して、解像度変換処理、輝度や彩度の調整、拡大・縮小・角度調整等の画像補正処理といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、上述のように生成されたクロック信号PCLK、垂直同期信号Vsync、水平同期信号Hsyncと、記憶部120内のDRAMに格納された画像データーDataとを出力する。
なお、右表示駆動部22に出力される画像データーDataを「右眼用画像データーData1」とも称し、左表示駆動部24に出力される画像データーDataを「左眼用画像データーData2」とも称する。
なお、右表示駆動部22に出力される画像データーDataを「右眼用画像データーData1」とも称し、左表示駆動部24に出力される画像データーDataを「左眼用画像データーData2」とも称する。
表示制御部190は、無線通信部110が受信した操作信号に基づいて、右表示駆動部22及び左表示駆動部24を制御する制御信号を生成する。すなわち、表示制御部190は、図2に示すように右LCD制御部211と左LCD制御部212とに対する制御信号とを出力する。また、表示制御部190は、図2に示すように右バックライト制御部201と左バックライト制御部202とに対する制御信号を出力する。
具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFF、などを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。
例えば、表示制御部190は、右表示駆動部22及び左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
なお、詳細は後述するが、無線通信部110が受信する操作信号は、生体情報計測装置3によって生成されて送信される。
具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFF、などを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。
例えば、表示制御部190は、右表示駆動部22及び左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
なお、詳細は後述するが、無線通信部110が受信する操作信号は、生体情報計測装置3によって生成されて送信される。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン32内の図示しないスピーカー及び左イヤホン34内の図示しないスピーカーに供給する。
インターフェイス180は、HMD2に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器ОAとしては、例えば、パーソナルコンピューターや携帯電話端末、ゲーム端末等がある。インターフェイス180としては、例えば、USBインターフェイスや、マイクロUSBインターフェイス、メモリーカード用インターフェイス、無線LANインターフェイス、Bluetooth(登録商標)等を備えることができる。
図3は、生体情報計測装置3のシステム構成の一例を示すブロック図である。同図に示すように、生体情報計測装置3は、電源回路324、表示部320、フラッシュROM334、アンテナ330、無線通信部335、報知部329、ライト337、加速度センサー338、ジャイロセンサー359、水晶発振回路339、リセット回路341、記憶部360、及び操作ボタン351〜354が、MCU336に接続されて設けられている。
表示部320は、例えばバックライト付きの液晶パネルであり、機器本体5のパネル枠(不図示)に保持されている。
MCU336は、内部にプログラムを記憶するメモリーを備えており、生体情報計測装置3の各部の制御を行う他、時刻情報の生成処理、ユーザーの生体情報の計測処理、及び、HMD2に対する操作入力の検出処理などを行うようになっている。
MCU336は、内部にプログラムを記憶するメモリーを備えており、生体情報計測装置3の各部の制御を行う他、時刻情報の生成処理、ユーザーの生体情報の計測処理、及び、HMD2に対する操作入力の検出処理などを行うようになっている。
また、MCU336は、生体情報計測装置3の動作モードを切り替える処理を行うモード設定部としても機能する。本実施形態に係る生体情報計測装置3は、少なくとも、第1のモードである「生体情報計測モード」と、第2のモードである「HMD操作モード」との2つの動作モードを有する。
「生体情報計測モード」は、加速度センサー338及びジャイロセンサー359から出力される検出信号(第1信号)を、生体情報の計測に用いる動作モードである。
「HMD操作モード」は、加速度センサー338及びジャイロセンサー359から出力される検出信号を、HMD2に対する操作入力として扱う動作モードである。
「生体情報計測モード」は、加速度センサー338及びジャイロセンサー359から出力される検出信号(第1信号)を、生体情報の計測に用いる動作モードである。
「HMD操作モード」は、加速度センサー338及びジャイロセンサー359から出力される検出信号を、HMD2に対する操作入力として扱う動作モードである。
加速度センサー338は、3軸(X軸、Y軸、Z軸)方向の加速度をそれぞれ検出するセンサーであり、各軸方向の加速度に応じた検出信号をそれぞれ出力する。図4は、3軸方向の一例を示す図である。同図に示す例では、表示部320の表示面に垂直な方向をZ軸方向とし、該Z軸方向に対して垂直で且つ互いに垂直な2軸の方向(バンド部7の幅方向とそれに垂直な方向)を、X軸方向とY軸方向としている。
加速度センサー338は重力加速度を検出するところ、MCU336は、加速度センサー338により検出された重力加速度に基づいて、生体情報計測装置3の姿勢を検出する。
ここで生体情報計測装置3の姿勢とは、例えば、基準姿勢(以下、「ホームポジション」という。)に対する傾き具合であり、HMD操作モードでは当該生体情報計測装置3の姿勢を変化させるなどしてHMD2を操作する。詳細は後述するが、「ホームポジション」は、ユーザーにより設定され、HMD操作モードにおける操作信号の生成処理にて用いられる。
ここで生体情報計測装置3の姿勢とは、例えば、基準姿勢(以下、「ホームポジション」という。)に対する傾き具合であり、HMD操作モードでは当該生体情報計測装置3の姿勢を変化させるなどしてHMD2を操作する。詳細は後述するが、「ホームポジション」は、ユーザーにより設定され、HMD操作モードにおける操作信号の生成処理にて用いられる。
生体情報計測モードは、当該生体情報計測装置3が例えば活動量計として機能する動作モードである。すなわち生体情報計測モードでは、MCU336は、例えばユーザーの消費カロリー、運動時間、及び歩数などの種々の情報を、加速度センサー338及びジャイロセンサー359から出力された検出信号に基づいて算出する。
なお、本実施形態に係る表示システム1の特徴部の1つは、加速度センサー338及びジャイロセンサー359を、生体情報計測モードでは生体情報を計測するためのセンサーとして用い、且つ、HMD操作モードにおいてはHMD2に対するユーザーの操作入力を検出するためのセンサーとして用いることにある。ここで、生体情報計測モードにおける生体情報の計測処理自体は、加速度センサーとジャイロセンサーとを備える従来の活動量計(生体情報計測装置)と同様であるので、ここでは詳細な説明は省略する。
ジャイロセンサー359は、回転運動の角速度を検出するセンサーであり、角速度に応じた検出信号(第1信号)を出力する。ジャイロセンサー359は、「初期動作」及び「終了動作」を検出するために用いられる。
「初期動作」とは、生体情報計測装置3を、生体情報計測モードからHMD操作モードへ移行させるためのユーザーの動作である。
「終了動作」とは、生体情報計測装置3を、HMD操作モードから生体情報計測モードへ移行させるためのユーザーの動作である。
具体的には、初期動作及び終了動作の一例としては、例えばユーザーが生体情報計測装置3を装着した腕で行う所定の捻り動作を挙げることができる。すなわち、当該生体情報計測装置3が生体情報計測モードに設定された状態で、ユーザーが、生体情報計測装置3を装着した腕で所定の捻り動作を行うと、MCU336は当該生体情報計測装置3をHMD操作モードへ移行させる。
また、当該生体情報計測装置3がHMD操作モードに設定された状態で、ユーザーが、生体情報計測装置3を装着した腕で所定の捻り動作を行うと、MCU336は、当該生体情報計測装置3を生体情報計測モードへ移行させる。
「初期動作」とは、生体情報計測装置3を、生体情報計測モードからHMD操作モードへ移行させるためのユーザーの動作である。
「終了動作」とは、生体情報計測装置3を、HMD操作モードから生体情報計測モードへ移行させるためのユーザーの動作である。
具体的には、初期動作及び終了動作の一例としては、例えばユーザーが生体情報計測装置3を装着した腕で行う所定の捻り動作を挙げることができる。すなわち、当該生体情報計測装置3が生体情報計測モードに設定された状態で、ユーザーが、生体情報計測装置3を装着した腕で所定の捻り動作を行うと、MCU336は当該生体情報計測装置3をHMD操作モードへ移行させる。
また、当該生体情報計測装置3がHMD操作モードに設定された状態で、ユーザーが、生体情報計測装置3を装着した腕で所定の捻り動作を行うと、MCU336は、当該生体情報計測装置3を生体情報計測モードへ移行させる。
なお、ジャイロセンサー359を、ユーザーの体動を検出するためにも用いてもよい。また、加速度センサー338とジャイロセンサー359との双方の検出結果を併用してユーザーの体動を検出してもよい。さらには、加速度センサー338とジャイロセンサー359との双方の検出結果を併用してHMD2に対する操作入力を検出してもよい。
フラッシュROM334には、例えば時差情報が記憶されている。時差情報は、時差データ(座標値(例えば、緯度及び経度)に関連付けられたUTCに対する補正量等)が定義された情報である。
アンテナ330は、例えば1.5GHz帯の衛星信号から航法メッセージに含まれる衛星軌道情報、GPS時刻情報、あるいは位置情報等の衛星情報を取得する処理を行う。
る。
アンテナ330は、例えば1.5GHz帯の衛星信号から航法メッセージに含まれる衛星軌道情報、GPS時刻情報、あるいは位置情報等の衛星情報を取得する処理を行う。
る。
無線通信部335は、生体情報計測装置3とHMD2との無線通信を行い、後述する操作信号をHMD2に送信する。また、無線通信部335は、パーソナルコンピューターなどとの無線通信を行い、生体情報計測装置3に記憶したログデータ等をパーソナルコンピューターなどに送信する。具体的には、無線通信部335は、例えばHMD操作モードにてMCU336により生成された操作信号を、HMD2に送信する。
ライト337は、ユーザーによる操作ボタンの操作により、表示部320に光を照射して、夜間などにユーザーによる視認を容易にするために用いられる。
水晶発振回路339は、温度補償回路付きの水晶発振回路であり、温度に関係なくほぼ一定の周波数の基準クロック信号を生成する。
リセット回路341は、ユーザーによる所定の操作に応じて、生体情報計測装置3の計測状態をリセットさせるために用いられる。
ライト337は、ユーザーによる操作ボタンの操作により、表示部320に光を照射して、夜間などにユーザーによる視認を容易にするために用いられる。
水晶発振回路339は、温度補償回路付きの水晶発振回路であり、温度に関係なくほぼ一定の周波数の基準クロック信号を生成する。
リセット回路341は、ユーザーによる所定の操作に応じて、生体情報計測装置3の計測状態をリセットさせるために用いられる。
操作ボタン351〜354は、例えば表示部320における表示内容の切り替えや種々の設定などの、当該生体情報計測装置3に対する各種操作入力を行うための操作部材である。
具体的には、例えば図4に示すように、操作ボタン351,352は機器本体5の側面において、外方に向けて突出して設けられている。なお、図4には図示していないが、操作ボタン351,352が設けられた側面とは逆側の側面には、操作ボタン353,354が同様に外方に向けて突出して設けられている。
具体的には、例えば図4に示すように、操作ボタン351,352は機器本体5の側面において、外方に向けて突出して設けられている。なお、図4には図示していないが、操作ボタン351,352が設けられた側面とは逆側の側面には、操作ボタン353,354が同様に外方に向けて突出して設けられている。
説明を図3に戻す。報知部329は、例えば振動や音声などにより、ユーザーに警告などを報知する装置である。具体的には、振動により警告を報知する装置としては、例えば偏心のある回転分銅部分を有する装置であって、当該回転分銅部分が回転することで振動を生じる装置を挙げることができる。また、音声により警告を報知する装置としては、例えばブザーやスピーカーなどを挙げることができる。
二次電池328は、充電可能なボタン型のリチウム二次電池であり、両極の端子が回路基板(不図示)に接続され、電源を制御する電源回路324に電圧を印加する。電源回路324は、印加された電圧を所定の電圧に変換するなどして各回路へ供給してそれらを動作させる。なお、ここでは電池として二次電池328を用いる例を説明したが、充電が不要な一次電池を用いてもよい。
電源回路324は、接続端子(不図示)を介してACアダプタ342と接続された場合、二次電池328を充電する。二次電池328は、表示部320やアンテナ330などに駆動電力を供給する。
電源回路324は、接続端子(不図示)を介してACアダプタ342と接続された場合、二次電池328を充電する。二次電池328は、表示部320やアンテナ330などに駆動電力を供給する。
図5は、HMD操作モードに係る処理のフローチャートを示す図である。
本実施形態に係る生体情報計測装置3は、通常、生体情報計測モードに設定され、生体情報の計測処理などを実行する。なお、生体情報計測モードにおける処理自体は本実施形態に特有の処理ではないため不図示とし、説明も省略する。
本実施形態に係る生体情報計測装置3は、生体情報計測モードに設定されているときに、HMD操作モードで用いるホームポジションの設定が行われると(ステップS1)、HMD操作モードに係る処理を開始する。
図6は、ステップS1のサブルーチン(ホームポジションの設定処理のフローチャート)を示す図である。すなわち、MCU336は、「ホームポジションを設定するための所定の動作」を示す検出信号が加速度センサー338から出力されると(ステップS101)、その時点での生体情報計測装置3の姿勢を算出すると共に当該姿勢をホームポジションとして設定する(ステップS102)。なお、生体情報計測装置3の姿勢は、加速度センサー338の出力を参照して求まる重力加速度ベクトルに基づいて算出される。
ここで、「ホームポジションを設定するための所定の動作」とは、例えば、表示部320をZ軸方向にn(例えばn=2)回だけタップする動作(軽く叩くような動作)である。
本実施形態に係る生体情報計測装置3は、通常、生体情報計測モードに設定され、生体情報の計測処理などを実行する。なお、生体情報計測モードにおける処理自体は本実施形態に特有の処理ではないため不図示とし、説明も省略する。
本実施形態に係る生体情報計測装置3は、生体情報計測モードに設定されているときに、HMD操作モードで用いるホームポジションの設定が行われると(ステップS1)、HMD操作モードに係る処理を開始する。
図6は、ステップS1のサブルーチン(ホームポジションの設定処理のフローチャート)を示す図である。すなわち、MCU336は、「ホームポジションを設定するための所定の動作」を示す検出信号が加速度センサー338から出力されると(ステップS101)、その時点での生体情報計測装置3の姿勢を算出すると共に当該姿勢をホームポジションとして設定する(ステップS102)。なお、生体情報計測装置3の姿勢は、加速度センサー338の出力を参照して求まる重力加速度ベクトルに基づいて算出される。
ここで、「ホームポジションを設定するための所定の動作」とは、例えば、表示部320をZ軸方向にn(例えばn=2)回だけタップする動作(軽く叩くような動作)である。
なお、「ホームポジションを設定するための所定の動作」が行われなくとも、操作ボタン351〜354のうち少なくともいずれか1つの操作ボタンを用いた「ホームポジションを設定する所定の操作」が行われた場合には、ステップS102の処理を実行し、図5に示すステップS2の処理へ移行する。
ホームポジションの設定が完了すると、MCU336は、ジャイロセンサー359から出力される検出信号に基づいて、所定時間内に、上述した初期動作が成されたか否かを判定する(ステップS2)。ステップS2の判定結果が否定の場合、換言すれば所定時間内に初期動作が成されなかった場合、MCU336は、当該生体情報計測装置3の動作モードを、生体情報計測モードに維持する。
ステップS2の判定結果が肯定の場合、換言すれば所定時間内に初期動作が成された場合、MCU336は、当該生体情報計測装置3の動作モードをHMD操作モードに移行させる(ステップS3)。
ステップS3の処理で生体情報計測装置3をHMD操作モードに移行させた後、MCU336は、ホームポジションに対応する検出信号とは異なる検出信号が加速度センサー338から出力されたか否かを判定する(ステップS4)。
ステップS4の判定結果が否定の場合、換言すればホームポジションに対応する検出信号が加速度センサー338から出力されている(生体情報計測装置3がホームポジションにある)場合、MCU336は、HMD操作モードに移行した時点から所定時間が経過したか否かを判定する(ステップS8)。
ステップS8の判定結果が肯定の場合、換言すればHMD操作モードに移行した時点から所定時間が経過している場合、MCU336は、当該生体情報計測装置3の動作モードを、生体情報計測モードに移行させる。他方、ステップS8の判定結果が否定の場合、換言すればHMD操作モードに移行した時点から所定時間が経過していない場合、ステップS4の処理に戻る。
つまり、ステップS4及びステップS8の処理は、HMD操作モードに移行した時点から所定時間内に、ホームポジションから姿勢の変化が生じない場合には、当該生体情報計測装置3の動作モードを、生体情報計測モードに戻す処理である。この処理は、ユーザーにHMD2の操作を行う意思がないと考えられる場合には、動作モードを生体情報計測モードに戻す方がより利便性が高まることを鑑みた処理である。
ステップS3の処理で生体情報計測装置3をHMD操作モードに移行させた後、MCU336は、ホームポジションに対応する検出信号とは異なる検出信号が加速度センサー338から出力されたか否かを判定する(ステップS4)。
ステップS4の判定結果が否定の場合、換言すればホームポジションに対応する検出信号が加速度センサー338から出力されている(生体情報計測装置3がホームポジションにある)場合、MCU336は、HMD操作モードに移行した時点から所定時間が経過したか否かを判定する(ステップS8)。
ステップS8の判定結果が肯定の場合、換言すればHMD操作モードに移行した時点から所定時間が経過している場合、MCU336は、当該生体情報計測装置3の動作モードを、生体情報計測モードに移行させる。他方、ステップS8の判定結果が否定の場合、換言すればHMD操作モードに移行した時点から所定時間が経過していない場合、ステップS4の処理に戻る。
つまり、ステップS4及びステップS8の処理は、HMD操作モードに移行した時点から所定時間内に、ホームポジションから姿勢の変化が生じない場合には、当該生体情報計測装置3の動作モードを、生体情報計測モードに戻す処理である。この処理は、ユーザーにHMD2の操作を行う意思がないと考えられる場合には、動作モードを生体情報計測モードに戻す方がより利便性が高まることを鑑みた処理である。
ステップS4の判定結果が肯定の場合、MCU336は、加速度センサー338から出力された検出信号に基づいて、HMD2の操作信号を生成する(ステップS5)。
以下、検出信号から操作信号を生成する処理の一例を説明する。ここでは、当該生体情報計測装置3を用いて、HMD2の光学像表示部(図1に示す右光学像表示部26及び左光学像表示部28)に表示されたカーソルを操作する例を説明する。
以下、検出信号から操作信号を生成する処理の一例を説明する。ここでは、当該生体情報計測装置3を用いて、HMD2の光学像表示部(図1に示す右光学像表示部26及び左光学像表示部28)に表示されたカーソルを操作する例を説明する。
図7は、ステップS5のサブルーチン(検出信号に基づく操作信号の生成処理のフローチャート)を示す図である。まず、MCU336は、加速度センサー338から出力された検出信号から、HMD2への操作入力の内容を特定する(ステップS501)。
具体的には、MCU336は、検出信号に基づいて、ホームポジションに対する生体情報計測装置3の傾きの方向及び大きさを算出し、該算出結果からHMD2に対する操作入力の内容を特定する。この処理には、例えば、生体情報計測装置3の傾きの方向/大きさと、それに対応するHMD2の操作内容とが対応付けられて成るテーブルが参照される。
具体的には、MCU336は、検出信号に基づいて、ホームポジションに対する生体情報計測装置3の傾きの方向及び大きさを算出し、該算出結果からHMD2に対する操作入力の内容を特定する。この処理には、例えば、生体情報計測装置3の傾きの方向/大きさと、それに対応するHMD2の操作内容とが対応付けられて成るテーブルが参照される。
図8は、HMD2の各光学像表示部26,28に表示されたカーソル700の操作を説明する図である。
本実施形態では、ホームポジションに対する生体情報計測装置3の傾きに応じてカーソル700が移動するところ、ホームポジションに対する傾きの方向と、カーソル700の移動の方向とは次のように対応付けられている。
表示部320が、Y軸方向(図4参照)のプラス側を向くように傾けられたとき、カーソル700は矢印d1の方向へ移動する。
表示部320が、Y軸方向のマイナス側を向くように傾けられたとき、カーソル700は矢印d2の方向へ移動する。
表示部320が、X軸方向(図4参照)のプラス側を向くように傾けられたとき、カーソル700は矢印d3の方向へ移動する。
表示部320が、X軸方向のマイナスを向くように傾けられたとき、カーソル700は矢印d4の方向へ移動する。
本実施形態では、ホームポジションに対する生体情報計測装置3の傾きに応じてカーソル700が移動するところ、ホームポジションに対する傾きの方向と、カーソル700の移動の方向とは次のように対応付けられている。
表示部320が、Y軸方向(図4参照)のプラス側を向くように傾けられたとき、カーソル700は矢印d1の方向へ移動する。
表示部320が、Y軸方向のマイナス側を向くように傾けられたとき、カーソル700は矢印d2の方向へ移動する。
表示部320が、X軸方向(図4参照)のプラス側を向くように傾けられたとき、カーソル700は矢印d3の方向へ移動する。
表示部320が、X軸方向のマイナスを向くように傾けられたとき、カーソル700は矢印d4の方向へ移動する。
カーソル700の移動速度については、ホームポジションに対する傾きの角度が大きくなるほど大きくなるように、MCU336によって制御される。
また、本実施形態では、Z軸方向(図4参照)に生体情報計測装置3をタップする動作(軽く叩くような動作)は、その時点におけるカーソル700の位置でのクリック操作に対応する。
ステップS501の処理を完了すると、MCU336は、ステップS501での特定結果に対応する操作信号を生成する(ステップS502)。
そして、MCU336は、生成した操作信号を、無線通信部335によりHMD2に送信する(ステップS6)。また、MCU336は、ジャイロセンサー359から出力された検出信号に基づいて、上述の終了動作が成されたか否かを判定する(ステップS7)。
ステップS7の判定結果が肯定の場合、換言すれば終了動作が成された場合には、MCU336は、当該生体情報計測装置3の動作モードを、生体情報計測モードに移行させる。他方、ステップS7の判定結果が否定の場合、ステップS4の処理へ戻り、HMD操作モードの処理を継続して実行する。
従って、終了動作が成されず、且つ、ホームポジションに対応する検出信号とは異なる検出信号が加速度センサー338から出力されている限り、当該検出信号に対応する操作信号が生成されてHMD2に送信され続ける。
また、本実施形態では、Z軸方向(図4参照)に生体情報計測装置3をタップする動作(軽く叩くような動作)は、その時点におけるカーソル700の位置でのクリック操作に対応する。
ステップS501の処理を完了すると、MCU336は、ステップS501での特定結果に対応する操作信号を生成する(ステップS502)。
そして、MCU336は、生成した操作信号を、無線通信部335によりHMD2に送信する(ステップS6)。また、MCU336は、ジャイロセンサー359から出力された検出信号に基づいて、上述の終了動作が成されたか否かを判定する(ステップS7)。
ステップS7の判定結果が肯定の場合、換言すれば終了動作が成された場合には、MCU336は、当該生体情報計測装置3の動作モードを、生体情報計測モードに移行させる。他方、ステップS7の判定結果が否定の場合、ステップS4の処理へ戻り、HMD操作モードの処理を継続して実行する。
従って、終了動作が成されず、且つ、ホームポジションに対応する検出信号とは異なる検出信号が加速度センサー338から出力されている限り、当該検出信号に対応する操作信号が生成されてHMD2に送信され続ける。
以上説明したように、本発明の実施形態によれば、表示装置であるHMD2と、その操作部として機能する情報処理装置(生体情報計測装置3)とを備える表示システム1の携帯性及び操作性が向上する。
すなわち、本実施形態に係る表示システム1によれば、HMD2の操作部を当該HMD2とは別体の装置として設ける構成であっても、操作部として、ユーザーに常時装着され得る生体情報計測装置3を用いるため、別体の装置を持ち運ぶことの煩わしさが解消され、携帯性が向上する。
また、HMD2の操作部の機能を、生体情報計測装置3が元々備えるセンサー(加速度センサー及びジャイロセンサー)に担わせるため、当該生体情報計測装置3の構成の複雑化及び大型化が防止される。
さらには、生体情報計測装置3は、単独で独自の機能を有する腕時計型の装置であるため、ユーザーが当該生体情報計測装置3を常時装着することにつき負担を感じることもなく、持ち運び忘れや紛失の虞も低減する。
すなわち、本実施形態に係る表示システム1によれば、HMD2の操作部を当該HMD2とは別体の装置として設ける構成であっても、操作部として、ユーザーに常時装着され得る生体情報計測装置3を用いるため、別体の装置を持ち運ぶことの煩わしさが解消され、携帯性が向上する。
また、HMD2の操作部の機能を、生体情報計測装置3が元々備えるセンサー(加速度センサー及びジャイロセンサー)に担わせるため、当該生体情報計測装置3の構成の複雑化及び大型化が防止される。
さらには、生体情報計測装置3は、単独で独自の機能を有する腕時計型の装置であるため、ユーザーが当該生体情報計測装置3を常時装着することにつき負担を感じることもなく、持ち運び忘れや紛失の虞も低減する。
[第1変形例]
上述した一実施形態に係る表示システム1においては、生体情報計測装置3が検出信号(第1信号)から操作信号(第2信号)を生成し、当該操作信号をHMD2に送信する構成としている。しかしながら、生体情報計測装置3がHMD2へ検出信号を送信し、HMD2が検出信号から操作信号を生成する構成としてもよい。
つまり、HMD2が、検出信号に基づいて生成された操作信号によって操作され得る構成であればよく、操作信号を生成する装置は生体情報計測装置3に限られない。
上述した一実施形態に係る表示システム1においては、生体情報計測装置3が検出信号(第1信号)から操作信号(第2信号)を生成し、当該操作信号をHMD2に送信する構成としている。しかしながら、生体情報計測装置3がHMD2へ検出信号を送信し、HMD2が検出信号から操作信号を生成する構成としてもよい。
つまり、HMD2が、検出信号に基づいて生成された操作信号によって操作され得る構成であればよく、操作信号を生成する装置は生体情報計測装置3に限られない。
[第2変形例]
上述した一実施形態に係る表示システム1においては、常時装着の負担を軽減する観点から、生体情報計測装置3の一例として腕時計型を例示して説明した。しかしながら、本発明に係る生体情報計測装置3に計時機能は必須の機能ではなく、計時機能を有しなくとも、ユーザーが常時装着することにつき負担を感じない装置であればよい。すなわち、本発明に係る生体情報計測装置3は、腕時計型に限定されず、例えばブレスレット型であってもよい。ブレスレット型は、計時機能などを有しない点で、上述した腕時計型と相違する。
上述した一実施形態に係る表示システム1においては、常時装着の負担を軽減する観点から、生体情報計測装置3の一例として腕時計型を例示して説明した。しかしながら、本発明に係る生体情報計測装置3に計時機能は必須の機能ではなく、計時機能を有しなくとも、ユーザーが常時装着することにつき負担を感じない装置であればよい。すなわち、本発明に係る生体情報計測装置3は、腕時計型に限定されず、例えばブレスレット型であってもよい。ブレスレット型は、計時機能などを有しない点で、上述した腕時計型と相違する。
[第3変形例]
上述した一実施形態に係る表示システム1においては、ホームポジションに対する生体情報計測装置3の姿勢を変化させたり、生体情報計測装置3をタップしたりすることでHMD2を操作する構成としている。
しかしながら、加速度センサー338やジャイロセンサー359から出力される検出信号に基づいて特定の一連の動作を検出し、該一連の動作に対応する操作信号を生成する、いわゆる「ジェスチャー操作」を可能に構成してもよい。例えば、生体情報計測装置3を装着した腕を前に水平に伸ばした後、肘を曲げて左に移動させるといった一連の動作がジェスチャー操作に該当する。
上述した一実施形態に係る表示システム1においては、ホームポジションに対する生体情報計測装置3の姿勢を変化させたり、生体情報計測装置3をタップしたりすることでHMD2を操作する構成としている。
しかしながら、加速度センサー338やジャイロセンサー359から出力される検出信号に基づいて特定の一連の動作を検出し、該一連の動作に対応する操作信号を生成する、いわゆる「ジェスチャー操作」を可能に構成してもよい。例えば、生体情報計測装置3を装着した腕を前に水平に伸ばした後、肘を曲げて左に移動させるといった一連の動作がジェスチャー操作に該当する。
[第4変形例]
上述した一実施形態に係る表示システム1においては、HMD2を操作するための装置として生体情報計測装置3を用いているが、HMD2を操作するための装置は生体情報を計測する機能を有していなくてもよく、例えばGPSウォッチと称される腕時計型装置やスマートウォッチと称される腕時計型装置であってもよい。
上述した一実施形態に係る表示システム1においては、HMD2を操作するための装置として生体情報計測装置3を用いているが、HMD2を操作するための装置は生体情報を計測する機能を有していなくてもよく、例えばGPSウォッチと称される腕時計型装置やスマートウォッチと称される腕時計型装置であってもよい。
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また生体情報計測装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
[第5変形例]
[第5変形例]
上述した一実施形態に係る表示システム1においては、HMD2には無線通信部110が設けられ、生体情報計測装置3には無線通信部335が設けられ、両者が無線通信を行うように構成されているが、通信手段は無線に限られず、例えば有線通信を行うように両者を構成してもよい。
このように構成した場合、HMD2と生体情報計測装置3とを通信可能に接続する接続部材(例えば通信ケーブルなど)として、電力伝送可能な接続部材を用いることで、両者間で、通信に加えて電力伝送も可能となる。これにより、HMD2及び生体情報計測装置3のうち少なくとも一方に電源を設ければ、当該一方から他方への電力伝送が可能となるので、電源を両者で共有できる。従って、HMD2又は生体情報計測装置3の構成のさらなる簡略化が実現する。特にHMD2において電源130を不要とする構成は、HMD2の装着性をよりいっそう向上させるものとなる。
このように構成した場合、HMD2と生体情報計測装置3とを通信可能に接続する接続部材(例えば通信ケーブルなど)として、電力伝送可能な接続部材を用いることで、両者間で、通信に加えて電力伝送も可能となる。これにより、HMD2及び生体情報計測装置3のうち少なくとも一方に電源を設ければ、当該一方から他方への電力伝送が可能となるので、電源を両者で共有できる。従って、HMD2又は生体情報計測装置3の構成のさらなる簡略化が実現する。特にHMD2において電源130を不要とする構成は、HMD2の装着性をよりいっそう向上させるものとなる。
1…表示システム、2…HMD、3…生体情報計測装置、5…機器本体、7…バンド部、21…右保持部、22…右表示駆動部、23…左保持部、24…左表示駆動部、26…右光学像表示部、28…左光学像表示部、32…右イヤホン、34…左イヤホン、53…受信部、61…カメラ、62…加圧部、63…振動モーター、110…無線通信部、120…記憶部、122…効果画像記憶部、130…電源、142…解析部、144…演出部、160…画像処理部、170…音声処理部、180…インターフェイス、190…表示制御部、201…右BL制御部、201…右バックライト制御部、202…左LCD制御部、202…左バックライト制御部、211…右LCD制御部、212…左BL制御部、221…右バックライト、222…左バックライト、251…右投写光学系、252…左投写光学系、261…右導光板、262…左導光板、320…表示部、324…電源回路、328…二次電池、329…報知部、330…アンテナ、335…無線通信部、337…ライト、338…加速度センサー、339…水晶発振回路、341…リセット回路、342…アダプタ、351〜354…操作ボタン、359…ジャイロセンサー、360…記憶部、700…カーソル、241…右LCD、242…左LCD、334…フラッシュROM。
Claims (7)
- ユーザーの第1部位に装着される情報処理装置であって、
前記ユーザーの動作に応じて第1信号を出力するセンサーと、
前記動作に係る情報を算出するために前記第1信号を用いる第1モードと、前記ユーザーの第2部位に装着される表示装置への入力信号として前記第1信号を扱う第2モードとに当該情報処理装置を設定可能なモード設定部と、
前記第2モードにおいて、前記第1信号に基づいて生成した第2信号又は前記第1信号を前記表示装置に送信する送信部と、
を備えることを特徴とする情報処理装置。 - 前記第2モードにおいて前記第1信号に基づいて前記第2信号を生成する信号生成部を備え、
前記送信部は、前記第2モードにおいて、前記第2信号を送信し、
前記第2信号は、前記表示装置を操作する操作信号である、
ことを特徴とする請求項1に記載の情報処理装置。 - 前記センサーは、加速度を検出する加速度センサーと、回転運動の角速度を検出するジャイロセンサーとのうち少なくとも一方を含み、
前記第1部位は、前記ユーザーの手首を含む腕部位である、
ことを特徴とする請求項2に記載の情報処理装置。 - ユーザーの第1部位に装着される情報処理装置と、前記ユーザーの第2部位に装着される表示装置と、を備える表示システムであって、
前記情報処理装置は、
前記ユーザーの動作に応じて第1信号を出力するセンサーと、
前記動作に係る情報を算出するために前記第1信号を用いる第1モードと、前記表示装置への入力信号として前記第1信号を扱う第2モードとに、当該情報処理装置を設定可能なモード設定部と、
前記第2モードにおいては、前記第1信号に基づいて生成した第2信号又は前記第1信号を送信部と、を備え、
前記表示装置は、
表示部と、
前記第1信号又は前記第2信号を受信する受信部と、
前記第1信号又は前記第2信号に基づいて前記表示部を制御する表示制御部と、を備える、
ことを特徴とする表示システム。 - 前記第2信号は、前記表示装置を操作する操作信号であり、
前記情報処理装置は、前記第2モードにおいて前記第1信号に基づいて前記第2信号を生成する信号生成部を含む、
ことを特徴とする請求項4に記載の表示システム。 - 前記センサーは、加速度を検出する加速度センサーと、回転運動の角速度を検出するジャイロセンサーとのうち少なくとも一方を含む、
ことを特徴とする請求項4又は5に記載の表示システム。 - ユーザーの第1部位に装着される情報処理装置であって、
前記ユーザーの動作に応じて第1信号を出力するセンサーと、
前記動作に係る情報を算出するために前記第1信号を用いる第1モードと、前記ユーザーの第2部位に装着される表示装置への入力信号として前記第1信号を処理する第2モードと、に設定可能なモード設定部と、
前記第2モードにおいて、前記第1信号に基づいて生成した第2信号又は前記第1信号を前記表示装置に送信する送信部と、を備える情報処理装置と通信可能な表示装置であって、
前記第1信号又は前記第2信号を受信する受信部と、
表示部と、
前記第2モードにおいて、前記第1信号又は前記第2信号に基づいて前記表示部を制御する表示制御部と、
を備えることを特徴とする表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014217021A JP2016085554A (ja) | 2014-10-24 | 2014-10-24 | 情報処理装置、表示装置、及び表示システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014217021A JP2016085554A (ja) | 2014-10-24 | 2014-10-24 | 情報処理装置、表示装置、及び表示システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016085554A true JP2016085554A (ja) | 2016-05-19 |
Family
ID=55973737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014217021A Pending JP2016085554A (ja) | 2014-10-24 | 2014-10-24 | 情報処理装置、表示装置、及び表示システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016085554A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019059044A1 (ja) * | 2017-09-20 | 2019-03-28 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
WO2023157121A1 (ja) * | 2022-02-16 | 2023-08-24 | マクセル株式会社 | 情報処理装置および情報処理システム |
-
2014
- 2014-10-24 JP JP2014217021A patent/JP2016085554A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019059044A1 (ja) * | 2017-09-20 | 2019-03-28 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
JPWO2019059044A1 (ja) * | 2017-09-20 | 2020-10-15 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
US11199946B2 (en) | 2017-09-20 | 2021-12-14 | Nec Corporation | Information processing apparatus, control method, and program |
JP7020490B2 (ja) | 2017-09-20 | 2022-02-16 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
WO2023157121A1 (ja) * | 2022-02-16 | 2023-08-24 | マクセル株式会社 | 情報処理装置および情報処理システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220113562A1 (en) | Modular wearable electronic devices, systems, and methods | |
US9921646B2 (en) | Head-mounted display device and method of controlling head-mounted display device | |
US10635182B2 (en) | Head mounted display device and control method for head mounted display device | |
EP3043237A1 (en) | Display system, control method for display device, and computer program | |
US10948974B2 (en) | Head-mounted display device, program, and method for controlling head-mounted display device | |
US10782528B2 (en) | Head mounted display and control method thereof | |
US11216083B2 (en) | Display system that switches into an operation acceptable mode according to movement detected | |
US10976836B2 (en) | Head-mounted display apparatus and method of controlling head-mounted display apparatus | |
KR20170006058A (ko) | 헤드 마운트 디스플레이 장치 | |
JP2013178639A (ja) | 頭部装着型表示装置および画像表示システム | |
US20190146222A1 (en) | Head-mounted display apparatus, display control method, and computer program | |
KR20160056133A (ko) | 이미지 표시 제어 방법 및 이를 지원하는 장치 | |
JP2016059751A (ja) | 表示装置、電子機器及びその制御方法、制御プログラム | |
US20150168725A1 (en) | Head mounted display device and method of controlling head mounted display device | |
US10296104B2 (en) | Display device, method of controlling display device, and program | |
CN107113390B (zh) | 控制装置 | |
JP2016085350A (ja) | 表示装置、及び、表示装置の制御方法 | |
JP2017058840A (ja) | 表示システム、表示装置の制御方法、及び、プログラム | |
JP6439448B2 (ja) | 表示システム、プログラム、及び、表示装置の制御方法 | |
JP2018055416A (ja) | 表示装置、頭部装着型表示装置、表示装置の制御方法、及び、プログラム | |
JP2016085554A (ja) | 情報処理装置、表示装置、及び表示システム | |
US20190086677A1 (en) | Head mounted display device and control method for head mounted display device | |
JP6638325B2 (ja) | 表示装置、及び、表示装置の制御方法 | |
JP6932917B2 (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP2017146614A (ja) | 表示装置、電子機器及びその制御方法、制御プログラム |