JP2004085476A - ヘッドトラッキング方法及び装置 - Google Patents
ヘッドトラッキング方法及び装置 Download PDFInfo
- Publication number
- JP2004085476A JP2004085476A JP2002249443A JP2002249443A JP2004085476A JP 2004085476 A JP2004085476 A JP 2004085476A JP 2002249443 A JP2002249443 A JP 2002249443A JP 2002249443 A JP2002249443 A JP 2002249443A JP 2004085476 A JP2004085476 A JP 2004085476A
- Authority
- JP
- Japan
- Prior art keywords
- angle
- head
- sensor
- head tracking
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B2027/0192—Supplementary details
- G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Controls And Circuits For Display Device (AREA)
- Gyroscopes (AREA)
Abstract
【課題】ヘッドマウントディスプレイなどで、頭部が向いている方向の検出が簡単なセンサ構成でできるようにする。
【解決手段】頭部の向いた３次元的な方向を、頭部の水平面に直立する直立軸の回りを回転する角であるヨウ角と、前記直立軸と直交する２軸となす角度であるピッチ角及びロ─ル角の３軸で検出する場合に、ヨウ角を加速度の積分値から検出するジャイロセンサ１１と、直立軸方向と直交する平面の傾斜を検出する傾斜センサ１２と、傾斜センサの出力からピッチ角及びロ─ル角を算出する演算手段１４とを備えた。
【選択図】 図７
【解決手段】頭部の向いた３次元的な方向を、頭部の水平面に直立する直立軸の回りを回転する角であるヨウ角と、前記直立軸と直交する２軸となす角度であるピッチ角及びロ─ル角の３軸で検出する場合に、ヨウ角を加速度の積分値から検出するジャイロセンサ１１と、直立軸方向と直交する平面の傾斜を検出する傾斜センサ１２と、傾斜センサの出力からピッチ角及びロ─ル角を算出する演算手段１４とを備えた。
【選択図】 図７
Description
【０００１】
【発明の属する技術分野】
本発明は、ヘッドマウントディスプレイなどで、頭部が向いている方向を検出するヘッドトラッキング方法及び装置に関する。
【０００２】
【従来の技術】
近年、人間の頭部が向いている３次元的な方向をセンサで検出して、その検出した方向の映像を、頭部に装着したヘッドマウントディスプレイ（ＨＭＤ）に表示させるようにしたものが、バ─チャルリアリティと称されて各種実用化されている。
【０００３】
図１１は、従来のヘッドマウントディスプレイの構成例を示す図である。この例では、頭部の動きを検出するセンサ部７０と、頭部に装着されるヘッドマウントディスプレイ部８０と、この映像表示部８０に映像信号を供給するホスト部９０とで構成される。センサ部７０は、人間の頭部の動きを３次元的に検出する３つのセンサ７１，７２，７３と、各センサ７１，７２，７３の出力に基づいて、人間の頭部の３次元的な動きを演算する中央制御ユニット７４と、中央制御ユニット７４で演算された頭部の正面が向いた方向のデータをホスト部９０に伝えるコントロール用インターフェース部７５とで構成される。
【０００４】
３つのセンサ７１，７２，７３は、例えばそれぞれが直交する３つの軸方向の加速度を個別に検出する角速度センサで構成され、中央制御ユニット７４での３軸の加速度の判断で、頭部の３次元的な動きを判断する。
【０００５】
ホスト部９０は、例えばある地点の周囲の全周の映像データを蓄積するメモリ９１と、そのメモリ９１に蓄積された映像データの中から、センサ部７０で検出された方向の映像データを読出して、３Ｄ処理部９３に供給する中央制御ユニット９２と、供給される映像データを画像表示用の映像データとする３Ｄ処理部９３と、３Ｄ処理部９３で作成された映像データを、ヘッドマウントディスプレイ部８０に供給するビデオインターフェース部９４とで構成される。
【０００６】
ヘッドマウントディスプレイ部８０は、映像の表示制御を行う中央制御ユニット８１と、ホスト部９０から供給される映像データを受信するビデオインターフェース部８２と、ビデオインターフェース部８２が受信した映像データを表示処理する映像表示部８３とで構成される。映像表示部８３は、例えば左右の目の近傍に配置される液晶表示パネルが表示手段として使用される。センサ部７０とヘッドマウントディスプレイ部８０は、一体に構成されるのが一般的である。ホスト部９０は、例えば、パーソナルコンピュータ装置とハードディスクや光ディスクなどの大容量記憶手段で構成される。
【０００７】
このように構成されるヘッドマウントディスプレイを用意することで、装着者の頭部の動きに連動した映像を表示させることが可能になり、いわゆるバ─チャルリアリティの映像を表示させることが可能になる。
【０００８】
【発明が解決しようとする課題】
ところが、従来のヘッドマウントディスプレイは、頭部の動きを検出するセンサ部として、直交する３軸の加速度を個別に検出する３つの加速度センサが必要であり、構成が複雑である問題点があった。特に、ヘッドマウントディスプレイは、ユーザの頭部に装着される機器であるので、小型，軽量に構成させることが好ましく、３つのセンサを必要とすることは、好ましくなかった。
【０００９】
本発明はかかる点に鑑みてなされたものであり、頭部が向いている方向の検出が簡単なセンサ構成でできるようにすることを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、頭部の直立軸の周囲の回転角であるヨウ角をジャイロセンサの出力の積分値から判断し、頭部の直立軸方向と直交する平面の傾斜を検出する傾斜センサの出力から、ピッチ角及びロ─ル角を算出して、ヘッドトラッキング角度を検出するようにしたものである。
【００１１】
このようにしたことで、ジャイロセンサと傾斜センサの２つのセンサを設けるだけで、頭部が向いている３次元的な方向を検出できるようになる。
【００１２】
【発明の実施の形態】
以下、図１〜図１０を参照して、本発明の一実施の形態について説明する。
【００１３】
図１は、本例のヘッドマウントディスプレイの装着例を示す図である。本例のヘッドマウントディスプレイ１００は、ユーザの頭部ｈの左右の耳介の上に装着されるヘッドホンの如き形状としてあり、そのヘッドホンの如き形状とした上で映像表示部を取付けてある。図１は、映像表示部１１０を、ユーザの目の前に位置させて、映像と音声を視聴する状態を示してある。このヘッドマウントディスプレイ１００は、図示しない映像信号源とケーブル１４８で接続させてあり、その映像信号源から供給される映像を映像表示部１１０で表示させると共に、左右の耳介に装着されたドライバユニットから、供給される音声を出力させる。本例の場合には、ヘッドマウントディスプレイ１００内に、装着者が向いた方向を検出するセンサを内蔵させてあり、そのセンサの出力に基づいて検出された装着者が向いた方向に対応した映像を、映像信号源からヘッドマウントディスプレイ１００に供給して表示させるようにしてある。音声についても、ステレオ音声信号として、そのとき向いた方向に対応した位相の音声を出力させるようにしても良い。
【００１４】
図２は、ヘッドマウントディスプレイ１００の形状の例を示した図である。本例のヘッドマウントディスプレイ１００は、左ドライバユニット１４０と右ドライバユニット１５０を、バンド１３０で接続させた上で、左右のドライバユニット１４０，１５０で支持された状態で、横長形状の映像表示部１１０を取付けるようにしてある。バンド１３０は、弾力性を有する素材で構成させてあり、左ドライバユニット１４０と右ドライバユニット１５０とが、比較的弱い力で装着者の耳介側に押しつけられて、頭部に保持される構成としてある。また、頭部に装着されてない状態では、左右のドライバユニット１４０，１５０どうしの一部が接触するように近接する状態となっている。
【００１５】
バンド１３０については、幅広部１３１が中央部に形成させてあり、装着者の頭部でヘッドマウントディスプレイ１００を安定して保持できる構成としてある。また、バンド１３０の一端及び他端には、Ｕ字金具保持部１３２，１３３が構成させてあり、各ドライバユニット１４０，１５０の上端に取付けられたＵ字金具１４４，１５４の途中を、Ｕ字金具保持部１３２，１３３で保持させるようにしてある。このＵ字金具１４４，１５４を、保持部１３２，１３３で保持する位置を変化させることで、装着者の頭部の大きさに応じた調整ができる。
【００１６】
各ドライバユニット１４０，１５０は、音声信号の供給で音声を出力する円形のドライバ（スピーカユニット）が内部に配置されたドライバ配置部１４１，１５１が中央に設けてあり、各ドライバ配置部１４１，１５１の周囲に、環状のイヤーパッド１４２，１５２が取付けてある。本例の各ドライバ配置部１４１，１５１と各イヤーパッド１４２，１５２との間には、空洞部１４７，１５７が設けてあり、装着者の耳介に対して若干浮いた状態で、ドライバ配置部１４１，１５１が位置するようにしてあり、いわゆるフルオープンエア型のヘッドホンとなるようにしてある。
【００１７】
映像表示部１１０については、装着者の左目の前面に左目用の映像表示パネル１００Ｌが配置してあり、装着者の右目の前面に右目用の映像表示パネル１００Ｒが配置してある。図１，図２では、外側から見た図となっているため、映像表示パネル１００Ｌ，１００Ｒは見えない状態となっている。それぞれの映像表示パネル１００Ｌ，１００Ｒは、例えば液晶表示パネルが使用される。図３は、装着状態を真横から見た図であり、装着者の目の前に左右の映像表示パネル１００Ｌ，１００Ｒが位置している状態が判る。但し、液晶表示パネルなどの映像表示手段が、目に近接した位置にあるとは限らず、映像表示部１１０の内部に表示パネルが配置されて、光学部品を介して装着者の目前に映像が表示されるように見える構成としてある場合もある。また、バックライトなどの照明手段が必要な場合にも、映像表示部１１０に内蔵させてある。
【００１８】
左右の液晶表示パネル１００Ｌ，１００Ｒの間の下部には、鼻用切り欠き部１００ｎが設けてあり、図１に示したような装着時に、映像表示部１１０が装着者の鼻に接触しないようにしてある。
【００１９】
映像表示部１１０を左右のドライバユニット１４０，１５０で支持する機構としては、映像表示部１１０の一端及び他端が、連結部１１１，１１２を介して、水平面上で回動できる状態で接続部材１１３，１１４に接続させてあり、さらに各接続部材１１３，１１４の端部が連結部１１５，１１６を介して、棒状の接続部材１１７，１１８に水平面上で回動できる状態で取付けてある。
【００２０】
このように左右２箇所、合計４箇所の連結部１１１，１１２，１１５，１１６を有しているために、上述したように、ヘッドマウントディスプレイ１００が非装着の状態で、左右のドライバユニット１４０，１５０が近接した状態から、装着時に左右のドライバユニット１４０，１５０が離れた状態まで、映像表示部１１０を良好に保持できる構造となっている。
【００２１】
映像表示部１１０に接続された棒状の接続部材１１７，１１８は、接続部材１２３，１２４に固定された軸保持部１２１，１２２の透孔１２１ａ，１２２ａを通過させてあり、その透孔１２１ａ，１２２ａからの棒状の接続部材１１７，１１８の突出長を調整することで、映像表示部１１０と装着者の目との間の距離を調整できるようにしてある。
【００２２】
また、接続部材１２３，１２４は、左右のドライバユニット１４０，１５０側と連結部１４５，１５５を介して上下に回動できる状態に接続させてあり、この回動により、映像表示部１１０を上部に上げることができる構成としてある。図４は、映像表示部１１０を上部に上げた状態の例を示した図である。このように映像表示部１１０を上部に上げたときには、バンド１３０の上に映像表示部１１０が位置することになる。なお、映像表示部１１０は、棒状の接続部材１１７，１１８の後端から外部に露出したコード１４６，１５６を介して左右のドライバユニット１４０，１５０内と電気的に接続させてあり、映像信号源と接続されたコード１４８を介して得られた映像信号が、映像表示部１１０に供給されると共に、映像信号源からの音声信号についても、コード１４６，１５６を介して右のドライバユニット１５０に供給される構成としてある。また、図示しない２つのセンサがドライバユニット１５０（或いは映像表示部１１０）に内蔵させてあり、そのセンサ出力に基づいたコントロール用のデータが、コード１４８を介して映像信号源側に供給されるようにしてある。
【００２３】
また、図示はしないが、本例のヘッドマウントディスプレイ１００の所定位置（例えば一方のドライバユニット１４０）には、リセットスイッチが取付けてあり、また、その他のキースイッチやボリューム等の操作手段についても、必要により配置してある。
【００２４】
次に、本例のヘッドマウントディスプレイ１００で、装着者の頭部が向いた方向を検出する処理構成の原理を、図５及び図６を参照して説明する。図５Ａに示すように、直立した状態の頭部ｈを直立する軸をＺ軸とし、そのＺ軸と直交する２つの軸であるＸ軸，Ｙ軸を考えて、そのＸ軸，Ｙ軸，Ｚ軸で装着者の頭部が向いた方向の３次元的な座標位置を考えるとする。図５Ｂに示すように、Ｘ軸は頭部の左右方向の軸であり、Ｙ軸は頭部の前後方向の軸である。このとき、頭部ｈの水平的な回動は、Ｚ軸の回りを回転する角であるヨウ角（Ｙａｗ角）θで示され、頭部ｈの前後方向の傾きは、Ｙ軸との間でなす角度であるピッチ角（お辞儀方向の角度）として示され、頭部ｈの左右方向の傾きは、Ｘ軸との間でなす角度であるロール角（かしげ方向の角度）として示される。
【００２５】
装着者の頭部が向いた３次元的な方向を正確に検出するためには、ヨウ角θとロール角及びピッチ角の検出が必要であり、従来はそれぞれの角度の検出を行うために、それぞれ別の方向を向いた３つのセンサで角速度を個別に検出するようにしていた。ここで本例においては、ヨウ角θについては、１つのジャイロセンサから検出するようにしてあり、ロール角とピッチ角については、図５Ａに示すように、センサの中心を図の座標系の原点として、Ｘ軸とＹ軸で構成される平面（ＸＹ平面）に対するＸ軸方向、Ｙ軸方向の傾きを検出する傾斜センサ（２軸傾斜センサ）の出力から判断するようにしてある。ここでは、Ｙ軸方向の傾きＳ１ を、Ｘ軸回転方向の角度ピッチ角と同等とし、Ｘ軸方向の傾きＳ２ を、Ｙ軸回転方向の角度ロール角と同等とする。
【００２６】
なお、傾斜センサは、静的な加速度である重力を計測するセンサであるため、±９０°の判断手しか検出できないが、直立状態における人間の頭部の回転角をカバーできる範囲内であるため、人間の頭部の回転位置を検出できる。さらに、ピッチ角やロール角は、静的な加速度である重力を絶対座標軸として出力となるので、センサによるドリフト現象は発生しない。Ｚ軸方向の加速度Ｓ１ 及びＳ２ は、同じ方向の加速度であるので、図６に示すように、Ｚ軸方向の加速度を検出する１つの加速度センサ１２で、加速度Ｓ１ 及びＳ２ を検出して、ロール角とピッチ角を判断するようにしてある。また、ヨウ角θは、この方向の加速度を検出するジャイロセンサ１１が出力する加速度から判断するようにしてある。この２つのセンサ１１，１２は、既に述べたように、ヘッドマウントディスプレイ１００のいずれかの位置に配置すれば良い。
【００２７】
次に、本例のヘッドマウントディスプレイ１００の回路構成を、図７のブロック図を参照して説明する。図７では、ヘッドマウントディスプレイ１００にコード１４８を介して接続される映像信号源２０の構成についても示してある。
【００２８】
ヘッドマウントディスプレイ１００に取付けられたジャイロセンサ１１は、そのセンサ１１が出力す加速度信号をアナログ処理部１３に供給して、ローパスフィルタによるフィルタリング、増幅などのアナログ処理を行い、その後デジタルデータ化し、中央制御ユニット１４に供給する。傾斜センサ１２は、ここではパルス幅変調信号であるＰＷＭ信号として、加速度信号を出力するセンサとしてあり、Ｘ軸方向の傾斜状態と、Ｙ軸回転方向の傾斜状態とを、個別にＰＷＭ信号として中央制御ユニット１４に供給する。この供給されたＰＷＭ信号に基づいて、ロール角及びピッチ角を算出するようにしてある。
【００２９】
また、ヘッドマウントディスプレイ１００に設けられたリセットスイッチ１５と、キースイッチ１６の操作を、中央制御ユニット１４で検出する構成としてある。中央制御ユニット１４では、リセットスイッチ１５が操作されたときの位置を基準位置として、ジャイロセンサ１１と加速度センサ１２との出力に基づいて、その基準位置からの装着者の頭部の動きを検出する構成としてある。頭部の正面が向く方向であるヨウ角については、ジャイロセンサ１１の出力に基づいて算出するようにしてある。但し、傾斜センサ１２の出力に基づいて算出されたロール角及びピッチ角を使用して、ジャイロセンサ１１の出力に基づいて算出されたヨウ角を補正するようにしても良い。具体的には、例えば頭部がいずれかの方向に比較的大きく傾斜した状態でヨウ角の動きがあった場合に、ジャイロセンサ１１の出力から検出されるヨウ角に誤差が生じる可能性があり、そのような場合に、算出されたロール角及びピッチ角を使用して、ヨウ角を補正しても良い。
【００３０】
中央制御ユニット１４で算出された３軸（ヨウ角、ロール角、ピッチ角）の各軸毎の算出角度のデータは、ヘッドトラッキング角度データとして、コントロール用インターフェース部１８から、映像信号源２０側に送られる。
【００３１】
映像信号源２０は、例えばある地点の周囲の全周の映像データと、その映像データに付随する音声データを蓄積するメモリ２１と、そのメモリ２１に蓄積された映像データの中から、ヘッドマウントディスプレイ１００で検出されたヘッドトラッキング角度データで示される方向の映像データを読出して、３Ｄ処理部２３に供給する制御を行う中央制御ユニット２２と、供給される映像データを画像表示用の映像データとする３Ｄ処理部２３と、３Ｄ処理部２３で作成された映像データを、ヘッドマウントディスプレイ部１００に供給するビデオインターフェース部２４と、ヘッドマウントディスプレイ１００で検出されたヘッドトラッキング角度データを受信するコントロール用インターフェース部２５とで構成される。
【００３２】
そして、映像信号源２０からヘッドマウントディスプレイ１００に供給される映像データは、ヘッドマウントディスプレイ１００のビデオインターフェース部１７で受信されて、映像表示部１１０に供給し、映像表示部１１０内の左右の映像表示パネル１００Ｌ，１００Ｒに表示させる処理を行う。なお、映像データが立体映像表示用の映像データである場合には、左右の映像表示パネル１００Ｌ，１００Ｒに供給して表示させる映像データが個別のものになる。ビデオインターフェース部１７での受信、及び映像表示部１１０での映像表示についても、中央制御ユニット１４の制御で実行される。
【００３３】
なお、図７のブロック図では、音声データを処理する構成については省略してある。音声データについては、ヘッドトラッキング処理を行わなくても良いが、ステレオ音声を出力させる場合に、その音像が定位する方向を、ヘッドトラッキング角度データで示される角度に変化させても良い。映像信号源２０については、例えば、パーソナルコンピュータ装置，ビデオゲーム機器，ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｄｉｔａｌ Ａｓｓｉｓｔａｎｔｓ ），携帯電話端末などの演算処理を実行する手段と、これらの機器が内蔵（又は取付けられた）ハードディスク，光ディスク，半導体メモリなどの大容量記憶手段で構成される。
【００３４】
次に、本例のヘッドマウントディスプレイ１００でヘッドトラッキング角度データを得るヘッドトラッキング処理例を、図８〜図１０のフローチャートを参照して説明する。まず、ヘッドトラッキングのメイン処理を、図８のフローチャートを参照して説明すると、ヘッドマウントディスプレイ１００の電源投入があると（ステップＳ１１）、各種初期化命令の出力による初期化処理が行われ（ステップＳ１２）、その後リセット信号処理が実行される（ステップＳ１３）。リセット信号処理では、リセットスイッチ１５の操作又は映像信号源２０からのリセット信号の要求により、そのときの装着者の姿勢時におけるヘッドトラッキングデータを保存し、信号されるヘッドトラッキングデータがその姿勢で０°となるようにする。また、その場合、例えばヨウ角は、±１８０°を検出できるので問題ないが、ピッチ角とロール角は検出できる範囲が±９０°であるため、その２軸に関してのリセットを受け付ける姿勢角を、図５，図６に示したＺ軸と直交する平面付近に限定する処理が行われる。
【００３５】
次に、３軸角度検出処理が行われる（ステップＳ１４）。この３軸角度検出処理では、２軸傾斜センサ処理と、ジャイロセンサ処理が行われる。図９は、２軸傾斜センサ処理を示したフローチャートである。２軸傾斜センサ処理では、傾斜センサ１２から供給されるＰＷＭ信号のＸ軸のデューティ比及びＹ軸のデューティ比を検出する（ステップＳ２１，Ｓ２２）。そして、各デューティ比から、ピッチ角及びロール角を算出する（ステップＳ２３）。そして、傾斜センサ１２の加速度検出軸が、装着者のＸ軸，Ｙ軸に対し、ＸＹ平面上で、ヨウ角方向にずれがあった場合、算出したピッチ角とロール角に、そのずれの補正を行い（ステップＳ２４）、２軸傾斜センサ処理を終了する（ステップＳ２５）。
【００３６】
図１０は、ジャイロセンサ処理を示したフローチャートである。ジャイロセンサ処理では、まずジャイロセンサからの出力をデジタル変換したデータを取得する（ステップＳ３１）。次に、そのゲインの異なる複数の中央制御ユニットでデジタル変換して、ダイナミックレンジを大きくするためのゲインレンジング処理を行い（ステップＳ３２）、さらにジャイロセンサ１１のＤＣオフセットをカットする処理を行う（ステップＳ３３）。そして、ノイズ成分をカットするためのコアリング処理を行い（ステップＳ３４）、角速度データの積分処理により、ヨウ角を算出し（ステップＳ３５）、ジャイロセンサ処理を終了する（ステップＳ３６）。なお、既に説明したように、ステップＳ３５でヨウ角を算出する際には、２軸傾斜センサ処理で検出されたピッチ角とロール角に基づいて、算出されたヨウ角を補正するようにしても良い。
【００３７】
図８のメイン処理に戻ると、このようにして算出されたヨウ角とピッチ角とロール角を使用して、ヘッドトラッキング角度を求め、そのヘッドトラッキング角度データを、映像信号源側に転送する処理を行い（ステップＳ１５）、ステップＳ１３のリセット信号処理に戻る。但し、リセット信号処理でリセットスイッチの操作又はリセット信号の供給がない場合には、そのままステップＳ１４の３軸角度検出処理に戻る。
【００３８】
なお、ステップＳ１４での３軸角度検出処理では、２軸傾斜センサ処理として、重力である静的な加速度を検出して、その検出時の傾斜角度を求めるのに対し、ジャイロセンサ処理では、動的な加速度成分を検出して、積分することでヨウ角を求めるのであるので、それぞれの処理を行う周期は異なった周期であっても良い。ヘッドトラッキング角度データを、映像の切り出し範囲選定に利用する場合、ヘッドトラッキング検出の遅延時間が重要になってくるので、最大でも映像の更新レート以内に、ヘッドトラッキング処理を完了させ、転送する必要があり、処理時間配分が最も効率的となる周期で、図９のフローチャートの２軸傾斜センサ処理と図１０のジャイロセンサ処理を実行することが重要になる。一例としては、１６ビットで演算を行う汎用のマイクロプロセッサを中央制御ユニットとし、２軸傾斜センサ処理を１２５Ｈｚ周期で行い、ジャイロセンサ処理を１．２５ＫＨｚ周期で行うことで、上述した更新レートを満たすことが可能である。
【００３９】
このように構成されるヘッドマウントディスプレイ１００によると、装着者の頭部の動きに連動した映像を表示させることが可能になり、いわゆるバ─チャルリアリティの映像を表示させることが可能になる。また、音声についても、ヘッドトラッキングさせた音声の出力が可能になる。
【００４０】
そして、ヘッドトラッキング角度を検出するセンサとしては、ジャイロセンサと２軸傾斜センサを用意するだけで良く、２個のセンサだけを使用した簡単な構成で、良好に３次元的なヘッドトラッキング角度の検出が可能になる。ピッチ角とロール角については、±９０°に検出範囲が制限されることになるが、通常の人間の頭部の動きの範囲内の姿勢角を検出する分には十分な範囲であり、実用上問題はない。また、本例の場合には、ピッチ角とロール角は傾斜センサを使用して検出するので、ドリフト現象が発生することがなく、水平方向に安定した映像などでの仮想３Ｄ空間が、簡易で低コストに実現できる。また、センサの数が少ないために、ヘッドトラッキング角度を算出する演算手段（中央制御ユニット）での演算処理負担がそれだけ少なくて済む効果を有する。さらに、センサが少なくて良いので、ヘッドマウントディスプレイそのものを小型に構成でき、ヘッドマウントディスプレイの装着感を向上させることができる。
【００４１】
なお、図１〜図４に示した本例の形状のヘッドマウントディスプレイの場合には、いわゆるフルオープンエア型のヘッドホンに映像表示部を取付けて、ヘッドマウントディスプレイとして機能する形状としてあるので、従来からあるフルオープンエア型のヘッドホンとほぼ同様の装着感で、ヘッドマウントディスプレイを装着することができ、ヘッドマウントディスプレイとして良好なものになる。また、図４に示したように、映像表示部１１０をはね上げた場合には、ヘッドホンとしても使用可能であり、装置の汎用性が高い。
【００４２】
なお、この図１〜図４に示したヘッドマウントディスプレイの外形形状については一例を示したものであり、その他の形状のヘッドマウントディスプレイに、本発明を適用することができることは勿論である。また、ステレオ音声の音像定位位置を、ヘッドトラッキングで行うヘッドホン装置（即ち映像表示機能のない装置）に、本発明のヘッドトラッキング処理を適用しても良い。
【００４３】
さらに、上述した実施の形態では、ヘッドマウントディスプレイにリセットスイッチを設けて、そのリセットスイッチの操作された位置を、基準位置として、その位置からの動きを検出するようにしたが、何らかの方法（例えば地磁気センサなど）で絶対的な方位を検出するようにして、リセットスイッチを設けることなく、絶対的な角度によるヘッドトラッキング処理を行うようにしても良い。
【００４４】
【発明の効果】
本発明によると、ジャイロセンサと傾斜センサの２つのセンサを設けるだけで、頭部が向いている３次元的な方向を検出でき、低コストで簡易にヘッドトラッキングを行うシステムを実現できるようになる。
【００４５】
この場合、ジャイロセンサの出力からヨウ角を判断する周期は、傾斜センサの出力からピッチ角及びロ─ル角を算出する周期よりも短い周期としたことで、ジャイロセンサが出力する動的な角速度の短周期での判断に基づいて、ヨウ角の判断が正確に行えると共に、ピッチ角及びロ─ル角については、重力である静的な加速度から算出されるので、ある程度検出周期が長くなっても、常時正確に検出でき、良好な演算配分で、精度良く３軸の角度を検出できるようになる。
【００４６】
また、判断されたロール角及びピッチ角から、ジャイロセンサの出力から判断したヨウ角の補正を行うことで、より正確なヨウ角が判断できるようになる。
【図面の簡単な説明】
【図１】本発明の一実施の形態によるヘッドマウントディスプレイの装着例を示す斜視図である。
【図２】本発明の一実施の形態によるヘッドマウントディスプレイの形状の一例を示す斜視図である。
【図３】図２例のヘッドマウントディスプレイの側面図である。
【図４】図２例のヘッドマウントディスプレイの映像表示部を上げた状態の例を示す斜視図である。
【図５】本発明の一実施の形態による基準軸を示す説明図である。
【図６】本発明の一実施の形態によるセンサによる検出状態の示す説明図である。
【図７】本発明の一実施の形態によるシステム構成例を示すブロック図である。
【図８】本発明の一実施の形態によるヘッドトラッキング処理例を示すフローチャートである。
【図９】本発明の一実施の形態による２軸センサ処理例を示すフローチャートである。
【図１０】本発明の一実施の形態によるジャイロセンサ処理例を示すフローチャートである。
【図１１】従来のヘッドマウントディスプレイのシステム構成例を示すブロック図である。
【符号の説明】
１１…ジャイロセンサ、１２…加速度センサ、１３…アナログ処理部、１４…中央制御ユニット（ＣＰＵ）、１５…リセットスイッチ、１６…キースイッチ、１７…ビデオインターフェース部、１８…コントロール用インターフェース部、２０…映像信号源、２１…メモリ、２２…中央制御ユニット（ＣＰＵ）、２３…３Ｄ処理部、２４…ビデオインターフェース部、２５…コントロール用インターフェース部、１００…ヘッドマウントディスプレイ、１００Ｌ，１００Ｒ…映像表示パネル、１００ｎ…鼻用切り欠き部、１１０…映像表示部、１１１，１１２…連結部、１１３，１１４…接続部材、１１５，１１６…連結部、１１７，１１８…接続部材、１２１，１２２…軸保持部、１２３，１２４…接続部、１３０…バンド、１３１…幅広部、１３２，１３３…Ｕ字金具保持部、１４０…左ドライバユニット、１４１…ドライバ配置部、１４２…イヤーパッド、１４３…金具保持部、１４４…Ｕ字金具、１４５…連結部、１４６…コード、１４７…空洞部、１４８…コード、１５０…右ドライバユニット、１５１…ドライバ配置部、１５２…イヤーパッド、１５３…金具保持部、１５４…Ｕ字金具、１５５…連結部、１５６…コード、１５７…空洞部
【発明の属する技術分野】
本発明は、ヘッドマウントディスプレイなどで、頭部が向いている方向を検出するヘッドトラッキング方法及び装置に関する。
【０００２】
【従来の技術】
近年、人間の頭部が向いている３次元的な方向をセンサで検出して、その検出した方向の映像を、頭部に装着したヘッドマウントディスプレイ（ＨＭＤ）に表示させるようにしたものが、バ─チャルリアリティと称されて各種実用化されている。
【０００３】
図１１は、従来のヘッドマウントディスプレイの構成例を示す図である。この例では、頭部の動きを検出するセンサ部７０と、頭部に装着されるヘッドマウントディスプレイ部８０と、この映像表示部８０に映像信号を供給するホスト部９０とで構成される。センサ部７０は、人間の頭部の動きを３次元的に検出する３つのセンサ７１，７２，７３と、各センサ７１，７２，７３の出力に基づいて、人間の頭部の３次元的な動きを演算する中央制御ユニット７４と、中央制御ユニット７４で演算された頭部の正面が向いた方向のデータをホスト部９０に伝えるコントロール用インターフェース部７５とで構成される。
【０００４】
３つのセンサ７１，７２，７３は、例えばそれぞれが直交する３つの軸方向の加速度を個別に検出する角速度センサで構成され、中央制御ユニット７４での３軸の加速度の判断で、頭部の３次元的な動きを判断する。
【０００５】
ホスト部９０は、例えばある地点の周囲の全周の映像データを蓄積するメモリ９１と、そのメモリ９１に蓄積された映像データの中から、センサ部７０で検出された方向の映像データを読出して、３Ｄ処理部９３に供給する中央制御ユニット９２と、供給される映像データを画像表示用の映像データとする３Ｄ処理部９３と、３Ｄ処理部９３で作成された映像データを、ヘッドマウントディスプレイ部８０に供給するビデオインターフェース部９４とで構成される。
【０００６】
ヘッドマウントディスプレイ部８０は、映像の表示制御を行う中央制御ユニット８１と、ホスト部９０から供給される映像データを受信するビデオインターフェース部８２と、ビデオインターフェース部８２が受信した映像データを表示処理する映像表示部８３とで構成される。映像表示部８３は、例えば左右の目の近傍に配置される液晶表示パネルが表示手段として使用される。センサ部７０とヘッドマウントディスプレイ部８０は、一体に構成されるのが一般的である。ホスト部９０は、例えば、パーソナルコンピュータ装置とハードディスクや光ディスクなどの大容量記憶手段で構成される。
【０００７】
このように構成されるヘッドマウントディスプレイを用意することで、装着者の頭部の動きに連動した映像を表示させることが可能になり、いわゆるバ─チャルリアリティの映像を表示させることが可能になる。
【０００８】
【発明が解決しようとする課題】
ところが、従来のヘッドマウントディスプレイは、頭部の動きを検出するセンサ部として、直交する３軸の加速度を個別に検出する３つの加速度センサが必要であり、構成が複雑である問題点があった。特に、ヘッドマウントディスプレイは、ユーザの頭部に装着される機器であるので、小型，軽量に構成させることが好ましく、３つのセンサを必要とすることは、好ましくなかった。
【０００９】
本発明はかかる点に鑑みてなされたものであり、頭部が向いている方向の検出が簡単なセンサ構成でできるようにすることを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、頭部の直立軸の周囲の回転角であるヨウ角をジャイロセンサの出力の積分値から判断し、頭部の直立軸方向と直交する平面の傾斜を検出する傾斜センサの出力から、ピッチ角及びロ─ル角を算出して、ヘッドトラッキング角度を検出するようにしたものである。
【００１１】
このようにしたことで、ジャイロセンサと傾斜センサの２つのセンサを設けるだけで、頭部が向いている３次元的な方向を検出できるようになる。
【００１２】
【発明の実施の形態】
以下、図１〜図１０を参照して、本発明の一実施の形態について説明する。
【００１３】
図１は、本例のヘッドマウントディスプレイの装着例を示す図である。本例のヘッドマウントディスプレイ１００は、ユーザの頭部ｈの左右の耳介の上に装着されるヘッドホンの如き形状としてあり、そのヘッドホンの如き形状とした上で映像表示部を取付けてある。図１は、映像表示部１１０を、ユーザの目の前に位置させて、映像と音声を視聴する状態を示してある。このヘッドマウントディスプレイ１００は、図示しない映像信号源とケーブル１４８で接続させてあり、その映像信号源から供給される映像を映像表示部１１０で表示させると共に、左右の耳介に装着されたドライバユニットから、供給される音声を出力させる。本例の場合には、ヘッドマウントディスプレイ１００内に、装着者が向いた方向を検出するセンサを内蔵させてあり、そのセンサの出力に基づいて検出された装着者が向いた方向に対応した映像を、映像信号源からヘッドマウントディスプレイ１００に供給して表示させるようにしてある。音声についても、ステレオ音声信号として、そのとき向いた方向に対応した位相の音声を出力させるようにしても良い。
【００１４】
図２は、ヘッドマウントディスプレイ１００の形状の例を示した図である。本例のヘッドマウントディスプレイ１００は、左ドライバユニット１４０と右ドライバユニット１５０を、バンド１３０で接続させた上で、左右のドライバユニット１４０，１５０で支持された状態で、横長形状の映像表示部１１０を取付けるようにしてある。バンド１３０は、弾力性を有する素材で構成させてあり、左ドライバユニット１４０と右ドライバユニット１５０とが、比較的弱い力で装着者の耳介側に押しつけられて、頭部に保持される構成としてある。また、頭部に装着されてない状態では、左右のドライバユニット１４０，１５０どうしの一部が接触するように近接する状態となっている。
【００１５】
バンド１３０については、幅広部１３１が中央部に形成させてあり、装着者の頭部でヘッドマウントディスプレイ１００を安定して保持できる構成としてある。また、バンド１３０の一端及び他端には、Ｕ字金具保持部１３２，１３３が構成させてあり、各ドライバユニット１４０，１５０の上端に取付けられたＵ字金具１４４，１５４の途中を、Ｕ字金具保持部１３２，１３３で保持させるようにしてある。このＵ字金具１４４，１５４を、保持部１３２，１３３で保持する位置を変化させることで、装着者の頭部の大きさに応じた調整ができる。
【００１６】
各ドライバユニット１４０，１５０は、音声信号の供給で音声を出力する円形のドライバ（スピーカユニット）が内部に配置されたドライバ配置部１４１，１５１が中央に設けてあり、各ドライバ配置部１４１，１５１の周囲に、環状のイヤーパッド１４２，１５２が取付けてある。本例の各ドライバ配置部１４１，１５１と各イヤーパッド１４２，１５２との間には、空洞部１４７，１５７が設けてあり、装着者の耳介に対して若干浮いた状態で、ドライバ配置部１４１，１５１が位置するようにしてあり、いわゆるフルオープンエア型のヘッドホンとなるようにしてある。
【００１７】
映像表示部１１０については、装着者の左目の前面に左目用の映像表示パネル１００Ｌが配置してあり、装着者の右目の前面に右目用の映像表示パネル１００Ｒが配置してある。図１，図２では、外側から見た図となっているため、映像表示パネル１００Ｌ，１００Ｒは見えない状態となっている。それぞれの映像表示パネル１００Ｌ，１００Ｒは、例えば液晶表示パネルが使用される。図３は、装着状態を真横から見た図であり、装着者の目の前に左右の映像表示パネル１００Ｌ，１００Ｒが位置している状態が判る。但し、液晶表示パネルなどの映像表示手段が、目に近接した位置にあるとは限らず、映像表示部１１０の内部に表示パネルが配置されて、光学部品を介して装着者の目前に映像が表示されるように見える構成としてある場合もある。また、バックライトなどの照明手段が必要な場合にも、映像表示部１１０に内蔵させてある。
【００１８】
左右の液晶表示パネル１００Ｌ，１００Ｒの間の下部には、鼻用切り欠き部１００ｎが設けてあり、図１に示したような装着時に、映像表示部１１０が装着者の鼻に接触しないようにしてある。
【００１９】
映像表示部１１０を左右のドライバユニット１４０，１５０で支持する機構としては、映像表示部１１０の一端及び他端が、連結部１１１，１１２を介して、水平面上で回動できる状態で接続部材１１３，１１４に接続させてあり、さらに各接続部材１１３，１１４の端部が連結部１１５，１１６を介して、棒状の接続部材１１７，１１８に水平面上で回動できる状態で取付けてある。
【００２０】
このように左右２箇所、合計４箇所の連結部１１１，１１２，１１５，１１６を有しているために、上述したように、ヘッドマウントディスプレイ１００が非装着の状態で、左右のドライバユニット１４０，１５０が近接した状態から、装着時に左右のドライバユニット１４０，１５０が離れた状態まで、映像表示部１１０を良好に保持できる構造となっている。
【００２１】
映像表示部１１０に接続された棒状の接続部材１１７，１１８は、接続部材１２３，１２４に固定された軸保持部１２１，１２２の透孔１２１ａ，１２２ａを通過させてあり、その透孔１２１ａ，１２２ａからの棒状の接続部材１１７，１１８の突出長を調整することで、映像表示部１１０と装着者の目との間の距離を調整できるようにしてある。
【００２２】
また、接続部材１２３，１２４は、左右のドライバユニット１４０，１５０側と連結部１４５，１５５を介して上下に回動できる状態に接続させてあり、この回動により、映像表示部１１０を上部に上げることができる構成としてある。図４は、映像表示部１１０を上部に上げた状態の例を示した図である。このように映像表示部１１０を上部に上げたときには、バンド１３０の上に映像表示部１１０が位置することになる。なお、映像表示部１１０は、棒状の接続部材１１７，１１８の後端から外部に露出したコード１４６，１５６を介して左右のドライバユニット１４０，１５０内と電気的に接続させてあり、映像信号源と接続されたコード１４８を介して得られた映像信号が、映像表示部１１０に供給されると共に、映像信号源からの音声信号についても、コード１４６，１５６を介して右のドライバユニット１５０に供給される構成としてある。また、図示しない２つのセンサがドライバユニット１５０（或いは映像表示部１１０）に内蔵させてあり、そのセンサ出力に基づいたコントロール用のデータが、コード１４８を介して映像信号源側に供給されるようにしてある。
【００２３】
また、図示はしないが、本例のヘッドマウントディスプレイ１００の所定位置（例えば一方のドライバユニット１４０）には、リセットスイッチが取付けてあり、また、その他のキースイッチやボリューム等の操作手段についても、必要により配置してある。
【００２４】
次に、本例のヘッドマウントディスプレイ１００で、装着者の頭部が向いた方向を検出する処理構成の原理を、図５及び図６を参照して説明する。図５Ａに示すように、直立した状態の頭部ｈを直立する軸をＺ軸とし、そのＺ軸と直交する２つの軸であるＸ軸，Ｙ軸を考えて、そのＸ軸，Ｙ軸，Ｚ軸で装着者の頭部が向いた方向の３次元的な座標位置を考えるとする。図５Ｂに示すように、Ｘ軸は頭部の左右方向の軸であり、Ｙ軸は頭部の前後方向の軸である。このとき、頭部ｈの水平的な回動は、Ｚ軸の回りを回転する角であるヨウ角（Ｙａｗ角）θで示され、頭部ｈの前後方向の傾きは、Ｙ軸との間でなす角度であるピッチ角（お辞儀方向の角度）として示され、頭部ｈの左右方向の傾きは、Ｘ軸との間でなす角度であるロール角（かしげ方向の角度）として示される。
【００２５】
装着者の頭部が向いた３次元的な方向を正確に検出するためには、ヨウ角θとロール角及びピッチ角の検出が必要であり、従来はそれぞれの角度の検出を行うために、それぞれ別の方向を向いた３つのセンサで角速度を個別に検出するようにしていた。ここで本例においては、ヨウ角θについては、１つのジャイロセンサから検出するようにしてあり、ロール角とピッチ角については、図５Ａに示すように、センサの中心を図の座標系の原点として、Ｘ軸とＹ軸で構成される平面（ＸＹ平面）に対するＸ軸方向、Ｙ軸方向の傾きを検出する傾斜センサ（２軸傾斜センサ）の出力から判断するようにしてある。ここでは、Ｙ軸方向の傾きＳ１ を、Ｘ軸回転方向の角度ピッチ角と同等とし、Ｘ軸方向の傾きＳ２ を、Ｙ軸回転方向の角度ロール角と同等とする。
【００２６】
なお、傾斜センサは、静的な加速度である重力を計測するセンサであるため、±９０°の判断手しか検出できないが、直立状態における人間の頭部の回転角をカバーできる範囲内であるため、人間の頭部の回転位置を検出できる。さらに、ピッチ角やロール角は、静的な加速度である重力を絶対座標軸として出力となるので、センサによるドリフト現象は発生しない。Ｚ軸方向の加速度Ｓ１ 及びＳ２ は、同じ方向の加速度であるので、図６に示すように、Ｚ軸方向の加速度を検出する１つの加速度センサ１２で、加速度Ｓ１ 及びＳ２ を検出して、ロール角とピッチ角を判断するようにしてある。また、ヨウ角θは、この方向の加速度を検出するジャイロセンサ１１が出力する加速度から判断するようにしてある。この２つのセンサ１１，１２は、既に述べたように、ヘッドマウントディスプレイ１００のいずれかの位置に配置すれば良い。
【００２７】
次に、本例のヘッドマウントディスプレイ１００の回路構成を、図７のブロック図を参照して説明する。図７では、ヘッドマウントディスプレイ１００にコード１４８を介して接続される映像信号源２０の構成についても示してある。
【００２８】
ヘッドマウントディスプレイ１００に取付けられたジャイロセンサ１１は、そのセンサ１１が出力す加速度信号をアナログ処理部１３に供給して、ローパスフィルタによるフィルタリング、増幅などのアナログ処理を行い、その後デジタルデータ化し、中央制御ユニット１４に供給する。傾斜センサ１２は、ここではパルス幅変調信号であるＰＷＭ信号として、加速度信号を出力するセンサとしてあり、Ｘ軸方向の傾斜状態と、Ｙ軸回転方向の傾斜状態とを、個別にＰＷＭ信号として中央制御ユニット１４に供給する。この供給されたＰＷＭ信号に基づいて、ロール角及びピッチ角を算出するようにしてある。
【００２９】
また、ヘッドマウントディスプレイ１００に設けられたリセットスイッチ１５と、キースイッチ１６の操作を、中央制御ユニット１４で検出する構成としてある。中央制御ユニット１４では、リセットスイッチ１５が操作されたときの位置を基準位置として、ジャイロセンサ１１と加速度センサ１２との出力に基づいて、その基準位置からの装着者の頭部の動きを検出する構成としてある。頭部の正面が向く方向であるヨウ角については、ジャイロセンサ１１の出力に基づいて算出するようにしてある。但し、傾斜センサ１２の出力に基づいて算出されたロール角及びピッチ角を使用して、ジャイロセンサ１１の出力に基づいて算出されたヨウ角を補正するようにしても良い。具体的には、例えば頭部がいずれかの方向に比較的大きく傾斜した状態でヨウ角の動きがあった場合に、ジャイロセンサ１１の出力から検出されるヨウ角に誤差が生じる可能性があり、そのような場合に、算出されたロール角及びピッチ角を使用して、ヨウ角を補正しても良い。
【００３０】
中央制御ユニット１４で算出された３軸（ヨウ角、ロール角、ピッチ角）の各軸毎の算出角度のデータは、ヘッドトラッキング角度データとして、コントロール用インターフェース部１８から、映像信号源２０側に送られる。
【００３１】
映像信号源２０は、例えばある地点の周囲の全周の映像データと、その映像データに付随する音声データを蓄積するメモリ２１と、そのメモリ２１に蓄積された映像データの中から、ヘッドマウントディスプレイ１００で検出されたヘッドトラッキング角度データで示される方向の映像データを読出して、３Ｄ処理部２３に供給する制御を行う中央制御ユニット２２と、供給される映像データを画像表示用の映像データとする３Ｄ処理部２３と、３Ｄ処理部２３で作成された映像データを、ヘッドマウントディスプレイ部１００に供給するビデオインターフェース部２４と、ヘッドマウントディスプレイ１００で検出されたヘッドトラッキング角度データを受信するコントロール用インターフェース部２５とで構成される。
【００３２】
そして、映像信号源２０からヘッドマウントディスプレイ１００に供給される映像データは、ヘッドマウントディスプレイ１００のビデオインターフェース部１７で受信されて、映像表示部１１０に供給し、映像表示部１１０内の左右の映像表示パネル１００Ｌ，１００Ｒに表示させる処理を行う。なお、映像データが立体映像表示用の映像データである場合には、左右の映像表示パネル１００Ｌ，１００Ｒに供給して表示させる映像データが個別のものになる。ビデオインターフェース部１７での受信、及び映像表示部１１０での映像表示についても、中央制御ユニット１４の制御で実行される。
【００３３】
なお、図７のブロック図では、音声データを処理する構成については省略してある。音声データについては、ヘッドトラッキング処理を行わなくても良いが、ステレオ音声を出力させる場合に、その音像が定位する方向を、ヘッドトラッキング角度データで示される角度に変化させても良い。映像信号源２０については、例えば、パーソナルコンピュータ装置，ビデオゲーム機器，ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｄｉｔａｌ Ａｓｓｉｓｔａｎｔｓ ），携帯電話端末などの演算処理を実行する手段と、これらの機器が内蔵（又は取付けられた）ハードディスク，光ディスク，半導体メモリなどの大容量記憶手段で構成される。
【００３４】
次に、本例のヘッドマウントディスプレイ１００でヘッドトラッキング角度データを得るヘッドトラッキング処理例を、図８〜図１０のフローチャートを参照して説明する。まず、ヘッドトラッキングのメイン処理を、図８のフローチャートを参照して説明すると、ヘッドマウントディスプレイ１００の電源投入があると（ステップＳ１１）、各種初期化命令の出力による初期化処理が行われ（ステップＳ１２）、その後リセット信号処理が実行される（ステップＳ１３）。リセット信号処理では、リセットスイッチ１５の操作又は映像信号源２０からのリセット信号の要求により、そのときの装着者の姿勢時におけるヘッドトラッキングデータを保存し、信号されるヘッドトラッキングデータがその姿勢で０°となるようにする。また、その場合、例えばヨウ角は、±１８０°を検出できるので問題ないが、ピッチ角とロール角は検出できる範囲が±９０°であるため、その２軸に関してのリセットを受け付ける姿勢角を、図５，図６に示したＺ軸と直交する平面付近に限定する処理が行われる。
【００３５】
次に、３軸角度検出処理が行われる（ステップＳ１４）。この３軸角度検出処理では、２軸傾斜センサ処理と、ジャイロセンサ処理が行われる。図９は、２軸傾斜センサ処理を示したフローチャートである。２軸傾斜センサ処理では、傾斜センサ１２から供給されるＰＷＭ信号のＸ軸のデューティ比及びＹ軸のデューティ比を検出する（ステップＳ２１，Ｓ２２）。そして、各デューティ比から、ピッチ角及びロール角を算出する（ステップＳ２３）。そして、傾斜センサ１２の加速度検出軸が、装着者のＸ軸，Ｙ軸に対し、ＸＹ平面上で、ヨウ角方向にずれがあった場合、算出したピッチ角とロール角に、そのずれの補正を行い（ステップＳ２４）、２軸傾斜センサ処理を終了する（ステップＳ２５）。
【００３６】
図１０は、ジャイロセンサ処理を示したフローチャートである。ジャイロセンサ処理では、まずジャイロセンサからの出力をデジタル変換したデータを取得する（ステップＳ３１）。次に、そのゲインの異なる複数の中央制御ユニットでデジタル変換して、ダイナミックレンジを大きくするためのゲインレンジング処理を行い（ステップＳ３２）、さらにジャイロセンサ１１のＤＣオフセットをカットする処理を行う（ステップＳ３３）。そして、ノイズ成分をカットするためのコアリング処理を行い（ステップＳ３４）、角速度データの積分処理により、ヨウ角を算出し（ステップＳ３５）、ジャイロセンサ処理を終了する（ステップＳ３６）。なお、既に説明したように、ステップＳ３５でヨウ角を算出する際には、２軸傾斜センサ処理で検出されたピッチ角とロール角に基づいて、算出されたヨウ角を補正するようにしても良い。
【００３７】
図８のメイン処理に戻ると、このようにして算出されたヨウ角とピッチ角とロール角を使用して、ヘッドトラッキング角度を求め、そのヘッドトラッキング角度データを、映像信号源側に転送する処理を行い（ステップＳ１５）、ステップＳ１３のリセット信号処理に戻る。但し、リセット信号処理でリセットスイッチの操作又はリセット信号の供給がない場合には、そのままステップＳ１４の３軸角度検出処理に戻る。
【００３８】
なお、ステップＳ１４での３軸角度検出処理では、２軸傾斜センサ処理として、重力である静的な加速度を検出して、その検出時の傾斜角度を求めるのに対し、ジャイロセンサ処理では、動的な加速度成分を検出して、積分することでヨウ角を求めるのであるので、それぞれの処理を行う周期は異なった周期であっても良い。ヘッドトラッキング角度データを、映像の切り出し範囲選定に利用する場合、ヘッドトラッキング検出の遅延時間が重要になってくるので、最大でも映像の更新レート以内に、ヘッドトラッキング処理を完了させ、転送する必要があり、処理時間配分が最も効率的となる周期で、図９のフローチャートの２軸傾斜センサ処理と図１０のジャイロセンサ処理を実行することが重要になる。一例としては、１６ビットで演算を行う汎用のマイクロプロセッサを中央制御ユニットとし、２軸傾斜センサ処理を１２５Ｈｚ周期で行い、ジャイロセンサ処理を１．２５ＫＨｚ周期で行うことで、上述した更新レートを満たすことが可能である。
【００３９】
このように構成されるヘッドマウントディスプレイ１００によると、装着者の頭部の動きに連動した映像を表示させることが可能になり、いわゆるバ─チャルリアリティの映像を表示させることが可能になる。また、音声についても、ヘッドトラッキングさせた音声の出力が可能になる。
【００４０】
そして、ヘッドトラッキング角度を検出するセンサとしては、ジャイロセンサと２軸傾斜センサを用意するだけで良く、２個のセンサだけを使用した簡単な構成で、良好に３次元的なヘッドトラッキング角度の検出が可能になる。ピッチ角とロール角については、±９０°に検出範囲が制限されることになるが、通常の人間の頭部の動きの範囲内の姿勢角を検出する分には十分な範囲であり、実用上問題はない。また、本例の場合には、ピッチ角とロール角は傾斜センサを使用して検出するので、ドリフト現象が発生することがなく、水平方向に安定した映像などでの仮想３Ｄ空間が、簡易で低コストに実現できる。また、センサの数が少ないために、ヘッドトラッキング角度を算出する演算手段（中央制御ユニット）での演算処理負担がそれだけ少なくて済む効果を有する。さらに、センサが少なくて良いので、ヘッドマウントディスプレイそのものを小型に構成でき、ヘッドマウントディスプレイの装着感を向上させることができる。
【００４１】
なお、図１〜図４に示した本例の形状のヘッドマウントディスプレイの場合には、いわゆるフルオープンエア型のヘッドホンに映像表示部を取付けて、ヘッドマウントディスプレイとして機能する形状としてあるので、従来からあるフルオープンエア型のヘッドホンとほぼ同様の装着感で、ヘッドマウントディスプレイを装着することができ、ヘッドマウントディスプレイとして良好なものになる。また、図４に示したように、映像表示部１１０をはね上げた場合には、ヘッドホンとしても使用可能であり、装置の汎用性が高い。
【００４２】
なお、この図１〜図４に示したヘッドマウントディスプレイの外形形状については一例を示したものであり、その他の形状のヘッドマウントディスプレイに、本発明を適用することができることは勿論である。また、ステレオ音声の音像定位位置を、ヘッドトラッキングで行うヘッドホン装置（即ち映像表示機能のない装置）に、本発明のヘッドトラッキング処理を適用しても良い。
【００４３】
さらに、上述した実施の形態では、ヘッドマウントディスプレイにリセットスイッチを設けて、そのリセットスイッチの操作された位置を、基準位置として、その位置からの動きを検出するようにしたが、何らかの方法（例えば地磁気センサなど）で絶対的な方位を検出するようにして、リセットスイッチを設けることなく、絶対的な角度によるヘッドトラッキング処理を行うようにしても良い。
【００４４】
【発明の効果】
本発明によると、ジャイロセンサと傾斜センサの２つのセンサを設けるだけで、頭部が向いている３次元的な方向を検出でき、低コストで簡易にヘッドトラッキングを行うシステムを実現できるようになる。
【００４５】
この場合、ジャイロセンサの出力からヨウ角を判断する周期は、傾斜センサの出力からピッチ角及びロ─ル角を算出する周期よりも短い周期としたことで、ジャイロセンサが出力する動的な角速度の短周期での判断に基づいて、ヨウ角の判断が正確に行えると共に、ピッチ角及びロ─ル角については、重力である静的な加速度から算出されるので、ある程度検出周期が長くなっても、常時正確に検出でき、良好な演算配分で、精度良く３軸の角度を検出できるようになる。
【００４６】
また、判断されたロール角及びピッチ角から、ジャイロセンサの出力から判断したヨウ角の補正を行うことで、より正確なヨウ角が判断できるようになる。
【図面の簡単な説明】
【図１】本発明の一実施の形態によるヘッドマウントディスプレイの装着例を示す斜視図である。
【図２】本発明の一実施の形態によるヘッドマウントディスプレイの形状の一例を示す斜視図である。
【図３】図２例のヘッドマウントディスプレイの側面図である。
【図４】図２例のヘッドマウントディスプレイの映像表示部を上げた状態の例を示す斜視図である。
【図５】本発明の一実施の形態による基準軸を示す説明図である。
【図６】本発明の一実施の形態によるセンサによる検出状態の示す説明図である。
【図７】本発明の一実施の形態によるシステム構成例を示すブロック図である。
【図８】本発明の一実施の形態によるヘッドトラッキング処理例を示すフローチャートである。
【図９】本発明の一実施の形態による２軸センサ処理例を示すフローチャートである。
【図１０】本発明の一実施の形態によるジャイロセンサ処理例を示すフローチャートである。
【図１１】従来のヘッドマウントディスプレイのシステム構成例を示すブロック図である。
【符号の説明】
１１…ジャイロセンサ、１２…加速度センサ、１３…アナログ処理部、１４…中央制御ユニット（ＣＰＵ）、１５…リセットスイッチ、１６…キースイッチ、１７…ビデオインターフェース部、１８…コントロール用インターフェース部、２０…映像信号源、２１…メモリ、２２…中央制御ユニット（ＣＰＵ）、２３…３Ｄ処理部、２４…ビデオインターフェース部、２５…コントロール用インターフェース部、１００…ヘッドマウントディスプレイ、１００Ｌ，１００Ｒ…映像表示パネル、１００ｎ…鼻用切り欠き部、１１０…映像表示部、１１１，１１２…連結部、１１３，１１４…接続部材、１１５，１１６…連結部、１１７，１１８…接続部材、１２１，１２２…軸保持部、１２３，１２４…接続部、１３０…バンド、１３１…幅広部、１３２，１３３…Ｕ字金具保持部、１４０…左ドライバユニット、１４１…ドライバ配置部、１４２…イヤーパッド、１４３…金具保持部、１４４…Ｕ字金具、１４５…連結部、１４６…コード、１４７…空洞部、１４８…コード、１５０…右ドライバユニット、１５１…ドライバ配置部、１５２…イヤーパッド、１５３…金具保持部、１５４…Ｕ字金具、１５５…連結部、１５６…コード、１５７…空洞部
Claims (6)
- 頭部の向いた３次元的な方向を、頭部の水平面に直立する直立軸の回りを回転する角であるヨウ角と、前記直立軸と直交する２軸となす角度であるピッチ角及びロール角の３軸で検出するヘッドトラッキング方法において、
前記ヨウ角をジャイロセンサの出力の積分値から判断し、
前記直立軸方向と直交する平面の傾斜を検出する傾斜センサの出力から、前記ピッチ角及び前記ロ─ル角を算出する
ヘッドトラッキング方法。 - 請求項１記載のヘッドトラッキング方法において、
ジャイロセンサの出力からヨウ角を判断する周期は、前記傾斜センサの出力からピッチ角及びロ─ル角を算出する周期よりも短い周期とした
ヘッドトラッキング方法。 - 請求項１記載のヘッドトラッキング方法において、
判断されたピッチ角及びロール角から、ジャイロセンサの出力から判断したヨウ角の補正を行う
ヘッドトラッキング方法。 - 頭部の向いた３次元的な方向を、頭部の水平面に直立する直立軸の回りを回転する角であるヨウ角と、前記直立軸と直交する２軸となす角度であるピッチ角及びロール角の３軸で検出するヘッドトラッキング装置において、
前記ヨウ角を検出するためのジャイロセンサと、
前記直立軸方向と直交する平面の傾斜を検出する傾斜センサと、
前記ジャイロセンサの出力の積分値からヨウ角を判断すると共に、前記傾斜センサが出力する角速度から、前記ピッチ角及び前記ロ─ル角を算出する演算手段とを備えた
ヘッドトラッキング装置。 - 請求項４記載のヘッドトラッキング装置において、
前記演算手段は、前記ジャイロセンサの出力からヨウ角を判断する周期は、前記傾斜センサの出力からピッチ角及びロ─ル角を算出する周期よりも短い周期とした
ヘッドトラッキング装置。 - 請求項４記載のヘッドトラッキング装置において、
前記演算手段は、算出されたピッチ角及びロール角から、前記ジャイロセンサの出力から判断したヨウ角の補正を行う
ヘッドトラッキング装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002249443A JP2004085476A (ja) | 2002-08-28 | 2002-08-28 | ヘッドトラッキング方法及び装置 |
| KR1020057003247A KR20050059110A (ko) | 2002-08-28 | 2003-08-26 | 헤드 트랙킹 방법 및 장치 |
| US10/525,925 US20050256675A1 (en) | 2002-08-28 | 2003-08-26 | Method and device for head tracking |
| EP03791296A EP1541966A4 (en) | 2002-08-28 | 2003-08-26 | METHOD AND DEVICE FOR MONITORING THE POSITION OF THE HEAD |
| PCT/JP2003/010776 WO2004020946A1 (ja) | 2002-08-28 | 2003-08-26 | ヘッドトラッキング方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002249443A JP2004085476A (ja) | 2002-08-28 | 2002-08-28 | ヘッドトラッキング方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004085476A true JP2004085476A (ja) | 2004-03-18 |
Family
ID=31972580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002249443A Pending JP2004085476A (ja) | 2002-08-28 | 2002-08-28 | ヘッドトラッキング方法及び装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20050256675A1 (ja) |
| EP (1) | EP1541966A4 (ja) |
| JP (1) | JP2004085476A (ja) |
| KR (1) | KR20050059110A (ja) |
| WO (1) | WO2004020946A1 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008001635A1 (fr) * | 2006-06-27 | 2008-01-03 | Nikon Corporation | Dispositif d'affichage de vidéo |
| WO2014069090A1 (ja) * | 2012-11-02 | 2014-05-08 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びにコンピューター・プログラム |
| JP2014215053A (ja) * | 2013-04-22 | 2014-11-17 | 富士通株式会社 | 方位検知装置、方法及びプログラム |
| JP2016109910A (ja) * | 2014-12-08 | 2016-06-20 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| CN106461940A (zh) * | 2015-04-30 | 2017-02-22 | 深圳市柔宇科技有限公司 | 穿戴式电子装置 |
| KR20180044550A (ko) * | 2016-10-24 | 2018-05-03 | 엘지전자 주식회사 | Hmd 디바이스 |
| JP2018512816A (ja) * | 2015-04-03 | 2018-05-17 | シェンツェン ロイヤル テクノロージーズ シーオー．，エルティーディー．Ｓｈｅｎｚｈｅｎ Ｒｏｙｏｌｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | ヘッドマウント式電子装置 |
| JP2018160249A (ja) * | 2018-05-14 | 2018-10-11 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、表示制御プログラム、及び表示制御方法 |
| US10379605B2 (en) | 2014-10-22 | 2019-08-13 | Sony Interactive Entertainment Inc. | Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system |
| US10778893B2 (en) | 2017-12-22 | 2020-09-15 | Seiko Epson Corporation | Detection device, display device and detection method |
| US10834323B2 (en) | 2017-09-14 | 2020-11-10 | Seiko Epson Corporation | Electronic apparatus, motion sensor, position change detection program, and position change detection method |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7749089B1 (en) | 1999-02-26 | 2010-07-06 | Creative Kingdoms, Llc | Multi-media interactive play system |
| US6761637B2 (en) | 2000-02-22 | 2004-07-13 | Creative Kingdoms, Llc | Method of game play using RFID tracking device |
| US7878905B2 (en) | 2000-02-22 | 2011-02-01 | Creative Kingdoms, Llc | Multi-layered interactive play experience |
| US7445550B2 (en) | 2000-02-22 | 2008-11-04 | Creative Kingdoms, Llc | Magical wand and interactive play experience |
| US7066781B2 (en) | 2000-10-20 | 2006-06-27 | Denise Chapman Weston | Children's toy with wireless tag/transponder |
| US6967566B2 (en) | 2002-04-05 | 2005-11-22 | Creative Kingdoms, Llc | Live-action interactive adventure game |
| US20070066396A1 (en) | 2002-04-05 | 2007-03-22 | Denise Chapman Weston | Retail methods for providing an interactive product to a consumer |
| US7674184B2 (en) | 2002-08-01 | 2010-03-09 | Creative Kingdoms, Llc | Interactive water attraction and quest game |
| US9446319B2 (en) | 2003-03-25 | 2016-09-20 | Mq Gaming, Llc | Interactive gaming toy |
| WO2004091400A1 (ja) * | 2003-04-11 | 2004-10-28 | Matsushita Electric Industrial Co., Ltd. | 加速度センサ軸情報補正装置及び加速度センサ軸情報補正方法 |
| US7672781B2 (en) * | 2005-06-04 | 2010-03-02 | Microstrain, Inc. | Miniaturized wireless inertial sensing system |
| DE102005033957B4 (de) * | 2005-07-20 | 2008-08-28 | Siemens Ag | Vorrichtung und Verfahren zur kabellosen Bedienung eines insbesondere medizinischen Geräts |
| US7942745B2 (en) | 2005-08-22 | 2011-05-17 | Nintendo Co., Ltd. | Game operating device |
| US8313379B2 (en) | 2005-08-22 | 2012-11-20 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| US7927216B2 (en) | 2005-09-15 | 2011-04-19 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| JP4805633B2 (ja) | 2005-08-22 | 2011-11-02 | 任天堂株式会社 | ゲーム用操作装置 |
| US8870655B2 (en) | 2005-08-24 | 2014-10-28 | Nintendo Co., Ltd. | Wireless game controllers |
| JP4262726B2 (ja) | 2005-08-24 | 2009-05-13 | 任天堂株式会社 | ゲームコントローラおよびゲームシステム |
| US8308563B2 (en) | 2005-08-30 | 2012-11-13 | Nintendo Co., Ltd. | Game system and storage medium having game program stored thereon |
| US8157651B2 (en) | 2005-09-12 | 2012-04-17 | Nintendo Co., Ltd. | Information processing program |
| JP4530419B2 (ja) | 2006-03-09 | 2010-08-25 | 任天堂株式会社 | 座標算出装置および座標算出プログラム |
| JP4151982B2 (ja) | 2006-03-10 | 2008-09-17 | 任天堂株式会社 | 動き判別装置および動き判別プログラム |
| JP4684147B2 (ja) | 2006-03-28 | 2011-05-18 | 任天堂株式会社 | 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム |
| JP4810295B2 (ja) * | 2006-05-02 | 2011-11-09 | キヤノン株式会社 | 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体 |
| JP5228305B2 (ja) | 2006-09-08 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
| JP5127242B2 (ja) | 2007-01-19 | 2013-01-23 | 任天堂株式会社 | 加速度データ処理プログラムおよびゲームプログラム |
| US7463953B1 (en) | 2007-06-22 | 2008-12-09 | Volkswagen Ag | Method for determining a tilt angle of a vehicle |
| DE102007030972B3 (de) | 2007-07-04 | 2009-01-29 | Siemens Ag | MR-kompatibles Videosystem |
| EP2012170B1 (en) * | 2007-07-06 | 2017-02-15 | Harman Becker Automotive Systems GmbH | Head-tracking system and operating method thereof |
| US20090119821A1 (en) * | 2007-11-14 | 2009-05-14 | Jeffery Neil Stillwell | Belt with ball mark repair tool |
| KR100947046B1 (ko) * | 2007-11-19 | 2010-03-10 | 황진상 | 운동체 자세 추적 장치, 운동체 자세 추적 방법, 이를이용한 칫솔 자세 추적 장치 및 칫솔 자세 추적 방법 |
| US10133438B2 (en) | 2008-09-17 | 2018-11-20 | Nokia Technologies Oy | User interface for augmented reality |
| KR101588040B1 (ko) * | 2009-02-13 | 2016-01-25 | 코닌클리케 필립스 엔.브이. | 이동 애플리케이션을 위한 헤드 트래킹 |
| JP2011019035A (ja) * | 2009-07-08 | 2011-01-27 | Ricoh Co Ltd | 情報装置、該装置を搭載した撮像装置および角度補正方法 |
| US9491560B2 (en) | 2010-07-20 | 2016-11-08 | Analog Devices, Inc. | System and method for improving headphone spatial impression |
| US20130007672A1 (en) * | 2011-06-28 | 2013-01-03 | Google Inc. | Methods and Systems for Correlating Head Movement with Items Displayed on a User Interface |
| US9529426B2 (en) * | 2012-02-08 | 2016-12-27 | Microsoft Technology Licensing, Llc | Head pose tracking using a depth camera |
| CN103018907A (zh) * | 2012-12-19 | 2013-04-03 | 虢登科 | 显示方法及头戴显示器 |
| GB201310359D0 (en) | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-Mountable apparatus and systems |
| USD741474S1 (en) * | 2013-08-22 | 2015-10-20 | Fresca Medical, Inc. | Sleep apnea device accessory |
| US9785231B1 (en) * | 2013-09-26 | 2017-10-10 | Rockwell Collins, Inc. | Head worn display integrity monitor system and methods |
| KR20150041453A (ko) * | 2013-10-08 | 2015-04-16 | 엘지전자 주식회사 | 안경형 영상표시장치 및 그것의 제어방법 |
| KR101665027B1 (ko) * | 2014-03-05 | 2016-10-11 | (주)스코넥엔터테인먼트 | 헤드 마운트 디스플레이용 헤드 트래킹 바 시스템 |
| WO2016172989A1 (zh) * | 2015-04-30 | 2016-11-03 | 深圳市柔宇科技有限公司 | 穿戴式电子装置 |
| WO2016172990A1 (zh) * | 2015-04-30 | 2016-11-03 | 深圳市柔宇科技有限公司 | 穿戴式电子装置 |
| JP7002333B2 (ja) | 2015-05-13 | 2022-01-20 | コリブリー | 磁力計を有する歯科衛生監視用歯ブラシシステム |
| EP3410172A4 (en) * | 2016-01-26 | 2019-09-25 | Shenzhen Royole Technologies Co. Ltd. | HEADSET DEVICE, HEADSET DEVICE, AND SEPARATION CONTROL PROCEDURE FOR A HEAD-MOUNTED DEVICE |
| US20180061103A1 (en) * | 2016-08-29 | 2018-03-01 | Analogix Semiconductor, Inc. | Systems and Methods for Generating Display Views Tracking User Head Movement for Head-Mounted Display Devices |
| CN111736353B (zh) * | 2020-08-25 | 2020-12-04 | 歌尔光学科技有限公司 | 一种头戴式设备 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5645077A (en) * | 1994-06-16 | 1997-07-08 | Massachusetts Institute Of Technology | Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body |
| JP3568597B2 (ja) * | 1994-09-28 | 2004-09-22 | 三菱農機株式会社 | 移動農機の傾斜検出装置 |
| US5841409A (en) * | 1995-04-18 | 1998-11-24 | Minolta Co., Ltd. | Image display apparatus |
| US5991085A (en) * | 1995-04-21 | 1999-11-23 | I-O Display Systems Llc | Head-mounted personal visual display apparatus with image generator and holder |
| US6369952B1 (en) * | 1995-07-14 | 2002-04-09 | I-O Display Systems Llc | Head-mounted personal visual display apparatus with image generator and holder |
| JPH09222921A (ja) * | 1996-02-14 | 1997-08-26 | Mitsubishi Heavy Ind Ltd | 無人車輛の走行制御装置 |
| JP3720972B2 (ja) * | 1998-01-22 | 2005-11-30 | 株式会社小松製作所 | 地形形状計測装置 |
| JP2000020017A (ja) * | 1998-07-02 | 2000-01-21 | Canon Inc | 分離型表示装置 |
| JP2002141841A (ja) * | 2000-10-31 | 2002-05-17 | Toshiba Corp | 頭部装着型情報処理装置 |
-
2002
- 2002-08-28 JP JP2002249443A patent/JP2004085476A/ja active Pending
-
2003
- 2003-08-26 US US10/525,925 patent/US20050256675A1/en not_active Abandoned
- 2003-08-26 WO PCT/JP2003/010776 patent/WO2004020946A1/ja not_active Application Discontinuation
- 2003-08-26 KR KR1020057003247A patent/KR20050059110A/ko not_active Application Discontinuation
- 2003-08-26 EP EP03791296A patent/EP1541966A4/en not_active Withdrawn
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8378925B2 (en) | 2006-06-27 | 2013-02-19 | Nikon Corporation | Video display device |
| JP5163492B2 (ja) * | 2006-06-27 | 2013-03-13 | 株式会社ニコン | 映像表示装置 |
| WO2008001635A1 (fr) * | 2006-06-27 | 2008-01-03 | Nikon Corporation | Dispositif d'affichage de vidéo |
| WO2014069090A1 (ja) * | 2012-11-02 | 2014-05-08 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びにコンピューター・プログラム |
| JP2014215053A (ja) * | 2013-04-22 | 2014-11-17 | 富士通株式会社 | 方位検知装置、方法及びプログラム |
| US10620699B2 (en) | 2014-10-22 | 2020-04-14 | Sony Interactive Entertainment Inc. | Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system |
| US10379605B2 (en) | 2014-10-22 | 2019-08-13 | Sony Interactive Entertainment Inc. | Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system |
| JP2016109910A (ja) * | 2014-12-08 | 2016-06-20 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| JP2018512816A (ja) * | 2015-04-03 | 2018-05-17 | シェンツェン ロイヤル テクノロージーズ シーオー．，エルティーディー．Ｓｈｅｎｚｈｅｎ Ｒｏｙｏｌｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | ヘッドマウント式電子装置 |
| US10338394B2 (en) | 2015-04-30 | 2019-07-02 | Shenzhen Royole Technologies Co., Ltd. | Wearable electronic apparatus |
| EP3242153A4 (en) * | 2015-04-30 | 2018-08-29 | Shenzhen Royole Technologies Co., Ltd | Wearable electronic apparatus |
| KR101999198B1 (ko) * | 2015-04-30 | 2019-07-11 | 선전 로욜 테크놀로지스 컴퍼니 리미티드 | 웨어러블 전자 장치 |
| KR20170108975A (ko) * | 2015-04-30 | 2017-09-27 | 선전 로욜 테크놀로지스 컴퍼니 리미티드 | 웨어러블 전자 장치 |
| CN106461940A (zh) * | 2015-04-30 | 2017-02-22 | 深圳市柔宇科技有限公司 | 穿戴式电子装置 |
| KR20180044550A (ko) * | 2016-10-24 | 2018-05-03 | 엘지전자 주식회사 | Hmd 디바이스 |
| KR102614087B1 (ko) * | 2016-10-24 | 2023-12-15 | 엘지전자 주식회사 | Hmd 디바이스 |
| US10834323B2 (en) | 2017-09-14 | 2020-11-10 | Seiko Epson Corporation | Electronic apparatus, motion sensor, position change detection program, and position change detection method |
| US10778893B2 (en) | 2017-12-22 | 2020-09-15 | Seiko Epson Corporation | Detection device, display device and detection method |
| JP2018160249A (ja) * | 2018-05-14 | 2018-10-11 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、表示制御プログラム、及び表示制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1541966A1 (en) | 2005-06-15 |
| WO2004020946A1 (ja) | 2004-03-11 |
| EP1541966A4 (en) | 2006-02-01 |
| US20050256675A1 (en) | 2005-11-17 |
| KR20050059110A (ko) | 2005-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004085476A (ja) | ヘッドトラッキング方法及び装置 | |
| JP3901061B2 (ja) | ヘッドマウント装置 | |
| US11156855B2 (en) | Modular wearable electronic devices, systems, and methods | |
| US8644531B2 (en) | Information processing system and information processing method | |
| JP6514089B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
| EP2451187A2 (en) | Headset with accelerometers to determine direction and movements of user head and method | |
| EP2645750A1 (en) | A hearing device with an inertial measurement unit | |
| WO2014147946A1 (ja) | 加速度感覚呈示装置、加速度感覚呈示方法および加速度感覚呈示システム | |
| US9916004B2 (en) | Display device | |
| US20230296383A1 (en) | Relative Inertial Measurement System with Visual Correction | |
| JP2014083205A (ja) | 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 | |
| CN109166150A (zh) | 获取位姿的方法、装置存储介质 | |
| JP6822963B2 (ja) | ファン駆動力デバイス | |
| JP5937137B2 (ja) | 地磁気検出装置 | |
| JP2010074228A (ja) | 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法 | |
| JP2002312117A (ja) | 円筒映像球面映像コントロール装置 | |
| US11140509B2 (en) | Head-tracking methodology for headphones and headsets | |
| US11599189B2 (en) | Head orientation tracking | |
| CN108844529A (zh) | 确定姿态的方法、装置及智能设备 | |
| JP2004046006A (ja) | ３次元情報表示装置 | |
| WO2021192455A1 (ja) | 音入出力制御装置、音入出力制御方法、及びプログラム | |
| JP3940896B2 (ja) | 回転検出装置、コントローラ装置、ヘッドホン装置および信号処理システム | |
| JP5034760B2 (ja) | ヘッドマウントディスプレイ | |
| TWI752567B (zh) | 校正系統和校正方法 | |
| GB2584894A (en) | Head tracking device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060620 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060821 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060912 |