JP2004096224A - Power supply control method and head mount device - Google Patents

Power supply control method and head mount device Download PDF

Info

Publication number
JP2004096224A
JP2004096224A JP2002251667A JP2002251667A JP2004096224A JP 2004096224 A JP2004096224 A JP 2004096224A JP 2002251667 A JP2002251667 A JP 2002251667A JP 2002251667 A JP2002251667 A JP 2002251667A JP 2004096224 A JP2004096224 A JP 2004096224A
Authority
JP
Japan
Prior art keywords
head
sensor
video
detected
living body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002251667A
Other languages
Japanese (ja)
Other versions
JP3901061B2 (en
Inventor
Masatomo Kurata
倉田 雅友
Ikuo Tanabe
田辺 育夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002251667A priority Critical patent/JP3901061B2/en
Publication of JP2004096224A publication Critical patent/JP2004096224A/en
Application granted granted Critical
Publication of JP3901061B2 publication Critical patent/JP3901061B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Television Receiver Circuits (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a head mount device such as a head mount display for effectively preventing wasteful power consumption while the device is not in use. <P>SOLUTION: Sensors 11, 12 fitted to a head or the like of a living body sense a motion of the living body, sense a direction in which the living body is directed or a position of the living body on the basis of sensed motion data, the head mount device performs processing on the basis of the sensed direction or position, when a state of sensing no motion of the living body is consecutive for a prescribed time or over on the basis of the motion data outputted from the sensors, the power supply is automatically shut off in response to control or the like of a power switch 19a so that the head mount device performs excellent power supply control with a simple configuration without the need for an exclusive sensor for sensing no mount device. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、例えば人体の頭部に装着されるヘッドマウントディスプレイなどに適用して好適なヘッドマウント装置、及びこの種の装置に適用される電源制御方法に関する。
【0002】
【従来の技術】
近年、人間の頭部が向いている3次元的な方向をセンサで検出して、その検出した方向の映像を、頭部に装着したヘッドマウントディスプレイ(HMD)に表示させるようにしたものが、バーチャルリアリティと称されて各種実用化されている。
【0003】
図9は、従来のヘッドマウントディスプレイの構成例を示す図である。この例では、頭部の動きを検出するセンサ部70と、頭部に装着されるヘッドマウントディスプレイ部80と、この映像表示部83に映像信号を供給するホスト部90とで構成される。センサ部70は、人間の頭部の動きを3次元的に検出する3つのセンサ71,72,73と、各センサ71,72,73の出力に基づいて、人間の頭部の3次元的な動きを演算する中央制御ユニット74と、中央制御ユニット74で演算された頭部の正面が向いた方向のデータをホスト部90に伝えるコントロール用インターフェース部75とで構成される。
【0004】
3つのセンサ71,72,73は、例えばそれぞれが直交する3つの軸方向の加速度を個別に検出する角速度センサで構成され、中央制御ユニット74での3軸の加速度の判断で、頭部の3次元的な動きを判断する。
【0005】
ホスト部90は、例えばある地点の周囲の全周の映像データを蓄積するメモリ91と、そのメモリ91に蓄積された映像データの中から、センサ部70で検出された方向の映像データを読出して、3D処理部93に供給する中央制御ユニット92と、供給される映像データを画像表示用の映像データとする3D処理部93と、3D処理部93で作成された映像データを、ヘッドマウントディスプレイ部80に供給するビデオインターフェース部94とで構成される。
【0006】
ヘッドマウントディスプレイ部80は、映像の表示制御を行う中央制御ユニット81と、ホスト部90から供給される映像データを受信するビデオインターフェース部82と、ビデオインターフェース部82が受信した映像データを表示処理する映像表示部83とで構成される。映像表示部83は、例えば左右の目の近傍に配置される液晶表示パネルが表示手段として使用される。センサ部70とヘッドマウントディスプレイ部80は、一体に構成されるのが一般的である。ホスト部90は、例えば、パーソナルコンピュータ装置とハードディスクや光ディスクなどの大容量記憶手段で構成される。
【0007】
このように構成されるヘッドマウントディスプレイを用意することで、装着者の頭部の動きに連動した映像を表示させることが可能になり、いわゆるバ─チャルリアリティの映像を表示させることが可能になる。
【0008】
【発明が解決しようとする課題】
ところで、この種のヘッドマウントディスプレイは、映像を表示させる機器であるため、携帯用の機器としては消費電力が比較的大きく、例えばバッテリ駆動とした場合の持続時間はそれほど長くはない。一方、ヘッドマウントディスプレイでの映像の表示は、機器に用意された電源スイッチの操作でオン・オフするのが一般的であり、例えばヘッドマウントディスプレイを非装着の状態で放置しても、電源スイッチがオンのままになっていると、映像が表示された状態が継続して、無駄な電力が消費されてしまう問題があった。
【0009】
なお、ここでは映像を表示させるヘッドマウントディスプレイについて説明したが、その他のヘッドマウント型の装置についても同様の問題がある。例えば、ユーザの頭部に装着させて、そのユーザに聴取させるステレオ音声を定位させる方向を、検出された装着方向に基づいて設定させる、オーディオ機器としてのヘッドマウント装置の場合にも、その装置が不使用時に電源オンのままで放置されると、無駄な電力が消費されてしまう問題がある。
【0010】
本発明はかかる点に鑑みてなされたものであり、ヘッドマウントディスプレイの如きヘッドマウント装置において、不使用時の無駄な電力消費を効果的に防止することを目的とする。
【0011】
【課題を解決するための手段】
本発明は、生体の所定箇所に取付けられたセンサで、生体の動きを検出し、その検出した動きデータに基づいて、生体が向く方向又は位置を検出し、その検出した方向又は位置に基づいた処理を行い、センサが出力する動きデータで所定時間以上生体の動きが検出されない状態が継続した場合に、電源を自動的にシャットオフさせるようにしたものである。
【0012】
このようにしたことで、動きを検出するセンサの出力を利用して、ヘッドマウント装置の不装着状態を判断でき、その検出で不装着状態を判断した場合に、電源か自動的にシャットオフされ、不装着時の無駄な電力消費がなくなる。
【0013】
【発明の実施の形態】
以下、図1〜図8を参照して、本発明の一実施の形態について説明する。
【0014】
図1は、本例のヘッドマウントディスプレイの装着例を示す図である。本例のヘッドマウントディスプレイ100は、ユーザの頭部hの左右の耳介の上に装着されるヘッドホンの如き形状としてあり、そのヘッドホンの如き形状とした上で映像表示部を取付けてある。図1は、映像表示部110を、ユーザの目の前に位置させて、映像と音声を視聴する状態を示してある。このヘッドマウントディスプレイ100は、図示しない映像信号源とケーブル148で接続させてあり、その映像信号源から供給される映像を映像表示部110で表示させると共に、左右の耳介に装着されたドライバユニットから、供給される音声を出力させる。本例の場合には、ヘッドマウントディスプレイ100内に、装着者が向いた方向を検出するセンサを内蔵させてあり、そのセンサの出力に基づいて検出された装着者が向いた方向に対応した映像を、映像信号源からヘッドマウントディスプレイ100に供給して表示させるようにしてある。音声についても、ステレオ音声信号として、そのとき向いた方向に対応した位相の音声を出力させるようにしても良い。
【0015】
図2は、ヘッドマウントディスプレイ100の形状の例を示した図である。本例のヘッドマウントディスプレイ100は、左ドライバユニット140と右ドライバユニット150を、バンド130で接続させた上で、左右のドライバユニット140,150で支持された状態で、横長形状の映像表示部110を取付けるようにしてある。バンド130は、弾力性を有する素材で構成させてあり、左ドライバユニット140と右ドライバユニット150とが、比較的弱い力で装着者の耳介側に押しつけられて、頭部に保持される構成としてある。また、頭部に装着されてない状態では、左右のドライバユニット140,150どうしの一部が接触するように近接する状態となっている。
【0016】
バンド130については、幅広部131が中央部に形成させてあり、装着者の頭部でヘッドマウントディスプレイ100を安定して保持できる構成としてある。また、バンド130の一端及び他端には、U字金具保持部132,133が構成させてあり、各ドライバユニット140,150の上端に取付けられたU字金具144,154の途中を、U字金具保持部132,133で保持させるようにしてある。このU字金具144,154を、保持部132,133で保持する位置を変化させることで、装着者の頭部の大きさに応じた調整ができる。
【0017】
各ドライバユニット140,150は、音声信号の供給で音声を出力する円形のドライバ(スピーカユニット)が内部に配置されたドライバ配置部141,151が中央に設けてあり、各ドライバ配置部141,151の周囲に、環状のイヤーパッド142,152が取付けてある。本例の各ドライバ配置部141,151と各イヤーパッド142,152との間には、空洞部147,157が設けてあり、装着者の耳介に対して若干浮いた状態で、ドライバ配置部141,151が位置するようにしてあり、いわゆるフルオープンエア型のヘッドホンとなるようにしてある。
【0018】
映像表示部110については、装着者の左目の前面に左目用の映像表示パネル100Lが配置してあり、装着者の右目の前面に右目用の映像表示パネル100Rが配置してある。図1,図2では、外側から見た図となっているため、映像表示パネル100L,100Rは見えない状態となっている。それぞれの映像表示パネル100L,100Rは、例えば液晶表示パネルが使用される。図3は、装着状態を真横から見た図であり、装着者の目の前に左右の映像表示パネル100L,100Rが位置している状態が判る。但し、液晶表示パネルなどの映像表示手段が、目に近接した位置にあるとは限らず、映像表示部110の内部に表示パネルが配置されて、光学部品を介して装着者の目前に映像が表示されるように見える構成としてある場合もある。また、バックライトなどの照明手段が必要な場合にも、映像表示部110に内蔵させてある。
【0019】
左右の液晶表示パネル100L,100Rの間の下部には、鼻用切り欠き部100nが設けてあり、図1に示したような装着時に、映像表示部110が装着者の鼻に接触しないようにしてある。
【0020】
映像表示部110を左右のドライバユニット140,150で支持する機構としては、映像表示部110の一端及び他端が、連結部111,112を介して、水平面上で回動できる状態で接続部材113,114に接続させてあり、さらに各接続部材113,114の端部が連結部115,116を介して、棒状の接続部材117,118に水平面上で回動できる状態で取付けてある。
【0021】
このように左右2箇所、合計4箇所の連結部111,112,115,116を有しているために、上述したように、ヘッドマウントディスプレイ100が非装着の状態で、左右のドライバユニット140,150が近接した状態から、装着時に左右のドライバユニット140,150が離れた状態まで、映像表示部110を良好に保持できる構造となっている。
【0022】
映像表示部110に接続された棒状の接続部材117,118は、接続部材123,124に固定された軸保持部121,122の透孔121a,122aを通過させてあり、その透孔121a,122aからの棒状の接続部材117,118の突出長を調整することで、映像表示部110と装着者の目との間の距離を調整できるようにしてある。
【0023】
また、接続部材123,124は、左右のドライバユニット140,150側と連結部145,155を介して上下に回動できる状態に接続させてあり、この回動により、映像表示部110を上部に上げることができる構成としてある。図4は、映像表示部110を上部に上げた状態の例を示した図である。このように映像表示部110を上部に上げたときには、バンド130の上に映像表示部110が位置することになる。なお、映像表示部110は、棒状の接続部材117,118の後端から外部に露出したコード146,156を介して左右のドライバユニット140,150内と電気的に接続させてあり、映像信号源と接続されたコード148を介して得られた映像信号が、映像表示部110に供給されると共に、映像信号源からの音声信号についても、コード146,156を介して右のドライバユニット150に供給される構成としてある。また、図示しない2つのセンサがドライバユニット150(或いは映像表示部110)に内蔵させてあり、そのセンサ出力に基づいたコントロール用のデータが、コード148を介して映像信号源側に供給されるようにしてある。
【0024】
また、図示はしないが、本例のヘッドマウントディスプレイ100の所定位置(例えば一方のドライバユニット140)には、リセットボタンや電源ボタンが取付けてあり、また、その他のスイッチやボリューム等の操作手段についても、必要により配置してある。
【0025】
次に、本例のヘッドマウントディスプレイ100で、装着者の頭部が向いた方向を検出する処理構成の原理を、図5及び図6を参照して説明する。図5Aに示すように、直立した状態の頭部hを直立する軸をZ軸とし、そのZ軸と直交する2つの軸であるX軸,Y軸を考えて、そのX軸,Y軸,Z軸で装着者の頭部が向いた方向の3次元的な座標位置を考えるとする。図5Bに示すように、X軸は頭部の左右方向の軸であり、Y軸は頭部の前後方向の軸である。このとき、頭部hの水平的な回動は、Z軸の回りを回転する角であるヨウ角(Yaw角)θで示され、頭部hの前後方向の傾きは、Y軸との間でなす角度であるピッチ角(お辞儀方向の角度)として示され、頭部hの左右方向の傾きは、X軸との間でなす角度であるロール角(かしげ方向の角度)として示される。
【0026】
装着者の頭部が向いた3次元的な方向を正確に検出するためには、ヨウ角θとロール角及びピッチ角の検出が必要であり、従来はそれぞれの角度の検出を行うために、それぞれ別の方向を向いた3つのセンサで角速度を個別に検出するようにしていた。ここで本例においては、ヨウ角θについては、1つのジャイロセンサから検出するようにしてある。ジャイロセンサは、外部から加わる角速度又は角加速度を検出するセンサである。ロール角とピッチ角については、図5Aに示すように、センサの中心を図の座標系の原点として、X軸とY軸で構成される平面(XY平面)に対するX軸方向、Y軸方向の傾きを検出する傾斜センサ(2軸傾斜センサ)の出力から判断するようにしてある。ここでは、Y軸方向の傾きS1 を、X軸回転方向の角度ピッチ角と同等とし、X軸方向の傾きS2 を、Y軸回転方向の角度ロール角と同等とする。
【0027】
なお、傾斜センサは、静的な加速度である重力を計測するセンサであるため、±90°の判断手しか検出できないが、直立状態における人間の頭部の回転角をカバーできる範囲内であるため、人間の頭部の回転位置を検出できる。さらに、ピッチ角やロール角は、静的な加速度である重力を絶対座標軸として出力となるので、センサによるドリフト現象は発生しない。Z軸方向の加速度S1 及びS2 は、同じ方向の加速度であるので、図6に示すように、Z軸方向の加速度を検出する1つの加速度センサ12で、加速度S1 及びS2 を検出して、ロール角とピッチ角を判断するようにしてある。また、ヨウ角θは、この方向の加速度を検出するジャイロセンサ11が出力する加速度から判断するようにしてある。この2つのセンサ11,12は、既に述べたように、ヘッドマウントディスプレイ100のいずれかの位置に配置すれば良い。
【0028】
次に、本例のヘッドマウントディスプレイ100の回路構成を、図7のブロック図を参照して説明する。図7では、ヘッドマウントディスプレイ100にコード148を介して接続される映像信号源20の構成についても示してある。
【0029】
ヘッドマウントディスプレイ100に取付けられたジャイロセンサ11は、そのセンサ11が出力す加速度信号をアナログ処理部13に供給して、ローパスフィルタによるフィルタリング、増幅などのアナログ処理を行い、その後デジタルデータ化し、中央制御ユニット14に供給する。傾斜センサ12は、ここではパルス幅変調信号であるPWM信号として、加速度信号を出力するセンサとしてあり、X軸方向の傾斜状態と、Y軸方向の傾斜状態とを、個別にPWM信号として中央制御ユニット14に供給する。この供給されたPWM信号に基づいて、ロール角及びピッチ角を算出するようにしてある。
【0030】
また、ヘッドマウントディスプレイ100に設けられたリセットボタン15と、電源ボタン16の操作を、中央制御ユニット14で検出する構成としてある。中央制御ユニット14では、リセットボタン15が操作されたときの位置を基準位置として、ジャイロセンサ11と加速度センサ12との出力に基づいて、その基準位置からの装着者の頭部の動きを検出する構成としてある。頭部の正面が向く方向であるヨウ角については、ジャイロセンサ11の出力に基づいて算出するようにしてある。但し、傾斜センサ12の出力に基づいて算出されたロール角及びピッチ角を使用して、ジャイロセンサ11の出力に基づいて算出されたヨウ角を補正するようにしても良い。具体的には、例えば頭部がいずれかの方向に比較的大きく傾斜した状態でヨウ角の動きがあった場合に、ジャイロセンサ11の出力から検出されるヨウ角に誤差が生じる可能性があり、そのような場合に、算出されたロール角及びピッチ角を使用して、ヨウ角を補正しても良い。
【0031】
また、電源ボタン16が押された場合には、中央制御ユニット14が電源のオン・オフ制御を行うようにしてある。即ち、ヘッドマウントディスプレイ100が電源オフの状態で、電源ボタン16が押されたことを検出した場合には、ヘッドマウントディスプレイ100の電源を投入させる制御を行って、映像表示部110での映像表示などを実行させる。また、ヘッドマウントディスプレイ100が電源オンの状態で、電源ボタン16が押されたことを検出した場合には、ヘッドマウントディスプレイ100の電源をシャットダウンさせて、映像表示などを停止させる。
【0032】
なお、中央制御ユニット14による電源のオン・オフ制御は、図7に示すように、電源部19の出力電源のメイン電源スイッチ19aによる制御で実行される。即ち、本例のヘッドマウントディスプレイ100は、商用交流電源などを変圧・整流して動作用の電源(例えば直流低圧電源)を得る(或いは装着されたバッテリから動作用の電源を得る)電源部19を備え、その電源部19が出力する電源を、メイン電源スイッチ19aを介して、ヘッドマウントディスプレイ100内の各回路に供給して作動させるようにしてある。そして、メイン電源スイッチ19aが、電源ボタン16の操作などによって中央制御ユニット14で制御される。中央制御ユニット14などの最低限の回路には、電源部19から常時電源が供給される構成としてあり、電源オフ状態であっても電源ボタン16の操作などの電源制御に必要な最低限の判断が中央制御ユニット14でできる構成としてある。但し、図示しない別の電源スイッチの直接的な操作で、中央制御ユニット14を含む全ての回路への電源供給が停止するようにしても良い。
【0033】
また、本例のヘッドマウントディスプレイ100は、電源オンの状態で、ジャイロセンサ11及び傾斜センサ12の出力から、動きが所定時間連続してないことを検出したとき、ディスプレイ100が未装着であると判断して、メイン電源スイッチ19aをオフ状態として、自動的に電源をシャットダウンさせるようにしてある。この未装着検出処理の詳細については後述する。
【0034】
中央制御ユニット14で算出された3軸(ヨウ角、ロール角、ピッチ角)の各軸毎の算出角度のデータは、ヘッドトラッキング角度データとして、コントロール用インターフェース部18から、映像信号源20側に送られる。
【0035】
映像信号源20は、例えばある地点の周囲の全周の映像データと、その映像データに付随する音声データを蓄積するメモリ21と、そのメモリ21に蓄積された映像データの中から、ヘッドマウントディスプレイ100で検出されたヘッドトラッキング角度データで示される方向の映像データを読出して、3D処理部23に供給する制御を行う中央制御ユニット22と、供給される映像データを画像表示用の映像データとする3D処理部23と、3D処理部23で作成された映像データを、ヘッドマウントディスプレイ部100に供給するビデオインターフェース部24と、ヘッドマウントディスプレイ100で検出されたヘッドトラッキング角度データを受信するコントロール用インターフェース部25とで構成される。
【0036】
そして、映像信号源20からヘッドマウントディスプレイ100に供給される映像データは、ヘッドマウントディスプレイ100のビデオインターフェース部17で受信されて、映像表示部110に供給し、映像表示部110内の左右の映像表示パネル100L,100Rに表示させる処理を行う。なお、映像データが立体映像表示用の映像データである場合には、左右の映像表示パネル100L,100Rに供給して表示させる映像データが個別のものになる。ビデオインターフェース部17での受信、及び映像表示部110での映像表示についても、中央制御ユニット14の制御で実行される。
【0037】
なお、図7のブロック図では、音声データを処理する構成については省略してある。音声データについては、ヘッドトラッキング処理を行わなくても良いが、ステレオ音声を出力させる場合に、その音像が定位する方向を、ヘッドトラッキング角度データで示される角度に変化させても良い。映像信号源20については、例えば、パーソナルコンピュータ装置,ビデオゲーム機器,PDA(PersonalDidital Assistants ),携帯電話端末などの演算処理を実行する手段と、これらの機器が内蔵(又は取付けられた)ハードディスク,光ディスク,半導体メモリなどの大容量記憶手段で構成される。
【0038】
次に、本例のヘッドマウントディスプレイ100の未装着検出処理を、図8のフローチャートを参照して説明する。まず、電源部19から中央制御ユニット14に電源が供給されると、未装着検出モーションデータ番号nと未装着検出カウンタMを0に設定する(ステップS51)。この未装着検出モーションデータ番号nと未装着検出カウンタMの値は、例えば中央制御ユニット14に接続(又は内蔵)されたメモリに記憶させて設定される。
【0039】
次に、センサの検出間隔を決めるタイマをスタートさせる(ステップS52)。その後、ヘッドトラッキングに必要なセンサの出力検出処理などのヘッドマウントディスプレイとしてのメイン処理を実行し(ステップS53)、ステップS52でスタートさせた検出間隔を決める所定時間が経過しているか否か判断する(ステップS54)。所定時間としては、例えば2時間程度の比較的長い時間、或いは数分程度の短い時間でも良い。この検出間隔を決める時間は、例えばユーザ設定などで自由に設定できるようにしても良い。設定された所定時間が経過してない場合には、ステップS53のメイン処理に戻る。
【0040】
ステップS54の判断で、検出間隔を決める所定時間が経過したと判断した場合には、ステップS55に移り、ステップS53のメイン処理で算出された装着者の頭部のモーションデータ(位置データや加速度データなど)を、未装着検出モーションデータn番として格納する。このステップS55での格納の後、それがデータ0番(即ち最初に格納されたデータ)であるか否か判断し(ステップS56)、もしデータ0番であれば、nの値を1つ加算して(ステップS57)、ステップS53のメイン処理に戻る。
【0041】
また、ステップS56で判断したデータ番号nが0番でなければ、ステップS58に進み、ステップS55で得た未装着検出モーションデータ0番と、最新の未装着検出モーションデータとを比較する。もし、ヘッドマウントディスプレイ100がユーザの頭部に装着された状態であれば、微動であっても何らかの動きを行うはずであるので、検出された未装着検出モーションデータが一定にはならない。ここでは、最初の未装着検出モーションデータD0と、最新の未装着検出モーションデータD1との差の絶対値(即ち|D0−D1|)と、予め設定された閾値Aとが比較されて、|D0−D1|<Aでない場合(即ち未装着検出モーションデータに閾値A以上の差がある場合)には、未装着でない(即ち装着されている)と判断して、未装着検出モーションデータ番号nと未装着検出カウンタMを0にリセットして(ステップS59)、ステップS53のメイン処理に戻る。
【0042】
ステップS58の判断で、|D0−D1|<Aである場合には、装着者の動きがないと判断して、ステップS60に進む。なお、閾値Aは、センサの精度やノイズの影響などを考慮して、過去の未装着検出モーションデータと最新の未装着検出モーションデータとの差があっても、未装着であると見なせる範囲を決める値として設定する。ステップS60では、未装着検出カウンタMの値を1つ加算させるインクリメントを行う。そして、そのインクリメントされた未装着検出カウンタMの値が、予め設定された所定値B以上であるか否か判断する(ステップS61)。この判断で、未装着検出カウンタMの値が所定値B未満であると判断した場合には、ステップS53のメイン処理に戻る。
【0043】
そして、ステップS61で所定値B以上であると判断された場合には、そのB回連続して未装着状態であると検出されたので、B回連続して検出される時間に相当する時間、連続して未装着状態であり、メイン電源スイッチ19aをオフ状態として、シャットオフさせる処理を行い(ステップS62)、未装着検出に基づいた電源制御に関する処理を終了する。ステップS62でのシャットオフが行われると、映像表示部での映像表示が停止し、左右のドライバユニットに内蔵されたドライバ(スピーカ)からの音声の出力も停止する。
【0044】
なお、このように自動的にシャットオフされた状態で、ヘッドマウントディスプレイを再度装着して使用したい場合には、例えば電源ボタン16をユーザが押して、電源を再投入させれば良い。
【0045】
このように、ヘッドマウントディスプレイに用意されたヘッドトラッキング用のセンサの出力に基づいて、未装着状態を検出した場合に、ヘッドマウントディスプレイの自動的な電源シャットオフ処理を行うようにしたので、未装着に電源オンのまま放置されるようなことがあっても、無駄な電力消費を抑えることができる。また、表示パネルなどの使用寿命のある部品の使用時間をセーブすることができる。さらに、ヘッドマウントディスプレイに用意されたヘッドトラッキング用のセンサの出力に基づいて、未装着状態を検出するので、未装着状態を検出するための特別なセンサを必要としない簡単な構成で、確実に未装着状態を検出することができ、未装着状態を検出することによるコスト増がほとんどない効果を有する。
【0046】
なお、上述した実施の形態では、未装着状態を検出した場合に、電源の自動的なシャットオフ処理を行うまでを説明したが、未装着状態の検出で電源の自動的なシャットオフを行った後に、センサの出力に基づいたモーションデータに変化を検出した場合に、電源を再投入させるようにしても良い。このようにすることで、再度装着されたときに、電源ボタンをユーザが操作する必要がなくなる。
【0047】
また、上述した実施の形態では、未装着を検出する処理として、2つのセンサ出力から算出されたモーションデータを利用して検出するようにしたが、いずれか1つのセンサの出力状態を直接判断して、未装着か否かを検出するようにしても良い。
【0048】
また、図1〜図4に示したヘッドマウントディスプレイの外形形状については一例を示したものであり、その他の形状のヘッドマウントディスプレイに、本発明を適用することができることは勿論である。この場合、センサ構成についても、例えば従来例で説明したような3つのセンサを有する構成のヘッドマウント機器にも適用可能である。
【0049】
さらに、ここまでの説明では、人体の頭部に装着して、映像を表示させるヘッドマウントディスプレイに適用した例としたが、例えば、ステレオ音声の音像定位位置を、ヘッドトラッキングで行うヘッドホン装置(即ち映像表示機能のない装置)に、本発明の未装着状態の検出処理を適用しても良い。この場合にも、未装着を検出した場合に、音声出力を停止させるようにすれば良い。また、その他の生体に装着して、動いた方向や位置を検出し、その方向や位置の変化を検出した場合に、何らかの処理を行う装置にも適用可能である。
【0050】
【発明の効果】
本発明によると、動きを検出するセンサの出力を利用して、ヘッドマウント装置の不装着状態を判断でき、その検出で不装着状態を判断した場合に、電源か自動的にシャットオフされ、不装着時の無駄な電力消費がなくなる。そして、不装着状態を検出するセンサとして、ヘッドマウント装置がヘッドトラッキング用に備わるセンサを利用したので、不装着検出専用のセンサが必要なく、簡単な構成で実現できる。
【0051】
また、自動的なシャットオフを行った後に、センサが出力する動きデータで生体の動きが検出された場合に、電源を再投入させるようにしたことで、再度装着された場合の電源投入操作が必要なくなる。
【0052】
また、センサは、角速度又は角加速度を動きデータとして出力するセンサであり、制御手段は、センサが出力する角速度又は角加速度の値の変化から、動きの有無を判断することで、確実に不装着状態を検出できる。
【0053】
さらに、頭部が向いた方向のデータに基づいて、映像又は音声を、対応した方向の映像又は音声として提供するヘッドマウントディスプレイなどに適用して、シャットオフ時にその映像又は音声の提供の停止(即ち映像の表示や音声の出力を停止)させることで、無駄な映像の表示や音声の出力がなくなり、ヘッドマウント装置の無駄な電力消費を効果的に無くすことができるようになる。
【図面の簡単な説明】
【図1】本発明の一実施の形態によるヘッドマウントディスプレイの装着例を示す斜視図である。
【図2】本発明の一実施の形態によるヘッドマウントディスプレイの形状の一例を示す斜視図である。
【図3】図2例のヘッドマウントディスプレイの側面図である。
【図4】図2例のヘッドマウントディスプレイの映像表示部を上げた状態の例を示す斜視図である。
【図5】本発明の一実施の形態による基準軸を示す説明図である。
【図6】本発明の一実施の形態によるセンサによる検出状態の示す説明図である。
【図7】本発明の一実施の形態によるシステム構成例を示すブロック図である。
【図8】本発明の一実施の形態による未装着検出処理例を示すフローチャートである。
【図9】従来のヘッドマウントディスプレイのシステム構成例を示すブロック図である。
【符号の説明】
11…ジャイロセンサ、12…加速度センサ、13…アナログ処理部、14…中央制御ユニット(CPU)、15…リセットボタン、16…電源ボタン、17…ビデオインターフェース部、18…コントロール用インターフェース部、19…電源部、19a…メイン電源スイッチ、20…映像信号源、21…メモリ、22…中央制御ユニット(CPU)、23…3D処理部、24…ビデオインターフェース部、25…コントロール用インターフェース部、100…ヘッドマウントディスプレイ、100L,100R…映像表示パネル、100n…鼻用切り欠き部、110…映像表示部、111,112…連結部、113,114…接続部材、115,116…連結部、117,118…接続部材、121,122…軸保持部、123,124…接続部、130…バンド、131…幅広部、132,133…U字金具保持部、140…左ドライバユニット、141…ドライバ配置部、142…イヤーパッド、143…金具保持部、144…U字金具、145…連結部、146…コード、147…空洞部、148…コード、150…右ドライバユニット、151…ドライバ配置部、152…イヤーパッド、153…金具保持部、154…U字金具、155…連結部、156…コード、157…空洞部
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a head mount device suitable for application to, for example, a head mount display mounted on the head of a human body, and a power supply control method applied to this type of device.
[0002]
[Prior art]
In recent years, a sensor that detects a three-dimensional direction in which a human head is facing with a sensor, and displays an image of the detected direction on a head-mounted display (HMD) mounted on the head, It is called virtual reality and has been put to practical use.
[0003]
FIG. 9 is a diagram illustrating a configuration example of a conventional head mounted display. In this example, the sensor unit 70 detects the movement of the head, a head mounted display unit 80 attached to the head, and a host unit 90 that supplies a video signal to the video display unit 83. The sensor unit 70 includes three sensors 71, 72, 73 for three-dimensionally detecting the movement of the human head, and a three-dimensional human head based on the outputs of the sensors 71, 72, 73. The control unit 74 includes a central control unit 74 for calculating the movement, and a control interface unit 75 for transmitting data calculated by the central control unit 74 in the head-facing direction to the host unit 90.
[0004]
The three sensors 71, 72, and 73 are, for example, angular velocity sensors that individually detect acceleration in three axial directions that are orthogonal to each other. When the central control unit 74 determines three-axis acceleration, Judge dimensional movement.
[0005]
The host unit 90 reads, for example, a memory 91 for storing video data of the entire circumference around a certain point, and reads video data in the direction detected by the sensor unit 70 from the video data stored in the memory 91. A central control unit 92 that supplies the video data to the 3D processing unit 93, a 3D processing unit 93 that uses the supplied video data as video data for image display, and a head mounted display unit that transmits the video data created by the 3D processing unit 93. And a video interface unit 94 for supplying the signal to the video interface 80.
[0006]
The head mounted display unit 80 performs a display control of a central control unit 81 that performs display control of video, a video interface unit 82 that receives video data supplied from the host unit 90, and a video data that is received by the video interface unit 82. It is composed of a video display unit 83. As the image display unit 83, for example, a liquid crystal display panel arranged near the left and right eyes is used as a display unit. Generally, the sensor unit 70 and the head mounted display unit 80 are integrally configured. The host unit 90 includes, for example, a personal computer device and a large-capacity storage unit such as a hard disk or an optical disk.
[0007]
By preparing a head mounted display configured in this way, it becomes possible to display an image linked to the movement of the head of the wearer, and it is possible to display a so-called virtual reality image .
[0008]
[Problems to be solved by the invention]
By the way, since this type of head mounted display is a device for displaying an image, the power consumption is relatively large as a portable device, and for example, the duration when it is driven by a battery is not so long. On the other hand, video display on a head-mounted display is generally turned on and off by operating a power switch provided on the device.For example, even if the head-mounted display is left unattached, the power switch Is turned on, there is a problem that the state in which an image is displayed is continued and wasteful power is consumed.
[0009]
Here, the head mounted display for displaying an image has been described, but other head mounted devices also have the same problem. For example, even in the case of a head mounted device as an audio device, which is mounted on the head of a user and sets a direction in which stereophonic sound to be heard by the user is localized based on the detected mounting direction, the device is also used. If the power is left on when not in use, there is a problem that wasteful power is consumed.
[0010]
The present invention has been made in view of such a point, and an object of the present invention is to effectively prevent wasteful power consumption when not in use in a head mounted device such as a head mounted display.
[0011]
[Means for Solving the Problems]
The present invention detects a movement of a living body with a sensor attached to a predetermined portion of the living body, detects a direction or position of the living body based on the detected movement data, and is based on the detected direction or position. The power is automatically shut off when processing is performed and a state in which the movement of the living body is not detected for a predetermined time or more by the movement data output by the sensor continues.
[0012]
With this configuration, it is possible to determine the non-wearing state of the head mount device by using the output of the sensor that detects the movement, and when the non-wearing state is determined by the detection, the power supply is automatically shut off. In addition, unnecessary power consumption at the time of non-mounting is eliminated.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to FIGS.
[0014]
FIG. 1 is a diagram showing a mounting example of the head mounted display of the present embodiment. The head-mounted display 100 of the present example has a shape like headphones mounted on the left and right auricles of the user's head h, and has an image display unit after being shaped like the headphones. FIG. 1 shows a state in which the video display unit 110 is positioned in front of the user's eyes to view video and audio. The head-mounted display 100 is connected to a video signal source (not shown) by a cable 148, and displays a video supplied from the video signal source on a video display unit 110 and a driver unit attached to the left and right pinna. Output the supplied sound. In the case of this example, a sensor for detecting the direction in which the wearer is facing is built in the head-mounted display 100, and an image corresponding to the direction in which the wearer is detected is detected based on the output of the sensor. Is supplied from the video signal source to the head mounted display 100 for display. As for the sound, a sound having a phase corresponding to the direction in which the sound is directed may be output as a stereo sound signal.
[0015]
FIG. 2 is a diagram showing an example of the shape of the head mounted display 100. The head mounted display 100 of the present embodiment has a horizontally long image display unit 110 in a state where the left driver unit 140 and the right driver unit 150 are connected by the band 130 and supported by the left and right driver units 140 and 150. Is attached. The band 130 is made of a material having elasticity, and the left driver unit 140 and the right driver unit 150 are pressed against the auricle side of the wearer with relatively weak force and held on the head. There is. In a state where the left and right driver units 140 and 150 are not mounted on the head, a part of the left and right driver units 140 and 150 is in close contact with each other.
[0016]
The band 130 has a wide portion 131 formed at the center thereof, and is configured to stably hold the head mounted display 100 with the wearer's head. U-shaped metal holders 132 and 133 are formed at one end and the other end of the band 130, respectively. The U-shaped metal fittings 144 and 154 attached to the upper ends of the driver units 140 and 150 are formed in a U-shape. It is configured to be held by metal fitting holding portions 132 and 133. By changing the position at which the U-shaped fittings 144 and 154 are held by the holding portions 132 and 133, adjustments can be made according to the size of the head of the wearer.
[0017]
In each of the driver units 140 and 150, a driver arrangement section 141 and 151 in which a circular driver (speaker unit) for outputting a sound by supplying an audio signal is provided at the center, and each of the driver arrangement sections 141 and 151 is provided. Are attached around the periphery of the earbuds. Cavities 147, 157 are provided between each of the driver placement sections 141, 151 of this example and each of the ear pads 142, 152, and the driver placement sections 141 are slightly lifted with respect to the pinna of the wearer. , 151 are positioned so as to be a so-called full open air type headphone.
[0018]
In the video display section 110, a video display panel 100L for the left eye is disposed in front of the left eye of the wearer, and a video display panel 100R for the right eye is disposed in front of the right eye of the wearer. In FIGS. 1 and 2, the image display panels 100L and 100R are invisible because they are viewed from the outside. As each of the video display panels 100L and 100R, for example, a liquid crystal display panel is used. FIG. 3 is a view of the wearing state viewed from the side, and it can be seen that the left and right image display panels 100L and 100R are located in front of the wearer. However, the image display means, such as a liquid crystal display panel, is not always located close to the eyes. A display panel is arranged inside the image display unit 110, and the image is displayed in front of the wearer via optical components. There may be a configuration that appears to be displayed. When an illuminating unit such as a backlight is required, the image display unit 110 is incorporated.
[0019]
At the lower portion between the left and right liquid crystal display panels 100L and 100R, a nose cutout 100n is provided to prevent the image display unit 110 from contacting the wearer's nose when worn as shown in FIG. It is.
[0020]
As a mechanism for supporting the image display unit 110 with the left and right driver units 140 and 150, the connection member 113 is arranged such that one end and the other end of the image display unit 110 can be rotated on a horizontal plane via the connection units 111 and 112. , 114, and the ends of the connecting members 113, 114 are attached to the rod-shaped connecting members 117, 118 via connecting portions 115, 116 in a state where they can be rotated on a horizontal plane.
[0021]
Since there are two connecting portions 111, 112, 115, and 116 at two locations on the left and right sides in this way, as described above, the left and right driver units 140, The structure is such that the video display unit 110 can be held satisfactorily from the state in which the driver unit 150 is close to the state in which the left and right driver units 140 and 150 are separated from each other when mounted.
[0022]
The rod-shaped connecting members 117 and 118 connected to the image display unit 110 pass through the through holes 121 a and 122 a of the shaft holding units 121 and 122 fixed to the connecting members 123 and 124, and the through holes 121 a and 122 a The distance between the image display unit 110 and the eyes of the wearer can be adjusted by adjusting the protruding lengths of the bar-shaped connection members 117 and 118 from the camera.
[0023]
The connecting members 123 and 124 are connected to the left and right driver units 140 and 150 via connecting portions 145 and 155 so that they can be turned up and down. There is a configuration that can be raised. FIG. 4 is a diagram illustrating an example of a state in which the image display unit 110 is lifted up. When the image display unit 110 is raised to the upper part as described above, the image display unit 110 is positioned above the band 130. The video display unit 110 is electrically connected to the left and right driver units 140 and 150 via the cords 146 and 156 exposed to the outside from the rear ends of the rod-shaped connection members 117 and 118. The video signal obtained through the cord 148 connected to the video signal source is supplied to the video display unit 110, and the audio signal from the video signal source is also supplied to the right driver unit 150 through the cords 146 and 156. The configuration is as follows. Also, two sensors (not shown) are built in the driver unit 150 (or the video display unit 110), and control data based on the sensor output is supplied to the video signal source via the code 148. It is.
[0024]
Although not shown, a reset button or a power button is attached to a predetermined position (for example, one driver unit 140) of the head mounted display 100 of the present example, and other operation means such as a switch and a volume are provided. Are also arranged as necessary.
[0025]
Next, the principle of the processing configuration for detecting the direction in which the wearer's head is turned on the head mounted display 100 of the present embodiment will be described with reference to FIGS. As shown in FIG. 5A, the axis that erects the head h in the upright state is defined as the Z axis, and the X axis, the Y axis, and the X axis and the Y axis that are orthogonal to the Z axis are considered. Let us consider a three-dimensional coordinate position in the direction in which the wearer's head is turned on the Z axis. As shown in FIG. 5B, the X axis is an axis in the left-right direction of the head, and the Y axis is an axis in the front-rear direction of the head. At this time, the horizontal rotation of the head h is indicated by a yaw angle (Yaw angle) θ, which is an angle rotating about the Z axis, and the inclination of the head h in the front-rear direction is between the Y axis. , And the inclination of the head h in the left-right direction is shown as a roll angle (angle in the bending direction) formed between the head h and the X-axis.
[0026]
In order to accurately detect the three-dimensional direction of the wearer's head, it is necessary to detect the yaw angle θ, the roll angle, and the pitch angle. Conventionally, in order to detect each angle, Angular velocities are individually detected by three sensors each facing a different direction. Here, in this example, the yaw angle θ is detected from one gyro sensor. The gyro sensor is a sensor that detects an externally applied angular velocity or angular acceleration. Regarding the roll angle and the pitch angle, as shown in FIG. 5A, using the center of the sensor as the origin of the coordinate system in the figure, the X-axis direction and the Y-axis direction with respect to a plane (XY plane) composed of the X axis and the Y axis. The determination is made from the output of a tilt sensor (two-axis tilt sensor) for detecting the tilt. Here, the slope S 1 in the Y-axis direction, and equivalent to the angular pitch angle of the X-axis rotation direction, the X-axis direction of the inclination S 2, is equal to the angle roll angle of the Y-axis rotation direction.
[0027]
Note that the tilt sensor is a sensor that measures gravity, which is a static acceleration, and therefore can detect only ± 90 degrees of judgment, but is within a range that can cover the rotation angle of the human head in the upright state. , The rotational position of the human head can be detected. Further, since the pitch angle and the roll angle are output using the gravity, which is a static acceleration, as an absolute coordinate axis, the drift phenomenon by the sensor does not occur. Acceleration S 1 and S 2 in the Z-axis direction, since the acceleration in the same direction, as shown in FIG. 6, in one of the acceleration sensor 12 for detecting acceleration in the Z-axis direction, detects the acceleration S 1 and S 2 Then, the roll angle and the pitch angle are determined. Further, the yaw angle θ is determined from the acceleration output from the gyro sensor 11 that detects the acceleration in this direction. These two sensors 11 and 12 may be arranged at any position of the head mounted display 100 as described above.
[0028]
Next, a circuit configuration of the head mounted display 100 of the present example will be described with reference to the block diagram of FIG. FIG. 7 also shows the configuration of the video signal source 20 connected to the head-mounted display 100 via the cord 148.
[0029]
The gyro sensor 11 attached to the head-mounted display 100 supplies the acceleration signal output from the sensor 11 to the analog processing unit 13, performs analog processing such as filtering and amplification by a low-pass filter, and then converts the data into digital data. It is supplied to the control unit 14. The tilt sensor 12 is a sensor that outputs an acceleration signal as a PWM signal, which is a pulse width modulation signal, and centrally controls a tilt state in the X-axis direction and a tilt state in the Y-axis direction as a PWM signal individually. Supply to the unit 14. The roll angle and the pitch angle are calculated based on the supplied PWM signal.
[0030]
The central control unit 14 detects the operation of the reset button 15 and the power button 16 provided on the head mounted display 100. The central control unit 14 detects the movement of the head of the wearer from the reference position based on the output of the gyro sensor 11 and the acceleration sensor 12 with the position when the reset button 15 is operated as the reference position. There is a configuration. The yaw angle, which is the direction in which the front of the head faces, is calculated based on the output of the gyro sensor 11. However, the yaw angle calculated based on the output of the gyro sensor 11 may be corrected using the roll angle and the pitch angle calculated based on the output of the inclination sensor 12. Specifically, for example, when the yaw angle moves while the head is relatively inclined in any direction, an error may occur in the yaw angle detected from the output of the gyro sensor 11. In such a case, the yaw angle may be corrected using the calculated roll angle and pitch angle.
[0031]
Also, when the power button 16 is pressed, the central control unit 14 performs power on / off control. That is, when it is detected that the power button 16 has been pressed while the power of the head mounted display 100 is off, control is performed to turn on the power of the head mounted display 100, and the video display on the video display unit 110 is performed. And so on. If it is detected that the power button 16 is pressed while the power of the head-mounted display 100 is on, the power of the head-mounted display 100 is shut down to stop displaying images.
[0032]
The ON / OFF control of the power by the central control unit 14 is executed by the control of a main power switch 19a of the output power of the power unit 19 as shown in FIG. That is, the head mounted display 100 of the present embodiment transforms and rectifies a commercial AC power supply or the like to obtain an operation power supply (for example, a DC low voltage power supply) (or obtain an operation power supply from a mounted battery). The power supply output from the power supply unit 19 is supplied to each circuit in the head-mounted display 100 via a main power switch 19a to be operated. Then, the main power switch 19 a is controlled by the central control unit 14 by operating the power button 16 or the like. The minimum circuits such as the central control unit 14 are always supplied with power from the power supply unit 19, and the minimum judgment necessary for power control such as operation of the power button 16 is performed even when the power is off. Are configured by the central control unit 14. However, the power supply to all the circuits including the central control unit 14 may be stopped by a direct operation of another power switch (not shown).
[0033]
In addition, when the head mounted display 100 of the present example detects that the movement has not been continued for a predetermined time from the outputs of the gyro sensor 11 and the tilt sensor 12 in a power-on state, the display 100 is not mounted. Upon determination, the main power switch 19a is turned off, and the power is automatically shut down. Details of the non-attachment detection process will be described later.
[0034]
The data of the calculated angles for each of the three axes (the yaw angle, the roll angle, and the pitch angle) calculated by the central control unit 14 are sent as head tracking angle data from the control interface unit 18 to the video signal source 20 side. Sent.
[0035]
The video signal source 20 includes, for example, a memory 21 for storing video data of the entire circumference around a certain point, audio data associated with the video data, and a head mounted display from video data stored in the memory 21. The central control unit 22 reads out video data in the direction indicated by the head tracking angle data detected at 100 and supplies the video data to the 3D processing unit 23, and uses the supplied video data as video data for image display. A 3D processing unit 23, a video interface unit 24 that supplies the video data created by the 3D processing unit 23 to the head mounted display unit 100, and a control interface that receives head tracking angle data detected by the head mounted display 100 And a unit 25.
[0036]
The video data supplied from the video signal source 20 to the head-mounted display 100 is received by the video interface unit 17 of the head-mounted display 100 and supplied to the video display unit 110, and the left and right video in the video display unit 110 Processing for displaying on the display panels 100L and 100R is performed. If the video data is video data for displaying a stereoscopic video, the video data supplied to and displayed on the left and right video display panels 100L and 100R is individual. The reception by the video interface unit 17 and the video display by the video display unit 110 are also executed under the control of the central control unit 14.
[0037]
Note that, in the block diagram of FIG. 7, a configuration for processing audio data is omitted. For the audio data, the head tracking process may not be performed. However, when stereo audio is output, the direction in which the sound image is localized may be changed to the angle indicated by the head tracking angle data. The video signal source 20 includes, for example, means for executing arithmetic processing such as a personal computer device, a video game device, a PDA (Personal Digital Assistants), and a mobile phone terminal, and a hard disk or optical disk in which these devices are built (or mounted) , A large-capacity storage means such as a semiconductor memory.
[0038]
Next, a non-wearing detection process of the head mounted display 100 of the present example will be described with reference to the flowchart of FIG. First, when power is supplied from the power supply unit 19 to the central control unit 14, the non-mounting detection motion data number n and the non-mounting detection counter M are set to 0 (step S51). The non-wearing detection motion data number n and the value of the non-wearing detection counter M are stored and set in a memory connected (or built-in) to the central control unit 14, for example.
[0039]
Next, a timer for determining a sensor detection interval is started (step S52). Thereafter, a main process as a head mounted display such as a sensor output detection process necessary for head tracking is executed (step S53), and it is determined whether a predetermined time for determining the detection interval started in step S52 has elapsed. (Step S54). The predetermined time may be, for example, a relatively long time of about 2 hours or a short time of about several minutes. The time for determining the detection interval may be freely set by, for example, user setting. If the set predetermined time has not elapsed, the process returns to the main process of step S53.
[0040]
If it is determined in step S54 that the predetermined time for determining the detection interval has elapsed, the process proceeds to step S55, in which the motion data (position data or acceleration data) of the wearer's head calculated in the main process of step S53 is calculated. , Etc.) are stored as the non-attachment detection motion data n. After the storage in step S55, it is determined whether or not the data is data No. 0 (that is, the data stored first) (step S56). If the data is data 0, the value of n is incremented by one. Then (step S57), the process returns to the main process of step S53.
[0041]
If the data number n determined in step S56 is not 0, the process proceeds to step S58, and the non-wearing detection motion data 0 obtained in step S55 is compared with the latest unwearing detection motion data. If the head-mounted display 100 is mounted on the head of the user, even if it is a slight movement, some movement should be performed, and thus the detected non-wearing detection motion data does not become constant. Here, the absolute value of the difference between the first non-wearing detection motion data D0 and the latest non-wearing detection motion data D1 (that is, | D0-D1 |) is compared with a preset threshold A, and | If D0−D1 | <A (that is, if there is a difference of not less than the threshold value A in the non-wearing detection motion data), it is determined that there is no wearing (that is, the wearing is performed), and the non-wearing detection motion data number n And the non-attachment detection counter M are reset to 0 (step S59), and the process returns to the main process of step S53.
[0042]
If | D0−D1 | <A is determined in step S58, it is determined that the wearer does not move, and the process proceeds to step S60. In addition, the threshold value A is a range in which it can be considered that the sensor is not mounted even if there is a difference between the past non-mounted detection motion data and the latest non-mounted detection motion data in consideration of the accuracy of the sensor and the influence of noise. Set as a value to decide. In step S60, an increment for adding one to the value of the non-mounting detection counter M is performed. Then, it is determined whether or not the incremented value of the non-mounting detection counter M is equal to or larger than a predetermined value B (step S61). When it is determined that the value of the non-wearing detection counter M is less than the predetermined value B, the process returns to the main process of step S53.
[0043]
If it is determined in step S61 that the value is equal to or more than the predetermined value B, it is determined that the unmounted state has been detected B times consecutively, and the time corresponding to the time detected continuously B times, The main power switch 19a is continuously turned off and the main power switch 19a is turned off to perform a shut-off process (step S62), and the process related to the power control based on the non-mounting detection ends. When the shut-off in step S62 is performed, the image display on the image display unit stops, and the output of sound from the drivers (speakers) built in the left and right driver units also stops.
[0044]
If the user wants to use the head mounted display by re-attaching it in the state where the automatic shut-off is performed, the user may press the power button 16 to turn on the power again, for example.
[0045]
As described above, when the unmounted state is detected based on the output of the head tracking sensor provided in the head mounted display, the power supply shut-off process of the head mounted display is automatically performed. Even if the power is left on when the power supply is mounted, useless power consumption can be suppressed. Further, it is possible to save the use time of parts having a usable life such as a display panel. Furthermore, since the unmounted state is detected based on the output of the head tracking sensor prepared in the head mounted display, a simple configuration that does not require a special sensor for detecting the unmounted state ensures reliable operation. An unmounted state can be detected, and there is an effect that there is almost no increase in cost due to detecting the unmounted state.
[0046]
Note that, in the above-described embodiment, the description has been given up to performing the automatic shut-off process of the power supply when the unmounted state is detected, but the power supply is automatically shut off by the detection of the unmounted state. Later, when a change is detected in the motion data based on the output of the sensor, the power may be turned on again. This eliminates the need for the user to operate the power button when re-attached.
[0047]
Further, in the above-described embodiment, as the process of detecting the non-attachment, the detection is performed using the motion data calculated from the two sensor outputs, but the output state of one of the sensors is directly determined. Then, it may be detected whether or not the camera is not mounted.
[0048]
The external shape of the head mounted display shown in FIGS. 1 to 4 is merely an example, and it goes without saying that the present invention can be applied to head mounted displays of other shapes. In this case, the sensor configuration can also be applied to a head-mounted device having a configuration including three sensors as described in the conventional example.
[0049]
Furthermore, in the description so far, an example is given in which the present invention is applied to a head mounted display that displays an image by being mounted on the head of a human body. However, for example, a headphone device that performs sound image localization position of stereo sound by head tracking (ie, The non-wearing state detection processing of the present invention may be applied to a device without a video display function). In this case as well, the sound output may be stopped when the non-attachment is detected. Further, the present invention can be applied to an apparatus which is mounted on another living body, detects a moving direction or position, and performs some processing when a change in the direction or position is detected.
[0050]
【The invention's effect】
According to the present invention, the non-wearing state of the head mount device can be determined by using the output of the sensor for detecting the movement, and when the non-wearing state is determined by the detection, the power supply is automatically shut off, and There is no needless power consumption during mounting. Since a sensor provided for head tracking in the head mount device is used as a sensor for detecting a non-wearing state, a sensor dedicated to non-wearing detection is not required, and the sensor can be realized with a simple configuration.
[0051]
In addition, after the automatic shut-off, when the movement of the living body is detected by the movement data output by the sensor, the power is turned on again so that the power-on operation when the body is re-mounted is not required. No longer needed.
[0052]
Further, the sensor is a sensor that outputs angular velocity or angular acceleration as motion data, and the control unit determines whether or not there is a movement from a change in the value of the angular velocity or angular acceleration output by the sensor, so that the sensor is securely mounted. The state can be detected.
[0053]
Furthermore, based on the data in the direction in which the head is turned, the video or audio is applied to a head-mounted display or the like that provides the video or audio in the corresponding direction, and the provision of the video or audio is stopped when shut off ( In other words, by stopping the display of the video and the output of the audio), the useless display of the video and the output of the audio are eliminated, and the unnecessary power consumption of the head mounted device can be effectively eliminated.
[Brief description of the drawings]
FIG. 1 is a perspective view showing a mounting example of a head mounted display according to an embodiment of the present invention.
FIG. 2 is a perspective view showing an example of a shape of a head mounted display according to an embodiment of the present invention.
FIG. 3 is a side view of the head mounted display of FIG. 2;
FIG. 4 is a perspective view showing an example of a state in which an image display unit of the head mounted display of FIG. 2 is raised.
FIG. 5 is an explanatory diagram showing a reference axis according to one embodiment of the present invention.
FIG. 6 is an explanatory diagram showing a detection state by a sensor according to one embodiment of the present invention.
FIG. 7 is a block diagram illustrating an example of a system configuration according to an embodiment of the present invention.
FIG. 8 is a flowchart illustrating an example of a non-attachment detection process according to an embodiment of the present invention.
FIG. 9 is a block diagram illustrating a system configuration example of a conventional head mounted display.
[Explanation of symbols]
11 gyro sensor, 12 acceleration sensor, 13 analog processing unit, 14 central control unit (CPU), 15 reset button, 16 power button, 17 video interface unit, 18 control interface unit, 19 Power supply unit, 19a Main power switch, 20 Video signal source, 21 Memory, 22 Central control unit (CPU), 23 3D processing unit, 24 Video interface unit, 25 Interface unit for control, 100 Head Mount display, 100L, 100R: image display panel, 100n: notch for nose, 110: image display, 111, 112 ... connecting part, 113, 114 ... connecting member, 115, 116 ... connecting part, 117, 118 ... Connection members, 121, 122 ... shaft holding parts, 123, 124 Connection part, 130 ... band, 131 ... wide part, 132, 133 ... U-shaped fitting holding part, 140 ... left driver unit, 141 ... driver arrangement part, 142 ... ear pad, 143 ... fitting holding part, 144 ... U-shaped fitting, 145 connecting part, 146 cord, 147 hollow part, 148 cord, 150 right driver unit, 151 driver placement part, 152 ear pad, 153 fitting holder, 154 U-shaped fitting, 155 connecting part , 156 ... cord, 157 ... cavity

Claims (6)

生体の動きを検出するセンサの出力に基づいて検出した動きデータにより、生体が向く方向又は位置を検出し、その検出した方向又は位置に基づいた処理を行い、
前記センサが出力する動きデータで所定時間以上生体の動きが検出されない状態が継続した場合に、電源を自動的にシャットオフさせる
電源制御方法。
By the movement data detected based on the output of the sensor that detects the movement of the living body, the direction or position of the living body is detected, and the processing based on the detected direction or position is performed.
A power supply control method for automatically shutting off a power supply when a state in which a movement of a living body is not detected for a predetermined period of time or more in the movement data output by the sensor continues.
請求項1記載の電源制御方法において、
前記自動的なシャットオフを行った後に、前記センサが出力する動きデータで生体の動きが検出された場合に、電源を再投入させる
電源制御方法。
The power supply control method according to claim 1,
A power supply control method for turning on power again when a movement of a living body is detected from the movement data output by the sensor after the automatic shutoff is performed.
生体の頭部又は頭部の近傍に取付けられ、頭部の動きに対応した動きデータを出力するセンサと、
前記センサが出力する動きデータにより、頭部が向く方向又は位置の位置を算出し、その算出された方向又は位置に基づいた処理の制御を行うと共に、前記動きデータで所定時間以上頭部の動きが検出されない状態が継続した場合に、電源を自動的にシャットオフさせる制御手段と、
前記制御手段の制御により、前記方向又は位置に基づいた処理を実行する処理手段とを備えた
ヘッドマウント装置。
A sensor attached to the head of the living body or in the vicinity of the head and outputting motion data corresponding to the motion of the head,
Based on the motion data output by the sensor, the position of the direction or position of the head is calculated, and processing is controlled based on the calculated direction or position. Control means for automatically shutting off the power supply when the state in which no is detected continues;
A head mounting device comprising: a processing unit that executes a process based on the direction or the position under the control of the control unit.
請求項3記載のヘッドマウント装置において、
前記制御手段は、自動的なシャットオフを行った後に、前記センサが出力する動きデータで生体の動きが検出された場合に、電源を再投入させる制御を行う
ヘッドマウント装置。
The head mount device according to claim 3,
The head mounting device, wherein the control unit performs control to turn on the power again when the movement of the living body is detected by the movement data output by the sensor after performing the automatic shut-off.
請求項3記載のヘッドマウント装置において、
前記センサは、角速度又は角加速度を動きデータとして出力するセンサであり、前記制御手段は、センサが出力する角速度又は角加速度の変化から、動きの有無を判断する
ヘッドマウント装置。
The head mount device according to claim 3,
The sensor is a sensor that outputs an angular velocity or an angular acceleration as motion data, and the control unit determines the presence or absence of a movement from a change in the angular velocity or the angular acceleration output by the sensor.
請求項3記載のヘッドマウント装置において、
前記処理手段は、頭部が向いた方向のデータに基づいて、映像又は音声を、対応した方向の映像又は音声として提供する手段であり、シャットオフ時にその映像又は音声の提供を停止させる
ヘッドマウント装置。
The head mount device according to claim 3,
The processing means is means for providing a video or an audio as a video or an audio in a corresponding direction based on data in a direction in which the head is turned, and a head mount for stopping the supply of the video or the audio when shut off. apparatus.
JP2002251667A 2002-08-29 2002-08-29 Head mount device Expired - Fee Related JP3901061B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002251667A JP3901061B2 (en) 2002-08-29 2002-08-29 Head mount device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002251667A JP3901061B2 (en) 2002-08-29 2002-08-29 Head mount device

Publications (2)

Publication Number Publication Date
JP2004096224A true JP2004096224A (en) 2004-03-25
JP3901061B2 JP3901061B2 (en) 2007-04-04

Family

ID=32058200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002251667A Expired - Fee Related JP3901061B2 (en) 2002-08-29 2002-08-29 Head mount device

Country Status (1)

Country Link
JP (1) JP3901061B2 (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006107846A (en) * 2004-10-01 2006-04-20 Seventh Dimension Design:Kk Head-mounted luminaire
JP2011086049A (en) * 2009-10-14 2011-04-28 Mitsubishi Electric Corp Mobile terminal device for maintenance
WO2011122409A1 (en) * 2010-03-29 2011-10-06 ブラザー工業株式会社 Eyeglass-type image display device
WO2012001880A1 (en) * 2010-06-30 2012-01-05 パナソニック株式会社 Optical device
US8159526B2 (en) 2004-09-17 2012-04-17 Seiko Epson Corporation Stereoscopic image display system
JP2012203128A (en) * 2011-03-24 2012-10-22 Seiko Epson Corp Head mounted display and method for controlling head mounted display
JP2013008313A (en) * 2011-06-27 2013-01-10 Denso Corp Electric apparatus
JP2014056017A (en) * 2012-09-11 2014-03-27 Pioneer Electronic Corp Image display device, image display method, image display control device, computer program, and recording medium
JP2014060482A (en) * 2012-09-14 2014-04-03 Ntt Docomo Inc Information processing apparatus and information processing method
KR101388980B1 (en) * 2012-08-21 2014-04-24 주식회사 도담시스템스 Head mounted display apparatus
JP2015028654A (en) * 2014-09-24 2015-02-12 ソニー株式会社 Head-mounted type display device and display method
US9112701B2 (en) 2007-02-14 2015-08-18 Sony Corporation Wearable device, authentication method, and recording medium
WO2015125373A1 (en) * 2014-02-21 2015-08-27 ソニー株式会社 Electronic apparatus and power control method
JP2015212828A (en) * 2015-06-17 2015-11-26 セイコーエプソン株式会社 Head mounted display and method for controlling head mounted display
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US9261956B2 (en) 2006-09-08 2016-02-16 Sony Corporation Display device and display method that determines intention or status of a user
US9411162B2 (en) 2013-03-22 2016-08-09 Canon Kabushiki Kaisha Mixed reality presenting system, virtual reality presenting system, display apparatus, information processing apparatus, control method, and program
CN106764352A (en) * 2016-02-17 2017-05-31 杭州美盛红外光电技术有限公司 A kind of regulatable vision angle display device with storage device
JP2017198842A (en) * 2016-04-27 2017-11-02 セイコーエプソン株式会社 Head-mounted type image display device
KR20180066282A (en) * 2015-04-30 2018-06-18 선전 로욜 테크놀로지스 컴퍼니 리미티드 Wearable electronic apparatus
WO2019074169A1 (en) * 2017-10-11 2019-04-18 주식회사 카이비전 Motion detection augmented reality glasses
KR20190041048A (en) * 2017-10-11 2019-04-22 주식회사 카이비전 Augmented reality glasses detecting movements
WO2019151510A1 (en) * 2018-02-05 2019-08-08 株式会社あおごち Controller and headset

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160109914A1 (en) * 2014-10-16 2016-04-21 Google Inc. Wearable device without a power button

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8159526B2 (en) 2004-09-17 2012-04-17 Seiko Epson Corporation Stereoscopic image display system
JP2006107846A (en) * 2004-10-01 2006-04-20 Seventh Dimension Design:Kk Head-mounted luminaire
US10466773B2 (en) 2006-09-08 2019-11-05 Sony Corporation Display device and display method that determines intention or status of a user
US9261956B2 (en) 2006-09-08 2016-02-16 Sony Corporation Display device and display method that determines intention or status of a user
US9733701B2 (en) 2006-09-08 2017-08-15 Sony Corporation Display device and display method that determines intention or status of a user
US9112701B2 (en) 2007-02-14 2015-08-18 Sony Corporation Wearable device, authentication method, and recording medium
JP2011086049A (en) * 2009-10-14 2011-04-28 Mitsubishi Electric Corp Mobile terminal device for maintenance
JP2011209472A (en) * 2010-03-29 2011-10-20 Brother Industries Ltd Eyeglass-type image display device
US9377627B2 (en) 2010-03-29 2016-06-28 Brother Kogyo Kabushiki Kaisha Head-mountable display device with pivoting circuit support
WO2011122409A1 (en) * 2010-03-29 2011-10-06 ブラザー工業株式会社 Eyeglass-type image display device
WO2012001880A1 (en) * 2010-06-30 2012-01-05 パナソニック株式会社 Optical device
US8922723B2 (en) 2010-06-30 2014-12-30 Panasonic Corporation Optical device
US9036097B2 (en) 2010-06-30 2015-05-19 Panasonic Intellectual Property Managment Co., Ltd. Optical device
JPWO2012001880A1 (en) * 2010-06-30 2013-08-22 パナソニック株式会社 Optical device
CN105301786A (en) * 2010-06-30 2016-02-03 松下知识产权经营株式会社 Optical device
JP5602228B2 (en) * 2010-06-30 2014-10-08 パナソニック株式会社 Optical device
US9588345B2 (en) 2011-03-24 2017-03-07 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
JP2012203128A (en) * 2011-03-24 2012-10-22 Seiko Epson Corp Head mounted display and method for controlling head mounted display
US9678346B2 (en) 2011-03-24 2017-06-13 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
JP2013008313A (en) * 2011-06-27 2013-01-10 Denso Corp Electric apparatus
KR101388980B1 (en) * 2012-08-21 2014-04-24 주식회사 도담시스템스 Head mounted display apparatus
JP2014056017A (en) * 2012-09-11 2014-03-27 Pioneer Electronic Corp Image display device, image display method, image display control device, computer program, and recording medium
JP2014060482A (en) * 2012-09-14 2014-04-03 Ntt Docomo Inc Information processing apparatus and information processing method
US9411162B2 (en) 2013-03-22 2016-08-09 Canon Kabushiki Kaisha Mixed reality presenting system, virtual reality presenting system, display apparatus, information processing apparatus, control method, and program
US9977483B2 (en) 2014-02-21 2018-05-22 Sony Corporation Electronic apparatus and method of controlling power supply
US10691194B2 (en) 2014-02-21 2020-06-23 Sony Corporation Electronic apparatus and method of controlling power supply
WO2015125373A1 (en) * 2014-02-21 2015-08-27 ソニー株式会社 Electronic apparatus and power control method
CN105993165A (en) * 2014-02-21 2016-10-05 索尼公司 Electronic apparatus and power control method
JP2015028654A (en) * 2014-09-24 2015-02-12 ソニー株式会社 Head-mounted type display device and display method
KR102026834B1 (en) * 2015-04-30 2019-09-30 선전 로욜 테크놀로지스 컴퍼니 리미티드 Wearable electronic apparatus
KR20180066282A (en) * 2015-04-30 2018-06-18 선전 로욜 테크놀로지스 컴퍼니 리미티드 Wearable electronic apparatus
US10338394B2 (en) 2015-04-30 2019-07-02 Shenzhen Royole Technologies Co., Ltd. Wearable electronic apparatus
JP2015212828A (en) * 2015-06-17 2015-11-26 セイコーエプソン株式会社 Head mounted display and method for controlling head mounted display
CN106764352A (en) * 2016-02-17 2017-05-31 杭州美盛红外光电技术有限公司 A kind of regulatable vision angle display device with storage device
JP2017198842A (en) * 2016-04-27 2017-11-02 セイコーエプソン株式会社 Head-mounted type image display device
WO2019074169A1 (en) * 2017-10-11 2019-04-18 주식회사 카이비전 Motion detection augmented reality glasses
KR20190041048A (en) * 2017-10-11 2019-04-22 주식회사 카이비전 Augmented reality glasses detecting movements
KR102133219B1 (en) * 2017-10-11 2020-07-14 주식회사 카이비전 Augmented reality glasses detecting movements
CN111465912A (en) * 2017-10-11 2020-07-28 凯菲森有限公司 Augmented reality glasses with motion detection function
WO2019151510A1 (en) * 2018-02-05 2019-08-08 株式会社あおごち Controller and headset
JPWO2019151510A1 (en) * 2018-02-05 2021-01-28 株式会社あおごち Controller and headset

Also Published As

Publication number Publication date
JP3901061B2 (en) 2007-04-04

Similar Documents

Publication Publication Date Title
JP3901061B2 (en) Head mount device
US11668958B2 (en) Modular wearable electronic devices, systems, and methods
JP2004085476A (en) Head tracking method and device
US10638213B2 (en) Control method of mobile terminal apparatus
US10582328B2 (en) Audio response based on user worn microphones to direct or adapt program responses system and method
US9013264B2 (en) Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US20140093088A1 (en) Method of checking earphone wearing state
CN112368666A (en) Audio glasses with gesture control
US20170364144A1 (en) Systems and Methods for Displaying Virtual-Reality Images on a Convertible Wired/Mobile Head-Mounted Display
US11474376B2 (en) Hinge designs in wearable electronic devices
JP2019154147A (en) Energization device
US9916004B2 (en) Display device
US20200128157A1 (en) Camera device, camera system, and program
KR20160141982A (en) Wearable device having control panel
US11043194B2 (en) Image display system, storage medium having stored therein image display program, image display method, and display device
JP2008070551A (en) Head-mounted display
KR20180066827A (en) Head mount display deevice
JP6989974B2 (en) Controller and headset
US11733550B2 (en) Ultraminiature dynamic speaker for a fully in-ear monitor
KR100674611B1 (en) Alarm apparatus for posture correction
JP6638325B2 (en) Display device and display device control method
US10560777B1 (en) Bone conduction designs in wearable electronic devices
JP2006109311A (en) Ear-mounted electronic device
WO2021193713A1 (en) Wearable information device
US11159872B1 (en) Wearable audio device magnetometer compensation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060522

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060808

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061010

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20061024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061225

R151 Written notification of patent or utility model registration

Ref document number: 3901061

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100112

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees