JP2013093663A - ヘッド・マウント・ディスプレイ及びヘッド・マウント・ディスプレイの制御方法 - Google Patents

ヘッド・マウント・ディスプレイ及びヘッド・マウント・ディスプレイの制御方法 Download PDF

Info

Publication number
JP2013093663A
JP2013093663A JP2011233031A JP2011233031A JP2013093663A JP 2013093663 A JP2013093663 A JP 2013093663A JP 2011233031 A JP2011233031 A JP 2011233031A JP 2011233031 A JP2011233031 A JP 2011233031A JP 2013093663 A JP2013093663 A JP 2013093663A
Authority
JP
Japan
Prior art keywords
head
mounted display
volume
user
wearing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011233031A
Other languages
English (en)
Other versions
JP5923926B2 (ja
Inventor
Masaaki Yamamoto
正晃 山本
Atsushi Sugama
敦 須釜
Naomasa Takahashi
巨成 高橋
Fumitaka Nishio
文孝 西尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011233031A priority Critical patent/JP5923926B2/ja
Priority to CN201210394723.5A priority patent/CN103064187B/zh
Priority to US13/654,072 priority patent/US9197840B2/en
Publication of JP2013093663A publication Critical patent/JP2013093663A/ja
Application granted granted Critical
Publication of JP5923926B2 publication Critical patent/JP5923926B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • H04N5/70Circuit details for electroluminescent devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01Aspects of volume control, not necessarily automatic, in sound systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】無装着状態において外的要因などによって音量が勝手に調整されるような誤操作を好適に防止する。
【解決手段】ユーザーがヘッド・マウント・ディスプレイ10を装着していない、ヘッド・マウント・ディスプレイ10の「無装着」状態に応じて、ユーザーによる音量操作に対する音量調整制御を行なう。例えば、無装着状態では、「+」方向のボタンの長押し操作を無効にすると、無装着状態において、外的要因で「+」方向に長押しされても、音量は増大しないので、その後にユーザーが装着して視聴を再開しても、爆音を聴いて聴覚障害を起こすおそれはない。
【選択図】 図9

Description

本明細書で開示する技術は、ユーザーの頭部に装着して映像の視聴に供されるヘッド・マウント・ディスプレイ及びその制御方法に係り、特に、ユーザーが装着していないときの誤操作を防止するヘッド・マウント・ディスプレイ及びその制御方法に関する。
頭部に装着して映像を視聴する表示装置、すなわちヘッド・マウント・ディスプレイ(HMD)が広く知られている。ヘッド・マウント・ディスプレイは、左右の眼毎に光学ユニットを持ち、また、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、ブルーレイ・ディスク(BD)などの再生映像を視聴するときの仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば3D画像を提示することができる。
ヘッド・マウント・ディスプレイの左右の眼の表示部には、例えば液晶や有機EL(Electro− Luminescence)素子などからなる高解像度の表示パネルを用いることができる。また、光学系で適当な画角を設定するとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができるであろう。
通常、ヘッド・マウント・ディスプレイ本体には、ユーザーの操作を扱うUI(User Interface)操作部が装備されている。ここで言うユーザーの操作には、BDプレイヤーなどの再生機器の再生、停止、早送り、早戻し操作や、ヘッドフォンの音量調整が挙げられ、UI操作部にはこれらの各操作を行なうためのボタンが装備されている。ユーザーは、BDプレイヤーからの再生映像をヘッド・マウント・ディスプレイで視聴中に、再生から停止の操作を行なう。このとき、ユーザーは、UI操作部を介して、適切な音量に調整して視聴するであろう。
ここで、ユーザーがヘッド・マウント・ディスプレイを頭から外しているときも、ユーザー操作部を介して設定した音量で、ヘッドフォンから音声出力し続けるのが一般的である。これは、ほとんどのAV機器において、ユーザーが機器から立ち去っている間も再生出力し続けることと同様である。
ところが、ユーザーがヘッド・マウント・ディスプレイを頭から外している間に、誤操作や、何らかの重みが加わるなどの外的要因で、音量ボタンが「+」すなわち音量増大方向に長押し(連続操作)されると、ユーザーが知らない間に音量が最大になる。
その後、ユーザーがヘッド・マウント・ディスプレイを再び装着して視聴を再開すると、爆音となり、ユーザーの聴覚障害や聴覚を起因とした健康被害を起こすおそれがある。
例えば、各種画面設定や音量設定の確定操作を行なう確定スイッチの操作方向を選択スイッチの操作方向に対して略90度ずれた方向にして、選択スイッチと確定スイッチの誤操作を防止するヘッド・マウント・ディスプレイについて提案がなされている(例えば、特許文献1を参照のこと)。しかしながら、このヘッド・マウント・ディスプレイは、視聴中すなわち装着中のユーザーが誤った操作をしないようにするものであるが、ユーザーが視聴していない、すなわち頭部から外していない間の外的要因による誤操作を防止するものではない。付言すれば、選択操作と確定操作の2段階により設定を行なう場合には誤操作を防止できるものもの、例えば「+」、「−」ボタンのように1段階の操作で音量を調整する場合には誤動作を防止できない。また、選択操作と確定操作の2段階により設定を行なうことは、ユーザーにとって煩雑な操作でもある。
特開平11−174991号公報
本明細書で開示する技術の目的は、ユーザーが装着していないときの誤操作を好適に防止することができる、優れたヘッド・マウント・ディスプレイ及びその制御方法を提供することにある。
本明細書で開示する技術のさらなる目的は、無装着状態において外的要因などによって音量が勝手に調整されるような誤操作を好適に防止することができる、優れたヘッド・マウント・ディスプレイ及びその制御方法を提供することにある。
本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
左眼用並びに右眼用の映像を表示する表示部と、
前記映像に付随した音声を出力する音声出力部と、
左眼用映像及び右眼用映像の映像信号を処理する映像信号処理部と、
前記音声出力部から出力する音量をユーザーが指示操作するユーザー操作部と、
観察者が当該装置を装着したか否かを検出する装着センサーと、
前記装着センサーによる検出結果に応じて、前記ユーザー操作部を介した音量操作に対する音量の調整を制御する制御部と、
を具備するヘッド・マウント・ディスプレイである。
本願の請求項2に記載の技術によれば、請求項1に記載のヘッド・マウント・ディスプレイの制御部は、前記装着センサーにより観察者が当該装置を装着していないと検出した無装着状態では、前記ユーザー操作部を介した音量操作をすべて無効にするように構成されている。
本願の請求項3に記載の技術によれば、請求項1に記載のヘッド・マウント・ディスプレイの記制御部は、前記装着センサーにより観察者が当該装置を装着していないと検出した無装着状態では、前記ユーザー操作部を介した音量の増大を指示する操作を無効にするように構成されている。
本願の請求項4に記載の技術によれば、請求項1に記載のヘッド・マウント・ディスプレイの制御部は、前記装着センサーにより観察者が当該装置を装着していないと検出した無装着状態では、前記ユーザー操作部を介した音量の増大又は低下を指示する連続操作を無効にするように構成されている。
本願の請求項5に記載の技術によれば、請求項1に記載のヘッド・マウント・ディスプレイの制御部は、前記装着センサーにより観察者が当該装置を装着していないと検出した無装着状態では、前記ユーザー操作部を介した音量の増大を指示する連続操作を無効にするように構成されている。
また、本願の請求項6に記載の技術は、
左眼用並びに右眼用の映像の映像信号を処理する映像信号処理ステップと、
前記映像に付随した音声を出力する音声出力ステップと、
前記音声出力ステップにおいて出力する音量に対するユーザーの指示操作を入力するユーザー入力ステップと、
観察者がヘッド・マウント・ディスプレイを装着したか否かを検出する装着検出ステップと、
前記装着検出ステップにおける検出結果に応じて、前記ユーザー入力ステップで入力した音量操作に対する音量の調整を制御する制御ステップと、
を有するヘッド・マウント・ディスプレイの制御方法である。
本明細書で開示する技術によれば、ユーザーが装着していないときの誤操作を好適に防止することができる、優れたヘッド・マウント・ディスプレイ及びその制御方法を提供することができる。
また、本明細書で開示する技術によれば、無装着状態において外的要因などによって音量が勝手に調整されるような誤操作を好適に防止することができる、優れたヘッド・マウント・ディスプレイ及びその制御方法を提供することができる。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示した図である。 図2は、ヘッド・マウント・ディスプレイ10の内部構成を模式的に示した図である。 図3Aは、ヘッド・マウント・ディスプレイ10を左斜め前方から俯瞰した斜視図である。 図3Bは、ヘッド・マウント・ディスプレイ10を分解した様子を示した図である。 図4は、装着センサー221の構成例を示した図である。 図5は、フロント・エンド・ボックス40の内部構成例を模式的に示した図である。 図6は、無装着状態のヘッド・マウント・ディスプレイ10において、すべての音量操作を無効にする場合の操作フローを示した図である。 図7は、無装着状態のヘッド・マウント・ディスプレイ10において、音量を増大する方向の操作を無効にする場合の操作フローを示した図である。 図8は、無装着状態のヘッド・マウント・ディスプレイ10において、「+」方向並びに「−」方向の双方のボタンの長押し操作を無効にする場合の操作フローを示した図である。 図9は、無装着状態のヘッド・マウント・ディスプレイ10において、「+」方向のボタンの長押し操作を無効にする場合の操作フローを示した図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
図1には、ヘッド・マウント・ディスプレイを含む画像表示システムの構成を模式的に示している。図示のシステムは、ヘッド・マウント・ディスプレイ10本体と、視聴コンテンツのソースとなるブルーレイ・ディスク再生装置20と、ブルーレイ・ディスク再生装置20の再生コンテンツの他の出力先となるハイビジョン・ディスプレイ(例えば、HDMI対応テレビ)30と、ブルーレイ・ディスク再生装置20から出力されるAV信号の処理を行なうフロント・エンド・ボックス40で構成される。
フロント・エンド・ボックス40は、ブルーレイ・ディスク再生装置20から出力されるAV信号をHDMI入力すると、例えば信号処理して、HDMI出力するHDMIリピーターに相当する。また、フロント・エンド・ボックス40は、ブルーレイ・ディスク再生装置20の出力先をヘッド・マウント・ディスプレイ10又はハイビジョン・ディスプレイ30のいずれかに切り替える2出力スイッチャーでもある。図示の例では、フロント・エンド・ボックス40は2出力であるが、3以上の出力を有していてもよい。但し、フロント・エンド・ボックス40は、AV信号の出力先を排他的とし、且つ、ヘッド・マウント・ディスプレイ10への出力を最優先とする。
なお、HDMI(High−Definition Mutlimedia Interface)は、DVI(Digital Visual Interface)を基にし、物理層にTMDS(Transition Minimized Differential Signaling)を用いた、主に音声と映像の伝送を用途としたディジタル家電向けのインターフェース規格である。本システムは、例えばHDMI1.4に準拠する。
ブルーレイ・ディスク再生装置20とフロント・エンド・ボックス40間、並びに、フロント・エンド・ボックス40とハイビジョン・ディスプレイ30間は、それぞれHDMIケーブルで接続されている。フロント・エンド・ボックス40とヘッド・マウント・ディスプレイ10間も、HDMIケーブルで接続するように構成することも可能であるが、その他の仕様のケーブルを用いてAV信号をシリアル転送するようにしてもよい。但し、フロント・エンド・ボックス40とヘッド・マウント・ディスプレイ10間を接続するケーブル1本で、AV信号と電力を供給し、且つ、双方向で通信可能であるものとし、ヘッド・マウント・ディスプレイ10はこのケーブルを介して駆動電力も得ることができる。
ヘッド・マウント・ディスプレイ10は、左眼用及び右眼用の独立した表示部を備えている。各表示部は、例えば有機EL素子を用いている。また、左右の各表示部は、低歪みで且つ高解像度の広視野角光学系を装備している。
図2には、ヘッド・マウント・ディスプレイ10の内部構成を模式的に示している。
信号送受信部201は、フロント・エンド・ボックス40と接続するケーブルを介して、AV信号を受信したり、CPU201(後述)で処理された情報信号を送信したりする。本実施形態では、AV信号はケーブルを介してシリアル転送されるので、信号送受信部201では受信信号のシリアル・パラレル変換が行なわれる。
信号処理プロセッサー202は、信号送受信部201で受信したAV信号を映像信号と音声信号に分離して、それぞれに対して映像信号処理並びに音声信号処理を行なう。
信号処理プロセッサー202では、映像信号処理として、輝度レベル調整やコントラスト調整、その他の画質改善が行なわれる。また、信号処理プロセッサー202は、CPU206からの指示により、本来の映像信号に対して各種の処理を適用する。例えば、文字や図形などからなるOSD(OnSCreen Display)情報を生成して、本来の映像信号に重畳する。ROM205には、OSD情報の生成に必要な信号パターンが格納されており、信号処理プロセッサー202はROM15に格納されている情報を読み出す。本来の映像情報に重畳されるOSD情報の一例は、画面や音声の出力調整などのためのGUI(Graphical Uer Interface)である。そして、映像信号処理を経て生成された画面情報は、VRAM(フレーム・メモリー)203に一時的に格納される。フロント・エンド・ボックス40から供給された映像信号が立体視映像信号等左右で映像信号が異なるときには、信号処理プロセッサー202は左右の映像信号に分離して、画面情報を生成する。
左右の表示部208L及び208Rはそれぞれ、有機EL素子からなる表示パネルと、表示パネルを駆動するゲート・ドライバー及びデータ・ドライバーからなる。また、左右の表示部208L及び208Rにはそれぞれ広視野角を持つ光学系が装備される。但し、図2では光学系を省略している。
パネル・コントローラー204は、所定の表示周期毎にVRAM203から画面情報を読み出して、各表示部208L及び208Rへ入力するための信号に変換するとともに、ゲート・ドライバー及びデータ・ドライバーの動作に用いられる、水平同期信号、垂直同期信号などのパルス信号を生成する。
CPU(Central Processing Unit)206は、ROM(Read Only Memory)209からRAM(Random Access Memory)210にロードされたプログラムを実行して、ヘッド・マウント・ディスプレイ10全体の動作を統括的に制御する。また、CPU206は、信号送受信部201を介して、フロント・エンド・ボックス40との情報信号の送受信を制御する。
ヘッド・マウント・ディスプレイ10本体には、ユーザーが指などで操作可能な1以上の操作子を備えたユーザー操作部220が装備されている。操作子は、図示しないが、例えば上下左右のカーソルキーと、中央の決定キーの組み合わせからなる。また、本実施形態では、ヘッドフォン212L、212Rの音量を増大する「+」ボタンと、音量を低下させる「−」ボタンもユーザー操作部220に含まれるものとする。CPU206は、ユーザー操作部220から入力されたユーザーの指示に従って、表示部208R、208Lからの映像出力やヘッドフォン212L、212Rからの音声出力などに関する処理を信号処理プロセッサー202に対して指示する。また、ユーザー操作部220から映像の再生、停止、早送り、早戻しなどのコンテンツ再生に関する操作が指示されると、CPU206は、信号送受信部201からフロント・エンド・ボックス40へ、指示内容を通知するための情報信号を送信する。
また、本実施形態では、ヘッド・マウント・ディスプレイ20は、装着センサー221、加速度センサー222、輝度センサー223などの複数のセンサーを装備している。これらのセンサー出力は、CPU206に入力される。
装着センサー221は、例えば機械スイッチなどからなる(後述)。CPU206は、このセンサー出力によってヘッド・マウント・ディスプレイ20がユーザーに装着されているかどうか、すなわち、ヘッド・マウント・ディスプレイ20が現在使用中であるかどうかを判定することができる。
加速度センサー222は、例えば3軸で構成され、ヘッド・マウント・ディスプレイ20に加わる加速度の大きさ及び方向を検出する。CPU206は、取得した加速度情報に基づいて、ヘッド・マウント・ディスプレイ10を装着したユーザーの頭部の移動をトラッキングすることができる。
輝度センサー223は、ヘッド・マウント・ディスプレイ20が現在置かれている環境における輝度を検出する。CPU206は、輝度センサー223は、取得した輝度情報に基づいて、映像信号に対して適用する輝度レベル調整を制御するようにしてもよい。
また、CPU206は、必要に応じて、各センサー221〜223から取得したセンサー情報を、信号送受信部211からフロント・エンド・ボックス40に送信することもできる。
電源部230は、フロント・エンド・ボックス40から供給される駆動電力を、図2中の破線で囲まれた各回路部品へ供給する。また、ヘッド・マウント・ディスプレイ10本体には、ユーザーが指などで操作可能な電源スイッチ231が装備されている。電源部230は、電源スイッチ231が操作されたことに応じて、回路部品への給電のオン/オフを切り替えるようになっている。
なお、電源スイッチ231で電源オフにした状態は、電源部230は給電状態で待機している、ヘッド・マウント・ディスプレイ10の「スタンバイ」状態とする。また、フロント・エンド・ボックス40側では、電源部230と接続される信号線の電圧レベルの変化に基づいて、各回路部品が給電され動作している状態すなわち使用状態か、非使用状態かを判別することができる。
図3には、ヘッド・マウント・ディスプレイ10の外観の構成例を示している。但し、図3Aは左斜め前方から俯瞰した斜視図であり、図3Bは、大まかに分解した様子を示した図である。図3Bに示すように、ヘッド・マウント・ディスプレイ10は、図2に示した主要部品のうち、表示系統を含む大部分の部品を含んだディスプレイ・ユニット部301と、ディスプレイ・ユニット部を覆う外筐302と、外筐302の上面から突設した額当て部304と、上バンド305A及び305Bからなるヘッド・バンド305と、左右のヘッドフォン212L、212Rを収容するヘッドフォン部303L、303Rからなる。ディスプレイ・ユニット部301内には、表示部208L、208Rや、回路基板が収容される。
ユーザーがヘッド・マウント・ディスプレイ10を頭部に装着したとき、額当て部304がユーザーの額に当接するとともに、ヘッド・バンド305が頭部の後方に当接する。図3A、図3Bでは詳細な図解は省略するが、ヘッド・バンド305は、長さの調整が可能であるとともに、伸縮可能な素材からなり、ヘッド・バンド305が頭部に巻き付く格好となって、ヘッド・マウント・ディスプレイ10を頭部に固定する。
また、図3には図示しないが、ユーザー操作部220のうち、ヘッドフォン212L、212Rの音量を増大・低下する「+」、「−」ボタンは、例えばヘッド・マウント・ディスプレイ10本体の底面部分に配設されている。
図4には、装着センサー221の構成例を図解している。図示の例では、額当て部102は、回転軸142によって、ヘッド・マウント・ディスプレイ10の外筐に回動可能に支持されている。額当て部102は、非装着時には、スプリング144の復元力によって、ヘッド・マウント・ディスプレイ10の後方、すなわち装着するユーザーの額側へ向かった非装着位置へ押し出されている。そして、装着時には、ユーザーの額が当接することによって、前方の装着位置へ押し戻される。また、回転軸142には、前方に突設したアーム143が取り付けられている。そして、ユーザーが装着して額当て部102が前方へ押し戻されると、アーム143が連動して、その先端部で(装着センサーに相当する)タクト・スイッチ141を操作する。CPU206は、タクト・スイッチ141の操作から、ヘッド・マウント・ディスプレイ10がユーザーに装着されたことを検出することができる。
図5には、フロント・エンド・ボックス40の内部構成例を模式的に示している。
HDMI入力部501は、HDMIインターフェースに準拠し、HDMIケーブルで接続されるブルーレイ・ディスク再生装置20から再生出力されるAV信号を、HDMIケーブル経由で入力して等化処理などの信号処理を行なう。
また、第1の出力部502にはヘッド・マウント・ディスプレイ10が接続され、第2の出力部503にはハイビジョン・ディスプレイ30が接続される。
第2の出力部503は、HDMIインターフェースに準拠し、HDMIケーブルで接続されるハイビジョン・ディスプレイ30へ、AV信号を出力する。なお、フロント・エンド・ボックス40が複数の第2の出力部503を装備し、2以上のHDMI対応テレビへAV信号を出力するように構成することもできる。
一方、第1の出力部502は、独自のインターフェース仕様に準拠するものとする。勿論、HDMIインターフェースに準拠するよう、第1の出力部502を構成することもできる。第1の出力部502は、この独自のインターフェース仕様に準拠したケーブル1本で、ヘッド・マウント・ディスプレイ10と接続され、このケーブル越しにヘッド・マウント・ディスプレイ10との間で、AV信号の送信や、各種情報信号の送受信、駆動電力の供給を行なうようになっている。
制御部506は、フロント・エンド・ボックス40内の各部の動作を統括的にコントロールする。
出力切換部504は、HDMI入力部501に入力されるAV信号の出力先を、第1の出力部502又は第2の出力部503のいずれか、すなわち、ヘッド・マウント・ディスプレイ10又はハイビジョン・ディスプレイ30のいずれかに択一的に切り換える。本実施形態では、出力切換部504は、AV信号の出力先を排他的とし、且つ、ヘッド・マウント・ディスプレイ10への出力を最優先する。
また、フロント・エンド・ボックス40本体には、ユーザーが指などで操作可能な1以上の操作子を備えたユーザー操作部509が装備されている。ユーザーは、ユーザー操作部509からAV信号の出力先の切り換えを指示することもできる。
音声DAC505は、HDMI入力部501で分離された音声信号をアナログ変換し、ヘッドフォン(HP)・コネクター507から出力する。
ここで、ヘッドフォン212L、212Rの音量調整は、上述したように、ユーザー操作部220のうち「+」、「−」ボタンを操作することにより、操作した回数に応じたステップ数だけ、音量が増大又は低下する。勿論、「+」、「−」ボタンを長押しすなわち連続操作すると、複数ステップ数だけ連続して音量を増大又は低下するように構成することもできる。また、ユーザーがヘッド・マウント・ディスプレイ10を頭から外しているときも、ユーザー操作部を介して設定した音量で、ヘッドフォンから音声出力し続けるのが一般的である。
ところが、ユーザーがヘッド・マウント・ディスプレイ10を頭から外している間に、誤操作や、何らかの重みが加わるなどの外的要因で、音量ボタンが「+」すなわち音量増大方向に長押しされると、ユーザーが知らない間に音量が最大になってしまう。「+」、「−」ボタンがヘッド・マウント・ディスプレイ10本体の底面部分に配設されている機種であれば、テーブルの上に置いておくだけで、「+」ボタンが押され、さらには長押しされる可能性がある。
その後、ユーザーがヘッド・マウント・ディスプレイ10を再び装着して視聴を再開すると、爆音となり、ユーザーの聴覚障害や聴覚を起因とした健康被害を起こすおそれがある。「+」ボタンだけでなく「−」ボタンが無装着時に勝手に操作されても、ユーザーが知らない間に音量が変化するので、不都合である。しかしながら、消音では聴覚障害は起きないが、爆音では聴覚障害を起こすおそれがあるので、とりわけ無装着時の「+」ボタンの誤操作は問題である。
そこで、本実施形態では、ユーザーがヘッド・マウント・ディスプレイ10を装着していない、ヘッド・マウント・ディスプレイ10の「無装着」状態に応じて、ユーザーによる音量操作に対する音量調整制御を行なうようにしている。無装着状態における音量調整制御として、以下のような方法が挙げられる。
(1)無装着状態では、すべての音量操作を無効にする。
(2)無装着状態では、「+」方向すなわち音量を増大する方向の操作を無効にする。
(3)無装着状態では、「+」方向並びに「−」方向のボタンの長押し操作を無効にする。
(4)無装着状態では、「+」方向のボタンの長押し操作を無効にする。
図2並びに図4に示したように、本実施形態では、ヘッド・マウント・ディスプレイ10は、装着センサー221を装備しているので、CPU206は、装着センサー221で検出した装着状態に応じて、ユーザー操作部220を介した音量操作に対する音量調整制御を、信号処理プロセッサー202に指示するようにすればよい。
上記の音量調整制御(1)〜(4)によれば、無装着状態のヘッド・マウント・ディスプレイ10において、音量ボタンの操作を無効にしてユーザーが知らない間に音量が変化することを防止し、あるいは、音量ボタンの長押し操作だけを無効にして大幅に変化することを防止することができる。したがって、外的要因で音量ボタンが操作されても、音量が全く変化しないか、又は、大幅に変化しない。ユーザーがヘッド・マウント・ディスプレイ10を再び装着して装着状態に復帰したときに、ユーザーは元と同じ音量で視聴することができるので、違和感を与えずに済む。
また、上記の音量調整制御(2)、(3)によれば、無装着状態のヘッド・マウント・ディスプレイ10において、「+」方向のみ音量ボタンの操作を無効にして、音量が増大することを防止し、あるいは、「+」方向のみ音量ボタンの操作を無効にして、音量が大幅に増大することを防止することができる。したがって、外的要因で音量ボタンが操作されても、音量が全く増大しないか、又は、大幅に増大しない。ユーザーがヘッド・マウント・ディスプレイ10を再び装着して装着状態に復帰したときに、元の音量よりも増大することはないので、ユーザーの聴覚障害や聴覚を起因とした健康被害を起こすおそれがない。
図6には、無装着状態のヘッド・マウント・ディスプレイ10において、すべての音量操作を無効にする場合の操作フローを示している。
ユーザーがヘッド・マウント・ディスプレイ10を装着した装着状態でコンテンツを視聴しているとき、「+」方向並びに「−」方向の双方のボタンの操作はともに有効である。このとき、ユーザーが、「+」方向又は「−」方向のボタンを1プッシュ、又は長押ししたとき、操作に応じて音量が増大又は低下する。他方、ユーザーがヘッド・マウント・ディスプレイ10を外した無装着状態では、「+」方向並びに「−」方向の双方のボタンの操作はともに無効化されており、1プッシュ、又は長押ししても、音量は変化しない。
また、図7には、無装着状態のヘッド・マウント・ディスプレイ10において、「+」方向すなわち音量を増大する方向の操作を無効にする場合の操作フローを示している。この場合、「−」方向すなわち音量を低下する方向の操作は、無装着状態においても有効のままである。
ユーザーがヘッド・マウント・ディスプレイ10を装着した装着状態でコンテンツを視聴しているとき、「+」方向並びに「−」方向の双方のボタンの操作はともに有効である。このとき、ユーザーが、「+」方向又は「−」方向のボタンを1プッシュ、又は長押ししたとき、操作に応じて音量が増大又は低下する。他方、ユーザーがヘッド・マウント・ディスプレイ10を外した無装着状態では、「+」方向すなわち音量を増大する方向の操作は無効化されており、1プッシュ、又は長押ししても、音量は増大しない。但し、「−」方向すなわち音量を低下する方向の操作は、無装着状態においても有効のままであり、「−」方向のボタンを1プッシュ、又は長押ししたとき、操作に応じて音量が低下する。
また、図8には、無装着状態のヘッド・マウント・ディスプレイ10において、「+」方向並びに「−」方向の双方のボタンの長押し操作を無効にする場合の操作フローを示している。この場合、無装着状態であっても、1プッシュ操作であれば、「+」方向並びに「−」方向ともにボタン操作は有効である。
ユーザーがヘッド・マウント・ディスプレイ10を装着した装着状態でコンテンツを視聴しているとき、「+」方向並びに「−」方向の双方のボタンの操作はともに有効である。このとき、ユーザーが、「+」方向又は「−」方向のボタンを1プッシュ、又は長押ししたとき、操作に応じて音量が増大又は低下する。他方、ユーザーがヘッド・マウント・ディスプレイ10を外した無装着状態では、「+」方向並びに「−」方向の双方のボタンの長押し操作は無効化されており、いずれの音量ボタンを長押ししても、音量は変化しない。但し、「+」方向並びに「−」方向の双方のボタンの1プッシュ操作は、無装着状態においても有効のままであり、「+」方向又は「−」方向のボタンを1プッシュすると、プッシュした回数に応じて、音量は増大又は低下する。
また、図9には、無装着状態のヘッド・マウント・ディスプレイ10において、「+」方向のボタンの長押し操作を無効にする場合の操作フローを示している。この場合、「−」方向のボタン操作は、1プッシュ、長押しともに常に有効である。また、無装着状態であっても、1プッシュ操作であれば、「+」方向のボタン操作も有効である。「+」方向のボタンの長押し操作は無効化されており、「+」方向のボタンを長押ししても、音量は変化しない。但し、「+」方向のボタンの1プッシュ操作は、無装着状態においても有効のままであり、「+」方向のボタンを1プッシュすると、プッシュした回数に応じて音量は増大する。また、
ユーザーがヘッド・マウント・ディスプレイ10を装着した装着状態でコンテンツを視聴しているとき、「+」方向並びに「−」方向の双方のボタンの操作はともに有効である。このとき、ユーザーが、「+」方向又は「−」方向のボタンを1プッシュ、又は長押ししたとき、操作に応じて音量が増大又は低下する。他方、ユーザーがヘッド・マウント・ディスプレイ10を外した無装着状態では、「−」方向すなわち音量を低下する方向の操作は、無装着状態においても有効のままであり、「−」方向のボタンを1プッシュ、又は長押ししたとき、操作に応じて音量が低下する。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)左眼用並びに右眼用の映像を表示する表示部と、前記映像に付随した音声を出力する音声出力部と、左眼用映像及び右眼用映像の映像信号を処理する映像信号処理部と、前記音声出力部から出力する音量をユーザーが指示操作するユーザー操作部と、観察者が当該装置を装着したか否かを検出する装着センサーと、前記装着センサーによる検出結果に応じて、前記ユーザー操作部を介した音量操作に対する音量の調整を制御する制御部を具備するヘッド・マウント・ディスプレイ。
(2)前記制御部は、前記装着センサーにより観察者が当該装置を装着していないと検出した無装着状態では、前記ユーザー操作部を介した音量操作をすべて無効にする、上記(1)に記載のヘッド・マウント・ディスプレイ。
(3)前記制御部は、前記装着センサーにより観察者が当該装置を装着していないと検出した無装着状態では、前記ユーザー操作部を介した音量の増大を指示する操作を無効にする、上記(1)に記載のヘッド・マウント・ディスプレイ。
(4)前記制御部は、前記装着センサーにより観察者が当該装置を装着していないと検出した無装着状態では、前記ユーザー操作部を介した音量の増大又は低下を指示する連続操作を無効にする、上記(1)に記載のヘッド・マウント・ディスプレイ。
(5)前記制御部は、前記装着センサーにより観察者が当該装置を装着していないと検出した無装着状態では、前記ユーザー操作部を介した音量の増大を指示する連続操作を無効にする、上記(1)に記載のヘッド・マウント・ディスプレイ。
(6)左眼用並びに右眼用の映像の映像信号を処理する映像信号処理ステップと、前記映像に付随した音声を出力する音声出力ステップと、前記音声出力ステップにおいて出力する音量に対するユーザーの指示操作を入力するユーザー入力ステップと、観察者がヘッド・マウント・ディスプレイを装着したか否かを検出する装着検出ステップと、前記装着検出ステップにおける検出結果に応じて、前記ユーザー入力ステップで入力した音量操作に対する音量の調整を制御する制御ステップを有するヘッド・マウント・ディスプレイの制御方法。
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書で開示する技術は、ヘッド・マウント・ディスプレイ以外にも、時分割立体視映像表示システムで用いられる3D眼鏡など、ユーザーが頭部に装着して用いられるさまざまなタイプの表示装置に適用することができる。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
10…ヘッド・マウント・ディスプレイ
20…ブルーレイ・ディスク再生装置
30…ハイビジョン・ディスプレイ
40…フロント・エンド・ボックス
102…額当て部
141…タクト・スイッチ
142…回転軸
143…アーム
144…スプリング
201…信号送受信部
202…信号処理プロセッサー
203…VRAM
204…パネル・コントローラー
205…ROM
206…CPU
208L、208R…表示部
209…ROM
210…RAM
211…音声DAC
212L、212R…ヘッドフォン
220…ユーザー操作部
221…装着センサー
222…加速度センサー
223…輝度センサー
230…電源部
231…電源スイッチ
301…ディスプレイ・ユニット部
302…外筐
303L、303R…ヘッドフォン部
304…額当て部
305…ヘッド・バンド、305A…上バンド、305B…下バンド
501…HDMI入力部
502…第1の出力部
503…第2の出力部
504…出力切換部
505…音声DAC
506…制御部
507…HPコネクター
509…ユーザー操作部

Claims (6)

  1. 左眼用並びに右眼用の映像を表示する表示部と、
    前記映像に付随した音声を出力する音声出力部と、
    前記音声出力部から出力する音量をユーザーが指示操作するユーザー操作部と、
    観察者が当該装置を装着したか否かを検出する装着センサーと、
    前記装着センサーによる検出結果に応じて、前記ユーザー操作部を介した音量操作に対する音量の調整を制御する制御部と、
    を具備するヘッド・マウント・ディスプレイ。
  2. 前記制御部は、前記装着センサーにより観察者が当該装置を装着していないと検出した無装着状態では、前記ユーザー操作部を介した音量操作をすべて無効にする、
    請求項1に記載のヘッド・マウント・ディスプレイ。
  3. 前記制御部は、前記装着センサーにより観察者が当該装置を装着していないと検出した無装着状態では、前記ユーザー操作部を介した音量の増大を指示する操作を無効にする、
    請求項1に記載のヘッド・マウント・ディスプレイ。
  4. 前記制御部は、前記装着センサーにより観察者が当該装置を装着していないと検出した無装着状態では、前記ユーザー操作部を介した音量の増大又は低下を指示する連続操作を無効にする、
    請求項1に記載のヘッド・マウント・ディスプレイ。
  5. 前記制御部は、前記装着センサーにより観察者が当該装置を装着していないと検出した無装着状態では、前記ユーザー操作部を介した音量の増大を指示する連続操作を無効にする、
    請求項1に記載のヘッド・マウント・ディスプレイ。
  6. 左眼用並びに右眼用の映像の映像信号を処理する映像信号処理ステップと、
    前記映像に付随した音声を出力する音声出力ステップと、
    前記音声出力ステップにおいて出力する音量に対するユーザーの指示操作を入力するユーザー入力ステップと、
    観察者がヘッド・マウント・ディスプレイを装着したか否かを検出する装着検出ステップと、
    前記装着検出ステップにおける検出結果に応じて、前記ユーザー入力ステップで入力した音量操作に対する音量の調整を制御する制御ステップと、
    を有するヘッド・マウント・ディスプレイの制御方法。
JP2011233031A 2011-10-24 2011-10-24 ヘッド・マウント・ディスプレイ及びヘッド・マウント・ディスプレイの制御方法 Active JP5923926B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011233031A JP5923926B2 (ja) 2011-10-24 2011-10-24 ヘッド・マウント・ディスプレイ及びヘッド・マウント・ディスプレイの制御方法
CN201210394723.5A CN103064187B (zh) 2011-10-24 2012-10-17 头戴式显示器及用于控制头戴式显示器的方法
US13/654,072 US9197840B2 (en) 2011-10-24 2012-10-17 Head mount display and method for controlling head mount display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011233031A JP5923926B2 (ja) 2011-10-24 2011-10-24 ヘッド・マウント・ディスプレイ及びヘッド・マウント・ディスプレイの制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016084979A Division JP2016167844A (ja) 2016-04-21 2016-04-21 ヘッド・マウント・ディスプレイ及びヘッド・マウント・ディスプレイの制御方法、並びに表示システム及びその制御方法

Publications (2)

Publication Number Publication Date
JP2013093663A true JP2013093663A (ja) 2013-05-16
JP5923926B2 JP5923926B2 (ja) 2016-05-25

Family

ID=48106880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011233031A Active JP5923926B2 (ja) 2011-10-24 2011-10-24 ヘッド・マウント・ディスプレイ及びヘッド・マウント・ディスプレイの制御方法

Country Status (3)

Country Link
US (1) US9197840B2 (ja)
JP (1) JP5923926B2 (ja)
CN (1) CN103064187B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016167844A (ja) * 2016-04-21 2016-09-15 ソニー株式会社 ヘッド・マウント・ディスプレイ及びヘッド・マウント・ディスプレイの制御方法、並びに表示システム及びその制御方法
KR20170131460A (ko) * 2015-04-03 2017-11-29 선전 로욜 테크놀로지스 컴퍼니 리미티드 헤드 마운트 전자 장치
JP2020182028A (ja) * 2019-04-23 2020-11-05 株式会社東芝 電子機器、および制御方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014240913A (ja) * 2013-06-12 2014-12-25 ソニー株式会社 表示装置および表示装置の駆動方法
CN104254025A (zh) * 2013-06-27 2014-12-31 麦祖怀 智能耳机
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
CN104808772B (zh) * 2014-01-24 2018-10-16 北京奇虎科技有限公司 检测头戴式智能设备持续附着在人体上的装置和方法
CN104808774B (zh) * 2014-01-24 2017-12-05 北京奇虎科技有限公司 判断头戴式智能设备操作有效性的装置和方法
USD741327S1 (en) 2015-04-16 2015-10-20 Vladimir Reznik Head mounted display
WO2016199699A1 (ja) 2015-06-12 2016-12-15 株式会社ソニー・インタラクティブエンタテインメント 制御装置、制御方法及びプログラム
CN107211204B (zh) * 2015-11-27 2019-08-02 深圳市柔宇科技有限公司 一种头戴式播放设备的控制方法及头戴式播放设备
CN105959768A (zh) * 2016-04-28 2016-09-21 乐视控股(北京)有限公司 视频播放参数配置方法及设备
US9807490B1 (en) * 2016-09-01 2017-10-31 Google Inc. Vibration transducer connector providing indication of worn state of device
CN106572417B (zh) * 2016-10-27 2019-11-05 腾讯科技(深圳)有限公司 音效控制方法和装置
WO2018151350A1 (ko) * 2017-02-16 2018-08-23 엘지전자 주식회사 헤드마운티드 디스플레이
CN106886454A (zh) * 2017-02-20 2017-06-23 深圳多哚新技术有限责任公司 一种基于vr眼镜的任务处理方法、装置及vr眼镜
TWD191635S (zh) 2017-06-22 2018-07-11 星風Ip公司 虛擬實境顯示裝置
EP3951752A4 (en) * 2019-03-27 2022-05-18 Panasonic Intellectual Property Management Co., Ltd. HEAD MOUNT DISPLAY
CN111158492B (zh) * 2019-12-31 2021-08-06 维沃移动通信有限公司 视频剪辑方法及头戴式设备
JP2023102075A (ja) * 2022-01-11 2023-07-24 パナソニックIpマネジメント株式会社 ヘッドフォンおよびヘッドフォンの制御方法
WO2023178667A1 (zh) * 2022-03-25 2023-09-28 深圳市大疆创新科技有限公司 一种头戴显示设备及控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175140A (ja) * 1997-08-27 1999-03-16 Olympus Optical Co Ltd 頭部装着型映像表示装置および映像表示制御装置
WO2007037147A1 (ja) * 2005-09-29 2007-04-05 Nikon Corporation コンテンツデータ再生システムおよびそのコンテンツデータ再生システムを実現するプログラム
US20110194029A1 (en) * 2010-02-05 2011-08-11 Kopin Corporation Touch sensor for controlling eyewear

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11174991A (ja) 1997-12-11 1999-07-02 Canon Inc ヘッドマウントディスプレイ
TWI341695B (en) * 2006-07-31 2011-05-01 Compal Electronics Inc Method for controlling volume of earphone
US8085966B2 (en) * 2007-01-10 2011-12-27 Allan Amsel Combined headphone set and portable speaker assembly
US20100259471A1 (en) * 2007-11-16 2010-10-14 Nikon Corporation Control device, head-mount display device, program, and control method
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20110012896A1 (en) * 2009-06-22 2011-01-20 Ji Maengsob Image display apparatus, 3d glasses, and method for operating the image display apparatus
DE102009036236A1 (de) * 2009-08-05 2011-09-08 Siemens Medical Instruments Pte. Ltd. Hörhilfe mit Fehlbedienungs-Sicherung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175140A (ja) * 1997-08-27 1999-03-16 Olympus Optical Co Ltd 頭部装着型映像表示装置および映像表示制御装置
WO2007037147A1 (ja) * 2005-09-29 2007-04-05 Nikon Corporation コンテンツデータ再生システムおよびそのコンテンツデータ再生システムを実現するプログラム
US20110194029A1 (en) * 2010-02-05 2011-08-11 Kopin Corporation Touch sensor for controlling eyewear

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170131460A (ko) * 2015-04-03 2017-11-29 선전 로욜 테크놀로지스 컴퍼니 리미티드 헤드 마운트 전자 장치
JP2016167844A (ja) * 2016-04-21 2016-09-15 ソニー株式会社 ヘッド・マウント・ディスプレイ及びヘッド・マウント・ディスプレイの制御方法、並びに表示システム及びその制御方法
JP2020182028A (ja) * 2019-04-23 2020-11-05 株式会社東芝 電子機器、および制御方法
JP7234025B2 (ja) 2019-04-23 2023-03-07 株式会社東芝 電子機器、および制御方法

Also Published As

Publication number Publication date
CN103064187B (zh) 2016-09-14
JP5923926B2 (ja) 2016-05-25
CN103064187A (zh) 2013-04-24
US20130300949A1 (en) 2013-11-14
US9197840B2 (en) 2015-11-24

Similar Documents

Publication Publication Date Title
JP5923926B2 (ja) ヘッド・マウント・ディスプレイ及びヘッド・マウント・ディスプレイの制御方法
JP5978592B2 (ja) ヘッド・マウント・ディスプレイ及び表示制御方法
JP5874176B2 (ja) 表示装置、並びに中継装置
US9064442B2 (en) Head mounted display apparatus and method of controlling head mounted display apparatus
CN107976809B (zh) 头戴式视频显示装置
US10692300B2 (en) Information processing apparatus, information processing method, and image display system
WO2016017062A1 (en) Information processing for motion sickness prevention in an image display system
EP2685712A1 (en) Head-mounted display
US20120162764A1 (en) Head-mounted display
CN102967937A (zh) 头戴式显示器和显示控制方法
JP2016167844A (ja) ヘッド・マウント・ディスプレイ及びヘッド・マウント・ディスプレイの制御方法、並びに表示システム及びその制御方法
KR20170134147A (ko) 디스플레이 컨트롤러, 전자 기기, 및 가상 현실 장치
JP2015119236A (ja) 頭部装着型表示装置
JP2013093664A (ja) 表示システム並びに中継装置
CN108140357B (zh) 信息处理装置
JP6402487B2 (ja) 音声処理装置および音声処理装置の制御方法
KR20100036015A (ko) 입체영상 생성장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160404

R151 Written notification of patent or utility model registration

Ref document number: 5923926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250