JP2019135873A - 制御装置、制御システム、制御方法及びプログラム - Google Patents

制御装置、制御システム、制御方法及びプログラム Download PDF

Info

Publication number
JP2019135873A
JP2019135873A JP2019078633A JP2019078633A JP2019135873A JP 2019135873 A JP2019135873 A JP 2019135873A JP 2019078633 A JP2019078633 A JP 2019078633A JP 2019078633 A JP2019078633 A JP 2019078633A JP 2019135873 A JP2019135873 A JP 2019135873A
Authority
JP
Japan
Prior art keywords
light emitting
luminance
emitting unit
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019078633A
Other languages
English (en)
Other versions
JP6762399B2 (ja
Inventor
武司 明見
Takeshi Akemi
武司 明見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Publication of JP2019135873A publication Critical patent/JP2019135873A/ja
Application granted granted Critical
Publication of JP6762399B2 publication Critical patent/JP6762399B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】姿勢を特定するための発光部を備えているヘッドマウントディスプレイにおいて、発光部の輝度を測定するための機器を別途設けることなく発光部の輝度を制御できるようにする。【解決手段】姿勢特定部６２は、カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、発光部を備えるＨＭＤの姿勢を特定する。輝度情報特定部６４は、姿勢特定用の画像を撮影するカメラが撮影する、発光部の像を含む、輝度特定用の画像に基づいて、発光部の輝度を示す情報を特定する。駆動電流制御部６６は、特定される発光部の輝度を示す情報に基づいて、発光部の駆動電流を制御する。【選択図】図７

Description

本発明は、制御装置、ヘッドマウントディスプレイ、制御システム、制御方法及びプログラムに関する。
例えば特許文献１〜３に記載されているような、ユーザが頭部に装着して映像を観賞等するためのヘッドマウントディスプレイ（ＨＭＤ）が知られている。ＨＭＤのなかには、ＬＥＤなどといった駆動電流に応じた輝度で発光する発光部を複数備えており、当該複数の発光部をカメラで撮影した画像に基づいて、ＨＭＤの姿勢を特定することができるものがある。
特開２００４−２０５７１１号公報 特開２０１２−２８８９号公報 特開２０１３−２１０５８８号公報
発光部をカメラで撮影した画像に基づいてＨＭＤの姿勢を特定するにあたって、発光部の輝度が小さいとＨＭＤの姿勢の特定精度が低下する。一方で発光部の輝度が大きいほど発光部の消費電力が大きいので、発光部の輝度はなるべく小さい方が望ましい。また例えばＨＭＤの周辺の環境が明るい場合には、ＨＭＤの姿勢を特定するために発光部の輝度を大きくしなければならない場合がある。
ここで発光部の駆動電流と輝度との関係は、素子の特性、使用時間の長さ、使用されている際の周囲の温度などに依存するので、駆動電流の大きさによって発光部の輝度は一意に定まらない。
そのため発光部の輝度がある程度の大きさに保たれるようにするためには、発光部の輝度の測定結果に基づく当該発光部に流れる駆動電流の制御を行う必要がある。しかし従来はこのような制御を行うために輝度を測定するための機器を別途設ける必要があった。
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、姿勢を特定するための発光部を備えているヘッドマウントディスプレイにおいて、発光部の輝度を測定するための機器を別途設けることなく発光部の輝度を制御できるようにすることにある。
上記課題を解決するために、本発明に係る制御装置は、カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、前記発光部を備えるヘッドマウントディスプレイの姿勢を特定する姿勢特定部と、前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む、輝度特定用の画像に基づいて、前記発光部の輝度を示す情報を特定する輝度情報特定部と、特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御する駆動電流制御部と、を含む。
本発明の一態様では、前記輝度情報特定部は、前記発光部の像を含む輝度特定用の画像内における当該発光部が占める領域に基づいて、当該発光部の輝度を示す情報を特定する。
また本発明の一態様では、前記姿勢特定用の画像と前記輝度特定用の画像は同一の画像である。
また本発明の一態様では、環境の明るさに基づいて前記輝度を示す情報の目標値を決定する目標値決定部、をさらに含み、前記駆動電流制御部は、前記輝度を示す情報の目標値に応じた前記発光部の駆動電流の制御を行う。
また本発明の一態様では、前記輝度情報特定部は、前記発光部の輝度を示す情報を特定不能である場合にその旨を通知する。
この態様では、前記ヘッドマウントディスプレイが、前記発光部を複数含み、前記輝度情報特定部は、前記複数の発光部のいずれかの輝度を示す情報が特定不能である場合に、輝度を示す情報が特定不能である前記発光部に応じた通知を行ってもよい。
また、本発明に係るヘッドマウントディスプレイは、カメラが撮影する、前記発光部の像を含む姿勢特定用の画像に基づいて、前記ヘッドマウントディスプレイの姿勢を特定する姿勢特定部と、前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む輝度特定用の画像に基づいて、当該発光部の輝度を示す情報を特定する輝度情報特定部と、特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御する駆動電流制御部と、を含む。
また、本発明に係る制御システムは、カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、前記発光部を備えるヘッドマウントディスプレイの姿勢を特定する姿勢特定部と、前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む、輝度特定用の画像に基づいて、前記発光部の輝度を示す情報を特定する輝度情報特定部と、特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御する駆動電流制御部と、を含む。
また、本発明に係る制御方法は、カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、前記発光部を備えるヘッドマウントディスプレイの姿勢を特定するステップと、前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む、輝度特定用の画像に基づいて、前記発光部の輝度を示す情報を特定するステップと、特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御するステップと、を含む。
また、本発明に係るプログラムは、カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、前記発光部を備えるヘッドマウントディスプレイの姿勢を特定する手順、前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む、輝度特定用の画像に基づいて、前記発光部の輝度を示す情報特定する手順、特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御する手順、をコンピュータに実行させる。
本発明の一実施形態に係る映像表示システムの全体構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 本発明の一実施形態に係るエンタテインメント装置の構成の一例を示す図である。 撮影画像の一例を示す図である。 発光部抽出画像の一例を示す図である。 本発明の一実施形態における発光部の輝度の調整の一例を説明する説明図である。 本発明の一実施形態における発光部の輝度の調整の別の一例を説明する説明図である。 本発明の一実施形態に係るヘッドマウントディスプレイで実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。
以下、本発明の一実施形態について、図面を参照しながら説明する。
図１は、本発明の一実施形態に係る映像表示システム１０の全体構成の一例を示す図である。図２Ａは、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１２の構成の一例を示す図である。図２Ｂは、本実施形態に係るエンタテインメント装置１４の構成の一例を示す図である。
図１に示すように、本実施形態に係る映像表示システム１０は、ＨＭＤ１２とエンタテインメント装置１４と中継装置１６とディスプレイ１８とカメラマイクユニット２０とコントローラ２２とを含んでいる。
本実施形態に係るＨＭＤ１２には、例えば図２Ａに示すように、制御部３０、記憶部３１、入出力部３２、表示部３３、駆動回路３４、複数の発光部３５、センサ部３６、音声出力部３７が含まれる。
制御部３０は、例えばＨＭＤ１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
記憶部３１は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部３１には、制御部３０によって実行されるプログラムなどが記憶される。
入出力部３２は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポート、ＡＵＸポートなどの入出力ポートである。
表示部３３は、ＨＭＤ１２の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、エンタテインメント装置１４が生成する映像などを表示させる。また表示部３３は、ＨＭＤ１２の筐体３８に収容される。表示部３３は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部３３は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３３は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
駆動回路３４は、例えば複数の発光部３５を駆動させるためのＬＥＤドライバ等の回路である。
発光部３５は、ＬＥＤ等の発光素子によって構成されており、駆動回路３４が出力する駆動電流に応じた輝度で発光する。本実施形態に係るＨＭＤ１２は、複数の発光部３５を備えている。複数の発光部３５のうちの１個は、筐体３８の前面中央に配置されている。また筐体３８の前面と側面とに掛かるように、前面の４隅のそれぞれにも発光部３５が配置されている。これら４個の発光部３５のそれぞれは、筐体３８の前面の外縁の外側を向くようにして、筐体３８の前面に対して斜めに配置されている。また筐体３８の左右の側面のそれぞれにも発光部３５が配置されている。また筐体３８を支持する装着バンド３９にも２個の発光部３５が配置されている。以上のように本実施形態に係るＨＭＤ１２は９個の発光部３５を備えている。本実施形態に係る発光部３５は青色光を発する。
センサ部３６は、例えば加速度センサやモーションセンサなどといったセンサである。センサ部３６は、ＨＭＤ１２の回転量、移動量などの計測結果を所定のフレームレートで、制御部３０に出力する。
音声出力部３７は、例えばヘッドホンやスピーカ等であり、エンタテインメント装置１４が生成する音声データが表す音声などを出力する。音声出力部３７は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される音声信号を受信して、当該音声信号が表す音声を出力する。
本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ−ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置１４は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置１６を経由して、ＨＭＤ１２やディスプレイ１８に出力する。
本実施形態に係るエンタテインメント装置１４には、例えば図２Ｂに示すように、制御部４０、記憶部４１、通信部４２、入出力部４３が含まれる。
制御部４０は、例えばエンタテインメント装置１４にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係る制御部４０には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
記憶部４１は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部４１には、制御部４０によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部４１には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
通信部４２は、例えばイーサネット（登録商標）モジュールや無線ＬＡＮモジュールなどの通信インタフェースなどである。
入出力部４３は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートやＵＳＢポートなどの入出力ポートである。
本実施形態に係る中継装置１６は、エンタテインメント装置１４から出力される映像信号や音声信号を中継してＨＭＤ１２やディスプレイ１８に出力するコンピュータである。
本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。
本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像をエンタテインメント装置１４に出力するカメラ２０ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。
ＨＭＤ１２と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。エンタテインメント装置１４と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。
本実施形態に係るコントローラ２２は、エンタテインメント装置１４に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ２２が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ２２を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ２２は、操作入力に対応付けられる入力データをエンタテインメント装置１４に出力する。また本実施形態に係るコントローラ２２は、ＵＳＢポートを備えている。そしてコントローラ２２は、ＵＳＢケーブルでエンタテインメント装置１４と接続することで、有線で入力データをエンタテインメント装置１４に出力することができる。また本実施形態に係るコントローラ２２は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置１４に出力することができるようにもなっている。
本実施形態では、カメラ２０ａは、所定のフレームレートで画像を撮影する。図３は、カメラ２０ａが撮影する画像である撮影画像５０の一例を示す図である。図３に示す撮影画像５０には、筐体３８の右側面、前面中央、前面から見て前面の左上隅、及び、前面から見て前面の右上隅に配置されている発光部３５の像が含まれている。本実施形態では図３に例示する撮影画像５０内における発光部３５の像の位置に基づいて、ＨＭＤ１２の位置や向きなどといったＨＭＤ１２の姿勢が特定される。なお撮影画像５０内における発光部３５の像の位置とセンサ部３６による移動量や回転量の検出結果とに基づいて、ＨＭＤ１２の姿勢が特定されても構わない。このようにして特定されるＨＭＤ１２の姿勢に応じて表示部３３に表示される映像や表示部３３に表示されるオブジェクトの制御が行われる。また本実施形態では上述のように様々な位置に発光部３５が配置されているため、ユーザがどのような方向を向いていても、撮影画像５０にいずれかの発光部３５の像が含まれている可能性が高いこととなる。
発光部３５の輝度が小さすぎると撮影画像５０内における発光部３５の像の位置の特定精度が低くなる。一方で消費電力を抑える観点では発光部３５の輝度は小さい方がよい。以上の理由で本実施形態に係るＨＭＤ１２が備える発光部３５の輝度は所定の範囲内におさまっていることが望ましい。本実施形態に係る映像表示システム１０では、ＨＭＤ１２の姿勢特定用の撮影画像５０に基づいて、当該撮影画像５０に像が含まれる発光部３５の輝度も特定される。そして発光部３５の輝度が所定の範囲内に収まるよう発光部３５を駆動する駆動電流が制御される。このようにして本実施形態に係る映像表示システム１０では、発光部３５の輝度が所定の範囲内におさまることとなる。
なお撮影画像５０内の発光部３５が占める領域を抽出することで、図４に例示する発光部抽出画像５２が生成されるようにしてもよい。例えば撮影画像５０に対して例えば所定の条件を満足する画素、例えば青色の画素値が所定の範囲である画素を抽出する画像処理を行うことで、図４に例示する発光部抽出画像５２が生成されるようにしてもよい。そしてこのようにして生成される発光部抽出画像５２内における発光部３５が占める領域に基づいて、ＨＭＤ１２の姿勢の特定や、当該発光部抽出画像５２内に像が含まれる発光部３５の輝度の特定が行われてもよい。
図３に示す撮影画像５０や図４に示す発光部抽出画像５２には、発光部３５の像が複数含まれている。本実施形態では公知のパターン認識技術を用いることにより、それぞれの発光部３５の像がどの位置に配置された発光部３５の像であるのかを特定可能になっている。
また本実施形態に係るＨＭＤ１２は、複数の発光部３５のそれぞれについて個別に点灯あるいは消灯することができるようになっている。そのため特定の発光部３５だけを発光させるようにすることで当該特定の発光部３５の位置を特定することができる。このようにして複数の発光部３５の像のそれぞれについてどの位置に配置された発光部３５の像であるのかが特定されても構わない。
図５及び図６は、それぞれ、本発明の一実施形態における発光部３５の輝度の調整の一例を説明する説明図である。図５及び図６には、目標となる輝度である目標輝度Ｌｔが示されている。目標輝度Ｌｔは、所定の輝度であってもよいし、ＨＭＤ１２の周囲の明るさやカメラ２０ａからの距離に基づいて決定される輝度であってもよい。また図５及び図６には、図３に示す撮影画像５０に像が含まれる４つの発光部３５の輝度Ｌがバツ印で示されている。
本実施形態ではＨＭＤ１２の出荷時においては、図５に示すように、発光部３５の輝度Ｌが高めに設定されている。この場合は、これら４つの発光部３５の駆動電流を小さくすることで、発光部３５の輝度が目標輝度Ｌｔを中心とする所定の範囲内におさまるよう制御される。本実施形態では例えば、目標輝度Ｌｔと輝度Ｌとの差の閾値をΔＬとすると、発光部３５の輝度は、Ｌｔ＋ΔＬとなるよう、あるいはＬｔ＋ΔＬよりも小さくなるよう制御される。このようにすることで本実施形態によれば、発光部３５の消費電力を抑えることができる。
また発光部３５は、一定の駆動電流により駆動していても使用時間が長くなるに従って輝度が下がってくる。また発光部３５の周囲の温度によっても当該発光部３５の輝度が低下する速度は異なる。図６の例では前面中央の発光部３５及び前面の左上隅の発光部３５については、輝度がＬｔ−ΔＬよりも小さい。この場合は、これら２つの発光部３５の駆動電流を大きくすることで、発光部３５の輝度が目標輝度Ｌｔを中心とする所定の範囲内におさまるよう制御される。本実施形態では例えば、目標輝度Ｌｔと輝度Ｌとの差の閾値をΔＬとすると、発光部３５の輝度は、Ｌｔ−ΔＬとなる、あるいはＬｔ−Δｔよりも大きくなるよう制御される。このようにして本実施形態によれば発光部３５の輝度が例えば撮影画像５０に基づくＨＭＤ１２の姿勢が特定可能な最小の輝度以上となるよう制御できる。
以上説明したように、本実施形態では、ＨＭＤ１２の姿勢特定用の撮影画像５０が発光部３５の輝度の特定にも用いられるので、発光部３５の輝度を測定するための機器を別途設けることなく発光部３５の輝度を制御できることとなる。
なお以上の説明ではＨＭＤ１２の姿勢を特定するための姿勢特定用の画像と発光部３５の輝度を特定するための輝度特定用の画像は同一の画像であったが、姿勢特定用の画像と輝度特定用の画像は異なる画像であってもよい。例えば姿勢特定用の画像と輝度特定用の画像とがカメラ２０ａによって交互に撮影されるようにしてもよい。
以下、発光部３５の輝度の制御を中心に、本実施形態に係るエンタテインメント装置１４の機能並びに本実施形態に係るエンタテインメント装置１４で実行される処理についてさらに説明する。
図７は、本実施形態に係るエンタテインメント装置１４で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置１４で、図７に示す機能のすべてが実装される必要はなく、また、図７に示す機能以外の機能が実装されていても構わない。
図７に示すように、本実施形態に係るエンタテインメント装置１４は、機能的には例えば、撮影画像取得部６０、姿勢特定部６２、輝度情報特定部６４、駆動電流制御部６６、を含んでいる。撮影画像取得部６０、姿勢特定部６２、駆動電流制御部６６は、制御部４０及び入出力部４３を主として実装される。輝度情報特定部６４は、制御部４０を主として実装される。本実施形態に係るエンタテインメント装置１４は、発光部３５の輝度を制御する制御装置としての役割を担うこととなる。
そして以上の機能は、コンピュータであるエンタテインメント装置１４にインストールされた、以上の機能に対応する指令を含むプログラムを制御部４０で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１４に供給される。
撮影画像取得部６０は、本実施形態では、カメラ２０ａが撮影した撮影画像５０を取得する。
姿勢特定部６２は、カメラ２０ａが撮影する撮影画像５０に基づいて、ＨＭＤ１２の姿勢を特定する。姿勢特定部６２は、センサ部３６による移動量や回転量の検出結果を示すデータをＨＭＤ１２から受信して、受信したデータと撮影画像５０とに基づいて、ＨＭＤ１２の姿勢を特定してもよい。
輝度情報特定部６４は、カメラ２０ａが撮影する、発光部３５の像を含む撮影画像５０に基づいて、当該発光部３５の輝度を示す情報を特定する。輝度情報特定部６４は本実施形態では例えば、撮影画像取得部６０が取得する撮影画像５０に像が含まれている発光部３５の輝度を特定する。また本実施形態に係るカメラ２０ａが、撮影画像５０内の画素の輝度を特定する機能を備えている場合に、輝度情報特定部６４は、カメラ２０ａが特定する輝度を示す情報をカメラ２０ａから取得してもよい。そして輝度情報特定部６４が、カメラ２０ａから取得した輝度を示す情報に基づいて発光部３５の輝度を特定してもよい。
また輝度情報特定部６４は、撮影画像５０内における発光部３５が占める領域に基づいて、当該発光部３５の輝度を特定してもよい。例えば輝度情報特定部６４は、発光部抽出画像５２において発光部３５が占める領域として抽出された領域内の画素に基づいて、当該発光部３５の輝度を特定してもよい。
なおエンタテインメント装置１４にそれぞれが輝度に関連付けられた複数の参照画像が記憶されていてもよい。この場合に輝度情報特定部６４が、複数の参照画像のそれぞれと、撮影画像取得部６０が取得する撮影画像５０と、の比較結果に基づいて、発光部３５の輝度を特定してもよい。具体的には例えば、撮影画像５０に最も類似する参照画像が特定され、当該参照画像に関連付けられる輝度が当該発光部３５の輝度として特定されてもよい。
駆動電流制御部６６は、特定される発光部３５の輝度に基づいて、発光部３５の駆動電流を制御する。本実施形態では例えば、輝度情報特定部６４によって特定された発光部３５の輝度ＬがＬｔ−ΔＬよりも小さい場合に、駆動電流制御部６６は当該発光部３５の駆動電流を増加させる。一方輝度情報特定部６４によって特定された発光部３５の輝度ＬがＬｔ＋ΔＬよりも大きい場合に、駆動電流制御部６６は当該発光部３５の駆動電流を減少させる。駆動電流制御部６６は、本実施形態では例えば駆動電流の値を示すデータをＨＭＤ１２に送信する。そしてＨＭＤ１２の制御部３０が、エンタテインメント装置１４から受信したデータが示す駆動電流の値となるよう駆動回路３４を制御する。なお駆動電流制御部６６は、駆動電流の増加量又は減少量を示すデータをＨＭＤ１２に送信してもよい。そしてＨＭＤ１２の制御部３０が、エンタテインメント装置１４から受信したデータが示す増加量又は減少量に応じた駆動電流の値となるよう駆動回路３４を制御してもよい。
ここで、本実施形態に係るエンタテインメント装置１４において行われる、筐体３８の前面中央に配置された発光部３５の輝度制御処理の流れの一例を、図８に例示するフロー図を参照しながら説明する。
本実施形態では図８に示す輝度制御処理は、繰り返し実行される。ここで当該輝度制御処理は、例えば輝度特定用の撮影画像５０の撮影間隔で繰り返し実行されてもよい。例えばカメラ２０ａによる撮影画像５０の撮影が１／６０秒間隔で行われ、すべての撮影画像５０が輝度特定用の画像として用いられる場合には、図８に示す輝度制御処理は１／６０秒間隔で実行されてもよい。また例えば、カメラ２０ａによる撮影画像５０の撮影が１／６０秒間隔で行われ、姿勢特定用の撮影画像５０と輝度特定用の撮影画像５０とが交互に撮影される場合には、図８に示す輝度制御処理は１／３０秒間隔で実行されてもよい。
まず、撮影画像取得部６０が、撮影画像５０を取得する（Ｓ１０１）。そして、輝度情報特定部６４が、Ｓ１０１に示す処理で取得した撮影画像５０に基づいて、筐体３８の前面中央に配置された発光部３５の輝度Ｌを特定する（Ｓ１０２）。Ｓ１０２に示す処理では上述したように、輝度情報特定部６４が、Ｓ１０１に示す処理で取得した撮影画像５０内において発光部３５が占める領域内の画素に基づいて発光部３５の輝度Ｌを特定してもよい。例えば輝度情報特定部６４が、Ｓ１０１に示す処理で取得した撮影画像５０に基づいて発光部抽出画像５２を生成し、発光部抽出画像５２において発光部３５が占める領域内の画素に基づいて発光部３５の輝度Ｌを特定してもよい。
そして駆動電流制御部６６は、Ｓ１０２に示す処理で輝度Ｌが特定できたか否かを確認する（Ｓ１０３）。Ｓ１０２に示す処理では、例えば筐体３８の前面中央に配置された発光部３５の像が撮影画像５０に含まれていない場合などのように、当該発光部３５の輝度Ｌが特定できない場合がある。Ｓ１０２に示す処理で輝度Ｌが特定できなかった場合は（Ｓ１０３：Ｎ）、Ｓ１０１に示す処理に戻る。この場合は当該フレームでは筐体３８の前面中央に配置された発光部３５の輝度Ｌは変化しない。
Ｓ１０２に示す処理で輝度Ｌが特定できた場合（Ｓ１０３：Ｙ）は、駆動電流制御部６６は、Ｓ１０２に示す処理で特定された輝度ＬがＬｔ＋ΔＬより大きいか否かを確認する（Ｓ１０４）。Ｓ１０２に示す処理で特定された輝度ＬがＬｔ＋ΔＬより大きい場合は（Ｓ１０４：Ｙ）、駆動電流制御部６６は、筐体３８の前面中央に配置された発光部３５の駆動電流ｉをΔｉだけ減少させて（Ｓ１０５）、Ｓ１０１に示す処理に戻る。本実施形態におけるΔｉは例えば１ｍＡである。
Ｓ１０２に示す処理で特定された輝度ＬがＬｔ＋ΔＬより大きくない場合は（Ｓ１０４：Ｎ）、駆動電流制御部６６は、Ｓ１０２に示す処理で特定された輝度ＬがＬｔ−ΔＬより小さいか否かを確認する（Ｓ１０６）。Ｓ１０２に示す処理で特定された輝度ＬがＬｔ−ΔＬより小さい場合は（Ｓ１０６：Ｙ）、駆動電流制御部６６は、筐体３８の前面中央に配置された発光部３５の駆動電流ｉをΔｉだけ増加させて（Ｓ１０７）、Ｓ１０１に示す処理に戻る。
Ｓ１０２に示す処理で特定された輝度ＬがＬｔ−ΔＬより小さくない場合（Ｓ１０６：Ｎ）、すなわちＳ１０２に示す処理で特定された輝度ＬがＬｔ−ΔＬ以上Ｌｔ＋ΔＬ以下である場合は、Ｓ１０１に示す処理に戻る。この場合も当該フレームでは筐体３８の前面中央に配置された発光部３５の輝度Ｌは変化しない。
なお、上述のΔｉを１ｍＡよりも小さな値、例えば０．１ｍＡとしてもよい。Δｉの値が小さいほど発光部３５の輝度を細かく制御できる一方で、図８に示す処理の実行間隔で変更可能な輝度が小さくなる。
また図８には、筐体３８の前面中央に配置された発光部３５についての輝度制御処理の流れの一例を示したが、当該輝度制御処理は、ＨＭＤ１２が備える複数の発光部３５のそれぞれについて独立に実行される。図８に示す輝度制御処理は並列に実行されても構わないし、複数の発光部３５のそれぞれについて順次実行されるようにしても構わない。
以上のようにして本実施形態によれば、図８に示す輝度制御処理が実行される度に、発光部３５の輝度が目標輝度Ｌｔを中心とする所定の範囲に近づくよう制御されることとなる。
なお例えば輝度情報特定部６４が、Ｓ１０１に示す処理で取得された撮影画像５０に基づいて、環境の明るさ、例えばＨＭＤ１２の周囲の空間の明るさを特定してもよい。そして輝度情報特定部６４が、特定される環境の明るさに基づいて、目標輝度Ｌｔなどといった、発光部３５の輝度を示す情報の目標値を決定してもよい。ここで例えば特定される環境の明るさが明るいほど大きくなるよう目標輝度Ｌｔが決定されてもよい。なおＨＭＤ１２が明るさセンサを備えている場合は、当該明るさセンサによる測定結果に基づいて環境の明るさが特定されてもよい。そして駆動電流制御部６６が、輝度情報特定部６４が決定した発光部３５の輝度を示す情報の目標値に応じた当該発光部３５の駆動電流の制御を行ってもよい。このようにすれば発光部３５の輝度が環境の明るさに応じた輝度となるよう制御できることとなる。具体的には例えば環境の明るさが明るいほど発光部３５の輝度が大きくなるよう制御できることとなる。
また本実施形態にカメラ２０ａはステレオカメラであるので、カメラ２０ａから発光部３５までの距離を測定することができる。そこで例えば、輝度情報特定部６４が、カメラ２０ａから発光部３５までの距離に基づいて目標輝度Ｌｔを決定してもよい。このとき例えば、カメラ２０ａから発光部３５までの距離が長いほど大きくなるよう目標輝度Ｌｔが決定されてもよい。このようにすれば発光部３５の輝度がカメラ２０ａからの距離に応じた輝度となるよう制御できることとなる。具体的には例えばカメラ２０ａからの距離が長いほど発光部３５の輝度が大きくなるよう制御できることとなる。
以上のように、輝度情報特定部６４が、環境の明るさやカメラ２０ａからの距離に基づいて目標輝度Ｌｔを決定する目標値決定部としての役割も担ってもよい。なお輝度情報特定部６４が、環境の明るさとカメラ２０ａからの距離との組合せに基づいて目標輝度Ｌｔを決定してもよい。そして以上のようにして決定された目標輝度Ｌｔが上述のＳ１０４に示す処理やＳ１０６に示す処理で用いられてもよい。
また例えば駆動電流ｉをΔｉだけ増加させた際に所定の最大電流（例えば３０ｍＡ）を超える場合には、駆動電流制御部６６はＳ１０７に示す処理で駆動電流ｉを増加させなくてもよい。この場合には駆動電流制御部６６がメッセージを出力してもよい。例えば駆動電流制御部６６が、表示部３３にメッセージを表示出力させる指令をＨＭＤ１２に送信し、ＨＭＤ１２が当該メッセージを表示部３３に表示出力してもよい。あるいは駆動電流制御部６６が、所定の音声を音声出力させる指令をＨＭＤ１２に送信して、ＨＭＤ１２が音声出力部３７から所定の音声が音声出力されるよう制御してもよい。このようにすれば例えば寿命の到来などによって発光部３５に所定の最大電流を供給しても輝度が所定の範囲内とならないことをユーザは認識できることとなる。
また輝度情報特定部６４が、最も小さな輝度の発光部３５を特定してもよい。そして駆動電流制御部６６が、当該輝度に近づくよう他の発光部３５の駆動電流を制御してもよい。こうすれば最も小さな輝度の発光部３５の輝度に近づくよう他の発光部３５の輝度が制御されることとなる。
また図８に示す輝度制御処理は、例えばゲームのプレイ中、すなわちエンタテインメント装置１４がゲームプログラムを実行することにより生成される動画像が表示部３３に表されている期間に行われてもよいし、ゲームのプレイが開始される前に行われてもよい。
また輝度情報特定部６４は、上述のＳ１０２に示す処理で発光部３５の輝度を特定不能である場合にその旨を通知してもよい。また輝度情報特定部６４は、複数の発光部３５のいずれかの輝度が特定不能である場合に、輝度が特定不能である発光部３５に応じた通知を行うようにしてもよい。例えばゲームのプレイが開始される前に行われる輝度制御処理において輝度Ｌが特定できなかった発光部３５が存在する際に、輝度情報特定部６４が、当該発光部３５がカメラ２０ａに撮影されるような頭部の回転をユーザに促す通知を出力してもよい。例えば前面から見て前面の右上隅に配置されている発光部３５の像が撮影画像５０に含まれていない場合に輝度情報特定部６４が「右を向いてください。」とのメッセージを表示出力させる指令をＨＭＤ１２に送信してもよい。そして当該指令を受信したＨＭＤ１２が当該メッセージを表示部３３に表示出力させてもよい。あるいは上述の場合に輝度情報特定部６４が「右を向いてください。」とのメッセージを音声出力させる指令をＨＭＤ１２に送信してもよい。そして当該指令を受信したＨＭＤ１２が音声出力部３７から当該メッセージが音声出力されるよう制御してもよい。
また以上の説明では、発光部３５は可視光（例えば青色光）を発することとしたが、発光部３５が可視光以外の光、例えば赤外光を発するようにしてもよい。またカメラ２０ａが赤外線を撮影可能なカメラであってもよい。
また例えば、輝度情報特定部６４が輝度を特定不能な発光部３５が存在する場合に、駆動電流制御部６６が当該発光部３５を消灯してもよい。
また輝度情報特定部６４は、発光部３５の輝度の代わりに、輝度を示す情報、例えば発光部３５の色、画素値、面積等の情報を特定してもよい。そして駆動電流制御部６６が、特定された発光部３５の色、画素値、面積等の情報に基づいて、発光部３５の駆動電流を制御してもよい。
なお、本発明は上述の実施形態に限定されるものではない。
例えばＨＭＤ１２、エンタテインメント装置１４、中継装置１６の役割分担は上述のものに限定されない。例えば図７に例示する機能の一部又は全部が、ＨＭＤ１２、又は、中継装置１６で実装されても構わない。あるいは図７に例示する機能が、映像表示システム１０を構成するＨＭＤ１２、エンタテインメント装置１４、又は、中継装置１６で分散して実装されていても構わない。
例えば図７に示す機能がコンピュータであるＨＭＤ１２にインストールされた、以上の機能に対応する指令を含むプログラムを制御部３０で実行することにより実装されていてもよい。またこのプログラムが、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ１２に供給されてもよい。
また図７に示す機能の一部がコンピュータであるＨＭＤ１２にインストールされた、当該一部の機能に対応する指令を含むプログラムを制御部３０で実行することにより実装されてもよい。そしてこのプログラムが、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ１２に供給されてもよい。また図７に示す機能の残りがコンピュータであるエンタテインメント装置１４に当該残りの機能に対応する指令を含むプログラムを制御部４０で実行することにより実装されてもよい。またプログラムが、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１４に供給されてもよい。
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
１０ 映像表示システム、１２ ヘッドマウントディスプレイ（ＨＭＤ）、１４ エンタテインメント装置、１６ 中継装置、１８ ディスプレイ、２０ カメラマイクユニット、２０ａ カメラ、２０ｂ マイク、２２ コントローラ、３０ 制御部、３１ 記憶部、３２ 入出力部、３３ 表示部、３４ 駆動回路、３５ 発光部、３６ センサ部、３７ 音声出力部、３８ 筐体、３９ 装着バンド、４０ 制御部、４１ 記憶部、４２ 通信部、４３ 入出力部、５０ 撮影画像、５２ 発光部抽出画像、６０ 撮影画像取得部、６２ 姿勢特定部、６４ 輝度情報特定部、６６ 駆動電流制御部。

Claims (10)

  1. カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、前記発光部を備えるヘッドマウントディスプレイの姿勢を特定する姿勢特定部と、
    前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む、輝度特定用の画像に基づいて、前記発光部の輝度を示す情報を特定する輝度情報特定部と、
    特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御する駆動電流制御部と、
    を含むことを特徴とする制御装置。
  2. 前記輝度情報特定部は、前記発光部の像を含む輝度特定用の画像内における当該発光部が占める領域に基づいて、当該発光部の輝度を示す情報を特定する、
    ことを特徴とする請求項１に記載の制御装置。
  3. 前記姿勢特定用の画像と前記輝度特定用の画像は同一の画像である、
    ことを特徴とする請求項１又は２に記載の制御装置。
  4. 環境の明るさに基づいて前記輝度を示す情報の目標値を決定する目標値決定部、をさらに含み、
    前記駆動電流制御部は、前記輝度を示す情報の目標値に応じた前記発光部の駆動電流の制御を行う、
    ことを特徴とする請求項１から３のいずれか一項に記載の制御装置。
  5. 前記輝度情報特定部は、前記発光部の輝度を示す情報を特定不能である場合にその旨を通知する、
    ことを特徴とする請求項１から４のいずれか一項に記載の制御装置。
  6. 前記ヘッドマウントディスプレイが、前記発光部を複数含み、
    前記輝度情報特定部は、前記複数の発光部のいずれかの輝度を示す情報が特定不能である場合に、輝度を示す情報が特定不能である前記発光部に応じた通知を行う、
    ことを特徴とする請求項５に記載の制御装置。
  7. 駆動電流に応じた輝度で発光する発光部を備えるヘッドマウントディスプレイであって、
    カメラが撮影する、前記発光部の像を含む姿勢特定用の画像に基づいて、前記ヘッドマウントディスプレイの姿勢を特定する姿勢特定部と、
    前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む輝度特定用の画像に基づいて、当該発光部の輝度を示す情報を特定する輝度情報特定部と、
    特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御する駆動電流制御部と、
    を含むことを特徴とするヘッドマウントディスプレイ。
  8. カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、前記発光部を備えるヘッドマウントディスプレイの姿勢を特定する姿勢特定部と、
    前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む、輝度特定用の画像に基づいて、前記発光部の輝度を示す情報を特定する輝度情報特定部と、
    特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御する駆動電流制御部と、
    を含むことを特徴とする制御システム。
  9. カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、前記発光部を備えるヘッドマウントディスプレイの姿勢を特定するステップと、
    前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む、輝度特定用の画像に基づいて、前記発光部の輝度を示す情報を特定するステップと、
    特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御するステップと、
    を含むことを特徴とする制御方法。
  10. カメラが撮影する、駆動電流に応じた輝度で発光する発光部の像を含む、姿勢特定用の画像に基づいて、前記発光部を備えるヘッドマウントディスプレイの姿勢を特定する手順、
    前記姿勢特定用の画像を撮影する前記カメラが撮影する、前記発光部の像を含む、輝度特定用の画像に基づいて、前記発光部の輝度を示す情報を特定する手順、
    特定される前記発光部の輝度を示す情報に基づいて、前記発光部の駆動電流を制御する手順、
    をコンピュータに実行させることを特徴とするプログラム。

JP2019078633A 2015-10-08 2019-04-17 制御装置、制御システム、制御方法及びプログラム Active JP6762399B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015200311 2015-10-08
JP2015200311 2015-10-08

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017544536A Division JP6517358B2 (ja) 2015-10-08 2016-10-05 制御装置、ヘッドマウントディスプレイ、制御システム、制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019135873A true JP2019135873A (ja) 2019-08-15
JP6762399B2 JP6762399B2 (ja) 2020-09-30

Family

ID=58487672

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017544536A Active JP6517358B2 (ja) 2015-10-08 2016-10-05 制御装置、ヘッドマウントディスプレイ、制御システム、制御方法及びプログラム
JP2019078633A Active JP6762399B2 (ja) 2015-10-08 2019-04-17 制御装置、制御システム、制御方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017544536A Active JP6517358B2 (ja) 2015-10-08 2016-10-05 制御装置、ヘッドマウントディスプレイ、制御システム、制御方法及びプログラム

Country Status (5)

Country Link
US (2) US10368007B2 (ja)
EP (1) EP3343906B1 (ja)
JP (2) JP6517358B2 (ja)
CN (1) CN108141558B (ja)
WO (1) WO2017061488A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017061488A1 (ja) * 2015-10-08 2017-04-13 株式会社ソニー・インタラクティブエンタテインメント 制御装置、ヘッドマウントディスプレイ、制御システム、制御方法及びプログラム
WO2019087996A1 (ja) * 2017-10-30 2019-05-09 ピクシーダストテクノロジーズ株式会社 網膜投影装置、網膜投影システム
JP6666504B1 (ja) 2019-06-20 2020-03-13 任天堂株式会社 装置、システム、ゲームシステム、および、装置セット
JP6666505B1 (ja) 2019-06-20 2020-03-13 任天堂株式会社 入力装置
USD949857S1 (en) * 2019-11-27 2022-04-26 Canon Kabushiki Kaisha Attachment member for head-mounted display
USD949858S1 (en) * 2019-11-27 2022-04-26 Canon Kabushiki Kaisha Attachment member for head-mounted display
CN112437213A (zh) * 2020-10-28 2021-03-02 青岛小鸟看看科技有限公司 图像采集方法、手柄设备、头戴设备及头戴系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005529427A (ja) * 2002-06-13 2005-09-29 カールツァイス アーゲー オブジェクトの空間位置を感知する方法及び装置
JP2012226666A (ja) * 2011-04-21 2012-11-15 Shimadzu Corp モーショントラッカ装置
WO2014197338A2 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US20150261291A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Methods and Systems Tracking Head Mounted Display (HMD) and Calibrations for HMD Headband Adjustments
JP6517358B2 (ja) * 2015-10-08 2019-05-22 株式会社ソニー・インタラクティブエンタテインメント 制御装置、ヘッドマウントディスプレイ、制御システム、制御方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004205711A (ja) 2002-12-24 2004-07-22 Canon Inc 表示装置
JP2012002889A (ja) 2010-06-15 2012-01-05 Brother Ind Ltd シースルー型画像表示装置
WO2012047221A1 (en) * 2010-10-07 2012-04-12 Sony Computer Entertainment Inc. 3-d glasses with camera based head tracking
JP5803784B2 (ja) 2012-03-30 2015-11-04 ブラザー工業株式会社 ヘッドマウントディスプレイ
CN103778887B (zh) * 2013-03-21 2016-05-18 西安电子科技大学 Led显示装置的亮度校正方法及装置
CN105359063B (zh) 2013-06-09 2018-08-17 索尼电脑娱乐公司 利用追踪的头戴式显示器
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US10019059B2 (en) * 2014-08-22 2018-07-10 Sony Interactive Entertainment Inc. Glove interface object
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
CN104616544A (zh) * 2015-03-12 2015-05-13 马盼盼 一种智能教学系统
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
CN204695329U (zh) * 2015-04-30 2015-10-07 朱中生 头戴式货物识别码扫描装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005529427A (ja) * 2002-06-13 2005-09-29 カールツァイス アーゲー オブジェクトの空間位置を感知する方法及び装置
JP2012226666A (ja) * 2011-04-21 2012-11-15 Shimadzu Corp モーショントラッカ装置
WO2014197338A2 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US20150261291A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Methods and Systems Tracking Head Mounted Display (HMD) and Calibrations for HMD Headband Adjustments
JP6517358B2 (ja) * 2015-10-08 2019-05-22 株式会社ソニー・インタラクティブエンタテインメント 制御装置、ヘッドマウントディスプレイ、制御システム、制御方法及びプログラム

Also Published As

Publication number Publication date
US20180278825A1 (en) 2018-09-27
WO2017061488A1 (ja) 2017-04-13
US10368007B2 (en) 2019-07-30
JP6762399B2 (ja) 2020-09-30
CN108141558B (zh) 2021-03-16
EP3343906A4 (en) 2019-04-24
EP3343906A1 (en) 2018-07-04
US10488654B2 (en) 2019-11-26
JPWO2017061488A1 (ja) 2018-05-24
JP6517358B2 (ja) 2019-05-22
CN108141558A (zh) 2018-06-08
EP3343906B1 (en) 2022-04-06
US20190268523A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
JP6762399B2 (ja) 制御装置、制御システム、制御方法及びプログラム
US10529074B2 (en) Camera pose and plane estimation using active markers and a dynamic vision sensor
JP7036879B2 (ja) 仮想画像生成システムにおけるテキストをより効率的に表示するための技法
JP2018099523A (ja) 物理オブジェクトの画像をフェードアウトする方法
JP2017152010A (ja) 頭部装着ディスプレイ
JP2018029968A (ja) ヘッドマウンテッドディスプレイ上でのゲームプレイの移行
JP6465672B2 (ja) 情報処理装置および情報処理方法
JP6629055B2 (ja) 情報処理装置および情報処理方法
US11763578B2 (en) Head-mounted display, display control method, and program
US20230280834A1 (en) Vr sickness reduction system, head-mounted display, vr sickness reduction method, and program
JPWO2016199731A1 (ja) ヘッドマウントディスプレイ、表示制御方法及びプログラム
JP6650739B2 (ja) 発光デバイス調整装置および駆動電流調整方法
JPWO2018105552A1 (ja) 音声制御装置、音声制御方法及びプログラム
US20120218399A1 (en) Electronic apparatus, controller of indicator, and control method of the same
JP2020515336A (ja) ズーム装置及び関連する方法
JPWO2020203832A1 (ja) 境界表示制御装置、境界表示制御方法及びプログラム
JP2016140017A (ja) 情報処理装置、表示装置、および情報処理方法
US11711878B2 (en) Entertainment apparatus, light emission controlling apparatus, operation device, light emission controlling method and program
EP4350683A1 (en) Display apparatus and controlling method thereof
KR20230056497A (ko) 디스플레이 장치 및 그 제어 방법
JP5367890B2 (ja) 電子機器およびインジケータの制御方法
JPWO2018101162A1 (ja) ヘッドマウントディスプレイ、表示制御装置、表示制御方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190417

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20200324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200908

R150 Certificate of patent or registration of utility model

Ref document number: 6762399

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150