JP2013077013A - Display device and display method - Google Patents
Display device and display method Download PDFInfo
- Publication number
- JP2013077013A JP2013077013A JP2012254402A JP2012254402A JP2013077013A JP 2013077013 A JP2013077013 A JP 2013077013A JP 2012254402 A JP2012254402 A JP 2012254402A JP 2012254402 A JP2012254402 A JP 2012254402A JP 2013077013 A JP2013077013 A JP 2013077013A
- Authority
- JP
- Japan
- Prior art keywords
- user
- display
- unit
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどによりユーザに装着された状態で、ユーザの目の前方に位置するように表示手段が配置されて画像の表示を行う表示装置と、表示方法に関する。 The present invention, for example, a display device that displays an image with display means arranged so as to be positioned in front of the user's eyes in a state of being mounted on the user by a spectacle-type or head-mounted type mounting unit, etc. It relates to the display method.
例えば上記各特許文献のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザの目の直前に表示部を配置して表示を行う装置が、各種提案されている。 For example, as in each of the above patent documents, various devices have been proposed in which a display unit is arranged in front of the user's eyes and displayed by a spectacle-type or head-mounted mounting unit.
しかしながら従来の装置では、ユーザが操作キー等の操作子の操作を不要としたうえで、ユーザの意志や状況に応じて、ユーザにとって望ましい表示動作を行う装置は開発されていない。
そこで本発明では、ユーザの状況(意志や身体状況等)に応じて、的確な表示動作が行われるようにすることを目的とする。
However, in the conventional apparatus, an apparatus that performs a display operation desirable for the user according to the user's intention and situation after the user does not need to operate the operation element such as the operation key has not been developed.
Therefore, an object of the present invention is to perform an accurate display operation according to the user's situation (will, physical condition, etc.).
本発明の表示装置は、使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、使用者の視覚情報を検出する視覚センサ、又は使用者の生体情報を検出する生体センサから使用者の状況に関する情報を取得する使用者情報取得手段と、上記使用者情報取得手段で取得された情報から、使用者が快適な状態か、又は使用者が不快な状態かを判定し、判定結果に基づいて、上記表示手段における表示動作に関する制御を行う制御手段と、を備える。 The display device of the present invention is arranged so as to be positioned in front of the user's eyes and displays an image, a visual sensor for detecting the user's visual information, or the user's biological information. It is determined whether the user is in a comfortable state or the user is in an uncomfortable state from the user information acquisition means for acquiring information on the user's situation from the biosensor and the information acquired by the user information acquisition means. And control means for controlling the display operation in the display means based on the determination result.
上記制御手段は、使用者が快適でないと判断した場合、輝度、コントラスト又はシャープネスの調整値を算出し、表示手段の画質を調整する制御を行う。
画像の撮像を行う撮像手段を更に備え、上記制御手段は、上記撮像手段で撮像された画像を上記表示手段に表示する制御を行う。
請求項1に記載の表示装置。
When it is determined that the user is not comfortable, the control means calculates an adjustment value of brightness, contrast, or sharpness, and performs control to adjust the image quality of the display means.
The image pickup device further includes an image pickup device that picks up an image, and the control device performs control to display the image picked up by the image pickup device on the display device.
The display device according to
上記制御手段は、使用者の眼が疲労している状態かを判定し、使用者の眼が疲労していると判断した場合には、上記表示手段の表示を終了させる制御を行う。The control means determines whether or not the user's eyes are tired, and performs control to end the display of the display means when it is determined that the user's eyes are tired.
上記使用者の視覚情報を検出するセンサは、使用者の視覚情報として、使用者の視線方向、又は使用者の焦点距離、又は使用者の瞳孔の状態、又は、使用者の眼底パターン、又はまぶたの動きを検出するためのセンサである。The sensor for detecting the user's visual information includes, as the user's visual information, the user's gaze direction, the user's focal length, the user's pupil state, the user's fundus pattern, or the eyelid It is a sensor for detecting the movement of.
上記生体センサは、使用者の生体情報として、使用者の、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応、又は血圧情報、又は体温情報、又は呼吸活動情報を検出する。The biosensor detects, as user biometric information, heartbeat information, pulse information, sweat information, electroencephalogram information, electrodermal response, blood pressure information, body temperature information, or respiratory activity information of the user. To do.
本発明の表示方法は、使用者の目の前方に位置するように配置されて画像の表示を行う表示手段と、使用者の視覚情報を検出する視覚センサ、又は使用者の生体情報を検出する生体センサから使用者の状況に関する情報を取得する使用者情報取得手段とを備えた表示装置の表示方法として、使用者の動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、上記使用者情報取得ステップで取得された情報から、使用者が快適な状態か、又は使用者が不快な状態かを判定し、判定結果に基づいて上記表示手段における表示動作に関する制御を行う制御ステップとを備える。 According to the display method of the present invention, a display unit that is disposed so as to be positioned in front of the user's eyes and displays an image, a visual sensor that detects the user's visual information, or a user's biological information is detected. As a display method of a display device comprising user information acquisition means for acquiring information related to a user's situation from a biosensor, a user information acquisition step for acquiring information related to the user's movement or physical condition, and the above use A control step of determining whether the user is in a comfortable state or uncomfortable state from the information acquired in the person information acquisition step, and performing control related to the display operation in the display means based on the determination result Prepare.
以上の本発明では、使用者(ユーザ)は、表示装置を例えば眼鏡型もしくは頭部装着型の装着ユニットなどにより装着することで、目の前方に位置する表示手段を視認する状態となる。即ちユーザは装着状態で、撮像手段で撮像された画像や、再生手段で再生されたデータの画像、或いは受信手段で受信されたデータの画像などを表示手段で視認できる。
ここで、表示動作のオン/オフ/スルー、表示する画像データのソースの選択、各種表示動作態様(例えば分割表示、拡大/縮小表示、表示輝度などの表示画質調整、画像のスクロールやページ送り/ページ戻しなど)、表示に対する入力、再生画像表示の際の再生動作など、表示動作に関する制御としてユーザの意志や状況に応じた適切な制御が行われることが好ましいが、本発明では、これらをユーザの操作子の操作ではなく、ユーザの動作又は身体の状況に関する情報を取得し、その情報から使用者の意志又は状況を判定し、判定結果に基づいて各種適切な制御を行うようにする。
In the present invention described above, the user (user) is in a state of visually recognizing the display means positioned in front of the eyes by wearing the display device with, for example, a spectacle-type or head-mounted type mounting unit. That is, the user can visually recognize an image captured by the imaging unit, an image of data reproduced by the reproducing unit, an image of data received by the receiving unit, or the like on the display unit.
Here, on / off / through of the display operation, selection of the source of image data to be displayed, various display operation modes (for example, split display, enlargement / reduction display, display image quality adjustment such as display brightness, image scrolling, page feed / It is preferable that appropriate control according to the user's will and situation is performed as control related to the display operation, such as page return), input for display, and playback operation when displaying a playback image. Information regarding the user's movement or body condition is acquired instead of the operation of the operator, and the user's will or situation is determined from the information, and various appropriate controls are performed based on the determination result.
本発明によれば、ユーザの眼の直前とされる表示手段で各種画像を表示させるが、この場合に、ユーザの動作又は身体の状況に関する情報に基づいてユーザの意志又は状況を判定して表示動作に関する制御を行うことで、ユーザに操作負担がないまま、ユーザの意志又は状況に応じた的確な表示動作が実行される。これによりユーザにとって使用性が良く、また多様な視界光景を提供できる表示装置を実現できるという効果がある。
また表示手段は透明又は半透明のスルー状態ともできるようにもすることで、装着状態のままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本発明の表示装置の利点を有効に得ることができる。
According to the present invention, various images are displayed on the display means that is immediately in front of the user's eyes. In this case, the user's will or situation is determined and displayed based on information about the user's action or body condition. By performing the control related to the operation, an accurate display operation corresponding to the user's will or situation is executed without any burden on the user. Accordingly, there is an effect that it is possible to realize a display device that is easy to use for the user and that can provide various viewing scenes.
Also, the display means can be in a transparent or translucent through state, so that there is no hindrance to normal life even in the mounted state. For this reason, the advantages of the display device of the present invention can be obtained effectively in the normal life of the user.
以下、本発明の表示装置、表示方法の実施の形態を、次の順序で説明する。
[1.表示装置の外観例及び外部機器との関連]
[2.表示装置の構成例]
[3.表示例]
[4.ユーザ状況の判定]
[5.各種動作例]
[6.実施の形態の効果、変形例及び拡張例]
Hereinafter, embodiments of the display device and the display method of the present invention will be described in the following order.
[1. Example of external appearance of display device and relationship with external device]
[2. Example of configuration of display device]
[3. Display example]
[4. Judgment of user status]
[5. Examples of various operations]
[6. Effect, modification and extension of embodiment]
[1.表示装置の外観例及び外部機器との関連]
実施の形態として、図1に眼鏡型ディスプレイとした表示装置1の外観例を示す。表示装置1は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの表示装置1は、図1のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用途右眼用の一対の表示部2、2が配置される構成とされている。この表示部2には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部2がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
[1. Example of external appearance of display device and relationship with external device]
As an embodiment, FIG. 1 shows an example of the appearance of a
In the wearing state as shown in FIG. 1, the
またユーザが装着した状態において、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ3aが配置されている。
また撮像レンズ3aによる撮像方向に対して照明を行う発光部4aが設けられる。発光部4aは例えばLED(Light Emitting Diode)により形成される。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ5aが設けられる。
また右眼用の表示部2の右方と、左眼用の表示部2の左方に、外部音声を集音するマイクロホン6a,6bが配置される。
In addition, the
Moreover, the
Although only the left ear side is shown in the figure, a pair of
なお図1は一例であり、表示装置1をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部2が設けられていればよい。また表示部2は、両眼に対応して一対設けられる他、片側の眼に対応して1つ設けられる構成でもよい。
またイヤホンスピーカ5aは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために1つ設けられるのみでもよい。またマイクロホンも、マイクロホン6a,6bのうちの一方でもよい。
また図1は撮像機能を含む例としているが、撮像機能を備えない例も考えられる。
さらには、表示装置1としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。また発光部4aを設けない構成も考えられる。
Note that FIG. 1 is an example, and various structures for the user to wear the
Further, the
Although FIG. 1 shows an example including an imaging function, an example without an imaging function is also conceivable.
Furthermore, a configuration in which the
ところで内部構成例については後述するが、この表示装置1は、記録媒体に対して再生を行う再生機能(図3,図4で述べるストレージ部25)や、外部機器と通信を行う通信機能(図3,図4で述べる通信部26)を備えることも考えられる。
従って、表示部2において表示する画像としてのデータのソースは、撮像機能部位、再生機能部位、通信機能部位が想定される。
図2は、表示装置1の使用形態を、外部機器との関連において例示したものである。
By the way, although an internal configuration example will be described later, the
Therefore, the source of data as an image to be displayed on the
FIG. 2 illustrates a usage pattern of the
図2(a)は表示装置1を単体で使用する場合であり、この場合、表示装置1が撮像機能を有していれば、撮像された画像データを表示部2に表示させることができる。また、表示装置1が再生機能を有していれば、記録媒体から再生されたデータによる画像を表示部2に表示させることができる。記録媒体から再生されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成して記録媒体に記録した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、記録媒体に記録されたゲームプログラムに基づくゲーム画像など、記録媒体に記録されて表示対象となるあらゆるデータが想定される。
FIG. 2A shows a case where the
図2(b)は、表示装置1が通信機能を備え、外部の撮像装置70と通信を行う例である。この場合、表示装置1は、撮像装置70で撮像された画像(動画/静止画)を受信して表示部2に表示させる。外部の撮像装置70とは、通信機能を備えたビデオカメラ、デジタルスチルカメラなどが想定できるし、また図1のように撮像機能を備えた表示装置1を、或る表示装置1に対して外部の撮像装置1と考えることもできる。
また外部の撮像装置70は、表示装置1を用いるユーザ本人が所有する撮像装置であったり、表示装置1のユーザの知人が所有する撮像装置であったり、或いは画像提供を行う公共或いはサービス企業等の撮像装置であって表示装置1と通信可能とされているものなど多様に考えられる。
FIG. 2B is an example in which the
The
図2(c)は、表示装置1が通信機能を備え、外部のコンテンツソース機器71と通信を行う例である。この場合、表示装置1は、コンテンツソース機器71から提供される画像(動画/静止画)を受信して表示部2に表示させる。
コンテンツソース機器71とは、例えばビデオ機器、テレビジョンチューナ、ホームサーバ機器等のAV(Audio-Visual)機器や、パーソナルコンピュータ、PDA(Personal Digital Assistant)、携帯電話機などの情報処理装置などが想定できる。このようなコンテンツソース機器71も、表示装置1を用いるユーザ本人やその知人が所有する機器であったり、各種コンテンツ提供を行う公共或いはサービス企業等のサーバ機器であるなど多様に考えられる。
コンテンツソース機器71から表示装置1に送信されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
FIG. 2C shows an example in which the
Examples of the
Examples of data transmitted from the
図2(d)は、表示装置1が通信機能、特にインターネット等のネットワーク73を介した通信アクセス機能を備えることで、ネットワーク73で接続される外部の撮像装置70やコンテンツソース機器71と通信を行う例である。この場合表示装置1は、ネットワーク73を介して各種データを受信し、その受信したデータの画像を表示部2で表示させる。
FIG. 2D shows that the
[2.表示装置の構成例]
図3に表示装置1の内部構成例を示す。
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、表示装置1の全体を制御する制御部とされる。
このシステムコントローラ10はユーザの状況に基づいて、表示装置1内の各部の制御を行う。つまりユーザの状況を検知判定し、それに応じて各部の動作制御を実行するようにされた動作プログラムに従って動作する。このため機能的に見れば、図示するようにユーザの状況を判定するユーザ状況判定機能10aと、ユーザ状況判定機能10aの判定結果に従って各部に制御指示を行う動作制御機能10bを有することになる。
[2. Example of configuration of display device]
FIG. 3 shows an internal configuration example of the
The
This
表示装置1内では、ユーザの前方の光景の撮像のための構成として、撮像部3、撮像制御部11、撮像信号処理部15が設けられる。
撮像部3は、図1に示した撮像レンズ3aや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイとされる。
In the
The imaging unit 3 includes a lens system including the
撮像信号処理部15は、撮像部3の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド/AGC(Automatic Gain Control)回路や、ビデオA/Dコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部15は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。
The imaging
撮像制御部11は、システムコントローラ10からの指示に基づいて、撮像部3及び撮像信号処理部15の動作を制御する。例えば撮像制御部11は、撮像部3,撮像信号処理部15の動作のオン/オフを制御する。また撮像制御部11は撮像部3に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御(モータ制御)を行うものとされる。
また撮像制御部11はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部11のサンプルホールド/AGC回路、ビデオA/Dコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部11は、固体撮像素子及び撮像信号処理部15における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部11は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
The imaging control unit 11 controls the operations of the imaging unit 3 and the imaging
In addition, the imaging control unit 11 includes a timing generator. For the sample hold / AGC circuit and the video A / D converter of the solid-state imaging device and the imaging signal processing unit 11, a signal processing operation is performed by a timing signal generated by the timing generator. To control. In addition, the imaging frame rate can be variably controlled by this timing control.
Further, the imaging control unit 11 controls imaging sensitivity and signal processing in the solid-state imaging device and the imaging
撮像部3で撮像され、撮像信号処理部15で処理された撮像信号(撮像による画像データ)は画像入出力コントロール部27に供給される。
画像入出力コントロール部27は、システムコントローラ10の制御に応じて、画像データの転送を制御する。即ち撮像系(撮像信号処理部15)、表示系(表示画像処理部12)、ストレージ部25、通信部26の間の画像データの転送を制御する。
例えば画像入出力コントロール部27は、撮像信号処理部15で処理された撮像信号としての画像データを、表示画像処理部12に供給したり、ストレージ部25に供給したり、通信部26に供給する動作を行う。
また画像入出力コントロール部27は例えばストレージ部25から再生された画像データを、表示画像処理部12に供給したり、通信部26に供給する動作を行う。
また画像入出力コントロール部27は例えば通信部26で受信された画像データを、表示画像処理部12に供給したり、ストレージ部25に供給する動作を行う。
An imaging signal (image data obtained by imaging) captured by the imaging unit 3 and processed by the imaging
The image input /
For example, the image input /
The image input /
Further, the image input /
表示装置1においてユーザに対して表示を行う構成としては、表示部2、表示画像処理部12、表示駆動部13,表示制御部14が設けられる。
例えば撮像部3で撮像され、撮像信号処理部15で処理された撮像信号としての画像データは、画像入出力コントロール部27を介して表示画像処理部12に供給することができる。表示画像処理部12は、例えばいわゆるビデオプロセッサとされ、供給された画像データに対して各種表示処理を実行できる部位とされる。例えば画像データの輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整などを行うことができる。また表示画像処理部12は、供給された画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成や、供給された画像データの分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成や、生成した画像を供給された画像データに合成する処理なども行うことができる。つまり供給された画像データに対しての各種処理を行うことができる。
The
For example, image data as an imaging signal captured by the imaging unit 3 and processed by the imaging
表示駆動部13は、表示画像処理部12から供給される画像データを、例えば液晶ディスプレイとされる表示部2において表示させるための画素駆動回路で構成されている。即ち表示部2においてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部13は、表示部2の各画素の透過率を制御して、スルー状態とすることもできる。
表示制御部14は、システムコントローラ10の指示に基づいて、表示画像処理部12の処理動作や表示駆動部13の動作を制御する。即ち表示画像処理部12に対しては、上記の各種処理を実行させる。また表示駆動部13に対してはスルー状態、画像表示状態の切り換えが行われるように制御する。
The
The
なお、ストレージ部25で再生された画像データや、通信部26で受信された画像データも、画像入出力コントロール部27を介して表示画像処理部12に供給できる。その場合、表示画像処理部12、表示駆動部13の上記動作により、表示部2において再生画像や受信画像が出力されることになる。
Note that image data reproduced by the
また表示装置1には、音声入力部6、音声信号処理部16,音声出力部5が設けられる。
音声入力部6は、図1に示したマイクロホン6a,6bと、そのマイクロホン6a,6bで得られた音声信号を増幅処理するマイクアンプ部やA/D変換器を有し、音声データを出力する。
The
The audio input unit 6 includes the
音声入力部6で得られた音声データは音声入出力コントロール部28に供給される。
音声入出力コントロール部28は、システムコントローラ10の制御に応じて、音声データの転送を制御する。即ち音声入力部6、音声信号処理部16、ストレージ部25、通信部26の間の音声信号の転送を制御する。
例えば音声入出力コントロール部28は、音声入力部6で得られた音声データを、音声信号処理部16に供給したり、ストレージ部25に供給したり、通信部26に供給する動作を行う。
また音声入出力コントロール部28は例えばストレージ部25で再生された音声データを、音声信号処理部16に供給したり、通信部26に供給する動作を行う。
また音声入出力コントロール部28は例えば通信部26で受信された音声データを、音声信号処理部16に供給したり、ストレージ部25に供給する動作を行う。
The audio data obtained by the audio input unit 6 is supplied to the audio input /
The voice input /
For example, the audio input /
Further, the audio input /
The audio input /
音声信号処理部16は、例えばデジタルシグナルプロセッサ、D/A変換器などからなる。この音声信号処理部16には、音声入力部6で得られた音声データや、ストレージ部25、或いは通信部26からの音声データが、音声入出力コントロール部28を介して供給される。音声信号処理部16は、供給された音声データに対して、システムコントローラ10の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声データをアナログ信号に変換して音声出力部5に供給する。なお、音声信号処理部16は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
音声出力部5は、図1に示した一対のイヤホンスピーカ5aと、そのイヤホンスピーカ5aに対するアンプ回路を有する。
この音声入力部6、音声信号処理部16,音声出力部5により、ユーザは外部音声を聞いたり、ストレージ部25で再生された音声を聞いたり、通信部26で受信された音声を聞くことができる。なお音声出力部5は、いわゆる骨伝導スピーカとして構成されてもよい。
The audio
The
With the audio input unit 6, the audio
ストレージ部25は、所定の記録媒体に対してデータの記録再生を行う部位とされる。例えばHDD(Hard Disc Drive)として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部25としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
撮像部3で撮像され、撮像信号処理部15で処理された撮像信号としての画像データや、通信部26で受信した画像データは、画像入出力コントロール部27を介してストレージ部25に供給することができる。また音声入力部6で得られた音声データや、通信部26で受信した音声データは、音声入出力コントロール部28を介してストレージ部25に供給することができる。
ストレージ部25はシステムコントローラ10の制御に従って、供給された画像データや音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記録する。
またストレージ部25はシステムコントローラ10の制御に従って、記録媒体から画像データや音声データを再生する。再生した画像データは画像入出力コントロール部27へ出力し、また再生した音声データは音声入出力コントロール部28へ出力する。
The
Image data as an imaging signal captured by the imaging unit 3 and processed by the imaging
Under the control of the
The
通信部26は外部機器との間でのデータの送受信を行う。外部機器としては、図2で述べた撮像装置70やコンテンツソース機器71などとしての各種の機器が考えられる。
通信部26は、無線LAN、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
The
The
撮像部3で撮像され、撮像信号処理部15で処理された撮像信号としての画像データや、ストレージ部25で再生した画像データは、画像入出力コントロール部27を介して通信部26に供給することができる。また音声入力部6で得られた音声データや、ストレージ部25で再生された音声データは、音声入出力コントロール部28を介して通信部26に供給することができる。
通信部26はシステムコントローラ10の制御に従って、供給された画像データや音声データに対して、送信のためのエンコード処理、変調処理等を行い、外部機器に送信する。
また通信部26は外部機器からのデータ受信動作を行う。受信復調した画像データは画像入出力コントロール部27へ出力し、また受信復調した音声データは音声入出力コントロール部28へ出力する。
Image data captured by the imaging unit 3 and processed as an imaging signal processed by the imaging
Under the control of the
The
表示装置1には照明部4と照明制御部18が設けられる。照明部4は、図1に示した発光部4aとその発光部4(例えばLED)を発光させる発光回路から成る。照明制御部18は、システムコントローラ10の指示に基づいて、照明部4に発光動作を実行させる。
照明部4における発光部4aが図1に示したように前方に対する照明を行うものとして取り付けられていることで、照明部4はユーザの視界方向に対する照明動作を行うことになる。
The
Since the
この表示装置1は、使用者情報を取得するための構成として、視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22を有する。
視覚センサ19は、ユーザの視覚に関する情報を検出する。視覚センサ19は、例えばユーザの視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉など、視覚に関する情報を検知することができるセンサである。
加速度センサ20、及びジャイロ21は、ユーザの動きに応じた信号を出力する。例えば頭部の動き、首の動き、全身の動き、腕部の動き、脚部の動きなどを検出するためのセンサである。
生体センサ22は、ユーザの生体情報を検出する。例えば生体センサ22は、ユーザの心拍情報、脈拍情報、発汗情報、脳波情報、又は皮膚電気反応(GSR)、体温、血圧、呼吸活動情報等を検出するセンサである。これらの生体センサ22の検出信号は、例えばユーザの緊張状態や興奮状態、穏やかな状態、うとうとしている状態、快適、不快な状態などを判定できる情報となる。
The
The
The
The
これら視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22により、表示装置1を装着したユーザの動作又は身体の状況に関する情報(使用者情報)が取得され、システムコントローラ10に供給される。
システムコントローラ10はユーザ状況判定機能10aの処理により、取得した使用者情報からユーザの意志又は状況を判定する。そしてシステムコントローラ10は判定したユーザの意志又は状況に応じて動作制御機能10bの処理により、表示動作に関する制御を行う。即ちシステムコントローラ10は表示制御部14に指示して表示画像処理部12や表示駆動部13の動作を制御したり、表示するデータのソースを選択したり、ストレージ部25の再生動作や通信部26の通信動作の制御を行う。
The
The
なお、使用者情報を取得するための構成として、視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22、入力部17を示したが、これらは必ずしも全てを備える必要はない。また、ユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。
In addition, although the
次に図4は、撮像機能を有しない表示装置1の構成例を示すものである。なお、図3と同一機能のブロックには同一符号を付し、重複説明を避ける。
この図4の構成は、図3の構成から、撮像部3,撮像信号処理部15、撮像制御部11、照明部4、照明制御部18、音声入力部6を省いたものとなっている。
Next, FIG. 4 shows a configuration example of the
In the configuration of FIG. 4, the imaging unit 3, the imaging
上記図3の構成例の場合、表示部2に表示させるデータのソースは、撮像機能系(撮像部3,撮像信号処理部15、撮像制御部11)と、再生機能系(ストレージ部25)と、受信機能系(通信部26)の3つとなるが、この図4の構成例の場合、表示部2に表示させるデータのソースは、再生機能系(ストレージ部25)と、受信機能系(通信部26)の2つとなる。
つまり図3は表示画像のソースとして表示装置1内に3系統のソースを備える場合の例であり、図4は表示装置1内に2系統のソースを備える場合の例である。
なお図示しないが表示装置1の構成例としては、この図3,図4以外に、表示装置1内の表示画像のソースとして、例えば撮像機能系のみを備える例、再生機能系のみを備える例、受信機能系のみを備える例、撮像機能系と再生機能系を備える例、撮像機能系と受信機能系を備える例などが、それぞれ考えられる。
In the case of the configuration example in FIG. 3, the sources of data to be displayed on the
That is, FIG. 3 is an example in the case where three sources are provided in the
Although not shown in the figure, as an example of the configuration of the
[3.表示例]
システムコントローラ10が、ユーザの意志又は状況に応じて表示動作に関する制御を行い、表示するデータのソースを選択したり、表示画像処理を行うことなどにより、ユーザは表示部2において多様な表示態様、表示内容の画像を見ることができる。図5から図10により、各種の表示例を示す。
[3. Display example]
The
図5(a)は表示部2がスルー状態となっている場合を示しているとする。つまり、表示部2は単なる透明の板状体となっており、ユーザが視界光景を透明の表示部2を介して見ている状態である。
図5(b)は、撮像部3で撮像した画像が表示部2に表示された状態である。例えば図5(a)の状態で撮像部3,撮像信号処理部15,表示画像処理部12,表示駆動部13が動作し、撮像画像を通常に表示部2に表示した状態である。この場合の表示部2に表示される撮像画像(通常撮像画像)は、スルー状態の場合とほぼ同様となる。つまりユーザにとっては、通常の視界を、撮像された画像として見ている状態である。
図5(c)は、システムコントローラ10が撮像制御部11を介して撮像部3に望遠撮像を実行させた場合であり、望遠画像が表示部2に表示されている。
図示しないが、逆にシステムコントローラ10が撮像制御部11を介して撮像部3に広角撮像を実行させれば、近距離の光景が広角に映し出された画像が表示部2に表示されることになる。なお、望遠−広角の制御は、撮像部3におけるズームレンズの駆動制御の他、撮像信号処理部15での信号処理でも可能である。
FIG. 5A shows a case where the
FIG. 5B shows a state where an image captured by the imaging unit 3 is displayed on the
FIG. 5C shows a case where the
Although not shown, conversely, if the
上記図5(b)(c)は撮像機能系を画像ソースとして表示部2に表示を行った例を示したが、図6はストレージ部25を表示画像のソースとして表示部2に表示を行う例を示している。
図6(a)は、ストレージ部25における記録媒体に動画や静止画の画像コンテンツが記録されており、その画像コンテンツが再生されて表示部2で表示されている例である。
図6(b)は、ストレージ部25における記録媒体にゲームプログラムが記録されており、そのゲームプログラムに基づく画像が表示部2で表示されている例である。
図6(c)は、ストレージ部25における記録媒体に電子書籍コンテンツが記録されており、その電子書籍コンテンツが再生されて表示部2で表示されている例である。
これら図6(a)(b)(c)のようにユーザは表示装置1を用いて記録媒体に記録されたデータの再生画像を楽しむことができる。
FIGS. 5B and 5C show an example in which the imaging function system is displayed on the
FIG. 6A is an example in which moving image or still image image content is recorded on the recording medium in the
FIG. 6B shows an example in which a game program is recorded on a recording medium in the
FIG. 6C is an example in which electronic book content is recorded on a recording medium in the
As shown in FIGS. 6A, 6 </ b> B, and 6 </ b> C, the user can enjoy the reproduced image of the data recorded on the recording medium using the
次に図7,図8は通信部26を表示画像のソースとして表示部2に表示を行う例を示している。
図7は、図2(b)又は図2(d)のような通信で、外部の撮像装置70から送信され、通信部26で受信した画像を表示する例である。
図7(a)は、例えばユーザからの視界が図5(a)のようであり、つまりスタジアムで客席からサッカーを観戦している状態にあるときに、スタジアムの別の場所で撮像を行う撮像装置70による映像を、通信部26で受信し、表示部2に表示させている例である。例えば監督席近辺に設置された撮像装置70や、審判が装着する小型の撮像装置70などからの映像を受信して、表示部2で表示することで、より興味深く試合観戦を行うことができる。
図7(b)は、リゾート地に設置した撮像装置70や、旅行中の知人が所持する撮像装置70によって撮像した映像を、通信部26で受信し、表示部2に表示させている例である。このような映像表示により、ユーザは、例えば自宅等にいながら、多様な地域の映像を見ることができる。
図7(c)は、航空機や衛星に設置された撮像装置70で撮像した地上の映像(バードビュー映像)を、通信部26で受信し、表示部2に表示させている例である。このような映像表示により、ユーザは、通常は見ることのできない風景を楽しむことができる。
Next, FIG. 7 and FIG. 8 show an example in which display is performed on the
FIG. 7 shows an example in which an image transmitted from the
FIG. 7A shows, for example, that the field of view from the user is as shown in FIG. 5A, that is, when the player is watching soccer from the audience seats at the stadium, imaging is performed at another place in the stadium. This is an example in which an image by the
FIG. 7B shows an example in which an image captured by the
FIG. 7C is an example in which a terrestrial video (bird view video) captured by the
図8は、図2(c)又は図2(d)のような通信で、外部のコンテンツソース機器71から送信され、通信部26で受信した画像を表示する例である。
図8(a)は、AV機器やパーソナルコンピュータ等のコンテンツソース機器71から、動画や静止画の画像コンテンツを受信した場合に、その画像コンテンツが表示部2で表示されている例である。
図8(b)は、例えばパーソナルコンピュータ等のコンテンツソース機器71においてアクセスしているウェブサイトのブラウザ画面、或いは起動中のアプリケーション画面などとしての画像データを、表示装置1に送信させ、表示装置1においては通信部26で受信した画像データを表示部2で表示させている例である。
図8(c)は、例えばパーソナルコンピュータ等のコンテンツソース機器71において見ることのできる写真画像の一覧表示画像などを表示装置1に送信させ、表示装置1において通信部26で受信し、表示部2に表示させている例である。
例えばこのようにコンテンツソース機器71からの画像として、ビデオプレーヤ等のAV機器や、パーソナルコンピュータ等の情報処理装置からのデータを受信して画像表示を行うことで、ユーザは装着した表示装置1において、これらの画像を確認したり、各種の作業を行うことができる。
FIG. 8 shows an example in which an image transmitted from the external
FIG. 8A shows an example in which when the image content such as a moving image or a still image is received from the
FIG. 8B shows the
FIG. 8C shows, for example, a list display image of photographic images that can be viewed on the
For example, by receiving data from an AV device such as a video player or an information processing device such as a personal computer as an image from the
なお、図6はストレージ部25をソースとする画像、図8は通信部26をソースとする画像として述べたが、例えば図8で例に挙げた画像内容を、ストレージ部25からの再生画像と考えることもできるし、図6で例に挙げた画像内容を、外部機器から送信されて通信部26で受信した画像と考えることもできる。
6 is described as an image with the
図9,図10,図11は、上記のような各種ソース(撮像機能系、再生機能系、又は受信機能系)からの画像について、表示態様や画像データに関する処理を行う例である。
図9(a)は、表示部2がスルー状態とされている場合を示している。
システムコントローラ10が表示制御部14(表示画像処理部12、表示駆動部13)に対して分割表示を指示することにより、図9(b)のような画像を表示部2に表示させることができる。即ち表示部2の画面上を領域AR1、AR2に分割し、領域AR1はスルー状態又は通常画像表示とし、領域AR2には、例えばストレージ部25或いは通信部26をソースとする画像(例えば再生又は受信した映像コンテンツの画像など)を表示させている例である。
また図9(c)は他の分割表示の例を示しており、この場合は表示部2の画面上を領域AR1、AR2、AR3,AR4に分割するとともに、各領域には、所定時間間隔で画像の1フレームを抽出して表示させている。例えば表示画像処理部12に、画像データについて0.5秒間隔で1フレームを抽出させ、抽出したフレームの画像を領域AR1→AR2→AR3→AR4→AR1→AR2・・・と順に表示させていく。これは、いわゆるストロボ表示と呼ばれるような画像を表示部2で分割表示により実行した例である。
もちろん画面上の複数の領域で、それぞれ異なるソースからの画像を表示することも考えられる。
9, 10, and 11 are examples in which processing relating to display modes and image data is performed on images from various sources (imaging function system, playback function system, or reception function system) as described above.
FIG. 9A shows a case where the
When the
FIG. 9C shows another example of divided display. In this case, the screen of the
Of course, it is also conceivable to display images from different sources in a plurality of areas on the screen.
図10(a)は表示部2に、撮像機能系、再生機能系、又は受信機能系からの画像がそのまま通常のサイズで表示されている場合を示している。
このときにシステムコントローラ10が、表示制御部14を介して表示画像処理部12に対して画像拡大処理を指示することで、図10(b)のような拡大画像を表示部2に表示させることができる。
FIG. 10A shows a case where an image from the imaging function system, the playback function system, or the reception function system is displayed as it is in a normal size on the
At this time, the
図11(a)は表示部2に、撮像機能系、再生機能系、又は受信機能系からの画像が通常に表示されている場合を示している。
但しこの表示画像は、輝度の低い画像であって、ユーザにとって快適な見やすい画像ではないとする。
このような場合に、システムコントローラ10は表示制御部14(表示画像処理部12、表示駆動部13)に対して輝度アップ、コントラスト、シャープネス調整を指示することなどにより、図11(b)のように、よりはっきりした画像を表示部2に表示させることができる。
FIG. 11A shows a case where an image from the imaging function system, the reproduction function system, or the reception function system is normally displayed on the
However, it is assumed that this display image is a low-luminance image and is not a comfortable and easy-to-view image for the user.
In such a case, the
ここまで各種の表示例を示したが、これらは一例にすぎない。本例においては、撮像機能系、再生機能系、受信機能系というソースの選択や、撮像機能系や再生機能系の動作、さらには表示画像処理部12,表示駆動部13の各処理や動作を制御することで、多様な表示形態が実現される。
例えば、撮像機能系を表示画像ソースとする場合は、望遠表示、広角表示、望遠から広角までの間のズームインもしくはズームアウト表示、拡大表示、縮小表示、フレームレートの可変表示(高フレームレートや低フレームレートでの撮像など)、高輝度表示、低輝度表示、コントラスト可変表示、シャープネス可変表示、撮像感度上昇状態の表示、赤外線撮像感度上昇状態の表示、紫外線撮像感度上昇状態の表示、特定波長帯域をカットした画像の表示なども可能である。
また再生機能系、受信機能系を表示画像ソースとする場合は、高速再生、スロー再生、コマ送り再生などの変速再生による画像表示や、表示ページの切換、スクロール表示などパーソナルコンピュータ等における表示と同様の表示も可能である。
また表示画像処理部12の処理により、モザイク画像/輝度反転画像/ソフトフォーカス/画像内の一部の強調表示/画像全体の色の雰囲気の可変などの画像エフェクト表示なども想定される。
Various display examples have been shown so far, but these are only examples. In this example, the selection of a source such as an imaging function system, a playback function system, and a reception function system, the operation of the imaging function system and the playback function system, and each process and operation of the display
For example, when the imaging function system is used as the display image source, telephoto display, wide-angle display, zoom-in or zoom-out display from telephoto to wide-angle, enlarged display, reduced display, variable frame rate display (high frame rate or low display) Frame rate, etc.), high brightness display, low brightness display, variable contrast display, sharpness variable display, imaging sensitivity increased state display, infrared imaging sensitivity increased state display, ultraviolet imaging sensitivity increased state display, specific wavelength band It is also possible to display an image with a cut.
When the playback function system and reception function system are used as the display image source, the display is the same as the display on a personal computer or the like such as image display by variable speed playback such as high-speed playback, slow playback, frame-by-frame playback, display page switching, scroll display Can also be displayed.
Further, by the processing of the display
[4.ユーザ状況の判定]
上述したように本例の表示装置1は、使用者情報を取得するための構成として、視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22を有する。
[4. Judgment of user status]
As described above, the
視覚センサ19は、ユーザの視覚に関する情報を検出するものとするが、この視覚センサ19は、一例としては、例えば表示部2の近辺に配置されてユーザの眼部を撮像するようにされた撮像部により形成できる。そして該撮像部が撮像したユーザの眼部の画像をシステムコントローラ10が取り込み、ユーザ状況判定機能10aが画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出でき、これた基づいてユーザの状況や意志を判定できる。
或いは視覚センサ19は、表示部2の近辺に配置されてユーザの眼部に光を照射する発光部と、眼部からの反射光を受光する受光部により形成できる。例えば受光信号からユーザの水晶体の厚みを検知することでユーザの眼の焦点距離を検出することも可能である。
The
Alternatively, the
ユーザの視線方向を検出することで、システムコントローラ10は例えば表示部2に表示された画像においてユーザが注目している部分を判定できる。
またシステムコントローラ10は、ユーザの視線方向を、操作入力として認識することも可能である。例えばユーザが視線を左右に動かすことを、表示装置1に要求する所定の操作入力とするなどである。
ユーザの焦点距離を検出することで、ユーザが注目している光景が遠方か近傍かを判別でき、それに応じてズーム制御、拡大/縮小制御などを行うことも可能である。例えばユーザが遠くを見たときに望遠表示を行うなどである。
ユーザの瞳孔の開き具合を検出すれば、スルー状態であれば周囲の明るさの状態、またモニタ表示状態であれば表示している画像に対してユーザが感じているまぶしさ等を判定でき、それに応じて輝度調整、撮像感度調整などを行うことができる。
ユーザの眼底パターンの検出は、例えばユーザの個人認証に用いることができる。眼底パターンは各人に固有のパターンであるため、眼底パターンによって装着したユーザを判定し、そのユーザに適した制御を行うこと、或いは特定のユーザにのみモニタ表示の動作を実行できるようにすることなどの制御が可能である。
ユーザのまぶたの開閉動作を検出することで、ユーザが感じているまぶしさや眼の疲れを判定できる。また、まぶたの開閉を、ユーザの意識的な操作入力として認識することも可能である。例えばユーザが3回まばたきをすることを、所定の操作入力と判定するなどである。
By detecting the direction of the user's line of sight, the
The
By detecting the focal length of the user, it is possible to determine whether the scene that the user is paying attention to is far or near, and it is also possible to perform zoom control, enlargement / reduction control, and the like accordingly. For example, a telephoto display is performed when the user looks far away.
By detecting the degree of pupil opening of the user, it is possible to determine the brightness of the surroundings if it is a through state, the glare that the user feels for the displayed image if it is a monitor display state, Accordingly, brightness adjustment, imaging sensitivity adjustment, and the like can be performed.
The detection of the fundus pattern of the user can be used for personal authentication of the user, for example. Since the fundus pattern is unique to each person, it is possible to determine a user wearing the fundus pattern and perform control suitable for the user, or to perform a monitor display operation only for a specific user. Such control is possible.
By detecting the opening / closing operation of the user's eyelids, it is possible to determine the user's feeling of glare or eye fatigue. It is also possible to recognize opening / closing of the eyelid as a user's conscious operation input. For example, it is determined that the user blinks three times as a predetermined operation input.
加速度センサ20、及びジャイロ21は、ユーザの動きに応じた信号を出力する。例えば加速度センサ20は直線方向の動きを検出し、ジャイロ21により回転系の動きや振動を検出する場合に適している。
加速度センサ20やジャイロ21の配置位置にもよるが、加速度センサ20やジャイロ21によって、ユーザの身体全体もしくは身体の各部の動きを検知できる。
例えば図1のような眼鏡型の表示装置1の内部に取り付けられた場合、つまり加速度センサ20及びジャイロ21がユーザの頭部の動きを検出するものとされた場合は、加速度センサ20の情報は、ユーザの頭部或いは全身の動きとしての加速度情報となり、またジャイロ21はユーザの頭部或いは全身の動きとしての角速度や振動の情報となる。
これによって、ユーザが首から頭部を動かす挙動を検知できる。例えば上方を向いている状態や下方を向いている状態を判定できる。下方を向いているときとは、ユーザが読書など近傍を見ていると判断することも可能である。逆に上方を向いているときは、遠方を見ていると判断することもできる。
またシステムコントローラ10はユーザの首から頭部を動かす挙動を検出したら、それをユーザの意識的な操作と認識することもできる。例えば左に2回首を振ったら、それが所定の操作入力とするなどである。
また加速度センサ20及びジャイロ21によっては、ユーザが静止状態(非歩行状態)であるか、歩行状態であるか、走行状態であるかなどの判断も可能である。また立っている状態から座った場合、或いは立ち上がった場合などの検出も可能である。
また、加速度センサ20やジャイロ21が、頭部に装着する装着ユニットとは別体に設けられ、腕や足に取り付けられるようにすれば、腕のみの挙動、足のみの挙動も検知できる。
The
Although depending on the arrangement positions of the
For example, when it is attached inside the eyeglass-
Thereby, it is possible to detect the behavior of the user moving the head from the neck. For example, it is possible to determine a state facing upward or a state facing downward. When facing down, it can be determined that the user is looking in the vicinity, such as reading. Conversely, when looking upward, it can be determined that the user is looking far away.
Further, when the
Further, depending on the
Further, if the
生体センサ22は、ユーザの生体情報として例えば心拍情報(心拍数)、脈拍情報(脈拍数)、発汗情報、脳波情報(例えばα波、β波、θ波、δ波の情報)、又は皮膚電気反応、体温、血圧、呼吸活動(例えば呼吸の速さ、深さ、換気量など)等を検出するが、これらの情報からシステムコントローラ10は、ユーザが緊張状態や興奮状態にあること、或いは感情的に穏やかな状態にあること、或いは快適な状態か不快な状態にあることなどを判定できる。
また表示装置1をユーザが装着したことの検知も、生体情報により可能である。例えばシステムコントローラ10は、ユーザが表示装置1を装着していない時には生体情報検知のみをおこなうスタンバイ状態に制御し、生体情報によりユーザが表示装置1を装着したことを検知したら、電源オン状態とすることや、逆にユーザが表示装置1の装着を外したらスタンバイ状態に戻すなどの制御も可能である。
さらに生体センサ22による検出情報は、ユーザの個人認証(装着者個人の識別)にも利用できる。
なお生体センサ22は、例えば眼鏡型の表示装置1の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部において、上記情報を検知できるようにしてもよいし、表示装置1の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
The
Further, it is possible to detect that the user wears the
Furthermore, the detection information by the
The
[5.各種動作例]
本実施の形態の表示装置1は、以上のように視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22から検出されるユーザの情報に応じて、システムコントローラ10が表示動作に関する制御することで、表示部2においてユーザの意志や状況に応じた表示を実行し、これによってユーザに好適な画像を提供できる。
このためのシステムコントローラ10の制御に基づく各種動作例を説明していく。
[5. Examples of various operations]
In the
Various operation examples based on the control of the
図12は、システムコントローラ10の動作制御機能10bとしての制御処理を示している。
ステップF101は、システムコントローラ10が表示制御部14に対して表示部2をスルー状態とする制御処理を示している。例えば表示装置1が電源オンとされた初期段階では、システムコントローラ10はステップF101で表示部2をスルー状態に制御する。
表示部2をスルー状態にしている期間は、システムコントローラ10はステップF102で表示開始のトリガが発生したか否かを確認している。ここでは表示開始トリガの発生とは、ユーザ状況判定機能10aによって判定されたユーザの意志又は状況により、表示部2での表示を開始させるとシステムコントローラ10自身が判断することを意味している。ユーザの操作、ユーザの意識的な動作(操作と認識される動作)、又はユーザの無意識な動作や状態(ユーザ個人の認識も含む)によって、システムコントローラ10は表示開始トリガの有無を判断する。具体例は後述する。
FIG. 12 shows a control process as the
Step F101 indicates a control process in which the
During the period when the
表示開始トリガがあったと判別した場合は、システムコントローラ10は処理をステップF103に進め、表示開始制御を行う。即ち表示制御部14に指示して、表示画像処理部12及び表示駆動部13に、供給されるデータを通常撮像画像の態様で表示部2に表示させる動作を実行させる。
表示画像処理部12には、画像入出力コントロール部27を介して画像データが供給されるが、例えば図3又は図4のように複数の画像データソースを備える場合は、この時点では、撮像機能系(撮像部3、撮像信号処理部15)、再生機能系(ストレージ部25)、受信機能系(通信部26)のソースのうちで内でデフォルト設定で選択されているソースからの画像データが、表示画像処理部12に供給されるようにすればよい。例えば撮像機能系をデフォルト設定のソースであるとすると、ステップF103の表示開始制御の際に、システムコントローラ10は撮像制御部11に撮像開始を指示して撮像部3及び撮像信号処理部15の通常撮像動作を実行させ、その撮像信号としての画像データを、画像入出力コントロール部27を介して表示画像処理部12に供給させる。この場合、表示部2では例えば図5(a)のスルー状態から例えば図5(b)の通常撮像画像のモニタ表示状態に切り換えられることになる。
また、デフォルト設定のソースがストレージ部25であれば、表示開始制御の際にストレージ部25の制御も行い、コンテンツの再生やコンテンツ選択等のメニュー画面を表示部2に表示させてもよいし、デフォルト設定のソースが通信部26であれば、表示開始制御の際に通信部26の動作の制御も行い、通信用の画面や、外部機器からの受信データによる表示を表示部2に実行させてもよい。
もちろん、ソースが1つの構成の場合は、そのソースからの画像データが表示画像処理部12に供給されるようにすればよい。
さらには、ステップF103での表示開始制御の際には、画像ソースからの画像データは供給させず、初期画面としてメニュー画面やソース選択画面等を表示部2に表示させるような制御を行うことも考えられる。
If it is determined that there has been a display start trigger, the
The display
If the default setting source is the
Of course, when the source has one configuration, the image data from the source may be supplied to the display
Furthermore, in the display start control in step F103, image data from the image source is not supplied, and control such that a menu screen, a source selection screen, or the like is displayed on the
なお、この図12の処理では音声出力部5からの音声出力動作については特に述べないが、表示部2で表示動作が実行される際には、システムコントローラ10は、表示画像と同一のソースからの音声データに基づく音声出力が実行されるよに音声入出力コントロール部28及び音声信号処理部16を制御するものとする。
In the process of FIG. 12, the audio output operation from the
表示部2で或るソースからの画像の表示を行っている期間は、システムコントローラ10は、ステップF104で表示制御トリガが発生したか否かを監視し、またステップF105でソース切換トリガが発生したか否かを監視し、またステップF106で表示終了トリガが発生したか否かを監視する。
表示制御トリガの発生とは、ユーザ状況判定機能10aによって判定されたユーザの意志又は状況により、表示動作における表示画像態様や表示する画像データに関する処理などについての変更を行うとシステムコントローラ10自身が判断することを意味している。
またソース切換トリガの発生とは、例えば図3,図4のように表示装置1に複数のソースが設けられている場合に、ユーザ状況判定機能10aによって判定されたユーザの意志又は状況により、表示する画像データのソースの切換を行うとシステムコントローラ10自身が判断することを意味している。
また表示終了トリガの発生とは、ユーザ状況判定機能10aによって判定されたユーザの意志又は状況により、表示部2での表示を終了してスルー状態への切り換えを行うとシステムコントローラ10自身が判断することを意味している。
これらのトリガ発生は、ユーザの意識的な動作(操作と認識される動作)、又はユーザの無意識な動作や状態(ユーザの身体状況やユーザ個人の認識など)によって、システムコントローラ10が判断するが、その判断手法やトリガに応じた制御内容についても、具体例は後述する。
During the period when the
The occurrence of the display control trigger is determined by the
The source switching trigger is generated when the
The occurrence of the display end trigger is determined by the
The occurrence of these triggers is determined by the
表示制御トリガ発生と判断した場合は、システムコントローラ10は処理をステップF104からF107に進め、画像の表示動作に関しての制御を行う。つまり表示制御部14に所定の指示を与え、その時点のユーザの意志又は状況に応じた態様の表示を表示部2において実行させる。その時点で選択されているソースによっては、システムコントローラ10は撮像機能系の制御、ストレージ部25に対する動作制御、通信部26に対する動作制御を行う場合もある。
ステップF107で表示動作制御を行った後も、システムコントローラ10はステップF104,F105,F106のトリガ発生の監視を行う。
If it is determined that a display control trigger has occurred, the
Even after the display operation control is performed in step F107, the
ソース切換トリガ発生と判断した場合は、システムコントローラ10は処理をステップF105からF108に進め、ソース切換制御を行う。この場合、切換前後のソースに対する動作制御や、新たなソースからの画像データ/音声データが、表示画像処理部12/音声信号処理部16に供給されるように画像入出力コントロール部27/音声入出力コントロール部28の制御を行う。
このソース切換制御により、例えば表示部2は、撮像部3で撮像された画像が表示されていた状態から、例えばストレージ部25での再生画像が表示される状態等に切り換えられることになる。
ステップF108でソース切換制御を行った後も、システムコントローラ10はステップF104,F105,F106のトリガ発生の監視を行う。
If it is determined that the source switching trigger has occurred, the
By this source switching control, for example, the
Even after the source switching control is performed in step F108, the
表示終了トリガ発生と判断した場合は、システムコントローラ10は処理をステップF106からF101に戻し、表示制御部14に対して表示部2をスルーとする指示を行う。またその時点で選択されていた画像ソースに対して画像供給動作の終了を指示する。
If it is determined that a display end trigger has occurred, the
ユーザが表示装置1を装着して電源オンとしている期間は、システムコントローラ10の動作制御機能10bは、例えばこの図12のような制御処理を行うことになる。
そしてこの処理においては、表示開始トリガの判断による表示開始制御、表示制御トリガの判断による表示態様制御、ソース切換トリガの判断によるソース切換制御、及び表示終了トリガの判断による表示部2の表示を停止させてスルー状態とする制御を行うが、これらのトリガ判断と制御内容の具体例について、図13以降で説明していく。
During the period when the user wears the
In this process, the display start control based on the display start trigger determination, the display mode control based on the display control trigger determination, the source switching control based on the source switch trigger determination, and the display on the
図13から図19は、システムコントローラ10のユーザ状況判定機能10aとしての処理例を示しており、これらは動作制御機能10bによる上記図12の処理と並列的に実行されているとする。なお並列的な処理とは、例えばシステムコントローラ10が図12の処理を実行している期間中に、図13〜図19のような検知処理が定期的に割込処理として行われればよいものである。これら図13〜図19のような処理のプログラムは、図12の処理を実行するプログラムに組み込まれていても良いし、定期的に呼び出される別のプログラムとされても良い。つまりプログラムの形態が限定されるものではない。
FIGS. 13 to 19 show processing examples as the user
まず図13で、スルー状態から表示状態に切り換える、表示開始トリガの判断についての例を述べる。
図13(a)(b)は、ユーザの挙動をモニタ表示開始の操作として検知する例である。
図13(a)のステップF200では、システムコントローラ10が加速度センサ20、又はジャイロ21からの検出情報(加速度信号、角速度信号)を監視する処理を示している。
例えば首を縦に2回振る、左右に1往復振る、首を1周回す・・など、特定の動作を、ユーザが表示開始を求める操作であると設定されているとする。システムコントローラ10は、加速度センサ20又はジャイロ21(又はその両方)からの検出情報により、そのような表示開始の意志を示す特定の動作に相当する動作があったと判別した場合は、処理をステップF201からF202に進め、表示開始トリガ発生と判別する。
このようにステップF202で表示開始トリガ発生と判別することにより、上記図12の処理はステップF102からF103に進むことになり、システムコントローラ10は表示部2において画像表示を開始する制御を実行することになる。
なお加速度センサ20又はジャイロ21からの情報で検出する、モニタ表示を求める操作となるユーザの特定の挙動としては、例えばジャンプする、手を振る、腕をゆらす、足をゆらすなど、他にも各種考えられる。
First, referring to FIG. 13, an example of determining a display start trigger for switching from the through state to the display state will be described.
FIGS. 13A and 13B are examples in which the user's behavior is detected as a monitor display start operation.
Step F200 in FIG. 13A shows a process in which the
For example, it is assumed that a specific operation such as shaking the neck twice vertically, shaking left and right one time, turning the neck once, etc. is an operation for the user to start display. If the
Thus, by determining that the display start trigger is generated in step F202, the processing of FIG. 12 proceeds from step F102 to F103, and the
The user's specific behavior that is detected by the information from the
図13(b)は、視覚センサ19の情報に基づいて表示開始トリガを判別する例である。
システムコントローラ10はステップF210で、視覚センサ19からの情報を解析する。例えば視覚センサ19としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析する。
例えばまばたきを3回連続して行うという特定の動作を、ユーザが表示開始を求める操作であると設定されているとすると、システムコントローラ10は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ10は、ユーザがまばたきを3回連続して行ったことを検知したら、処理をステップF211からF212に進め、表示開始トリガ発生と判別する。
ステップF212で表示開始トリガ発生と判別することにより、上記図12の処理はステップF102からF103に進むことになり、システムコントローラ10は表示部2において画像表示を開始する制御を実行することになる。
なお視覚センサ19からの情報で検出する、モニタ表示を求める操作となるユーザの特定の挙動としては、例えば眼球を回す、眼球を左右又は上下に2往復させるなど、他にも各種考えられる。
FIG. 13B is an example of determining a display start trigger based on information from the
In step F210, the
For example, if it is set that the specific operation of performing blinking three times in succession is an operation in which the user requests display start, the
If the
When it is determined in step F212 that a display start trigger has occurred, the process in FIG. 12 proceeds from step F102 to F103, and the
In addition, as the specific behavior of the user, which is detected by information from the
図13(c)は、ユーザが表示装置1を装着すること自体を、表示開始トリガとする例である。
システムコントローラ10はステップF230で、生体センサ22からの脳波、心拍数、皮膚電気反応などの情報をチェックする。
そしてステップF231でシステムコントローラ10は、生体センサ22からの情報に基づいて、ユーザが表示装置1を装着したか否かを判断する。生体センサ22により人体からの情報が得られる状態になったか否かによりユーザの装着を検知できる。
システムコントローラ10はユーザが表示装置1を装着したと判別した場合は、処理をステップF231からF232に進め、表示開始トリガ発生と判別する。
このようにステップF232で表示開始トリガ発生と判別することにより、上記図12のステップF103で、システムコントローラ10は表示開始制御を行うことになる。
このように例えば生体センサ22の反応により、ユーザによる装着を検出できるため、生体センサ22による生体反応として、例えば脈拍、脳波、皮膚反応等の検出が開始されたことを撮像開始トリガ発生とする。これにより、ユーザが装着したら表示を開始するという動作制御を実行できる。
FIG. 13C illustrates an example in which the user starts wearing the
In step F230, the
In step F <b> 231, the
If the
Thus, by determining that the display start trigger is generated in step F232, the
Thus, for example, since the user's wearing can be detected by the reaction of the
なお、不特定のユーザの装着ではなく、特定のユーザが装着したら、表示を開始するという制御ことも考えられる。上述のように視覚センサ19で検出する眼底パターンや生体センサ22による検出信号によっては、ユーザの個人を識別できる。例えば予め使用するユーザについて眼底パターンや生体情報を登録しておくことで、システムコントローラ10は、特定のユーザが装着しているか否かを判別することが可能である。
従って、システムコントローラ10は、表示装置1が或るユーザに装着された際に個人認証を行い、特定のユーザを認識した場合に、それを表示開始トリガと判別し、表示開始制御を行うこともできる。
It is also conceivable that the display is started when a specific user wears instead of an unspecified user. As described above, the individual of the user can be identified by the fundus pattern detected by the
Accordingly, the
なお、ユーザの無意識的な挙動や身体状況によって撮像開始トリガを判別する処理として他にも各種想定される。
例えば視覚センサ19からの情報で、ユーザの視線が急に動いた場合に撮像開始トリガ発生と判断するなど、視覚センサ19の情報を用いたり、また音声入力部6からの入力音声に基づいて表示開始トリガ発生を判断することも考えられる。
Various other processes are conceivable for determining the imaging start trigger based on the user's unconscious behavior and physical condition.
For example, information from the
なお、以上のような表示開始トリガに応じて画像を表示部2に表示させる際には、図9(b)のように表示部2の画面上でスルー状態の領域AR1を残し、一部の領域AR2において画像表示を行うようにしてもよい。
また図12には示していないが、上記図13(c)のようなユーザによる装着検出を電源オンのトリガとし、システムコントローラ10はユーザの装着を検知したら表示装置1の電源をオンとするようにしてもよい。
この場合、逆に、ユーザが表示装置1を取り外したことを検知したら、電源オフとすればよい。
When an image is displayed on the
Although not shown in FIG. 12, the user's wearing detection as in FIG. 13C is used as a power-on trigger, and the
In this case, on the contrary, when it is detected that the user has removed the
次に、図12のステップF104としての、表示制御トリガ発生の判断に関する処理例を図14から図17で説明する。
図14は、ユーザの視線の動きにより表示画像のページや選択部分の進み/戻しの制御を行う例である。
システムコントローラ10は図14のステップF300で、視覚センサ19からの情報を解析する。例えば視覚センサ19としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析する。
ここで、システムコントローラ10は、ユーザの視線方向が左方に移動したことを検知したら、ステップF301からF303に進め、画像戻しのトリガ発生と判別する。
またシステムコントローラ10は、ユーザの視線方向が右方に移動したことを検知したら、ステップF302からF304に進め、画像進みのトリガ発生と判別する。
これらの場合、上記図12の処理はステップF104からF107に進むことになり、システムコントローラ10は表示画像の進み/戻しの制御を行う。例えばストレージ部25をソースとし、その再生画像として図6(c)や図8(c)のような画像を表示させているときに、そのページ又は選択部分の進み/戻しが行われるように表示画像処理部12やストレージ部25の制御を行う。
Next, an example of processing relating to the determination of display control trigger generation as step F104 in FIG. 12 will be described with reference to FIGS.
FIG. 14 is an example in which the advance / return control of the page of the display image and the selected portion is performed by the movement of the user's line of sight.
The
When the
When the
In these cases, the process of FIG. 12 proceeds from step F104 to F107, and the
ここでは視線方向の左右の動きを検知したが、例えば視線方向の上下の動きを検知したときに、画面スクロールのトリガ発生と判別し、表示画面のスクロール処理を実行させるようにすることも好適である。 Here, left and right movements in the line-of-sight direction are detected. However, for example, when vertical movements in the line-of-sight direction are detected, it is also determined that a screen scroll trigger has occurred, and display screen scroll processing is preferably executed. is there.
図15は、ユーザの視覚としての快、不快の感覚に応じた制御の例である。
システムコントローラ10は図14のステップF400で、視覚センサ19からの情報を解析し、ユーザの眼の瞳孔の開き具合やまばたきの状況(単位時間あたりのまばたき回数など)を検出する。
またステップF401で、生体センサ22からの脳波、心拍数、発汗量、血圧などの情報をチェックする。
システムコントローラ10は、これらの視覚センサ19や生体センサ22からの情報に基づいて、表示部2の表示画像に対してユーザが快適な状態であるか不快な状態であるか否かを判断する。
そしてシステムコントローラ10は、ユーザの画像感知状況が快適ではないと判断した場合は、処理をステップF402からF403に進め、画像の調整制御のトリガ発生と判別する。その場合ステップF404で、ユーザの状況に応じて快適と考えられる調整値、例えば表示輝度、コントラスト、シャープネス等の調整値を算出する。
このステップF403,F404の処理により、システムコントローラ10の図12の処理はステップF104からF107に進むことになり、この場合は表示画像処理部12に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部2での表示画像の画質が調整され、ユーザにとって快適な表示画像となる。
例えばユーザの撮像機能系からの撮像画像を表示しているときの周囲の明るさや、ユーザの眼の疲れなどによって、ユーザの視覚感知状況が不快な状態になったときに、このような処理が行われることで、快適な視覚状況を提供できる。例えば図11(a)のように暗くて見にくい画像が表示されている場合に、図11(b)のようなはっきり見えるような画像を提供したり、また眼が疲れてきたような場合は、柔らかな画質の画像とすることなどが可能となる。
FIG. 15 is an example of control according to the user's sense of pleasure and discomfort.
In step F400 of FIG. 14, the
In step F401, information such as an electroencephalogram, a heart rate, a sweat rate, and a blood pressure from the
The
If the
Due to the processing of steps F403 and F404, the processing of FIG. 12 of the
For example, when the user's visual sensing situation becomes uncomfortable due to ambient brightness when displaying a captured image from the user's imaging function system, fatigue of the user's eyes, or the like, such processing is performed. By doing so, a comfortable visual situation can be provided. For example, when an image that is dark and difficult to see is displayed as shown in FIG. 11A, an image that clearly appears as shown in FIG. It is possible to obtain a soft image quality.
図16はユーザの首(頭部)の動きを操作とみなす処理である。
システムコントローラ10はステップF500で、加速度センサ20、ジャイロ21からの検出情報(加速度信号、角速度信号)を監視し、ステップF501でユーザの頭部の動きを判定する。例えばここでは、後ろに2回頭部を傾ける動作があったか、又は前に2回頭部を傾ける動作があったか、又は2回左に首を振る動作があったかを判定する。
後ろに2回頭部を傾ける動作を検出した場合、システムコントローラ10は処理をステップF502からF505に進め、画像拡大のトリガ発生と判別する。
この場合、システムコントローラ10の図12の処理はステップF104からF107に進むことになり、表示画像処理部12に画像拡大処理を指示する。これにより表示部2では、例えば図10(b)のような拡大画像が表示されることになる。
また前に2回頭部を傾ける動作を検出したら、システムコントローラ10は処理をステップF503からF506に進め、画像縮小のトリガ発生と判別する。この場合も、システムコントローラ10の図12の処理はステップF104からF107に進むことになり、表示画像処理部12にに画像縮小処理を指示する。これにより表示部2では、縮小画像が表示されることになる。
また2回左に首を振る動作を検出したら、システムコントローラ10は処理をステップF504からF507に進め、拡大/縮小倍率をリセットするというトリガ発生と判別する。この場合も、システムコントローラ10の図12の処理はステップF104からF107に進むことになり、表示画像処理部12に拡大/縮小処理をリセットさせる。これにより表示部2では、標準倍率に戻された画像が表示されることになる。
FIG. 16 shows a process in which the movement of the user's neck (head) is regarded as an operation.
In step F500, the
When detecting an action of tilting the head twice, the
In this case, the processing of FIG. 12 of the
In addition, when detecting an operation of tilting the head twice, the
If the
図17は、視覚センサ19の情報により表示画面上での操作入力のトリガを判別する例である。
システムコントローラ10は図17のステップF600で、視覚センサ19からの情報を解析する。例えば視覚センサ19としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析し、表示部2を見ているユーザの視線移動やまばたきを検出する。
システムコントローラ10は、ユーザの視線移動を検知したら、ステップF601からF603に進め、表示画面上のカーソル(画面上のポインタ)の移動のトリガ発生と判別する。そしてステップF604で、視線の移動方向と移動量から、画面上でのカーソル移動方向と移動量を算出する。
この場合、システムコントローラ10は図12のステップF107で、表示画像処理部12にカーソル移動を指示する。例えば図8(b)(c)のような画像を表示しているときに、その表示画面上でカーソルを移動させる。
また、システムコントローラ10は、ユーザが2回連続してまばたきを行ったことを検知したら、ステップF602からF605に進め、クリック操作のトリガ発生と判別する。この場合、システムコントローラ10は図12のステップF107で、クリック操作に応じた制御処理を行うことになる。例えばストレージ部25での再生画像に関しての何らかの操作であれば、操作に応じたストレージ部25の再生動作の制御を行い、また通信部26で受信している画像上でのクリック操作であれば、その際のカーソル位置やクリック操作の情報を外部機器に送信するなどの処理を行う。
このような処理により、ユーザの眼の動作を、コンピュータシステムにおけるマウスの操作と同等に扱うことができる。また、図6(b)のようなゲーム画像を表示しているときに、ユーザの視線方向やまばたきをゲームに対する操作として扱うこともできる。
FIG. 17 is an example in which an operation input trigger on the display screen is determined based on information from the
The
When the
In this case, the
If the
By such processing, the operation of the user's eyes can be handled in the same way as the mouse operation in the computer system. In addition, when a game image as shown in FIG. 6B is displayed, the user's line-of-sight direction and blinking can be handled as an operation for the game.
ここまでの図14,図15,図16、図17の処理として、ユーザの意識的な動作や無意識な動作又は身体状況に応じて、表示画像の表示態様、或いは表示する画像データの処理、或いは表示画面上での操作などの制御を行う例を挙げたが、これらは一例にすぎず、他にも表示制御トリガの判別及び制御例として非常に多様な例が考えられる。
表示制御トリガとしては、視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22の各情報から各種のユーザの挙動や身体状況を検知し、所定の条件が満たされた場合にトリガ発生と判断すればよい。
14, 15, 16, and 17 so far, the display mode of the display image or the processing of the image data to be displayed according to the user's conscious movement, unconscious movement, or physical condition, or Although examples of performing operations such as operations on the display screen have been described, these are only examples, and there are other various examples of display control trigger discrimination and control examples.
As the display control trigger, various user behaviors and physical conditions are detected from the information of the
そして多様な条件において表示制御トリガ発生と判断した場合の制御例として、表示画像処理部12に対する制御としては、拡大/縮小の制御、輝度、コントラスト、シャープネス等の調整制御、モザイク画像/輝度反転画像/ソフトフォーカスなどの画像エフェクト表示、更には図9のような画面分割やストロボ表示などの制御を、ユーザの挙動や身体状況に応じて実行できる。
また撮像機能系をソースとして撮像画像を表示部2に表示している場合は、撮像部3,撮像信号処理部15の動作制御として、望遠/広角のズーム処理、撮像感度の制御、撮像フレームレートの切換、赤外線撮像感度や紫外線撮像感度の変更制御などを行うことが考えられる。
またストレージ部25での再生画像や通信部26での受信画像を表示部2に表示している場合は、表示制御トリガを、早送り/早戻し、頭出し、コマ送り、スロー、一時停止などの変速再生制御を行ったり、ページ送り、ページスクロール、一覧表示上での選択部分の送り、カーソル移動、決定操作、ゲーム操作などのトリガとして扱い、ストレージ部25や通信部26に所要の動作を実行させるように制御することが想定される。
即ち、表示制御トリガの発生判断の条件と、それに応じた制御内容としては、これらの中でのあらゆる組み合わせが考えられる。
As an example of control when it is determined that a display control trigger is generated under various conditions, control for the display
When a captured image is displayed on the
In addition, when a playback image in the
That is, any combination of the conditions for determining the occurrence of the display control trigger and the control contents corresponding to the conditions can be considered.
また、以上のように表示制御のトリガに応じて表示部2の表示を切り換える際には、図9(b)のように表示部2の画面上でスルー状態もしくは通常撮像画像の領域AR1を残し、一部の領域AR2において、異なる態様の画像の表示を行うようにしてもよい。もちろん逆に広い領域AR1において、画像制御トリガに応じた画像を表示してもよいし、画面上を等分割して、通常撮像画像と、画像制御トリガに応じた画像を表示してもよい。
Further, when switching the display of the
ところで以上の図14〜図17では表示制御トリガの発生判断の例と、それに応じた制御の例について述べたが、図12のステップF105で判断するソース切換トリガについても、同様に各種の例が想定される。
即ち視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22の各情報から各種のユーザの意識的な挙動や無意識の動作や身体状況を検知し、所定の条件が満たされた場合にソース切換トリガ発生と判断すればよい。
そして図12のステップF108では、そのソース切換トリガ発生に応じて、システムコントローラ10は表示画像処理部12に供給する画像データのソースを切り換える制御を行う。
In the above-described FIGS. 14 to 17 , the example of the generation determination of the display control trigger and the example of the control according to the example have been described. However, various examples of the source switching trigger determined in step F <b> 105 in FIG. is assumed.
That is, conscious behaviors, unconscious actions and physical conditions of various users are detected from the information of the
In step F108 of FIG. 12, the
続いて、図12のステップF106として検出する表示終了トリガ、つまり画像表示状態からスルー状態に切り換えるトリガについての例を図18,図19で述べる。
図18(a)は、ユーザが意識的な挙動により表示を終了させる処理例である。
図18(a)において、システムコントローラ10はステップF800で、加速度センサ20、ジャイロ21からの検出情報を監視し、ユーザの首の動きや全身の動作などを判別する。
そしてシステムコントローラ10は、ユーザがモニタ表示の終了を指示する特定の挙動を行ったことを検知したら、処理をステップF801からF802に進め、表示終了トリガ発生と判断する。
このステップF802の処理により、システムコントローラ10の図12の処理はステップF106からF101に進むことになり、この場合は表示制御部14にスルー状態への切換を指示する。これにより表示部2は図5(a)のようなスルー状態に戻る。
Next, an example of a display end trigger detected as step F106 in FIG. 12, that is, a trigger for switching from the image display state to the through state will be described with reference to FIGS.
FIG. 18A shows a processing example in which the display is terminated by the user's conscious behavior.
In FIG. 18A, in step F800, the
When the
Due to the processing in step F802, the processing in FIG. 12 of the
図18(b)も、ユーザの意識的な挙動によりモニタ表示を終了させる処理例である。
システムコントローラ10は図18(b)のステップF810で、視覚センサ19からの情報を解析する。例えばまばたきを3回連続して行うという特定の動作を、ユーザが表示終了を求める操作であると設定されているとすると、システムコントローラ10は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ10は、ユーザがまばたきを3回連続して行ったことを検知したら、処理をステップF811からF812に進め、表示終了トリガ発生と判別する。
このステップF812の処理により、システムコントローラ10の図12の処理はステップF106からF101に進み、表示制御部14にスルー状態への切換を指示する。これにより表示部2は図5(a)のようなスルー状態に戻る。
FIG. 18B is also a processing example in which the monitor display is terminated by the user's conscious behavior.
The
If the
By the process of step F812, the process of FIG. 12 of the
続いて、図12のステップF106として検出する表示終了トリガ、つまり画像表示状態からスルー状態に切り換えるトリガについての例を図18,図19で述べる。
図18(a)は、ユーザが意識的な挙動により表示を終了させる処理例である。
図18(a)において、システムコントローラ10はステップF800で、加速度センサ20、ジャイロ21からの検出情報を監視し、ユーザの首の動きや全身の動作などを判別する。
そしてシステムコントローラ10は、ユーザがモニタ表示の終了を指示する特定の挙動を行ったことを検知したら、処理をステップF801からF802に進め、表示終了トリガ発生と判断する。
このステップF802の処理により、システムコントローラ10の図12の処理はステップF106からF101に進むことになり、この場合は表示制御部14にスルー状態への切換を指示する。これにより表示部2は図3(a)のようなスルー状態に戻る。
Next, an example of a display end trigger detected as step F106 in FIG. 12, that is, a trigger for switching from the image display state to the through state will be described with reference to FIGS.
FIG. 18A shows a processing example in which the display is terminated by the user's conscious behavior.
In FIG. 18A, in step F800, the
When the
Due to the processing in step F802, the processing in FIG. 12 of the
図18(b)も、ユーザの意識的な挙動によりモニタ表示を終了させる処理例である。
システムコントローラ10は図18(b)のステップF810で、視覚センサ19からの情報を解析する。例えばまばたきを3回連続して行うという特定の動作を、ユーザが表示終了を求める操作であると設定されているとすると、システムコントローラ10は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ10は、ユーザがまばたきを3回連続して行ったことを検知したら、処理をステップF811からF812に進め、表示終了トリガ発生と判別する。
このステップF812の処理により、システムコントローラ10の図12の処理はステップF106からF101に進み、表示制御部14にスルー状態への切換を指示する。これにより表示部2は図3(a)のようなスルー状態に戻る。
FIG. 18B is also a processing example in which the monitor display is terminated by the user's conscious behavior.
The
If the
By the process of step F812, the process of FIG. 12 of the
この図18(a)(b)のような処理により、ユーザがスルー状態を求めた場合に、スルー状態となるという、ユーザの意志に応じた制御が実行される。もちろん、スルー状態に戻すというユーザの意志を表す挙動は、他にも各種考えられる。 By the processing as shown in FIGS. 18A and 18B, when the user obtains the through state, the control according to the user's intention to enter the through state is executed. Of course, there are various other behaviors representing the user's intention to return to the through state.
図19(a)は、ユーザの動作(操作として意識しない動作)に応じて自動的にスルー状態に戻す処理例である。
図19(a)において、システムコントローラ10はステップF900で、加速度センサ20、ジャイロ21からの検出情報を監視し、ユーザの全身の動作を判別する。特にユーザが静止状態を保っているか、或いは歩行状態又は走行状態となったかを検知する。
そしてシステムコントローラ10は、ユーザが歩行又は走行を開始したと判断した場合は、処理をステップF901からF902に進め、表示終了トリガ発生と判断する。
このステップF902の処理により、システムコントローラ10の図12の処理はステップF106からF101に進むことになり、この場合は表示制御部14にスルー状態への切換を指示する。これにより表示部2は図5(a)のようなスルー状態に戻る。
FIG. 19A shows an example of processing for automatically returning to the through state according to the user's operation (operation not conscious of the operation).
In FIG. 19A, in step F900, the
If the
Due to the processing of step F902, the processing of FIG. 12 of the
例えばこのように歩行又は走行状態になったら、スルー状態にもどすことは、ユーザに対する安全性を確保する意味で好適である。
なお、ここではスルー状態に戻すとして説明したが、例えば歩行又は走行状態においては、スルー状態と同様のモニタ表示として、図5(b)のような通常撮像画像の表示に切り換えるようにしてもよい。
For example, returning to the through state when the vehicle is in the walking or running state in this way is preferable in terms of ensuring safety for the user.
In addition, although it demonstrated as returning to a through state here, you may make it switch to the display of a normal captured image like FIG.5 (b) as a monitor display similar to a through state, for example in a walk or running state . .
図19(b)は、ユーザの身体状況に応じて自動的にスルー状態に戻す処理例である。
図19(b)において、システムコントローラ10はステップF910で、生体センサ22からの情報、例えば脳波、心拍数、発汗量、血圧などの情報をチェックする。
またステップF911で視覚センサ19からの情報を解析し、ユーザの眼の瞳孔の開き具合やまばたきの状況(単位時間あたりのまばたき回数など)を検出する。
システムコントローラ10は、生体センサ22や視覚センサ19からの情報に基づいて、ユーザの眼が疲労している状態にあるか否かを判断する。
そして、ユーザの眼が疲労していると判断した場合は、ステップF912からF913に進み、表示終了トリガ発生と判断する。
このステップF913の処理により、システムコントローラ10の図12の処理はステップF106からF101に進むことになり、この場合は表示制御部14にスルー状態への切換を指示する。つまり赤外線感度上昇撮像のモニタ表示が終了され、表示部2はスルー状態に戻る。
このようにユーザの眼の疲れなどの身体状況に応じて表示部2の表示を終了させることで、ユーザの身体に負担をかけないような表示装置1の使用が実現できる。
FIG. 19B shows an example of processing for automatically returning to the through state according to the physical condition of the user.
In FIG. 19B, in step F910, the
In step F911, information from the
The
If it is determined that the user's eyes are tired, the process advances from step F912 to F913 to determine that a display end trigger has occurred.
Due to the processing of step F913, the processing of FIG. 12 of the
In this way, by terminating the display on the
[6.実施の形態の効果、変形例及び拡張例]
以上、実施の形態を説明してきたが、実施の形態によれば、眼鏡型もしくは頭部装着型の装着ユニットに配置された表示部2により、使用者の目の直前で画像を表示させるが、この場合に、ユーザの動作又は身体の状況に関する情報に基づいてユーザの意志又は状況を判定して表示動作に関する制御を行うことで、ユーザに操作負担をかけずに、ユーザの意志又は状況に応じた的確な表示動作が実行される。これにより表示装置1は、ユーザにとって使用性が良く、また多様な視界光景を提供できる装置となる。
また表示部2は、透過率制御により透明又は半透明のスルー状態とできることで、装着ユニットにより装着されたままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本例の表示装置1の利点を有効に活用できる。
[6. Effect, modification and extension of embodiment]
Although the embodiment has been described above, according to the embodiment, the
Moreover, the
なお、実施の形態では特に表示動作に関する制御について説明したが、例えば電源オン/オフ/スタンバイの切換や、音声出力部5から出力される音声の音量や音質の制御などを、ユーザの挙動や身体状況に基づいて行っても良い。例えば生体センサ22の情報からユーザの快適性を考慮して音量調整を行うことなども考えられる。
また、画像内における文字を認識する文字認識部と、音声合成処理を行う音声合成部を設け、撮像画像、再生画像、受信画像に文字が含まれている場合に、音声合成部で、その読み上げ音声の音声信号を生成し、音声出力部5から出力させるようにすることも考えられる。
また、表示装置1の外観や構成は図1,図3,図4の例に限定されるものではなく、各種の変形例が考えられる。
表示装置1として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の表示装置は、ユーザの眼前で表示を行うことができるように構成されればよく、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。
In the embodiment, the control related to the display operation has been described. However, for example, switching of power on / off / standby, control of sound volume and sound quality of the sound output from the
In addition, a character recognition unit that recognizes characters in an image and a voice synthesis unit that performs voice synthesis processing are provided. When a captured image, a reproduced image, or a received image contains characters, the voice synthesis unit reads out It is also conceivable that an audio signal is generated and output from the
Further, the appearance and configuration of the
The example having the spectacle-type or head-mounted type mounting unit has been described as the
1 表示装置、2 表示部、3 撮像部、4 照明部、5 音声出力部、6 音声入力部、10 システムコントローラ、11 撮像制御部、12 表示画像処理部、13 表示駆動部、14 表示制御部、15 撮像信号処理部、16 音声信号処理部、17 入力部、19 視覚センサ、20 加速度センサ、21 ジャイロ、22 生体センサ、25 ストレージ部、26 通信部
DESCRIPTION OF
Claims (7)
使用者の視覚情報を検出する視覚センサ、又は使用者の生体情報を検出する生体センサから使用者の状況に関する情報を取得する使用者情報取得手段と、
上記使用者情報取得手段で取得された情報から、使用者が快適な状態か、又は使用者が不快な状態かを判定し、判定結果に基づいて、上記表示手段における表示動作に関する制御を行う制御手段と、
を備える表示装置。 Display means arranged to be positioned in front of the user's eyes and displaying an image;
User information acquisition means for acquiring information on a user's situation from a visual sensor for detecting visual information of the user or a biological sensor for detecting biological information of the user;
Control for determining whether the user is in a comfortable state or uncomfortable state from the information acquired by the user information acquisition unit, and performing control related to the display operation in the display unit based on the determination result Means,
A display device comprising:
請求項1に記載の表示装置。 2. The display device according to claim 1, wherein when the control unit determines that the user is not comfortable, the control unit calculates an adjustment value of brightness, contrast, or sharpness, and performs control to adjust an image quality of the display unit.
上記制御手段は、上記撮像手段で撮像された画像を上記表示手段に表示する制御を行う
請求項1に記載の表示装置。 It further comprises imaging means for taking an image,
The display device according to claim 1, wherein the control unit performs control to display an image captured by the imaging unit on the display unit.
請求項1に記載の表示装置。 The control means determines whether or not the user's eyes are fatigued, and performs control to end the display of the display means when it is determined that the user's eyes are fatigued. The display device described in 1.
請求項1に記載の表示装置。 The sensor for detecting the user's visual information includes, as the user's visual information, the user's gaze direction, the user's focal length, the user's pupil state, the user's fundus pattern, or the eyelid The display device according to claim 1, wherein the display device is a sensor for detecting a movement of the camera .
請求項1に記載の表示装置。 The biosensor detects, as user biometric information, heartbeat information, pulse information, sweat information, electroencephalogram information, electrodermal response, blood pressure information, body temperature information, or respiratory activity information of the user. The display device according to claim 1.
使用者の動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、
上記使用者情報取得ステップで取得された情報から、使用者が快適な状態か、又は使用者が不快な状態かを判定し、判定結果に基づいて上記表示手段における表示動作に関する制御を行う制御ステップと、
を備えることを特徴とする表示方法。 Display means arranged to be positioned in front of the user's eyes and displaying an image, a visual sensor for detecting the user's visual information, or a user's situation from the biosensor for detecting the user's biological information As a display method of a display device provided with user information acquisition means for acquiring information about,
A user information acquisition step for acquiring information on the user's movement or physical condition;
A control step of determining whether the user is in a comfortable state or uncomfortable state from the information acquired in the user information acquisition step, and performing control related to the display operation in the display means based on the determination result When,
A display method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012254402A JP2013077013A (en) | 2012-11-20 | 2012-11-20 | Display device and display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012254402A JP2013077013A (en) | 2012-11-20 | 2012-11-20 | Display device and display method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006244686A Division JP5228305B2 (en) | 2006-09-08 | 2006-09-08 | Display device and display method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014193805A Division JP5904246B2 (en) | 2014-09-24 | 2014-09-24 | Head-mounted display device and display method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013077013A true JP2013077013A (en) | 2013-04-25 |
Family
ID=48480472
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012254402A Pending JP2013077013A (en) | 2012-11-20 | 2012-11-20 | Display device and display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013077013A (en) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015012433A (en) * | 2013-06-28 | 2015-01-19 | セイコーエプソン株式会社 | Head-mounted display device and method of controlling head-mounted display device |
WO2015145863A1 (en) * | 2014-03-28 | 2015-10-01 | 国立研究開発法人理化学研究所 | Display system, attachment, display method, and program |
WO2016114496A1 (en) * | 2015-01-16 | 2016-07-21 | 한국과학기술원 | Method for providing user interface through head mounted display using eye recognition and bio-signal, apparatus using same, and computer readable recording medium |
WO2016175607A1 (en) * | 2015-04-30 | 2016-11-03 | 삼성전자 주식회사 | Mobile device and method for changing content display of mobile device |
WO2016182368A1 (en) * | 2015-05-12 | 2016-11-17 | 삼성전자 주식회사 | Method and device for providing content |
KR20170054499A (en) * | 2014-09-16 | 2017-05-17 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Display with eye-discomfort reduction |
JP2017515435A (en) * | 2015-03-31 | 2017-06-08 | 小米科技有限責任公司Xiaomi Inc. | REPRODUCTION CONTROL METHOD, REPRODUCTION CONTROL DEVICE, COMPUTER PROGRAM, AND COMPUTER-READABLE STORAGE MEDIUM |
JP2017127396A (en) * | 2016-01-18 | 2017-07-27 | キヤノン株式会社 | Display system, eye-mounting fixture and method for controlling display system |
KR20170087292A (en) * | 2016-01-20 | 2017-07-28 | 삼성전자주식회사 | Head mounted display and control method thereof |
JP2018022442A (en) * | 2016-08-05 | 2018-02-08 | 株式会社コーエーテクモゲームス | Presentation processing program and information processing apparatus |
JP2018085733A (en) * | 2017-12-06 | 2018-05-31 | ソニー株式会社 | Portable device, control method of portable device, and program |
US10302944B2 (en) | 2013-06-28 | 2019-05-28 | Seiko Epson Corporation | Head-mount type display device and method of controlling head-mount type display device |
WO2019155564A1 (en) * | 2018-02-08 | 2019-08-15 | 株式会社日立製作所 | Information providing system and information providing method |
JP2020112940A (en) * | 2019-01-09 | 2020-07-27 | 本田技研工業株式会社 | Content output device and content output method |
JP2021089757A (en) * | 2016-07-21 | 2021-06-10 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | Technique for controlling virtual image generation system using emotional states of user |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07255669A (en) * | 1994-03-24 | 1995-10-09 | Sony Corp | Eye condition detector and indicator |
JPH09218375A (en) * | 1996-02-08 | 1997-08-19 | Canon Inc | Fatigue deciding method and observing device using same |
JP2000235366A (en) * | 1998-12-18 | 2000-08-29 | Semiconductor Energy Lab Co Ltd | Goggle type display system |
JP3075971U (en) * | 1999-08-18 | 2001-03-16 | ▲黄▼榮堂 | Eye protection system |
JP2003076353A (en) * | 2001-09-04 | 2003-03-14 | Sharp Corp | Head-mounted display |
JP2003157136A (en) * | 2001-11-20 | 2003-05-30 | Canon Inc | High-presence video display unit capable of recording biological reaction |
JP2005172851A (en) * | 2003-12-05 | 2005-06-30 | Sony Corp | Image display apparatus |
JP2005283154A (en) * | 2004-03-26 | 2005-10-13 | Mitsubishi Electric Corp | Carry type information processor with communication function |
JP2006098820A (en) * | 2004-09-30 | 2006-04-13 | Shimadzu Corp | Display device |
-
2012
- 2012-11-20 JP JP2012254402A patent/JP2013077013A/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07255669A (en) * | 1994-03-24 | 1995-10-09 | Sony Corp | Eye condition detector and indicator |
JPH09218375A (en) * | 1996-02-08 | 1997-08-19 | Canon Inc | Fatigue deciding method and observing device using same |
JP2000235366A (en) * | 1998-12-18 | 2000-08-29 | Semiconductor Energy Lab Co Ltd | Goggle type display system |
JP3075971U (en) * | 1999-08-18 | 2001-03-16 | ▲黄▼榮堂 | Eye protection system |
JP2003076353A (en) * | 2001-09-04 | 2003-03-14 | Sharp Corp | Head-mounted display |
JP2003157136A (en) * | 2001-11-20 | 2003-05-30 | Canon Inc | High-presence video display unit capable of recording biological reaction |
JP2005172851A (en) * | 2003-12-05 | 2005-06-30 | Sony Corp | Image display apparatus |
JP2005283154A (en) * | 2004-03-26 | 2005-10-13 | Mitsubishi Electric Corp | Carry type information processor with communication function |
JP2006098820A (en) * | 2004-09-30 | 2006-04-13 | Shimadzu Corp | Display device |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10302944B2 (en) | 2013-06-28 | 2019-05-28 | Seiko Epson Corporation | Head-mount type display device and method of controlling head-mount type display device |
JP2015012433A (en) * | 2013-06-28 | 2015-01-19 | セイコーエプソン株式会社 | Head-mounted display device and method of controlling head-mounted display device |
WO2015145863A1 (en) * | 2014-03-28 | 2015-10-01 | 国立研究開発法人理化学研究所 | Display system, attachment, display method, and program |
JPWO2015145863A1 (en) * | 2014-03-28 | 2017-04-13 | 国立研究開発法人理化学研究所 | Display system, attachment, display method, and program |
JP2017534957A (en) * | 2014-09-16 | 2017-11-24 | マイクロソフト テクノロジー ライセンシング,エルエルシー | Display that reduces eye discomfort |
KR102439387B1 (en) * | 2014-09-16 | 2022-09-01 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Display with eye-discomfort reduction |
KR20170054499A (en) * | 2014-09-16 | 2017-05-17 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Display with eye-discomfort reduction |
WO2016114496A1 (en) * | 2015-01-16 | 2016-07-21 | 한국과학기술원 | Method for providing user interface through head mounted display using eye recognition and bio-signal, apparatus using same, and computer readable recording medium |
US9997197B2 (en) | 2015-03-31 | 2018-06-12 | Xiaomi Inc. | Method and device for controlling playback |
JP2017515435A (en) * | 2015-03-31 | 2017-06-08 | 小米科技有限責任公司Xiaomi Inc. | REPRODUCTION CONTROL METHOD, REPRODUCTION CONTROL DEVICE, COMPUTER PROGRAM, AND COMPUTER-READABLE STORAGE MEDIUM |
KR20160130015A (en) * | 2015-04-30 | 2016-11-10 | 삼성전자주식회사 | Portable apparatus and method for changing a screen of content |
WO2016175607A1 (en) * | 2015-04-30 | 2016-11-03 | 삼성전자 주식회사 | Mobile device and method for changing content display of mobile device |
US10791954B2 (en) | 2015-04-30 | 2020-10-06 | Samsung Electronics Co., Ltd. | Portable apparatus and method of changing screen of content thereof |
KR102072788B1 (en) | 2015-04-30 | 2020-03-12 | 삼성전자주식회사 | Portable apparatus and method for changing a screen of content |
US10561334B2 (en) | 2015-04-30 | 2020-02-18 | Samsung Electronics Co., Ltd. | Portable apparatus and method of changing screen of content thereof |
US10130279B2 (en) | 2015-04-30 | 2018-11-20 | Samsung Electronics Co., Ltd. | Portable apparatus and method of changing screen of content thereof |
WO2016182368A1 (en) * | 2015-05-12 | 2016-11-17 | 삼성전자 주식회사 | Method and device for providing content |
US10466786B2 (en) | 2015-05-12 | 2019-11-05 | Samsung Electronics Co., Ltd. | Method and device for providing content |
JP2017127396A (en) * | 2016-01-18 | 2017-07-27 | キヤノン株式会社 | Display system, eye-mounting fixture and method for controlling display system |
KR102610120B1 (en) | 2016-01-20 | 2023-12-06 | 삼성전자주식회사 | Head mounted display and control method thereof |
KR20170087292A (en) * | 2016-01-20 | 2017-07-28 | 삼성전자주식회사 | Head mounted display and control method thereof |
JP2021089757A (en) * | 2016-07-21 | 2021-06-10 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | Technique for controlling virtual image generation system using emotional states of user |
JP7041763B2 (en) | 2016-07-21 | 2022-03-24 | マジック リープ, インコーポレイテッド | Technology for controlling a virtual image generation system using the user's emotional state |
JP2018022442A (en) * | 2016-08-05 | 2018-02-08 | 株式会社コーエーテクモゲームス | Presentation processing program and information processing apparatus |
JP7016211B2 (en) | 2016-08-05 | 2022-02-04 | 株式会社コーエーテクモゲームス | Production processing program and information processing equipment |
JP2018085733A (en) * | 2017-12-06 | 2018-05-31 | ソニー株式会社 | Portable device, control method of portable device, and program |
WO2019155564A1 (en) * | 2018-02-08 | 2019-08-15 | 株式会社日立製作所 | Information providing system and information providing method |
CN111488470A (en) * | 2019-01-09 | 2020-08-04 | 本田技研工业株式会社 | Content output device and content output method |
JP2020112940A (en) * | 2019-01-09 | 2020-07-27 | 本田技研工業株式会社 | Content output device and content output method |
CN111488470B (en) * | 2019-01-09 | 2023-09-29 | 本田技研工业株式会社 | Content output device and content output method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5228305B2 (en) | Display device and display method | |
JP2013077013A (en) | Display device and display method | |
JP4961914B2 (en) | Imaging display device and imaging display method | |
JP2008067219A (en) | Imaging apparatus and imaging method | |
JP5309448B2 (en) | Display device and display method | |
JP4367663B2 (en) | Image processing apparatus, image processing method, and program | |
JP5904246B2 (en) | Head-mounted display device and display method | |
EP1921844B1 (en) | Imaging apparatus and method | |
JP5228307B2 (en) | Display device and display method | |
JP5092357B2 (en) | Imaging display device and imaging display method | |
EP1924084A2 (en) | Imaging system and method | |
JP2008099834A (en) | Display device and display method | |
JP2013210643A (en) | Display device and display method | |
JP6160654B2 (en) | Display device, display method, and program | |
JP2008288821A (en) | Imaging apparatus and imaging method | |
JP2013083994A (en) | Display unit and display method | |
JP5971298B2 (en) | Display device and display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131001 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131202 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140624 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140924 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20141002 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20141219 |