JP2005092224A - Small-sized display device and image display control method - Google Patents
Small-sized display device and image display control method Download PDFInfo
- Publication number
- JP2005092224A JP2005092224A JP2004274019A JP2004274019A JP2005092224A JP 2005092224 A JP2005092224 A JP 2005092224A JP 2004274019 A JP2004274019 A JP 2004274019A JP 2004274019 A JP2004274019 A JP 2004274019A JP 2005092224 A JP2005092224 A JP 2005092224A
- Authority
- JP
- Japan
- Prior art keywords
- image
- eyepiece
- small display
- state
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、画像を表示するための小型ディスプレイ装置及び画像表示制御方法に関する。 The present invention relates to a small display device and an image display control method for displaying an image.
従来の小型ディスプレイ装置としては、ヘッドマウンティドディスプレイ(以下、HMDと記す)やフェイスマウントディスプレイ(以下、FMDと記す)が知られている。これらは、液晶や発光ダイオード(LED)等の高精細表示素子をディスプレイ使用者の眼前に配置し、その素子上に表示される微小精細画像を非球面レンズや非球面プリズムによって拡大する。従って、ディスプレイ装置を観察者に固定装着する必要はあるものの、小型の装置ながら大きな精細画像を表示させることができる。また、同様に観察者の眼とビームスプリッタを挟んで必ず共役な位置に小型プロジェクタを配置し、再帰性反射スクリーンを介して像を見るディスプレイとして、ヘッドマウンティドプロジェクタ(以下、HMPと記す)が知られている。 As a conventional small display device, a head mounted display (hereinafter referred to as HMD) and a face mount display (hereinafter referred to as FMD) are known. In these devices, a high-definition display element such as a liquid crystal or a light-emitting diode (LED) is arranged in front of the display user, and a micro-definition image displayed on the element is enlarged by an aspheric lens or an aspheric prism. Therefore, although a display device needs to be fixedly attached to an observer, a large fine image can be displayed with a small device. Similarly, a head-mounted projector (hereinafter referred to as “HMP”) is used as a display in which a small projector is disposed at a conjugate position between the observer's eye and the beam splitter, and an image is viewed through a retroreflective screen. It has been known.
一方、携帯電話や携帯型コンピュータにも液晶や有機エレクトロルミネッセンスデバイス(有機EL)を利用した小型ディスプレイ装置が搭載されているが、これらの表示系は像を拡大するための光学素子を持たないため、像はディスプレイ位置で観察される。HMDやFMDと違って、ディスプレイ装置を眼前に配置しなくてもフルサイズの像を観察できる。しかし、表示画面サイズが限られるため、自動、手動による様々なスクロール技術が開発されている。 On the other hand, small display devices using liquid crystals and organic electroluminescence devices (organic EL) are also mounted on mobile phones and portable computers, but these display systems do not have optical elements for enlarging images. The image is observed at the display position. Unlike HMD and FMD, a full-size image can be observed without arranging a display device in front of the eyes. However, since the display screen size is limited, various automatic and manual scrolling techniques have been developed.
上述した様に、従来の小型ディスプレイ装置のうち、HMDやFMD、HMPで安定して画像を見るためには、使用者の顔面にディスプレイが近接するように装置が頭部に固定装着される必要がある。近年、非球面プリズム等の採用により、ディスプレイの軽量化、小型化は進んでいるが、このような機器の顔面への近接、頭部への装着は、不快なものであり、かつ着脱も不便である。また、観察者の知覚する像の奥行き位置と光学系によって作られる像の奥行き位置、および目の光軸とディスプレイの光軸が合わない状態で長時間像を見つづけると、眼の輻輳・調節機能が自然視と異なった状態となるために、著しい眼の疲労を覚える場合がある。特にHMD、FMD、HMPでは着脱の不便さから長時間、像を観察する可能性が高いため、この眼の疲労が特に問題となっていた。 As described above, among the conventional small display devices, in order to view images stably with HMD, FMD, or HMP, the device needs to be fixedly mounted on the head so that the display is close to the user's face. There is. In recent years, the use of aspherical prisms has made the display lighter and smaller, but it is uncomfortable to attach such devices to the face and to the head, and it is inconvenient to attach and detach. It is. Also, if you keep looking at the depth of the image perceived by the observer, the depth of the image created by the optical system, and the optical axis of the eye and the optical axis of the display for a long time, eye convergence and adjustment Since the function is different from that of natural vision, there may be significant eye fatigue. Especially in HMD, FMD, and HMP, since there is a high possibility of observing an image for a long time due to the inconvenience of attachment and detachment, this eye fatigue has been a particular problem.
一方、携帯電話や携帯型コンピュータのディスプレイでは、観察者は画面を観察する際、装置を頭部に固定装着する必要は無いものの、画面が小さいため、多くの情報を素早く眺めるのに必ずしも適した方法とは言えなかった。また、画像情報を他人から覗き込まれる可能性があり、現在、覗き見防止用指向性フィルターが販売されているほどである。 On the other hand, in the display of a mobile phone or a portable computer, the observer does not need to fix the device to the head when observing the screen, but the screen is small, so it is not necessarily suitable for quickly viewing a large amount of information. It wasn't a way. In addition, there is a possibility that image information may be looked into by others, and so far, directivity filters for peeping prevention are on the market.
従って、より多くの情報を素早く眺める場合、あるいは他人から表示情報を覗き込まれたくない場合は、短時間、ディスプレイを接眼状態にして仮想的に大きな高精細画面を眺め、それ以外の時は、非接眼で身体を拘束されることなくディスプレイを観察できるのが理想である。 Therefore, if you want to look at more information quickly, or if you do not want to look into the display information from others, you can view the virtual high-definition screen with the display in the eyepiece state for a short time, otherwise, Ideally, the display can be observed without being restrained by the eyepiece.
しかるに、従来の小型ディスプレイでは接眼、非接眼の両方で使うことを想定していない。例えば、HMDまたはFMDでは、接眼での使用を前提としているため、非接眼状態で観察すると観察者自身やディスプレイの位置や向きの僅かな変化によって見える像が大きく変化してしまう。このような状態で所望の像を見るためには、観察者が常にディスプレイ位置を微妙に動かして像を探さなければならなかった。また、画像を壁面や離れたスクリーンに拡大投射して観察する方法については既に様々な提案がなされているが、ディスプレイから離れたスクリーン上で一旦光を散乱させるためには輝度の高い光源が必要で、装置の小型化が難しかった。 However, the conventional small display is not assumed to be used for both eyepiece and non-eyepiece. For example, since the HMD or FMD is premised on the use with an eyepiece, the observed image changes greatly due to slight changes in the position and orientation of the observer and the display when observed in a non-eyepiece state. In order to view a desired image in such a state, the observer must always move the display position slightly to search for the image. Various proposals have already been made on the method of magnifying and observing an image on a wall or a remote screen, but a high-luminance light source is required to scatter light once on the screen away from the display. It was difficult to reduce the size of the device.
本発明は、上記事情を考慮してなされたもので、接眼、非接眼のどちらの状態でも所望の画像を観察可能にする小型ディスプレイ装置及び画像表示方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a small display device and an image display method that enable a desired image to be observed in both an eyepiece state and a non-eyepiece state.
本発明に係る小型ディスプレイ装置は、画像を表示するための小型表示素子と、前記小型表示素子に表示された画像を拡大するための光学素子と、自装置における所定の箇所と、自装置を使用する観察者の所定の身体部位との間の位置的な関係を求めるための計測手段と、前記計測手段により求められた前記位置的な関係に基づいて画像の表示方法を制御するための制御手段とを備えたことを特徴とする。 A small display device according to the present invention uses a small display element for displaying an image, an optical element for enlarging an image displayed on the small display element, a predetermined location in the own device, and the own device. Measuring means for obtaining a positional relationship with a predetermined body part of an observer who performs the measurement, and control means for controlling an image display method based on the positional relationship obtained by the measuring means It is characterized by comprising.
好ましくは、前記計測手段は、前記観察者が接眼状態にあるか非接眼状態にあるかを判定するための手段を含み、前記制御手段は、接眼状態にあると判定されたかまたは非接眼状態にあるかと判定されたかに応じて異なる制御を行うようにしてもよい。 Preferably, the measurement unit includes a unit for determining whether the observer is in an eyepiece state or in a non-eyepiece state, and the control unit is determined to be in the eyepiece state or in the non-eyepiece state. Different control may be performed depending on whether or not it is determined.
好ましくは、前記制御手段は、接眼状態にあると判定された場合には、前記小型表示素子全体にわたって画像全体を表示させるように制御するようにしてもよい。 Preferably, when it is determined that the eyepiece is in the eyepiece state, the control unit may perform control so that the entire image is displayed over the entire small display element.
好ましくは、前記計測手段は、自装置における所定の位置を基準としたときの、前記観察者の顔部または瞳の空間位置を求めるための手段を含み、前記制御手段は、非接眼状態にあると判定された場合には、前記小型表示素子における前記観察者の顔部または瞳の空間位置に対応する部分領域に所定の画像を表示させるように制御するようにしてもよい。 Preferably, the measurement unit includes a unit for obtaining a spatial position of the face or pupil of the observer when a predetermined position in the apparatus is used as a reference, and the control unit is in a non-eyepiece state. If it is determined, a control may be performed so that a predetermined image is displayed in a partial region corresponding to the spatial position of the observer's face or pupil in the small display element.
好ましくは、前記計測手段は、自装置における所定の位置を基準としたときの、前記観察者の顔部までの距離を求めるための手段と、自装置における空間内の姿勢または傾きを求めるための手段とを含み、前記制御手段は、非接眼状態にあると判定された場合には、前記距離に応じた前記小型表示素子における部分領域に、表示対象となる画像のうちの特定の部分を表示させるように制御するとともに、前記姿勢または傾きに基づいて該表示対象となる画像のうちから表示すべき特定の部分の箇所を変化させるようにしてもよい。 Preferably, the measuring means is for obtaining a distance to the observer's face when a predetermined position in the own apparatus is used as a reference, and for obtaining an attitude or inclination in the space of the own apparatus. The control means displays a specific part of the image to be displayed in the partial area of the small display element corresponding to the distance when it is determined that the eyepiece is in the non-eyepiece state. In addition, the position of a specific portion to be displayed may be changed from the image to be displayed based on the posture or the inclination.
また、本発明に係る小型ディスプレイ装置は、画像を表示するための小型表示素子と、前記小型表示素子に表示された画像を拡大するための光学素子と、前記光学素子の前面に設けられ、透過状態と半透過状態を切り替え可能な調光シートと、自装置を使用する観察者が接眼状態にあるか非接眼状態にあるかを判定するための判定手段と、前記判定手段による判定結果に基づいて、前記調光シートの透過状態と半透過状態の切り替えの制御を含む、前記小型表示素子への画像の表示方法の制御を行うための制御手段とを備えたことを特徴とする。 The small display device according to the present invention is provided with a small display element for displaying an image, an optical element for enlarging an image displayed on the small display element, and a front surface of the optical element. A light control sheet capable of switching between a state and a semi-transmissive state, a determination unit for determining whether an observer using the device is in an eyepiece state or a non-eyepiece state, and a determination result by the determination unit And a control means for controlling a method of displaying an image on the small display element, including control of switching between a transmissive state and a semi-transmissive state of the light control sheet.
好ましくは、前記制御手段は、接眼状態にあると判定された場合には、前記調光シートが透過状態になるように制御するとともに、前記小型表示素子全体にわたって画像全体を表示させるように制御するようにしてもよい。 Preferably, when it is determined that the eyepiece is in the eyepiece state, the control unit performs control so that the light control sheet is in a transmissive state and displays the entire image over the entire small display element. You may do it.
好ましくは、前記制御手段は、非接眼状態にあると判定された場合には、前記調光シートが半透過状態になるように制御するとともに、前記小型表示素子全体にわたって画像全体を表示させるように制御することによって、前記小型表示素子から前記調光シートに投射された画像が非接眼状態の前記観察者から観察可能になるように制御するようにしてもよい。 Preferably, when it is determined that the control unit is in the non-eyepiece state, the control unit controls the light control sheet to be in a semi-transmissive state, and displays the entire image over the entire small display element. By controlling, the image projected from the small display element onto the light control sheet may be controlled so as to be observable by the observer in a non-eyepiece state.
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。 The present invention relating to the apparatus is also established as an invention relating to a method, and the present invention relating to a method is also established as an invention relating to an apparatus.
本発明では、観察者の頭部または瞳などの位置に応じて表示制御を行うことができる。これによって、例えば、接眼、非接眼を判定し、接眼時には、画像全体を表示素子の全領域に表示し(観察者は仮想的に大きな画面を眺めることができる)、非接眼時には、観察者の頭部または眼とディスプレイとの位置的な関係を把握し、それに応じて表示画面を制御することによって、観察者の頭部が前後などに動いても一定した画像が観察されるように表示することができる。 In the present invention, display control can be performed according to the position of the observer's head or pupil. Thereby, for example, the eyepiece and the non-eyepiece are determined, and when the eyepiece is displayed, the entire image is displayed in the entire area of the display element (the observer can virtually view a large screen). By grasping the positional relationship between the head or eyes and the display, and controlling the display screen accordingly, it displays so that a constant image can be observed even if the observer's head moves back and forth be able to.
また、本発明では、透過、半透過を電子的に制御できる調光シートを用いることで、接眼時には、透明シートとして使用し、非接眼時には、スクリーンとして使用できる。 Further, in the present invention, by using a light control sheet that can electronically control transmission and semi-transmission, it can be used as a transparent sheet during eye contact and as a screen during non-eye contact.
本発明によれば、接眼、非接眼のどちらの状態でも所望の画像を観察可能な小型ディスプレイが実現できる。例えば、より多くの情報を素早く眺める場合あるいは他人から覗き込まれたくない場合は、接眼にして、仮想的に大きな画面を眺め、それ以外の場合は、非接眼にして、直視するような使い方が可能になる。 According to the present invention, a small display capable of observing a desired image in both an eyepiece state and a non-eyepiece state can be realized. For example, if you want to see more information quickly or do not want to be looked into by someone else, you can use an eyepiece to look at a virtual large screen, otherwise it may be a non-eyepiece and look directly at you. It becomes possible.
本発明によれば、接眼、非接眼のどちらの状態でも所望の画像を観察可能な小型ディスプレイが実現できる。 According to the present invention, a small display capable of observing a desired image in both an eyepiece state and a non-eyepiece state can be realized.
以下、図面を参照しながら発明の実施の形態を説明する。 Hereinafter, embodiments of the invention will be described with reference to the drawings.
(第1の実施形態)
図1に、本発明の第1の実施形態に係る小型ディスプレイ装置の構成例を示す。
(First embodiment)
FIG. 1 shows a configuration example of a small display device according to the first embodiment of the present invention.
図1において、6は顔面非装着形の小型ディスプレイ装置本体であり、5は観察者である。また、1は小型表示素子、2は光学素子、3は瞳位置センサー、4は情報処置装置、10は接眼判定センサーである。
In FIG. 1,
小型表示素子1は、微小画像を生成するための素子であり、情報処置装置4から与えられる電気的信号により画像を表示する。小型表示素子1は、例えば、液晶と光源、有機エレクトロルミネッセンスデバイス(有機EL)、フィールドエミッションデバイス(FED)、または発光ダイオード(LED)等を用いて構成することができる。また、小型表示素子1は、例えば、その画面の対角が2型以下の大きさのものである(2型を越える場合もあり得る)。
The
光学素子2は、本小型ディスプレイ装置の光学系を形成するもので、小型表示素子1に表示された微小画像を拡大するための素子である。光学素子2は、例えば、レンズ、プリズム、ホログラフィック素子(HOE)、液晶素子、もしくはレトロリフレクター等の要素、またはそれらの組み合わせから構成される。また、例えば、複数枚の素子あるいは液晶レンズを用いれば、像をズームアップすることもでき、あるいは例えば、回折光学素子やプリズムを用いれば、像を屈折させて表示することも可能である。
The
瞳位置センサー3は、小型表示素子1または光学素子2に対する、観察者の瞳または顔面の相対的な位置関係(例えば、小型表示素子1または光学素子2の中心部を原点としたときの、観察者の顔面または一方もしくは両方の瞳の3次元座標値などの空間位置等)を、計測または推測するためのセンサーである。瞳位置センサー3は、撮像素子などの受動素子のみによるもの、送受信器などの能動素子および受動素子によるものなどがある。前者は、例えば、小型ディスプレイ装置本体6側から(1又は複数の)撮像素子により観察者の顔部を撮った画像を処理して、相対的な空間位置を求める形態などである。後者は、例えば、小型ディスプレイ装置本体6に赤外線や超音波などの(1又は複数の)送信装置と(1又は複数の)受信装置の一方を装備しかつ観察者の顔部等に送信装置と受信装置の他方を装着し、それら送受信装置間での信号の授受を利用する形態、あるいは小型ディスプレイ装置本体6に(1又は複数の)送信装置と(1又は複数の)受信装置を装備し、送信装置から送信され観察者の顔部等で反射してきた信号を受信装置で受信するエコー法を利用する形態などである。
The pupil position sensor 3 is a relative positional relationship of the observer's pupil or face with respect to the
接眼判定センサー10は、観察者が接眼状態で本小型ディスプレイ装置のディスプレイを観察しているか、非接眼状態で観察しているかを判定するためのセンサーである。接眼判定センサー10は、例えば、赤外線フォトトランジスタ等を用いて構成することができる(例えば、赤外線発光素子と赤外線発受光素子を、観察者が小型ディスプレイ装置に対して接眼状態になっているときに赤外線発光素子から送信された赤外光が観察者の顔部等で反射して赤外線発受光素子に入射するように小型ディスプレイ装置本体6に配置する形態などである)。
The eyepiece determination sensor 10 is a sensor for determining whether the observer is observing the display of the small display device in an eyepiece state or in a non-eyepiece state. The eyepiece determination sensor 10 can be configured by using, for example, an infrared phototransistor or the like (for example, when an observer is in an eyepiece state with respect to a small display device using an infrared light emitting element and an infrared light emitting / receiving element). The infrared light transmitted from the infrared light emitting element is arranged in the small display device
情報処置装置4は、瞳位置センサー3および接眼判定センサー10の出力に基づいて小型表示素子1に表示する画像情報をコントロールすることによって、観測者(5)に観測される画像情報をコントロールする処理を行う。情報処置装置4は、例えば、マイクロコンピュータおよびソフトウェア、あるいは専用の半導体素子等を用いて構成することができる。
The
なお、観察者に表示する画像は、当該小型ディスプレイ装置内部に蓄積されたデータでもよい。この場合には、例えば、小型ディスプレイ装置は、画像データを蓄積するためのメモリを備えればよい。 Note that the image displayed to the observer may be data stored in the small display device. In this case, for example, the small display device may include a memory for storing image data.
また、観察者に表示する画像は、当該小型ディスプレイ装置内部に蓄積されたデータでなくてもよい。この場合には、例えば、小型ディスプレイ装置は、外部から画像データを受信するための装置(例えば、ネットワークアダプタ)を備えればよい。また、外部から受信した、符号化された画像データを表示可能とするために、該符号化された画像データを復号するための装置(例えば、MPEG4デコーダ)を更に備えてもよい。これによって、多様な情報を表示する装置として利用することができる。 Further, the image displayed to the observer may not be data stored in the small display device. In this case, for example, the small display device may include a device (for example, a network adapter) for receiving image data from the outside. Further, in order to be able to display the encoded image data received from the outside, an apparatus (for example, an MPEG4 decoder) for decoding the encoded image data may be further provided. Thus, it can be used as a device for displaying various information.
また、上記の内部に蓄積された画像データを表示する機能と、外部から受信した画像データを表示する機能の両方を備えるようにしてもよい。 Moreover, you may make it provide both the function to display the image data accumulate | stored in said inside, and the function to display the image data received from the outside.
その他にも、種々のバリエーションが可能である。 Various other variations are possible.
図2に、本実施形態の小型ディスプレイ装置の情報処理装置4の処理手順の一例を示す。
FIG. 2 shows an example of a processing procedure of the
接眼判定センサー10の出力に基づいて、接眼の状態か、非接眼の状態かを判定する(ステップS1)。 Based on the output of the eyepiece determination sensor 10, it is determined whether the eyepiece is in an eyepiece state or a non-eyepiece state (step S1).
接眼の状態と判定された場合には(ステップS2)、接眼モードで画像の表示を行う(ステップS3)。接眼モードでは、例えば小型表示素子全体にわたって画像(全体)を表示する。 If it is determined that the eyepiece is in the state (step S2), the image is displayed in the eyepiece mode (step S3). In the eyepiece mode, for example, an image (entire) is displayed over the entire small display element.
非接眼の状態と判定された場合には(ステップS2)、瞳位置センサー3の出力に基づいて相対的な位置関係を取得し(ステップS4)、その位置関係に基づいて、非接眼モードで画像の表示を行う(ステップS5)。非接眼モードでは、例えば、小型表示素子の観察者の瞳位置に対応する領域に所望の画像(例えば、画像の一部)を表示する。 When it is determined that the eyepiece is not in the eyepiece state (step S2), the relative positional relationship is acquired based on the output of the pupil position sensor 3 (step S4), and the image is displayed in the noneyepiece mode based on the positional relationship. Is displayed (step S5). In the non-eyepiece mode, for example, a desired image (for example, a part of the image) is displayed in an area corresponding to the pupil position of the observer of the small display element.
図3に、本実施形態の小型ディスプレイ装置の使用例を示す。図3において、(a)が接眼時、(b)が非接眼時である。また、5が観察者、6がディスプレイ装置本体、7が表示部(ディスプレイの開口部分)、8,8’が観察可能領域、9が観察可能範囲を示す。
FIG. 3 shows an example of use of the small display device of this embodiment. In FIG. 3, (a) is when the eye is in contact, and (b) is when the eye is not.
図3の例では、接眼時には全ての領域が観察可能であるのに対し、非接眼時には観察者(5)は8’の実線矩形で示す範囲内のみが観察できる領域となっている((a)では、8の領域と9の範囲が一致しているのに対して、(b)では、8’の領域は9の範囲より狭くなっている)。なお、8’の観察可能領域については、例えば本小型ディスプレイ装置ごとに設定する方法、画像コンテンツに応じて設定する方法、観測者が調整可能とする方法などがある。
In the example of FIG. 3, the entire region can be observed when the eye is in contact, while the observer (5) is the region in which only the region indicated by the
さて、本実施形態では、接眼か非接眼かを検出し、図3の(a)や(b)に示すように、それらに応じた表示制御を行うとともに、さらに図3(b)に示すような非接眼状況においては、観察者の頭部位置(瞳位置)の変化によらず、観察者が安定して同一の画像を観察できるようにするための仕組みを構築することによって、接眼、非接眼のどちらでも使用可能な小型ディスプレイ装置を実現している。 Now, in this embodiment, it is detected whether it is an eyepiece or a non-eyepiece, and as shown in (a) and (b) of FIG. 3, display control is performed according to them, and further, as shown in FIG. 3 (b). In such a non-ocular situation, the eyepiece is non-occluded by constructing a mechanism for allowing the observer to stably observe the same image regardless of changes in the observer's head position (pupil position). A small display device that can be used with either eyepiece has been realized.
以下、図4〜図6を参照しながら、本実施形態の小型ディスプレイ装置の仕組み(特に、非接眼時)について説明する。なお、図4〜図6の参照符号のうち図1、図3と同じものは、既に説明したとおりである。 Hereinafter, the mechanism (particularly, when the eyepiece is not in use) of the small display device of the present embodiment will be described with reference to FIGS. 4 to 6 are the same as those already described with reference to FIGS.
まず、図4に、観察者が小型ディスプレイ装置のディスプレイ部分を非接眼で見ている状況における小型ディスプレイ装置の各素子と観察者の瞳との関係を示す。観察者(5)が右目から眺める小型表示素子1上の像をB、左眼から眺める像をAとすると、観察者がディスプレイから離れている場合、観察者が眺める像A、像Bの位置は、それぞれ図4に示すようになる(図4において、8’は観察可能領域に相当し、9は観察可能範囲に相当する)。例えば、このとき像A、像Bが小型表示素子1上でオーバーラップせず、それぞれに左右眼の視差分のずれを与えた画像を表示すれば、眼鏡無しでの立体視が可能となるため、奥行きを持つ空間表示も可能となる。また、例えば、このとき像A、像Bとして(すなわち左右眼について)全く同じ画像を表示してもよい。一方、図5に示すように、観察者(5)の左右どちらか一方の目(通常は効き目側)のみに像を提示してもよい。
First, FIG. 4 shows the relationship between each element of the small display device and the pupil of the observer in a situation where the observer is viewing the display portion of the small display device with a non-eyepiece. Assuming that an image on the
次に、図6を参照しながら、被接眼時の画像表示制御について説明する。非接眼時における、観察可能な像の位置、大きさは、観察者の目とディスプレイとの相対位置によって変化するため、小型ディスプレイ装置本体6側に取り付けた瞳位置センサー3を使って、(好ましくは常時)この位置関係を把握し、その結果に基づいて小型表示素子1上での表示個所を変化させる。簡単のため、目とディスプレイが図6に示すようになっており、小型表示素子1がレンズの射出瞳に比べ十分大きくかつ単純な焦点距離fの凸レンズ2を用いた場合を例として挙げると、このとき画像は図6の斜線で示す位置(8’)に見えるように表示すればよく、これに相当する小型表示素子1上での位置は、20の両端矢印で示した範囲となる。
Next, image display control during eye contact will be described with reference to FIG. Since the position and size of the observable image at the time of non-eyepiece change depending on the relative position between the observer's eyes and the display, the pupil position sensor 3 attached to the small display device
凸レンズ2の中心を原点として、レンズ光軸方向をx軸、x軸に垂直な方向をy軸とし、観察者の眼の位置を(x0,y0)、小型表示素子1の位置を−a、レンズ2の射出瞳を2mとすると、観察者から見える領域は、次の式(1)で示された範囲となる。
すなわち、式(1)で示された範囲に同じ図形や文字等が表示されるように像の拡大縮小を行えば、観察者からは像が止まって見える。 That is, if the image is enlarged or reduced so that the same figure, character, or the like is displayed in the range indicated by the expression (1), the image appears to stop for the observer.
なお、この例では、説明を簡単にするため、二次元面内で考えたが、三次元に拡張しても同様の方法が適用可能である。 In this example, in order to simplify the explanation, it was considered in a two-dimensional plane, but the same method can be applied even if it is extended to three dimensions.
また、上記では、情報処置装置4は、瞳位置センサー3の出力に基づいて小型表示素子1に表示する画像の拡大、縮小を行う例であったが、その代わりに、レンズ2の表示画像の拡大率(あるいは焦点距離)およびまたは表示方向を変化させる構成も可能である。この場合には、光学素子2には、その表示画像の拡大率、表示方向、または拡大率と表示方向の両方が、瞳位置センサー3の出力に応じて可変であるような素子を使用してもよい。
In the above description, the
また、上記の小型表示素子1に表示する画像の制御と、レンズ2の制御の両方を併用する構成も可能である。
Further, a configuration in which both the control of the image displayed on the
なお、小型表示素子1の大きさがレンズの射出瞳と同程度かそれより小さい場合には、非接眼時に、観察者とディスプレイとの相対位置によっては、対応する領域が小型表示素子1上に確保できないことがある。このような場合には、図7に示すように、小型表示素子1と凸レンズ2の間に像を屈折させて伝達するための可変プリズム等の光学素子11を入れ、かつ観察者の瞳位置に対応する画像領域もそれに合わせて変形すればよい。
If the size of the
このように、接眼判定センサー10の結果に基づいて接眼状態、非接眼状態の判定を行った結果、観察者がディスプレイを非接眼状態で見ていると判定された場合には、画像の所定部分を、観測者が安定して観測できるように、瞳位置センサー3の出力に基づいて制御することができる。 As described above, when it is determined that the viewer is viewing the display in the non-eyepiece state as a result of the determination of the eyepiece state or the non-eyepiece state based on the result of the eyepiece determination sensor 10, a predetermined portion of the image is displayed. Can be controlled based on the output of the pupil position sensor 3 so that the observer can observe stably.
一方、接眼判定センサー10の結果に基づいて接眼状態、非接眼状態の判定を行った結果、観察者がディスプレイを接眼状態で見ていると判定された場合には、全ての表示領域が観察可能であるため、フルサイズの画像を表示すればよい。 On the other hand, as a result of the determination of the eyepiece state and the non-eyepiece state based on the result of the eyepiece determination sensor 10, if it is determined that the observer is viewing the display in the eyepiece state, all display areas can be observed. Therefore, a full-size image may be displayed.
ここで、観察者の眼とディスプレイとの相対位置を求める瞳位置センサーの具体例について述べる。 Here, a specific example of a pupil position sensor for obtaining the relative position between the observer's eyes and the display will be described.
まず、例えば、瞳位置センサー3として小型ディスプレイ装置本体6にCCD(Charge coupled device)やCMOS等の撮像素子を装着し、該瞳位置センサー3により取得した観察者の顔画像より、認識処理を用いて観察者の眼の位置を検出する方法がある。この認識処理としては、例えば、カメラや撮像素子等を観察者の方向に向け、カメラや撮像素子等で観察者の顔、さらには眼の位置を認識する方法が知られている(例えば、文献:形状抽出とパターン照合の組合せによる顔特徴点抽出(福井、山口)電気通信学会論文誌Vol.J80−D2 No.8 pp.2170−2177など)。この場合、カメラや撮像素子等の光軸とディスプレイの光軸とが一致するように配置すれば、観察者の顔および眼の位置の計算が簡単になる。
First, for example, an image pickup device such as a CCD (Charge Coupled Device) or CMOS is mounted on the small
また、例えば、図8に示すように、小型ディスプレイ装置本体6に受光素子(例えば、赤外発光素子)31を装着するとともに、観察者の顔面にはワイヤレスの発光素子(赤外発光素子)32を装着し(図8は、素子を装備した眼鏡をかけさせる例)、それら受光素子31と発光素子32により、ディスプレイに対する眼の位置を推定する方法がある(例えば、赤外光の到達時間を、距離に換算して、推定処理を行う)。なお、この場合において、受信素子を単数、送信素子を単数とする方法、受信素子を複数、送信素子を単数とする方法、受信素子を単数、送信素子を複数とする方法、受信素子を複数、送信素子を複数とする方法がある。素子を複数にすることによって、推定精度を向上させることができる。
For example, as shown in FIG. 8, a light receiving element (for example, an infrared light emitting element) 31 is attached to the small display device
なお、図8において、受光素子31の代わりに、撮像素子を用いることもできる。 In FIG. 8, an image sensor can be used instead of the light receiving element 31.
また、例えば、図8において、受光素子31と発光素子32の対の代わりに、受光素子31を受信機(例えば、マイクロフォン)、発光素子32をワイヤレス発信機として、相対位置を認識する方法もある。この場合、ワイヤレス発信機は、例えば、変調させた超音波を発信させるものであてもよい。この方法によっても、ワイヤレス発信機に対する受信機の相対的位置関係を求めることができる。 Further, for example, in FIG. 8, there is a method of recognizing the relative position by using the light receiving element 31 as a receiver (for example, a microphone) and the light emitting element 32 as a wireless transmitter instead of the pair of the light receiving element 31 and the light emitting element 32. . In this case, the wireless transmitter may transmit a modulated ultrasonic wave, for example. This method can also determine the relative positional relationship of the receiver with respect to the wireless transmitter.
もちろん、上記において、発光素子や発信器を小型ディスプレイ装置側に装備し、受光素子や受信機を観察者側に装着する方法も可能である。 Of course, in the above, it is possible to equip the light-emitting element and the transmitter on the small display device side, and attach the light-receiving element and the receiver to the observer side.
なお、これまでは、接眼か非接眼かの判定を接眼判定センサー10の出力に基づいて行う例を示したが、接眼判定センサー10を備えずに、瞳位置センサー3を接眼か非接眼かの判定に兼用する構成も可能である。 Heretofore, an example of determining whether the eyepiece is an eyepiece or a non-eyepiece has been shown based on the output of the eyepiece determination sensor 10, but without the eyepiece determination sensor 10, whether the pupil position sensor 3 is an eyepiece or a non-eyepiece. A configuration can also be used for determination.
(第2の実施形態)
図9に、本発明の第2の実施形態に係る小型ディスプレイ装置の構成例を示す。
(Second Embodiment)
FIG. 9 shows a configuration example of a small display device according to the second embodiment of the present invention.
図9に示されるように、本実施形態の小型ディスプレイ装置では、第1の実施形態の小型ディスプレイ装置の瞳位置センサー3の代わりに、傾きセンサー21および距離センサー22を備えている。小型表示素子1、光学素子2、情報処置装置4、接眼判定センサー10は、基本的には、第1の実施形態と同様である。5が観察者、6が顔面非装着形の小型ディスプレイ装置本体を示す点も同様である。以下では、第1の実施形態と相違する部分を中心に説明する。
As shown in FIG. 9, the small display device of this embodiment includes a
傾きセンサー21は、小型表示素子1または光学素子2の空間内の姿勢または傾きを計測するためのセンサーである。傾きセンサー21としては、例えば、加速度センサー、ジャイロセンサー等を用いることができる。
The
距離センサー22は、小型表示素子1または光学素子2と観察者の顔面との間の距離を測定するためのセンサーである。距離センサー22としては、例えば、超音波を用いたもの、LEDと撮像素子を用いたもの等を利用できる。また、例えば、撮像素子を用いたもの(画像処理によるもの)も可能である。すなわち、第1の実施形態の瞳位置センサー3と同様の仕組みが利用可能である(第1の実施形態との違いは、距離が取得できればよいので、距離センサー22の構成や距離センサー22の出力に基づく処理が簡易で済むことである)。
The distance sensor 22 is a sensor for measuring the distance between the
図10に、本実施形態の小型ディスプレイ装置の情報処理装置4の処理手順の一例を示す。
FIG. 10 shows an example of the processing procedure of the
接眼判定センサー10の出力に基づいて、接眼の状態か、非接眼の状態かを判定する(ステップS11)。 Based on the output of the eyepiece determination sensor 10, it is determined whether the eyepiece is in the eyepiece state or non-eyepiece state (step S11).
接眼の状態と判定された場合には(ステップS12)、接眼モードで画像の表示を行う(ステップS13)。 When it is determined that the eyepiece is in the eyepiece state (step S12), the image is displayed in the eyepiece mode (step S13).
非接眼の状態と判定された場合には(ステップS12)、距離センサー22および傾きセンサー21の出力に基づいて(相対的な位置関係として)距離および傾きを取得し(ステップS14)、それら距離および傾きに基づいて、非接眼モードで画像の表示を行う(ステップS15)。 When it is determined that the eyepiece is not in the eyepiece state (step S12), the distance and the inclination are acquired (as a relative positional relationship) based on the outputs of the distance sensor 22 and the inclination sensor 21 (step S14). Based on the tilt, the image is displayed in the non-eyepiece mode (step S15).
本実施形態では、観察者はディスプレイを見る場合、ディスプレイと正対しており、また観察者自身が大きく動くことは少ないという一般的性質を利用している。従って、観察者とディスプレイとがある相対的位置関係にあるときを基準にして、観察者とディスプレイとの距離関係およびディスプレイの姿勢から、図11に示すように(6は小型ディスプレイ装置本体、7は表示部、8’は観察可能領域、9は観察可能範囲を示す)、小型表示素子1上の画像を適宜変化させればよい。このとき、第1の実施形態のように小型表示素子1上の画像表示領域を適宜変化させるだけでなく、ディスプレイ装置本体6を実線矢印のように回転させた場合は、破線矢印のように観察可能領域8’を移動させるようにする。図11では、左に傾けた場合について例示したが、同様に、小型ディスプレイ装置本体6を右に傾けた場合は観察領域8’を左に、上に傾けた場合は観察領域8’を下に、また、下に傾けた場合は観察領域8’を上に移動等、装置本体を傾ける方向と逆の方向に観察領域を移動させればよい。
In the present embodiment, when the viewer looks at the display, he or she uses the general property that the viewer is facing the display and the viewer hardly moves greatly. Accordingly, based on the relationship between the distance between the observer and the display and the attitude of the display with reference to the time when the observer and the display are in a certain relative positional relationship, as shown in FIG. 11 (6 is a small display device main body, 7 Is a display unit, 8 'is an observable region, and 9 is an observable range), and the image on the
もちろん、第1の実施形態と同様、小型表示素子1に表示する画像の制御の代わりに、距離センサー22および傾きセンサー21の出力に基づいてレンズ2の制御を行ってもよいし、それら制御の両方を併用する構成も可能である。また、接眼判定センサー10を備えずに、距離センサー22を接眼か非接眼かの判定に兼用する構成も可能である。
Of course, as in the first embodiment, instead of controlling the image displayed on the
(第3の実施形態)
図12に、本発明の小型ディスプレイ装置の第3の実施形態の構成例を示す。
(Third embodiment)
FIG. 12 shows a configuration example of the third embodiment of the small display device of the present invention.
図12に示されるように、本実施形態の小型ディスプレイ装置では、第1の実施形態の小型ディスプレイ装置の瞳位置センサー3を備えず、一方、調光シート23を備えている。小型表示素子1、光学素子2、情報処置装置4、接眼判定センサー10は、基本的には、第1の実施形態と同様である。5が観察者、6が顔面非装着形の小型ディスプレイ装置本体を示す点も同様である。以下では、第1の実施形態と相違する部分を中心に説明する。
As shown in FIG. 12, the small display device of this embodiment does not include the pupil position sensor 3 of the small display device of the first embodiment, but includes the
調光シート23は、電気信号により制御することによって、透過状態にしたり、半透過状態にしたりすることができる、切り替え可能なシートである。
The
本実施形態では、接眼時には、調光シート23を透過状態にして第1、第2の実施形態と同様に画像の表示を行う。一方、非接眼時には、第1、第2の実施形態とは異なり、調光シート23を半透明状態にしてスクリーンとし、ここに像を投射する一種の超小型プロジェクタとする。非接眼時にも観察者とディスプレイとの相対的位置関係にかかわらず、接眼時と同じ像が調光シート上に投射される。ただし、光がスクリーンで散乱するため、非接眼で画像を表示するときは、光源の光強度を接眼時より大きくするのが好ましい。
In the present embodiment, at the time of eye contact, the
図13に、本実施形態の小型ディスプレイ装置の情報処理装置4の処理手順の一例を示す。
FIG. 13 shows an example of the processing procedure of the
接眼判定センサー10の出力に基づいて、接眼の状態か、非接眼の状態かを判定する(ステップS21)。 Based on the output of the eyepiece determination sensor 10, it is determined whether the eyepiece is in an eyepiece state or a non-eyepiece state (step S21).
接眼の状態と判定された場合には(ステップS22)、調光シート23を透過状態にして、接眼モードで画像の表示を行う(ステップS23)。
If it is determined that the eyepiece is in the eye state (step S22), the
非接眼の状態と判定された場合には(ステップS22)、小型表示素子1の輝度を接眼時より増加させ、かつ、調光シート23を半透過状態にして、非接眼モードで画像の表示を行う(ステップS24)。
When it is determined that the eyepiece is in the non-eyepiece state (step S22), the luminance of the
なお、接眼判定センサー10の代わりに、第1の実施形態の瞳位置センサー3や第2の実施形態の距離センサー22を接眼か非接眼かの判定に使用する構成も可能である。 In addition, the structure which uses the pupil position sensor 3 of 1st Embodiment and the distance sensor 22 of 2nd Embodiment for determination of an eyepiece or a non-eyepiece instead of the eyepiece determination sensor 10 is also possible.
第1〜第3の実施形態に係る小型ディスプレイ装置は、画像を表示する以外にも所定の目的に応じた機能を備えていてもよい。例えば、小型ディスプレイ装置は、携帯型計算機であってもよいし、携帯電話であってもよい。 The small display device according to the first to third embodiments may have a function corresponding to a predetermined purpose in addition to displaying an image. For example, the small display device may be a portable computer or a mobile phone.
なお、以上説明してきた構成部分のうち処理を行う部分に相当する機能は、ソフトウェアとして実現することも可能である。 It should be noted that the function corresponding to the processing part among the constituent parts described above can also be realized as software.
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
1…小型表示素子、2,11…光学素子、3…瞳位置センサー、4…情報処置装置、5…観察者、6…ディスプレイ本体、10…接眼判定センサー、21…傾きセンサー、22…距離センサー、23…調光シート、31…受光素子、32…発光素子
DESCRIPTION OF
Claims (5)
前記小型表示素子に表示された画像を拡大するための光学素子と、
前記光学素子の前面に設けられ、透過状態と半透過状態を切り替え可能な調光シートと、
自装置を使用する観察者が接眼状態にあるか非接眼状態にあるかを判定するための判定手段と、
前記判定手段による判定結果に基づいて、前記調光シートの透過状態と半透過状態の切り替えの制御を含む、前記小型表示素子への画像の表示方法の制御を行うための制御手段とを備えたことを特徴とする小型ディスプレイ装置。 A small display element for displaying an image;
An optical element for enlarging an image displayed on the small display element;
A light control sheet provided on the front surface of the optical element and capable of switching between a transmissive state and a semi-transmissive state;
A determination means for determining whether an observer using the device is in an eyepiece state or in a non-eyepiece state;
Control means for controlling a display method of an image on the small display element, including control of switching between a transmission state and a semi-transmission state of the light control sheet based on a determination result by the determination unit. A small display device.
自装置を使用する観察者が接眼状態にあるか非接眼状態にあるかを判定し、
接眼状態にあると判定された場合には、前記調光シートを透過状態にし、非接眼状態にあると判定された場合には、前記調光シートを半透過状態にすることを特徴とする画像表示制御方法。 A small display element for displaying an image, an optical element for enlarging an image displayed on the small display element, and a light control provided on the front surface of the optical element and capable of switching between a transmissive state and a semi-transmissive state An image display control method in a small display device comprising a sheet,
Determine whether the observer using the device is in the eyepiece state or in the noneyepiece state,
When it is determined that the eyepiece is in an eyepiece state, the light control sheet is set to a transmissive state, and when it is determined to be in a non-eyepiece state, the light control sheet is set to a semi-transparent state. Display control method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004274019A JP2005092224A (en) | 2004-09-21 | 2004-09-21 | Small-sized display device and image display control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004274019A JP2005092224A (en) | 2004-09-21 | 2004-09-21 | Small-sized display device and image display control method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001112952A Division JP3648461B2 (en) | 2001-04-11 | 2001-04-11 | Small display device and image display control method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005092224A true JP2005092224A (en) | 2005-04-07 |
Family
ID=34464104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004274019A Pending JP2005092224A (en) | 2004-09-21 | 2004-09-21 | Small-sized display device and image display control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005092224A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007158787A (en) * | 2005-12-06 | 2007-06-21 | Sharp Corp | Display unit and display control method |
JP2010026273A (en) * | 2008-07-22 | 2010-02-04 | Dainippon Printing Co Ltd | Head mounted display |
WO2012137532A1 (en) * | 2011-04-04 | 2012-10-11 | オリンパス株式会社 | Display device, electronic apparatus equipped with display device, and projection unit |
CN106324841A (en) * | 2016-11-24 | 2017-01-11 | 宁波视睿迪光电有限公司 | Augmented reality display device and augmented reality glasses |
CN108319339A (en) * | 2018-01-31 | 2018-07-24 | 京东方科技集团股份有限公司 | A kind of display device and display methods |
-
2004
- 2004-09-21 JP JP2004274019A patent/JP2005092224A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007158787A (en) * | 2005-12-06 | 2007-06-21 | Sharp Corp | Display unit and display control method |
JP2010026273A (en) * | 2008-07-22 | 2010-02-04 | Dainippon Printing Co Ltd | Head mounted display |
WO2012137532A1 (en) * | 2011-04-04 | 2012-10-11 | オリンパス株式会社 | Display device, electronic apparatus equipped with display device, and projection unit |
JP5330623B2 (en) * | 2011-04-04 | 2013-10-30 | オリンパス株式会社 | Display device, electronic apparatus including the display device, and projection unit |
CN106324841A (en) * | 2016-11-24 | 2017-01-11 | 宁波视睿迪光电有限公司 | Augmented reality display device and augmented reality glasses |
CN108319339A (en) * | 2018-01-31 | 2018-07-24 | 京东方科技集团股份有限公司 | A kind of display device and display methods |
CN108319339B (en) * | 2018-01-31 | 2020-04-24 | 京东方科技集团股份有限公司 | Display device and display method |
US11073867B2 (en) | 2018-01-31 | 2021-07-27 | Boe Technology Group Co., Ltd. | Display device and display method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103091843B (en) | See-through display brilliance control | |
CN103917913B (en) | Head mounted display, the method controlling optical system and computer-readable medium | |
US9092671B2 (en) | Visual line detection device and visual line detection method | |
US8360578B2 (en) | Eye tracker device | |
US9459457B2 (en) | Head mounted display with remote control | |
CN110275297B (en) | Head-mounted display device, display control method, and recording medium | |
US10838205B2 (en) | Head mounted display, control method thereof, and computer program | |
KR20170055908A (en) | Cap type virtual reality display image system | |
US10108013B2 (en) | Indirect-view augmented reality display system | |
US20140152558A1 (en) | Direct hologram manipulation using imu | |
JP2017102768A (en) | Information processor, display device, information processing method, and program | |
US11378802B2 (en) | Smart eyeglasses | |
JPWO2015012280A1 (en) | Gaze detection device | |
WO2009101238A1 (en) | Device and method for determining gaze direction | |
US11841502B2 (en) | Reflective polarizer for augmented reality and virtual reality display | |
JP6707823B2 (en) | Display device, display device control method, and program | |
JP2003225207A (en) | Visual axis detector | |
JP6707809B2 (en) | Display device, display device control method, and program | |
TW201843494A (en) | Display system with video see-through | |
US20210263321A1 (en) | Wearable smart optical system using hologram optical element | |
CN112285934B (en) | Image display device and wearable equipment | |
KR102269833B1 (en) | Smart glasses | |
JP2018182570A (en) | Line-of-sight information sharing method and line-of-sight information sharing system | |
CN105212890B (en) | Eye tracker equipment | |
KR20190085345A (en) | Head mount device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070109 |