JP2005092224A - Small-sized display device and image display control method - Google Patents

Small-sized display device and image display control method Download PDF

Info

Publication number
JP2005092224A
JP2005092224A JP2004274019A JP2004274019A JP2005092224A JP 2005092224 A JP2005092224 A JP 2005092224A JP 2004274019 A JP2004274019 A JP 2004274019A JP 2004274019 A JP2004274019 A JP 2004274019A JP 2005092224 A JP2005092224 A JP 2005092224A
Authority
JP
Japan
Prior art keywords
image
eyepiece
small display
state
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004274019A
Other languages
Japanese (ja)
Inventor
Kenichi Kameyama
研一 亀山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2004274019A priority Critical patent/JP2005092224A/en
Publication of JP2005092224A publication Critical patent/JP2005092224A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a small-sized display device which enables a desired image to be observed in either state of eye contact and eye non-contact. <P>SOLUTION: The small-sized display device consists of: a small-sized display element 1 for displaying an image with an electric signal; an optical element 2 for magnifying the image of the small-sized display element 1; a dimming sheet 23 which can be switched to a transparent state and a semitransparent state; an eye contact discriminating sensor 10 for discriminating eye contact or eye non-contact; and an information processor 4. The information processor controls a method of displaying the image on the small-sized display element 1, including control of switching between the transparent state and the semitransparent state of the dimming sheet 23 on the basis of the output of the eye contact discriminating sensor 10. Thus the small-sized display device is realized which enables a desired image to be observed in either state of eye contact and eye non-contact. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、画像を表示するための小型ディスプレイ装置及び画像表示制御方法に関する。   The present invention relates to a small display device and an image display control method for displaying an image.

従来の小型ディスプレイ装置としては、ヘッドマウンティドディスプレイ(以下、HMDと記す)やフェイスマウントディスプレイ(以下、FMDと記す)が知られている。これらは、液晶や発光ダイオード(LED)等の高精細表示素子をディスプレイ使用者の眼前に配置し、その素子上に表示される微小精細画像を非球面レンズや非球面プリズムによって拡大する。従って、ディスプレイ装置を観察者に固定装着する必要はあるものの、小型の装置ながら大きな精細画像を表示させることができる。また、同様に観察者の眼とビームスプリッタを挟んで必ず共役な位置に小型プロジェクタを配置し、再帰性反射スクリーンを介して像を見るディスプレイとして、ヘッドマウンティドプロジェクタ(以下、HMPと記す)が知られている。   As a conventional small display device, a head mounted display (hereinafter referred to as HMD) and a face mount display (hereinafter referred to as FMD) are known. In these devices, a high-definition display element such as a liquid crystal or a light-emitting diode (LED) is arranged in front of the display user, and a micro-definition image displayed on the element is enlarged by an aspheric lens or an aspheric prism. Therefore, although a display device needs to be fixedly attached to an observer, a large fine image can be displayed with a small device. Similarly, a head-mounted projector (hereinafter referred to as “HMP”) is used as a display in which a small projector is disposed at a conjugate position between the observer's eye and the beam splitter, and an image is viewed through a retroreflective screen. It has been known.

一方、携帯電話や携帯型コンピュータにも液晶や有機エレクトロルミネッセンスデバイス(有機EL)を利用した小型ディスプレイ装置が搭載されているが、これらの表示系は像を拡大するための光学素子を持たないため、像はディスプレイ位置で観察される。HMDやFMDと違って、ディスプレイ装置を眼前に配置しなくてもフルサイズの像を観察できる。しかし、表示画面サイズが限られるため、自動、手動による様々なスクロール技術が開発されている。   On the other hand, small display devices using liquid crystals and organic electroluminescence devices (organic EL) are also mounted on mobile phones and portable computers, but these display systems do not have optical elements for enlarging images. The image is observed at the display position. Unlike HMD and FMD, a full-size image can be observed without arranging a display device in front of the eyes. However, since the display screen size is limited, various automatic and manual scrolling techniques have been developed.

上述した様に、従来の小型ディスプレイ装置のうち、HMDやFMD、HMPで安定して画像を見るためには、使用者の顔面にディスプレイが近接するように装置が頭部に固定装着される必要がある。近年、非球面プリズム等の採用により、ディスプレイの軽量化、小型化は進んでいるが、このような機器の顔面への近接、頭部への装着は、不快なものであり、かつ着脱も不便である。また、観察者の知覚する像の奥行き位置と光学系によって作られる像の奥行き位置、および目の光軸とディスプレイの光軸が合わない状態で長時間像を見つづけると、眼の輻輳・調節機能が自然視と異なった状態となるために、著しい眼の疲労を覚える場合がある。特にHMD、FMD、HMPでは着脱の不便さから長時間、像を観察する可能性が高いため、この眼の疲労が特に問題となっていた。   As described above, among the conventional small display devices, in order to view images stably with HMD, FMD, or HMP, the device needs to be fixedly mounted on the head so that the display is close to the user's face. There is. In recent years, the use of aspherical prisms has made the display lighter and smaller, but it is uncomfortable to attach such devices to the face and to the head, and it is inconvenient to attach and detach. It is. Also, if you keep looking at the depth of the image perceived by the observer, the depth of the image created by the optical system, and the optical axis of the eye and the optical axis of the display for a long time, eye convergence and adjustment Since the function is different from that of natural vision, there may be significant eye fatigue. Especially in HMD, FMD, and HMP, since there is a high possibility of observing an image for a long time due to the inconvenience of attachment and detachment, this eye fatigue has been a particular problem.

一方、携帯電話や携帯型コンピュータのディスプレイでは、観察者は画面を観察する際、装置を頭部に固定装着する必要は無いものの、画面が小さいため、多くの情報を素早く眺めるのに必ずしも適した方法とは言えなかった。また、画像情報を他人から覗き込まれる可能性があり、現在、覗き見防止用指向性フィルターが販売されているほどである。   On the other hand, in the display of a mobile phone or a portable computer, the observer does not need to fix the device to the head when observing the screen, but the screen is small, so it is not necessarily suitable for quickly viewing a large amount of information. It wasn't a way. In addition, there is a possibility that image information may be looked into by others, and so far, directivity filters for peeping prevention are on the market.

従って、より多くの情報を素早く眺める場合、あるいは他人から表示情報を覗き込まれたくない場合は、短時間、ディスプレイを接眼状態にして仮想的に大きな高精細画面を眺め、それ以外の時は、非接眼で身体を拘束されることなくディスプレイを観察できるのが理想である。   Therefore, if you want to look at more information quickly, or if you do not want to look into the display information from others, you can view the virtual high-definition screen with the display in the eyepiece state for a short time, otherwise, Ideally, the display can be observed without being restrained by the eyepiece.

しかるに、従来の小型ディスプレイでは接眼、非接眼の両方で使うことを想定していない。例えば、HMDまたはFMDでは、接眼での使用を前提としているため、非接眼状態で観察すると観察者自身やディスプレイの位置や向きの僅かな変化によって見える像が大きく変化してしまう。このような状態で所望の像を見るためには、観察者が常にディスプレイ位置を微妙に動かして像を探さなければならなかった。また、画像を壁面や離れたスクリーンに拡大投射して観察する方法については既に様々な提案がなされているが、ディスプレイから離れたスクリーン上で一旦光を散乱させるためには輝度の高い光源が必要で、装置の小型化が難しかった。   However, the conventional small display is not assumed to be used for both eyepiece and non-eyepiece. For example, since the HMD or FMD is premised on the use with an eyepiece, the observed image changes greatly due to slight changes in the position and orientation of the observer and the display when observed in a non-eyepiece state. In order to view a desired image in such a state, the observer must always move the display position slightly to search for the image. Various proposals have already been made on the method of magnifying and observing an image on a wall or a remote screen, but a high-luminance light source is required to scatter light once on the screen away from the display. It was difficult to reduce the size of the device.

本発明は、上記事情を考慮してなされたもので、接眼、非接眼のどちらの状態でも所望の画像を観察可能にする小型ディスプレイ装置及び画像表示方法を提供することを目的とする。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a small display device and an image display method that enable a desired image to be observed in both an eyepiece state and a non-eyepiece state.

本発明に係る小型ディスプレイ装置は、画像を表示するための小型表示素子と、前記小型表示素子に表示された画像を拡大するための光学素子と、自装置における所定の箇所と、自装置を使用する観察者の所定の身体部位との間の位置的な関係を求めるための計測手段と、前記計測手段により求められた前記位置的な関係に基づいて画像の表示方法を制御するための制御手段とを備えたことを特徴とする。   A small display device according to the present invention uses a small display element for displaying an image, an optical element for enlarging an image displayed on the small display element, a predetermined location in the own device, and the own device. Measuring means for obtaining a positional relationship with a predetermined body part of an observer who performs the measurement, and control means for controlling an image display method based on the positional relationship obtained by the measuring means It is characterized by comprising.

好ましくは、前記計測手段は、前記観察者が接眼状態にあるか非接眼状態にあるかを判定するための手段を含み、前記制御手段は、接眼状態にあると判定されたかまたは非接眼状態にあるかと判定されたかに応じて異なる制御を行うようにしてもよい。   Preferably, the measurement unit includes a unit for determining whether the observer is in an eyepiece state or in a non-eyepiece state, and the control unit is determined to be in the eyepiece state or in the non-eyepiece state. Different control may be performed depending on whether or not it is determined.

好ましくは、前記制御手段は、接眼状態にあると判定された場合には、前記小型表示素子全体にわたって画像全体を表示させるように制御するようにしてもよい。   Preferably, when it is determined that the eyepiece is in the eyepiece state, the control unit may perform control so that the entire image is displayed over the entire small display element.

好ましくは、前記計測手段は、自装置における所定の位置を基準としたときの、前記観察者の顔部または瞳の空間位置を求めるための手段を含み、前記制御手段は、非接眼状態にあると判定された場合には、前記小型表示素子における前記観察者の顔部または瞳の空間位置に対応する部分領域に所定の画像を表示させるように制御するようにしてもよい。   Preferably, the measurement unit includes a unit for obtaining a spatial position of the face or pupil of the observer when a predetermined position in the apparatus is used as a reference, and the control unit is in a non-eyepiece state. If it is determined, a control may be performed so that a predetermined image is displayed in a partial region corresponding to the spatial position of the observer's face or pupil in the small display element.

好ましくは、前記計測手段は、自装置における所定の位置を基準としたときの、前記観察者の顔部までの距離を求めるための手段と、自装置における空間内の姿勢または傾きを求めるための手段とを含み、前記制御手段は、非接眼状態にあると判定された場合には、前記距離に応じた前記小型表示素子における部分領域に、表示対象となる画像のうちの特定の部分を表示させるように制御するとともに、前記姿勢または傾きに基づいて該表示対象となる画像のうちから表示すべき特定の部分の箇所を変化させるようにしてもよい。   Preferably, the measuring means is for obtaining a distance to the observer's face when a predetermined position in the own apparatus is used as a reference, and for obtaining an attitude or inclination in the space of the own apparatus. The control means displays a specific part of the image to be displayed in the partial area of the small display element corresponding to the distance when it is determined that the eyepiece is in the non-eyepiece state. In addition, the position of a specific portion to be displayed may be changed from the image to be displayed based on the posture or the inclination.

また、本発明に係る小型ディスプレイ装置は、画像を表示するための小型表示素子と、前記小型表示素子に表示された画像を拡大するための光学素子と、前記光学素子の前面に設けられ、透過状態と半透過状態を切り替え可能な調光シートと、自装置を使用する観察者が接眼状態にあるか非接眼状態にあるかを判定するための判定手段と、前記判定手段による判定結果に基づいて、前記調光シートの透過状態と半透過状態の切り替えの制御を含む、前記小型表示素子への画像の表示方法の制御を行うための制御手段とを備えたことを特徴とする。   The small display device according to the present invention is provided with a small display element for displaying an image, an optical element for enlarging an image displayed on the small display element, and a front surface of the optical element. A light control sheet capable of switching between a state and a semi-transmissive state, a determination unit for determining whether an observer using the device is in an eyepiece state or a non-eyepiece state, and a determination result by the determination unit And a control means for controlling a method of displaying an image on the small display element, including control of switching between a transmissive state and a semi-transmissive state of the light control sheet.

好ましくは、前記制御手段は、接眼状態にあると判定された場合には、前記調光シートが透過状態になるように制御するとともに、前記小型表示素子全体にわたって画像全体を表示させるように制御するようにしてもよい。   Preferably, when it is determined that the eyepiece is in the eyepiece state, the control unit performs control so that the light control sheet is in a transmissive state and displays the entire image over the entire small display element. You may do it.

好ましくは、前記制御手段は、非接眼状態にあると判定された場合には、前記調光シートが半透過状態になるように制御するとともに、前記小型表示素子全体にわたって画像全体を表示させるように制御することによって、前記小型表示素子から前記調光シートに投射された画像が非接眼状態の前記観察者から観察可能になるように制御するようにしてもよい。   Preferably, when it is determined that the control unit is in the non-eyepiece state, the control unit controls the light control sheet to be in a semi-transmissive state, and displays the entire image over the entire small display element. By controlling, the image projected from the small display element onto the light control sheet may be controlled so as to be observable by the observer in a non-eyepiece state.

なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。   The present invention relating to the apparatus is also established as an invention relating to a method, and the present invention relating to a method is also established as an invention relating to an apparatus.

本発明では、観察者の頭部または瞳などの位置に応じて表示制御を行うことができる。これによって、例えば、接眼、非接眼を判定し、接眼時には、画像全体を表示素子の全領域に表示し(観察者は仮想的に大きな画面を眺めることができる)、非接眼時には、観察者の頭部または眼とディスプレイとの位置的な関係を把握し、それに応じて表示画面を制御することによって、観察者の頭部が前後などに動いても一定した画像が観察されるように表示することができる。   In the present invention, display control can be performed according to the position of the observer's head or pupil. Thereby, for example, the eyepiece and the non-eyepiece are determined, and when the eyepiece is displayed, the entire image is displayed in the entire area of the display element (the observer can virtually view a large screen). By grasping the positional relationship between the head or eyes and the display, and controlling the display screen accordingly, it displays so that a constant image can be observed even if the observer's head moves back and forth be able to.

また、本発明では、透過、半透過を電子的に制御できる調光シートを用いることで、接眼時には、透明シートとして使用し、非接眼時には、スクリーンとして使用できる。   Further, in the present invention, by using a light control sheet that can electronically control transmission and semi-transmission, it can be used as a transparent sheet during eye contact and as a screen during non-eye contact.

本発明によれば、接眼、非接眼のどちらの状態でも所望の画像を観察可能な小型ディスプレイが実現できる。例えば、より多くの情報を素早く眺める場合あるいは他人から覗き込まれたくない場合は、接眼にして、仮想的に大きな画面を眺め、それ以外の場合は、非接眼にして、直視するような使い方が可能になる。   According to the present invention, a small display capable of observing a desired image in both an eyepiece state and a non-eyepiece state can be realized. For example, if you want to see more information quickly or do not want to be looked into by someone else, you can use an eyepiece to look at a virtual large screen, otherwise it may be a non-eyepiece and look directly at you. It becomes possible.

本発明によれば、接眼、非接眼のどちらの状態でも所望の画像を観察可能な小型ディスプレイが実現できる。   According to the present invention, a small display capable of observing a desired image in both an eyepiece state and a non-eyepiece state can be realized.

以下、図面を参照しながら発明の実施の形態を説明する。   Hereinafter, embodiments of the invention will be described with reference to the drawings.

(第1の実施形態)
図1に、本発明の第1の実施形態に係る小型ディスプレイ装置の構成例を示す。
(First embodiment)
FIG. 1 shows a configuration example of a small display device according to the first embodiment of the present invention.

図1において、6は顔面非装着形の小型ディスプレイ装置本体であり、5は観察者である。また、1は小型表示素子、2は光学素子、3は瞳位置センサー、4は情報処置装置、10は接眼判定センサーである。   In FIG. 1, reference numeral 6 denotes a small display device main body that is not attached to the face, and reference numeral 5 denotes an observer. Reference numeral 1 denotes a small display element, 2 denotes an optical element, 3 denotes a pupil position sensor, 4 denotes an information processing device, and 10 denotes an eyepiece determination sensor.

小型表示素子1は、微小画像を生成するための素子であり、情報処置装置4から与えられる電気的信号により画像を表示する。小型表示素子1は、例えば、液晶と光源、有機エレクトロルミネッセンスデバイス(有機EL)、フィールドエミッションデバイス(FED)、または発光ダイオード(LED)等を用いて構成することができる。また、小型表示素子1は、例えば、その画面の対角が2型以下の大きさのものである(2型を越える場合もあり得る)。   The small display element 1 is an element for generating a minute image, and displays an image by an electrical signal given from the information processing apparatus 4. The small display element 1 can be configured using, for example, a liquid crystal and a light source, an organic electroluminescence device (organic EL), a field emission device (FED), or a light emitting diode (LED). Further, the small display element 1 has, for example, a screen whose diagonal is a size of 2 types or less (it may exceed 2 types).

光学素子2は、本小型ディスプレイ装置の光学系を形成するもので、小型表示素子1に表示された微小画像を拡大するための素子である。光学素子2は、例えば、レンズ、プリズム、ホログラフィック素子(HOE)、液晶素子、もしくはレトロリフレクター等の要素、またはそれらの組み合わせから構成される。また、例えば、複数枚の素子あるいは液晶レンズを用いれば、像をズームアップすることもでき、あるいは例えば、回折光学素子やプリズムを用いれば、像を屈折させて表示することも可能である。   The optical element 2 forms an optical system of the small display device, and is an element for enlarging a minute image displayed on the small display element 1. The optical element 2 includes, for example, an element such as a lens, a prism, a holographic element (HOE), a liquid crystal element, or a retroreflector, or a combination thereof. Further, for example, if a plurality of elements or liquid crystal lenses are used, the image can be zoomed up. For example, if a diffractive optical element or a prism is used, the image can be refracted and displayed.

瞳位置センサー3は、小型表示素子1または光学素子2に対する、観察者の瞳または顔面の相対的な位置関係(例えば、小型表示素子1または光学素子2の中心部を原点としたときの、観察者の顔面または一方もしくは両方の瞳の3次元座標値などの空間位置等)を、計測または推測するためのセンサーである。瞳位置センサー3は、撮像素子などの受動素子のみによるもの、送受信器などの能動素子および受動素子によるものなどがある。前者は、例えば、小型ディスプレイ装置本体6側から(1又は複数の)撮像素子により観察者の顔部を撮った画像を処理して、相対的な空間位置を求める形態などである。後者は、例えば、小型ディスプレイ装置本体6に赤外線や超音波などの(1又は複数の)送信装置と(1又は複数の)受信装置の一方を装備しかつ観察者の顔部等に送信装置と受信装置の他方を装着し、それら送受信装置間での信号の授受を利用する形態、あるいは小型ディスプレイ装置本体6に(1又は複数の)送信装置と(1又は複数の)受信装置を装備し、送信装置から送信され観察者の顔部等で反射してきた信号を受信装置で受信するエコー法を利用する形態などである。   The pupil position sensor 3 is a relative positional relationship of the observer's pupil or face with respect to the small display element 1 or the optical element 2 (for example, observation when the central portion of the small display element 1 or the optical element 2 is the origin) A spatial position such as a three-dimensional coordinate value of a person's face or one or both pupils). The pupil position sensor 3 includes only a passive element such as an imaging element, and an active element and passive element such as a transceiver. The former is, for example, a form in which an image obtained by taking an image of the face of the observer from the small display device main body 6 side with one or a plurality of image pickup elements is processed to obtain a relative spatial position. In the latter case, for example, the small display device main body 6 is equipped with one (one or a plurality) of transmission devices such as infrared rays or ultrasonic waves and one (a plurality of) reception devices, and the transmission device on the face of the observer or the like. A mode in which the other of the receiving devices is mounted and the transmission / reception of signals between the transmitting / receiving devices is used, or the small display device body 6 is equipped with the transmitting device (s) and the receiving device (s), For example, an echo method may be used in which a signal transmitted from a transmission device and reflected by an observer's face or the like is received by a reception device.

接眼判定センサー10は、観察者が接眼状態で本小型ディスプレイ装置のディスプレイを観察しているか、非接眼状態で観察しているかを判定するためのセンサーである。接眼判定センサー10は、例えば、赤外線フォトトランジスタ等を用いて構成することができる(例えば、赤外線発光素子と赤外線発受光素子を、観察者が小型ディスプレイ装置に対して接眼状態になっているときに赤外線発光素子から送信された赤外光が観察者の顔部等で反射して赤外線発受光素子に入射するように小型ディスプレイ装置本体6に配置する形態などである)。   The eyepiece determination sensor 10 is a sensor for determining whether the observer is observing the display of the small display device in an eyepiece state or in a non-eyepiece state. The eyepiece determination sensor 10 can be configured by using, for example, an infrared phototransistor or the like (for example, when an observer is in an eyepiece state with respect to a small display device using an infrared light emitting element and an infrared light emitting / receiving element). The infrared light transmitted from the infrared light emitting element is arranged in the small display device main body 6 so that the infrared light is reflected by the observer's face or the like and enters the infrared light emitting / receiving element).

情報処置装置4は、瞳位置センサー3および接眼判定センサー10の出力に基づいて小型表示素子1に表示する画像情報をコントロールすることによって、観測者(5)に観測される画像情報をコントロールする処理を行う。情報処置装置4は、例えば、マイクロコンピュータおよびソフトウェア、あるいは専用の半導体素子等を用いて構成することができる。   The information processing apparatus 4 controls the image information observed by the observer (5) by controlling the image information displayed on the small display element 1 based on the outputs of the pupil position sensor 3 and the eyepiece determination sensor 10. I do. The information processing apparatus 4 can be configured using, for example, a microcomputer and software, or a dedicated semiconductor element.

なお、観察者に表示する画像は、当該小型ディスプレイ装置内部に蓄積されたデータでもよい。この場合には、例えば、小型ディスプレイ装置は、画像データを蓄積するためのメモリを備えればよい。   Note that the image displayed to the observer may be data stored in the small display device. In this case, for example, the small display device may include a memory for storing image data.

また、観察者に表示する画像は、当該小型ディスプレイ装置内部に蓄積されたデータでなくてもよい。この場合には、例えば、小型ディスプレイ装置は、外部から画像データを受信するための装置(例えば、ネットワークアダプタ)を備えればよい。また、外部から受信した、符号化された画像データを表示可能とするために、該符号化された画像データを復号するための装置(例えば、MPEG4デコーダ)を更に備えてもよい。これによって、多様な情報を表示する装置として利用することができる。   Further, the image displayed to the observer may not be data stored in the small display device. In this case, for example, the small display device may include a device (for example, a network adapter) for receiving image data from the outside. Further, in order to be able to display the encoded image data received from the outside, an apparatus (for example, an MPEG4 decoder) for decoding the encoded image data may be further provided. Thus, it can be used as a device for displaying various information.

また、上記の内部に蓄積された画像データを表示する機能と、外部から受信した画像データを表示する機能の両方を備えるようにしてもよい。   Moreover, you may make it provide both the function to display the image data accumulate | stored in said inside, and the function to display the image data received from the outside.

その他にも、種々のバリエーションが可能である。   Various other variations are possible.

図2に、本実施形態の小型ディスプレイ装置の情報処理装置4の処理手順の一例を示す。   FIG. 2 shows an example of a processing procedure of the information processing apparatus 4 of the small display device of the present embodiment.

接眼判定センサー10の出力に基づいて、接眼の状態か、非接眼の状態かを判定する(ステップS1)。   Based on the output of the eyepiece determination sensor 10, it is determined whether the eyepiece is in an eyepiece state or a non-eyepiece state (step S1).

接眼の状態と判定された場合には(ステップS2)、接眼モードで画像の表示を行う(ステップS3)。接眼モードでは、例えば小型表示素子全体にわたって画像(全体)を表示する。   If it is determined that the eyepiece is in the state (step S2), the image is displayed in the eyepiece mode (step S3). In the eyepiece mode, for example, an image (entire) is displayed over the entire small display element.

非接眼の状態と判定された場合には(ステップS2)、瞳位置センサー3の出力に基づいて相対的な位置関係を取得し(ステップS4)、その位置関係に基づいて、非接眼モードで画像の表示を行う(ステップS5)。非接眼モードでは、例えば、小型表示素子の観察者の瞳位置に対応する領域に所望の画像(例えば、画像の一部)を表示する。   When it is determined that the eyepiece is not in the eyepiece state (step S2), the relative positional relationship is acquired based on the output of the pupil position sensor 3 (step S4), and the image is displayed in the noneyepiece mode based on the positional relationship. Is displayed (step S5). In the non-eyepiece mode, for example, a desired image (for example, a part of the image) is displayed in an area corresponding to the pupil position of the observer of the small display element.

図3に、本実施形態の小型ディスプレイ装置の使用例を示す。図3において、(a)が接眼時、(b)が非接眼時である。また、5が観察者、6がディスプレイ装置本体、7が表示部(ディスプレイの開口部分)、8,8’が観察可能領域、9が観察可能範囲を示す。   FIG. 3 shows an example of use of the small display device of this embodiment. In FIG. 3, (a) is when the eye is in contact, and (b) is when the eye is not. Reference numeral 5 denotes an observer, 6 denotes a display device main body, 7 denotes a display unit (display opening), 8, 8 'denotes an observable region, and 9 denotes an observable range.

図3の例では、接眼時には全ての領域が観察可能であるのに対し、非接眼時には観察者(5)は8’の実線矩形で示す範囲内のみが観察できる領域となっている((a)では、8の領域と9の範囲が一致しているのに対して、(b)では、8’の領域は9の範囲より狭くなっている)。なお、8’の観察可能領域については、例えば本小型ディスプレイ装置ごとに設定する方法、画像コンテンツに応じて設定する方法、観測者が調整可能とする方法などがある。   In the example of FIG. 3, the entire region can be observed when the eye is in contact, while the observer (5) is the region in which only the region indicated by the solid line rectangle 8 ′ can be observed when the eye is not in contact ((a ), The 8 region and the 9 range coincide with each other, whereas in (b) the 8 ′ region is narrower than the 9 range). Note that the 8 'observable region includes, for example, a method for setting each small display device, a method for setting according to image content, and a method for enabling an observer to adjust.

さて、本実施形態では、接眼か非接眼かを検出し、図3の(a)や(b)に示すように、それらに応じた表示制御を行うとともに、さらに図3(b)に示すような非接眼状況においては、観察者の頭部位置(瞳位置)の変化によらず、観察者が安定して同一の画像を観察できるようにするための仕組みを構築することによって、接眼、非接眼のどちらでも使用可能な小型ディスプレイ装置を実現している。   Now, in this embodiment, it is detected whether it is an eyepiece or a non-eyepiece, and as shown in (a) and (b) of FIG. 3, display control is performed according to them, and further, as shown in FIG. 3 (b). In such a non-ocular situation, the eyepiece is non-occluded by constructing a mechanism for allowing the observer to stably observe the same image regardless of changes in the observer's head position (pupil position). A small display device that can be used with either eyepiece has been realized.

以下、図4〜図6を参照しながら、本実施形態の小型ディスプレイ装置の仕組み(特に、非接眼時)について説明する。なお、図4〜図6の参照符号のうち図1、図3と同じものは、既に説明したとおりである。   Hereinafter, the mechanism (particularly, when the eyepiece is not in use) of the small display device of the present embodiment will be described with reference to FIGS. 4 to 6 are the same as those already described with reference to FIGS.

まず、図4に、観察者が小型ディスプレイ装置のディスプレイ部分を非接眼で見ている状況における小型ディスプレイ装置の各素子と観察者の瞳との関係を示す。観察者(5)が右目から眺める小型表示素子1上の像をB、左眼から眺める像をAとすると、観察者がディスプレイから離れている場合、観察者が眺める像A、像Bの位置は、それぞれ図4に示すようになる(図4において、8’は観察可能領域に相当し、9は観察可能範囲に相当する)。例えば、このとき像A、像Bが小型表示素子1上でオーバーラップせず、それぞれに左右眼の視差分のずれを与えた画像を表示すれば、眼鏡無しでの立体視が可能となるため、奥行きを持つ空間表示も可能となる。また、例えば、このとき像A、像Bとして(すなわち左右眼について)全く同じ画像を表示してもよい。一方、図5に示すように、観察者(5)の左右どちらか一方の目(通常は効き目側)のみに像を提示してもよい。   First, FIG. 4 shows the relationship between each element of the small display device and the pupil of the observer in a situation where the observer is viewing the display portion of the small display device with a non-eyepiece. Assuming that an image on the small display element 1 viewed by the observer (5) from the right eye is B and an image viewed from the left eye is A, the positions of the image A and the image B viewed by the observer when the observer is away from the display Are respectively as shown in FIG. 4 (in FIG. 4, 8 ′ corresponds to an observable region and 9 corresponds to an observable range). For example, if images A and B do not overlap on the small display element 1 at this time, and images are displayed with a shift corresponding to the parallax between the left and right eyes, stereoscopic viewing without glasses is possible. In addition, spatial display with depth is also possible. For example, at this time, the same image may be displayed as the image A and the image B (that is, for the left and right eyes). On the other hand, as shown in FIG. 5, an image may be presented only to one of the left and right eyes (usually the effective side) of the observer (5).

次に、図6を参照しながら、被接眼時の画像表示制御について説明する。非接眼時における、観察可能な像の位置、大きさは、観察者の目とディスプレイとの相対位置によって変化するため、小型ディスプレイ装置本体6側に取り付けた瞳位置センサー3を使って、(好ましくは常時)この位置関係を把握し、その結果に基づいて小型表示素子1上での表示個所を変化させる。簡単のため、目とディスプレイが図6に示すようになっており、小型表示素子1がレンズの射出瞳に比べ十分大きくかつ単純な焦点距離fの凸レンズ2を用いた場合を例として挙げると、このとき画像は図6の斜線で示す位置(8’)に見えるように表示すればよく、これに相当する小型表示素子1上での位置は、20の両端矢印で示した範囲となる。   Next, image display control during eye contact will be described with reference to FIG. Since the position and size of the observable image at the time of non-eyepiece change depending on the relative position between the observer's eyes and the display, the pupil position sensor 3 attached to the small display device main body 6 side is used (preferably Always) grasps this positional relationship, and changes the display location on the small display element 1 based on the result. For simplicity, the eyes and the display are as shown in FIG. 6, and the case where the small display element 1 uses a convex lens 2 that is sufficiently larger than the exit pupil of the lens and has a simple focal length f is taken as an example. At this time, the image may be displayed so as to appear at the position (8 ′) indicated by the oblique lines in FIG. 6, and the position on the small display element 1 corresponding to this is the range indicated by the double-ended arrow 20.

凸レンズ2の中心を原点として、レンズ光軸方向をx軸、x軸に垂直な方向をy軸とし、観察者の眼の位置を(x0,y0)、小型表示素子1の位置を−a、レンズ2の射出瞳を2mとすると、観察者から見える領域は、次の式(1)で示された範囲となる。

Figure 2005092224
The center of the convex lens 2 is the origin, the lens optical axis direction is the x axis, the direction perpendicular to the x axis is the y axis, the observer's eye position is (x 0 , y 0 ), and the position of the small display element 1 is − a, If the exit pupil of the lens 2 is 2 m, the region that can be seen by the observer is a range represented by the following equation (1).
Figure 2005092224

すなわち、式(1)で示された範囲に同じ図形や文字等が表示されるように像の拡大縮小を行えば、観察者からは像が止まって見える。   That is, if the image is enlarged or reduced so that the same figure, character, or the like is displayed in the range indicated by the expression (1), the image appears to stop for the observer.

なお、この例では、説明を簡単にするため、二次元面内で考えたが、三次元に拡張しても同様の方法が適用可能である。   In this example, in order to simplify the explanation, it was considered in a two-dimensional plane, but the same method can be applied even if it is extended to three dimensions.

また、上記では、情報処置装置4は、瞳位置センサー3の出力に基づいて小型表示素子1に表示する画像の拡大、縮小を行う例であったが、その代わりに、レンズ2の表示画像の拡大率(あるいは焦点距離)およびまたは表示方向を変化させる構成も可能である。この場合には、光学素子2には、その表示画像の拡大率、表示方向、または拡大率と表示方向の両方が、瞳位置センサー3の出力に応じて可変であるような素子を使用してもよい。   In the above description, the information processing device 4 is an example in which the image displayed on the small display element 1 is enlarged or reduced on the basis of the output of the pupil position sensor 3. A configuration in which the enlargement ratio (or focal length) and / or display direction is changed is also possible. In this case, the optical element 2 uses an element whose display image has an enlargement factor, a display direction, or both an enlargement factor and a display direction that are variable according to the output of the pupil position sensor 3. Also good.

また、上記の小型表示素子1に表示する画像の制御と、レンズ2の制御の両方を併用する構成も可能である。   Further, a configuration in which both the control of the image displayed on the small display element 1 and the control of the lens 2 are used together is possible.

なお、小型表示素子1の大きさがレンズの射出瞳と同程度かそれより小さい場合には、非接眼時に、観察者とディスプレイとの相対位置によっては、対応する領域が小型表示素子1上に確保できないことがある。このような場合には、図7に示すように、小型表示素子1と凸レンズ2の間に像を屈折させて伝達するための可変プリズム等の光学素子11を入れ、かつ観察者の瞳位置に対応する画像領域もそれに合わせて変形すればよい。   If the size of the small display element 1 is about the same as or smaller than the exit pupil of the lens, the corresponding area may be on the small display element 1 depending on the relative position between the observer and the display when the eye is not in eye contact. It may not be secured. In such a case, as shown in FIG. 7, an optical element 11 such as a variable prism for refracting and transmitting an image is inserted between the small display element 1 and the convex lens 2, and at the observer's pupil position. The corresponding image area may be deformed accordingly.

このように、接眼判定センサー10の結果に基づいて接眼状態、非接眼状態の判定を行った結果、観察者がディスプレイを非接眼状態で見ていると判定された場合には、画像の所定部分を、観測者が安定して観測できるように、瞳位置センサー3の出力に基づいて制御することができる。   As described above, when it is determined that the viewer is viewing the display in the non-eyepiece state as a result of the determination of the eyepiece state or the non-eyepiece state based on the result of the eyepiece determination sensor 10, a predetermined portion of the image is displayed. Can be controlled based on the output of the pupil position sensor 3 so that the observer can observe stably.

一方、接眼判定センサー10の結果に基づいて接眼状態、非接眼状態の判定を行った結果、観察者がディスプレイを接眼状態で見ていると判定された場合には、全ての表示領域が観察可能であるため、フルサイズの画像を表示すればよい。   On the other hand, as a result of the determination of the eyepiece state and the non-eyepiece state based on the result of the eyepiece determination sensor 10, if it is determined that the observer is viewing the display in the eyepiece state, all display areas can be observed. Therefore, a full-size image may be displayed.

ここで、観察者の眼とディスプレイとの相対位置を求める瞳位置センサーの具体例について述べる。   Here, a specific example of a pupil position sensor for obtaining the relative position between the observer's eyes and the display will be described.

まず、例えば、瞳位置センサー3として小型ディスプレイ装置本体6にCCD(Charge coupled device)やCMOS等の撮像素子を装着し、該瞳位置センサー3により取得した観察者の顔画像より、認識処理を用いて観察者の眼の位置を検出する方法がある。この認識処理としては、例えば、カメラや撮像素子等を観察者の方向に向け、カメラや撮像素子等で観察者の顔、さらには眼の位置を認識する方法が知られている(例えば、文献:形状抽出とパターン照合の組合せによる顔特徴点抽出(福井、山口)電気通信学会論文誌Vol.J80−D2 No.8 pp.2170−2177など)。この場合、カメラや撮像素子等の光軸とディスプレイの光軸とが一致するように配置すれば、観察者の顔および眼の位置の計算が簡単になる。   First, for example, an image pickup device such as a CCD (Charge Coupled Device) or CMOS is mounted on the small display device body 6 as the pupil position sensor 3, and recognition processing is used from the face image of the observer acquired by the pupil position sensor 3. There is a method for detecting the position of the eye of the observer. As this recognition processing, for example, a method is known in which a camera, an image sensor, or the like is directed toward an observer, and an observer's face or eye position is recognized by the camera, the image sensor, or the like (for example, literature : Face feature point extraction by a combination of shape extraction and pattern matching (Fukui, Yamaguchi) The Institute of Electrical Communication, Vol. J80-D2 No. 8 pp. 2170-2177, etc.). In this case, if the optical axis of the camera, the image sensor, or the like is arranged so that the optical axis of the display coincides, the calculation of the position of the observer's face and eyes is simplified.

また、例えば、図8に示すように、小型ディスプレイ装置本体6に受光素子(例えば、赤外発光素子)31を装着するとともに、観察者の顔面にはワイヤレスの発光素子(赤外発光素子)32を装着し(図8は、素子を装備した眼鏡をかけさせる例)、それら受光素子31と発光素子32により、ディスプレイに対する眼の位置を推定する方法がある(例えば、赤外光の到達時間を、距離に換算して、推定処理を行う)。なお、この場合において、受信素子を単数、送信素子を単数とする方法、受信素子を複数、送信素子を単数とする方法、受信素子を単数、送信素子を複数とする方法、受信素子を複数、送信素子を複数とする方法がある。素子を複数にすることによって、推定精度を向上させることができる。   For example, as shown in FIG. 8, a light receiving element (for example, an infrared light emitting element) 31 is attached to the small display device main body 6 and a wireless light emitting element (infrared light emitting element) 32 is provided on the face of the observer. (FIG. 8 shows an example of wearing spectacles equipped with an element), and there is a method for estimating the position of the eye with respect to the display by using the light receiving element 31 and the light emitting element 32 (for example, the arrival time of infrared light). , Convert to distance and perform estimation process). In this case, in this case, a single reception element, a single transmission element, a multiple reception element, a single transmission element, a single reception element, multiple transmission elements, multiple reception elements, There is a method of using a plurality of transmission elements. Estimating accuracy can be improved by using a plurality of elements.

なお、図8において、受光素子31の代わりに、撮像素子を用いることもできる。   In FIG. 8, an image sensor can be used instead of the light receiving element 31.

また、例えば、図8において、受光素子31と発光素子32の対の代わりに、受光素子31を受信機(例えば、マイクロフォン)、発光素子32をワイヤレス発信機として、相対位置を認識する方法もある。この場合、ワイヤレス発信機は、例えば、変調させた超音波を発信させるものであてもよい。この方法によっても、ワイヤレス発信機に対する受信機の相対的位置関係を求めることができる。   Further, for example, in FIG. 8, there is a method of recognizing the relative position by using the light receiving element 31 as a receiver (for example, a microphone) and the light emitting element 32 as a wireless transmitter instead of the pair of the light receiving element 31 and the light emitting element 32. . In this case, the wireless transmitter may transmit a modulated ultrasonic wave, for example. This method can also determine the relative positional relationship of the receiver with respect to the wireless transmitter.

もちろん、上記において、発光素子や発信器を小型ディスプレイ装置側に装備し、受光素子や受信機を観察者側に装着する方法も可能である。   Of course, in the above, it is possible to equip the light-emitting element and the transmitter on the small display device side, and attach the light-receiving element and the receiver to the observer side.

なお、これまでは、接眼か非接眼かの判定を接眼判定センサー10の出力に基づいて行う例を示したが、接眼判定センサー10を備えずに、瞳位置センサー3を接眼か非接眼かの判定に兼用する構成も可能である。   Heretofore, an example of determining whether the eyepiece is an eyepiece or a non-eyepiece has been shown based on the output of the eyepiece determination sensor 10, but without the eyepiece determination sensor 10, whether the pupil position sensor 3 is an eyepiece or a non-eyepiece. A configuration can also be used for determination.

(第2の実施形態)
図9に、本発明の第2の実施形態に係る小型ディスプレイ装置の構成例を示す。
(Second Embodiment)
FIG. 9 shows a configuration example of a small display device according to the second embodiment of the present invention.

図9に示されるように、本実施形態の小型ディスプレイ装置では、第1の実施形態の小型ディスプレイ装置の瞳位置センサー3の代わりに、傾きセンサー21および距離センサー22を備えている。小型表示素子1、光学素子2、情報処置装置4、接眼判定センサー10は、基本的には、第1の実施形態と同様である。5が観察者、6が顔面非装着形の小型ディスプレイ装置本体を示す点も同様である。以下では、第1の実施形態と相違する部分を中心に説明する。   As shown in FIG. 9, the small display device of this embodiment includes a tilt sensor 21 and a distance sensor 22 instead of the pupil position sensor 3 of the small display device of the first embodiment. The small display element 1, the optical element 2, the information processing device 4, and the eyepiece determination sensor 10 are basically the same as those in the first embodiment. The same applies to the point that 5 is an observer, and 6 is a small display device main body with no face. Below, it demonstrates focusing on the part which is different from 1st Embodiment.

傾きセンサー21は、小型表示素子1または光学素子2の空間内の姿勢または傾きを計測するためのセンサーである。傾きセンサー21としては、例えば、加速度センサー、ジャイロセンサー等を用いることができる。   The tilt sensor 21 is a sensor for measuring the posture or tilt of the small display element 1 or the optical element 2 in the space. As the tilt sensor 21, for example, an acceleration sensor, a gyro sensor, or the like can be used.

距離センサー22は、小型表示素子1または光学素子2と観察者の顔面との間の距離を測定するためのセンサーである。距離センサー22としては、例えば、超音波を用いたもの、LEDと撮像素子を用いたもの等を利用できる。また、例えば、撮像素子を用いたもの(画像処理によるもの)も可能である。すなわち、第1の実施形態の瞳位置センサー3と同様の仕組みが利用可能である(第1の実施形態との違いは、距離が取得できればよいので、距離センサー22の構成や距離センサー22の出力に基づく処理が簡易で済むことである)。   The distance sensor 22 is a sensor for measuring the distance between the small display element 1 or the optical element 2 and the face of the observer. As the distance sensor 22, for example, a device using ultrasonic waves, a device using an LED and an image sensor, or the like can be used. Further, for example, a device using an image sensor (by image processing) is also possible. That is, a mechanism similar to that of the pupil position sensor 3 of the first embodiment can be used. (The difference from the first embodiment is that the distance can be acquired, so the configuration of the distance sensor 22 and the output of the distance sensor 22 can be obtained. The process based on is simple).

図10に、本実施形態の小型ディスプレイ装置の情報処理装置4の処理手順の一例を示す。   FIG. 10 shows an example of the processing procedure of the information processing apparatus 4 of the small display device of this embodiment.

接眼判定センサー10の出力に基づいて、接眼の状態か、非接眼の状態かを判定する(ステップS11)。   Based on the output of the eyepiece determination sensor 10, it is determined whether the eyepiece is in the eyepiece state or non-eyepiece state (step S11).

接眼の状態と判定された場合には(ステップS12)、接眼モードで画像の表示を行う(ステップS13)。   When it is determined that the eyepiece is in the eyepiece state (step S12), the image is displayed in the eyepiece mode (step S13).

非接眼の状態と判定された場合には(ステップS12)、距離センサー22および傾きセンサー21の出力に基づいて(相対的な位置関係として)距離および傾きを取得し(ステップS14)、それら距離および傾きに基づいて、非接眼モードで画像の表示を行う(ステップS15)。   When it is determined that the eyepiece is not in the eyepiece state (step S12), the distance and the inclination are acquired (as a relative positional relationship) based on the outputs of the distance sensor 22 and the inclination sensor 21 (step S14). Based on the tilt, the image is displayed in the non-eyepiece mode (step S15).

本実施形態では、観察者はディスプレイを見る場合、ディスプレイと正対しており、また観察者自身が大きく動くことは少ないという一般的性質を利用している。従って、観察者とディスプレイとがある相対的位置関係にあるときを基準にして、観察者とディスプレイとの距離関係およびディスプレイの姿勢から、図11に示すように(6は小型ディスプレイ装置本体、7は表示部、8’は観察可能領域、9は観察可能範囲を示す)、小型表示素子1上の画像を適宜変化させればよい。このとき、第1の実施形態のように小型表示素子1上の画像表示領域を適宜変化させるだけでなく、ディスプレイ装置本体6を実線矢印のように回転させた場合は、破線矢印のように観察可能領域8’を移動させるようにする。図11では、左に傾けた場合について例示したが、同様に、小型ディスプレイ装置本体6を右に傾けた場合は観察領域8’を左に、上に傾けた場合は観察領域8’を下に、また、下に傾けた場合は観察領域8’を上に移動等、装置本体を傾ける方向と逆の方向に観察領域を移動させればよい。   In the present embodiment, when the viewer looks at the display, he or she uses the general property that the viewer is facing the display and the viewer hardly moves greatly. Accordingly, based on the relationship between the distance between the observer and the display and the attitude of the display with reference to the time when the observer and the display are in a certain relative positional relationship, as shown in FIG. 11 (6 is a small display device main body, 7 Is a display unit, 8 'is an observable region, and 9 is an observable range), and the image on the small display element 1 may be changed as appropriate. At this time, not only the image display area on the small display element 1 is appropriately changed as in the first embodiment, but also when the display device body 6 is rotated as indicated by a solid line arrow, observation is performed as indicated by a broken line arrow. The possible area 8 ′ is moved. In FIG. 11, the case of tilting to the left is illustrated, but similarly, when the small display device body 6 is tilted to the right, the observation region 8 ′ is to the left, and when tilting upward, the observation region 8 ′ is to the bottom. Further, when tilted downward, the observation region may be moved in a direction opposite to the direction in which the apparatus main body is tilted, such as moving the observation region 8 ′ upward.

もちろん、第1の実施形態と同様、小型表示素子1に表示する画像の制御の代わりに、距離センサー22および傾きセンサー21の出力に基づいてレンズ2の制御を行ってもよいし、それら制御の両方を併用する構成も可能である。また、接眼判定センサー10を備えずに、距離センサー22を接眼か非接眼かの判定に兼用する構成も可能である。   Of course, as in the first embodiment, instead of controlling the image displayed on the small display element 1, the lens 2 may be controlled based on the outputs of the distance sensor 22 and the tilt sensor 21. A configuration in which both are used together is also possible. Further, a configuration in which the distance sensor 22 is also used for determining whether the eyepiece is an eyepiece or a non-eyepiece without including the eyepiece determination sensor 10 is possible.

(第3の実施形態)
図12に、本発明の小型ディスプレイ装置の第3の実施形態の構成例を示す。
(Third embodiment)
FIG. 12 shows a configuration example of the third embodiment of the small display device of the present invention.

図12に示されるように、本実施形態の小型ディスプレイ装置では、第1の実施形態の小型ディスプレイ装置の瞳位置センサー3を備えず、一方、調光シート23を備えている。小型表示素子1、光学素子2、情報処置装置4、接眼判定センサー10は、基本的には、第1の実施形態と同様である。5が観察者、6が顔面非装着形の小型ディスプレイ装置本体を示す点も同様である。以下では、第1の実施形態と相違する部分を中心に説明する。   As shown in FIG. 12, the small display device of this embodiment does not include the pupil position sensor 3 of the small display device of the first embodiment, but includes the light control sheet 23. The small display element 1, the optical element 2, the information processing device 4, and the eyepiece determination sensor 10 are basically the same as those in the first embodiment. The same applies to the point that 5 is an observer, and 6 is a small display device main body with no face. Below, it demonstrates focusing on the part which is different from 1st Embodiment.

調光シート23は、電気信号により制御することによって、透過状態にしたり、半透過状態にしたりすることができる、切り替え可能なシートである。   The light control sheet 23 is a switchable sheet that can be changed to a transmissive state or a semi-transmissive state by being controlled by an electric signal.

本実施形態では、接眼時には、調光シート23を透過状態にして第1、第2の実施形態と同様に画像の表示を行う。一方、非接眼時には、第1、第2の実施形態とは異なり、調光シート23を半透明状態にしてスクリーンとし、ここに像を投射する一種の超小型プロジェクタとする。非接眼時にも観察者とディスプレイとの相対的位置関係にかかわらず、接眼時と同じ像が調光シート上に投射される。ただし、光がスクリーンで散乱するため、非接眼で画像を表示するときは、光源の光強度を接眼時より大きくするのが好ましい。   In the present embodiment, at the time of eye contact, the light control sheet 23 is set in a transmissive state, and an image is displayed in the same manner as in the first and second embodiments. On the other hand, at the time of non-eyepiece, unlike the first and second embodiments, the light control sheet 23 is made a translucent state to form a screen and a kind of ultra-small projector that projects an image thereon. Regardless of the relative positional relationship between the observer and the display even when the eye is not in contact, the same image as that at the time of eye is projected onto the light control sheet. However, since light is scattered on the screen, when displaying an image with a non-eyepiece, it is preferable that the light intensity of the light source is larger than that at the time of eyepiece.

図13に、本実施形態の小型ディスプレイ装置の情報処理装置4の処理手順の一例を示す。   FIG. 13 shows an example of the processing procedure of the information processing apparatus 4 of the small display device of this embodiment.

接眼判定センサー10の出力に基づいて、接眼の状態か、非接眼の状態かを判定する(ステップS21)。   Based on the output of the eyepiece determination sensor 10, it is determined whether the eyepiece is in an eyepiece state or a non-eyepiece state (step S21).

接眼の状態と判定された場合には(ステップS22)、調光シート23を透過状態にして、接眼モードで画像の表示を行う(ステップS23)。   If it is determined that the eyepiece is in the eye state (step S22), the light control sheet 23 is set to the transmissive state and an image is displayed in the eyepiece mode (step S23).

非接眼の状態と判定された場合には(ステップS22)、小型表示素子1の輝度を接眼時より増加させ、かつ、調光シート23を半透過状態にして、非接眼モードで画像の表示を行う(ステップS24)。   When it is determined that the eyepiece is in the non-eyepiece state (step S22), the luminance of the small display element 1 is increased from that at the time of eyepiece, and the dimming sheet 23 is set in the semi-transmissive state to display an image in the non-eyepiece mode. It performs (step S24).

なお、接眼判定センサー10の代わりに、第1の実施形態の瞳位置センサー3や第2の実施形態の距離センサー22を接眼か非接眼かの判定に使用する構成も可能である。   In addition, the structure which uses the pupil position sensor 3 of 1st Embodiment and the distance sensor 22 of 2nd Embodiment for determination of an eyepiece or a non-eyepiece instead of the eyepiece determination sensor 10 is also possible.

第1〜第3の実施形態に係る小型ディスプレイ装置は、画像を表示する以外にも所定の目的に応じた機能を備えていてもよい。例えば、小型ディスプレイ装置は、携帯型計算機であってもよいし、携帯電話であってもよい。   The small display device according to the first to third embodiments may have a function corresponding to a predetermined purpose in addition to displaying an image. For example, the small display device may be a portable computer or a mobile phone.

なお、以上説明してきた構成部分のうち処理を行う部分に相当する機能は、ソフトウェアとして実現することも可能である。   It should be noted that the function corresponding to the processing part among the constituent parts described above can also be realized as software.

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。   Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

本発明の一実施形態に係る小型ディスプレイ装置の構成例を示す図The figure which shows the structural example of the small display apparatus which concerns on one Embodiment of this invention. 同実施形態に係る小型ディスプレイ装置の情報処理装置の処理手順の一例を示す図The figure which shows an example of the process sequence of the information processing apparatus of the small display apparatus concerning the embodiment 同実施形態に係る小型ディスプレイ装置の使用例について説明するための図The figure for demonstrating the usage example of the small display apparatus which concerns on the same embodiment 同実施形態に係る小型ディスプレイ上の像と観察者の左右眼の位置関係について説明するための図The figure for demonstrating the positional relationship of the image on the small display which concerns on the same embodiment, and an observer's right and left eyes 同実施形態に係る小型ディスプレイ装置の像を片目で眺める場合について説明するための図The figure for demonstrating the case where the image of the small display apparatus concerning the embodiment is viewed with one eye 同実施形態に係る小型ディスプレイ装置と観察者の眼のレンズ光軸に沿った位置関係について説明するための図The figure for demonstrating the positional relationship along the lens optical axis of the small display apparatus which concerns on the same embodiment, and an observer's eye 同実施形態に係る小型ディスプレイ装置における可変プリズム、表示素子、光学素子の位置関係について説明するための図The figure for demonstrating the positional relationship of the variable prism in the small display apparatus which concerns on the same embodiment, a display element, and an optical element. 同実施形態に係る小型ディスプレイ装置において、観察者にワイヤレス発信機付の眼鏡をかけさせるのと同時に、ディスプレイ側に受信機を配置した瞳位置センサーについて説明するための図The figure for demonstrating the pupil position sensor which has arrange | positioned the receiver on the display side simultaneously with making the observer wear spectacles with a wireless transmitter in the small display device concerning the embodiment. 本発明の第2の実施形態に係る小型ディスプレイ装置の構成例を示す図The figure which shows the structural example of the small display apparatus which concerns on the 2nd Embodiment of this invention. 同実施形態に係る小型ディスプレイ装置の情報処理装置の処理手順の一例を示す図The figure which shows an example of the process sequence of the information processing apparatus of the small display apparatus concerning the embodiment 同実施形態に係る小型ディスプレイ装置の使用例について説明するための図The figure for demonstrating the usage example of the small display apparatus which concerns on the same embodiment 本発明の第3の実施形態に係る小型ディスプレイ装置の構成例を示す図The figure which shows the structural example of the small display apparatus which concerns on the 3rd Embodiment of this invention. 同実施形態に係る小型ディスプレイ装置の情報処理装置の処理手順の一例を示す図The figure which shows an example of the process sequence of the information processing apparatus of the small display apparatus concerning the embodiment

符号の説明Explanation of symbols

1…小型表示素子、2,11…光学素子、3…瞳位置センサー、4…情報処置装置、5…観察者、6…ディスプレイ本体、10…接眼判定センサー、21…傾きセンサー、22…距離センサー、23…調光シート、31…受光素子、32…発光素子   DESCRIPTION OF SYMBOLS 1 ... Small display element 2,11 ... Optical element, 3 ... Pupil position sensor, 4 ... Information processing apparatus, 5 ... Observer, 6 ... Display main body, 10 ... Eyepiece determination sensor, 21 ... Tilt sensor, 22 ... Distance sensor , 23 ... Light control sheet, 31 ... Light receiving element, 32 ... Light emitting element

Claims (5)

画像を表示するための小型表示素子と、
前記小型表示素子に表示された画像を拡大するための光学素子と、
前記光学素子の前面に設けられ、透過状態と半透過状態を切り替え可能な調光シートと、
自装置を使用する観察者が接眼状態にあるか非接眼状態にあるかを判定するための判定手段と、
前記判定手段による判定結果に基づいて、前記調光シートの透過状態と半透過状態の切り替えの制御を含む、前記小型表示素子への画像の表示方法の制御を行うための制御手段とを備えたことを特徴とする小型ディスプレイ装置。
A small display element for displaying an image;
An optical element for enlarging an image displayed on the small display element;
A light control sheet provided on the front surface of the optical element and capable of switching between a transmissive state and a semi-transmissive state;
A determination means for determining whether an observer using the device is in an eyepiece state or in a non-eyepiece state;
Control means for controlling a display method of an image on the small display element, including control of switching between a transmission state and a semi-transmission state of the light control sheet based on a determination result by the determination unit. A small display device.
前記制御手段は、接眼状態にあると判定された場合には、前記調光シートが透過状態になるように制御するとともに、前記小型表示素子全体にわたって画像全体を表示させるように制御することを特徴とする請求項に記載の小型ディスプレイ装置。 When it is determined that the eyepiece is in the eyepiece state, the control means controls the light control sheet to be in a transmissive state, and controls to display the entire image over the entire small display element. The small display device according to claim 1 . 前記制御手段は、非接眼状態にあると判定された場合には、前記調光シートが半透過状態になるように制御するとともに、前記小型表示素子全体にわたって画像全体を表示させるように制御することによって、前記小型表示素子から前記調光シートに投射された画像が非接眼状態の前記観察者から観察可能になるように制御することを特徴とする請求項に記載の小型ディスプレイ装置。 When it is determined that the control unit is in the non-eyepiece state, the control unit controls the light control sheet to be in a semi-transmissive state and controls the entire small display element to display the entire image. The small display device according to claim 1 , wherein an image projected from the small display element onto the light control sheet is controlled to be observable by the observer in a non-eyepiece state. 前記制御手段は、非接眼状態にあると判定された場合には、前記調光シートが半透過状態になるように制御するとともに、前記小型表示素子の輝度が増加されるように制御することを特徴とする請求項に記載の小型ディスプレイ装置。 When it is determined that the control unit is in the non-eyepiece state, the control unit controls the light control sheet to be in a semi-transmissive state and controls the brightness of the small display element to be increased. The small display device according to claim 3 , wherein the display device is a small display device. 画像を表示するための小型表示素子と、該小型表示素子に表示された画像を拡大するための光学素子と、該光学素子の前面に設けられ、透過状態と半透過状態を切り替え可能な調光シートとを備えた小型ディスプレイ装置における画像表示制御方法であって、
自装置を使用する観察者が接眼状態にあるか非接眼状態にあるかを判定し、
接眼状態にあると判定された場合には、前記調光シートを透過状態にし、非接眼状態にあると判定された場合には、前記調光シートを半透過状態にすることを特徴とする画像表示制御方法。
A small display element for displaying an image, an optical element for enlarging an image displayed on the small display element, and a light control provided on the front surface of the optical element and capable of switching between a transmissive state and a semi-transmissive state An image display control method in a small display device comprising a sheet,
Determine whether the observer using the device is in the eyepiece state or in the noneyepiece state,
When it is determined that the eyepiece is in an eyepiece state, the light control sheet is set to a transmissive state, and when it is determined to be in a non-eyepiece state, the light control sheet is set to a semi-transparent state. Display control method.
JP2004274019A 2004-09-21 2004-09-21 Small-sized display device and image display control method Pending JP2005092224A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004274019A JP2005092224A (en) 2004-09-21 2004-09-21 Small-sized display device and image display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004274019A JP2005092224A (en) 2004-09-21 2004-09-21 Small-sized display device and image display control method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001112952A Division JP3648461B2 (en) 2001-04-11 2001-04-11 Small display device and image display control method

Publications (1)

Publication Number Publication Date
JP2005092224A true JP2005092224A (en) 2005-04-07

Family

ID=34464104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004274019A Pending JP2005092224A (en) 2004-09-21 2004-09-21 Small-sized display device and image display control method

Country Status (1)

Country Link
JP (1) JP2005092224A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007158787A (en) * 2005-12-06 2007-06-21 Sharp Corp Display unit and display control method
JP2010026273A (en) * 2008-07-22 2010-02-04 Dainippon Printing Co Ltd Head mounted display
WO2012137532A1 (en) * 2011-04-04 2012-10-11 オリンパス株式会社 Display device, electronic apparatus equipped with display device, and projection unit
CN106324841A (en) * 2016-11-24 2017-01-11 宁波视睿迪光电有限公司 Augmented reality display device and augmented reality glasses
CN108319339A (en) * 2018-01-31 2018-07-24 京东方科技集团股份有限公司 A kind of display device and display methods

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007158787A (en) * 2005-12-06 2007-06-21 Sharp Corp Display unit and display control method
JP2010026273A (en) * 2008-07-22 2010-02-04 Dainippon Printing Co Ltd Head mounted display
WO2012137532A1 (en) * 2011-04-04 2012-10-11 オリンパス株式会社 Display device, electronic apparatus equipped with display device, and projection unit
JP5330623B2 (en) * 2011-04-04 2013-10-30 オリンパス株式会社 Display device, electronic apparatus including the display device, and projection unit
CN106324841A (en) * 2016-11-24 2017-01-11 宁波视睿迪光电有限公司 Augmented reality display device and augmented reality glasses
CN108319339A (en) * 2018-01-31 2018-07-24 京东方科技集团股份有限公司 A kind of display device and display methods
CN108319339B (en) * 2018-01-31 2020-04-24 京东方科技集团股份有限公司 Display device and display method
US11073867B2 (en) 2018-01-31 2021-07-27 Boe Technology Group Co., Ltd. Display device and display method

Similar Documents

Publication Publication Date Title
CN103091843B (en) See-through display brilliance control
CN103917913B (en) Head mounted display, the method controlling optical system and computer-readable medium
US9092671B2 (en) Visual line detection device and visual line detection method
US8360578B2 (en) Eye tracker device
US9459457B2 (en) Head mounted display with remote control
CN110275297B (en) Head-mounted display device, display control method, and recording medium
US10838205B2 (en) Head mounted display, control method thereof, and computer program
KR20170055908A (en) Cap type virtual reality display image system
US10108013B2 (en) Indirect-view augmented reality display system
US20140152558A1 (en) Direct hologram manipulation using imu
JP2017102768A (en) Information processor, display device, information processing method, and program
US11378802B2 (en) Smart eyeglasses
JPWO2015012280A1 (en) Gaze detection device
WO2009101238A1 (en) Device and method for determining gaze direction
US11841502B2 (en) Reflective polarizer for augmented reality and virtual reality display
JP6707823B2 (en) Display device, display device control method, and program
JP2003225207A (en) Visual axis detector
JP6707809B2 (en) Display device, display device control method, and program
TW201843494A (en) Display system with video see-through
US20210263321A1 (en) Wearable smart optical system using hologram optical element
CN112285934B (en) Image display device and wearable equipment
KR102269833B1 (en) Smart glasses
JP2018182570A (en) Line-of-sight information sharing method and line-of-sight information sharing system
CN105212890B (en) Eye tracker equipment
KR20190085345A (en) Head mount device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060509

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060815

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070109