JP2006135884A - Video display device - Google Patents

Video display device Download PDF

Info

Publication number
JP2006135884A
JP2006135884A JP2004325244A JP2004325244A JP2006135884A JP 2006135884 A JP2006135884 A JP 2006135884A JP 2004325244 A JP2004325244 A JP 2004325244A JP 2004325244 A JP2004325244 A JP 2004325244A JP 2006135884 A JP2006135884 A JP 2006135884A
Authority
JP
Japan
Prior art keywords
display
image
unit
user
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004325244A
Other languages
Japanese (ja)
Other versions
JP4635572B2 (en
Inventor
Hideyuki Kobayashi
英幸 小林
Toyoki Nishijima
豊喜 西嶋
Tsutomu Ichikawa
勉 市川
Takeshi Ikeda
剛 池田
Takeshi Hakii
健 波木井
Original Assignee
Konica Minolta Photo Imaging Inc
コニカミノルタフォトイメージング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Photo Imaging Inc, コニカミノルタフォトイメージング株式会社 filed Critical Konica Minolta Photo Imaging Inc
Priority to JP2004325244A priority Critical patent/JP4635572B2/en
Publication of JP2006135884A publication Critical patent/JP2006135884A/en
Application granted granted Critical
Publication of JP4635572B2 publication Critical patent/JP4635572B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video display device for displaying a video image easy to watch for a user even if a display portion is shaken by unexpected vibration of walking and camera shake. <P>SOLUTION: A video display device 1 detects a device swing in a vibration detection unit 90 based on outputs from an elevation angle sensor 91, a horizontal angle sensor 92, a pressure sensors 93L, 93R, imaging unit 50 or the like, trims and displays an image to be displayed in image information in accordance with the state of the detected swing. The video display device 1 also corrects and displays colors from relative swinging states of the device and the user. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、映像表示装置に関する。   The present invention relates to a video display device.
従来、夜盲症などの一般生活を行う上で支障をきたす視覚障害を持つ人のための視覚補助の装置としての映像表示装置が考案されている。
視覚補助の映像表示装置の一例としては、頭部搭載型表示装置(例えば特許文献1)、また弱視者に用いる補助装置としての弱視者用眼鏡装置等(例えば特許文献2)が提案されている。
また、上述の視覚補助の映像表示装置は、一般に視覚障害を持つ人が携行して利用するため、歩行などにより生じる振動に対する対策が必要であった。そのための技術としては、姿勢センサーを取付けて、ヘッドマウントディスプレイ(頭部搭載型表示装置)の水平から傾いた角度を検出して表示画像を回転させる技術(特許文献3を参照)、振動を検出して歩行中か否かを判断し、画像表示を制御する技術(特許文献4を参照)、ぶれ補正として仰角補正手段を備えるカメラ(特許文献5を参照)などが公知である。
特開平7−288754号公報 特開平9−192164号公報 特開2000−312319号公報 特開平9−211382号公報 特開平10−254007号公報
2. Description of the Related Art Conventionally, an image display device has been devised as a visual assistance device for a visually impaired person who interferes with general life such as night blindness.
As an example of a visual assistance video display device, a head-mounted display device (for example, Patent Document 1), a low-sight eyeglass device or the like (for example, Patent Document 2) as an auxiliary device used for a weak eyesight, and the like have been proposed. .
In addition, the above-described visual assistance video display device is generally carried and used by persons with visual impairments, and thus measures against vibrations caused by walking or the like are necessary. For this purpose, a posture sensor is attached to detect the angle of the head-mounted display (head-mounted display device) tilted from the horizontal to rotate the display image (see Patent Document 3), and vibration is detected. A technique for determining whether or not a person is walking and controlling image display (see Patent Document 4), a camera (see Patent Document 5) including an elevation angle correcting means as shake correction, and the like are known.
JP-A-7-288754 Japanese Patent Laid-Open No. 9-192164 JP 2000-31319 A JP-A-9-212382 Japanese Patent Laid-Open No. 10-254007
しかしながら、上記技術を用いた映像表示装置を利用者が歩行時に利用する場合、表示画像の回転を行う構成では歩行時の振動に対して見やすい画像を提供することが難しく、振動により表示/非表示を切換える構成では歩行中の使用ができないという問題があった。
また、仰角補正手段を持つ構成は、一般に重量が重くなるため、長時間携行して使用する場合に利用者への重量の負担が大きなものとなると同時に、カメラ撮影時のブレに対しては有効であるが予め記憶された画像を表示する場合のブレの補正に対しては効果がなかった。
このため、利用者が歩行時においても見やすく気軽に利用できる映像表示装置の開発が望まれていた。
However, when a user uses a video display device using the above technique during walking, it is difficult to provide an easy-to-see image with respect to vibration during walking in a configuration in which the display image is rotated, and display / non-display by vibration There was a problem that the configuration of switching between cannot be used during walking.
In addition, the configuration with the elevation angle correction means generally increases the weight, so when carrying it for a long time, the burden on the user is heavy, and at the same time, it is effective against camera shake. However, it has no effect on blur correction when displaying a pre-stored image.
For this reason, it has been desired to develop a video display device that can be easily used even when the user is walking.
そこで、本発明は、歩行や手ぶれなどの突発的な振動により表示部分がぶれた場合でも利用者に見やすい映像を表示する映像表示装置を提供を課題とするものである。   Therefore, an object of the present invention is to provide an image display device that displays an image that is easy for the user to see even when the display portion is shaken due to sudden vibration such as walking or camera shake.
上記課題を解決するために、請求項1に記載の発明は、画像を表示する表示エリアに外界の映像と表示画像とを同時に利用者から見ることを可能に表示する表示手段と、前記表示手段の揺動の状態を検出する検出手段と、前記揺動の状態に応じて補正した画像を前記表示エリアに表示可能に制御する制御手段と、を備えたことを特徴とする。   In order to solve the above-mentioned problem, the invention according to claim 1 is characterized in that display means for displaying an image of the outside world and a display image in a display area for displaying an image so that the user can simultaneously view the image, and the display means. And a control means for controlling the image corrected according to the rocking state so that the image can be displayed in the display area.
請求項2に記載の発明は、画像を表示する表示エリアに外界の映像と表示画像とを同時に利用者から見ることを可能に表示する表示手段と、前記利用者の視線と前記表示手段における表示エリアとの相対的な位置ずれを検出する検出手段と、前記相対的な位置ずれに対応して前記表示画像の表示位置を補正した画像を前記表示エリアに表示可能に制御する制御手段と、を備えたことを特徴とする。   According to a second aspect of the present invention, there is provided display means for displaying an image of the outside world and a display image in a display area for displaying an image so that the user can simultaneously view the image, and the line of sight of the user and the display on the display means Detection means for detecting a relative displacement with respect to the area, and control means for controlling the display area so that an image obtained by correcting the display position of the display image corresponding to the relative displacement can be displayed in the display area. It is characterized by having.
請求項3に記載の発明は、画像を表示する表示エリアに外界の映像と表示画像とを同時に利用者から見ることを可能に表示する表示手段と、前記利用者の視線と前記表示手段における表示エリアとの相対的な位置ずれを検出する検出手段と、前記相対的な位置ずれに対応して前記表示画像の色を補正した画像を前記表示エリアに表示可能に制御する制御手段と、を備えたことを特徴とする。   According to a third aspect of the present invention, there is provided display means for displaying an image of the outside world and a display image in a display area for displaying an image so that the user can simultaneously view the image, and the line of sight of the user and the display on the display means Detection means for detecting a relative displacement with respect to the area, and control means for controlling to display an image obtained by correcting the color of the display image corresponding to the relative displacement in the display area. It is characterized by that.
請求項4に記載の発明は、請求項1〜3のいずれか一項に記載の発明において、前記検出手段は、水平角センサ及び仰角センサ若しくは俯角センサであることを特徴とする。   The invention according to claim 4 is the invention according to any one of claims 1 to 3, wherein the detection means is a horizontal angle sensor and an elevation angle sensor or a depression angle sensor.
請求項5に記載の発明は、請求項1〜4のいずれか一項に記載の発明において、前記表示手段を備えるレンズと、
該レンズの左右方向の中央付近に取り付けられ、鼻に接する鼻当てと、前記レンズの左右方向の両端付近に取り付けられ、耳、側頭部または後頭部に接する1対のテンプルとを含む装着部を備える眼鏡型の装着手段を更に備え、前記検出手段は、前記鼻当てに設けられた圧力センサーであることを特徴とする。
A fifth aspect of the present invention provides the lens according to any one of the first to fourth aspects, wherein the lens includes the display unit;
A mounting portion including a nose pad attached near the center of the lens in the left-right direction and in contact with the nose, and a pair of temples attached near both ends in the left-right direction of the lens and in contact with the ear, temporal region, or occipital region The apparatus further comprises spectacles-type wearing means, and the detecting means is a pressure sensor provided in the nose pad.
請求項6に記載の発明は、請求項1〜5のいずれか一項に記載の発明において、前記表示手段に一体化され、外界の映像を撮像する撮像手段を更に備え、前記検出手段は、前記外界の映像を元に前記表示手段の揺動の状態を検出することを特徴とする。   The invention according to claim 6 is the invention according to any one of claims 1 to 5, further comprising an image pickup means integrated with the display means for picking up an image of the outside world, and the detection means comprises: The state of swinging of the display means is detected based on the image of the outside world.
請求項7に記載の発明は、請求項1〜6のいずれか一項に記載の発明において、前記表示手段は反射型又は回折型ホログラムディスプレイであることを特徴とする。   According to a seventh aspect of the present invention, in the invention according to any one of the first to sixth aspects, the display means is a reflective or diffractive hologram display.
請求項8に記載の発明は、請求項1〜7のいずれか一項に記載の発明において、前記表示手段の透過率は30%以上であることを特徴とする。   The invention according to claim 8 is the invention according to any one of claims 1 to 7, wherein the transmittance of the display means is 30% or more.
請求項1に記載の発明によれば、利用者に画像を表示する表示手段の揺動を検出して、その揺動の状態に応じて表示する画像を補正する構成であるため、利用者が歩行中に使用した場合など、突発的な振動により表示部がぶれた場合においても、ブレのない見易い画像を提供することができる。
また、外界の映像に合わせて表示部分に映像を表示する場合においても、外界の映像と表示部分の映像とがずれなく表示することができる。
According to the first aspect of the present invention, since the swing of the display means for displaying the image to the user is detected and the image to be displayed is corrected according to the swing state, the user can Even when the display unit is shaken due to sudden vibration such as when used during walking, it is possible to provide an image that is easy to see without blurring.
Further, even when an image is displayed on the display portion in accordance with the image of the outside world, the image of the outside world and the image of the display portion can be displayed without deviation.
請求項2に記載の発明によれば、利用者の視線と表示手段における表示エリアとの相対的な揺動を検出して補正を行なう構成であるため、特に歩行などの揺動に対して有効に補正を行うことができ、利用者に安定した見易い映像を提供することができる。   According to the second aspect of the present invention, since the relative swing between the user's line of sight and the display area of the display means is detected and corrected, it is particularly effective for swing such as walking. Therefore, it is possible to provide a user with a stable and easy-to-view video.
請求項3に記載の発明によれば、利用者の視線とと表示手段における表示エリアとの相対的な揺動を検出して色補正を行なう構成であるため、例えば利用者と表示部分との角度で色の再現性が異なるディスプレイなどを歩行中に利用する場合においても、正確な色の再現性を保つことができる。   According to the third aspect of the present invention, the color correction is performed by detecting the relative fluctuation between the user's line of sight and the display area of the display means. Even when a display having a different color reproducibility at an angle is used during walking, accurate color reproducibility can be maintained.
請求項4に記載の発明によれば、水平角センサ及び仰角センサ若しくは俯角センサを用いて本発明を実施することができる。   According to the fourth aspect of the present invention, the present invention can be implemented using a horizontal angle sensor and an elevation angle sensor or depression angle sensor.
請求項5に記載の発明によれば、眼鏡型の映像表示装置の鼻当て部分に圧力センサを備える構成で本発明を実施することができるため、眼鏡型の視覚補助を行なう映像表示装置において特に有効である。   According to the fifth aspect of the present invention, the present invention can be implemented with a configuration in which the pressure sensor is provided in the nose pad portion of the glasses-type image display device. It is valid.
請求項6に記載の発明によれば、外界の映像を撮像する構成を備える機器において、本発明を有効に実施することができる。このため、撮像した画像により視覚補助を行なう映像表示装置において、従来の構成を有効に利用して本発明を実施することができる。   According to the sixth aspect of the present invention, the present invention can be effectively implemented in a device having a configuration for capturing an image of the outside world. For this reason, the present invention can be implemented by effectively utilizing the conventional configuration in a video display device that provides visual assistance with captured images.
請求項7に記載の発明によれば、反射型又は回折型ホログラムディスプレイを備えた構成において本発明を実施することができる。   According to the seventh aspect of the present invention, the present invention can be implemented in a configuration including a reflective or diffractive hologram display.
請求項8に記載の発明によれば、表示手段が30%以上の透過率をもつため、外界の映像をより鮮明に確認することができる。また、利用者と対面する人とが互いに目線を確認することを阻害することがない。   According to the eighth aspect of the invention, since the display means has a transmittance of 30% or more, it is possible to check the image of the outside world more clearly. Moreover, it does not prevent the user and the person facing each other from confirming their eyes.
[第1の実施の形態]
以下、この発明の映像表示装置の実施の形態について説明するが、この発明は、この実施の形態に限定されない。また、この発明の実施の形態は、発明の最も好ましい形態を示すものであり、この発明の用語はこれに限定されない。
[First Embodiment]
Hereinafter, although the embodiment of the video display device of the present invention will be described, the present invention is not limited to this embodiment. The embodiment of the present invention shows the most preferable mode of the present invention, and the terminology of the present invention is not limited to this.
図1は映像表示装置の外観を示す図である。この実施の形態の映像表示装置1は、1つの表示部10、撮像部50、画像処理部60、制御部70、データ入力部80、振動検出部90、左右1対のプリズム20L、20R、鼻当て31、左右1対のテンプル32L、32Rよりなり、プリズム20L、20Rが左右の眼の前に位置するように観察者の顔前に装着される。
なお、検出手段としての振動検出部90には、映像表示装置1の揺動を検出するためのセンサーである仰角センサ91及び水平角センサ92がケーブル94を介して接続される。
FIG. 1 is a diagram showing an external appearance of a video display device. The video display device 1 according to this embodiment includes one display unit 10, an imaging unit 50, an image processing unit 60, a control unit 70, a data input unit 80, a vibration detection unit 90, a pair of left and right prisms 20L and 20R, and a nose. It consists of a pad 31 and a pair of left and right temples 32L and 32R, and is mounted in front of the observer's face so that the prisms 20L and 20R are positioned in front of the left and right eyes.
Note that an elevation angle sensor 91 and a horizontal angle sensor 92 which are sensors for detecting the swing of the video display device 1 are connected to the vibration detection unit 90 as a detection unit via a cable 94.
図1では仰角センサ91、水平角センサ92により映像表示装置1の絶対位置の揺動を検出する構成であるが、図2に示すように、鼻当て31に設けられた圧力センサ93L、93Rにより観察者に対する映像表示装置1の揺動を検出する構成であっても良い。   In FIG. 1, the elevation angle sensor 91 and the horizontal angle sensor 92 detect the swing of the absolute position of the video display device 1, but as shown in FIG. 2, pressure sensors 93L and 93R provided on the nose pad 31 are used. It may be configured to detect the swing of the video display device 1 with respect to the observer.
また、図3に示すように、画像処理部60、制御部70、データ入力部80、及び振動検出部90は、装置ユニット200に一体に組み込み、ケーブル201で撮像部50及び表示部10、更にケーブル94を介して仰角センサ91及び水平角センサ92に電源を与え、信号の送受信を行うようにしてもよい。
この場合は、観察者が保持する振動検出部90の内部にも仰角センサ、水平角センサを備えて揺動を検出することで、映像表示装置1の絶対位置の揺動とともに振動検出部90側で検出される揺動との差により観察者に対する映像表示装置1の揺動も検出することができる。
3, the image processing unit 60, the control unit 70, the data input unit 80, and the vibration detection unit 90 are integrated into the apparatus unit 200, and the imaging unit 50 and the display unit 10 are further connected by the cable 201. Power may be supplied to the elevation angle sensor 91 and the horizontal angle sensor 92 via the cable 94 to transmit and receive signals.
In this case, the vibration detector 90 is also provided with an elevation angle sensor and a horizontal angle sensor in the vibration detection unit 90 held by the observer to detect the swing, so that the vibration detection unit 90 side together with the swing of the absolute position of the video display device 1 is detected. The swing of the image display device 1 with respect to the observer can also be detected based on the difference from the swing detected in step (1).
鼻当て31は、プリズム20L、20Rに取り付けられており、これらを連結している。テンプル32L、32Rは、それぞれプリズム20L、20Rの端部に取り付けられている。装着時には、鼻当て31が鼻に当たり、テンプル32L、32Rが耳、側頭部又は後頭部に当たって、映像表示装置1はこれら3部位で支持される。テンプル32L、32Rは、プリズム20L、20R近傍の部位に設けられた垂直方向の軸(特に図示しない)を中心に回動可能であり、非使用時には内側に折り畳むことができる。   The nose pad 31 is attached to the prisms 20L and 20R and connects them. The temples 32L and 32R are attached to the ends of the prisms 20L and 20R, respectively. At the time of wearing, the nose pad 31 hits the nose and the temples 32L and 32R hit the ear, temporal region or occipital region, and the video display device 1 is supported by these three parts. The temples 32L and 32R can be rotated around a vertical axis (not particularly shown) provided in the vicinity of the prisms 20L and 20R, and can be folded inward when not in use.
表示部10は、右のプリズム20Rに取り付けられている。表示部10を含む断面を図4に示す。表示部10は、透過型の液晶表示器であるLCD11、筐体12、プリズム13、LED14、及びレンズ15よりなる。LCD11は観察者に表示するための映像を表示し、表示した映像により照射光を変調する。筐体12は、LCD11、LED14、及びレンズ15を収容してこれらを保持する。LED14はLCD11を照明するための光源であり、レンズ15はLED14が発した光をLCD11の全面に均一に導くための照明光学系である。   The display unit 10 is attached to the right prism 20R. A cross section including the display unit 10 is shown in FIG. The display unit 10 includes an LCD 11, which is a transmissive liquid crystal display, a housing 12, a prism 13, an LED 14, and a lens 15. The LCD 11 displays an image to be displayed to the observer, and modulates the irradiation light by the displayed image. The housing 12 accommodates and holds the LCD 11, the LED 14, and the lens 15. The LED 14 is a light source for illuminating the LCD 11, and the lens 15 is an illumination optical system for uniformly guiding light emitted from the LED 14 to the entire surface of the LCD 11.
LCD11の映像の表示やLED14の発光は、制御部70によって制御され、撮像部50で撮像した画像情報を画像処理部60により画像処理し、電力や映像を供給する。   The display of the image on the LCD 11 and the light emission of the LED 14 are controlled by the control unit 70, the image information captured by the imaging unit 50 is processed by the image processing unit 60, and power and video are supplied.
プリズム13は平板状であり、透明なガラス又は樹脂で作成されている。プリズム13はLCD11からの光を観察者の眼Eに導いて、LCD11に表示された映像の虚像を表示する。プリズム13の上端部は、縁の方が内部側よりも厚いくさび状とされており、筐体12はこのくさび状の上端部を挟むようにして、プリズム13に取り付けられている。   The prism 13 has a flat plate shape and is made of transparent glass or resin. The prism 13 guides the light from the LCD 11 to the observer's eye E and displays a virtual image of the image displayed on the LCD 11. The upper end portion of the prism 13 has a wedge shape whose edge is thicker than the inner side, and the housing 12 is attached to the prism 13 so as to sandwich the wedge-shaped upper end portion.
プリズム20Lは平板状であり、単一の部材で構成されている。プリズム20Rも平板状であるが、単一の部材ではなく、プリズム13とプリズム21で構成されている。プリズム20Lおよびプリズム21は、プリズム13と同じ材料で作製されており、これら3者に屈折率の差はない。プリズム20Rを成すプリズム13とプリズム21は相補的な形状を有し、隙間なく、かつ表面が連続するように接合されている。プリズム13がくさび状の上端部を有することを除いて、プリズム20L、20Rは一般的な眼鏡同様対称形である。映像表示装置1を顔前に装着した観察者は、プリズム20L、20Rを通して外界を観察することになる。   The prism 20L has a flat plate shape and is composed of a single member. The prism 20R is also flat, but is not a single member but is composed of a prism 13 and a prism 21. The prism 20L and the prism 21 are made of the same material as the prism 13, and there is no difference in refractive index between these three. The prism 13 and the prism 21 constituting the prism 20R have complementary shapes, and are joined so that there is no gap and the surface is continuous. Except for the prism 13 having a wedge-shaped upper end, the prisms 20L and 20R are symmetrical as in general glasses. An observer wearing the video display device 1 in front of his / her face observes the outside through the prisms 20L and 20R.
プリズム13の下端部は、縁に向かうほど前面(眼Eから遠い面)が後面(眼Eに近い面)に近づくように作製されており、くさび状である。このくさび状の部位の前面すなわちプリズム21との接合面は平面であり、この平面にはホログラム素子22が形成されている。ホログラム素子22は、装着時に眼Eの直前に位置する。プリズム13及びホログラム素子22が接眼光学系16を構成する。   The lower end portion of the prism 13 is formed so that the front surface (surface farther from the eye E) approaches the rear surface (surface closer to the eye E) toward the edge, and has a wedge shape. The front surface of the wedge-shaped portion, that is, the joint surface with the prism 21 is a flat surface, and the hologram element 22 is formed on the flat surface. The hologram element 22 is positioned immediately in front of the eye E when worn. The prism 13 and the hologram element 22 constitute the eyepiece optical system 16.
プリズム13は、LCD11からの光を、上端部の端面より内側に導き入れ、前面と後面で複数回全反射させながら、ホログラム素子22に導く。表示手段としてのホログラム素子22は、導かれた光を回折させて、平行光に近い光束としながら、眼Eに入射させる。これにより、観察者は、LCD11に表示された映像の虚像を認識することができる。ホログラム素子22は外界からの光にはほとんど作用せず、虚像は外界の像の中央部に重なって観察される。   The prism 13 guides light from the LCD 11 to the inside of the end face of the upper end, and guides it to the hologram element 22 while totally reflecting the light multiple times on the front and rear faces. The hologram element 22 as display means diffracts the guided light to make it enter the eye E while making it a light flux close to parallel light. Thereby, the observer can recognize the virtual image of the image displayed on the LCD 11. The hologram element 22 hardly acts on the light from the outside world, and the virtual image is observed while overlapping the central portion of the outside world image.
なお、ホログラム素子22は、入射光であるLED14の各色の回折効率を高くするようにRGB3色のレーザで2つの光束を干渉させてその干渉縞をホログラム感材に記録する2光束干渉法により作製される。なお、ホログラム感材としては、銀塩、重クロムゼラチンなどでも良いが、ドライプロセスで使用できるフォトポリマーが最も好ましい。さらに、透過光量を30%以上とするホログラム感材の膜厚は、5μmから100μmが望ましく、さらには15μmから80μmが最適である。膜厚が5μm未満の場合は十分な映像の虚像を得られず、その膜厚が100μmを越える場合は透過光量が急激に減衰する。   The hologram element 22 is manufactured by a two-beam interference method in which two light beams interfere with each other with RGB three-color lasers and the interference fringes are recorded on the hologram light-sensitive material so as to increase the diffraction efficiency of each color of the LED 14 that is incident light. Is done. The hologram sensitive material may be silver salt or heavy chromium gelatin, but a photopolymer that can be used in a dry process is most preferable. Further, the film thickness of the hologram light-sensitive material having a transmitted light amount of 30% or more is desirably 5 μm to 100 μm, and more preferably 15 μm to 80 μm. When the film thickness is less than 5 μm, a sufficient image virtual image cannot be obtained, and when the film thickness exceeds 100 μm, the amount of transmitted light is rapidly attenuated.
映像表示装置1では、LCD11からの光をプリズム13の内部で反射しながらホログラム素子22に導くようにしているため、プリズム20Rを大きくすることが可能である。プリズム13の下端部はくさび状であるが、同じ材質のプリズム21に接合されているため、プリズム13の下端部を透過する外界からの光に屈折は生じない。したがって、外界の像の中央部が歪んだり不連続になったりすることもなく、映像表示装置1は質の高い像を表示することができる。   In the video display device 1, since the light from the LCD 11 is guided to the hologram element 22 while being reflected inside the prism 13, the prism 20R can be enlarged. Although the lower end of the prism 13 is wedge-shaped, it is joined to the prism 21 made of the same material, so that light from the outside that passes through the lower end of the prism 13 is not refracted. Therefore, the video display device 1 can display a high-quality image without the central portion of the image in the outside world being distorted or discontinuous.
LCD11は左右方向に長い長方形状であり、十数文字が横方向に並ぶ文字列を1〜数行表示することができる。このため、観察者は、映像から多くの情報を一度に得ることが可能である。なお、この実施の形態では、右眼に映像を表示するようにしているが、もちろん左眼に映像を表示するようにしてもよい。   The LCD 11 has a rectangular shape that is long in the left-right direction, and can display one to several lines of character strings in which dozen characters are arranged in the horizontal direction. For this reason, the observer can obtain a lot of information from the video at a time. In this embodiment, the video is displayed on the right eye, but of course, the video may be displayed on the left eye.
また、図5に示すように、1対の表示部10を備えて左右両眼に映像を表示する構成であってもよい。そして、例えば、プリズム20L、20Rにパワーをもたせて、使用者の視力を矯正し得るようにしたものであって良い。この場合は、左右の表示部10の構成においてプリズム13が曲率を有する点を除き、上述した表示部10と同様の構成である。   Further, as shown in FIG. 5, a configuration in which a pair of display units 10 are provided and an image is displayed on both the left and right eyes may be employed. For example, the prisms 20L and 20R may have power so that the user's visual acuity can be corrected. In this case, the configuration of the left and right display units 10 is the same as that of the display unit 10 described above except that the prism 13 has a curvature.
そして、使用者の視力を矯正し得る構成では、プリズム20L、20Rのパワーを使用者の視力に応じて設定する。プリズム20L、20Rに負のパワーをもたせることで近視を、正のパワーをもたせることで遠視を矯正することができる。プリズム13の下端部のプリズム21との接合面は平面とされており、ホログラム素子22の形成は容易である。   And in the structure which can correct a user's visual acuity, the power of prism 20L and 20R is set according to a user's visual acuity. By giving negative power to the prisms 20L and 20R, myopia can be corrected, and by providing positive power, hyperopia can be corrected. The joining surface with the prism 21 at the lower end of the prism 13 is a flat surface, and the hologram element 22 can be easily formed.
次に、映像表示装置1の表示部10に、撮像して得られた画像情報を映像として表示する構成を、映像表示装置1の概略構成図である図6を参照して説明する。   Next, a configuration for displaying image information obtained by imaging on the display unit 10 of the video display device 1 as a video will be described with reference to FIG. 6 which is a schematic configuration diagram of the video display device 1.
表示部10は、図1乃至図5に示すように構成され、処理済みの画像情報の映像を表示する表示器と、表示器からの光を眼に導いて観察者へ可視画像を表示する接眼光学系とを含む。 撮像手段としての撮像部50は、例えばCCDカメラを用いて撮像を行い、制御部70からの制御命令によってピント制御、絞り制御、視野角制御、ズーム制御、階調制御等が行なわれ、被写体を撮像する。これらの制御情報は必要に応じて制御部70へ送られる。   The display unit 10 is configured as shown in FIGS. 1 to 5, and includes a display that displays a video of processed image information, and an eyepiece that guides light from the display to the eye and displays a visible image to an observer. And an optical system. The imaging unit 50 as an imaging unit performs imaging using, for example, a CCD camera, and performs focus control, aperture control, viewing angle control, zoom control, gradation control, and the like according to a control command from the control unit 70, and controls the subject. Take an image. Such control information is sent to the control unit 70 as necessary.
制御手段としての制御部70は、制御全体を司るCPU(Central Processing Unit)、制御プログラムを記憶したROM(Read Only Memory)、データを一時的に記憶するRAM(Random Access Memory)、バッテリ等を有する。また、バッテリは別体として電源ケーブル等により電気を供給するようにしても良い。この制御部70のバッテリが表示部10、記憶部40、撮像部50、画像処理部60、データ入力部80、振動検出部90への電源である。この制御部70は撮像部50で撮像して得られた画像情報を画像処理部60へ送り、画像処理部60で画像処理された処理済み画像情報を受け取る。この制御部70では、表示部10のステータスによりピント状態、絞り状態、ズーム状態、温度や湿度等の環境情報を受け取り、画像処理された処理済みの画像情報を表示部10へ送る。   The control unit 70 as control means includes a CPU (Central Processing Unit) that controls the entire control, a ROM (Read Only Memory) that stores a control program, a RAM (Random Access Memory) that temporarily stores data, a battery, and the like. . Moreover, you may make it supply electricity with a power cable etc. as a battery separately. The battery of the control unit 70 is a power source for the display unit 10, the storage unit 40, the imaging unit 50, the image processing unit 60, the data input unit 80, and the vibration detection unit 90. The control unit 70 sends image information obtained by imaging by the imaging unit 50 to the image processing unit 60 and receives processed image information subjected to image processing by the image processing unit 60. The control unit 70 receives environmental information such as a focus state, an aperture state, a zoom state, temperature and humidity according to the status of the display unit 10, and sends processed image information subjected to image processing to the display unit 10.
画像処理部60は、画像処理全体を司るCPU、画像処理プログラムを記憶したROM、データを一時的に記憶するRAM等を有し、振動検出部90で算出された補正量に応じて画像の切り出し位置や倍率の変更などの画像処理を行う。また、本発明の効果を損なわない範囲で、階調変換、色変換、鮮鋭性処理、画像抽出等の画像処理も行う。このように、画像処理部60では、撮像して得られた画像情報を映像として表示可能に画像処理する。データ入力部80は、視線情報、温度や湿度等の環境情報、又は動作開始指示などを入力し、表示部10及び制御部70へ送る。また、表示部10で視線情報、温度や湿度等の環境情報を得てデータ入力部80へ送り、データ入力部80から制御部70へ送る。   The image processing unit 60 includes a CPU that controls the entire image processing, a ROM that stores an image processing program, a RAM that temporarily stores data, and the like, and cuts out an image according to the correction amount calculated by the vibration detection unit 90. Perform image processing such as changing the position and magnification. In addition, image processing such as gradation conversion, color conversion, sharpness processing, and image extraction is performed within a range that does not impair the effects of the present invention. In this manner, the image processing unit 60 performs image processing so that image information obtained by imaging can be displayed as a video. The data input unit 80 inputs line-of-sight information, environmental information such as temperature and humidity, or an operation start instruction, and sends it to the display unit 10 and the control unit 70. The display unit 10 obtains line-of-sight information, environmental information such as temperature and humidity, and sends it to the data input unit 80, and sends it from the data input unit 80 to the control unit 70.
記憶部40は、電気的に消去及び書き換えが可能な不揮発メモリであるEEPROM(Electrically Erasable and Programmable ROM)やフラッシュメモリなどにより構成され、制御部70による制御処理時に使用される映像表示装置1の各種設定データや処理プログラム、表示部10で表示される動画又は静止画の画像データなどを格納する。   The storage unit 40 includes an EEPROM (Electrically Erasable and Programmable ROM) which is an electrically erasable and rewritable nonvolatile memory, a flash memory, and the like, and various types of the video display device 1 used during control processing by the control unit 70. Stores setting data, a processing program, image data of a moving image or a still image displayed on the display unit 10, and the like.
データ入力部80は、利用者からの操作指示を受け付けるキー入力部、ビデオ画像、動画、静止画像などの画像信号を外部から受け付ける画像入力部からなり、利用者からの映像表示装置1に対する各種操作指示及び表示部10に表示する画像情報を受け付ける。   The data input unit 80 includes a key input unit that receives an operation instruction from the user, and an image input unit that receives an image signal such as a video image, a moving image, and a still image from the outside. Various operations on the video display device 1 from the user are performed. An instruction and image information to be displayed on the display unit 10 are received.
仰角センサ91は、映像表示装置1の仰角若しくは俯角方向の角速度を検出するセンサであり、この出力は特に図示しない増幅器で増幅された後に振動検出部90内に入力される。また、水平角センサ92は、映像表示装置1の水平角方向の角速度を検出するセンサであり、この出力も増幅器で増幅された後に振動検出部90内の入力される。なお、仰角・水平角センサは、ピエゾ素子や水銀スイッチなどにより構成され、速度以外に加速度を検出する構成であっても良い。   The elevation sensor 91 is a sensor that detects the angular velocity in the elevation angle or depression direction of the video display device 1, and this output is input to the vibration detection unit 90 after being amplified by an amplifier (not shown). The horizontal angle sensor 92 is a sensor that detects an angular velocity in the horizontal angle direction of the video display device 1, and this output is also amplified by an amplifier and then input into the vibration detection unit 90. The elevation angle / horizontal angle sensor may be configured by a piezoelectric element, a mercury switch, or the like, and may be configured to detect acceleration in addition to speed.
圧力センサ93L、93Rは、鼻当て31において映像表示装置1を利用者の鼻へ押し当てる際の圧力(加速度)を電導性ゴム(エラストマ)の電気抵抗などにより個別に検出するためのセンサである。そして、この出力も増幅器で増幅された後に振動検出部90内に入力される。これにより、押し当てる圧力から仰角方向の力(加速度)を検出し、左右のセンサの出力差から水平方向の力(加速度)を検出することができる。   The pressure sensors 93L and 93R are sensors for individually detecting the pressure (acceleration) when the video display device 1 is pressed against the user's nose in the nose pad 31 by the electric resistance of conductive rubber (elastomer). . This output is also amplified by the amplifier and then input into the vibration detector 90. Thereby, the force (acceleration) in the elevation direction can be detected from the pressure applied, and the horizontal force (acceleration) can be detected from the output difference between the left and right sensors.
振動検出部90は、各センサからの入力をデジタル変換するA/Dコンバータ(特に図示しない)を内蔵し、入力された各方向の角速度をそれぞれ積分して角変位に変換し、各方向への角変位すなわち各方向への揺れ角θと光学系(レンズ群)の焦点距離fとに応じて撮像部50の揺れによる画素移動分(f×tanθに相当する距離)の算出や、ホログラム素子22の移動量に応じた画素移動分の算出を行う。   The vibration detection unit 90 incorporates an A / D converter (not shown) that digitally converts the input from each sensor, integrates the input angular velocities in each direction, and converts them into angular displacements. Calculation of pixel movement (distance corresponding to f × tan θ) due to shaking of the imaging unit 50 according to the angular displacement, that is, the swing angle θ in each direction and the focal length f of the optical system (lens group), or the hologram element 22 The amount of pixel movement corresponding to the amount of movement is calculated.
また、振動検出部90は、圧力センサ93L、93Rから仰角・水平角方向の加速度情報が入力された場合、予め定められた該仰角・水平角方向の加速度情報と、ホログラム素子22と眼Eとの間の相対的なずれ量との関係から、ホログラム素子22と眼Eとの相対的なずれに対応する画素移動分の算出を行う。
なお、上述のホログラム素子22と眼Eとの相対的なずれに対応する画素移動分の算出は、映像表示装置1に備えられた仰角センサ91、水平角センサ92と利用者側に備えられた水平角・仰角センサ(図3における装置ユニット200を利用者が保持し、振動検出部90の内部に各センサが備えられる場合)との出力から行う構成であっても良い。
In addition, when the acceleration information in the elevation angle / horizontal angle direction is input from the pressure sensors 93L and 93R, the vibration detection unit 90, the acceleration information in the elevation angle / horizontal angle direction determined in advance, the hologram element 22 and the eye E, The amount of pixel movement corresponding to the relative shift between the hologram element 22 and the eye E is calculated from the relationship with the relative shift amount between the two.
The calculation of the amount of pixel movement corresponding to the relative shift between the hologram element 22 and the eye E described above was provided on the elevation angle sensor 91 and the horizontal angle sensor 92 provided on the video display device 1 and on the user side. It may be configured to perform output from a horizontal angle / elevation angle sensor (when the user holds the device unit 200 in FIG. 3 and each sensor is provided inside the vibration detection unit 90).
また、映像表示装置1の揺動の検出は、仰角センサ91、水平角センサ92、圧力センサ93L、93Rに限定するものではなく、撮像部50で撮像された外界の映像から鮮鋭化処理により輪郭を所定の周期で抽出し、その変化量から検出する構成であってもよい。   Further, the detection of the swing of the image display device 1 is not limited to the elevation angle sensor 91, the horizontal angle sensor 92, and the pressure sensors 93L and 93R, but the contour is obtained by sharpening processing from the image of the outside world captured by the imaging unit 50. May be extracted at a predetermined cycle and detected from the amount of change.
図7は、映像表示装置1の作動ラダーチャートである。この映像表示装置1では、所定の周期で制御部70から撮像部50及び表示部10へステータス情報要求を行ない、撮像部50及び表示部10から制御部70へステータス情報を送信する(点線部)。そして、データ入力部80から入力される画像表示指示により撮像部50へ画像情報送信表級を行ない、撮像部50から被写体を撮像して得られた画像情報を制御部70へ送る。   FIG. 7 is an operation ladder chart of the video display device 1. In this video display device 1, status information is requested from the control unit 70 to the imaging unit 50 and the display unit 10 in a predetermined cycle, and status information is transmitted from the imaging unit 50 and the display unit 10 to the control unit 70 (dotted line unit). . Then, in accordance with an image display instruction input from the data input unit 80, an image information transmission table is performed to the imaging unit 50, and image information obtained by imaging the subject from the imaging unit 50 is sent to the control unit 70.
制御部70は、被写体を撮像して得られた画像情報と画像処理情報を画像処理部60へ送る。画像処理部60では、画像処理情報に基づき画像情報を映像として表示可能に画像処理し、処理済みの画像情報を制御部70へ送る。ここで、画像処理情報は、基本的には利用者の情報(例えば遠視など)に応じた画像処理情報が設定されており、この画像処理情報によって拡大処理、階調変更、鮮鋭性強調等が行なわれる。   The control unit 70 sends image information and image processing information obtained by imaging the subject to the image processing unit 60. The image processing unit 60 performs image processing so that the image information can be displayed as a video based on the image processing information, and sends the processed image information to the control unit 70. Here, as the image processing information, basically, image processing information according to user information (for example, hyperopia) is set, and enlargement processing, gradation change, sharpness enhancement, etc. are performed by this image processing information. Done.
制御部70は、画像処理を行なった画像情報を表示部10へ送ることで、表示部10において外界の映像と表示エリアの画像処理画像とを同時に利用者が見ることを可能とする。   The control unit 70 sends image information on which image processing has been performed to the display unit 10, thereby enabling the user to simultaneously view the image of the outside world and the image processing image of the display area on the display unit 10.
次に、制御部70は、補正処理を行なうための処理プログラムや処理に必要な予め設定されているデータを記憶部40に要求して、そのデータを受信する。   Next, the control unit 70 requests the storage unit 40 for a processing program for performing the correction process and preset data necessary for the processing, and receives the data.
そして、映像表示装置1の状態や利用者の設定により表示部10での表示を調整するための制御部70から画像処理部60に出力される画像処理指示情報は、基本的には利用者の情報が設定されているが、この設定された画像処理指示情報は、変更可能である。振動検出部90では映像表示装置1の揺動を検出して制御部70へ振動情報として出力し、制御部70では振動検出部90からの振動情報に基づいて前述の補正処理を行ない、トリミング位置を上記画像処理指示情報に含ませて出力する。   The image processing instruction information output to the image processing unit 60 from the control unit 70 for adjusting the display on the display unit 10 according to the state of the video display device 1 or the setting of the user is basically the user's Information is set, but the set image processing instruction information can be changed. The vibration detection unit 90 detects the swing of the video display device 1 and outputs it as vibration information to the control unit 70. The control unit 70 performs the above-described correction processing based on the vibration information from the vibration detection unit 90, and the trimming position. Is included in the image processing instruction information and output.
ここで、振動検出部90により検出された情報を元に撮像部50で撮像される画像に対して制御部70がトリミング位置を指定することで行う補正処理について図9に示すフローチャートを参照して説明する。
なお、この補正処理は、データ入力部80から利用者により入力される撮像開始指示により撮像部50で撮影される画像をホログラム素子22に映像として表示する処理とともに開始され、制御部70の動作周波数の整数倍の周波数周期で割り込まれて行われる。
Here, with reference to the flowchart shown in FIG. 9, correction processing performed by the control unit 70 designating a trimming position for an image captured by the imaging unit 50 based on information detected by the vibration detection unit 90 will be described. explain.
This correction process is started together with a process of displaying an image captured by the imaging unit 50 as an image on the hologram element 22 in accordance with an imaging start instruction input by the user from the data input unit 80, and the operating frequency of the control unit 70 This is done by interrupting at an integer multiple of the frequency period.
先ず、制御部70は、振動検出部90のA/Dコンバータに取り込まれた各センサの出力をそれぞれA/Dサンプリングして角速度信号に変換し、この角速度信号に対しカットオフ周波数が固定されているバイパスフィルタ処理等を施してAC成分の角速度信号を得る。そして、該角速度信号に対して帯域制限処理が施される(ステップS11)。   First, the control unit 70 performs A / D sampling on the output of each sensor taken into the A / D converter of the vibration detection unit 90 to convert it into an angular velocity signal, and the cutoff frequency is fixed to the angular velocity signal. An AC component angular velocity signal is obtained by performing a bypass filter processing or the like. Then, band limiting processing is performed on the angular velocity signal (step S11).
この帯域制限処理においては、カットオフ周波数を可変設定することが可能であり、このカットオフ周波数を低域から高域まで変化させることにより所望の帯域制限と振動の補正を行うことが可能である。この設定されるカットオフ周波数は、ズーム倍率、歩行のモード等で可変として設定することもできる。   In this band limiting process, it is possible to variably set the cut-off frequency, and by changing the cut-off frequency from a low range to a high range, it is possible to perform a desired band limit and vibration correction. . The set cut-off frequency can be set as variable depending on the zoom magnification, the walking mode, and the like.
ステップS11の後、帯域制限された角速度信号に対して積分処理が行われ、角変位が算出される(ステップS12)。この算出されれた角変位が映像表示装置1に加わる揺れ角θに相当する。   After step S11, an integration process is performed on the band-limited angular velocity signal to calculate an angular displacement (step S12). The calculated angular displacement corresponds to the swing angle θ applied to the video display device 1.
ステップS12の後、算出された揺れ角θに応じた補正量、及び制限量を算出するため角方向の揺れ角θと光学系の焦点距離fとから、補正量の算出が行われる(ステップS13)。ここで、算出される補正量は、例えば撮像部50の揺れによる画素移動分の場合はf×tanθで表される。   After step S12, a correction amount is calculated from the angular swing angle θ and the focal length f of the optical system in order to calculate the correction amount according to the calculated swing angle θ and the limit amount (step S13). ). Here, the calculated correction amount is represented by, for example, f × tan θ in the case of pixel movement due to the shaking of the imaging unit 50.
次に、ステップS13で算出された補正量を元にトリミング位置(Vi,Hi)の変更(トリミング命令の出力)による表示画像の補正が揺動による画像のずれをうち消す方向に行われる(ステップS14)。
具体的には、撮像部50で撮像される画像のトリミング位置を示す目標位置座標(Vi,Hi)を算出する。この目標位置座標は、揺動が無い場合の原点である(V0,H0)に対して、変位量が(Vi−V0)と(Hi−H0)になる関係である。
Next, based on the correction amount calculated in step S13, the display image is corrected by changing the trimming position (Vi, Hi) (output of the trimming command) in a direction to eliminate the image shift due to the swing (step). S14).
Specifically, target position coordinates (Vi, Hi) indicating the trimming position of the image captured by the imaging unit 50 are calculated. The target position coordinates have a relationship in which the displacement amounts are (Vi−V0) and (Hi−H0) with respect to (V0, H0) which is the origin when there is no swing.
本実施例における算出式は、例えば近似式として、(Vi−V0)=V0×仰角補正量/垂直画像サイズ、(Hi−H0)=H0×水平角補正量/水平画像サイズであり、ぶれ補正によりVi,Hiを得ることができる。なお、水平・垂直でのぶれ量を、水平は垂直の値、垂直は水平の値でそれぞれ規格化し、実際の変位量としてこれらに装置特有の特性係数を掛け合わせてより円滑なトリミングを行う構成であっても良い。さらに、眼鏡型の映像表示装置に特有の仰角方向のぶれを強調して算出するような係数を掛け合わせる構成であっても良い。また、厳密に、表示部と眼Eとの間の結像距離を考慮して変位ピクセル量を算出して補正する構成であっても良い。   The calculation formulas in this embodiment are, for example, (Vi−V0) = V0 × elevation angle correction amount / vertical image size, (Hi−H0) = H0 × horizontal angle correction amount / horizontal image size as an approximate expression, and blur correction. Thus, Vi and Hi can be obtained. Note that the horizontal and vertical blur amounts are normalized by the vertical value for the horizontal and the horizontal value for the vertical, respectively, and the actual displacement is multiplied by the characteristic coefficient specific to the device for smoother trimming. It may be. Further, a configuration may be used in which coefficients such as those calculated by emphasizing the blur in the elevation direction peculiar to the eyeglass-type video display device are multiplied. In addition, strictly speaking, the displacement pixel amount may be calculated and corrected in consideration of the imaging distance between the display unit and the eye E.
ここで、上述の補正処理により撮像部50の全撮像画面領域101からホログラム素子22の表示画面として全画面104が出力される概略を図10に示す。   Here, FIG. 10 shows an outline in which the entire screen 104 is output as the display screen of the hologram element 22 from the entire imaging screen region 101 of the imaging unit 50 by the above-described correction processing.
撮像部50で撮像される全撮像画面領域101に対して、(a)に示す揺動が無い場合は、トリミング位置として原点の点103を示すことで領域102がトリミングされて、(b)に示す様に撮像部50により撮像された画像の全画面104としてホログラム素子22に表示される。
また、(c)に示す揺動が検出された場合は、トリミング位置として上述の処理により算出された(Vi,Hi)を示すことで領域102aがトリミングされて、撮像された画像の全画面104としてホログラム素子22に表示される。
When there is no swing as shown in (a) with respect to the entire imaging screen area 101 imaged by the imaging unit 50, the area 102 is trimmed by showing the point 103 of the origin as the trimming position, and (b). As shown, the image captured by the imaging unit 50 is displayed on the hologram element 22 as a full screen 104.
When the swing shown in (c) is detected, the region 102a is trimmed by indicating (Vi, Hi) calculated by the above-described processing as the trimming position, and the entire screen 104 of the captured image is displayed. Is displayed on the hologram element 22.
(b)に示す領域102aを抽出して表示する方法としては、制御部70における内部RAMや記憶部40を用いて全撮像画面領域101の画像を一旦記憶し、領域の画像のみを読み出しながら全撮像画面の大きさになるように拡大処理を行うことによる方法と、領域が予め所定規格の映像信号に必要な走査線数を満足するような高密度、高画素タイプのCCD(Charge-Coupled Device)を撮像素子として用いる方法とがある。   As a method of extracting and displaying the area 102a shown in (b), the image of the entire imaging screen area 101 is temporarily stored using the internal RAM or the storage section 40 in the control unit 70, and all the images are read while reading only the image of the area. High-density, high-pixel type CCD (Charge-Coupled Device) with a method that performs enlargement processing to the size of the imaging screen and a region that satisfies the number of scanning lines necessary for video signals of a predetermined standard in advance ) As an image sensor.
そして、上記処理で算出されたトリミング位置を切り出し位置として指示する命令を画像処理部60に指示し、画像処理をした結果を出力側であるホログラム素子22へ送る。   Then, the image processing unit 60 is instructed to instruct the trimming position calculated in the above processing as the cutout position, and the image processing result is sent to the hologram element 22 on the output side.
なお、上述の処理におけるカットオフ周波数は、電子ズームの倍率に応じて変更する様に設定し得ることが好ましい。この場合、補正量に対する制限量すなわちカットオフ周波数を所定の特性に従い変化する様に設定し、かつその特性を電子ズーム機能の拡大率に応じて変更するため、補正量に対し制限をかける切替が、閾値比較による切換えのように離散的に変化する不連続な切換えにならず、連続的に変化する切替とすることができる。また、電子ズームによる画面拡大時の最適なパンニング速度(焦点距離を望遠側に設定した場合よりゆっくりしたカメラ操作)に対しても最適な制限がかけられる。よって、円滑なパンニング動作ができ、安定にぶれ防止の効果を得ることができる。   Note that the cutoff frequency in the above-described processing is preferably set so as to be changed according to the magnification of the electronic zoom. In this case, the limit amount for the correction amount, that is, the cutoff frequency is set to change according to a predetermined characteristic, and the characteristic is changed according to the enlargement ratio of the electronic zoom function. In addition, the switching is not a discontinuous switching that changes discretely, such as a switching by threshold comparison, but a switching that changes continuously. In addition, the optimum panning speed (camera operation slower than when the focal length is set to the telephoto side) at the time of enlarging the screen by electronic zoom is also optimally limited. Therefore, a smooth panning operation can be performed, and the effect of preventing shaking can be stably obtained.
画像処理部60では、制御部70から送られる画像情報と画像処理指示情報とに基づき、画像情報を映像として表示部10で表示可能に画像処理し、処理済みの画像情報を制御部70へ送る。この画像処理情報を変更する条件は、振動検出部90による補正量、撮像された画像情報による。   Based on the image information and image processing instruction information sent from the control unit 70, the image processing unit 60 performs image processing so that the image information can be displayed on the display unit 10 as a video, and sends the processed image information to the control unit 70. . The conditions for changing the image processing information depend on the correction amount by the vibration detection unit 90 and the captured image information.
この実施の形態の映像表示装置1は図8に示すように、利用者の顔前に装着されて、表示エリアAにおいて外界の映像と表示エリアAの画像処理画像が同時に利用者から見ることが可能であり、表示エリアAに画像処理を行なった画像情報の映像を表示する。   As shown in FIG. 8, the video display device 1 according to this embodiment is mounted in front of the user's face so that the user can view the image of the outside world and the image processed image of the display area A at the same time in the display area A. It is possible to display a video of image information subjected to image processing in the display area A.
利用者の顔前に装着されて、撮像して得られた画像情報を映像として表示可能に画像処理し、表示部10により健常者視野の表示エリアAに画像処理を行なった画像情報の映像を表示部10と利用者との相対的な位置関係を検出して補正を行なうことでぶれを防止して表示するため、利用者が歩行時にでも安定して見ることができる。しかも、表示部10において外界の映像と表示エリアAの画像処理画像が同時に利用者から見ることが可能であることで、実際の風景が確認でき、利用者が視覚障害者の場合でも、装着したまま治療する側から利用者の眼を確認することができるとともに、一般生活上対面して話をする人から見ても利用者の目を見て話すことができ、ゴーグル型のように特殊な形状をしていないため一般生活上違和感なく用いることが可能である。   Image information that is mounted in front of the user's face and is image-processed so that the image information obtained by imaging can be displayed as a video, and the image of the image information that has been subjected to image processing in the display area A of the normal person's field of view by the display unit 10 Since the relative positional relationship between the display unit 10 and the user is detected and corrected to prevent blurring and display, the user can stably view even when walking. Moreover, since the external image and the image-processed image in the display area A can be simultaneously viewed by the user on the display unit 10, the actual scenery can be confirmed, and even when the user is visually impaired, the user is wearing it. As well as being able to confirm the user's eyes from the treatment side, the user's eyes can be seen and spoke even from the person who talks face-to-face in general life. Since it is not shaped, it can be used without a sense of incongruity in general life.
また、外界の画像と表示画像との位置を重ねる様に表示する場合においても、映像表示装置1の絶対的な位置の変位量を検出して補正する構成であるため、ずれの発生を防止することができる。   Further, even in the case where the image of the outside world and the display image are displayed so as to overlap each other, the displacement amount of the absolute position of the video display device 1 is detected and corrected, so that the occurrence of deviation is prevented. be able to.
また、図8に示す表示エリアAは、表示部10をプリズム20Rの上側部20R2に横方向に取り付けることによって横方向を長く設定されるが、この場合、表示エリアAの両側をマスクすることで、表示エリアA1とし、横方向より縦方向を長く設定することができる。この表示エリアAは、矩形に限定されず、楕円形状等でもよい。この楕円形状の表示エリアAにおいても外接する矩形の比率で横方向より縦方向を長く設定される。また、表示部10はプリズム20Rの上側部20R2に縦方向に取り付ける構成であっても良い。   In addition, the display area A shown in FIG. 8 is set to be long in the horizontal direction by attaching the display unit 10 to the upper part 20R2 of the prism 20R in the horizontal direction, but in this case, both sides of the display area A are masked. In the display area A1, the vertical direction can be set longer than the horizontal direction. The display area A is not limited to a rectangle, but may be an oval shape or the like. Also in this elliptical display area A, the vertical direction is set longer than the horizontal direction at the ratio of the circumscribed rectangle. Moreover, the structure which attaches the display part 10 to the upper part 20R2 of the prism 20R in the vertical direction may be sufficient.
この表示エリアAの透過率は、表示エリアAの表示エリアA2の透過率と比較して40%以内である。画像非表示時は、表示エリアAが通常のガラス玉として機能し、対面する医師等の相手は観察者の眼球運動を観察することができ、より正確な診断が可能である。   The transmittance of the display area A is within 40% compared to the transmittance of the display area A2 of the display area A. When the image is not displayed, the display area A functions as a normal glass ball, and a partner such as a doctor who faces the person can observe the eye movement of the observer, thereby enabling more accurate diagnosis.
振動検出部90により制御部70で撮像部50の撮像視野から表示に必要な視野の情報を抽出し、全撮像画面領域101から領域102や領域102aのように画像抽出を行なうことで、見易くすることが可能となる。   The control unit 70 extracts information on the visual field necessary for display from the imaging visual field of the imaging unit 50 by the vibration detection unit 90, and performs image extraction from the entire imaging screen region 101 such as the region 102 and the region 102a to make it easy to see. It becomes possible.
画像処理部60では、画像処理情報に基づき画像情報を映像として表示可能にし、ブレ(振動)防止の画像処理を行ない、利用者が見易いように補助表示をすることができる。また本発明の効果を損なわない範囲であれば、例えば周波数補正の画像処理で輪郭強調することにより外界の物体の輪郭を捉えやすくする。また、色調補正の画像処理では、特定の色を強調し、またモノクロ化して表示し、色盲等の視覚障害者を有する利用者に見易いようにすることができる。また、色弱などの場合に従来区別がつかなかった色が画面上で色変換処理されて別の濃度または色で表示することにより、見易いようにすることができる。また、利用者の視覚障害により輝度圧縮の画像処理では、対数変換してコントラストを落として表示することで見易くしたり、全体に輝度を上げることにより見易いようにすることができる。   The image processing unit 60 can display the image information as a video based on the image processing information, perform image processing for preventing blurring (vibration), and perform auxiliary display for easy viewing by the user. If the range does not impair the effects of the present invention, the outline of an object in the outside world can be easily captured by, for example, enhancing the outline by image processing for frequency correction. Further, in the image processing for color tone correction, a specific color is emphasized and displayed in black and white so that it can be easily viewed by a user having a visually impaired person such as color blindness. In addition, colors that have not been distinguished in the case of color weakness or the like are subjected to color conversion processing on the screen and displayed with different densities or colors, so that it is easy to see. In addition, in the image processing of the luminance compression due to the visual impairment of the user, it is possible to make it easy to see by logarithmically converting and displaying it with a reduced contrast, or to make it easy to see by increasing the luminance as a whole.
このように、撮像した画像に対して、拡大・縮小を行なう処理、明度を補正する処理、色彩を補正する処理、輪郭を強調する処理など、種々の画像処理を採用することができる。また、これらの画像処理の少なくとも一つの処理を実行しても良いし、二以上の処理を合わせて行なっても差し支えない。   As described above, various image processes such as a process of enlarging / reducing, a process of correcting lightness, a process of correcting color, and a process of enhancing contours can be employed for a captured image. Further, at least one of these image processes may be executed, or two or more processes may be performed together.
なお、本実施の形態以外にも、拡大制御を行わずに済む大型又は超高画素タイプのCCD、または光学式の補正手段を用いて補正を行うように構成することも可能である。   In addition to this embodiment, it is also possible to perform correction using a large or ultra-high pixel type CCD that does not require enlargement control, or an optical correction means.
なお、本実施の形態では、利用者の歩行などにおける揺動を検出して撮像部50による撮像画像の補正を行う構成としたが、全撮像画面領域101に対応する画像がデータ入力部80から入力されるビデオ画像や記憶部40に格納された画像などであり、それを表示部10に表示する場合に行なう構成であっても良い。   In the present embodiment, the configuration is such that the swing of the user walking or the like is detected and the captured image is corrected by the imaging unit 50. However, an image corresponding to the entire imaging screen area 101 is obtained from the data input unit 80. The video image to be input, the image stored in the storage unit 40, and the like may be used when the image is displayed on the display unit 10.
[第2の実施の形態]
次に、図11を参照して、第2の実施の形態について説明する。なお、簡略化のため、第1の実施の形態と同一の構成については同一の符号を付して説明を省略する。以下、第2の実施の形態にい特徴的な色補正に関する構成について説明する。
[Second Embodiment]
Next, a second embodiment will be described with reference to FIG. For simplification, the same components as those in the first embodiment are denoted by the same reference numerals and description thereof is omitted. Hereinafter, a configuration related to characteristic color correction in the second embodiment will be described.
ホログラム素子22により映像を表示する構成では、回折現象を利用するため、歩行などにより利用者と表示部10との相対的な位置関係にずれが生じることで映像の色が実際のものと異なって利用者に認識される恐れがある。そのために、例えば、図1及び図4に示すように表示部10を上部に取り付けてホログラム素子22で映像を表示する場合は縦方向のずれに対しての補正を行なう必要がある。
そこで、本実施の形態では、振動検出部90で検出される利用者と映像表示装置1との相対的な揺動を元に、制御部70から画像処理部60に対して送られる画像処理指示情報に色補正に関する情報を加え、画像処理部60でその画像処理指示情報を元に画像処理が行なわれて、表示される構成である。
In the configuration in which an image is displayed by the hologram element 22, since the diffraction phenomenon is used, the relative color between the user and the display unit 10 is shifted due to walking or the like, so that the color of the image is different from the actual color. There is a risk of being recognized by the user. Therefore, for example, when the display unit 10 is attached to the upper portion and an image is displayed on the hologram element 22 as shown in FIGS. 1 and 4, it is necessary to correct the vertical shift.
Therefore, in the present embodiment, an image processing instruction sent from the control unit 70 to the image processing unit 60 based on the relative swing between the user detected by the vibration detection unit 90 and the video display device 1. Information relating to color correction is added to the information, and the image processing unit 60 performs image processing based on the image processing instruction information and displays the information.
制御部70により制御されて行なわれる色補正は、例えば振動検出部90で仰角方向の揺動を検出して、ホログラム素子22に応じて予め定められた計算式により算出されて行なわれる。具体的には、図11に示す最も彩度が低く白として認識されるホワイトポイントである中心値O(x0,y0)は、仰角方向の回転角度dに応じて、x0=−0.004×d+0.313、y0=0.018×d+0.329である線L上に沿って補正される。
これにより、図11に示す各色度(xi,yi)における色のずれ量はΔx=xi×x0、Δy=yi×y0で算出され、それぞれずれ量分を差し引いて補正が行なわれる。
The color correction performed under the control of the control unit 70 is performed, for example, by detecting a swing in the elevation angle direction by the vibration detection unit 90 and calculating by a predetermined formula according to the hologram element 22. Specifically, the center value O (x0, y0) that is the white point with the lowest saturation and recognized as white shown in FIG. 11 is x0 = −0.004 × according to the rotation angle d in the elevation direction. Correction is made along the line L where d + 0.313 and y0 = 0.018 × d + 0.329.
Thus, the color shift amount at each chromaticity (xi, yi) shown in FIG. 11 is calculated as Δx = xi × x0 and Δy = yi × y0, and correction is performed by subtracting the shift amount.
なお、中心値Oを算出する構成は、例示として挙げたものであり、これに限定するものではなく、ホログラム素子22の特性などに合わせて工場出荷時などにおいて予め設定されるものであってよい。   The configuration for calculating the center value O is given as an example, and is not limited to this. The configuration may be set in advance at the time of factory shipment in accordance with the characteristics of the hologram element 22 and the like. .
上述の補正は、全ての画素に対して同一に行なう構成であっても良いが、視線中央の位置を原点とした各ピクセル(px,py)ごとにおいて、個々に色ずれを算出して補正することがより好ましい。
この場合は、ホログラム素子22の垂直方向の長さをXL、垂直方向のピクセル数をX、ホログラム素子22から投影される画像が結像する距離をLとすると、pxにおける中心からのずれ角はarctan((XL/X×px)/L)で算出され、振動検出部90で検出される仰角方向の回転角度dにその算出された値を加えて、上述の色補正を行なうことで各ピクセルにおける垂直方向の補正を行なう。なお、水平方向も同様に行うことができる。
Although the above-described correction may be performed on all the pixels in the same manner, the color shift is individually calculated and corrected for each pixel (px, py) having the origin at the center of the line of sight. It is more preferable.
In this case, when the vertical length of the hologram element 22 is XL, the number of pixels in the vertical direction is X, and the distance at which the image projected from the hologram element 22 is formed is L, the deviation angle from the center at px is Each pixel is calculated by adding the calculated value to the rotation angle d in the elevation angle direction calculated by arctan ((XL / X × px) / L) and detected by the vibration detection unit 90, and performing the color correction described above. Correction in the vertical direction at. The horizontal direction can be similarly performed.
なお、特に本発明の効果を損なわなければ、官能評価に基づいた重み関数や、近似式を用いて、色補正分を算出して補正する構成であっても良い。
また、色の見えモデルを用いて補正することもでき、CIE規格のCIECAM97等に従い変換することもできる。
更に、Labカラーでのそれぞれの物理量のずれと角度との関係をあらかじめ求めておき、ホワイトバランスの代わりに用いて、カラーバランスを補正しても良い。また、回折型ディスプレイでの投影方向と同じ方向を必ず補正することができ、特にはそれと直交する軸方向も同様に、予め求められた関係によりずれに対応するカラーバランスを補正する構成が特に好ましい。
In addition, as long as the effect of the present invention is not impaired, a configuration may be adopted in which the color correction is calculated and corrected using a weight function based on sensory evaluation or an approximate expression.
Further, correction can be performed using a color appearance model, and conversion can be performed in accordance with CIECAM 97 of the CIE standard.
Further, the relationship between the deviation of each physical quantity and the angle in the Lab color may be obtained in advance and used instead of white balance to correct the color balance. Further, it is possible to always correct the same direction as the projection direction on the diffractive display, and in particular, it is particularly preferable to correct the color balance corresponding to the shift according to the relationship obtained in advance in the same way as the axial direction orthogonal thereto. .
以上により、本実施の形態によれば、映像表示装置1は、振動検出部90で検出された揺動に応じて色補正を行なう構成であるため、利用者が歩行中などに使用した場合においても、正確な色の再現性を保つことができる。   As described above, according to the present embodiment, the video display device 1 is configured to perform color correction in accordance with the swing detected by the vibration detection unit 90. Therefore, when the user uses the device while walking or the like. Even accurate color reproducibility can be maintained.
この発明は、例えば、白内障、緑内障、黄斑変性症、夜盲症などの視覚障害を有する利用者が眼前に装着し、振動によるブレ防止を備えることで、一般生活上、不都合なく安定に見ることのできる映像表示装置に適用できる。   This invention can be viewed stably in general life without inconvenience, for example, by a user with visual impairment such as cataract, glaucoma, macular degeneration, night blindness and the like being equipped in front of the eyes and provided with vibration prevention due to vibration. Applicable to video display devices.
本発明である映像表示装置1の外観を示す図である。It is a figure which shows the external appearance of the video display apparatus 1 which is this invention. 圧力センサ93L、93Rを備えた映像表示装置1の外観を示す図である。It is a figure which shows the external appearance of the video display apparatus 1 provided with the pressure sensors 93L and 93R. 画像処理部60、制御部70、データ入力部80、及び振動検出部90を装置ユニット200に一体に組み込んだ映像表示装置1の外観を示す図である。FIG. 2 is a diagram illustrating an external appearance of a video display device 1 in which an image processing unit 60, a control unit 70, a data input unit 80, and a vibration detection unit 90 are integrated into a device unit 200. 映像表示装置1の表示部10を含む断面図である。1 is a cross-sectional view including a display unit 10 of a video display device 1. 左右に表示部10を備える映像表示装置1の外観を示す図である。It is a figure which shows the external appearance of the video display apparatus 1 provided with the display part 10 on either side. 映像表示装置1の機能的構成を模式的に示した図である。2 is a diagram schematically illustrating a functional configuration of a video display device 1. FIG. 映像表示装置1の作動ラダーチャートである。3 is an operation ladder chart of the video display device 1. 表示エリアを示す図である。It is a figure which shows a display area. 振動検出部90で検出される揺動を元にホログラム素子22に表示される映像に対して行なわれる補正処理を示すフローチャートである。5 is a flowchart showing a correction process performed on an image displayed on the hologram element 22 based on the swing detected by the vibration detector 90. 補正処理の概要を例示する図である。It is a figure which illustrates the outline | summary of a correction process. 第2の実施の形態における色補正を説明するCIExy色度図である。It is a CIExy chromaticity diagram explaining the color correction in the second embodiment.
符号の説明Explanation of symbols
1 映像表示装置
A、A1、 表示エリア
A2 周囲
E 眼
10 表示部
11 LCD
12 筐体
13、20、20L、20R、21 プリズム
14 LED
15 レンズ
16 接眼光学系
20R1 外側部
20R2 上側部
22 ホログラム素子
31 鼻当て
32L、32R テンプル
40 記憶部
50 撮像部
60 画像処理部
70 制御部
80 データ入力部
90 振動検出部
91 仰角センサ
92 水平角センサ
93L、93R 圧力センサ
94 ケーブル
101 全撮像画面領域
102、102a 領域
103、103a 点
104 全画面
200 装置ユニット
201 ケーブル
DESCRIPTION OF SYMBOLS 1 Video display apparatus A, A1, Display area A2 Perimeter E Eye 10 Display part 11 LCD
12 Housing 13, 20, 20L, 20R, 21 Prism 14 LED
DESCRIPTION OF SYMBOLS 15 Lens 16 Eyepiece optical system 20R1 Outer part 20R2 Upper part 22 Hologram element 31 Nose pad 32L, 32R Temple 40 Storage part 50 Imaging part 60 Image processing part 70 Control part 80 Data input part 90 Vibration detection part 91 Elevation angle sensor 92 Horizontal angle sensor 93L, 93R Pressure sensor 94 Cable 101 Full imaging screen area 102, 102a Area 103, 103a Point 104 Full screen 200 Device unit 201 Cable

Claims (8)

  1. 画像を表示する表示エリアに外界の映像と表示画像とを同時に利用者から見ることを可能に表示する表示手段と、
    前記表示手段の揺動の状態を検出する検出手段と、
    前記揺動の状態に応じて補正した画像を前記表示エリアに表示可能に制御する制御手段と、
    を備えたことを特徴とする映像表示装置。
    Display means for displaying an image of the outside world and a display image in a display area for displaying an image so that the user can view the image simultaneously;
    Detecting means for detecting a swinging state of the display means;
    Control means for controlling the image corrected in accordance with the state of swinging so as to be displayed in the display area;
    A video display device comprising:
  2. 画像を表示する表示エリアに外界の映像と表示画像とを同時に利用者から見ることを可能に表示する表示手段と、
    前記利用者の視線と前記表示手段における表示エリアとの相対的な位置ずれを検出する検出手段と、
    前記相対的な位置ずれに対応して前記表示画像の表示位置を補正した画像を前記表示エリアに表示可能に制御する制御手段と、
    を備えたことを特徴とする映像表示装置。
    Display means for displaying an image of the outside world and a display image in a display area for displaying an image so that the user can view the image simultaneously;
    Detecting means for detecting a relative displacement between the user's line of sight and the display area of the display means;
    Control means for controlling the display area so that an image in which the display position of the display image is corrected corresponding to the relative displacement is displayed in the display area;
    A video display device comprising:
  3. 画像を表示する表示エリアに外界の映像と表示画像とを同時に利用者から見ることを可能に表示する表示手段と、
    前記利用者の視線と前記表示手段における表示エリアとの相対的な位置ずれを検出する検出手段と、
    前記相対的な位置ずれに対応して前記表示画像の色を補正した画像を前記表示エリアに表示可能に制御する制御手段と、
    を備えたことを特徴とする映像表示装置。
    Display means for displaying an image of the outside world and a display image in a display area for displaying an image so that the user can view the image simultaneously;
    Detecting means for detecting a relative displacement between the user's line of sight and the display area of the display means;
    Control means for controlling an image in which the color of the display image is corrected corresponding to the relative displacement so as to be displayed in the display area;
    A video display device comprising:
  4. 前記検出手段は、水平角センサ及び仰角センサ若しくは俯角センサであることを特徴とする請求項1〜3のいずれか一項に記載の映像表示装置。   The video display device according to claim 1, wherein the detection unit is a horizontal angle sensor and an elevation angle sensor or a depression angle sensor.
  5. 前記表示手段を備えるレンズと、
    該レンズの左右方向の中央付近に取り付けられ、鼻に接する鼻当てと、
    前記レンズの左右方向の両端付近に取り付けられ、耳、側頭部または後頭部に接する1対のテンプルとを含む装着部を備える眼鏡型の装着手段を更に備え、
    前記検出手段は、前記鼻当てに設けられた圧力センサーであることを特徴とする請求項1〜4のいずれか一項に記載の映像表示装置。
    A lens comprising the display means;
    A nose pad attached near the center of the lens in the left-right direction and in contact with the nose;
    The apparatus further comprises spectacles-type mounting means including a mounting portion that is attached near both left and right ends of the lens and includes a pair of temples that contact the ears, the temporal region, or the back of the head,
    The video display device according to claim 1, wherein the detection unit is a pressure sensor provided in the nose pad.
  6. 前記表示手段に一体化され、外界の映像を撮像する撮像手段を更に備え、
    前記検出手段は、前記外界の映像を元に前記表示手段の揺動の状態を検出することを特徴とする請求項1〜5のいずれか一項に記載の映像表示装置。
    An image pickup means integrated with the display means for picking up an image of the outside world;
    The video display apparatus according to claim 1, wherein the detection unit detects a swinging state of the display unit based on the video of the outside world.
  7. 前記表示手段は反射型又は回折型ホログラムディスプレイであることを特徴とする請求項1〜6のいずれか一項に記載の映像表示装置。   The video display device according to claim 1, wherein the display unit is a reflection type or a diffraction type hologram display.
  8. 前記表示手段の透過率は30%以上であることを特徴とする請求項1〜7のいずれか一項に記載の映像表示装置。   The image display device according to claim 1, wherein a transmittance of the display unit is 30% or more.
JP2004325244A 2004-11-09 2004-11-09 Video display device Expired - Fee Related JP4635572B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004325244A JP4635572B2 (en) 2004-11-09 2004-11-09 Video display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004325244A JP4635572B2 (en) 2004-11-09 2004-11-09 Video display device

Publications (2)

Publication Number Publication Date
JP2006135884A true JP2006135884A (en) 2006-05-25
JP4635572B2 JP4635572B2 (en) 2011-02-23

Family

ID=36728969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004325244A Expired - Fee Related JP4635572B2 (en) 2004-11-09 2004-11-09 Video display device

Country Status (1)

Country Link
JP (1) JP4635572B2 (en)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006171302A (en) * 2004-12-15 2006-06-29 Konica Minolta Photo Imaging Inc Video display device and information providing system
JP2010506476A (en) * 2006-10-05 2010-02-25 エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) Stereoscopic display system
JP2011071884A (en) * 2009-09-28 2011-04-07 Brother Industries Ltd Work supporting system
JP2012503796A (en) * 2008-09-26 2012-02-09 マイクロソフト コーポレーション Compensating for expected motion of equipment
US8344965B2 (en) 2008-09-25 2013-01-01 Brother Kogyo Kabushiki Kaisha Head mounted display device
JP2013522974A (en) * 2010-03-19 2013-06-13 バートラン ネプー Method for digital processing of video signals, digital image processor, and video display system
JP2013210643A (en) * 2013-04-26 2013-10-10 Sony Corp Display device and display method
JP2014508596A (en) * 2011-02-24 2014-04-10 アイシス イノベーション リミテッド Optical device for individuals with visual impairment
JP2014102269A (en) * 2012-11-16 2014-06-05 Seiko Epson Corp Optical member and virtual image display device
JP2014164020A (en) * 2013-02-22 2014-09-08 Seiko Epson Corp Method of manufacturing light guide device, light guide device, and virtual image display device
JP2015504616A (en) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション Video display correction based on sensor input of transmission myopia display
KR20160030005A (en) * 2014-09-05 2016-03-16 삼성디스플레이 주식회사 Display apparatus, Display control apparatus and Display method
JP2016080971A (en) * 2014-10-21 2016-05-16 ローム株式会社 Visual assistance system
JP2016149587A (en) * 2015-02-10 2016-08-18 セイコーエプソン株式会社 Head-mounted display, method for controlling the same, and control program
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9875406B2 (en) 2010-02-28 2018-01-23 Microsoft Technology Licensing, Llc Adjustable extension for temple arm
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US10426668B2 (en) 2014-09-18 2019-10-01 Rohm Co., Ltd. Binocular display apparatus
US10539787B2 (en) 2010-02-28 2020-01-21 Microsoft Technology Licensing, Llc Head-worn adaptive display
US10860100B2 (en) 2010-02-28 2020-12-08 Microsoft Technology Licensing, Llc AR glasses with predictive control of external device based on event input
WO2021075169A1 (en) * 2019-10-16 2021-04-22 株式会社日立エルジーデータストレージ Light-guide plate color shift correction device, and method for correcting color shift

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102180528B1 (en) 2014-01-06 2020-11-18 삼성전자주식회사 Electronic glasses and operating method for correcting color blindness
CN104306102B (en) * 2014-10-10 2017-10-24 上海交通大学 For the wear-type vision-aided system of dysopia patient

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03107119A (en) * 1989-09-20 1991-05-07 Fujitsu Ltd Display device
JPH0627408A (en) * 1992-04-07 1994-02-04 Hughes Aircraft Co Virtual image display system
JPH07298165A (en) * 1994-04-27 1995-11-10 Olympus Optical Co Ltd Head mount type video display device
JPH0819004A (en) * 1994-06-30 1996-01-19 Victor Co Of Japan Ltd Head mount display device
JPH0898191A (en) * 1994-09-27 1996-04-12 Olympus Optical Co Ltd Video display device
JP2000353249A (en) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk Indication display in composite real space and indication display method
JP2001100144A (en) * 1999-09-30 2001-04-13 Olympus Optical Co Ltd Face mounted type video display device for medical treatment
JP2002515127A (en) * 1994-08-31 2002-05-21 バーチュアル・アイ/オゥ・インコーポレイテッド Personal display system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03107119A (en) * 1989-09-20 1991-05-07 Fujitsu Ltd Display device
JPH0627408A (en) * 1992-04-07 1994-02-04 Hughes Aircraft Co Virtual image display system
JPH07298165A (en) * 1994-04-27 1995-11-10 Olympus Optical Co Ltd Head mount type video display device
JPH0819004A (en) * 1994-06-30 1996-01-19 Victor Co Of Japan Ltd Head mount display device
JP2002515127A (en) * 1994-08-31 2002-05-21 バーチュアル・アイ/オゥ・インコーポレイテッド Personal display system
JPH0898191A (en) * 1994-09-27 1996-04-12 Olympus Optical Co Ltd Video display device
JP2000353249A (en) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk Indication display in composite real space and indication display method
JP2001100144A (en) * 1999-09-30 2001-04-13 Olympus Optical Co Ltd Face mounted type video display device for medical treatment

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006171302A (en) * 2004-12-15 2006-06-29 Konica Minolta Photo Imaging Inc Video display device and information providing system
JP2010506476A (en) * 2006-10-05 2010-02-25 エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) Stereoscopic display system
US8344965B2 (en) 2008-09-25 2013-01-01 Brother Kogyo Kabushiki Kaisha Head mounted display device
JP2012503796A (en) * 2008-09-26 2012-02-09 マイクロソフト コーポレーション Compensating for expected motion of equipment
JP2011071884A (en) * 2009-09-28 2011-04-07 Brother Industries Ltd Work supporting system
US9875406B2 (en) 2010-02-28 2018-01-23 Microsoft Technology Licensing, Llc Adjustable extension for temple arm
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US10860100B2 (en) 2010-02-28 2020-12-08 Microsoft Technology Licensing, Llc AR glasses with predictive control of external device based on event input
US10268888B2 (en) 2010-02-28 2019-04-23 Microsoft Technology Licensing, Llc Method and apparatus for biometric data capture
US10539787B2 (en) 2010-02-28 2020-01-21 Microsoft Technology Licensing, Llc Head-worn adaptive display
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
JP2013522974A (en) * 2010-03-19 2013-06-13 バートラン ネプー Method for digital processing of video signals, digital image processor, and video display system
JP2014508596A (en) * 2011-02-24 2014-04-10 アイシス イノベーション リミテッド Optical device for individuals with visual impairment
JP2015504616A (en) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション Video display correction based on sensor input of transmission myopia display
JP2014102269A (en) * 2012-11-16 2014-06-05 Seiko Epson Corp Optical member and virtual image display device
JP2014164020A (en) * 2013-02-22 2014-09-08 Seiko Epson Corp Method of manufacturing light guide device, light guide device, and virtual image display device
JP2013210643A (en) * 2013-04-26 2013-10-10 Sony Corp Display device and display method
KR20160030005A (en) * 2014-09-05 2016-03-16 삼성디스플레이 주식회사 Display apparatus, Display control apparatus and Display method
KR102199218B1 (en) * 2014-09-05 2021-01-07 삼성디스플레이 주식회사 Display apparatus, Display control apparatus and Display method
US10426668B2 (en) 2014-09-18 2019-10-01 Rohm Co., Ltd. Binocular display apparatus
JP2016080971A (en) * 2014-10-21 2016-05-16 ローム株式会社 Visual assistance system
JP2016149587A (en) * 2015-02-10 2016-08-18 セイコーエプソン株式会社 Head-mounted display, method for controlling the same, and control program
WO2021075169A1 (en) * 2019-10-16 2021-04-22 株式会社日立エルジーデータストレージ Light-guide plate color shift correction device, and method for correcting color shift

Also Published As

Publication number Publication date
JP4635572B2 (en) 2011-02-23

Similar Documents

Publication Publication Date Title
JP4635572B2 (en) Video display device
JP4600290B2 (en) Visual auxiliary display device
US9711114B1 (en) Display apparatus and method of displaying using projectors
US8305297B2 (en) Spectacles-type image display device
JP2005252732A (en) Imaging device
JP4845611B2 (en) Imaging device
JP2007101618A (en) Display device
WO2017169345A1 (en) Eyeglasses having image projection function
JP2005284007A (en) Transmission type video display device
JP5151207B2 (en) Display device
JP4604747B2 (en) Video display device and glasses-type video display device
JP4364047B2 (en) Display device, imaging device
JP2007122340A (en) Image display system
JP2009075610A (en) See-through type display device with hazard prevention function and hazard prevention method when see-through type display device is used
FR2976089A1 (en) Augmented reality device i.e. head mounted display device, for use as input/output system for laptop, has analyzing unit analyzing images captured by micro-camera, and control unit controlling pico projector according to analysis
JP2011101300A (en) Photographing device and remote operation support system
JP2005252735A (en) Head-mounted display having danger prevention function
JP2005286927A (en) Transparent indicating device mounted on the head
JP2005252734A (en) Head-mounted camera
JP4691655B2 (en) Imaging display device
JP2005303842A (en) Head-mounting camera
JP6707823B2 (en) Display device, display device control method, and program
JP6544901B2 (en) Vision aid system and vision aid device
JP2005245791A (en) Direction detector for line of vision
JP2003287708A (en) Vision expansion device and display system

Legal Events

Date Code Title Description
A625 Written request for application examination (by other person)

Free format text: JAPANESE INTERMEDIATE CODE: A625

Effective date: 20071024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100720

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100915

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100917

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100917

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101108

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees