JP2014165616A - Wearable display for low vision person - Google Patents
Wearable display for low vision person Download PDFInfo
- Publication number
- JP2014165616A JP2014165616A JP2013033995A JP2013033995A JP2014165616A JP 2014165616 A JP2014165616 A JP 2014165616A JP 2013033995 A JP2013033995 A JP 2013033995A JP 2013033995 A JP2013033995 A JP 2013033995A JP 2014165616 A JP2014165616 A JP 2014165616A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- wearable display
- view
- contrast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000010415 Low Vision Diseases 0.000 title abstract description 44
- 230000004303 low vision Effects 0.000 title abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000003384 imaging method Methods 0.000 claims abstract description 16
- 230000003287 optical effect Effects 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 21
- 210000003128 head Anatomy 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000002474 experimental method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 4
- 238000011835 investigation Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 235000002673 Dioscorea communis Nutrition 0.000 description 3
- 241000544230 Dioscorea communis Species 0.000 description 3
- 208000035753 Periorbital contusion Diseases 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Abstract
Description
本発明は、前方視界を見やすく表示することにより、視力障害者が夜間等にも屋外で使用できるようにしたウェアラブルディスプレイに関するものである。 The present invention relates to a wearable display that enables a visually handicapped person to use outdoors at night or the like by displaying the front field of view in an easy-to-view manner.
日本国内に100万人以上いるといわれるロービジョン者(全盲ではないが、日常生活に支障のある視力障害者。)の中には、画像のコントラストや明るさの改善により視界が見えやすくなる人があることが知られている。
一方、兵庫県立福祉のまちづくり研究所の研究において、ロービジョン者の生活に関する調査を行った結果、通常、白杖を用いて歩行を行っているロービジョン者が杖の先に集中していると、頭の高さ程度の障害物に気づきにくい。衝突することがある。また、自転車、自動車等の移動物体の存在を知りたいといったニーズがあることがわかった。さらに、夜間(20lx程度)では昼間に見えていた人も見えにくくなり、夜間の歩行が困難になることがわかった。
Some low vision people (those who are not blind but have visual impairments that interfere with daily life) who are said to have more than 1 million people in Japan can easily see their vision due to improved image contrast and brightness. It is known that there is.
On the other hand, as a result of research on the life of low vision people in the research of the Hyogo Prefectural Welfare Community Development Research Institute, it was found that low vision people who normally walk with white canes concentrate on the tip of the cane. , Hard to notice obstacles about the height of the head. May collide. It was also found that there was a need to know the existence of moving objects such as bicycles and cars. In addition, at night (about 20lx), it was difficult to see people who were seen in the daytime, and it was difficult to walk at night.
従来、ロービジョン者向けの機器には、
・ルーペ
・拡大読書器
・遮光めがね
・マクスウェル光学系を応用した電子めがね
・屋内用ロービジョンめがね
がある。マクスウェル光学系を応用した電子めがねについては、下記の特許文献1に記載例がある。
Traditionally, devices for low vision people
・ Loupe ・ Magnifying reading device ・ Light-shielding glasses ・ Electronic glasses using Maxwell optics ・ Low-vision glasses for indoor use. An example of electronic glasses using Maxwell optical systems is described in Patent Document 1 below.
ロービジョン者向けの従来の機器は、上記特許文献1に記載のものを含め、主に屋内における読書用である。すなわち、比較的周囲の環境光が安定しており、ロービジョン者が見ようとする対象の距離等が一定である場合に使用できるもので、夜間等の歩行に用いることはできない。 Conventional devices for low-vision persons, including those described in Patent Document 1, are mainly for indoor reading. That is, it can be used when the surrounding ambient light is relatively stable and the distance of the object to be viewed by the low vision person is constant, and cannot be used for walking at night.
本発明は、ロービジョン者が屋外で夜間等にも歩行ができるように、前方視界を撮像し表示することのできるウェアラブルディスプレイを提供するものである。 The present invention provides a wearable display that can capture and display a forward field of view so that a low vision person can walk outdoors at night.
発明によるウェアラブルディスプレイは、屋外におけるユーザーの前方視界を撮像し、その画像を、ユーザーが見やすいコントラストおよび明るさに変換して表示する機能をもつことを特徴とする。
このようなウェアラブルディスプレイであれば、周囲の環境光が安定していない屋外で使用する場合にも、コントラストと明るさを調整して、前方視界の画像をユーザーが見やすいように表示することができる。したがって、発明のウェアラブルディスプレイは、ロービジョン者が夜間等に外出する場合にも、その歩行を効果的に補助することができる。
The wearable display according to the invention is characterized in that it has a function of capturing an image of a user's front field of view outdoors and converting the image into a contrast and brightness that are easy for the user to view.
With such a wearable display, it is possible to adjust the contrast and brightness to display an image in the front view so that the user can easily see it even when used outdoors where ambient light is not stable. . Therefore, the wearable display of the invention can effectively assist walking even when a low vision person goes out at night or the like.
発明のウェアラブルディスプレイは、とくに、屋外におけるユーザーの歩行を可能とするために、超音波センサによるユーザーの前方地面の段差検出機能を有するとともに、赤外LED光を用いる光学系によるユーザー前方の物体との距離計測機能を有し、これら二つの機能を、ユーザーの歩行に伴って変動する画像および対象物との距離に追随できる処理速度で実現できるようにするのが好ましい。
超音波センサにより段差の検出を行ってロービジョン者に警告するとともに、赤外LED光により前方障害物までの距離を計測してロービジョン者に知らせると、発明のウェアラブルディスプレイは、屋外等でのロービジョン者の歩行をさらに安全に補助することができる。しかも、それらの機能を、ユーザーの歩行に伴って変動する画像および対象物との距離に追随できる処理速度で実現できるとすると、歩行速度をとくに遅くする必要がない点で、さらに有利である。
The wearable display of the invention has a function of detecting a step on the ground in front of the user by an ultrasonic sensor, and enables an object in front of the user by an optical system using infrared LED light, in order to enable a user to walk outdoors. It is preferable that these two functions can be realized at a processing speed that can follow the distance between the image and the object that fluctuates as the user walks.
The wearable display of the invention can be used outdoors by detecting the level difference with an ultrasonic sensor and warning the low vision person, and measuring the distance to the front obstacle with infrared LED light to inform the low vision person. It is possible to assist the low vision person walking more safely. In addition, if these functions can be realized at a processing speed that can follow the distance between the user and the image that fluctuates as the user walks, it is further advantageous in that the walking speed does not need to be particularly slow.
ユーザーの前方視界を撮像するためのカメラがユーザーの目の高さに近い位置に前方に向けて配置されていて、そのカメラと上記画像を表示するためのディスプレイ本体とが頭部に装着でき、画像処理装置および電源が頭部以外にて携帯できるのも好ましい。
画像処理装置および電源を頭部以外で携帯できるようにすると、頭部に装着する部分を軽量化でき大きさをも縮小できる。それによって、使用の際のユーザーの負担を軽減することができ、ウェアラブルディスプレイの外観についても改善できる。
A camera for imaging the user's forward field of view is placed forward at a position close to the height of the user's eyes, and the camera and the display main body for displaying the above image can be attached to the head, It is also preferable that the image processing apparatus and the power source can be carried outside the head.
If the image processing apparatus and the power source can be carried by a person other than the head, the portion to be mounted on the head can be reduced in weight and the size can be reduced. As a result, the burden on the user during use can be reduced, and the appearance of the wearable display can also be improved.
ディスプレイ本体に、その画面を擬似的に拡大するためのレンズが付設されているのもよい。
屋外等での歩行を可能にするためには、ある程度の広さの画角が必要である。発明者らの調査(後述)によれば、ロービジョン者の歩行には、水平視野角31度以上、垂直視野角21度以上の画角が要望される。上記のようにディスプレイ本体にレンズが付設されているなら、そのような望ましい画角を、使用しやすい軽量・小型のディスプレイにおいて実現することができる。
The display main body may be provided with a lens for artificially enlarging the screen.
In order to be able to walk outdoors, a certain angle of view is required. According to the inventors' investigation (described later), a low vision person's walking is required to have an angle of view of a horizontal viewing angle of 31 degrees or more and a vertical viewing angle of 21 degrees or more. If the lens is attached to the display main body as described above, such a desirable angle of view can be realized in a lightweight and small display that is easy to use.
画面を拡大するための上記のレンズがホログラフィック光学素子であると、さらに好ましい。
ホログラフィック光学素子を使用する場合には、ガラス等で作製されたレンズを使用する場合よりも、さらにディスプレイを軽量化することができる。
It is further preferable that the lens for enlarging the screen is a holographic optical element.
In the case of using a holographic optical element, the display can be further reduced in weight compared to the case of using a lens made of glass or the like.
発明のウェアラブルディスプレイにおいて、上記のカメラが、周囲が暗い夜間にも前方視界を撮像できるよう最低被写体照度が小さい高感度のもので、その画像を表示する上記の機能として、画像のコントラストが高いときに有効なコントラスト強調処理と、画像のコントラストが低いときに有効なコントラスト強調処理との双方を備えているなら、とくに有利である。
そのようなウェアラブルディスプレイによれば、夜間等において照明環境が異なる場合にも、視認する対象が高コントラストか低コントラストかに応じて画像処理を自動的に選択し、見やすいようにユーザーに提示することが可能である。
In the wearable display of the invention, when the above camera has a high sensitivity with a low minimum subject illuminance so that the front field of view can be captured even at night when the surroundings are dark, and the above function for displaying the image has a high image contrast It is particularly advantageous if both the contrast enhancement processing effective for the image and the contrast enhancement processing effective when the image contrast is low are provided.
According to such a wearable display, even when the lighting environment is different at night or the like, image processing is automatically selected according to whether the object to be viewed is high contrast or low contrast, and presented to the user for easy viewing. Is possible.
視線検出機能および文字認識機能を備えることにより、ユーザーの視界内でユーザーが見ようとしている対象の位置を検出することができ、その対象が文字である場合、文字の認識処理を行ってその文字をユーザーに音声で知らせることができるウェアラブルディスプレイも、きわめて有意義である。
視線検出機能によって、ユーザーの視界内でユーザーが注目している位置を検出し、その位置に文字があれば文字認識機能により文字を把握し、それを音声で知らせることができれば、文字等を判別しづらいロービジョン者の役に立つからである。
By providing a line-of-sight detection function and a character recognition function, it is possible to detect the position of the target that the user is trying to see in the user's field of view. If the target is a character, the character recognition process is performed to A wearable display that can inform the user by voice is also very meaningful.
The line-of-sight detection function detects the position that the user is paying attention to in the user's field of view, and if there is a character at that position, the character recognition function can grasp the character, and if it can be notified by voice, the character is discriminated. This is because it is useful for those who have difficulty in low vision.
上の場合、ユーザーの前方視界を撮像するための光学系にホログラフィック光学素子が用いられると、とくに有利である。
そのようにすると、カメラの視界の中心とユーザーの視界の中心がずれることなく、前方視界を撮像できるからである。カメラがユーザーの視界を遮ったり、ハーフミラーの配置によってカメラの位置が制約されたりすることもない。
In the above case, it is particularly advantageous if a holographic optical element is used in the optical system for imaging the user's forward field of view.
This is because the front view can be imaged without the center of the camera view and the center of the user view being shifted. The camera does not block the user's field of view, and the position of the camera is not restricted by the arrangement of the half mirror.
発明のウェアラブルディスプレイによれば、環境光が安定していない屋外での使用においても前方視界の画像をユーザーが見やすいように表示できる。そのため、ロービジョン者が夜間等に外出する場合にも、その歩行を効果的に補助することができる。 According to the wearable display of the invention, it is possible to display the image of the front view so that the user can easily see the outdoor view even when the ambient light is not stable. Therefore, even when a low vision person goes out at night, the walking can be effectively assisted.
本発明のウェアラブルディスプレイについて、構成例を図1に示し、その機能ブロック図を図2に示す。
カメラ、レンズ等からなる撮像光学系によって、ロービジョン者の前方の視界の画像を撮り、この画像を画像処理部によって、ロービジョン者が見やすい明るく、コントラストの高い表示画像を生成する処理を行う。そして、生成した画像を表示ディスプレイ、画角拡大用レンズ等からなる表示光学系で表示する。また、表示ディスプレイの両端に赤外LED(赤外光光源)が取り付けられており、制御部によりこれらのLEDの点灯、消灯、および撮像光学系のカメラの撮像タイミングを制御し、画像を撮像する。画像中に検出されるLEDの照射位置を検出する画像処理によって、前方障害物までの距離を計測する。そして、障害物までの距離が危険と想定される距離以下になった場合には、振動子、スピーカで構成される警報器によって、ロービジョン者に警告する。
さらに、ユーザーの前方地面に向けた超音波センサの出力信号を信号処理部で解析することによって段差の検出処理を行い、段差がある可能性が高い場合にも振動子、スピーカからロービジョン者に警告する。
なお、この超音波検出器部分をとりはずし、ハンディタイプとすれば、より検出対象の指向性をもたせることができ、段差検出精度が向上する。
A configuration example of the wearable display of the present invention is shown in FIG. 1, and its functional block diagram is shown in FIG.
An image of the field of vision in front of the low vision person is taken by an imaging optical system including a camera and a lens, and this image is processed by the image processing unit to generate a bright and high-contrast display image that is easy for the low vision person to see. Then, the generated image is displayed by a display optical system including a display display, a field angle enlargement lens, and the like. In addition, infrared LEDs (infrared light sources) are attached to both ends of the display, and the control unit controls the lighting and extinction of these LEDs and the imaging timing of the camera of the imaging optical system to capture images. . The distance to the front obstacle is measured by image processing that detects the irradiation position of the LED detected in the image. When the distance to the obstacle is less than the distance that is assumed to be dangerous, a low vision person is warned by an alarm device including a vibrator and a speaker.
Furthermore, the signal processing unit analyzes the output signal of the ultrasonic sensor toward the user's front ground and detects the level difference. Warning.
If this ultrasonic detector part is removed and the handy type is adopted, the directivity of the detection target can be provided, and the level difference detection accuracy is improved.
ロービジョン者の歩行に従って、ロービジョン者の視界も変動する。ロービジョン者が提供された映像を頼りに、障害物の情報を受け取りながら、歩行するために、上述の画像処理、段差や障害物の判別する信号処理、表示処理は1/30秒以内で行うものである。 As the low vision person walks, the field of view of the low vision person also changes. The above image processing, signal processing for distinguishing between steps and obstacles, and display processing are performed within 1/30 seconds to walk while receiving information on obstacles, relying on the video provided by the low vision person Is.
屋外での歩行時に本装置を使用するために、カメラ等の撮像光学系、赤外LED、超音波センサが搭載された表示ディスプレイは頭部に装着でき、信号処理部、制御部、画像処理部、電源、振動子、スピーカは小型で携帯できる程度の形態が望ましい。そのようにしたウェアラブルディスプレイ(付属機器を含む)の装着例を図3に示す。 In order to use this device when walking outdoors, a display display equipped with an imaging optical system such as a camera, infrared LED, and ultrasonic sensor can be attached to the head, and the signal processing unit, control unit, image processing unit The power source, the vibrator, and the speaker are desirably small and portable. FIG. 3 shows an example of wearing such a wearable display (including attached devices).
実際にロービジョン者の夜間の歩行を可能とする仕様として、ロービジョン者用ウェアラブルディスプレイの画角、コントラスト、明るさに影響するパラメータであるγ値を得るために、以下のような調査を行った。 In order to obtain the γ value, which is a parameter that affects the angle of view, contrast, and brightness of wearable displays for low vision users, the following surveys are conducted as specifications that allow low vision persons to walk at night. It was.
[ロービジョン者が薄暮の時間帯(20lx程度)の歩道が認識できる画像に関する調査]
画像処理において、画像のコントラスト、明るさに影響するパラメータとしてγ値が知られている。γ値は入力画像に対する出力画像の輝度値を修正するパラメータであり、γ値を1.0より大きくすれば、明るさと共にコントラストも修正される。γ値をロービジョン者が見やすい画像を生成するための画像処理の指標として用いたとき、ロービジョン者が見やすい画像となるγ値を調べるために薄暮の時間帯の歩道の画像を撮影し、γ値を変更した画像(γ=1.0, 1.5, 2.0, 2.5, 3.0, 4.0)を作成し、これを13名のロービジョン者に提示した。ロービジョン者には歩道が見えるようになった画像を回答してもらった。また、ロービジョン者によっては、カラーではなく、白黒の2値画像あるいは白黒の反転画像が見やすい場合があることから、以下の6通りの実験を行った。
イ)提示画像の検証実験
画像の対象:薄暮の時間帯の歩道(縁石のある歩道、白線のみの歩道)
・カラー1 縁石のある歩道の画像のγ値を変更した画像を提示して6段階(γ=1.0,
1.5, 2.0, 2.5, 3.0, 4.0)でロービジョン者が歩道を認識できた画像を調査(複数回答)。
・カラー2 白線のみの歩道の画像のγ値を変更して画像を提示して6段階(γ=1.0,
1.5, 2.0, 2.5, 3.0, 4.0)でロービジョン者が歩道を認識できた画像を調査(複数回答)。
・白黒1 カラー1のうち、γ=1.0, 2.0, 4.0をグレースケールに変換した画像、3段階について調査
・白黒2 カラー2のうち、γ=1.0, 2.0, 4.0をグレースケールに変換した画像、3段階について調査
・白黒反転1 白黒1の反転画像 3段階について調査
・白黒反転2 白黒2の反転画像 3段階について調査
[Survey on images that low vision persons can recognize sidewalks in twilight hours (about 20 lx)]
In image processing, a γ value is known as a parameter that affects the contrast and brightness of an image. The γ value is a parameter for correcting the luminance value of the output image with respect to the input image. When the γ value is set to be larger than 1.0, the contrast is corrected together with the brightness. When the γ value is used as an index for image processing to generate an image that is easy for a low vision person to view, an image of a sidewalk in the twilight time zone is taken to examine the γ value that makes the image easy to see for the low vision person. Images with changed values (γ = 1.0, 1.5, 2.0, 2.5, 3.0, 4.0) were created and presented to 13 low visioners. The low vision person answered the image that the sidewalk was visible. In addition, depending on the low vision person, there are cases where it is easy to see not a color but a black and white binary image or a black and white inverted image, so the following six experiments were conducted.
B) Verification experiment of the presented image Target of image: Sidewalk during twilight time (sidewalk with curb, sidewalk with white line only)
・ Color 1 The image with the changed γ value of the image of the sidewalk with the curb is presented in 6 levels (γ = 1.0,
1.5, 2.0, 2.5, 3.0, 4.0), surveyed the image that low vision person could recognize the sidewalk (multiple answers).
・ Color 2 Change the γ value of the image of the sidewalk with only white lines and present the image in 6 levels (γ = 1.0,
1.5, 2.0, 2.5, 3.0, 4.0), surveyed the image that low vision person could recognize the sidewalk (multiple answers).
・ Monochrome 1 Color 1 image with γ = 1.0, 2.0, 4.0 converted to gray scale, 3 levels survey ・ Monochrome 2 Color 2 image with γ = 1.0, 2.0, 4.0 converted to gray scale, Investigation on 3 stages ・ Black and white inversion 1 Black and white 1 reverse image Investigation on 3 stages ・ Black and white inversion 2 Black and white 2 inversion image
これらの調査結果を図4に示す。図4(a)はカラー1の、(b)はカラー2の、(c)は白黒1の、(d)は白黒2の、(e)は白黒反転1の、そして(f)は白黒反転2の実験結果である。図4(a)(b)中のNO1〜NO6はγ=1.0, 1.5, 2.0, 2.5, 3.0,
4.0へと変更した画像に相当し、図4(c)(d)中のNO1〜NO3は、カラー画像をγ=1.0, 2.0, 4.0へと変更し、それをグレースケールに変換して白黒処理をした画像に相当する。図4(e)(f)中のNO1〜NO3は、カラー画像をγ=1.0, 2.0, 4.0へと変更し、それをグレースケールに変換して白黒処理をし、それを反転した画像に相当する。
これらの結果より、カラーについてはγ値が2.5以上であれば、ロービジョン者にとって見やすい画像であることがわかった。また、白黒画像、白黒反転画像についてはγ値が4.0以上必要であると考えられる。今回の被験者の感想としては、白黒よりもカラーのほうがよいという意見が多かった。
The results of these surveys are shown in FIG. Figure 4 (a) is color 1, (b) is color 2, (c) is black and white 1, (d) is black and white 2, (e) is black and white inversion 1, and (f) is black and white inversion It is an experimental result of 2. NO1 to NO6 in Fig. 4 (a) and (b) are γ = 1.0, 1.5, 2.0, 2.5, 3.0,
Corresponds to the image changed to 4.0, NO1 to NO3 in Fig. 4 (c) (d) change the color image to γ = 1.0, 2.0, 4.0, convert it to grayscale, and monochrome processing It corresponds to the image that has been. NO1 to NO3 in Figs. 4 (e) and (f) correspond to images obtained by changing the color image to γ = 1.0, 2.0, 4.0, converting it to grayscale, performing black and white processing, and inverting it To do.
From these results, it was found that if the γ value is 2.5 or more for the color, the image is easy to see for the low vision person. Further, it is considered that a γ value of 4.0 or more is necessary for black and white images and black and white inverted images. As for the impression of the subject this time, there were many opinions that color is better than black and white.
ロ) 画角検証実験
画角検証のために、横幅(水平方向)3段階(90mm、125mm、180mm)、縦幅(垂直方向)3段階(15mm、25mm、40mm)で9種の視界遮断ボックスを用いて、「歩くことができそうだ」と回答した最小の画角を調べた。結果を表1に示す。また、視界遮断ボックスの視野角を表2に示す。
したがって、本発明の装置に用いるディスプレイとしては、このような画角となるディスプレイを使用するのが望ましい。しかし、画角の大きいディスプレイは画角の小さいディスプレイよりも重量があり、装置として大型になる可能性がある。このことを解決する方法としては、小型なディスプレイとこのディスプレイを拡大してユーザーに提示する拡大用レンズの使用が望ましい。図5は拡大用レンズを使用した場合の試作例である。
B) Angle-of-view verification experiment For viewing angle verification, nine types of sight-blocking boxes with three horizontal widths (horizontal direction) (90mm, 125mm, 180mm) and three vertical widths (vertical direction) (15mm, 25mm, 40mm) Was used to investigate the smallest angle of view that answered "I am likely to walk". The results are shown in Table 1. Table 2 shows the viewing angle of the view blocking box.
Therefore, it is desirable to use a display having such an angle of view as the display used in the apparatus of the present invention. However, a display with a large angle of view is heavier than a display with a small angle of view, and may be large as a device. As a method for solving this problem, it is desirable to use a small display and a magnifying lens that enlarges the display and presents it to the user. FIG. 5 is an example of a prototype when a magnifying lens is used.
さらに、この拡大用レンズとして、図6に示す光学系で作製されるホログラフィック光学素子(Holographic optical element :HOE)を使用すれば、従来のガラス等で作製されるバルク光学素子よりも軽量化することができる。HOEは図6に示した参照光と同図の物体光の光を記録材料に干渉縞を記録させて作製することができる。このように作製されたHOEを使用する際には、参照光と同様の光をHOEに照射すれば、物体光があった同じ方向に光が回折し、物体光を再生することができる。参照光と物体光を選ぶことによってHOEを拡大レンズとして作製できる。なお、記録材料をフォトポリマーとして、透過性の高い材料を選ぶと軽く、前方の視界をシースルーでみることができるレンズが作製できる。 Furthermore, if a holographic optical element (HOE) produced by the optical system shown in FIG. 6 is used as this magnifying lens, the weight can be reduced as compared with a bulk optical element produced by conventional glass or the like. be able to. The HOE can be manufactured by recording interference fringes on the recording material using the reference light shown in FIG. 6 and the object light shown in FIG. When using the HOE produced in this way, if the HOE is irradiated with light similar to the reference light, the light is diffracted in the same direction as the object light, and the object light can be reproduced. By selecting the reference beam and the object beam, the HOE can be made as a magnifying lens. If a recording material is a photopolymer and a highly transmissive material is selected, a lens can be manufactured that is light and allows the front field of view to be seen through.
兵庫県立福祉のまちづくり研究所が行ったロービジョン者の調査の結果、見る対象の配色すなわち、低コントラストの配色か高コントラストの配色によって、見えやすさが異なることがわかった。いずれにしても、よりコントラストを強調する画像処理をすれば見やすい画像となる。しかし、実際の画像処理において、低コントラストの配色を強調する処理と高コントラストの配色を強調する処理は異なる。そこで、本発明においては、高コントラストの配色を強調する処理として、画像の階調値を線形変換することによって行うコントラスト強調処理と、低コントラストの配色を強調する処理としてヒストグラム平坦化処理を画像処理を組み込むことが望ましい。 As a result of a survey of low vision persons conducted by the Hyogo Prefectural Welfare Community Development Research Institute, it was found that the visibility is different depending on the color scheme of the object to be seen, that is, the color scheme of low contrast or high contrast. In any case, the image can be easily viewed by performing image processing that further enhances the contrast. However, in actual image processing, processing for enhancing a low-contrast color scheme is different from processing for enhancing a high-contrast color scheme. Therefore, in the present invention, as processing for emphasizing a high contrast color scheme, contrast enhancement processing performed by linearly converting the tone value of an image and histogram flattening processing as processing for emphasizing a low contrast color scheme are performed. It is desirable to incorporate.
[線形変換によるコントラスト強調処理]
コントラスト強調処理の計算式は以下の通りである。
Lout
=(Lin − Lave) × G + Loc (eq.1)
(0 ≦
Lout ≦255 ) (eq.2)
Lin:入力画面の各画素の輝度値 Lave:入力画面の1画面平均値
Loc:出力中央値(256/2=128固定) G:強調倍率
この処理により、一画面毎に平均の輝度を計算して その輝度に応じたレベルで階調値の値を倍率だけ大きくするものである。
本発明のウェアラブルディスプレイの評価実験においては、強調倍率を200%とし、この画像処理を画像処理基板に反映させて、リアルタイムで画像表示を行って実験を行った。
[Contrast enhancement by linear transformation]
The calculation formula for the contrast enhancement processing is as follows.
Lout
= (Lin-Lave) x G + Loc (eq.1)
(0 ≤
Lout ≦ 255) (eq.2)
Lin: Brightness value of each pixel on the input screen Lave: Average value per screen of the input screen
Loc: Output median value (256/2 = 128 fixed) G: Emphasis magnification By this processing, the average luminance is calculated for each screen, and the value of the gradation value is increased by the magnification at the level according to the luminance. It is.
In the experiment for evaluating the wearable display of the present invention, the emphasis magnification was set to 200%, and this image processing was reflected on the image processing substrate, and the experiment was performed by displaying an image in real time.
[ヒストグラム平坦化]
夜間での歩行において、街灯の明かりや店の看板などの明かりで歩行者に対する照明が変化することが考えられる。その場合に、明るさが極端に低い値で分布している場合も含めて画像中の輝度分布を一様にする、ヒストグラムを均一化する変換を行い、ダイナミックレンジの広い映像に変換する。このヒストグラム平坦化は、以下の式で表される。pを変換前の濃度値とし、h(p)が濃度値pにおける出現頻度を表す。全画素数をN とすると、ヒストグラム平滑後の濃度値p’は、p’の範囲を[0, 255]とすると、
When walking at night, it is conceivable that lighting for pedestrians changes due to lights such as street lights and store signs. In that case, even if the brightness is distributed at an extremely low value, the brightness distribution in the image is made uniform, and the histogram is made uniform so as to convert it into a video having a wide dynamic range. This histogram flattening is expressed by the following equation. Let p be the density value before conversion, and h (p) represents the appearance frequency at the density value p. Assuming that the total number of pixels is N, the density value p ′ after smoothing of the histogram is assumed that the range of p ′ is [0, 255].
開発した本発明のウェアラブルディスプレイを用いて評価実験を行った。評価実験では、本発明のウェアラブルディスプレイ の画像処理の有用性を検討する実験を行った。被験者は4名のロービジョン者であり、照明環境を10lx、60lxの2種類、視認する対象は、背景が黒色、白線の歩道、背景がベージュ色、白線の歩道を模倣したもの2種類とした。実験に使用した歩道を図7に示す。 An evaluation experiment was conducted using the developed wearable display of the present invention. In the evaluation experiment, an experiment was conducted to examine the usefulness of the image processing of the wearable display of the present invention. The test subjects were 4 low-vision persons, the lighting environment was 2 types of 10 lx and 60 lx, and the objects to be viewed were 2 types imitating the sidewalk with black background, white line sidewalk, beige background, white line. . Figure 7 shows the sidewalk used in the experiment.
画像処理は線形変換を利用したコントラスト強調処理(以下コントラスト強調処理とする。)、ヒストグラム平坦化処理、この2つの中間的なコントラスト強調を行うトーンカーブ、撮像した画像をそのまま表示するプレーン、画像処理なしとした。画像処理の例を図8に示す。図8(a)は原画像(プレーン)であり、これに対して線形変換を利用したコントラスト強調処理を行った結果を図8(b)に、ヒストグラム平坦化処理を行った結果を図8(c)に示す。原画像の左下部に高コントラストな配色の矢印(左側)と低コントラストな配色の矢印(右側)が撮像されている。これをコントラスト強調処理を行った場合、高コントラストな矢印が鮮明になっていることが図8(b)からわかる。一方、図8(c)ではヒストグラム平坦化処理によって、低コントラストな配色の矢印は、原画像、コントラスト強調処理の場合よりも見やすくなっていることがわかる。 Image processing includes contrast enhancement processing using linear transformation (hereinafter referred to as contrast enhancement processing), histogram flattening processing, a tone curve for performing intermediate contrast enhancement between the two, a plane for directly displaying a captured image, and image processing. None. An example of image processing is shown in FIG. FIG. 8 (a) is an original image (plane). The result of contrast enhancement processing using linear transformation is shown in FIG. 8 (b), and the result of histogram flattening processing is shown in FIG. Shown in c). A high-contrast color scheme arrow (left side) and a low-contrast color scheme arrow (right side) are imaged at the lower left of the original image. When contrast enhancement processing is performed on this, it can be seen from FIG. 8B that high contrast arrows are clear. On the other hand, in FIG. 8C, it can be seen that the low-contrast color arrows are easier to see than in the case of the original image and the contrast enhancement process by the histogram flattening process.
各条件を、着座している被験者に提示し、5:大変見やすい 4:見やすい 3:ふつう 2:見づらい 1:大変見づらいの5段階で評価してもらった。その際、基準としてプレーンのときを3:ふつうとした。照度10lxのときの実験結果を図9に示す。
図中の縦棒は各被験者の評価を表している。白線の背景が黒のとき(図9(a))、かけないときとプレーンの場合を比較すると、かけないときには見えなかった歩道が本発明のウェアラブルディスプレイを装着することにより、歩道が視認できていることがわかる。プレーン、コントラスト強調、ヒストグラム平坦化、トーンカーブの画像処理を行った場合、高コントラストな歩道が対象であるため、コントラスト強調の効果が顕著となっている。次にトーンカーブが有効となっている。一方、白線の背景がベージュで低コントラストである歩道が対象であるとき(図9(b))、ヒストグラム平坦化場合がコントラスト強調処理よりも効果があることがわかった。
本発明のウェアラブルディスプレイとしては、視認する対象が高コントラストか低コントラストかに応じて、画像処理を自動的に選択してユーザーに提示することが望ましいことがこの結果から伺える。
Each condition was presented to the sitting subject, and was evaluated in five stages: 5: very easy to see 4: easy to see 3: normal 2: hard to see 1: very hard to see. At that time, it was assumed that the standard plane was 3 :. The experimental results when the illuminance is 10 lx are shown in FIG.
The vertical bar in the figure represents the evaluation of each subject. When the background of the white line is black (Fig. 9 (a)), comparing the case where it is not applied and the case where it is not applied, the sidewalk which was not visible when it was not applied can be seen by attaching the wearable display of the present invention. I understand that. When image processing of a plane, contrast enhancement, histogram flattening, and tone curve is performed, a high-contrast sidewalk is an object, and thus the contrast enhancement effect is remarkable. Next, the tone curve is effective. On the other hand, when a white line background is beige and a low-contrast sidewalk is an object (FIG. 9B), it was found that the histogram flattening is more effective than the contrast enhancement processing.
From this result, it can be seen that the wearable display according to the present invention is desirably automatically selected and presented to the user according to whether the object to be viewed is high contrast or low contrast.
ロービジョン者の多くは単純な図形なら見ることができても、文字等の複雑な形状は判別しづらい。そこで、視線検出装置を上記ディスプレイに搭載することにより、ユーザーの視界内でユーザーが注目している位置がわかり、その位置に文字があれば文字認識処理により、文字を音声で伝えることができれば、さらに有用なディスプレイとなる。
視線検出装置を本ディスプレイに組み込んだ場合の構成例を図11に示す。ディスプレイを見ているロービジョン者の眼を眼用撮像光学系により撮像する。そして、その画像から2値化処理により黒目の領域として抽出し、その領域の重心位置を算出することにより、黒目の中心位置を検出する。あらかじめ黒目の位置と見ている方向とを対応づけた対応マップを参照することにより、ロービジョン者の視線を検出できる。そこで、図10のように、本ディスプレイの視界用撮像光学系の画像との照合を行うことによって、視線の対象物の推定処理を行い、それが文字であれば、文字認識処理によって、その文字をロービジョン者にスピーカーにより伝達する。
Many low-vision people can see simple figures, but it is difficult to distinguish complex shapes such as letters. Therefore, by installing the line-of-sight detection device on the above-mentioned display, it is possible to know the position that the user is paying attention in the user's field of view, and if there is a character at that position, the character recognition process can convey the character by voice, Furthermore, it becomes a useful display.
FIG. 11 shows a configuration example when the line-of-sight detection device is incorporated in this display. The eye of the low vision person who is looking at the display is imaged by the ophthalmic imaging optical system. Then, a black eye region is extracted from the image by binarization processing, and the center position of the black eye is detected by calculating the center of gravity of the region. The line of sight of the low vision person can be detected by referring to the correspondence map that associates the position of the black eye with the viewing direction in advance. Therefore, as shown in FIG. 10, the object of sight line is estimated by collating with the image of the visual field imaging optical system of this display. Is transmitted to the low-vision person through a speaker.
拡大用のレンズのみならず、ホログラフィック光学素子(HOE)を視界用撮像光学系にもちいれば、カメラの視界の中心とユーザーの視界の中心がずれることなく、前方視界を撮像することができる。HOEを用いた視界用撮像光学系を図11に示す。ロービジョン者の視界からの光は透過型HOEによって回折され、この回折光をバンドパスフィルタのついたカメラにより検出すれば、ロービジョン者の眼の位置からの視界を撮像することができる。一般に眼の位置を視界の中心とする画像を撮像するとすれば、カメラを眼の位置に置くか、ハーフミラーを用いることとなる。カメラを眼の位置におくと、カメラがユーザーの視界を遮る。ハーフミラーを用いれば視界は透明ではあるが、ハーフミラーの配置によってカメラの位置が制約される。一方、HOEを用いる場合、視界も透明であり、ハーフミラーを用いる場合よりもカメラの位置の設計の自由度が高い。さらに、反射型のホログラフィック光学素子も併用すれば、カメラへ直進する光である、実世界にある物体からの光である、背景光のノイズを低減でき、視界からの光との混在をふせぐことができ、ユーザーはよりディスプレイが見やすくなる。なお、前述の段差検出機能との併用することにより、警報機のみならず、ディスプレイ上により強調した情報を追加することもできる。 If not only the magnifying lens but also the holographic optical element (HOE) is used in the field-of-view imaging optical system, the center of the camera's field of view and the center of the user's field of view can be imaged. . FIG. 11 shows a field-of-view imaging optical system using HOE. The light from the low vision person's field of view is diffracted by the transmissive HOE, and if this diffracted light is detected by a camera with a bandpass filter, the field of view from the position of the low vision person's eyes can be imaged. In general, if an image having the eye position as the center of the field of view is captured, the camera is placed at the eye position or a half mirror is used. When the camera is placed at the eye position, the camera blocks the user's view. If the half mirror is used, the field of view is transparent, but the position of the camera is restricted by the arrangement of the half mirror. On the other hand, when using the HOE, the field of view is also transparent, and the degree of freedom in designing the camera position is higher than when using a half mirror. In addition, when combined with a reflection-type holographic optical element, it can reduce the noise of background light, which is the light that goes straight to the camera, the light from an object in the real world, and the mixture with the light from the field of view. The user can see the display more easily. In addition, by using together with the above-described step detection function, not only the alarm device but also information emphasized on the display can be added.
赤外LEDを用いた前方障害物の検出処理
前方障害物の検知にも超音波センサの利用が考えられるが、前方障害物(人、壁、電信柱など)の対象物の材質、形状によって障害物までの距離計測結果が異なり、安定した結果が得られない。そこで、本装置では前方の障害物検知については赤外光を利用して距離計測を行う。赤外光を利用した距離計測の概念図を図12に示す。図中の赤外光LEDはL本発明のウェアラブルディスプレイのめがね部の両端に備えられていることを想定している。これらの左右のLEDの消灯時と点灯時の画像を撮像して、これらを用いて、次のような画像処理をすることによって障害物までの距離を計測する。まず、消灯時の画像を撮像する。そして、次に左LEDの点灯時の画像を撮像する。これらの画像の差分画像を算出すると、図中に示すような、赤外光LEDの点灯した部分のみが抽出できる。同様の処理を右LEDについても行い、左と右の場合の点灯した位置の差を求めると、障害物が近い場合は位置の差が大きくなり、遠い場合には位置の差が小さくなる。本発明のウェアラブルディスプレイでは、これにより障害物までの距離を計測し、近い場合には使用者に警報する。実験を行った構成では、赤外光(波長880nm)LEDの前方にアクリルレンズをおき、このレンズによりLEDからの光を平行にしている。これらの左右のLED間の距離はめがねフレームに搭載可能な11cmであり、前方110cmの距離で左右のLEDからの光がほぼ同じ位置を照射するようにした。また、左右のLEDの点灯消灯を駆動する回路(図13)を作製し、これらのLEDを右LED点灯、右LED消灯、左LED点灯、左LED消灯を40msで繰り返し、その際の画像をLED中央のカメラで撮像した。20lxの環境で前方障害物までの距離が20cmの条件で撮像した画像の一例を図14に示す。
画像中のLEDの照射した位置を検出するために、次のような画像処理を行った。解析例を図15に示す。まず、LEDの点灯時の画像(図15(a))からLEDが消灯時の画像(図15(b))の差分をとる(図15(c))。そしてこの画像を固定しきい値により2値化を行う(図15(d))。そして、この切り出した位置の重心位置を検出することにより、画像中の赤外光の照射位置を求めた。このような処理を左右のLEDの点灯・消灯時の画像を対象として行えば、左右のLEDが照射された領域の重心間の距離を求めることができ、すなわち、前方障害物の距離が検出することができる。照明20lxの環境で、前方障害物の距離の検出実験を行った結果を図16に示す。この実験では、板状の前方障害物と赤外光LEDとの距離を12cm、52cm、110cmと変えたときの、画像中の左右のLEDの照射された位置間の距離を求めた。この結果により前方障害物の距離が小さくなると画像中の赤外光LEDの照射された位置間の距離が大きくなり、障害物までの距離を検知できることがわかった。一般にこのようなステレオ計測手法ではLED間の距離が大きいほど検出精度がよい。この実験結果は頭部の幅以下に相当する距離である、LED間の距離が11cmであっても、12cm~110cm前方の障害物が検出できることを示している。
Detection processing of front obstacles using infrared LEDs Ultrasonic sensors can be used to detect front obstacles, but obstacles depend on the material and shape of the front obstacle (people, walls, telephone poles, etc.). The distance measurement result to the object is different, and a stable result cannot be obtained. Therefore, in this apparatus, for obstacle detection ahead, distance measurement is performed using infrared light. A conceptual diagram of distance measurement using infrared light is shown in FIG. It is assumed that the infrared LED in the figure is provided at both ends of the glasses part of the wearable display of the present invention. The left and right LEDs are turned off and taken, and the distance to the obstacle is measured by performing the following image processing using these images. First, an image at the time of turning off is taken. Next, an image when the left LED is lit is taken. When the difference image of these images is calculated, only the portion where the infrared LED is lit as shown in the figure can be extracted. When the same processing is performed for the right LED and the difference between the lit positions in the left and right cases is obtained, the difference in position increases when the obstacle is close, and the difference in position decreases when the obstacle is far away. In the wearable display of the present invention, the distance to the obstacle is thereby measured, and if it is close, the user is warned. In the configuration in which the experiment was conducted, an acrylic lens was placed in front of an infrared light (wavelength 880 nm) LED, and the light from the LED was made parallel by this lens. The distance between these left and right LEDs is 11 cm that can be mounted on the eyeglass frame, and the light from the left and right LEDs irradiates almost the same position at a distance of 110 cm in front. In addition, a circuit (Fig. 13) that drives the left and right LEDs to turn on and off is fabricated, and these LEDs are repeatedly turned on for the right LED, right LED, left LED, and left LED in 40 ms. Images were taken with a central camera. FIG. 14 shows an example of an image captured under the condition that the distance to the front obstacle is 20 cm in a 20 lx environment.
In order to detect the position of the LED irradiated in the image, the following image processing was performed. An analysis example is shown in FIG. First, the difference between the image when the LED is turned on (FIG. 15 (a)) and the image when the LED is turned off (FIG. 15 (b)) is taken (FIG. 15 (c)). Then, this image is binarized by a fixed threshold value (FIG. 15 (d)). And the irradiation position of the infrared light in an image was calculated | required by detecting the gravity center position of this cut-out position. If such processing is performed on the images when the left and right LEDs are turned on and off, the distance between the centers of gravity of the areas irradiated with the left and right LEDs can be obtained, that is, the distance of the front obstacle is detected. be able to. FIG. 16 shows the result of an experiment for detecting the distance of the front obstacle in the environment of lighting 20 lx. In this experiment, the distance between the irradiated positions of the left and right LEDs in the image was obtained when the distance between the plate-shaped front obstacle and the infrared LED was changed to 12 cm, 52 cm, and 110 cm. As a result, it was found that when the distance to the front obstacle becomes smaller, the distance between the positions irradiated with the infrared LED in the image becomes larger and the distance to the obstacle can be detected. In general, in such a stereo measurement method, the detection accuracy is better as the distance between the LEDs is larger. This experimental result shows that an obstacle ahead of 12 cm to 110 cm can be detected even if the distance between LEDs, which is a distance corresponding to the width of the head or less, is 11 cm.
段差検出処理
本発明のウェアラブルディスプレイに組み込むことを想定した段差検出用超音波センサの例を図17に示す。超音波センサの先端には円筒状のフードをとりつけ、超音波の干渉等によるノイズを取り除き、検出精度を高めている。本機により超音波を射出したときから反射波が返ってくるまでの時間をセンシングし、この信号を以下に述べる処理によって、段差を検出する。本機を用いた段差検出の概念図を図18に示す。まず、超音波センサの出力のn回の反射時間の平均taveをとる。そして、そのn回の直後n'回の反射時間の平均t'aveを計算する。そして、taveとt'aveの差が一定時間以上あれば段差があると判定する。この判定にもとづき、本機に搭載した警報機に警報出力を発する。本発明のウェアラブルディスプレイの警報機としては、スピーカおよび振動モータを搭載しているのが望ましい。屋外における本発明のウェアラブルディスプレイの使用時には段差検出の頻度は多いと考えられ、頻繁にスピーカを多用し、ロービジョン者が周囲の情報を収集する感覚器である耳を塞がないほうがよい。従って、段差検出結果は振動モータを振動させて警報を出力するほうが望ましい。従って、図17の例においても振動モータを用いている。
Step detection processing
FIG. 17 shows an example of an ultrasonic sensor for level difference detection that is assumed to be incorporated in the wearable display of the present invention. A cylindrical hood is attached to the tip of the ultrasonic sensor to remove noise caused by ultrasonic interference and improve detection accuracy. This unit senses the time from when the ultrasonic wave is emitted until the reflected wave returns, and detects the step by the process described below. A conceptual diagram of the step detection using this machine is shown in FIG. First, an average tave of n reflection times of the output of the ultrasonic sensor is taken. Then, an average t′ave of n ′ reflection times immediately after the n times is calculated. Then, if the difference between tave and t'ave is equal to or longer than a certain time, it is determined that there is a step. Based on this determination, an alarm output is issued to the alarm device mounted on this machine. The alarm device for the wearable display according to the present invention preferably includes a speaker and a vibration motor. When the wearable display of the present invention is used outdoors, it is considered that the frequency of step detection is high, and it is better to frequently use loudspeakers and not to cover the ears, which are sensory instruments for low vision persons to collect surrounding information. Therefore, it is desirable to output a warning for the step detection result by vibrating the vibration motor. Accordingly, the vibration motor is also used in the example of FIG.
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013033995A JP2014165616A (en) | 2013-02-23 | 2013-02-23 | Wearable display for low vision person |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013033995A JP2014165616A (en) | 2013-02-23 | 2013-02-23 | Wearable display for low vision person |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014165616A true JP2014165616A (en) | 2014-09-08 |
Family
ID=51615869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013033995A Pending JP2014165616A (en) | 2013-02-23 | 2013-02-23 | Wearable display for low vision person |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014165616A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105982786A (en) * | 2015-02-13 | 2016-10-05 | 深圳富泰宏精密工业有限公司 | Vision assisting system and wearable device provided with vision assisting system |
WO2019039591A1 (en) * | 2017-08-24 | 2019-02-28 | 株式会社オトングラス | Read-out system and read-out method |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0584200A (en) * | 1991-09-25 | 1993-04-06 | Matsushita Electric Ind Co Ltd | Step detecting device of self-propelled vacuum cleaner |
JPH05172570A (en) * | 1991-12-26 | 1993-07-09 | Japan Radio Co Ltd | Road surface projection and level difference detector |
JP2003030649A (en) * | 2001-07-18 | 2003-01-31 | Hitachi Software Eng Co Ltd | Image processing method and image processor |
JP2006146778A (en) * | 2004-11-24 | 2006-06-08 | Konica Minolta Photo Imaging Inc | Head mount display device |
WO2007113975A1 (en) * | 2006-03-31 | 2007-10-11 | National University Corporation Shizuoka University | View point detecting device |
JP2008122511A (en) * | 2006-11-09 | 2008-05-29 | Konica Minolta Opto Inc | Joined prism, image display device, head mounting display and video pickup device |
JP2011002778A (en) * | 2009-06-22 | 2011-01-06 | Hoya Corp | Video display and head-mounted display |
JP2011145924A (en) * | 2010-01-15 | 2011-07-28 | Nec Access Technica Ltd | Moving device and method |
JP2011221236A (en) * | 2010-04-08 | 2011-11-04 | Sony Corp | Image display method of head-mounted type display |
-
2013
- 2013-02-23 JP JP2013033995A patent/JP2014165616A/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0584200A (en) * | 1991-09-25 | 1993-04-06 | Matsushita Electric Ind Co Ltd | Step detecting device of self-propelled vacuum cleaner |
JPH05172570A (en) * | 1991-12-26 | 1993-07-09 | Japan Radio Co Ltd | Road surface projection and level difference detector |
JP2003030649A (en) * | 2001-07-18 | 2003-01-31 | Hitachi Software Eng Co Ltd | Image processing method and image processor |
JP2006146778A (en) * | 2004-11-24 | 2006-06-08 | Konica Minolta Photo Imaging Inc | Head mount display device |
WO2007113975A1 (en) * | 2006-03-31 | 2007-10-11 | National University Corporation Shizuoka University | View point detecting device |
JP2008122511A (en) * | 2006-11-09 | 2008-05-29 | Konica Minolta Opto Inc | Joined prism, image display device, head mounting display and video pickup device |
JP2011002778A (en) * | 2009-06-22 | 2011-01-06 | Hoya Corp | Video display and head-mounted display |
JP2011145924A (en) * | 2010-01-15 | 2011-07-28 | Nec Access Technica Ltd | Moving device and method |
JP2011221236A (en) * | 2010-04-08 | 2011-11-04 | Sony Corp | Image display method of head-mounted type display |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105982786A (en) * | 2015-02-13 | 2016-10-05 | 深圳富泰宏精密工业有限公司 | Vision assisting system and wearable device provided with vision assisting system |
WO2019039591A1 (en) * | 2017-08-24 | 2019-02-28 | 株式会社オトングラス | Read-out system and read-out method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10504214B2 (en) | System and method for image presentation by a vehicle driver assist module | |
JP3922245B2 (en) | Vehicle periphery monitoring apparatus and method | |
CN101999972B (en) | Stereoscopic vision based auxiliary walking device for blindmen and auxiliary method thereof | |
JP6036065B2 (en) | Gaze position detection device and gaze position detection method | |
US20190192348A1 (en) | Active Confocal Imaging Systems and Methods for Visual Prostheses | |
WO2011108218A1 (en) | Surrounding area monitoring device for vehicle | |
US20140022371A1 (en) | Pupil detection device | |
KR20130086066A (en) | Image input device and image processing device | |
CN106651873B (en) | One kind detecting glasses based on RGB-D camera and stereosonic visually impaired people's zebra stripes | |
JP2006251596A (en) | Support device for visually handicapped person | |
JP2006338594A (en) | Pedestrian recognition system | |
US11475641B2 (en) | Computer vision cameras for IR light detection | |
CN106821297A (en) | A kind of portable dynamic vision testing method based on the aobvious equipment of head | |
JPH10221016A (en) | Visual point position detector | |
JP2006146778A (en) | Head mount display device | |
JP2014165616A (en) | Wearable display for low vision person | |
JP2005332071A (en) | System for tracking visually handicapped person and method for detecting visually handicapped person | |
CN107049717B (en) | One kind is based on RGB-D camera and stereosonic visually impaired people's zebra stripes detection system and method | |
TWI702531B (en) | Image information display method, image information display system and display | |
KR101331055B1 (en) | Visual aid system based on the analysis of visual attention and visual aiding method for using the analysis of visual attention | |
JP5339969B2 (en) | Vehicle periphery monitoring device | |
CN116249576A (en) | System and method for dynamically processing image | |
JP5383246B2 (en) | Vehicle periphery monitoring device | |
JP3837572B2 (en) | Image recognition apparatus, method and program for visually handicapped person | |
Karungaru et al. | Improving mobility for blind persons using video sunglasses |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20171107 |