JP2014165616A - Wearable display for low vision person - Google Patents

Wearable display for low vision person Download PDF

Info

Publication number
JP2014165616A
JP2014165616A JP2013033995A JP2013033995A JP2014165616A JP 2014165616 A JP2014165616 A JP 2014165616A JP 2013033995 A JP2013033995 A JP 2013033995A JP 2013033995 A JP2013033995 A JP 2013033995A JP 2014165616 A JP2014165616 A JP 2014165616A
Authority
JP
Japan
Prior art keywords
image
user
wearable display
view
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013033995A
Other languages
Japanese (ja)
Inventor
Akio Mizuno
昭雄 水野
Tomoyuki Saka
智行 坂
Hiromi Kitagawa
博巳 北川
Osamu Matoba
修 的場
Yukako Shimooka
由佳子 下岡
Hisanori Miura
久典 三浦
Yoichi Kitagawa
洋一 北川
Tetsuya Matsumoto
哲也 松本
Toshio Atsuta
稔雄 熱田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HYOGO PREFECTURE SOCIAL WELFARE CORP
KYOWA DENSHI SEISAKUSHO KK
Hyogo Prefectural Government
Kobe University NUC
Original Assignee
HYOGO PREFECTURE SOCIAL WELFARE CORP
KYOWA DENSHI SEISAKUSHO KK
Hyogo Prefectural Government
Kobe University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HYOGO PREFECTURE SOCIAL WELFARE CORP, KYOWA DENSHI SEISAKUSHO KK, Hyogo Prefectural Government, Kobe University NUC filed Critical HYOGO PREFECTURE SOCIAL WELFARE CORP
Priority to JP2013033995A priority Critical patent/JP2014165616A/en
Publication of JP2014165616A publication Critical patent/JP2014165616A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a wearable display capable of imaging and displaying a front visual field so that a low vision person may walk outdoor during night and such.SOLUTION: The wearable display has functions of imaging a user's outdoor front visual field, converting the image to easy-to-see contrast and brightness, and displaying. Particularly, it is preferable to make the wearable display to have functions of detecting a level difference of a ground surface in front of the user by an ultrasonic sensor and measuring a distance to an object in front of the user by using infra-red LED light, and to materialize both of the functions at a proper processing speed.

Description

本発明は、前方視界を見やすく表示することにより、視力障害者が夜間等にも屋外で使用できるようにしたウェアラブルディスプレイに関するものである。   The present invention relates to a wearable display that enables a visually handicapped person to use outdoors at night or the like by displaying the front field of view in an easy-to-view manner.

日本国内に100万人以上いるといわれるロービジョン者(全盲ではないが、日常生活に支障のある視力障害者。)の中には、画像のコントラストや明るさの改善により視界が見えやすくなる人があることが知られている。
一方、兵庫県立福祉のまちづくり研究所の研究において、ロービジョン者の生活に関する調査を行った結果、通常、白杖を用いて歩行を行っているロービジョン者が杖の先に集中していると、頭の高さ程度の障害物に気づきにくい。衝突することがある。また、自転車、自動車等の移動物体の存在を知りたいといったニーズがあることがわかった。さらに、夜間(20lx程度)では昼間に見えていた人も見えにくくなり、夜間の歩行が困難になることがわかった。
Some low vision people (those who are not blind but have visual impairments that interfere with daily life) who are said to have more than 1 million people in Japan can easily see their vision due to improved image contrast and brightness. It is known that there is.
On the other hand, as a result of research on the life of low vision people in the research of the Hyogo Prefectural Welfare Community Development Research Institute, it was found that low vision people who normally walk with white canes concentrate on the tip of the cane. , Hard to notice obstacles about the height of the head. May collide. It was also found that there was a need to know the existence of moving objects such as bicycles and cars. In addition, at night (about 20lx), it was difficult to see people who were seen in the daytime, and it was difficult to walk at night.

従来、ロービジョン者向けの機器には、
・ルーペ
・拡大読書器
・遮光めがね
・マクスウェル光学系を応用した電子めがね
・屋内用ロービジョンめがね
がある。マクスウェル光学系を応用した電子めがねについては、下記の特許文献1に記載例がある。
Traditionally, devices for low vision people
・ Loupe ・ Magnifying reading device ・ Light-shielding glasses ・ Electronic glasses using Maxwell optics ・ Low-vision glasses for indoor use. An example of electronic glasses using Maxwell optical systems is described in Patent Document 1 below.

特開2007−271643号公報JP 2007-271743 A

ロービジョン者向けの従来の機器は、上記特許文献1に記載のものを含め、主に屋内における読書用である。すなわち、比較的周囲の環境光が安定しており、ロービジョン者が見ようとする対象の距離等が一定である場合に使用できるもので、夜間等の歩行に用いることはできない。   Conventional devices for low-vision persons, including those described in Patent Document 1, are mainly for indoor reading. That is, it can be used when the surrounding ambient light is relatively stable and the distance of the object to be viewed by the low vision person is constant, and cannot be used for walking at night.

本発明は、ロービジョン者が屋外で夜間等にも歩行ができるように、前方視界を撮像し表示することのできるウェアラブルディスプレイを提供するものである。   The present invention provides a wearable display that can capture and display a forward field of view so that a low vision person can walk outdoors at night.

発明によるウェアラブルディスプレイは、屋外におけるユーザーの前方視界を撮像し、その画像を、ユーザーが見やすいコントラストおよび明るさに変換して表示する機能をもつことを特徴とする。
このようなウェアラブルディスプレイであれば、周囲の環境光が安定していない屋外で使用する場合にも、コントラストと明るさを調整して、前方視界の画像をユーザーが見やすいように表示することができる。したがって、発明のウェアラブルディスプレイは、ロービジョン者が夜間等に外出する場合にも、その歩行を効果的に補助することができる。
The wearable display according to the invention is characterized in that it has a function of capturing an image of a user's front field of view outdoors and converting the image into a contrast and brightness that are easy for the user to view.
With such a wearable display, it is possible to adjust the contrast and brightness to display an image in the front view so that the user can easily see it even when used outdoors where ambient light is not stable. . Therefore, the wearable display of the invention can effectively assist walking even when a low vision person goes out at night or the like.

発明のウェアラブルディスプレイは、とくに、屋外におけるユーザーの歩行を可能とするために、超音波センサによるユーザーの前方地面の段差検出機能を有するとともに、赤外LED光を用いる光学系によるユーザー前方の物体との距離計測機能を有し、これら二つの機能を、ユーザーの歩行に伴って変動する画像および対象物との距離に追随できる処理速度で実現できるようにするのが好ましい。
超音波センサにより段差の検出を行ってロービジョン者に警告するとともに、赤外LED光により前方障害物までの距離を計測してロービジョン者に知らせると、発明のウェアラブルディスプレイは、屋外等でのロービジョン者の歩行をさらに安全に補助することができる。しかも、それらの機能を、ユーザーの歩行に伴って変動する画像および対象物との距離に追随できる処理速度で実現できるとすると、歩行速度をとくに遅くする必要がない点で、さらに有利である。
The wearable display of the invention has a function of detecting a step on the ground in front of the user by an ultrasonic sensor, and enables an object in front of the user by an optical system using infrared LED light, in order to enable a user to walk outdoors. It is preferable that these two functions can be realized at a processing speed that can follow the distance between the image and the object that fluctuates as the user walks.
The wearable display of the invention can be used outdoors by detecting the level difference with an ultrasonic sensor and warning the low vision person, and measuring the distance to the front obstacle with infrared LED light to inform the low vision person. It is possible to assist the low vision person walking more safely. In addition, if these functions can be realized at a processing speed that can follow the distance between the user and the image that fluctuates as the user walks, it is further advantageous in that the walking speed does not need to be particularly slow.

ユーザーの前方視界を撮像するためのカメラがユーザーの目の高さに近い位置に前方に向けて配置されていて、そのカメラと上記画像を表示するためのディスプレイ本体とが頭部に装着でき、画像処理装置および電源が頭部以外にて携帯できるのも好ましい。
画像処理装置および電源を頭部以外で携帯できるようにすると、頭部に装着する部分を軽量化でき大きさをも縮小できる。それによって、使用の際のユーザーの負担を軽減することができ、ウェアラブルディスプレイの外観についても改善できる。
A camera for imaging the user's forward field of view is placed forward at a position close to the height of the user's eyes, and the camera and the display main body for displaying the above image can be attached to the head, It is also preferable that the image processing apparatus and the power source can be carried outside the head.
If the image processing apparatus and the power source can be carried by a person other than the head, the portion to be mounted on the head can be reduced in weight and the size can be reduced. As a result, the burden on the user during use can be reduced, and the appearance of the wearable display can also be improved.

ディスプレイ本体に、その画面を擬似的に拡大するためのレンズが付設されているのもよい。
屋外等での歩行を可能にするためには、ある程度の広さの画角が必要である。発明者らの調査(後述)によれば、ロービジョン者の歩行には、水平視野角31度以上、垂直視野角21度以上の画角が要望される。上記のようにディスプレイ本体にレンズが付設されているなら、そのような望ましい画角を、使用しやすい軽量・小型のディスプレイにおいて実現することができる。
The display main body may be provided with a lens for artificially enlarging the screen.
In order to be able to walk outdoors, a certain angle of view is required. According to the inventors' investigation (described later), a low vision person's walking is required to have an angle of view of a horizontal viewing angle of 31 degrees or more and a vertical viewing angle of 21 degrees or more. If the lens is attached to the display main body as described above, such a desirable angle of view can be realized in a lightweight and small display that is easy to use.

画面を拡大するための上記のレンズがホログラフィック光学素子であると、さらに好ましい。
ホログラフィック光学素子を使用する場合には、ガラス等で作製されたレンズを使用する場合よりも、さらにディスプレイを軽量化することができる。
It is further preferable that the lens for enlarging the screen is a holographic optical element.
In the case of using a holographic optical element, the display can be further reduced in weight compared to the case of using a lens made of glass or the like.

発明のウェアラブルディスプレイにおいて、上記のカメラが、周囲が暗い夜間にも前方視界を撮像できるよう最低被写体照度が小さい高感度のもので、その画像を表示する上記の機能として、画像のコントラストが高いときに有効なコントラスト強調処理と、画像のコントラストが低いときに有効なコントラスト強調処理との双方を備えているなら、とくに有利である。
そのようなウェアラブルディスプレイによれば、夜間等において照明環境が異なる場合にも、視認する対象が高コントラストか低コントラストかに応じて画像処理を自動的に選択し、見やすいようにユーザーに提示することが可能である。
In the wearable display of the invention, when the above camera has a high sensitivity with a low minimum subject illuminance so that the front field of view can be captured even at night when the surroundings are dark, and the above function for displaying the image has a high image contrast It is particularly advantageous if both the contrast enhancement processing effective for the image and the contrast enhancement processing effective when the image contrast is low are provided.
According to such a wearable display, even when the lighting environment is different at night or the like, image processing is automatically selected according to whether the object to be viewed is high contrast or low contrast, and presented to the user for easy viewing. Is possible.

視線検出機能および文字認識機能を備えることにより、ユーザーの視界内でユーザーが見ようとしている対象の位置を検出することができ、その対象が文字である場合、文字の認識処理を行ってその文字をユーザーに音声で知らせることができるウェアラブルディスプレイも、きわめて有意義である。
視線検出機能によって、ユーザーの視界内でユーザーが注目している位置を検出し、その位置に文字があれば文字認識機能により文字を把握し、それを音声で知らせることができれば、文字等を判別しづらいロービジョン者の役に立つからである。
By providing a line-of-sight detection function and a character recognition function, it is possible to detect the position of the target that the user is trying to see in the user's field of view. If the target is a character, the character recognition process is performed to A wearable display that can inform the user by voice is also very meaningful.
The line-of-sight detection function detects the position that the user is paying attention to in the user's field of view, and if there is a character at that position, the character recognition function can grasp the character, and if it can be notified by voice, the character is discriminated. This is because it is useful for those who have difficulty in low vision.

上の場合、ユーザーの前方視界を撮像するための光学系にホログラフィック光学素子が用いられると、とくに有利である。
そのようにすると、カメラの視界の中心とユーザーの視界の中心がずれることなく、前方視界を撮像できるからである。カメラがユーザーの視界を遮ったり、ハーフミラーの配置によってカメラの位置が制約されたりすることもない。
In the above case, it is particularly advantageous if a holographic optical element is used in the optical system for imaging the user's forward field of view.
This is because the front view can be imaged without the center of the camera view and the center of the user view being shifted. The camera does not block the user's field of view, and the position of the camera is not restricted by the arrangement of the half mirror.

発明のウェアラブルディスプレイによれば、環境光が安定していない屋外での使用においても前方視界の画像をユーザーが見やすいように表示できる。そのため、ロービジョン者が夜間等に外出する場合にも、その歩行を効果的に補助することができる。   According to the wearable display of the invention, it is possible to display the image of the front view so that the user can easily see the outdoor view even when the ambient light is not stable. Therefore, even when a low vision person goes out at night, the walking can be effectively assisted.

発明によるウェアラブルディスプレイの構成例を示す図である。It is a figure which shows the structural example of the wearable display by invention. 図1のウェアラブルディスプレイについての機能ブロック図である。It is a functional block diagram about the wearable display of FIG. 信号処理部や制御部等を頭部以外で携帯するように構成したウェアラブルディスプレイについて、装着例を示す図である。It is a figure which shows an example of mounting | wearing about the wearable display comprised so that a signal processing part, a control part, etc. might be carried except a head. ロービジョン者が見やすい画像とするためのγ値を調べた調査結果を示す図である。図4(a)・(b)はカラーでの、(c)・(d)は白黒での、(e)・(f)は白黒反転での実験結果である。It is a figure which shows the investigation result which investigated the (gamma) value for making it an image easy for a low vision person to see. FIGS. 4 (a) and (b) are the results of color, (c) and (d) are black and white, and (e) and (f) are the results of black and white inversion. 必要な画角とするために拡大用レンズを使用したウェアラブルディスプレイの試作例を示す図である。It is a figure which shows the trial example of the wearable display which uses an expansion lens in order to set it as a required angle of view. 拡大用レンズとしてホログラフィック光学素子を作製する場合の光学系を示す模式図である。It is a schematic diagram which shows the optical system in the case of producing a holographic optical element as an expansion lens. コントラストに関する画像処理の実験に使用した、歩道を示す写真である。It is the photograph which shows the sidewalk used for the experiment of the image processing regarding contrast. コントラストに関する画像処理の結果を示す写真である。図8(a)は原画像を、(b)は線形変換を利用したコントラスト強調処理を行った結果を、そして(c)は、ヒストグラム平坦化処理を行った結果を示している。It is a photograph which shows the result of the image processing regarding contrast. FIG. 8A shows the original image, FIG. 8B shows the result of the contrast enhancement processing using linear transformation, and FIG. 8C shows the result of the histogram flattening processing. コントラストに関する画像処理の結果について、被験者の評価を示す図である。図9(a)は白線の背景が黒の場合を示し、(b)は、白線の背景がベージュの場合を示している。It is a figure which shows a test subject's evaluation about the result of the image processing regarding contrast. FIG. 9 (a) shows a case where the white line background is black, and FIG. 9 (b) shows a case where the white line background is beige. 視線検出機能および文字認識機能を備えるウェアラブルディスプレイについての機能ブロック図である。It is a functional block diagram about a wearable display provided with a gaze detection function and a character recognition function. ホログラフィック光学素子(HOE)を用いた視界用撮像光学系を含むウェアラブルディスプレイを示す模式図である。It is a schematic diagram which shows the wearable display containing the imaging optical system for visual fields using a holographic optical element (HOE). 赤外光を利用した前方障害物の距離計測の概念図を示している。The conceptual diagram of distance measurement of a front obstacle using infrared light is shown. LEDの点灯・消灯駆動回路を示す図である。It is a figure which shows the lighting / extinguishing drive circuit of LED. 赤外光LEDの点灯・消灯時の撮像例を示している。図14(a)は右LED点灯時の画像である。 (b)は右LED消灯時の画像である。(c)は左LED点灯時の画像である。(d)は左LED消灯時の画像である。An example of imaging when the infrared LED is turned on / off is shown. FIG. 14 (a) is an image when the right LED is lit. (b) is an image when the right LED is turned off. (c) is an image when the left LED is lit. (d) is an image when the left LED is turned off. 画像中の赤外光の照射位置の検出過程を示す図である。図15(a)はLED点灯時の画像である。(b)はLED消灯時の画像である。(c)はLED点灯時と消灯時との差分画像である。(d)差分画像に対して2値化処理を行った画像である。It is a figure which shows the detection process of the irradiation position of the infrared light in an image. FIG. 15 (a) is an image when the LED is lit. (b) is an image when the LED is turned off. (c) is a difference image between when the LED is turned on and when the LED is turned off. (d) An image obtained by binarizing the difference image. LEDと前方障害物との距離に対する、画像中の左右のLEDが照射された位置間の距離の関係を示すグラフである。It is a graph which shows the relationship between the distance between the position where the left and right LED in an image was irradiated with respect to the distance of LED and a front obstruction. 超音波センサを用いた段差検出装置の実験機である。It is an experimental machine of a level difference detection device using an ultrasonic sensor. 段差検出の概念を示す図である。It is a figure which shows the concept of level | step difference detection.

本発明のウェアラブルディスプレイについて、構成例を図1に示し、その機能ブロック図を図2に示す。
カメラ、レンズ等からなる撮像光学系によって、ロービジョン者の前方の視界の画像を撮り、この画像を画像処理部によって、ロービジョン者が見やすい明るく、コントラストの高い表示画像を生成する処理を行う。そして、生成した画像を表示ディスプレイ、画角拡大用レンズ等からなる表示光学系で表示する。また、表示ディスプレイの両端に赤外LED(赤外光光源)が取り付けられており、制御部によりこれらのLEDの点灯、消灯、および撮像光学系のカメラの撮像タイミングを制御し、画像を撮像する。画像中に検出されるLEDの照射位置を検出する画像処理によって、前方障害物までの距離を計測する。そして、障害物までの距離が危険と想定される距離以下になった場合には、振動子、スピーカで構成される警報器によって、ロービジョン者に警告する。
さらに、ユーザーの前方地面に向けた超音波センサの出力信号を信号処理部で解析することによって段差の検出処理を行い、段差がある可能性が高い場合にも振動子、スピーカからロービジョン者に警告する。
なお、この超音波検出器部分をとりはずし、ハンディタイプとすれば、より検出対象の指向性をもたせることができ、段差検出精度が向上する。
A configuration example of the wearable display of the present invention is shown in FIG. 1, and its functional block diagram is shown in FIG.
An image of the field of vision in front of the low vision person is taken by an imaging optical system including a camera and a lens, and this image is processed by the image processing unit to generate a bright and high-contrast display image that is easy for the low vision person to see. Then, the generated image is displayed by a display optical system including a display display, a field angle enlargement lens, and the like. In addition, infrared LEDs (infrared light sources) are attached to both ends of the display, and the control unit controls the lighting and extinction of these LEDs and the imaging timing of the camera of the imaging optical system to capture images. . The distance to the front obstacle is measured by image processing that detects the irradiation position of the LED detected in the image. When the distance to the obstacle is less than the distance that is assumed to be dangerous, a low vision person is warned by an alarm device including a vibrator and a speaker.
Furthermore, the signal processing unit analyzes the output signal of the ultrasonic sensor toward the user's front ground and detects the level difference. Warning.
If this ultrasonic detector part is removed and the handy type is adopted, the directivity of the detection target can be provided, and the level difference detection accuracy is improved.

ロービジョン者の歩行に従って、ロービジョン者の視界も変動する。ロービジョン者が提供された映像を頼りに、障害物の情報を受け取りながら、歩行するために、上述の画像処理、段差や障害物の判別する信号処理、表示処理は1/30秒以内で行うものである。   As the low vision person walks, the field of view of the low vision person also changes. The above image processing, signal processing for distinguishing between steps and obstacles, and display processing are performed within 1/30 seconds to walk while receiving information on obstacles, relying on the video provided by the low vision person Is.

屋外での歩行時に本装置を使用するために、カメラ等の撮像光学系、赤外LED、超音波センサが搭載された表示ディスプレイは頭部に装着でき、信号処理部、制御部、画像処理部、電源、振動子、スピーカは小型で携帯できる程度の形態が望ましい。そのようにしたウェアラブルディスプレイ(付属機器を含む)の装着例を図3に示す。   In order to use this device when walking outdoors, a display display equipped with an imaging optical system such as a camera, infrared LED, and ultrasonic sensor can be attached to the head, and the signal processing unit, control unit, image processing unit The power source, the vibrator, and the speaker are desirably small and portable. FIG. 3 shows an example of wearing such a wearable display (including attached devices).

実際にロービジョン者の夜間の歩行を可能とする仕様として、ロービジョン者用ウェアラブルディスプレイの画角、コントラスト、明るさに影響するパラメータであるγ値を得るために、以下のような調査を行った。   In order to obtain the γ value, which is a parameter that affects the angle of view, contrast, and brightness of wearable displays for low vision users, the following surveys are conducted as specifications that allow low vision persons to walk at night. It was.

[ロービジョン者が薄暮の時間帯(20lx程度)の歩道が認識できる画像に関する調査]
画像処理において、画像のコントラスト、明るさに影響するパラメータとしてγ値が知られている。γ値は入力画像に対する出力画像の輝度値を修正するパラメータであり、γ値を1.0より大きくすれば、明るさと共にコントラストも修正される。γ値をロービジョン者が見やすい画像を生成するための画像処理の指標として用いたとき、ロービジョン者が見やすい画像となるγ値を調べるために薄暮の時間帯の歩道の画像を撮影し、γ値を変更した画像(γ=1.0, 1.5, 2.0, 2.5, 3.0, 4.0)を作成し、これを13名のロービジョン者に提示した。ロービジョン者には歩道が見えるようになった画像を回答してもらった。また、ロービジョン者によっては、カラーではなく、白黒の2値画像あるいは白黒の反転画像が見やすい場合があることから、以下の6通りの実験を行った。
イ)提示画像の検証実験
画像の対象:薄暮の時間帯の歩道(縁石のある歩道、白線のみの歩道)
・カラー1 縁石のある歩道の画像のγ値を変更した画像を提示して6段階(γ=1.0,
1.5, 2.0, 2.5, 3.0, 4.0)でロービジョン者が歩道を認識できた画像を調査(複数回答)。
・カラー2 白線のみの歩道の画像のγ値を変更して画像を提示して6段階(γ=1.0,
1.5, 2.0, 2.5, 3.0, 4.0)でロービジョン者が歩道を認識できた画像を調査(複数回答)。
・白黒1 カラー1のうち、γ=1.0, 2.0, 4.0をグレースケールに変換した画像、3段階について調査
・白黒2 カラー2のうち、γ=1.0, 2.0, 4.0をグレースケールに変換した画像、3段階について調査
・白黒反転1 白黒1の反転画像 3段階について調査
・白黒反転2 白黒2の反転画像 3段階について調査
[Survey on images that low vision persons can recognize sidewalks in twilight hours (about 20 lx)]
In image processing, a γ value is known as a parameter that affects the contrast and brightness of an image. The γ value is a parameter for correcting the luminance value of the output image with respect to the input image. When the γ value is set to be larger than 1.0, the contrast is corrected together with the brightness. When the γ value is used as an index for image processing to generate an image that is easy for a low vision person to view, an image of a sidewalk in the twilight time zone is taken to examine the γ value that makes the image easy to see for the low vision person. Images with changed values (γ = 1.0, 1.5, 2.0, 2.5, 3.0, 4.0) were created and presented to 13 low visioners. The low vision person answered the image that the sidewalk was visible. In addition, depending on the low vision person, there are cases where it is easy to see not a color but a black and white binary image or a black and white inverted image, so the following six experiments were conducted.
B) Verification experiment of the presented image Target of image: Sidewalk during twilight time (sidewalk with curb, sidewalk with white line only)
・ Color 1 The image with the changed γ value of the image of the sidewalk with the curb is presented in 6 levels (γ = 1.0,
1.5, 2.0, 2.5, 3.0, 4.0), surveyed the image that low vision person could recognize the sidewalk (multiple answers).
・ Color 2 Change the γ value of the image of the sidewalk with only white lines and present the image in 6 levels (γ = 1.0,
1.5, 2.0, 2.5, 3.0, 4.0), surveyed the image that low vision person could recognize the sidewalk (multiple answers).
・ Monochrome 1 Color 1 image with γ = 1.0, 2.0, 4.0 converted to gray scale, 3 levels survey ・ Monochrome 2 Color 2 image with γ = 1.0, 2.0, 4.0 converted to gray scale, Investigation on 3 stages ・ Black and white inversion 1 Black and white 1 reverse image Investigation on 3 stages ・ Black and white inversion 2 Black and white 2 inversion image

これらの調査結果を図4に示す。図4(a)はカラー1の、(b)はカラー2の、(c)は白黒1の、(d)は白黒2の、(e)は白黒反転1の、そして(f)は白黒反転2の実験結果である。図4(a)(b)中のNO1〜NO6はγ=1.0, 1.5, 2.0, 2.5, 3.0,
4.0へと変更した画像に相当し、図4(c)(d)中のNO1〜NO3は、カラー画像をγ=1.0, 2.0, 4.0へと変更し、それをグレースケールに変換して白黒処理をした画像に相当する。図4(e)(f)中のNO1〜NO3は、カラー画像をγ=1.0, 2.0, 4.0へと変更し、それをグレースケールに変換して白黒処理をし、それを反転した画像に相当する。
これらの結果より、カラーについてはγ値が2.5以上であれば、ロービジョン者にとって見やすい画像であることがわかった。また、白黒画像、白黒反転画像についてはγ値が4.0以上必要であると考えられる。今回の被験者の感想としては、白黒よりもカラーのほうがよいという意見が多かった。
The results of these surveys are shown in FIG. Figure 4 (a) is color 1, (b) is color 2, (c) is black and white 1, (d) is black and white 2, (e) is black and white inversion 1, and (f) is black and white inversion It is an experimental result of 2. NO1 to NO6 in Fig. 4 (a) and (b) are γ = 1.0, 1.5, 2.0, 2.5, 3.0,
Corresponds to the image changed to 4.0, NO1 to NO3 in Fig. 4 (c) (d) change the color image to γ = 1.0, 2.0, 4.0, convert it to grayscale, and monochrome processing It corresponds to the image that has been. NO1 to NO3 in Figs. 4 (e) and (f) correspond to images obtained by changing the color image to γ = 1.0, 2.0, 4.0, converting it to grayscale, performing black and white processing, and inverting it To do.
From these results, it was found that if the γ value is 2.5 or more for the color, the image is easy to see for the low vision person. Further, it is considered that a γ value of 4.0 or more is necessary for black and white images and black and white inverted images. As for the impression of the subject this time, there were many opinions that color is better than black and white.

ロ) 画角検証実験
画角検証のために、横幅(水平方向)3段階(90mm、125mm、180mm)、縦幅(垂直方向)3段階(15mm、25mm、40mm)で9種の視界遮断ボックスを用いて、「歩くことができそうだ」と回答した最小の画角を調べた。結果を表1に示す。また、視界遮断ボックスの視野角を表2に示す。
この結果より、水平方向の幅125mm以上、垂直方向の幅40mm以上すなわち、上下視野角21度以上、左右視野角31度以上がロービジョン者が歩行するに必要な画角であることがわかった。
したがって、本発明の装置に用いるディスプレイとしては、このような画角となるディスプレイを使用するのが望ましい。しかし、画角の大きいディスプレイは画角の小さいディスプレイよりも重量があり、装置として大型になる可能性がある。このことを解決する方法としては、小型なディスプレイとこのディスプレイを拡大してユーザーに提示する拡大用レンズの使用が望ましい。図5は拡大用レンズを使用した場合の試作例である。
B) Angle-of-view verification experiment For viewing angle verification, nine types of sight-blocking boxes with three horizontal widths (horizontal direction) (90mm, 125mm, 180mm) and three vertical widths (vertical direction) (15mm, 25mm, 40mm) Was used to investigate the smallest angle of view that answered "I am likely to walk". The results are shown in Table 1. Table 2 shows the viewing angle of the view blocking box.
From this result, it was found that the horizontal angle of 125 mm or more, the vertical width of 40 mm or more, that is, the vertical viewing angle of 21 degrees or more and the left and right viewing angle of 31 degrees or more are the angle of view necessary for a low vision person to walk. .
Therefore, it is desirable to use a display having such an angle of view as the display used in the apparatus of the present invention. However, a display with a large angle of view is heavier than a display with a small angle of view, and may be large as a device. As a method for solving this problem, it is desirable to use a small display and a magnifying lens that enlarges the display and presents it to the user. FIG. 5 is an example of a prototype when a magnifying lens is used.

さらに、この拡大用レンズとして、図6に示す光学系で作製されるホログラフィック光学素子(Holographic optical element :HOE)を使用すれば、従来のガラス等で作製されるバルク光学素子よりも軽量化することができる。HOEは図6に示した参照光と同図の物体光の光を記録材料に干渉縞を記録させて作製することができる。このように作製されたHOEを使用する際には、参照光と同様の光をHOEに照射すれば、物体光があった同じ方向に光が回折し、物体光を再生することができる。参照光と物体光を選ぶことによってHOEを拡大レンズとして作製できる。なお、記録材料をフォトポリマーとして、透過性の高い材料を選ぶと軽く、前方の視界をシースルーでみることができるレンズが作製できる。   Furthermore, if a holographic optical element (HOE) produced by the optical system shown in FIG. 6 is used as this magnifying lens, the weight can be reduced as compared with a bulk optical element produced by conventional glass or the like. be able to. The HOE can be manufactured by recording interference fringes on the recording material using the reference light shown in FIG. 6 and the object light shown in FIG. When using the HOE produced in this way, if the HOE is irradiated with light similar to the reference light, the light is diffracted in the same direction as the object light, and the object light can be reproduced. By selecting the reference beam and the object beam, the HOE can be made as a magnifying lens. If a recording material is a photopolymer and a highly transmissive material is selected, a lens can be manufactured that is light and allows the front field of view to be seen through.

兵庫県立福祉のまちづくり研究所が行ったロービジョン者の調査の結果、見る対象の配色すなわち、低コントラストの配色か高コントラストの配色によって、見えやすさが異なることがわかった。いずれにしても、よりコントラストを強調する画像処理をすれば見やすい画像となる。しかし、実際の画像処理において、低コントラストの配色を強調する処理と高コントラストの配色を強調する処理は異なる。そこで、本発明においては、高コントラストの配色を強調する処理として、画像の階調値を線形変換することによって行うコントラスト強調処理と、低コントラストの配色を強調する処理としてヒストグラム平坦化処理を画像処理を組み込むことが望ましい。   As a result of a survey of low vision persons conducted by the Hyogo Prefectural Welfare Community Development Research Institute, it was found that the visibility is different depending on the color scheme of the object to be seen, that is, the color scheme of low contrast or high contrast. In any case, the image can be easily viewed by performing image processing that further enhances the contrast. However, in actual image processing, processing for enhancing a low-contrast color scheme is different from processing for enhancing a high-contrast color scheme. Therefore, in the present invention, as processing for emphasizing a high contrast color scheme, contrast enhancement processing performed by linearly converting the tone value of an image and histogram flattening processing as processing for emphasizing a low contrast color scheme are performed. It is desirable to incorporate.

[線形変換によるコントラスト強調処理]
コントラスト強調処理の計算式は以下の通りである。
Lout
=(Lin − Lave) × G + Loc (eq.1)
(0 ≦
Lout ≦255 ) (eq.2)
Lin:入力画面の各画素の輝度値 Lave:入力画面の1画面平均値
Loc:出力中央値(256/2=128固定) G:強調倍率
この処理により、一画面毎に平均の輝度を計算して その輝度に応じたレベルで階調値の値を倍率だけ大きくするものである。
本発明のウェアラブルディスプレイの評価実験においては、強調倍率を200%とし、この画像処理を画像処理基板に反映させて、リアルタイムで画像表示を行って実験を行った。
[Contrast enhancement by linear transformation]
The calculation formula for the contrast enhancement processing is as follows.
Lout
= (Lin-Lave) x G + Loc (eq.1)
(0 ≤
Lout ≦ 255) (eq.2)
Lin: Brightness value of each pixel on the input screen Lave: Average value per screen of the input screen
Loc: Output median value (256/2 = 128 fixed) G: Emphasis magnification By this processing, the average luminance is calculated for each screen, and the value of the gradation value is increased by the magnification at the level according to the luminance. It is.
In the experiment for evaluating the wearable display of the present invention, the emphasis magnification was set to 200%, and this image processing was reflected on the image processing substrate, and the experiment was performed by displaying an image in real time.

[ヒストグラム平坦化]
夜間での歩行において、街灯の明かりや店の看板などの明かりで歩行者に対する照明が変化することが考えられる。その場合に、明るさが極端に低い値で分布している場合も含めて画像中の輝度分布を一様にする、ヒストグラムを均一化する変換を行い、ダイナミックレンジの広い映像に変換する。このヒストグラム平坦化は、以下の式で表される。pを変換前の濃度値とし、h(p)が濃度値pにおける出現頻度を表す。全画素数をN とすると、ヒストグラム平滑後の濃度値p’は、p’の範囲を[0, 255]とすると、
となる。
[Histogram flattening]
When walking at night, it is conceivable that lighting for pedestrians changes due to lights such as street lights and store signs. In that case, even if the brightness is distributed at an extremely low value, the brightness distribution in the image is made uniform, and the histogram is made uniform so as to convert it into a video having a wide dynamic range. This histogram flattening is expressed by the following equation. Let p be the density value before conversion, and h (p) represents the appearance frequency at the density value p. Assuming that the total number of pixels is N, the density value p ′ after smoothing of the histogram is assumed that the range of p ′ is [0, 255].
It becomes.

開発した本発明のウェアラブルディスプレイを用いて評価実験を行った。評価実験では、本発明のウェアラブルディスプレイ の画像処理の有用性を検討する実験を行った。被験者は4名のロービジョン者であり、照明環境を10lx、60lxの2種類、視認する対象は、背景が黒色、白線の歩道、背景がベージュ色、白線の歩道を模倣したもの2種類とした。実験に使用した歩道を図7に示す。   An evaluation experiment was conducted using the developed wearable display of the present invention. In the evaluation experiment, an experiment was conducted to examine the usefulness of the image processing of the wearable display of the present invention. The test subjects were 4 low-vision persons, the lighting environment was 2 types of 10 lx and 60 lx, and the objects to be viewed were 2 types imitating the sidewalk with black background, white line sidewalk, beige background, white line. . Figure 7 shows the sidewalk used in the experiment.

画像処理は線形変換を利用したコントラスト強調処理(以下コントラスト強調処理とする。)、ヒストグラム平坦化処理、この2つの中間的なコントラスト強調を行うトーンカーブ、撮像した画像をそのまま表示するプレーン、画像処理なしとした。画像処理の例を図8に示す。図8(a)は原画像(プレーン)であり、これに対して線形変換を利用したコントラスト強調処理を行った結果を図8(b)に、ヒストグラム平坦化処理を行った結果を図8(c)に示す。原画像の左下部に高コントラストな配色の矢印(左側)と低コントラストな配色の矢印(右側)が撮像されている。これをコントラスト強調処理を行った場合、高コントラストな矢印が鮮明になっていることが図8(b)からわかる。一方、図8(c)ではヒストグラム平坦化処理によって、低コントラストな配色の矢印は、原画像、コントラスト強調処理の場合よりも見やすくなっていることがわかる。   Image processing includes contrast enhancement processing using linear transformation (hereinafter referred to as contrast enhancement processing), histogram flattening processing, a tone curve for performing intermediate contrast enhancement between the two, a plane for directly displaying a captured image, and image processing. None. An example of image processing is shown in FIG. FIG. 8 (a) is an original image (plane). The result of contrast enhancement processing using linear transformation is shown in FIG. 8 (b), and the result of histogram flattening processing is shown in FIG. Shown in c). A high-contrast color scheme arrow (left side) and a low-contrast color scheme arrow (right side) are imaged at the lower left of the original image. When contrast enhancement processing is performed on this, it can be seen from FIG. 8B that high contrast arrows are clear. On the other hand, in FIG. 8C, it can be seen that the low-contrast color arrows are easier to see than in the case of the original image and the contrast enhancement process by the histogram flattening process.

各条件を、着座している被験者に提示し、5:大変見やすい 4:見やすい 3:ふつう 2:見づらい 1:大変見づらいの5段階で評価してもらった。その際、基準としてプレーンのときを3:ふつうとした。照度10lxのときの実験結果を図9に示す。
図中の縦棒は各被験者の評価を表している。白線の背景が黒のとき(図9(a))、かけないときとプレーンの場合を比較すると、かけないときには見えなかった歩道が本発明のウェアラブルディスプレイを装着することにより、歩道が視認できていることがわかる。プレーン、コントラスト強調、ヒストグラム平坦化、トーンカーブの画像処理を行った場合、高コントラストな歩道が対象であるため、コントラスト強調の効果が顕著となっている。次にトーンカーブが有効となっている。一方、白線の背景がベージュで低コントラストである歩道が対象であるとき(図9(b))、ヒストグラム平坦化場合がコントラスト強調処理よりも効果があることがわかった。
本発明のウェアラブルディスプレイとしては、視認する対象が高コントラストか低コントラストかに応じて、画像処理を自動的に選択してユーザーに提示することが望ましいことがこの結果から伺える。
Each condition was presented to the sitting subject, and was evaluated in five stages: 5: very easy to see 4: easy to see 3: normal 2: hard to see 1: very hard to see. At that time, it was assumed that the standard plane was 3 :. The experimental results when the illuminance is 10 lx are shown in FIG.
The vertical bar in the figure represents the evaluation of each subject. When the background of the white line is black (Fig. 9 (a)), comparing the case where it is not applied and the case where it is not applied, the sidewalk which was not visible when it was not applied can be seen by attaching the wearable display of the present invention. I understand that. When image processing of a plane, contrast enhancement, histogram flattening, and tone curve is performed, a high-contrast sidewalk is an object, and thus the contrast enhancement effect is remarkable. Next, the tone curve is effective. On the other hand, when a white line background is beige and a low-contrast sidewalk is an object (FIG. 9B), it was found that the histogram flattening is more effective than the contrast enhancement processing.
From this result, it can be seen that the wearable display according to the present invention is desirably automatically selected and presented to the user according to whether the object to be viewed is high contrast or low contrast.

ロービジョン者の多くは単純な図形なら見ることができても、文字等の複雑な形状は判別しづらい。そこで、視線検出装置を上記ディスプレイに搭載することにより、ユーザーの視界内でユーザーが注目している位置がわかり、その位置に文字があれば文字認識処理により、文字を音声で伝えることができれば、さらに有用なディスプレイとなる。
視線検出装置を本ディスプレイに組み込んだ場合の構成例を図11に示す。ディスプレイを見ているロービジョン者の眼を眼用撮像光学系により撮像する。そして、その画像から2値化処理により黒目の領域として抽出し、その領域の重心位置を算出することにより、黒目の中心位置を検出する。あらかじめ黒目の位置と見ている方向とを対応づけた対応マップを参照することにより、ロービジョン者の視線を検出できる。そこで、図10のように、本ディスプレイの視界用撮像光学系の画像との照合を行うことによって、視線の対象物の推定処理を行い、それが文字であれば、文字認識処理によって、その文字をロービジョン者にスピーカーにより伝達する。
Many low-vision people can see simple figures, but it is difficult to distinguish complex shapes such as letters. Therefore, by installing the line-of-sight detection device on the above-mentioned display, it is possible to know the position that the user is paying attention in the user's field of view, and if there is a character at that position, the character recognition process can convey the character by voice, Furthermore, it becomes a useful display.
FIG. 11 shows a configuration example when the line-of-sight detection device is incorporated in this display. The eye of the low vision person who is looking at the display is imaged by the ophthalmic imaging optical system. Then, a black eye region is extracted from the image by binarization processing, and the center position of the black eye is detected by calculating the center of gravity of the region. The line of sight of the low vision person can be detected by referring to the correspondence map that associates the position of the black eye with the viewing direction in advance. Therefore, as shown in FIG. 10, the object of sight line is estimated by collating with the image of the visual field imaging optical system of this display. Is transmitted to the low-vision person through a speaker.

拡大用のレンズのみならず、ホログラフィック光学素子(HOE)を視界用撮像光学系にもちいれば、カメラの視界の中心とユーザーの視界の中心がずれることなく、前方視界を撮像することができる。HOEを用いた視界用撮像光学系を図11に示す。ロービジョン者の視界からの光は透過型HOEによって回折され、この回折光をバンドパスフィルタのついたカメラにより検出すれば、ロービジョン者の眼の位置からの視界を撮像することができる。一般に眼の位置を視界の中心とする画像を撮像するとすれば、カメラを眼の位置に置くか、ハーフミラーを用いることとなる。カメラを眼の位置におくと、カメラがユーザーの視界を遮る。ハーフミラーを用いれば視界は透明ではあるが、ハーフミラーの配置によってカメラの位置が制約される。一方、HOEを用いる場合、視界も透明であり、ハーフミラーを用いる場合よりもカメラの位置の設計の自由度が高い。さらに、反射型のホログラフィック光学素子も併用すれば、カメラへ直進する光である、実世界にある物体からの光である、背景光のノイズを低減でき、視界からの光との混在をふせぐことができ、ユーザーはよりディスプレイが見やすくなる。なお、前述の段差検出機能との併用することにより、警報機のみならず、ディスプレイ上により強調した情報を追加することもできる。   If not only the magnifying lens but also the holographic optical element (HOE) is used in the field-of-view imaging optical system, the center of the camera's field of view and the center of the user's field of view can be imaged. . FIG. 11 shows a field-of-view imaging optical system using HOE. The light from the low vision person's field of view is diffracted by the transmissive HOE, and if this diffracted light is detected by a camera with a bandpass filter, the field of view from the position of the low vision person's eyes can be imaged. In general, if an image having the eye position as the center of the field of view is captured, the camera is placed at the eye position or a half mirror is used. When the camera is placed at the eye position, the camera blocks the user's view. If the half mirror is used, the field of view is transparent, but the position of the camera is restricted by the arrangement of the half mirror. On the other hand, when using the HOE, the field of view is also transparent, and the degree of freedom in designing the camera position is higher than when using a half mirror. In addition, when combined with a reflection-type holographic optical element, it can reduce the noise of background light, which is the light that goes straight to the camera, the light from an object in the real world, and the mixture with the light from the field of view. The user can see the display more easily. In addition, by using together with the above-described step detection function, not only the alarm device but also information emphasized on the display can be added.

赤外LEDを用いた前方障害物の検出処理
前方障害物の検知にも超音波センサの利用が考えられるが、前方障害物(人、壁、電信柱など)の対象物の材質、形状によって障害物までの距離計測結果が異なり、安定した結果が得られない。そこで、本装置では前方の障害物検知については赤外光を利用して距離計測を行う。赤外光を利用した距離計測の概念図を図12に示す。図中の赤外光LEDはL本発明のウェアラブルディスプレイのめがね部の両端に備えられていることを想定している。これらの左右のLEDの消灯時と点灯時の画像を撮像して、これらを用いて、次のような画像処理をすることによって障害物までの距離を計測する。まず、消灯時の画像を撮像する。そして、次に左LEDの点灯時の画像を撮像する。これらの画像の差分画像を算出すると、図中に示すような、赤外光LEDの点灯した部分のみが抽出できる。同様の処理を右LEDについても行い、左と右の場合の点灯した位置の差を求めると、障害物が近い場合は位置の差が大きくなり、遠い場合には位置の差が小さくなる。本発明のウェアラブルディスプレイでは、これにより障害物までの距離を計測し、近い場合には使用者に警報する。実験を行った構成では、赤外光(波長880nm)LEDの前方にアクリルレンズをおき、このレンズによりLEDからの光を平行にしている。これらの左右のLED間の距離はめがねフレームに搭載可能な11cmであり、前方110cmの距離で左右のLEDからの光がほぼ同じ位置を照射するようにした。また、左右のLEDの点灯消灯を駆動する回路(図13)を作製し、これらのLEDを右LED点灯、右LED消灯、左LED点灯、左LED消灯を40msで繰り返し、その際の画像をLED中央のカメラで撮像した。20lxの環境で前方障害物までの距離が20cmの条件で撮像した画像の一例を図14に示す。
画像中のLEDの照射した位置を検出するために、次のような画像処理を行った。解析例を図15に示す。まず、LEDの点灯時の画像(図15(a))からLEDが消灯時の画像(図15(b))の差分をとる(図15(c))。そしてこの画像を固定しきい値により2値化を行う(図15(d))。そして、この切り出した位置の重心位置を検出することにより、画像中の赤外光の照射位置を求めた。このような処理を左右のLEDの点灯・消灯時の画像を対象として行えば、左右のLEDが照射された領域の重心間の距離を求めることができ、すなわち、前方障害物の距離が検出することができる。照明20lxの環境で、前方障害物の距離の検出実験を行った結果を図16に示す。この実験では、板状の前方障害物と赤外光LEDとの距離を12cm、52cm、110cmと変えたときの、画像中の左右のLEDの照射された位置間の距離を求めた。この結果により前方障害物の距離が小さくなると画像中の赤外光LEDの照射された位置間の距離が大きくなり、障害物までの距離を検知できることがわかった。一般にこのようなステレオ計測手法ではLED間の距離が大きいほど検出精度がよい。この実験結果は頭部の幅以下に相当する距離である、LED間の距離が11cmであっても、12cm~110cm前方の障害物が検出できることを示している。
Detection processing of front obstacles using infrared LEDs Ultrasonic sensors can be used to detect front obstacles, but obstacles depend on the material and shape of the front obstacle (people, walls, telephone poles, etc.). The distance measurement result to the object is different, and a stable result cannot be obtained. Therefore, in this apparatus, for obstacle detection ahead, distance measurement is performed using infrared light. A conceptual diagram of distance measurement using infrared light is shown in FIG. It is assumed that the infrared LED in the figure is provided at both ends of the glasses part of the wearable display of the present invention. The left and right LEDs are turned off and taken, and the distance to the obstacle is measured by performing the following image processing using these images. First, an image at the time of turning off is taken. Next, an image when the left LED is lit is taken. When the difference image of these images is calculated, only the portion where the infrared LED is lit as shown in the figure can be extracted. When the same processing is performed for the right LED and the difference between the lit positions in the left and right cases is obtained, the difference in position increases when the obstacle is close, and the difference in position decreases when the obstacle is far away. In the wearable display of the present invention, the distance to the obstacle is thereby measured, and if it is close, the user is warned. In the configuration in which the experiment was conducted, an acrylic lens was placed in front of an infrared light (wavelength 880 nm) LED, and the light from the LED was made parallel by this lens. The distance between these left and right LEDs is 11 cm that can be mounted on the eyeglass frame, and the light from the left and right LEDs irradiates almost the same position at a distance of 110 cm in front. In addition, a circuit (Fig. 13) that drives the left and right LEDs to turn on and off is fabricated, and these LEDs are repeatedly turned on for the right LED, right LED, left LED, and left LED in 40 ms. Images were taken with a central camera. FIG. 14 shows an example of an image captured under the condition that the distance to the front obstacle is 20 cm in a 20 lx environment.
In order to detect the position of the LED irradiated in the image, the following image processing was performed. An analysis example is shown in FIG. First, the difference between the image when the LED is turned on (FIG. 15 (a)) and the image when the LED is turned off (FIG. 15 (b)) is taken (FIG. 15 (c)). Then, this image is binarized by a fixed threshold value (FIG. 15 (d)). And the irradiation position of the infrared light in an image was calculated | required by detecting the gravity center position of this cut-out position. If such processing is performed on the images when the left and right LEDs are turned on and off, the distance between the centers of gravity of the areas irradiated with the left and right LEDs can be obtained, that is, the distance of the front obstacle is detected. be able to. FIG. 16 shows the result of an experiment for detecting the distance of the front obstacle in the environment of lighting 20 lx. In this experiment, the distance between the irradiated positions of the left and right LEDs in the image was obtained when the distance between the plate-shaped front obstacle and the infrared LED was changed to 12 cm, 52 cm, and 110 cm. As a result, it was found that when the distance to the front obstacle becomes smaller, the distance between the positions irradiated with the infrared LED in the image becomes larger and the distance to the obstacle can be detected. In general, in such a stereo measurement method, the detection accuracy is better as the distance between the LEDs is larger. This experimental result shows that an obstacle ahead of 12 cm to 110 cm can be detected even if the distance between LEDs, which is a distance corresponding to the width of the head or less, is 11 cm.

段差検出処理
本発明のウェアラブルディスプレイに組み込むことを想定した段差検出用超音波センサの例を図17に示す。超音波センサの先端には円筒状のフードをとりつけ、超音波の干渉等によるノイズを取り除き、検出精度を高めている。本機により超音波を射出したときから反射波が返ってくるまでの時間をセンシングし、この信号を以下に述べる処理によって、段差を検出する。本機を用いた段差検出の概念図を図18に示す。まず、超音波センサの出力のn回の反射時間の平均taveをとる。そして、そのn回の直後n'回の反射時間の平均t'aveを計算する。そして、taveとt'aveの差が一定時間以上あれば段差があると判定する。この判定にもとづき、本機に搭載した警報機に警報出力を発する。本発明のウェアラブルディスプレイの警報機としては、スピーカおよび振動モータを搭載しているのが望ましい。屋外における本発明のウェアラブルディスプレイの使用時には段差検出の頻度は多いと考えられ、頻繁にスピーカを多用し、ロービジョン者が周囲の情報を収集する感覚器である耳を塞がないほうがよい。従って、段差検出結果は振動モータを振動させて警報を出力するほうが望ましい。従って、図17の例においても振動モータを用いている。
Step detection processing
FIG. 17 shows an example of an ultrasonic sensor for level difference detection that is assumed to be incorporated in the wearable display of the present invention. A cylindrical hood is attached to the tip of the ultrasonic sensor to remove noise caused by ultrasonic interference and improve detection accuracy. This unit senses the time from when the ultrasonic wave is emitted until the reflected wave returns, and detects the step by the process described below. A conceptual diagram of the step detection using this machine is shown in FIG. First, an average tave of n reflection times of the output of the ultrasonic sensor is taken. Then, an average t′ave of n ′ reflection times immediately after the n times is calculated. Then, if the difference between tave and t'ave is equal to or longer than a certain time, it is determined that there is a step. Based on this determination, an alarm output is issued to the alarm device mounted on this machine. The alarm device for the wearable display according to the present invention preferably includes a speaker and a vibration motor. When the wearable display of the present invention is used outdoors, it is considered that the frequency of step detection is high, and it is better to frequently use loudspeakers and not to cover the ears, which are sensory instruments for low vision persons to collect surrounding information. Therefore, it is desirable to output a warning for the step detection result by vibrating the vibration motor. Accordingly, the vibration motor is also used in the example of FIG.

Claims (8)

屋外におけるユーザーの前方視界を撮像し、その画像を、ユーザーが見やすいコントラストおよび明るさに変換して表示する機能をもつことを特徴とするウェアラブルディスプレイ。   A wearable display having a function of capturing an image of a user's front field of view outdoors and converting the image into a contrast and brightness that are easy for the user to view. 屋外におけるユーザーの歩行を可能とするために、超音波センサによるユーザーの前方地面の段差検出機能を有するとともに、赤外LED光を用いる光学系によるユーザー前方の物体との距離計測機能を有し、これら二つの機能をユーザーの歩行に伴って変動する画像および対象物との距離に追随できる処理速度で実現できることを特徴とする請求項1に記載のウェアラブルディスプレイ。   In order to enable the user to walk outdoors, it has a function to detect the step on the user's front ground using an ultrasonic sensor, and a function to measure the distance to an object in front of the user using an optical system that uses infrared LED light. The wearable display according to claim 1, wherein the two functions can be realized at a processing speed capable of following an image and a distance to an object that change as the user walks. ユーザーの前方視界を撮像するためのカメラがユーザーの目の高さに近い位置に前方に向けて配置されていて、そのカメラと上記画像を表示するためのディスプレイ本体とが頭部に装着でき、画像処理装置および電源が頭部以外にて携帯できることを特徴とする請求項2に記載のウェアラブルディスプレイ。   A camera for imaging the user's forward field of view is placed forward at a position close to the height of the user's eyes, and the camera and the display main body for displaying the above image can be attached to the head, The wearable display according to claim 2, wherein the image processing apparatus and the power source can be carried outside the head. ディスプレイ本体に、その画面を拡大するためのレンズが付設されていることを特徴とする請求項3に記載のウェアラブルディスプレイ。   4. The wearable display according to claim 3, wherein a lens for enlarging the screen is attached to the display body. 上記のレンズがホログラフィック光学素子であることを特徴とする請求項4に記載のウェアラブルディスプレイ。   The wearable display according to claim 4, wherein the lens is a holographic optical element. 上記のカメラが、周囲が暗い夜間にも前方視界を撮像できるよう最低被写体照度が小さい高感度のもので、その画像を表示する上記の機能として、画像のコントラストが高いときに有効なコントラスト強調処理と、画像のコントラストが低いときに有効なコントラスト強調処理との双方を備えていることを特徴とする請求項3〜5のいずれかに記載のウェアラブルディスプレイ。   The above-mentioned camera is a high-sensitivity sensor with low minimum subject illuminance so that it can capture the forward field of view even in the dark surroundings. Contrast enhancement processing effective when the image contrast is high as the above-mentioned function for displaying the image. And a contrast enhancement process effective when the contrast of the image is low. 6. The wearable display according to claim 3. 視線検出機能および文字認識機能を備えることにより、ユーザーの視界内でユーザーが見ようとしている対象の位置を検出することができ、その対象が文字である場合、文字の認識処理を行ってその文字をユーザーに音声で知らせることができる請求項1〜6のいずれかに記載のウェアラブルディスプレイ。   By providing a line-of-sight detection function and a character recognition function, it is possible to detect the position of the target that the user is trying to see in the user's field of view. If the target is a character, the character recognition process is performed to The wearable display according to claim 1, wherein the wearable display can notify the user by voice. ユーザーの前方視界を撮像するための光学系にホログラフィック光学素子が用いられていることを特徴とする請求項7に記載のウェアラブルディスプレイ。   The wearable display according to claim 7, wherein a holographic optical element is used in an optical system for imaging a user's forward field of view.
JP2013033995A 2013-02-23 2013-02-23 Wearable display for low vision person Pending JP2014165616A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013033995A JP2014165616A (en) 2013-02-23 2013-02-23 Wearable display for low vision person

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013033995A JP2014165616A (en) 2013-02-23 2013-02-23 Wearable display for low vision person

Publications (1)

Publication Number Publication Date
JP2014165616A true JP2014165616A (en) 2014-09-08

Family

ID=51615869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013033995A Pending JP2014165616A (en) 2013-02-23 2013-02-23 Wearable display for low vision person

Country Status (1)

Country Link
JP (1) JP2014165616A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105982786A (en) * 2015-02-13 2016-10-05 深圳富泰宏精密工业有限公司 Vision assisting system and wearable device provided with vision assisting system
WO2019039591A1 (en) * 2017-08-24 2019-02-28 株式会社オトングラス Read-out system and read-out method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0584200A (en) * 1991-09-25 1993-04-06 Matsushita Electric Ind Co Ltd Step detecting device of self-propelled vacuum cleaner
JPH05172570A (en) * 1991-12-26 1993-07-09 Japan Radio Co Ltd Road surface projection and level difference detector
JP2003030649A (en) * 2001-07-18 2003-01-31 Hitachi Software Eng Co Ltd Image processing method and image processor
JP2006146778A (en) * 2004-11-24 2006-06-08 Konica Minolta Photo Imaging Inc Head mount display device
WO2007113975A1 (en) * 2006-03-31 2007-10-11 National University Corporation Shizuoka University View point detecting device
JP2008122511A (en) * 2006-11-09 2008-05-29 Konica Minolta Opto Inc Joined prism, image display device, head mounting display and video pickup device
JP2011002778A (en) * 2009-06-22 2011-01-06 Hoya Corp Video display and head-mounted display
JP2011145924A (en) * 2010-01-15 2011-07-28 Nec Access Technica Ltd Moving device and method
JP2011221236A (en) * 2010-04-08 2011-11-04 Sony Corp Image display method of head-mounted type display

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0584200A (en) * 1991-09-25 1993-04-06 Matsushita Electric Ind Co Ltd Step detecting device of self-propelled vacuum cleaner
JPH05172570A (en) * 1991-12-26 1993-07-09 Japan Radio Co Ltd Road surface projection and level difference detector
JP2003030649A (en) * 2001-07-18 2003-01-31 Hitachi Software Eng Co Ltd Image processing method and image processor
JP2006146778A (en) * 2004-11-24 2006-06-08 Konica Minolta Photo Imaging Inc Head mount display device
WO2007113975A1 (en) * 2006-03-31 2007-10-11 National University Corporation Shizuoka University View point detecting device
JP2008122511A (en) * 2006-11-09 2008-05-29 Konica Minolta Opto Inc Joined prism, image display device, head mounting display and video pickup device
JP2011002778A (en) * 2009-06-22 2011-01-06 Hoya Corp Video display and head-mounted display
JP2011145924A (en) * 2010-01-15 2011-07-28 Nec Access Technica Ltd Moving device and method
JP2011221236A (en) * 2010-04-08 2011-11-04 Sony Corp Image display method of head-mounted type display

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105982786A (en) * 2015-02-13 2016-10-05 深圳富泰宏精密工业有限公司 Vision assisting system and wearable device provided with vision assisting system
WO2019039591A1 (en) * 2017-08-24 2019-02-28 株式会社オトングラス Read-out system and read-out method

Similar Documents

Publication Publication Date Title
US10504214B2 (en) System and method for image presentation by a vehicle driver assist module
JP3922245B2 (en) Vehicle periphery monitoring apparatus and method
CN101999972B (en) Stereoscopic vision based auxiliary walking device for blindmen and auxiliary method thereof
JP6036065B2 (en) Gaze position detection device and gaze position detection method
US20190192348A1 (en) Active Confocal Imaging Systems and Methods for Visual Prostheses
WO2011108218A1 (en) Surrounding area monitoring device for vehicle
US20140022371A1 (en) Pupil detection device
KR20130086066A (en) Image input device and image processing device
CN106651873B (en) One kind detecting glasses based on RGB-D camera and stereosonic visually impaired people's zebra stripes
JP2006251596A (en) Support device for visually handicapped person
JP2006338594A (en) Pedestrian recognition system
US11475641B2 (en) Computer vision cameras for IR light detection
CN106821297A (en) A kind of portable dynamic vision testing method based on the aobvious equipment of head
JPH10221016A (en) Visual point position detector
JP2006146778A (en) Head mount display device
JP2014165616A (en) Wearable display for low vision person
JP2005332071A (en) System for tracking visually handicapped person and method for detecting visually handicapped person
CN107049717B (en) One kind is based on RGB-D camera and stereosonic visually impaired people's zebra stripes detection system and method
TWI702531B (en) Image information display method, image information display system and display
KR101331055B1 (en) Visual aid system based on the analysis of visual attention and visual aiding method for using the analysis of visual attention
JP5339969B2 (en) Vehicle periphery monitoring device
CN116249576A (en) System and method for dynamically processing image
JP5383246B2 (en) Vehicle periphery monitoring device
JP3837572B2 (en) Image recognition apparatus, method and program for visually handicapped person
Karungaru et al. Improving mobility for blind persons using video sunglasses

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171107