JP2019159193A - Behavior support device for visually impaired person - Google Patents
Behavior support device for visually impaired person Download PDFInfo
- Publication number
- JP2019159193A JP2019159193A JP2018048044A JP2018048044A JP2019159193A JP 2019159193 A JP2019159193 A JP 2019159193A JP 2018048044 A JP2018048044 A JP 2018048044A JP 2018048044 A JP2018048044 A JP 2018048044A JP 2019159193 A JP2019159193 A JP 2019159193A
- Authority
- JP
- Japan
- Prior art keywords
- information
- distance
- user
- distance information
- peripheral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001771 impaired effect Effects 0.000 title claims abstract description 26
- 230000002093 peripheral effect Effects 0.000 claims abstract description 38
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 230000009471 action Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 13
- 239000011521 glass Substances 0.000 claims description 6
- 210000003128 head Anatomy 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
Description
本発明は、視覚障がい者用行動支援装置に関する。 The present invention relates to a behavior support device for a visually impaired person.
視覚情報を補助することにより視覚障がい者の行動を支援する装置として、例えば、特許文献１に開示された支援システムが知られている。この支援システムは、胴体に配置される第１の方位センサと、頭部に配置される第２の方位センサおよび動き検出器とを備えており、第１の方位センサおよび第２の方位センサの検出情報と、動き検出器の検出情報とを比較することにより、実際に動いている物体を特定することができる。 For example, a support system disclosed in Patent Document 1 is known as an apparatus that assists the behavior of a visually impaired person by assisting visual information. The support system includes a first azimuth sensor disposed on the trunk, a second azimuth sensor and a motion detector disposed on the head, and the first azimuth sensor and the second azimuth sensor. By comparing the detection information with the detection information of the motion detector, an actually moving object can be specified.
ところで、視覚障がい者の歩行等の行動時においては、車両等の移動する物体だけでなく、階段や段差のような静止している物体であっても危険な状況が存在するため、このような情報を使用者が正確に認識できることが従来から必要とされていた。 By the way, when a visually handicapped person is walking, such as a moving object such as a vehicle, there is a dangerous situation even with a stationary object such as a staircase or a step. Conventionally, it has been required that a user can accurately recognize information.
そこで、本発明は、視覚障がい者に対して、行動に必要な情報を精度良く伝達することができる視覚障がい者用行動支援装置の提供を目的とする。 Therefore, an object of the present invention is to provide an action support device for a visually impaired person that can accurately transmit information necessary for the action to a visually impaired person.
本発明の前記目的は、使用者に装着される本体と、使用者の前方側の距離画像を撮像するように前記本体に支持された距離画像撮像部と、前記距離画像に含まれる障害物の距離情報を演算する演算部と、前記距離情報を音または振動により使用者に伝達する出力部とを備え、前記演算部は、前記距離画像の領域を中央部と周辺部とに分割し、前記周辺部に含まれる障害物の距離情報である周辺距離情報を、段階的に変化する情報として演算する一方、前記中央部に含まれる障害物の距離情報である中央距離情報を、前記周辺距離情報よりも多段階あるいは連続的に変化する情報として演算する視覚障がい者用行動支援装置により達成される。 The object of the present invention is to provide a main body to be worn by a user, a distance image capturing unit supported by the main body so as to capture a distance image in front of the user, and obstacles included in the distance image. A calculation unit that calculates distance information; and an output unit that transmits the distance information to a user by sound or vibration, and the calculation unit divides the area of the distance image into a central part and a peripheral part, While calculating the peripheral distance information that is the distance information of the obstacle included in the peripheral part as information that changes stepwise, the central distance information that is the distance information of the obstacle included in the central part is calculated as the peripheral distance information. It is achieved by the action support device for the visually handicapped person that calculates as information that changes in multiple steps or continuously.
この視覚障がい者用行動支援装置において、前記出力部は、前記周辺距離情報を使用者に伝達する周辺情報出力部と、前記中央距離情報を使用者に伝達する中央情報出力部とを備えることが好ましく、前記周辺情報出力部および中央情報出力部は、使用者に対して互いに異なる位置から出力するように前記本体に固定されることが好ましい。 In this behavior support device for a visually impaired person, the output unit includes a peripheral information output unit that transmits the peripheral distance information to a user, and a central information output unit that transmits the central distance information to the user. Preferably, the peripheral information output unit and the central information output unit are fixed to the main body so as to output from different positions to the user.
前記本体は、使用者の顔に装着される眼鏡状に形成されていることが好ましい。 It is preferable that the main body is formed in a shape of glasses that can be worn on a user's face.
また、前記距離画像に含まれる障害物の色画像を撮像する色画像撮像部を更に備えることが好ましい。 Moreover, it is preferable to further include a color image capturing unit that captures a color image of an obstacle included in the distance image.
また、前記中央部に相当する空間に存在する障害物の距離を超音波により検出する超音波検出部を更に備えることが好ましい。 Moreover, it is preferable to further include an ultrasonic detection unit that detects the distance of an obstacle existing in a space corresponding to the central portion by ultrasonic waves.
本発明によれば、視覚障がい者に対して、行動に必要な情報を精度良く伝達することができる視覚障がい者用行動支援装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the visually impaired person's action assistance apparatus for a visually impaired person which can transmit information required for action with sufficient precision can be provided.
以下、本発明の実施の形態について、添付図面を参照して説明する。図１は、本発明の一実施形態に係る視覚障がい者用行動支援装置の斜視図であり、図２は、そのブロック図である。図１および図２に示すように、視覚障がい者用行動支援装置１は、距離画像撮像部２０、色画像撮像部２２、超音波検出部２４、入力部３０、演算部４０および出力部５０が、本体１０に支持されて構成されている。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. FIG. 1 is a perspective view of an action support device for a visually impaired person according to an embodiment of the present invention, and FIG. 2 is a block diagram thereof. As shown in FIGS. 1 and 2, the action support device 1 for a visually impaired person includes a distance image capturing unit 20, a color image capturing unit 22, an ultrasonic detection unit 24, an input unit 30, a calculation unit 40, and an output unit 50. The main body 10 is supported.
本体１０は、使用者の顔に装着される眼鏡状に形成されている。本体１０は、使用者に装着可能な構成であれば特に限定されないが、装着時に位置や方向がある程度特定されて、その後の位置や方向のずれが生じ難い構成であることが好ましく、眼鏡以外に、キャップ、上着、ベルト、マスク等の形態を例示することができる。 The main body 10 is formed in the shape of glasses that are worn on the face of the user. The main body 10 is not particularly limited as long as it can be worn by the user. However, the position and direction are specified to some extent at the time of wearing, and it is preferable that the position and direction are not easily shifted. , Caps, jackets, belts, masks and the like.
距離画像撮像部２０は、ＴＯＦ（Time of Flight）カメラであり、本体１０を使用者に装着した状態で使用者の前方側を撮像するように、本体１０のリムの前面側に支持されている。ＴＯＦカメラは、撮像エリアに赤外光を照射する光源と、マトリクス状に配置された複数画素の撮像素子とを備える公知の構成であり、撮像エリアに赤外光を照射してから反射光を受光するまでの時間を画素毎に計測することによって、距離画像を撮像する。距離画像撮像部２０は、必ずしもＴＯＦ方式に限定されるものではなく、ステレオカメラ方式やパターン照射方式など他の方式であってもよい。 The distance image capturing unit 20 is a TOF (Time of Flight) camera, and is supported on the front side of the rim of the main body 10 so as to capture the front side of the user with the main body 10 worn on the user. . A TOF camera is a known configuration including a light source that irradiates infrared light to an imaging area and a plurality of pixel imaging elements arranged in a matrix, and reflects reflected light after irradiating the imaging area with infrared light. A distance image is captured by measuring the time until light is received for each pixel. The distance image capturing unit 20 is not necessarily limited to the TOF method, and may be another method such as a stereo camera method or a pattern irradiation method.
色画像撮像部２２は、カラーカメラであり、本体１０のリムに距離画像撮像部２０と隣接するように支持されて、距離画像撮像部２０の撮像エリアと同じエリアの色画像（カラー画像）を撮像する。 The color image capturing unit 22 is a color camera, and is supported by the rim of the main body 10 so as to be adjacent to the distance image capturing unit 20. The color image capturing unit 22 captures a color image (color image) in the same area as the imaging area of the distance image capturing unit 20. Take an image.
超音波検出部２４は、超音波の反射を利用して対象物までの距離を検出する超音波センサであり、本体１０のリムにおいて、ブリッジを挟んで距離画像撮像部２０および色画像撮像部２２と反対側に設けられている。 The ultrasonic detection unit 24 is an ultrasonic sensor that detects the distance to an object using reflection of ultrasonic waves. In the rim of the main body 10, the distance image imaging unit 20 and the color image imaging unit 22 with a bridge interposed therebetween. It is provided on the opposite side.
入力部３０は、複数の押圧ボタンからなる第１の入力部３２および第２の入力部３４を備えており、本体１０のテンプルに設けられて、使用者の操作により電源のオンオフや動作モードの切り替え等を行うことができる。電源は、本体１０が顔面等と接触する位置に静電容量方式の接触センサ（図示せず）等を設けることで、装着時および取り外し時に自動的にオンオフされるように構成することもできる。 The input unit 30 includes a first input unit 32 and a second input unit 34 each including a plurality of push buttons. The input unit 30 is provided on the temple of the main body 10 and can be turned on / off or operated by a user. Switching etc. can be performed. The power supply can also be configured to be automatically turned on and off at the time of wearing and detaching by providing a capacitive contact sensor (not shown) or the like at a position where the main body 10 contacts the face or the like.
演算部４０は、ＣＰＵおよびメモリを有するマイクロプロセッサからなり、本体１０の一方のテンプルに内蔵されて、距離画像撮像部２０が取得した距離画像に含まれる障害物の距離情報、色画像撮像部２２が取得した色画像に含まれる障害物の色情報、超音波検出部２４が取得した障害物の距離情報等を演算する。本体１０の他方のテンプルには、演算部４０等を動作させるためのバッテリー４２が内蔵されている。演算部４０は、スマートフォン等の外部端末と無線通信可能に構成してもよく、外部端末の機能を利用することで、演算量を一部削減して省電力化および高速応答化を図ることができる。 The calculation unit 40 is formed of a microprocessor having a CPU and a memory, and is built in one temple of the main body 10, and distance information of obstacles included in the distance image acquired by the distance image imaging unit 20, the color image imaging unit 22. Calculates the color information of the obstacle included in the acquired color image, the distance information of the obstacle acquired by the ultrasonic detection unit 24, and the like. The other temple of the main body 10 incorporates a battery 42 for operating the arithmetic unit 40 and the like. The calculation unit 40 may be configured to be able to wirelessly communicate with an external terminal such as a smartphone. By using the function of the external terminal, it is possible to reduce the amount of calculation and achieve power saving and high-speed response. it can.
出力部５０は、周辺情報出力部５１，５２と、中央情報出力部５３とを備えている。周辺情報出力部５１，５２および中央情報出力部５３は、偏心ロータの回転等により振動を発生させる振動モータや圧電振動板等からなり、使用者に装着した状態で、それぞれ右耳近傍、左耳近傍および額中央に振動を伝達できるように、本体１０の２つのテンプルおよびブリッジの内部に固定されている。 The output unit 50 includes peripheral information output units 51 and 52 and a central information output unit 53. The peripheral information output units 51 and 52 and the central information output unit 53 are composed of a vibration motor, a piezoelectric diaphragm, or the like that generates vibration by rotation of an eccentric rotor or the like. It is fixed inside the two temples and the bridge of the main body 10 so that vibration can be transmitted to the vicinity and the center of the forehead.
出力部５０は、更に、本体１０の各テンプルの端部にそれぞれ内蔵されたスピーカ５４，５５を備えている。スピーカ５４，５５は、例えば骨伝導スピーカであり、振動部が頭部に当接するように配置されて、使用者に音声情報等の音情報を伝達する。スピーカ５４，５５は、骨導音ではなく気導音を出力するタイプであってもよく、ヘッドホンやイヤホン等の形状にすることもできる。 The output unit 50 further includes speakers 54 and 55 respectively built in the end portions of the temples of the main body 10. The speakers 54 and 55 are, for example, bone conduction speakers, and are arranged so that the vibration unit contacts the head, and transmit sound information such as sound information to the user. The speakers 54 and 55 may be of a type that outputs air-conducted sound instead of bone-conducted sound, and may be in the form of headphones or earphones.
次に、上記の構成を備える視覚障がい者用行動支援装置１の作動を説明する。図３は、距離画像撮像部２０の撮像エリアを示す平面図であり、図４は、図３に示す撮像エリアのＡ−Ａ断面図である。図３および図４に示すように、距離画像撮像部２０は、左右方向および上下方向に所定の画角（例えば、左右方向に約１７０度、上下方向に約９０度）を有しており、撮像エリアの距離画像を撮像する。 Next, the action | operation of the action assistance apparatus 1 for visually impaired persons provided with said structure is demonstrated. FIG. 3 is a plan view showing an imaging area of the distance image imaging unit 20, and FIG. 4 is a cross-sectional view taken along line AA of the imaging area shown in FIG. As shown in FIGS. 3 and 4, the distance image capturing unit 20 has a predetermined angle of view in the left-right direction and the up-down direction (for example, about 170 degrees in the left-right direction and about 90 degrees in the up-down direction) A distance image of the imaging area is captured.
演算部４０は、距離画像の領域を中央部Ｃと周辺部Ｐとに分割し、中央部Ｃに含まれる障害物の距離情報である中央距離情報、および、周辺部Ｐに含まれる障害物の距離情報である周辺距離情報を、それぞれ演算する。中央部Ｃは、例えば、上下方向および左右方向にそれぞれ１０度程度の画角を有する領域であり、使用者の視線方向の領域と略一致するように設定されている。中央部Ｃおよび周辺部Ｐに含まれる障害物の有無は、公知の手法により検出することが可能であり、例えば、周囲に比べて距離情報が小さい画素が一定以上の領域に連続するか否かで判別することができる。障害物は、進行を物理的に阻害するものに限られず、凹部や落差なども障害物として検出することができる。 The calculation unit 40 divides the area of the distance image into the central part C and the peripheral part P, and the central distance information that is the distance information of the obstacles included in the central part C and the obstacles included in the peripheral part P Peripheral distance information that is distance information is calculated. The central portion C is, for example, a region having an angle of view of about 10 degrees in the vertical direction and the horizontal direction, and is set so as to substantially match the region in the user's line-of-sight direction. The presence / absence of obstacles included in the central part C and the peripheral part P can be detected by a known method. For example, whether or not pixels having smaller distance information than a surrounding area are continuous to a certain area or more. Can be determined. Obstacles are not limited to those that physically impede progress, and recesses and heads can also be detected as obstacles.
演算部４０は、演算した中央距離情報を、中央情報出力部５３から出力する。これにより、振動モータからなる中央情報出力部５３が振動して、使用者の額に中央距離情報を伝達することができる。本実施形態の中央距離情報は、障害物の距離情報に応じて連続的に変化する情報として演算され、距離情報の値が小さいほど振動モータの振動強さが大きくなるように設定されており、障害物までの距離の変化を使用者が連続的に知覚することができる。 The calculation unit 40 outputs the calculated center distance information from the central information output unit 53. Thereby, the central information output part 53 which consists of a vibration motor vibrates, and can transmit center distance information to a user's forehead. The central distance information of the present embodiment is calculated as information that continuously changes according to the distance information of the obstacle, and is set so that the vibration strength of the vibration motor increases as the value of the distance information decreases. The user can continuously perceive a change in the distance to the obstacle.
超音波検出部２４の検出領域は、距離画像撮像部２０による距離画像の中央部Ｃの領域に略一致しており、演算部４０は、超音波検出部２４の検出に基づき、中央部Ｃに存在する障害物の中央距離情報を取得する。中央部Ｃに存在する障害物がガラス扉などの透明な物体の場合には、距離画像撮像部２０のみでは中央距離情報を取得できないおそれがあるため、超音波検出部２４と併用することによって、中央距離情報を確実に取得することができる。 The detection area of the ultrasonic detection unit 24 substantially coincides with the area of the central portion C of the distance image obtained by the distance image capturing unit 20, and the calculation unit 40 moves to the central portion C based on the detection of the ultrasonic detection unit 24. Get center distance information of existing obstacles. When the obstacle present in the central part C is a transparent object such as a glass door, since there is a possibility that the central distance information cannot be obtained only by the distance image capturing unit 20, by using it together with the ultrasonic detecting unit 24, The center distance information can be acquired with certainty.
また、演算部４０は、演算した周辺距離情報を、使用者の右側で検出した障害物については右側の周辺情報出力部５１から出力する一方、使用者の左側で検出した障害物については左側の周辺情報出力部５２から出力する。これにより、振動モータからなる周辺情報出力部５１，５２が振動して、使用者の右耳近傍または左耳近傍に、周辺距離情報を伝達することができる。周辺距離情報は、障害物の距離情報に応じて段階的に変化する情報として演算され、本実施形態においては、距離Ｄ１からＤ２までの領域、距離Ｄ２からＤ３までの境域、距離Ｄ３以下の３段階に分けて、距離情報の値が小さいほど振動モータの振動強さが段階的に大きくなるように設定されている。 Further, the calculation unit 40 outputs the calculated peripheral distance information from the right peripheral information output unit 51 for the obstacle detected on the right side of the user, while the left side of the obstacle detected on the left side of the user. Output from the peripheral information output unit 52. Accordingly, the peripheral information output units 51 and 52 including the vibration motor vibrate, and the peripheral distance information can be transmitted to the vicinity of the right ear or the left ear of the user. The peripheral distance information is calculated as information that changes stepwise according to the distance information of the obstacle. In the present embodiment, the area from the distance D1 to D2, the boundary area from the distance D2 to D3, and 3 below the distance D3. The level is set so that the vibration strength of the vibration motor increases stepwise as the value of the distance information decreases.
このように、中央距離情報は連続的に変化する情報として演算する一方、周辺距離情報は段階的に変化する情報として演算することにより、使用者は、周囲における障害物の距離を大まかに把握することができると共に、特に気になる障害物については、その障害物が存在する方向を向くことで、詳細な距離を把握することができる。この結果、使用者に伝達する情報量を抑制しつつ、使用者が周囲の障害物の位置を的確に認識することが可能になり、歩行等の行動に必要な情報を使用者に精度良く伝達することができる。また、使用者が屈む動作をしたときの机の縁や、半分開いたドア等のように、障害物の直前に障害物が不意に現れるような状況でも、使用者がこれを中央距離情報として正確に把握することで、危険を回避することができる。更に、中央距離情報を周辺距離情報と共に利用することで、例えば、駅の自動改札機の位置や、エレベータのドアの開放部など、使用者の行動を容易にするための周辺環境情報を正確に把握することができるので、危険回避だけでなく、ＱＯＬ（生活の質）の向上を図ることもできる。 Thus, the center distance information is calculated as information that changes continuously, while the peripheral distance information is calculated as information that changes stepwise, so that the user can roughly grasp the distance of the obstacle in the surroundings. In addition, it is possible to grasp a detailed distance of an obstacle that is particularly worrisome by pointing in the direction in which the obstacle exists. As a result, while suppressing the amount of information transmitted to the user, it becomes possible for the user to accurately recognize the position of surrounding obstacles and accurately transmit information necessary for behavior such as walking to the user. can do. Even in situations where an obstacle appears unexpectedly immediately before the obstacle, such as the edge of a desk when the user bends or a door that is half open, the user can use this as center distance information. By grasping accurately, danger can be avoided. Furthermore, by using the central distance information together with the peripheral distance information, for example, it is possible to accurately acquire the surrounding environment information for facilitating the user's actions such as the position of the automatic ticket gate at the station and the opening of the elevator door. Since it can be grasped, not only danger avoidance but also QOL (quality of life) can be improved.
また、本実施形態においては、障害物の方向に応じて、周辺情報出力部および中央情報出力部が使用者に対して互いに異なる位置から出力するように配置されているので、使用者が障害物の位置および方向を容易に把握することができる。 Further, in the present embodiment, the peripheral information output unit and the central information output unit are arranged so as to output from different positions to the user according to the direction of the obstacle. The position and direction of can be easily grasped.
使用者に伝達する中央距離情報および周辺距離情報は、距離情報の変化を使用者が容易に把握可能であればよく、振動の強さ以外に、例えば、振動間隔や振動パターン等であってもよい。また、必ずしも振動に限定されるものではなく、骨導音や気導音を伝達するスピーカ等を用いて距離情報を音（例えば、音の大きさ、高さ、言語等）により伝達することも可能である。中央距離情報は、本実施形態では連続的に変化する情報としているが、段階的に変化する周辺距離情報よりも段階数が大きい多段階に変化する情報であってもよい。中央部Ｃまたは周辺部Ｐに障害物が複数存在する場合、距離情報が最も小さい障害物のみを使用者に伝達してもよく、あるいは、距離情報が小さいものから順に複数を、タイミングを変えて使用者に伝達してもよい。 The center distance information and the peripheral distance information transmitted to the user may be any distance as long as the user can easily grasp the change in the distance information. Good. In addition, the present invention is not necessarily limited to vibration, and distance information may be transmitted by sound (for example, loudness, height, language, etc.) using a speaker that transmits bone-conducted sound or air-conducted sound. Is possible. The central distance information is information that changes continuously in the present embodiment, but may be information that changes in multiple stages having a larger number of stages than the peripheral distance information that changes in stages. When there are a plurality of obstacles in the central part C or the peripheral part P, only the obstacle with the smallest distance information may be transmitted to the user, or the plurality of obstacles are changed in order from the smallest distance information. It may be communicated to the user.
更に、演算部４０は、距離画像撮像部２０により検出した障害物に関する付加情報を、スピーカ５４，５５から伝達することにより、使用者が周囲の状況をより的確に把握することができる。例えば、数種類の電子音等を用いて、障害物の高さに関する情報を使用者に伝達することができる。この電子音は、距離情報が小さいほど大きくなるように設定してもよく、例えば、距離情報が小さいものから２つ程度を通知することができる。 Furthermore, the calculation unit 40 transmits the additional information regarding the obstacle detected by the distance image capturing unit 20 from the speakers 54 and 55, so that the user can more accurately grasp the surrounding situation. For example, information on the height of the obstacle can be transmitted to the user by using several kinds of electronic sounds. The electronic sound may be set so as to increase as the distance information is smaller. For example, it is possible to notify about two from the smallest distance information.
また、中央部Ｃの障害物の距離情報が所定値（例えば、１００ｃｍ）以下になった場合には、中央情報出力部５３からの情報伝達に加えて、スピーカ５４，５５から電子音等による警告音を伝達してもよい。上記の所定値は複数（例えば、１００ｃｍおよび５０ｃｍ）設定してもよく、距離情報が小さくなるにつれて警告音を変化させることで、障害物の衝突に対する注意喚起をより確実に行うことができる。 Further, when the distance information of the obstacle in the central part C becomes a predetermined value (for example, 100 cm) or less, in addition to the information transmission from the central information output part 53, a warning by an electronic sound or the like from the speakers 54, 55 Sound may be transmitted. A plurality of the predetermined values (for example, 100 cm and 50 cm) may be set. By changing the warning sound as the distance information becomes smaller, it is possible to more reliably call attention to an obstacle collision.
演算部４０は、距離画像撮像部２０が撮像した距離画像を処理することにより、距離情報が急激に変化する落差や、距離情報が段階的に変化する階段等を判別することができ、この情報をスピーカ５４，５５から音声情報等として使用者に伝達することができる。例えば、障害物が落差の場合には、周辺情報出力部５１，５２の振動または中央情報出力部５３の振動に加えて、スピーカ５４，５５から落差の存在と距離および方向等を、音声情報（例えば、「落差、１２０（ｃｍ）左１１時」）により出力する。この音声情報の出力は、落差が存在しなくなるまで繰り返すことが好ましい。障害物が階段の場合には、階段の種類、方向、距離等を、音声情報（例えば、「階段上り、前方、１５０（ｃｍ）」により出力する。 The calculation unit 40 processes the distance image captured by the distance image capturing unit 20 to determine a drop where the distance information changes rapidly, a staircase where the distance information changes stepwise, and the like. Can be transmitted from the speakers 54 and 55 to the user as voice information or the like. For example, when the obstacle is a head, in addition to the vibration of the peripheral information output units 51 and 52 or the vibration of the central information output unit 53, the presence of the head, the distance and direction from the speakers 54 and 55, the voice information ( For example, “head, 120 (cm) left 11:00”). The output of the audio information is preferably repeated until there is no drop. When the obstacle is a staircase, the type, direction, distance, and the like of the staircase are output as audio information (for example, “upstairs, forward, 150 (cm)”.
また、演算部４０は、距離画像撮像部２０が撮像した距離画像に含まれる障害物の色を、色画像撮像部２２が撮像した色画像により判別し、障害物の方向や大きさ等と共に、スピーカ５４，５５から音声情報（例えば、「赤、左１０時、高さ５０（ｃｍ）」、「緑、右２時、高さ８０（ｃｍ）」等として使用者に伝達することができる。使用者は、障害物の存在や方向だけでなく、障害物の大きさや色に関する情報が得られるため、障害物の判別が容易になり、周辺環境をより的確に把握することができる。演算部４０のメモリには、色、大きさ、形状等から特定可能な障害物の名称（例えば、机、ドア、グラス等）を辞書画像として格納してもよく、距離画像撮像部２０および色画像撮像部２２が撮像した距離画像および色画像を、演算部４０が辞書画像と照合して障害物を特定し、スピーカ５４，５５から障害物の名称を音声により出力することもできる。 In addition, the calculation unit 40 determines the color of the obstacle included in the distance image captured by the distance image capturing unit 20 based on the color image captured by the color image capturing unit 22, and along with the direction and size of the obstacle, etc. Audio information (for example, “red, left 10:00, height 50 (cm)”, “green, right 2 o'clock, height 80 (cm)”, etc.) can be transmitted to the user from the speakers 54, 55. Since the user can obtain information on the size and color of the obstacle as well as the presence and direction of the obstacle, the obstacle can be easily identified and the surrounding environment can be grasped more accurately. The memory of 40 may store the names of obstacles (for example, desks, doors, glasses, etc.) that can be specified from colors, sizes, shapes, etc. as dictionary images. The distance image and color image captured by the unit 22 0 against the dictionary image to identify the obstacle, it is also possible to output by voice the name of the obstacle from the speaker 54.
上記の各実施形態において、スピーカ５４，５５から出力する音声情報は、第２入力部３４の操作によって、直近のものを再度出力することが可能であり、使用者が聞き漏らした場合でも再確認を容易に行うことができる。スピーカ５４，５５からは、これらの情報の他、バッテリー４２の残量通知等を行うこともできる。音声情報が不要な場合には、第１の入力部３２のボタンを上下から摘むように同時に押圧することで、スピーカ５４，５５からの出力を一時的に停止することができ、この間は、周辺情報出力部５１，５２および中央情報出力部５３からの出力のみとすることができる。第２入力部３４は、視覚障がい者用行動支援装置１の使用方法や問い合わせ先等を、スピーカ５４，５５から音声で出力するボタンも備えており、ボタンの押圧回数に応じて異なる情報を出力する。 In each of the above embodiments, the sound information output from the speakers 54 and 55 can be output again by the operation of the second input unit 34, and even if the user misses it, reconfirmation is possible. It can be done easily. In addition to these pieces of information, the speakers 54 and 55 can also notify the remaining amount of the battery 42. When audio information is unnecessary, the output from the speakers 54 and 55 can be temporarily stopped by simultaneously pressing the buttons of the first input unit 32 so as to be picked up and down. Only outputs from the output units 51 and 52 and the central information output unit 53 can be used. The second input unit 34 is also provided with a button for outputting the usage method or inquiry destination of the visually impaired person's action support device 1 by voice from the speakers 54, 55, and outputs different information depending on the number of times the button is pressed. To do.
本実施形態の視覚障がい者用行動支援装置１は、第２の入力部３４の操作により動作モードを切り替えて、距離画像撮像部２０の距離画像の中央部Ｃのみを利用した検出を行うことができる。例えば、図５（ａ）に示すように、中央部Ｃによって丸い物体を検出している状態で動作モードを切り替えた場合、図５（ｂ）に示すように物体からの距離が遠くなるか、あるいは、図５（ｃ）に示すように物体からの距離が近くなると、それに応じて、中央情報出力部５３からの振動や、スピーカ５４，５５からの音の周波数または音量が変化すると共に、検出した物体の色情報がスピーカ５４，５５から伝達される。これにより、例えば、テーブルの上に置かれている皿やグラス等を、使用者が正確に把握することが可能になる。 The action support apparatus 1 for a visually impaired person according to the present embodiment can perform detection using only the center portion C of the distance image of the distance image capturing unit 20 by switching the operation mode by operating the second input unit 34. it can. For example, as illustrated in FIG. 5A, when the operation mode is switched in a state where a round object is detected by the center C, the distance from the object is increased as illustrated in FIG. Alternatively, as shown in FIG. 5C, when the distance from the object is reduced, the vibration from the central information output unit 53 and the frequency or volume of the sound from the speakers 54 and 55 are changed and detected accordingly. The color information of the selected object is transmitted from the speakers 54 and 55. Thereby, for example, the user can accurately grasp a plate, a glass, or the like placed on the table.
１ 視覚障がい者用行動支援装置
１０ 本体
２０ 距離画像撮像部
２２ 色画像撮像部
２４ 超音波検出部
３０ 入力部
４０ 演算部
５０ 出力部
５１，５２ 周辺情報出力部
５３ 中央情報出力部
５４，５５ スピーカ
DESCRIPTION OF SYMBOLS 1 Action support apparatus 10 for visually impaired persons Main body 20 Distance image imaging part 22 Color image imaging part 24 Ultrasonic detection part 30 Input part 40 Calculation part 50 Output part 51,52 Peripheral information output part 53 Central information output part 54,55 Speaker
Claims (5)
使用者の前方側の距離画像を撮像するように前記本体に支持された距離画像撮像部と、
前記距離画像に含まれる障害物の距離情報を演算する演算部と、
前記距離情報を音または振動により使用者に伝達する出力部とを備え、
前記演算部は、前記距離画像の領域を中央部と周辺部とに分割し、前記周辺部に含まれる障害物の距離情報である周辺距離情報を、段階的に変化する情報として演算する一方、前記中央部に含まれる障害物の距離情報である中央距離情報を、前記周辺距離情報よりも多段階あるいは連続的に変化する情報として演算する視覚障がい者用行動支援装置。 A body to be worn by the user;
A distance image capturing unit supported by the main body so as to capture a distance image in front of the user;
A calculation unit for calculating the distance information of the obstacle included in the distance image;
An output unit for transmitting the distance information to the user by sound or vibration,
The calculation unit divides the range of the distance image into a central part and a peripheral part, and calculates peripheral distance information that is distance information of obstacles included in the peripheral part as information that changes stepwise. An action support apparatus for a visually impaired person that calculates central distance information, which is distance information of an obstacle included in the central portion, as information that changes in multiple steps or continuously than the peripheral distance information.
前記周辺情報出力部および中央情報出力部は、使用者に対して互いに異なる位置から出力するように前記本体に固定される請求項１に記載の視覚障がい者用行動支援装置。 The output unit includes a peripheral information output unit that transmits the peripheral distance information to a user, and a central information output unit that transmits the central distance information to the user.
The behavior support apparatus for a visually impaired person according to claim 1, wherein the peripheral information output unit and the central information output unit are fixed to the main body so as to output from a position different from each other to the user.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018048044A JP7403783B2 (en) | 2018-03-15 | 2018-03-15 | Behavior support device for visually impaired people |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018048044A JP7403783B2 (en) | 2018-03-15 | 2018-03-15 | Behavior support device for visually impaired people |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019159193A true JP2019159193A (en) | 2019-09-19 |
| JP7403783B2 JP7403783B2 (en) | 2023-12-25 |
Family
ID=67996953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018048044A Active JP7403783B2 (en) | 2018-03-15 | 2018-03-15 | Behavior support device for visually impaired people |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7403783B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022209043A1 (en) | 2021-03-30 | 2022-10-06 | 株式会社Raise the Flag. | Ambient environment information transmission device |
| JP7182733B1 (en) | 2022-01-05 | 2022-12-02 | 功憲 末次 | Collision danger notification system |
| WO2023037813A1 (en) * | 2021-09-13 | 2023-03-16 | マクセル株式会社 | Floating-in-space video information displaying system and stereo sensing device used therein |
| JP7388297B2 (en) | 2020-06-11 | 2023-11-29 | オムロン株式会社 | Communication support device, communication support method, and program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001318594A (en) * | 2000-05-11 | 2001-11-16 | Kumamoto Technopolis Foundation | Walk support system for visually handicapped person and information recording medium |
| JP2002219142A (en) * | 2001-01-25 | 2002-08-06 | Hiroo Mine | Instrument for guiding visually impaired person |
| US20080088469A1 (en) * | 2005-01-13 | 2008-04-17 | Siemens Aktiengesellschaft | Device for Communicating Environmental Information to a Visually Impaired Person |
| JP2008298533A (en) * | 2007-05-30 | 2008-12-11 | Konica Minolta Holdings Inc | Obstruction measurement method, device, and system |
| JP2010210822A (en) * | 2009-03-09 | 2010-09-24 | Brother Ind Ltd | Head mounted display |
| US20140055229A1 (en) * | 2010-12-26 | 2014-02-27 | Amir Amedi | Infra red based devices for guiding blind and visually impaired persons |
| JP2016036419A (en) * | 2014-08-06 | 2016-03-22 | 大生 奥田 | Eyewear using tactile information as transmission medium |
| JP2016194612A (en) * | 2015-03-31 | 2016-11-17 | 株式会社ニデック | Visual recognition support device and visual recognition support program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7598976B2 (en) | 2002-06-13 | 2009-10-06 | I See Tech Ltd. | Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired |
-
2018
- 2018-03-15 JP JP2018048044A patent/JP7403783B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001318594A (en) * | 2000-05-11 | 2001-11-16 | Kumamoto Technopolis Foundation | Walk support system for visually handicapped person and information recording medium |
| JP2002219142A (en) * | 2001-01-25 | 2002-08-06 | Hiroo Mine | Instrument for guiding visually impaired person |
| US20080088469A1 (en) * | 2005-01-13 | 2008-04-17 | Siemens Aktiengesellschaft | Device for Communicating Environmental Information to a Visually Impaired Person |
| JP2008298533A (en) * | 2007-05-30 | 2008-12-11 | Konica Minolta Holdings Inc | Obstruction measurement method, device, and system |
| JP2010210822A (en) * | 2009-03-09 | 2010-09-24 | Brother Ind Ltd | Head mounted display |
| US20140055229A1 (en) * | 2010-12-26 | 2014-02-27 | Amir Amedi | Infra red based devices for guiding blind and visually impaired persons |
| JP2016036419A (en) * | 2014-08-06 | 2016-03-22 | 大生 奥田 | Eyewear using tactile information as transmission medium |
| JP2016194612A (en) * | 2015-03-31 | 2016-11-17 | 株式会社ニデック | Visual recognition support device and visual recognition support program |
Non-Patent Citations (1)
| Title |
|---|
| 鈴木 悠司: "視覚障害者のための環境内の文字情報抽出システム", 電子情報通信学会技術研究報告, vol. 第103巻 No. 587, JPN6019006309, 16 January 2004 (2004-01-16), JP, ISSN: 0004699143 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7388297B2 (en) | 2020-06-11 | 2023-11-29 | オムロン株式会社 | Communication support device, communication support method, and program |
| WO2022209043A1 (en) | 2021-03-30 | 2022-10-06 | 株式会社Raise the Flag. | Ambient environment information transmission device |
| WO2023037813A1 (en) * | 2021-09-13 | 2023-03-16 | マクセル株式会社 | Floating-in-space video information displaying system and stereo sensing device used therein |
| JP7182733B1 (en) | 2022-01-05 | 2022-12-02 | 功憲 末次 | Collision danger notification system |
| JP2023100230A (en) * | 2022-01-05 | 2023-07-18 | 功憲 末次 | Collision risk notification system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7403783B2 (en) | 2023-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10936888B2 (en) | Apparatus detecting driving incapability state of driver | |
| JP2019159193A (en) | Behavior support device for visually impaired person | |
| KR101646503B1 (en) | Device, system and method for informing about 3D obstacle or information for blind person | |
| JP6551417B2 (en) | Wearable device, display control method, and display control program | |
| WO2015198542A1 (en) | Device for detecting driving incapacity state of driver | |
| US9801778B2 (en) | System and method for alerting visually impaired users of nearby objects | |
| WO2018046015A1 (en) | Alarm method, device and terminal for vehicle | |
| US9690378B2 (en) | Operation apparatus | |
| KR102047988B1 (en) | Vision aids apparatus for the vulnerable group of sight, remote managing apparatus and method for vision aids | |
| KR101421046B1 (en) | Glasses and control method thereof | |
| WO2016075780A1 (en) | Wearable device, display control method, and display control program | |
| JP6331751B2 (en) | Driver inoperability detection device | |
| JP2016009256A (en) | Driver's undrivable state detector | |
| WO2010142689A2 (en) | An object detection device | |
| JP2016194612A (en) | Visual recognition support device and visual recognition support program | |
| JP2016009257A (en) | Driver's undrivable state detector | |
| TWI618418B (en) | Audition assistant system and electronic device employing same | |
| KR101982848B1 (en) | Vision aids apparatus for the vulnerable group of sight comprising a removable wearable device and a control device | |
| JP2013017555A (en) | Environment information transmitting device | |
| JP6290827B2 (en) | Method for processing an audio signal and a hearing aid system | |
| JP2015118667A (en) | Approach notification device | |
| JP2006263873A (en) | Communication robot system and communication robot | |
| KR101525468B1 (en) | Hearing assistant system | |
| KR101632169B1 (en) | Voice road guide system for a person who is visually handicapped | |
| JP6529383B2 (en) | Wearable device and output system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210301 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220204 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220819 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221024 |
|
| C116 | Written invitation by the chief administrative judge to file amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C116 Effective date: 20221111 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20221111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231206 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7403783 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |