JP2019152953A - 視覚支援装置 - Google Patents

Abstract

【課題】個々のユーザの事情を踏まえた支援情報の通知を行う【解決手段】視覚支援装置（１００）は、ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶される記憶部（１３０）と、前記ユーザが視認している場景を表す画像データを取得する撮像部（１１０）と、前記撮像部にて取得された画像データと前記条件とに基づいて、支援情報を生成する生成部（１２０）と、該生成された支援情報を通知する通知部（１４０）とを有する【選択図】図３

Description

本発明は、視覚を補助する装置に関する。

目の不自由な人に対して、カメラによって場景を認識して障害物の存在を検知すると、音声等によってリアルタイムに知らせることで、行動を支援する視覚補助装置が知られている（特許文献１）。

特開２０００−３２５３８９号公報

例えば、上述のような視覚補助装置を用いて危険物を複数検出した場合、それら全てを一度に通知するとユーザが戸惑う場合がある。また、ユーザの障害の程度、今いる場所がユーザにとってよく分かっているのかどうかなど、ユーザの状況や事情によっては、通知が必要ではないということある。そのような場合にまで逐一通知を行うと、ユーザが煩わしいと感じることもある。このように、従来の技術においては、通知が画一的であり、支援情報の通知に際し、個々のユーザの事情が考慮されなかった。
本発明は、個々のユーザの事情を踏まえた支援情報の通知を行うことを目的とする。

本発明は、一の態様において、ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶される記憶部と、前記ユーザが視認している場景を表す画像データを取得する撮像部と、前記取得手段にて取得された画像データと前記条件とに基づいて、支援情報を生成する生成部と、該生成された支援情報を通知する通知部とを有する視覚支援装置。

本発明によれば、個々のユーザの状況に適合する支援情報が通知される。

視覚支援装置１００の外観図。 視覚支援装置１００のハードウェア構成を示す図。 視覚支援装置１００の機能ブロック図。 条件テーブルＴ１に記憶される情報の例を示す図。 補正テーブルＴ２に記憶される情報の例を示す図。 １００の動作の一例を示す図。 画像に基づいて生成される通知の例を示す図。 画像に基づいて生成される通知の例を示す図。 第２実施例に係る機能ブロック図。 共有情報テーブルＴ４に記憶される情報の例を示す図。 第２実施例に係る動作例を示す図。

＜実施例１＞
図１は視覚支援装置１００の外観の一例である。
視覚支援装置１００は、通常のメガネのようにユーザが装着するものであって、フレーム２０と、投影装置２１と、マイク２４と、スピーカ２５と、カメラ２２と、投影面２３と、スイッチ２６とを含む。ここで、フレーム２０や投影面２３の形状や機能は任意であって、通常のメガネの機能を有していてもよい。例えば、投影面２３は通常のメガネレンズとして機能してもよいし、そうでなくてもよい。投影装置２１、カメラ２２、投影面２３、スピーカ２５は、フレーム２０に内蔵された電源（図示せず）から供給される電力によって動作する。スイッチ２６はユーザによって操作される。また、フレーム２０には、制御部のほか、後述の各種機能を実現するためのユニット（図示せず）が内蔵されている。なお、視覚支援装置１００には電源を設けず、別途設けられユーザによって携行されるバッテリユニットから給電を行ってもよい。

図２Ａは視覚支援装置１００のハードウェア構成の一例を示す図である。
視覚支援装置１００は、プロセッサ２０１、メモリ２０２、カメラ２２、マイク２０４、操作スイッチ２０５、センサ２０６、計時装置２０７、投影装置２０８、スピーカ２５、および振動モータ２１０を含む。プロセッサ２０１は、１以上の汎用または専用プロセッサであって、例えば、ＣＰＵ、音声処理プロセッサ、および画像処理プロセッサを含む。メモリ２０２は、半導体メモリ等の記憶デバイスである。カメラ２２は、レンズや受光素子などの光学素子や、フォーカスや露出などの撮影制御回路等からなる撮像機構である。なお、カメラ２２を複数設けてもよい。例えば、視覚支援装置１００は、通常のメガネとメガネを頭に巻き付けて固定するためのベルト部とを備え、図１のように前方を撮像するためのカメラに加え、後方を撮像するためのカメラを、ベルト上における後頭部に相当する位置に設ける。このように、通常の視野よりも広い範囲（理想的には周囲３６０度)の場景を取得することで、後方や横方向から無音の電気自動車や自転車等が接近してくる場合であっても、ユーザに通知することができる。マイク２０４は、コンデンサマイクや信号処理回路からなる集音機構である。操作スイッチ２０５は、ユーザによって操作されるスイッチである。

センサ２０６は、加速度センサ、方位センサ、照度センサなど、視覚支援装置１００の状態や視覚支援装置１００の周囲の環境を検出するための１以上のセンサである。計時装置２０７はタイマなどの計時手段である。投影装置２０８は、半導体レーザ等や駆動回路等からなり、投影面２３に文字や画像を投影する機構である。スピーカ２５は、スピーカであって、ユーザに情報を音声によって通知する。振動モータ２１０は、小型モータなどのバイブレータであって、支援情報の通知手段として機能する。通信部２１１はWiFi等の無線通信モジュールであって、外部の装置との間でデータの送受信を行う。位置取得部２１２は、ＧＰＳ受信モジュールなど、視覚支援装置１００の位置を計測するための機構である。

図２Ｂは視覚支援装置１００の機能ブロック図である。
視覚支援装置１００は、通知部１４０と、反応取得部１５０と、音声入力部１６０と、生成部１２０と、モード切替部１７０と、記憶部１３０と、生成部１２０と、撮像部１１０とを含む。

撮像部１１０はカメラ２２によって実現され、ユーザが視認している場景を表す画像データを、所定のフレームレートで断続的に取得する。なお、カメラの特性や人間の目の機構や各ユーザの視覚能力によって、厳密にいえば、取得した映像がユーザが視認している世界と同一ではないが、取得した画像データ一般的に視覚能力を有する人間が認識しているであろう場景を反映しているといえる。

モード切替部１７０は、操作スイッチ２０５によって実現され、支援情報に関する条件の切替えを受付ける。例えば、生成部１２０において予め動作モードを複数登録しておき
、ユーザはモード切替部１７０を用いて動作モードの指定ないし指定の変更を行う。動作モードとは、支援情報の通知に関する制御の態様を指定するものであって、例えば、支援情報を通知する頻度や通知内容の量によって規定される。よって、動作モードに応じて、生成部１２０にて生成される支援情報に関する制御内容が異なることになる。例えば、通知頻度が「高」、「中」、「小」の３つの動作モードを予め設定しておき、適用したい一つのモードをユーザに指定させることが考えられる。あるいは、ユーザが屋内にいる場合に通知制御パラメータが最適化された「屋内モード」、ユーザの夜間での移動において通知制御パラメータが最適化された「夜間モード」といって、現在の位置や時刻その他のユーザの置かれている状況に応じて動作モードを切替えることができてもよい。なお、条件の切替えは使用中いつでも行うことができる。

音声入力部１６０はマイク２０４によって実現され、ユーザの声や周囲の音を取得する。

反応取得部１５０は、マイク２０４、操作スイッチ２０５、およびセンサ２０６のうちいずれか一つ以上によって実現され、支援情報の通知に対するユーザの反応を表すリアクション情報を取得する。また、反応取得部１５０は、現在のユーザの動作の状態を取得する。動作の状態とは、例えば、ユーザが歩行などの動作を行っている最中なのか否か、あるいは体勢（着席している、横になっているなど）の情報を含む。

位置特定部１９０は位置取得部２１２によって実現され、視覚支援装置１００の位置を特定する。なお、記憶部１３０に地図情報や施設についての情報を記憶しておき、位置特定部１９０は、現在位置に基づいて、ユーザが現在おかれている状況（屋外にいるのか屋内にいるのか、屋外の場合は登録された施設内部にいるのか道路上にいるのか、屋内の場合はオフィスや自宅などの登録された施設）にいるのか否か、を特定してもよい。

計時部１８０は計時装置２０７によって実現され、現在時刻を取得する。

生成部１２０は、計時部１８０および位置特定部１９０から取得した情報に基づいて、撮像部１１０にて画像が取得されたときにおける、所定のエリア（例えば予め登録された施設内）における滞在時間を算出してもよい。生成部１２０は、さらに反応取得部１５０から取得した情報に基づいてユーザの行動を決定してもよい。ユーザの行動とは、例えば、横になって休息しているのか、歩行中なのか、運動中なのかといった情報である。こうして、位置や場所や行動などの情報はユーザ固有情報Ｔ３に蓄積される。

通知部１４０は、音声出力部１４１と表示部１４２と振動発生部１４３とを含み、生成部１２０の制御の下、生成部１２０にて生成された支援情報をユーザに通知する。
音声出力部１４１はスピーカ２５によって実現され、支援情報を音声によって通知する。具体的には、支援情報がテキストデータとして生成され、このテキストデータを音声合成処理によって読み上げる。
表示部１４２は投影装置２０８によって実現され、支援情報を映像によって通知する。振動発生部１４３は振動モータ２１０によって実現され、支援情報を振動によって通知する。
なお、音声出力部１４１、表示部１４２、振動発生部１４３のいずれか一つまたは２つを省略してもよい。例えば、全盲のユーザを想定しているのであれば、表示部１４２の機能を省略してもよい。

記憶部１３０はメモリ２０２によって実現され、ＯＳなど生成部１２０を制御するためのプログラムが記憶されるほか、ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶される。具体的には、条件テーブルＴ１、補正テーブル
Ｔ２、およびユーザ固有情報Ｔ３が格納され、これらに各ユーザに応じた情報が記憶される。

ユーザ固有情報Ｔ３には、各ユーザに固有の情報が記憶される。ユーザ固有の情報には、例えば、ユーザと所定の関係を有する人物（たとえば親族や友人）を特定するための情報（顔画像や顔の特徴量など）が含まれる。また、ユーザの身体能力に関する情報など、ユーザ自身の状態に関する情報が記憶されてもよい。具体的には、ユーザの体調、身体能力（視力、近視、遠視、老眼、障害の内容・程度、聴力、味覚、触覚、嗅覚、障害、運動能力など）である。また、ユーザ固有情報Ｔ３にはユーザの行動履歴（歩行経路、滞在場所、滞在時間など）が含まれていてもよい。このユーザの行動履歴には、通知を受け取ったユーザの反応を表す情報が含まれていてもよい。

図３は条件テーブルＴ１に記憶される情報の具体例を示す。この例では、通知条件に対応付けて支援情報の通知制御の内容が記述されている。通知条件は、検出内容と状況とに大別される。検出内容とは、画像解析の結果抽出された物体（車、建物、標識などの人工物、人や樹木などの自然物など）の種類である。なお、水たまりがあるという事実、木の枝が目の前に倒れ掛かっているというような事実など、物体の存在以外の事象を示すものであってもよい。以下では、説明の便宜上、画像から抽出されユーザへ通知すべき対象のものを、有体物・無対物を問わず、「対象物」ということにする。同図における詳細とは、当該対象物の詳細な情報を示す。例えば、様態（時間変化）やその物体の属性等の情報である。状況には、例えば画像を取得した時間、場所、撮影場所の明るさなど、画像を取得した時の状況を示す情報が含まれる。

通知制御内容を構成する要素として、同図の例では、要否、優先度、タイミング、通知方法が含まれる。要否とは、検出した各対象物に対して通知を行うか否かを規定する。優先度とは、通知を行う際の優先度を規定する。一般的に、生命に危険が及ぶ可能性が高い対象物については高い優先度が設定される。タイミングとは、通知の実行および/または終了のタイミングを規定する。通知方法とは、通知部１４０が有する機能のうちどれを使用するかを規定する。

同図の例では、例えば、車両が検出された場合において、その車両が走行中であるがユーザには向かってきていない状況であり、その検出が屋外で発生したものである場合、その他の状況（時間帯や周囲の明るさ）を問わず通知が必要であり、通知の優先度区分は「２」（２番目に高い）であり、音声、文字および振動という手段を用いて、その対象の車両が検出されている間ずっと通知を出し続ける、という制御内容が規定されている。
通知が必要な対象物を複数検出した場合、優先度がより高い対象物がより優先して通知される。優先して通知されるとは、例えば、より時間的に先に通知する、同時に通知するが他の対象物よりもより注意を引く態様（文字サイズや音量が大きいなど）で表示するという意味である。

通知制御内容の一以上の各項目は、ユーザ固有情報Ｔ３の内容に基づいて生成され、またはユーザによって書き換えることができるようになっている。この結果、通知制御の内容は、ユーザの好みやユーザの事情などが反映されるようになっている。また、ユーザ固有情報Ｔ３の内容が更新されるか通知に対するユーザの反応が得られた後、随時または定期的に、生成部１２０によって自動的に書き換えてられもよい。この場合、ユーザが視覚支援装置１００を使用する期間に応じて内容が変化することになる。

なお、記憶部１３０には、ユーザ固有の情報以外の情報が記憶されてもよい。例えば、記憶部１３０には代表的な障害物の種類（車両、交通標識、段差など）とその危険度（通知の重要度）が登録される。

図４は補正テーブルＴ２に記憶される情報の例を示す。補正テーブルＴ２には、ユーザの反応（リアクション）と優先度の補正内容とが対応付けて記憶される。生成部１２０は、補正テーブルＴ２を参照し、所定のリアクションを検出すると、条件テーブルＴ１を書き換える。例えば、同図の例では、通知した支援情報の通知に対するユーザの反応として、例えばスイッチ等を操作して通知をＯＦＦにしたという反応が記憶された場合、この支援情報について優先度を一段階下げる。このように優先度を変更する理由は、ユーザの反応には、その通知の要否や重要性に関するユーザの判断が反映されていると推測できるからである。また、ある支援情報の通知に応じてユーザが通知の頻度を変更した場合においても、当該支援情報の優先度を補正する。

ユーザの反応（立ち止まる、顔の向きを変えるなど）を反応取得部１５０が検出した場合、その支援情報の対象物に反応しており、ユーザにとってその通知が必要であると可能性が高いと推測されるから、優先度が高くなるように補正する。

このように、支援情報に対するユーザの反応（無反応という反応も含む）に応じて条件テーブルＴ１の内容を更新することで、次回以降に、同一または似たような状況に遭遇した場合の通知制御内容がよりユーザの意図に沿った妥当なものとなる可能性が高まる。

生成部１２０は、プロセッサ２０１によって実現され、撮像部１１０にて取得された画像データに対して、所定の間隔で画像解析を繰り返し実行し、予め設定された対象物や対象物が存在するか否かを判定する。そして、生成部１２０は、撮像部１１０にて取得された画像データと記憶部１３０に記憶されたユーザに固有の条件とに基づいて、支援情報を生成する。
具体的には、生成部１２０は、画像解析の結果、１以上の特定の対象物ないし対象物を複数抽出した場合、ユーザ固有情報Ｔ３を参照して、各対象物ないし対象物について通知の要否や優先度を決定する。そして、１以上の対象や対象物のなかから１以上の対象物を選択し、該選択された１以上の対象物に関する支援情報を生成する。

ここで、抽出されるべき対象物とは、典型的には、車両や歩行者、電柱、街路などの物体、縁石、側溝、路面の凹凸その他の周囲の地形などユーザの移動の障害となりうる物体である。このほか、交通標識、道路に描かれたマーク、横断歩道、踏切、屋外の部屋の間取り等、ユーザの安全な移動（歩行や乗り物運転時）に寄与する対象が含まれていてもよい。

生成部１２０は、反応取得部１５０にて取得されたリアクション情報をさらに用いて、支援情報を生成してもよい。また、生成部１２０は、所定値以上の危険度の障害物が前記画像データから抽出された場合に、支援情報を生成してもよい。また、生成部１２０は、画像データにおいて人物が検出された場合に、当該人物情報に基づいて支援情報を決定してもよい。

前記条件は、前記ユーザの位置に関する情報を用いて規定されてもよい。また、前記条件は、滞在時間に関する情報を用いて規定されてもよい。また、前記条件は、前記ユーザの行動に関する情報を用いて規定されてもよい。

また、動作モードが指定されている場合は、当該動作モードが規定する条件をさらに加味して、支援情報を生成する。例えば、動作モードとして「通知頻度「低」」が指定され、この動作モードが「優先度が２以下の対象物においては、通知しない」というルールを規定するものであれば、優先度「１」が設定された対象物のみが通知の対象となる。

制御内容は、図３に示したうに、条件に対応する制御内容を定義したテーブル形式で用意される必要はない。例えば、制御アルゴリズムを機械学習の手法を用いて決定してもよい。
具体的には、抽出された対象物や、画像特徴量等によって表すことができる撮像時の状況（換言するとユーザが遭遇した状況）や、実行された通知に対して得られたユーザの反応を、訓練データとして学習器に入力することによって、通知が必要な対象物と通知が不必要な対象物とを分類する分類器や通知の重要性ないし必要性を決定するための回帰モデル（学習済モデル）を生成する。

ここで、ユーザの反応とは、反応取得部１５０から供給された、通知に対して振り向いたか否か、通知したにも関わらず直後に躓くなど体のバランスを崩してしまったか否か、通知によって立ち止まったり歩行の進路を変えたりしたか否か、人物の存在を通知した後に発話や挙手を行ったか否か等、ユーザの身体的反応（無反応の場合も含む）など、通知の妥当性やユーザの行動への影響度を推測するために用いられ得る情報である。
なお、ユーザの反応に変えてもしくは加えて、ユーザ情報に含まれるユーザの行動を示す情報（例えば歩行経路や活動の時間帯等）を蓄積しておき、この蓄積したユーザ情報を上記学習器に入力させてもよい。

学習モデルを生成する機械学習の手法としては、例えばＤｅｅｐ Ｎeｕｒａｌ Ｎｅｔｗｏｒｋ（ＤＮＮ、深層学習）を用いることができる。具体的には、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒal Ｎｅｔｗｏｒｋ）などが適用可能である。

学習を行うタイミングについては、視覚支援装置１００を使用する前に実行してもよいし、使用後においてユーザが遭遇した状況・対象物や通知に対するユーザの反応についての情報が得られるたびに実行してもよい。
前者の場合、例えば、ユーザが捉える視界を模擬した画像データを用意し、この画像データに対して、通知の要否、通知の優先度、タイミング等の通知に関する条件についての質問をユーザに対して行い、ユーザから得た回答に基づいて学習させることができる。こうして学習済みモデルが生成された後、ユーザに視覚支援装置１００使用させる。
後者の場合、視覚支援装置１００の使用開始時点においては、未学習状態のアルゴリズムを用いることになるが、ユーザの反応や行動パターンについての情報が蓄積されるにつれ、学習が進むことになる。

要するに、視覚支援装置１００は、取得した複数の画像データと、各画像データに対応して得られた複数のリアクション情報とに基づいて、支援情報の通知に関する条件を学習する学習器と、取得された画像データに対応する支援情報をこの学習器を用いて生成する機能を有していればよい。

また、図２Ａで示したハードウェア構成または図２Ｂで示した機能構成の一部は、視覚支援装置１００とは別途設けられた装置によって実現されてもよい。例えば、通知部を視覚支援装置１００には設けず、ユーザが携行するスマートフォン等の携帯型情報処理端末が有する通知機能を利用してもよい。具体的には、視覚支援装置１００と携帯型情報処理端末と間で無線通信を行い、視覚支援装置１００から携帯型情報処理端末に通知の実行要求および通知内容を送信する。

また、図２Ａおよび図２Ｂで示したハードウェア構成ないし機能構成に、他の機能を加えてもよい。例えば、視覚支援装置１００に移動を案内する機能を設ける。具体的には、記憶部１３０に地図情報を記憶し、位置取得部２１２およびセンサ２０６にてそれぞれ取得された現在位置および向きユーザの向きについての情報と、音声入力部１６０にて取得
された、移動目的の位置や施設名の情報と、地図情報に基づいて、ユーザが進むべきルートや方角、目的地までの距離といった、ユーザの移動を支援する情報を生成してユーザに通知してもよい。
他の例として、ユーザを認証する機能を設けてもよい。具体的には、視覚支援装置１００において声紋や指紋などのユーザ固有の生体情報を取得する手段を設け、予め登録された情報と一致するか判定する。認証を実行するタイミングは、例えば視覚支援装置１００の起動時である。

図５は、視覚支援装置１００の動作の一例を示す。視覚支援装置１００は、予め、現在時刻や場所の取得、周囲の状況やユーザの状態についてのセンシング、動作モードの指定の受付けなどを行い、通知条件として規定された情報を決定しておく（Ｓ５００）。
撮像した画像が所定フレーム分蓄積されると、生成部１２０は蓄積された画像を解析する（Ｓ５１０）。
生成部１２０は、解析の結果、対象物を検出した場合、通知要否の判定を行う（Ｓ５２１）。生成部１２０は、通知が必要であれば（Ｓ５２１；ＹＥＳ）、通知内容を生成する（Ｓ５２２）。ここで、通知対象が複数あった場合は、各通知の順番や態様がさらに決定される。通知部１４０は、タイミング情報に従って通知を実行する（Ｓ５３０）。タイミング情報が存在しない場合、即座に通知を実行する。
生成部１２０は、ユーザからのリアクションを取得した場合（Ｓ５４０：ＹＥＳ）、当該リアクションを示す情報を記憶部１３０に書き込むとともに、必要に応じて当該リアクションの情報に基づいて通知条件を更新する（Ｓ５５０）。なお、通知が不必要な場合（Ｓ５２１；ＮＯ）あるいはリアクションが取得されない場合（Ｓ５４０；ＮＯ）、Ｓ５００の処理に戻る。

図６は、取得した画像に基づいて生成される通知の具体例を示す。
いま、Ｄ１で示す画像が撮像されたとする。この画像を解析した結果、自動車である対象物ＯＢ１、樹木である対象物ＯＢ２、障害物の一種である段差として対象物ＯＢ３、障害物の一種である看板として対象物ＯＢ４の存在が検出されたとする。また、加えて各対象物間の位置関係およびユーザのとの位置関係が特定され、さらに対象物ＯＢ１については動く方向が検出されたとする。
いま仮に、ともに視覚支援装置１００のユーザであるユーザＡとユーザＢとが、屋外において、この画像で示される状況に遭遇したとする。この例では、ユーザＡに対しては、対象物ＯＢ１に対応する支援情報として、向かってくる車に注意喚起を促すメッセージが最初に通知され、続いて、対象物ＯＢ３に対応する支援情報として、前方の看板への注意喚起を促すメッセージが通知され、続いて段差への注意喚起を促すメッセージが通知される。

このような通知制御が行われるのは、例えば、ユーザＡは視力がかなり悪いという情報がユーザ固有情報Ｔ３に書き込まれており、この情報に基づいて、条件テーブルＴ１において動く物体に対して高い通知優先度が与えられており、静止している障害物は優先度が低いが通知は必要であるという制御内容となっている場合である。また、この例では、対象物ＯＢ４が通知要と判定されているにも関わらず通知が実行されていない理由は、例えば、ユーザが混乱しないように、一度に通知できる数の上限が３と設定されており、現状ではユーザの位置から樹木まで遠いためにその優先度は他の３つの対象物よりも低いと判定されているといった場合である。

一方、ユーザＢに対しては、対象物ＯＢ３に対応する支援情報のみが通知されている。このような状況は、例えば、ユーザＢは視力には問題ないが歩行に能力に支障があるという情報がユーザ固有情報Ｔ３に記憶されており、この結果、歩行に関係する対象物ＯＢ３のみが通知要である一方、対象物ＯＢ１、対象物ＯＢ４、対象物ＯＢ２については通知不
要と生成部１２０において判断されたような場合に生じることが考えられる。

図７は、生成される通知の他の例を示す。Ｄ２は、ユーザがオフィスなどの屋内の廊下において撮像された場合において取得される画像の例である。いま、ともに視覚支援装置１００のユーザであるユーザＣとユーザＤとがこの状況に遭遇したとする。生成部１２０は、対象物として対象物ＯＢ２１、対象物ＯＢ２２を検出する。加えて、顔認証処理によって、対象物ＯＢ２１はＣの友人として登録されている人物Ｘであり、対象物ＯＢ２２はユーザＣの友人でもユーザＤの友人でもない人物であると判定する。

ユーザＣに対しては、知り合いの人物Ｘの出現が知らされている。これにより、ユーザＣはＸに挨拶などの応対を行うことができる。このような状況は、例えば、ユーザＣは現在の場所については完全に把握しており案内情報は希望していないという事情があり、この事情に沿って、場所に関する支援情報は通知されないないしはその通知の優先度が低くなるような設定となっている場合に現れる。

一方、ユーザＤに対しては、まず自分が廊下にいるという状況の説明が行われ、続いて前方から人が向かっているという注意喚起が行われている。このような状況は、例えば、ユーザＤにとっては屋内ではまず現在位置の把握が最優先事項であり、このユーザＤの要望に沿った設定が記憶部１３０でなされている場合に生じる。

あるいは、撮像結果から人物のみを検出する設定を記憶部１３０に登録しておき、ユーザは待ち合せ場所等において、多数の人のなかから待ち人（予め記憶部１３０に登録されている）を探したい場合に、モード切替部１７０を操作してこの設定を有効にするといった視覚支援装置１００の使用方法も考えられる。

このように、仮に同一の状況に遭遇したとしても、支援情報の取捨選択の方法がユーザによって異なり、結果として、ユーザが異なれば提供される支援情報が異なりうる。

本実施例によれば、ユーザの事情、都合、ニーズ、好み、現在おかれている状況など、ユーザ固有の情報を考慮して、通知の要否、内容、タイミング、順序の少なくともいずれか一つが決定される。この結果、ユーザにとって無駄な通知が行われ、その結果、ユーザが煩わしさを感じる状況が減ることが期待される。また、逆に煩わしさの緩和を追求するあまり、本来必要な通知が行われないとった状況が発生する可能性も低くなる。
また、通知に対するユーザの反応および/またはユーザの行動履歴に基づいて通知制御内容を変化させることができるので、視覚支援装置１００を使用すればするほど、ユーザへ提供する支援が最適化される。

上記実施例は、本来通常の人が持っている視覚能力が低下したユーザの視覚能力を補い、日常生活を支援することを主な目的とするものであるが、本来持っている視覚能力以上の能力の発揮が求められているような場面に適用してもよい。
例えば、遠方の物体を認識する動作モードを設けておき、遠方の物体を認識が要求される場面に遭遇した場合は、ユーザが当該モードに手動で切替えるか、または画像解析によって知覚には物体が存在しないことを認識した結果、生成部１２０が自動的に切替えるかすることにより、遠方にある物体を支援情報として通知させる、といった視覚支援装置１００の使用方法が考えられる。あるいは、予め目的地を指定した「ナビゲーションモード」と、特定の目的地点が存在せずに自由に散歩をするような「フリーモード」を設けておき、両者のモードにおいて支援情報の内容やタイミング、頻度等を異ならせてもよい。また、「ナビゲーションモード」においては、上述した支援情報の提供に加えて、地図情報と現在位置とに基づいて目的地までのルートを音声によって案内する一方、「フリーモード」においては、上述した支援情報の提供に加え、近くのレストラン情報や公園の存在情
報等、直接歩行には関係ないが、ユーザーの趣味嗜好に即した情報が通知されるように設定することもできる。例えば、飲食店その他の商業施設や公共施設他の情報がユーザーが２００メートル以内に近づくと通知される。
その他、特殊な作業や運動などを行う場合など活動シーンに応じた視覚支援情報を提供すべく、視覚支援装置１００を使用してもよい。
すなわち、本発明は、いわゆる健常者以外の、あらゆる人間に使用することが可能である。換言すると、本発明における「支援」とは、低下または欠如している視認能力を補うという意味に限定されない。

視覚支援装置１００は、メガネ型のほか、耳に装着するイヤホン型、首からぶら下げるブローチ型、腰に装着するタイプなどであってもよい。すなわち、いわゆる健常者が見ているであろう場景が正確に反映された画像を取得する必要はない。例えばブローチ型では首または胸部から見た視点の画像が取得されることになるが、対象物を検出するという目的においては特段問題がない。また、視覚支援装置１００は、あえて通常の視点とは異なる視点からの映像を取得してもよい。例えば、視覚支援装置１００をスマートフォンのような携帯情報端末の形状に設計し、視覚支援装置１００を手から離れた位置で指示するための器具（いわゆる自撮り棒）を取り付ける。あるいは、この視覚支援装置１００を飛行体（ドローン等）に取付け、空中を移動して撮影してもよい。こうすることで、人物や障害物の検出・判定が容易となる場合がある。

通知方法として、音声による通知と投影面への画像表示とを組み合わせてもよい。例えば、障害物を検出した場合は警告音を鳴らすとともに投影面に警告の内容を表示する。

撮影された画像から状況を特定する方法や認識対象について、上記実施例は一例にすぎない。例えば、物体の種類その他の詳細を特定せずに、何らかの障害物であることのみを生成部１２０が認識してもよい。
また、取得した画像に映っている範囲の全てを対象物の抽出範囲と設定する必要もない。例えば、画像のうち所定のエリア（例えば、画面中央部（視野の中心部）、画面下半分（地面を中心として視野範囲）、あるいは所定の視野角に対応するエリア）内を、対象物を抽出する範囲と設定することが考えられる。具体的には、視野のうち対象物を検出した位置を条件テーブルＴ１の通知条件に加えておけばよい。

このように対象物の抽出範囲を絞ることで、画像処理の処理速度が向上し、結果として通知のリアルタイム性が向上する。
また、対象物の抽出範囲をユーザが選択できるようにしてもよい。例えば、動作モードに応じて異なる対象物の抽出範囲を規定しておくことが考えられる。例えば多数の人がいる街中にいる場合、検出した全ての人についての情報を通知するとユーザが混乱してしまう虞があるので、街中に出た場合は画面中心付近（ユーザのほほ真正面）を抽出範囲と設定した動作モードに切替える。このように情報を絞ることによって、少なくとも前方から来る人と正面衝突するという事故が起きる可能性は減り、多数の通知によって混乱することが起きる虞も低くなる。

場景を示す情報を取得する方法として、上述した可視光画像に替えてもしくは加えて、音波やミリ波その他の電磁波を用いて検知ないし撮像されたデータに基づいて、場景が反映された画像を取得してもよい。例えば、視覚支援装置１００に赤外線カメラやミリ波レーダを設け、夜間の場合は、可視光カメラをオフにして赤外線カメラまたはミリ波レーダを起動し、赤外線カメラまたはミリ波レーダによって測定されたデータを画像化する。

＜実施例２＞
ある位置において視覚支援装置１００のユーザが実際に遭遇した場景に関する情報であ
って、他のユーザにとってその位置において視覚の支援となる情報（一例としては、各ユーザに通知を行った通知事実やその通知の内容自体）を、複数のユーザで共有してもよい。具体的には、図８に示すように、複数の視覚支援装置１００（１００-１、１００-２、１００-３）とサーバ３００とを９００を介して接続する。

サーバ３００は、汎用のサーバであって、記憶部３１０と通信部３２０と制御部３３０を含む。記憶部３１０はハードディスク等の記憶装置であって、サーバ３００の制御プログラムのほか、後述する、視覚支援装置１００から収集した共有情報を記憶する。通信部３２０は、インターネット９００を介して各視覚支援装置１００と情報の授受を行うためのネットワークインタフェースである。制御部３３０はプロセッサであって、サーバ３００を制御する。

生成部１２０は、生成された支援情報を通知部１４０に供給するとともに、当該支援情報他のユーザとの間で共有すべきかを判定する。生成部１２０は、共有すべきであると判定した支援情報については、該生成された支援情報に基づいて共有情報を生成する。

共有情報は、支援情報に基づいて生成されるのではなく、ユーザが内容を決定し、視覚支援装置１００に入力してもよい。具体的には、通知を行われたときあるいはユーザによる所定の操作が行われことを契機として、音声入力部１６０によって録音が開始され、所定の期間内になされたユーザの発話を取得する。生成部１２０は取得した発話データに対してテキストデータ化するなどの加工処理を施し、サーバ３００へ送信する。なお、生成部１２０は、通知をした際あるいはユーザが所定の行動や発話を行ったことを検出した場合に、「いまの情報を投稿しますか？」といった音声メッセージを通知部１４０を介して通知して、ユーザに情報の投稿を促すまたは確認を求めるというプロセスを実行してもよい。

また、共有情報の投稿タイミングに関し、支援情報の通知の受信の有無および通知を受けた位置やタイミングとは関係なく、ユーザが共有すべき情報と考える情報については、任意のタイミングや場所にて受付けてもよい。この場合、共有情報に対応付けるべき位置情報についてもユーザが入力する。ここで、現在の視覚支援装置１００の位置とは異なる位置に関する共有情報を入力したい場合は、ユーザは、例えば視覚支援装置１００において地図情報の表示や検索するアプリを実行し、地図上の位置を指定することで、該指定された位置に対応する座標を当該アプリから取得する。
生成された共有情報は、位置特定部１９０にて特定されたそのときの位置とともに、通信部２１１の機能を用いて、サーバ３００へ送信される。

図９は、各視覚支援装置１００によって登録され、記憶部３１０に記憶された共有情報テーブルＴ４の例である。共有情報テーブルＴ４は、位置情報に対応付けて共有情報が記憶される。位置情報は、緯度経度等の座標形式、行政によって定められる住所の形式、建物のランドマーク情報を用いて記述されてもよい。要するに、位置情報は、視覚支援装置１００において、自端末の位置が、位置情報に記憶された位置に相当する位置であるか否かが決定できる形式であればよい。

共有情報は、障害物の存在や、その障害物の危険性の程度（登録ユーザの主観的情報でも構わない）その他の詳細な情報、障害物に対する対処行動について記述される。条件テーブルＴ１などを用いて視覚支援装置１００が検知できる情報よりも詳細な情報であることが好ましい。例えば、撮像部１１０による画像解析によって段差が存在することは検知できても、その段差がどの程度危険なものなのか、あるいはどのように行動すればよいのか（迂回すればいいのか、注意して乗り越えるべきなのかなど）についてまでは判定することは困難なことも多いが、他人の実体験に基づく情報を通知することで、よりきめ細か
な支援が可能となる。

視覚支援装置１００は、定期的にまたは視覚支援装置１００の位置の変化が所定の基準を満たすと、視覚支援装置１００の現在位置をキーとしてサーバ３００に照会し、現在位置に対応する共有情報が格納されていないかを確認し、そのような共有情報が格納されている場合はサーバ３００から取得する。視覚支援装置１００は、取得した共有情報に基づく情報を、音声、文字、および画像の少なくともいずれかの方法でユーザに通知する。ここで、支援情報に危険性の程度に関する情報が含まれている場合は、危険性の程度に応じて表示態様を異ならせてもよい。
なお、共有情報のユーザへの通知のタイミングは、上述した支援情報と別途独立に行ってもよいし、常に支援情報とあわせて通知してもよい。共有情報の通知は支援情報の通知を前提とする場合、支援情報および共有情報に応じて、通知の内容、タイミング、態様を決定してもよい。例えば、その位置においてその支援情報に関連する共有情報が存在した場合に当該支援情報の優先度を上げて通知してもよいし、他の通知すべき支援情報よりも目立つ態様で、通知してもよい。

ここで、共有すべき情報は、実行された全ての通知であってもよいし、そのうちの一部であってもよい。共有すべきか否かの判定は、各視覚支援装置１００にて行われてもよいし、サーバ３００にて行われてもよい。視覚支援装置１００にて共有すべきか否かの判定を行う場合、例えば、その通知の優先度が所定値以上である情報のみを共有対象とする。あるいは、情報が通知されたユーザに対し、その情報を共有するかどうかを決定させてもよい。
サーバ３００にて共有すべきか否かの判定を行う場合、信頼性担保の観点から、例えば同一ないし関連する情報については所定数以上の視覚支援装置１００からの登録があった場合に、共有情報テーブルＴ４に登録する。また、同一または実質的同一の位置に関連付けれた複数の共有情報を取得した場合、サーバ３００は取得した共有情報を編集するあるいは取得したタイミングを用いて、情報の上書きその他の加工編集処理を行ってもよい。また、加工編集の内容、ある位置に対応して受信した共有情報の数、タイミング、頻度等に基づいて、ユーザに通知する内容を変化させてもよい。このように、投稿された情報や投稿者の属性に基づいて、ユーザへ通知される共有情報の内容は動的に変化し得る。
また、共有すべき情報は、ユーザが移動する際における安全性ないし危険性に関係するものである必要は必ずしもなく、場景に対するユーザの感想や印象などの主観的情報を含んでいてもよい。要するに、ある位置における場景に関する場景情報であればよい。換言すると、共有情報は他のユーザによって投稿されたアクティブ・フットプリント（足跡）情報である。

要するに、各視覚支援装置１００は、視覚支援装置のユーザがある位置において遭遇し、当該位置において他のユーザの視認を支援するための情報をサーバ３００へ送信する送信部と、サーバ３００から、視覚支援装置の位置に対応する前記情報を受信する受信部を備え、サーバ３００は、第１の視覚支援装置から、当該第１の視覚支援装置のユーザがある位置において遭遇し、当該位置において他のユーザの視認を支援するための情報を収集する受信部と、第２の視覚支援装置の位置に対応する前記情報を、当該第２の視覚支援装置へ送信する送信部とを有していればよい。

図１０は、本実施例に係る動作例を示す。この例では、視覚支援装置１００−１において、支援情報の通知を受けたことを契機として共有情報の登録を実行し、視覚支援装置１００−２において、支援情報の通知とは別途独立に、よる共有情報の通知を実行する。

通知部１４０にて通知が実行された場合（Ｓ５３０）、生成部１２０は、当該通知された情報に関連した情報を共有情報として登録すべきかを判定する（Ｓ６０１）。登録すべ
きでないと判定した場合、特段処理は行わない。登録すべきと判定した場合、通知した内容と位置情報とをセットにして、登録要求をサーバ３００へ送信する（Ｓ６０２）。
サーバ３００は、登録要求を受信すると（Ｓ６０３）、共有情報テーブルＴ４にレコードを追加する。なお、登録要求に係る共有情報と同等の情報が既に登録されていると判断した場合は、その情報が新たに投稿されたという情報のみを記憶してもよい。

視覚支援装置１００−２は、定期的に自端末の位置情報をサーバ３００へ通知し、現在位置に対応する共有情報がないかを照会する（Ｓ６０４）。現在位置に対応するとは、例えば、共有情報に紐付けられている位置情報が視覚支援装置１００−２の現在位置から所定の距離内にある場所を示している場合である。照会を受けた共有情報が存在する場合、サーバ３００はその共有情報を視覚支援装置１００−２へ送信する（Ｓ６０５）。共有情報を受信した視覚支援装置１００−２は、その共有情報を位置に視覚支援装置１００−２が位置しているかを判定し、位置していた場合は、該受信した共有情報に基づく情報を生成して、視覚支援装置１００−２のユーザへ通知する（Ｓ６０６）。

共有情報に基づく情報とは、共有情報そのものであってもよいし、支援情報を通知している（またはこれから通知しようとしている）場合は、その支援情報と共有情報とに基づいて生成される新たな情報である。あるいは、記憶部１３０に記憶されているユーザ属性と共有情報とに基づいて情報が生成されてもよい。例えば、共有情報には、段差が存在し、足の不自由なユーザにとっての危険度は「大」という情報が含まれていた場合において、視覚支援装置１００−２のユーザの属性に、足が不自由であるという情報が含まれていた場合は、危険な障害物であることが伝わるように、通知の優先度や警告の程度等を決定する。

上述したナビゲーションモードにおいて、共有情報が存在する場合、案内情報に共有情報を含ませてもよい。例えば、ナビゲーションモードに設定して、出発する前に目的地をユーザが音声入力すると、視覚支援装置１００は、当該目的地までの経路を全体の経路についての情報であって、当該経路上にあるもしくは当該経路に近接する位置に関連付けられた共有情報をサーバ３００から取得し、音声によってユーザに提示する。例えば、「家を出て左方向に約１００メートル直進した所で信号を左折し、５００メートル行った所で駅の階段を上ります。この階段にはフットプリント（共有情報）が有ります。その内容は、縁が滑りやすいから注意」というものです。このように、共有情報を用いて、目的地までの経路や場景についてのイメージを膨らませてもらうことで、視覚が不自由なユーザに対して安心感を与えることができる。

要するに、本発明に係る情報処理装置において、ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件を記憶しておき、前記ユーザが視認している場景を表す画像データを取得するステップと、該取得された画像データと前記条件とに基づいて支援情報を生成するステップと、該生成された支援情報を通知するステップが実行されればよい。上記各ステップを実行するプログラムは情報処理装置に予め記憶されていてもよいし、ネットワークを介してダウンロードされてもよい。

１００、１００−１、１００−２、１００−３・・・視覚支援装置、２０・・・フレーム、２１・・・投影装置、２２・・・カメラ、２３・・・投影面、２４・・・マイク、２５・・・スピーカ、２６・・・スイッチ、１４０・・・通知部、１５０・・・反応取得部、１６０・・・音声入力部、１２０・・・生成部、１７０・・・モード切替部、１３０・・・記憶部、１１０・・・撮像部、１８０・・・計時部、１９０・・・位置特定部、２０１・・・プロセッサ、２０２・・・メモリ、２０４・・・マイク、２０５・・・操作スイッチ、２０６・・・センサ、２０７・・・計時装置、２０８・・・投影装置、２１０・・・
振動モータ、２１１・・・通信部、２１２・・・位置取得部、１４１・・・音声出力部、１４２・・・表示部、１４３・・・振動発生部、３００・・・サーバ、３１０・・・記憶部、３２０・・・通信部、３３０・・・制御部、Ｔ１・・・条件テーブル、Ｔ２・・・補正テーブル、Ｔ３・・・ユーザ固有情報、ＯＢ・・・対象物、Ｔ４・・・共有情報テーブル

本発明は、一の態様において、ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶される記憶部と、前記ユーザが視認している場景を表す画像データを取得する撮像部と、前記撮像部にて取得された画像データと前記条件とに基づいて、支援情報を生成する生成部と、該生成された支援情報を前記ユーザに通知する通知部とを有する視覚支援装置を提供する。

本発明は、一の態様において、ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶される記憶部と、前記ユーザが視認している場景を表す画像データを取得する撮像部と、前記撮像部にて取得された画像データと前記条件とに基づいて、支援情報を生成する生成部と、該生成された支援情報を前記ユーザに通知する通知部と、前記支援情報の通知に対してなされた前記ユーザの反応を表すリアクション情報を取得する手段とを備え、前記生成部は、前記取得したリアクション情報にさらに基づいて、前記支援情報を生成する視覚支援装置を提供する。

Claims (14)

1. ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶される記憶部と、
   前記ユーザが視認している場景を表す画像データを取得する撮像部と、
   前記撮像部にて取得された画像データと前記条件とに基づいて、支援情報を生成する生成部と、
   該生成された支援情報を通知する通知部と
   を有する視覚支援装置。
2. 前記生成部は、前記画像データから検出された複数の対象物のなかから、前記条件に基づいて１以上の対象物を選択し、該選択された１以上の対象物に関する情報を生成する、
   請求項１に記載の視覚支援装置。
3. 前記支援情報の通知に対してなされた前記ユーザの反応を表すリアクション情報を取得する手段を更に備え、
   前記生成部は、さらに前記リアクション情報に基づいて、前記支援情報を生成する、
   請求項１または２に記載の視覚支援装置。
4. 前記記憶部には複数の障害物について危険度が登録され、
   所定値以上の危険度の障害物が前記画像データから抽出された場合に、前記支援情報を生成する
   請求項１ないし３のいずれか一項に記載の視覚支援装置。
5. 前記記憶部には人物に関する人物情報が登録され、
   前記通知部は、前記画像データにおいて人物が検出された場合に、当該人物情報に基づいて前記支援情報を決定する、
   請求項１ないし４のいずれか一項に記載の視覚支援装置。
6. 現在時刻を取得する手段を更に備え、
   前記条件は通知のタイミングに関する情報を用いて規定される、
   請求項１〜５のいずれか一項に記載の視覚支援装置。
7. 前記視覚支援装置の位置を取得する手段を更に備え、
   前記条件は、前記ユーザの位置に関する情報を用いて規定される、
   請求項１〜６のいずれか一項に記載の視覚支援装置。
8. 前記ユーザの滞在時間を取得する手段を更に備え、
   前記条件は、滞在時間に関する情報を用いて規定される、
   請求項１〜６のいずれか一項に記載の視覚支援装置。
9. 前記ユーザの行動を特定する手段を更に備え、
   前記条件は、前記ユーザの行動に関する情報を用いて規定され、
   請求項１〜８のいずれか一項に記載の視覚支援装置。
10. 前記条件は、前記ユーザの身体能力に関する情報を用いて規定される、
    請求項１〜９のいずれか一項に記載の視覚支援装置。
11. 前記条件の切替えを受付ける切替部を更に備える、
    請求項１〜１０のいずれか一項に記載の視覚支援装置。
12. 位置および当該位置の場景に関する場景情報をサーバへ送信する送信部と、
    前記サーバから、前記視覚支援装置の位置に応じた場景情報を受信する受信部と、
    を更に備え、
    前記通知部は、該受信した場景情報に基づいてユーザに通知を行う
    請求項１〜１１のいずれか一項に記載の視覚支援装置。
13. ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶されたコンピュータに、
    前記ユーザが視認している場景を表す画像データを取得するステップと、
    該取得された画像データと前記条件とに基づいて、支援情報を生成するステップと
    該生成された支援情報を通知する通知部と
    を実行させるためのプログラム。
14. 第１の視覚支援装置から、当該第１の視覚支援装置のユーザがある位置において遭遇し、当該位置において他のユーザの視認を支援するための情報を収集する受信部と、
    第２の視覚支援装置の位置に対応する前記情報を、当該第２の視覚支援装置へ送信する送信部と
    を有するサーバ。

Images