JP2015138017A - 電子機器 - Google Patents
電子機器 Download PDFInfo
- Publication number
- JP2015138017A JP2015138017A JP2014011810A JP2014011810A JP2015138017A JP 2015138017 A JP2015138017 A JP 2015138017A JP 2014011810 A JP2014011810 A JP 2014011810A JP 2014011810 A JP2014011810 A JP 2014011810A JP 2015138017 A JP2015138017 A JP 2015138017A
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- unit
- control unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 48
- 238000001514 detection method Methods 0.000 abstract description 14
- 238000000034 method Methods 0.000 description 72
- 230000008569 process Effects 0.000 description 64
- 238000012545 processing Methods 0.000 description 31
- 238000004891 communication Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 21
- 230000009471 action Effects 0.000 description 17
- 230000006399 behavior Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000012015 optical character recognition Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013480 data collection Methods 0.000 description 4
- 230000005684 electric field Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000269400 Sirenidae Species 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 206010037844 rash Diseases 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Alarm Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】ユーザの状況に応じた必要な情報が十分に得られる使い勝手のよい電子機器を提供する。【解決手段】ユーザが装着装置10を装着した状態で、視野内に登録したい標識等が入っている場合に、登録の指示をすると、位置検出部19からユーザの位置を取得し、ユーザが登録したい標識(撮像部11が撮像している画像)や警報音の登録を行い、記憶部16に記憶する。その後、ユーザの位置を取得して、国や地域の情報を取得し、必要により情報の変換を行い、ユーザの位置に応じて、前記登録情報に対応する第2の情報を取得するか判断し、ユーザへの報知が必要である場合に、報知する。【選択図】図1
Description
本発明は、電子機器に関する。
従来より、各種の携帯端末が提案されており、最近では顔の近傍に装着するグラス型の携帯端末も提案されている(例えば、特許文献1参照)。また、歩行中若しくは自動車などの運転中に緊急車輌などが発する特定音を検知し、警報する技術も提案されている(例えば、特許文献2参照)。
しかしながら、従来においては、ユーザが保持する端末において、ユーザの状況に応じた必要な情報が十分に得られているとは言えなかった。
本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい電子機器を提供することを目的とする。
本発明の電子機器は、第1の情報を記憶する記憶部(16)と、ユーザの位置を取得する位置取得部(17)と、前記位置取得部が取得した前記ユーザの位置に応じて、前記第1の情報に対応する第2の情報を取得するか判断する判断部(17)と、を備えている。
この場合において、本発明の電子機器は、前記判断部が前記第2の情報を取得すると判断した場合、前記第2の情報、または前記第2の情報と前記第2の情報に付帯する付帯情報とを取得する第1取得部(17)を備えることとしてもよい。また、前記記憶部は、前記第1の情報として画像および音声の少なくとも一方を記憶することとしてもよい。また、撮像を行う撮像部(11)を備え、前記記憶部は前記撮像部の撮像した画像を前記第1の情報として記憶することとしてもよい。また、音声収集を行う音声収集部(14)を備え、前記記憶部は前記音声収集部の収集した音声を前記第1の情報として記憶することとしてもよい。
また、本発明の電子機器は、前記第1の情報と前記第2の情報とに関する情報を入力した際に、前記ユーザに報知する報知部(17)を備えることとしてもよい。また、前記第1の情報と前記第2の情報とに関する情報を入力した際に、前記ユーザに前記付帯情報を報知する報知部(17)を備えることとしてもよい。また、前記報知部は、前記ユーザの行動に関する報知を行うこととしてもよい。
また、本発明の電子機器は、表示を行う表示部(12)と、前記表示部の表示に基づき、前記第1の情報を前記記憶部に記憶させる制御部と、を備えることとしてもよい。また、前記ユーザに装着するための装着部(110)を備えることとしてもよい。
なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
本発明は、使い勝手のよい電子機器を提供することができるという効果を奏する。
《第1の実施形態》
以下、第1の実施形態に係る装着装置について、図1〜図5に基づいて、詳細に説明する。装着装置10は、ユーザが身体(顔)に装着する眼鏡型の端末である。
以下、第1の実施形態に係る装着装置について、図1〜図5に基づいて、詳細に説明する。装着装置10は、ユーザが身体(顔)に装着する眼鏡型の端末である。
図1には、装着装置10の構成がブロック図にて示されている。装着装置10は、図1に示すように、撮像部11と、表示部12と、操作部13と、マイク14と、スピーカ15と、記憶部16と、制御部17と、通信部18と、位置検出部19と、方位センサ20と、画像認識部21と、音声認識部22と、を備える。なお、図2には、装着装置10が斜視図にて示されている。図2に示すように、装着装置10は、眼鏡型のフレーム110を備えている。なお、図1において図示され、図2において図示されていない装着装置10の構成は、フレーム110の内部や、フレーム110の一部に設けられているものとする。
撮像部11は、レンズ、撮像素子、画像処理部などを備え、静止画や動画を撮像するものである。撮像部11は、図2に示すようにフレーム110の端部近傍(ユーザの右目近傍)に設けられている。このため、ユーザが装着装置10を装着した状態では、ユーザが向いている(見ている)方向の画像を撮像することができる。
表示部12は、フレーム110内部又はフレーム110近傍に設けられたプロジェクタと、プロジェクタからの投影像をユーザの目に導くためのプリズムとを有している。表示部12は、制御部17の指示の下、各種情報を表示する。
操作部13は、フレーム110に設けられたタッチパッドであり、ユーザの指の動きを検知して、ユーザからの操作を受け付け、受け付けた操作情報を制御部17に送信する。なお、撮像部11、表示部12、及び操作部13などについては、例えば米国特許出願公開第2013/0044042号明細書にもその詳細が開示されている。
マイク14は、フレーム110に設けられ、ユーザ周囲の音声及びユーザが発した音声を収集する音声収集装置である。
スピーカ15は、例えば、フレーム110に設けられ、制御部17の制御の下、音声を出力する音声出力装置である。なお、スピーカ15としては、イヤホンやヘッドホンのほか、指向性があり、主に装着装置10を装着するユーザの耳に向けて音声情報を提供することが可能なスピーカなどを採用することができる。
記憶部16は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、撮像部11が撮像した画像や、表示部12に表示する表示データ、スピーカ15から出力する音声などを記憶する。また、記憶部16は、後述する画像データテーブル及び音声データテーブル(図4(a)及び図4(b)参照)を記憶する。
制御部17は、装着装置10全体を統括的に制御する。制御部17は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備える。制御部17が実行する処理の詳細については後述する。
通信部18は、他の機器と無線通信(携帯電話回線や無線LAN(Local Area Network)等を用いた通信)を行う。また、通信部18は、無線通信を介して、インターネット等に接続する。
位置検出部19は、例えば、GPS(Global Positioning System)モジュールを含み、装着装置10の位置(例えば緯度及び経度)を検出し、制御部17に出力する。位置検出部19は、装着装置10の位置(緯度及び経度)に基づいて、装着装置10を装着したユーザのいる国や地域を検出し、制御部17に出力してもよい。
方位センサ20は、例えば、互いに直交する方向の地磁気成分を検出する2軸の磁気センサを有し、当該2軸の地磁気センサによる磁界検出値から方位を検出する。本実施形態では、方位センサ20は、ユーザの顔(目)が向いている方向(方位)や撮像部11の撮像方向(方位)を検出する。
画像認識部21は、装着装置10の撮像部11が撮像した画像の特徴点を、例えばSURF(Speeded Up Robust Features)やSIFT(Scale Invariant Feature Transform)といった特徴量検出アルゴリズムにより抽出し、インターネット上のデータベースなどから取得可能な複数の標準パターンと比較することにより画像認識を行うものである。本実施形態では、画像認識部21は、例えば、撮像部11により撮像された道路標識の画像が、どのような意味(種類)であるかを認識する。
音声認識部22は、マイク14が収集した音声を音声認識し、該音声認識結果を制御部17に送信する。本第1の実施形態では、音声認識部22は、ユーザの発した音声がコマンドの実行指示であるか否かを認識する。また、音声認識部22は、マイク14が収集した音声から人の声や雑音などを消去することで、サイレンなどの警報音を抽出する。また、音声認識部22は、インターネット上のデータベースなどから取得可能な複数の標準音声パターンと比較することにより、警報音が、どのような意味(種類)であるかを認識する。制御部17は、音声認識結果に基づく処理(例えば、コマンドの実行処理など)を実行する。なお、音声認識部22を設けずに、制御部17が音声認識を実行するようにしてもよい。
次に、図3(a)及び図3(b)のフローチャートに沿って、装着装置10が実行する処理の一例について詳細に説明する。図3(a)は、装着装置10が実行する情報登録処理の一例を示すフローチャートであり、図3(b)は、装着装置10が実行する報知処理の一例を示すフローチャートである。
(情報登録処理)
以下、情報登録処理について、説明する。なお、本第1の実施形態では、図3(a)の情報登録処理は、装着装置10を装着するユーザが日本人であり、該ユーザが日本にいる間に行われる処理であるものとする。また、情報登録処理では、ユーザは、例えば、日本国内で使用されている道路標識や注意を促す看板などの画像や、サイレンなどの警報音の音声を登録することができる。なお、ユーザは、登録する道路標識や看板、警報音の意味を理解しているものとする。
以下、情報登録処理について、説明する。なお、本第1の実施形態では、図3(a)の情報登録処理は、装着装置10を装着するユーザが日本人であり、該ユーザが日本にいる間に行われる処理であるものとする。また、情報登録処理では、ユーザは、例えば、日本国内で使用されている道路標識や注意を促す看板などの画像や、サイレンなどの警報音の音声を登録することができる。なお、ユーザは、登録する道路標識や看板、警報音の意味を理解しているものとする。
図3(a)の処理は、ユーザが装着装置10を装着した状態で、装着装置10の電源を入力すると開始する。
図3(a)の処理では、まず、ステップS1において、制御部17は、情報登録指示が入力されるまで待機する。この場合、例えば、ユーザが装着装置10の操作部13を用いて画像登録の指示を入力した場合、又は、ユーザが操作部13を用いて音声登録の指示を入力した場合に、制御部17は、ステップS2に移行する。なお、ユーザは、視野内に登録したい標識等が入っている場合に、画像登録の指示を入力する。また、ユーザは、登録したい警報音等が聞こえている場合に、音声登録の指示を入力する。なお、画像登録の指示及び音声登録の指示は、操作部13のタッチパッドに対する所定の操作により入力することができる。
ステップS2に移行すると、制御部17は、位置検出部19からユーザの位置を取得する。例えば、ユーザが日本にいる場合には、“日本”を取得する。
次いで、ステップS3では、制御部17は、ユーザが登録したい標識や警報音の登録を行う。例えば、ユーザから画像登録の指示が出されたとする。この場合、制御部17は、画像登録の指示を受け付けたタイミングで撮像部11が撮像している画像を取得し、該画像からユーザが登録したい画像部分を抽出する。ここで、ユーザが登録したい画像部分を抽出する方法としては、例えば、画像のほぼ中央の所定範囲を抽出する方法を採用することができる。ユーザが標識等を登録する場合、視野の中心で標識等を凝視する可能性が高いからである。この場合、撮像部11の取り付け位置と、画像や焦点距離とに基づき、ユーザの目(右目)の位置との関係をキャリブレーションしておき機械定数として記憶部16に記憶させておけばよい。ただし、これに限らず、ユーザが登録したい画像部分を抽出する方法としては、例えば、ユーザに登録したい標識等を指差しさせ、そのときの画像から、指の先に位置する所定範囲を抽出する方法を採用することとしてもよい。
制御部17は、抽出した範囲の画像を、図4(a)に示す画像データテーブルに登録する。この場合、制御部17は、画像認識部21に指示を出し、インターネット上のデータベースなどを用いて、標識等の画像が、どのような意味(種類)であるかを認識する。そして、制御部17は、該画像を、意味(種類)及び位置の情報とともに、画像データテーブルに登録する。例えば、抽出された標識の画像が駐車禁止の標識の画像であった場合、種類“駐車禁止”、位置“日本”の情報とともに、抽出された画像が画像データテーブルに登録される。
一方、ユーザから音声登録の指示が出された場合には、制御部17は、音声登録の指示を受け付けたタイミングでマイク14に入力されている音声を取得する。この場合、制御部17は、音声認識部22を利用して、マイク14が収集した音声から人の声や雑音などを消去することで、サイレンなどの警報音を抽出する。そして、制御部17は、抽出した警報音の音声データ(例えば、mp3形式のデータ)を、図4(b)に示す音声データテーブルに登録する。この場合、制御部17は、音声認識部22に指示を出し、インターネット上のデータベースなどを用いて、警報音が、どのような意味(種類)であるかを認識する。そして、制御部17は、該警報音の音声データを、意味(種類)及び位置の情報とともに、音声データテーブルに登録する。例えば、抽出された警報音が救急車のサイレンの音声であった場合、種類“救急車のサイレン”、位置“日本”の情報とともに、抽出された画像が音声データテーブルに登録される。
なお、画像や音声の意味(種類)については、ユーザが音声等を用いて入力することとしてもよい。
以上により、図3(a)の処理は終了するが、図3(a)の処理は、装着装置10の電源がオフされるまで繰り返し実行される。
以上のようにして、ユーザは、予め登録しておきたい情報(画像や音声)を、画像データテーブルや音声データテーブルに登録しておくことができる。
なお、上記登録処理は、装着装置10のほか、多機能型携帯電話(スマートフォン)又はタブレット型端末が実行することとしてもよい。例えば、スマートフォンを用いる場合には、スマートフォンの撮像部で撮像された画像や、装着装置10の撮像部11で撮像された画像を、スマートフォンの表示部に表示させ、該画像のうち、ユーザによって選択された部分(標識等を含む部分)を画像データテーブルに登録するようにすればよい。この場合、多機能型携帯電話やタブレット型端末と装着装置10とでBluetooth(登録商標)、RFID(Radio Frequency Identification)、TransferJet(登録商標)などの近接通信や、人体を介した人体通信などを用いるようにして、装着装置10の記憶部16にデータを登録するようにすればいい。なお、人体通信には、人体に微弱な電流を流して、その電流を変調して情報を伝達する電流方式や、人体の表面に誘起する電界を変調して情報を伝達する電界方式などがある。本実施形態では、電流方式及び電界方式のいずれのタイプを用いることも可能である。
なお、図4(a)においては、画像データテーブルに登録される画像の例として、駐車禁止、注意、及び火気厳禁の例を示したが、これに限られるものではない。例えば、その他の道路標識(速度制限など)や、禁止事項を示す標識(立ち入り禁止、禁煙及びペット禁止など)の画像データが画像データテーブルに登録されてもよい。また、図4(b)においては、音声データテーブルに登録される音声の例として、救急車のサイレン、パトカーのサイレン、及び国民保護サイレンを示したが、これに限られるものではない。たとえば、その他の音声(時報、災害を通知する警報など)のデータが音声データテーブルに登録されてもよい。なお、図4(b)では、音声データとして、mp3形式のデータを音声データテーブルに登録する場合について説明したが、これに限らず、その他のファイル形式を採用してもよい。
(報知処理)
次に、図3(b)に基づき、装着装置10が実行する報知処理の一例について説明する。なお、本第1の実施形態では、図4(a)の画像データテーブル及び図4(b)の音声データテーブルが格納された装着装置10を装着するユーザが、日本からアメリカに渡航したものとして、説明する。なお、図3(b)の処理の間、撮像部11は静止画を所定間隔で撮像しているか、動画を所定フレームレートで撮像しているものとする。また、マイク14は、周辺の音声を常時収集しているものとする。
次に、図3(b)に基づき、装着装置10が実行する報知処理の一例について説明する。なお、本第1の実施形態では、図4(a)の画像データテーブル及び図4(b)の音声データテーブルが格納された装着装置10を装着するユーザが、日本からアメリカに渡航したものとして、説明する。なお、図3(b)の処理の間、撮像部11は静止画を所定間隔で撮像しているか、動画を所定フレームレートで撮像しているものとする。また、マイク14は、周辺の音声を常時収集しているものとする。
図3(b)の処理では、ステップS10において、制御部17は、位置検出部19からユーザの位置を取得する。この場合、制御部17は、位置として、“日本”や“アメリカ”などの国や地域の情報を取得する。
次いで、ステップS11では、制御部17は、記憶部16に記憶された情報の変換が必要であるか否かを判断する。この場合、制御部17は、画像データテーブル及び音声データテーブルにおいて、ステップS10で検出したユーザの位置が地域の欄に存在していない場合に、情報の変換が必要であると判断する。例えば、装着装置10に図4(a)の画像データテーブル及び図4(b)の音声データテーブルが格納されており、ステップS10で検出された位置が“アメリカ”であった場合、図4(a)、図4(b)の地域の欄には“アメリカ”が存在していないので、制御部17は、記憶部16に記憶された情報の変換が必要であると判断し、ステップS12に移行する。
ステップS12に移行すると、制御部17は、情報の変換を行う。例えば、制御部17は、通信部18を介してインターネットに接続する等して、図4(a)、図4(b)に登録されている日本で登録された情報(画像や音声データ)と対応する、アメリカの情報を取得する。この場合、制御部17は、図4(a)の画像を用いた画像検索や図4(b)の音声を用いた音声検索を行ってもよく、図4(a)の画像や図4(b)の音声からテキストデータを作成し、テキスト検索を行ってもよい。そして、制御部17は、図5(a)の画像データテーブルの2行目のレコードの情報、及び図5(b)の音声データテーブルの2行目のレコードの情報を取得する。そして、取得した情報を各テーブルに登録する。ステップS12の後は、ステップS13に移行する。
なお、制御部17は、ステップS12において、インターネットなどを通じて、アメリカの標識や警報音に付帯する情報(付帯情報)を取得してもよい。ここで、付帯情報とは、例えば標識の意味や標識に違反した場合の罰則、警報音に関する対応方法の情報などである。また、アメリカでは連邦法と州法とがあるため、制御部17は、ユーザがいる州の州法の付帯情報を取得するようにしてもよい。
ところで、情報の変換が不要であった場合、すなわち、画像データテーブル及び音声データテーブルに、ユーザの位置に対応する情報が既に登録されていた場合には、ステップS11の判断が否定される。ステップS11の判断が否定された場合、制御部17は、ステップS12を経ずに、ステップS13に移行する。
ステップS11が否定された後、又はステップS11が肯定されステップS12の処理が行われた後、ステップS13に移行すると、制御部17は、画像データテーブル又は音声データテーブルに登録されている情報(地域“アメリカ”の情報)と合致する情報が、撮像部11又はマイク14から入力されるまで待機する。例えば、制御部17は、画像認識部21に対して、撮像部11が撮像した画像と図5(a)の画像データテーブルの地域“アメリカ”の画像とを比較させる。そして、一致又は近似する画像があった場合に、制御部17は、図5(a)の画像データテーブルに登録されている情報が入力されたと判断し、ステップS14へ移行する。同様に、制御部17は、音声認識部22に対して、マイク14が収集した音声から人の声や雑音が削除された音声データと、図5(b)の音声データテーブルの地域“アメリカ”の音声データとを比較させる。そして、一致又は近似する音声データがあった場合に、制御部17は、図5(b)の画像データテーブルに登録されている情報が入力されたと判断し、ステップS14へ移行する。
ステップS14に移行すると、制御部17はユーザへの報知が必要であるか否かを判断する。例えば、制御部17は、ユーザが標識や警報音に気付いていないと判断できる場合に、ユーザへの報知が必要であると判断する。ユーザが標識に気づいていないと判断できる場合とは、例えば、ユーザが標識を注視していない場合であり、撮像部11によって標識が撮像されたものの、標識が画像の中心部分に所定時間(数秒程度)以上位置しない場合であるものとする。また、ユーザが警報音に気づいていないと判断できる場合とは、警報音がマイク14から入力されたときに、ユーザが装着装置10で音楽等を再生している場合であるものとする。制御部17は、ユーザが標識や警報音に気づいておらず、ユーザへの報知が必要であると判断すると、ステップS14の判断が肯定され、ステップS15に移行する。なお、ユーザが標識を注視している場合であっても、例えば、ユーザの“どういう意味だっけ?”や“意味が分からない”などの音声がマイク14に入力された場合に、ユーザへの報知が必要であると判断することとしてもよい。
ステップS15に移行すると、制御部17はユーザへの報知を行う。例えば、制御部17は、表示部12にメッセージを表示したり、スピーカ15から音声を出力するなどして、ユーザに標識や警報音の存在を報知する。例えば、ユーザが駐車禁止の標識に気づかない場合には、制御部17は、画像データテーブルに基づいて、“駐車禁止の標識があります”などのメッセージを表示部12やスピーカ15から出力したり、駐車禁止の標識に目線を誘導するような表示を表示部12に表示するなどすることができる。また、ユーザが駐車禁止の標識を注視しているものの意味が分からないような場合には、制御部17は、画像データテーブルに基づいて“駐車禁止の標識です”などのメッセージを表示部12やスピーカ15から出力したり、日本の駐車禁止の標識の画像を表示部12に表示するなどすることができる。また、ステップS12において、標識の付帯情報(標識の意味や標識に違反した場合の罰則など)を取得している場合には、制御部17は、付帯情報を表示部12やスピーカ15から出力するようにしてもよい。警報音の存在を報知する場合も同様である。警報音の存在を報知する場合において、ユーザが装着装置10を用いて音楽等を聞いている場合には、該音楽の音量を下げた状態で、警報音の存在や警報音に関する対応方法の情報などをスピーカ15から出力するようにしてもよい。
上記のようにしてステップS15が行われた後は、制御部17は、ステップS16に移行する。また、ステップS14の判断が否定された場合、すなわち報知が不要と判断された場合、制御部17は、ステップS15を経ずに、ステップS16に移行する。
ステップS16に移行した場合、制御部17は、ユーザの行動を検出し、その行動が適切であるか否かを判断する。この場合、制御部17は、撮像部11が撮像した標識又はマイク14が収集した警報音に従った適切な行動をユーザが行っているか否かを判断する。例えば、駐車禁止の標識の画像が撮像部11によって撮像されてから所定時間(数秒〜数分程度)内に、ユーザが車に鍵をかけて車から離れる画像を撮像部11が撮像した場合、制御部17は、ユーザが駐車禁止区域において駐車したため、ユーザが適切な行動をとっていないと判断する。また、例えば、マイク14が収集した音声から、救急車のサイレンが近づいてきていることを検出したにもかかわらず、車を運転するユーザが路肩に寄らないことが撮像部11の撮像した画像から判定できる場合には、制御部17は、ユーザが適切な行動をとっていないと判断する。なお、ユーザが路肩に寄ったか寄らないかは、撮像された画像における道路やセンターラインの位置等に基づいて判断することができる。ステップS16の判断が否定された場合、制御部17は、ステップS17に移行する。
ステップS17に移行すると、制御部17はユーザに適切な行動を取るように報知を行う。例えば、制御部17は、表示部12やスピーカ15から、“駐車禁止区域の可能性が高いので、確認してください”や、“救急車が後から近づいてきている場合には、右側に寄ってください”などのメッセージを出力する。このような報知により、ユーザは自身の行動が適切か否かを知ることができる。
ステップS17の後、制御部17は、図3(b)の全処理を終了する。また、ユーザが適切な行動をとっていた場合(ステップS16/肯定)には、制御部17は、ステップS17を経ずに、図3(b)の全処理を終了する。なお、図3(b)の処理は、装着装置10の電源がオフされるまで繰り返し実行される。ただし、ユーザの位置(地域)は頻繁には変化しないため、ステップS10〜S12の処理・判断は、例えば、1日に1回程度行うようにしてもよい。
以上、詳細に説明したように、本第1の実施形態によると、装着装置10では、記憶部16が、ある地域(例えば日本)における標識等の画像や警報音の音声データを記憶しており、制御部17は、位置検出部19が検出したユーザの位置に応じて、記憶部16に記憶されている情報(画像や音声データ)に対応する、ユーザの現在位置(例えばアメリカ)の情報(画像や音声データ)を取得するか否かを判断する。これにより、本実施形態では、ユーザの現在位置に対応する情報(画像や音声データ)の取得要否を適切なタイミングで判断することができるので、装着装置10の使い勝手を向上することができる。また、制御部17は、記憶部16を参照して、ユーザの現在位置に対応する情報(画像や音声データ)が未だ取得されていない場合に、ユーザの現在位置に対応する情報を取得するので、必要な情報を適切なタイミングで取得することができる。
また、本第1の実施形態では、制御部17は、記憶部16に記憶された情報(標識の画像や警報音の音声データ)が装着装置10に入力された場合、表示部12やスピーカ15を用いて、ユーザに標識や警報音の存在を報知するので、ユーザは、不慣れな場所にいても、標識や警報音の存在を認識することが可能である。これにより、ユーザは、標識や警報音に従った適切な行動をとることができる。
また、本実施形態では、制御部17は、ユーザの現在位置に対応する情報に付帯する付帯情報も取得し、報知するので、ユーザの現在位置に対応する情報とともに、付帯情報についてもユーザに提供することができる。例えば、付帯情報が罰則情報であれば、標識や警報音に従わないユーザの不適切な行動を効果的に抑制することができる。
また、本第1の実施形態では、制御部17は、ユーザの行動が標識や警報音に従わない不適切なものであった場合(S16:否定の場合)に、ユーザの行動に関する報知を行う。これにより、適切なタイミングで、ユーザの行動に関する報知を行うことができる。
また、本第1の実施形態では、撮像部11により撮像された画像やマイク14により収集された音声データが、記憶部16の画像データテーブルや音声データテーブルに登録される。これにより、ユーザは、実際に見た画像又は聞いた音声を画像データテーブルや音声データテーブルに登録することができる。
また、本第1の実施形態では、装着装置10はフレーム110を備え、ユーザによって装着されるようになっている。このため、装着装置10はユーザが実際に見ている風景を撮像したり、実際に聞いている音声を収集することができる。また、制御部17による報知をユーザが見落としたり聞き漏らしたりするのを抑制することができる。
なお、上記第1の実施形態では、情報登録処理において、撮像部11が撮像した画像を記憶部16(画像データテーブル)に記憶する場合について説明したが、これに限られるものではない。例えば、撮像部11が撮像した画像から標識の意味(種類)を特定できた場合には、その意味(種類)の標識の画像をインターネット等から取得し、画像データテーブルに登録するようにしてもよい。音声データについても同様である。
なお、上記第1の実施形態では、情報登録処理において記憶部16に記憶された情報は、他の装着装置(例えば、家族や友人などが利用する装着装置)と共有してもよい。例えば、親の装着装置10の画像データテーブルや子の装着装置10の画像データテーブルをサーバ上で管理し、報知処理を行う装着装置10においては、各画像データテーブルをマージした画像データテーブルをダウンロードして用いるようにしてもよい。このようにすることで、画像データテーブルの情報を共有することができるため、各ユーザ、各装着装置における情報登録処理の負担を軽減することができる。なお、他の装着装置10との共有は、家族や友人といったプライベートに限定されるものではなく、ビジネスへの展開も可能である。具体的には、ベテラン社員が登録した工場内で注意すべき画像や音声を新人社員と共有するようにしてもよい。また、業種間や会社間でマーク(画像)や音声が異なる場合に上述したような変換処理を施すようにしてもよい。
なお、上記第1の実施形態においては、画像データテーブルや音声データテーブルに種類の項目を設ける場合について説明したが、これに限られるものではない。各テーブルにおいては、日本における情報と、アメリカにおける情報とが対応づけられていればよい。この場合、図3(b)のステップS12では、画像や音声データを用いてインターネット上のデータベースを検索し、情報の変換を行うようにすればよい。
なお、上記第1の実施形態においては、画像データテーブルや音声データテーブルにおいて、ユーザがアメリカに渡航した場合でも日本の情報を保持し続ける場合について説明したが、これに限られるものではない。すなわち、ユーザがアメリカに渡航した場合に、日本の情報をアメリカの情報で書き換えることとしてもよい。
なお、上記第1の実施形態では、装着装置10が図3(a)、図3(b)の全ての処理を行う場合について説明したが、これに限られるものではない。例えば、装着装置10の処理の一部をその他の装置(サーバやスマートフォン、腕時計型端末などの他の端末)が実行することとしてもよい。例えば、画像の撮像、音声の収集、位置情報の取得などは、装着装置10が行い、装着装置10が取得した情報に基づいて、他の装置が音声認識、画像認識などの各種処理を行って、装着装置10に報知を行わせるようにしてもよい。この場合、ユーザがスマートフォンや腕時計型端末などを身に着けている場合には、事前にペアリングを行って前述した近接通信や人体通信を用いて各種データの送受信を行うことにより、ユーザが特段の操作を行う手間を省くことができる。
《第2の実施形態》
次に、第2の実施形態に係る情報処理システムについて、図6〜図11に基づいて詳細に説明する。図6には、第2の実施形態に係る情報処理システム100の構成がブロック図にて示されている。情報処理システム100は、ユーザの避難誘導に利用されるシステムである。
次に、第2の実施形態に係る情報処理システムについて、図6〜図11に基づいて詳細に説明する。図6には、第2の実施形態に係る情報処理システム100の構成がブロック図にて示されている。情報処理システム100は、ユーザの避難誘導に利用されるシステムである。
図6に示すように、情報処理システム100は、装着装置10と、サーバ30と、を備える。装着装置10は、制御部17が実行する処理、及び通信部18がネットワーク等を介してサーバ30との間で通信を行う点を除き、第1の実施形態に係る装着装置10と同様の構成を備えるため、詳細な説明を省略する。なお、サーバ30は、複数の装着装置10と通信する。
サーバ30は、記憶部31と、通信部32と、OCR(Optical Character Recognition)部33と、画像認識部34と、制御部35と、を備える。
記憶部31は、例えば、フラッシュメモリ等の不揮発性の半導体メモリやハードディスクドライブであり、装着装置10から送信されてきたデータ等を記憶する。また、記憶部31はユーザの所属するグループのメンバーの顔の画像(顔辞書)や各ユーザ(メンバー)の位置の履歴、メンバーが装着する装着装置10の情報などを記憶する。
通信部32は、他の装置と無線通信(携帯電話回線や無線LAN等を用いた通信)や有線通信を行う。本第2の実施形態では、通信部32は、装着装置10との間で通信を行い、装着装置10の撮像部11が撮像した画像や、スピーカ15が収集した音声、位置検出部19が取得した位置情報、方位センサ20が取得した方位の情報等を受信する。なお、通信部32は、記憶部31に記憶されている装着装置10の情報に基づいて、グループのメンバーが使用する装着装置10それぞれと通信を行う。
OCR部33は、装着装置10の撮像部11が撮像した画像から文字を認識してテキストデータに変換し、制御部35に出力する。
画像認識部34は、装着装置10の撮像部11が撮像した画像の特徴点を特徴量検出アルゴリズムにより抽出し、記憶部31に記憶されている複数の認識対象の標準パターン(顔辞書に含まれるメンバーの顔の画像)と比較することにより画像認識を行うものである。本第2の実施形態において画像認識部34は、撮像部11が撮像した画像に、グループのメンバーが含まれているか否かを検出する。
制御部35は、サーバ30全体を統括的に制御する。制御部35は、CPU、RAM、ROM等を備える。
次に、図7、図9のフローチャートに沿って、サーバ30の制御部35が実行する処理について詳細に説明する。
(避難経路データ収集処理)
まず、サーバ30の制御部35が実行する避難経路データ収集処理について、図7のフローチャートに沿って説明する。なお、本実施形態では、あるグループ(友人等のグループ)に所属するメンバーの全員又は一部が旅行をし、あるホテルに宿泊する場合を例にとり説明する。
まず、サーバ30の制御部35が実行する避難経路データ収集処理について、図7のフローチャートに沿って説明する。なお、本実施形態では、あるグループ(友人等のグループ)に所属するメンバーの全員又は一部が旅行をし、あるホテルに宿泊する場合を例にとり説明する。
図7の処理では、ステップS20において、制御部35は、記憶部31に記憶されているグループに属するユーザの1人を特定し、特定したユーザがグループ内のどのメンバーと一緒にいるのかを確認する。例えば、制御部35は、特定したユーザが装着する装着装置10の撮像部11で撮像された画像(特定したユーザ周辺の画像)を所定枚数取得し、画像認識部34による顔認識を行い、画像内に存在する特定したユーザが所属するグループのメンバーを確認する。なお、制御部35は、ステップS20の処理を、例えば、特定したユーザが会話を始めたことをトリガとして開始してもよいし、特定したユーザからの入力をトリガとして開始してもよい。ユーザが会話を始めたか否かは、マイク14が収集した音声に、特定したユーザとその他のユーザの会話が含まれているか否かにより判断することができる。なお、特定したユーザと、確認されたメンバーとを、以下においては、共通行動メンバーと呼ぶものとする。
次いで、ステップS21では、制御部35は、特定したユーザが装着する装着装置10の位置検出部19により検出される位置情報と、記憶部31に格納されている共通行動メンバーそれぞれの位置の履歴を参照して、共通行動メンバーの位置が、共通行動メンバー全員が初めて訪れる場所であるか否かを判断する。このステップS21の判断が否定された場合、すなわち、共通行動メンバーのいずれかが訪れたことがある場所である場合には、ステップS22に移行するが、ステップS21の判断が肯定された場合、すなわち、共通行動メンバーのいずれも訪れたことがない場所である場合には、ステップS23に移行する。
共通行動メンバーのいずれも訪れたことがない場所であり、ステップS23に移行した場合には、制御部35は、撮像部11が避難経路に関する情報(例えば、ホテルの避難経路図)を撮像済みであるか否かを判断する。ここで、制御部35は、共通行動メンバーそれぞれが装着する装着装置10の記憶部16に格納されている画像のうち、ステップS21で検出された位置情報と近似する位置情報がExif(Exchangeable image file format)情報として対応付けられた画像を確認し、避難経路に関する情報(例えば、避難経路図)を撮像済みであるか否かを判断する。
この場合、制御部35は、ステップS21で検出された位置情報と近似する位置情報がExif情報として対応付けられた画像を取得し、OCR部33を用いて、取得した画像中の文字をテキストデータに変換する。そして、制御部35は、変換後のテキストデータの中に“避難経路”や“非常口”、“Ex”といった避難に関連するテキストデータが存在する場合に、該画像を避難経路図を撮像した画像として特定する。なお、制御部35は、画像認識部34を用いて、標識(非常口の標識、及び避難経路を表す矢印など)が存在する画像を抽出し、避難経路図が撮像された画像として特定してもよい。
図8には、避難経路に関する情報の一例としての避難経路図が示されている。避難経路図は、建物の廊下及び部屋などに設置されている。図8の避難経路図において“EV”はエレベータを表し、“Ex”は非常口を表し、各数字は部屋番号を表し、“Staff Room”は建物のスタッフが使用する部屋を表す。方位を表すマークMは便宜上表示したものであり、実際の避難経路図に含まれてもよいし、含まれていなくてもよい。図8においては、上方向が北(N)、下方向が南(S)、右方向が東(E)、及び左方向が西(W)を表す。
なお、上述したステップS23の判断が肯定された場合、すなわち、避難経路図が撮像済みであった場合には、ステップS26に移行するが、否定された場合、すなわち、避難経路図が撮像済みでない場合には、ステップS24に移行する。
ステップS24に移行すると、制御部35は、避難経路に関する情報(避難経路図)が撮像されていないことがユーザに報知されているか否かを判断する。このステップS24の判断が肯定された場合には、ステップS23に戻るが、ステップS24の判断が否定された場合には、ステップS25に移行する。
ステップS25に移行すると、制御部35は、共通行動メンバーが装着する装着装置10に対して報知を行う。例えば、制御部35は、“現在滞在している場所の避難経路図を取得してください”等のメッセージを各装着装置10の制御部17に対して送信する。この場合、制御部17は、受信したメッセージを表示部12やスピーカ15から出力するなどして、ユーザに対する報知を実行する。その後は、制御部35は、ステップS23に戻る。
その後、ステップS23(否定)、S24(肯定)を繰り返し、共通行動メンバーの1人が装着する装着装置10の撮像部11により避難経路図が撮像されると、ステップS23の判断が肯定され、ステップS26に移行する。
ステップS26に移行すると、制御部35は、避難経路図の画像と方位の対応付け処理を実行する。具体的には、制御部35は、避難経路図と、該避難経路図を撮像したときの方位センサ20が検出した方位(共通行動メンバーが向いていた方向)とを対応付ける。例えば、図8の避難経路図を撮像したときの共通行動メンバーの向いていた方向(方位)が北(N)であった場合には、制御部35は方位が北向きの場合の避難経路図として、図8の避難経路図を記憶部31に記憶する。
ステップS26の処理が終了すると、図7の全処理を終了する。
ところで、共通行動メンバーのいずれかが訪れたことがある場所であったため、ステップS21の判断が否定された場合には、ステップS22において、避難経路の情報(避難経路図の画像)が過去に取得され、記憶部31に記憶されているか否かを判断する。すなわち、過去において、同じ場所の避難経路の図が撮像され、画像と方位の対応付け処理(S26)が行われたことがあるか否かを判断する。このステップS22の判断が否定された場合には、ステップS23に移行し、上述したのと同様の処理を行うが、ステップS22の判断が肯定された場合には、図7の全処理を終了する。
(避難誘導処理)
次に、災害が発生した際に、情報処理システム100が行う避難誘導について図9のフローチャートに沿って説明する。なお、図9の処理は、図7の処理により避難経路図の画像が取得された後に行われる処理である。
次に、災害が発生した際に、情報処理システム100が行う避難誘導について図9のフローチャートに沿って説明する。なお、図9の処理は、図7の処理により避難経路図の画像が取得された後に行われる処理である。
図9の処理では、ステップS27において、制御部35は、緊急事態を検出するまで待機する。例えば、装着装置10の制御部17は、マイク14が入力した音声データにサイレン音や警報音が含まれる場合や、撮像部11が撮像した画像に炎や煙が含まれる場合に、緊急事態である旨の情報をサーバ30の制御部35に対して送信する。したがって、制御部35は、装着装置10から緊急事態である旨の情報を受信するまで待機し、受信した段階で、ステップS28に移行する。なお、制御部35は、装着装置10に対してユーザが入力する避難誘導の開始要求に応じて、避難誘導を開始してもよい。
ステップS28に移行すると、制御部35は、装着装置10と協働して避難誘導処理を実行する。
以下、図10(a)〜図11(b)を参照し、避難誘導処理について説明する。一例として、図10(a)の位置P1にいるユーザを非常口Exまで誘導する場合について説明する。
まず、制御部35は、装着装置10の制御部17に対して、方位情報の送信を要求する。この場合、制御部17は、方位センサ20により検出されるユーザの方位情報を制御部35に対して送信する。なお、図10(a)において、位置P1にいるユーザは北(N)方向を向いていたものとする。この場合、制御部35は、ユーザの方位情報として“北”を受信する。
次いで、制御部35は、ユーザの方位情報に基づいて、図8の避難経路図の画像を回転させ、装着装置10の制御部17に対して送信する。なお、図8の避難経路図は、方位が北向きの場合の避難経路図であるため、受信したユーザの方位情報が“北”である場合には、図10(b)に示すように回転させずに、避難経路図を制御部17に対して送信する。制御部17は、受信した避難経路図を表示部12上に表示する。
その後、ユーザは、避難経路図を参照して、位置P2(廊下40)まで移動したとする。この場合、ユーザは、避難経路図を参照して、西(W)方向を向くこととなる。制御部17では、ユーザの向き(方位)が所定以上(例えば、45°以上)変更された場合に、該ユーザの方位情報をサーバ30の制御部35に送信する。そして、制御部35では、ユーザの方位情報に基づいて、図8の避難経路図の画像を回転させ、装着装置10の制御部17に対して送信する。ここで、ユーザの方位情報が“西”である場合には、図11(a)に示すように図8の避難経路図を90°右回転させ、制御部17に対して送信する。制御部17は、受信した避難経路図を表示部12上に表示する。
その後、ユーザは、避難経路図を参照して、図10(a)の位置P3(壁41付近)まで移動したとする。この場合、ユーザは、避難経路図を参照して、南(S)方向を向くこととなる。制御部17がユーザの方位情報“南”をサーバ30の制御部35に送信すると、制御部35は、ユーザの方位情報“南”に基づいて、図8の避難経路図の画像を180°回転させ、装着装置10の制御部17に送信する。制御部17は、受信した避難経路図を表示部12上に表示する。
上記のように避難誘導処理においては、ユーザの向いている方向(方位)に応じて、避難経路図を回転させて表示部12に表示することができるため、ユーザは、迷わずに非常口(Ex)まで到達することが可能となっている。
なお、避難誘導処理は、装着装置10に対するユーザからの入力(終了指示)に応じて、終了する。
以上、詳細に説明したように、本第2の実施形態によれば、サーバ30の制御部35は、装着装置10の位置検出部19が検出したユーザの位置情報を取得し、ユーザの位置に応じてユーザが必要な情報(例えば、ユーザの位置に対応する避難経路図の画像)が取得済みであるか否かを判断する(S21)。これにより、本実施形態では、ユーザの位置に応じた必要な情報(ユーザの位置に対応する避難経路図の画像)の取得要否を適切なタイミングで判断することができる。また、本実施形態では、制御部35は、ユーザが向いている方向を装着装置10から取得し、取得した避難経路図の画像をユーザが向いている方向(方位)に応じて回転させて、装着装置10に表示させるので、ユーザは、移動方向を誤ることなく、避難することができる。
また、本第2の実施形態では、制御部35は、避難に関する情報(避難経路図の画像)が取得されていないと判断した場合(S23:否定)に、ユーザに対する報知を実行する(S25)。これにより、ユーザは避難に関する情報が取得されていないことを知ることができる。
また、本第2の実施形態では、制御部35は、ステップS23において、装着装置10の撮像部11が避難経路図の画像を撮像済みか否かを判断する。この場合、ユーザが無意識のうちに撮像部11によって避難経路図の画像が撮像されていれば、本実施形態では、その画像を用いた避難誘導処理が可能であることから、ユーザは改めて撮像部11による避難経路図の撮像を行う必要がないという利点がある。
また、本第2の実施形態では、制御部35が、装着装置10から緊急事態が発生した旨の情報を取得した場合(S27:肯定)に、避難誘導処理を開始する(S28)。これにより、避難誘導処理を適切なタイミングで開始することができる。
なお、上記第2の実施形態では、避難誘導処理が、サーバ30と装着装置10との協働により実行される場合について説明したが、これに限られるものではない。例えば、避難誘導処理(S28)が実行される直前に、サーバ30の制御部35が、装着装置10の制御部17に対して図8の避難経路図の画像(方位と対応付けられた避難経路図の画像)を送信することとしてもよい。この場合、制御部17は、ユーザの方位情報に基づいて、避難経路図の画像を回転させて表示部12上に表示するようにすればよい。また、グループのうちの一人のユーザが装着する装着装置10が、図7及び図9の処理を行って、他のユーザの装着装置に避難経路図を表示させるようにしてもよい。
なお、上記第2の実施形態では、グループ毎に図7の避難経路データ収集処理を行う場合について説明したが、これに限らず、個人毎に避難経路データ収集処理を行うこととしてもよい。
なお、上記第2の実施形態において、建物の階ごとに避難経路図が異なる場合もある。この場合、制御部35は、装着装置10において検出される各種情報から、ユーザが何階に存在しているのかを把握し、存在する階の避難経路図の画像が撮像されているかを逐一判断することとしてもよい。なお、制御部35は、例えば、各階に設置された無線LAN基地局と通信部18との通信状態に基づいて、ユーザが何階に存在しているのかを把握してもよい。また、制御部35は、例えば、撮像部11が撮像した部屋番号やエレベータや案内看板の階数表示などに基づいて、ユーザが何階に存在しているのかを把握してもよい。
なお、上記第2の実施形態では、ユーザがホテルを訪れた場合を例にとり説明したが、これに限らず、レストラン、娯楽施設、学校、病院、駅及びオフィスビルなどを訪れた場合にも、同様の処理を行うことができる。
なお、上記第2の実施形態において、例えば、1人のメンバーが装着する装着装置10の撮像部11が避難経路図の一部を撮像し、別のメンバーが装着する装着装置10の撮像部11が別の一部を撮像したとする。この場合、制御部35は、各撮像部が撮像した画像を組み合わせて1つの避難経路図を作成してもよい。
なお、上記第2の実施形態では、制御部35は、画像認識部34を用いた顔認識によりメンバーの存在を確認する場合について説明したが、これに限られるものではない。例えば、制御部35は、マイク14が収集する音声の声紋を分析してメンバーの存在を確認することとしてもよい。
なお、上記第2の実施形態では、ホテルのWebサイト等に避難経路図を掲載しているような場合やホテルのサーバにおいて避難経路図のデータを保持している場合に、ホテル内のユーザが装着する装着装置10に対して避難経路図のデータを提供するようにしてもよい。これにより、ユーザは避難経路図を撮像する等の動作を行う必要がないため、ユーザの利便性を向上することができる。
(変形例1)
なお、上記第2の実施形態では、避難誘導処理において、図10(b)〜図11(b)のような避難経路図の画像を表示する場合について説明したが、これに限られるものではない。例えば、図12(b),図12(c)に示すように、ユーザの視界に重畳するようにして、表示部12に避難方向を示す矢印を表示させてもよい。
なお、上記第2の実施形態では、避難誘導処理において、図10(b)〜図11(b)のような避難経路図の画像を表示する場合について説明したが、これに限られるものではない。例えば、図12(b),図12(c)に示すように、ユーザの視界に重畳するようにして、表示部12に避難方向を示す矢印を表示させてもよい。
例えば、ユーザが図12(a)に示す位置P4に存在し、西側を向いていたとする。この場合、制御部35は、装着装置10の撮像部11が撮像した画像をOCR部33を用いて解析することで、ユーザが部屋番号202や208の近傍に位置していることを検出することができる。また、制御部35は、避難経路図(図12(a))を参照することで、部屋番号202、208の近傍で西側を向いているユーザは、西の方向(前方)に移動すべきことを判断できるので、その旨を装着装置10の制御部17に送信する。この場合、制御部17では、制御部35から受信した情報に基づいて、表示部12に図12(b)に示すような矢印A1を表示させることができる。これにより、ユーザは、避難経路図を参照しなくても、直感的に移動すべき方向を認識することができる。
同様に、ユーザが位置P3に存在し、西側を向いていたとする。この場合、制御部35は、撮像部11が撮像した画像を解析することで、部屋番号205近傍に位置していることを検出することができる。また、制御部35は、避難経路図(図12(a))を参照することで、部屋番号205の近傍で西側を向いているユーザは、南の方向(左の方向)に移動すべきことを判断できるので、その旨を装着装置10の制御部17に送信する。この場合、制御部17では、制御部35から受信した情報に基づいて、表示部12に図12(c)に示すような矢印A2を表示させることができる。
(変形例2)
なお、避難に関する情報をインターネット等から取得できる場合もある。例えば、ゴルフ場などにおいて、雷などが発生した場合に避難するための避難小屋の位置を示す情報(緯度、経度)がインターネット等から取得できた場合には、該情報を用いて、避難誘導をすることができる。
なお、避難に関する情報をインターネット等から取得できる場合もある。例えば、ゴルフ場などにおいて、雷などが発生した場合に避難するための避難小屋の位置を示す情報(緯度、経度)がインターネット等から取得できた場合には、該情報を用いて、避難誘導をすることができる。
例えば、図13(a)に示すように、装着装置10を装着したユーザが位置P5に存在しており、避難小屋が符号「42」の位置に存在していたとする。この場合において、装着装置10のマイク14が収集した音声に雷鳴が含まれており、その情報がサーバ30の制御部35に入力された場合には、制御部35は、装着装置10との協働により避難誘導処理を実行する。
避難誘導処理においては、制御部35は、装着装置10の位置検出部19により検出されるユーザの位置情報(緯度、経度)を取得し、当該ユーザの位置情報と避難小屋の位置情報(緯度、経度)とから、ユーザが移動すべき方向を特定する。そして、制御部35は、特定したユーザが移動すべき方向を、装着装置10の制御部17に対して送信する。
制御部17では、受信した移動すべき方向と、方位センサ20により検出されるユーザが向いている方向(方位)と、に基づいて、図13(b)に示すように、表示部12に矢印A3を表示する。なお、制御部17は、方位センサ20により検出されるユーザが向いている方向(方位)の変化に応じて、矢印A3の向きを変更させる。
これにより、ユーザは、矢印A3の向きに基づいて、避難する方向を把握することが可能であるので、適切な避難誘導を実現することができる。なお、避難小屋の情報が入手できない場合には、制御部17は、高い木に近づかない、うつぶせになるなどして姿勢を低く保つと言った注意事項を表示部12に表示させるようにすればいい。このような注意事項は、インターネット等から取得してもよく、記憶部16に記憶させるようにしてもよい。
なお、上記変形例2においては、ゴルフ場を例にとり説明したが、これに限らず、例えば山、海水浴場、ハイキングコース、キャンプ場などにおいても、上記避難誘導処理を行うことが可能である。
なお、上記第2の実施形態及びその変形例では、避難経路に関する情報は、避難経路図や矢印などのような視覚的な情報以外に、避難を指示する音声であってもよい。例えば、ユーザが海岸を訪れている場合に、制御部17や制御部35が、地震発生の情報をインターネット等を介して取得した場合には、津波の恐れがあるため高台への避難を指示する音声などをスピーカ15から出力してもよい。また、制御部17や制御部35が火山噴火の情報を取得した場合には、屋内に居ることや、窓やドアを閉めたり、ハンカチなどで鼻と口とを覆う、コンタクトレンズを外すといった情報を表示部12に表示させるようにすればよい。
また、上記第2の実施形態及びその変形例では、避難経路に関する情報を例にして説明を行ったが、ユーザに必要な情報はこれに限られるものではない。避難経路に関する情報以外にユーザに必要な情報として、例えばホテルなどにおける自室、フロント、エレベータ、及びゴルフ場の駐車場などへの経路に関する情報がある。
なお、上記各実施形態では、装着装置10の一例として眼鏡型電子機器について説明したが、これに限定されない。装着装置10は、例えば、体の任意の位置に装着可能な装着型端末であってもよく、その機能の一部が分離していてもよい。一例を挙げると、表示部を備えたコンタクトレンズ型の端末として、他の機能を腕時計型の端末に持たせるようにしてもよい。また電子機器は、例えばスマートフォン、携帯電話、及び携帯型ゲーム機器など、装着装置10以外の電子機器でもよい。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体(ただし、搬送波は除く)に記録しておくことができる。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
上述した各実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
11 撮像部
14 マイク
16 記憶部
17 制御部
19 位置検出部
110 フレーム
14 マイク
16 記憶部
17 制御部
19 位置検出部
110 フレーム
Claims (10)
- 第1の情報を記憶する記憶部と、
ユーザの位置を取得する位置取得部と、
前記位置取得部が取得した前記ユーザの位置に応じて、前記第1の情報に対応する第2の情報を取得するか判断する判断部と、を備える電子機器。 - 前記判断部が前記第2の情報を取得すると判断した場合、前記第2の情報、または前記第2の情報と前記第2の情報に付帯する付帯情報とを取得する第1取得部を備える請求項1に記載の電子機器。
- 前記記憶部は、前記第1の情報として画像および音声の少なくとも一方を記憶する請求項1または2に記載の電子機器。
- 撮像を行う撮像部を備え、
前記記憶部は前記撮像部の撮像した画像を前記第1の情報として記憶する請求項1から3のいずれか一項に記載の電子機器。 - 音声収集を行う音声収集部を備え、
前記記憶部は前記音声収集部の収集した音声を前記第1の情報として記憶する請求項1から4のいずれか一項に記載の電子機器。 - 前記第1の情報と前記第2の情報とに関する情報を入力した際に、前記ユーザに報知する報知部を備える請求項1から5のいずれか一項に記載の電子機器。
- 前記第1の情報と前記第2の情報とに関する情報を入力した際に、前記ユーザに前記付帯情報を報知する報知部を備える請求項2に記載の電子機器。
- 前記報知部は、前記ユーザの行動に関する報知を行う請求項6または7に記載の電子機器。
- 表示を行う表示部と、
前記表示部の表示に基づき、前記第1の情報を前記記憶部に記憶させる制御部と、を備える請求項1から8のいずれか一項に記載の電子機器。 - 前記ユーザに装着するための装着部を備える請求項1から9のいずれか一項に記載の電子機器。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014011810A JP2015138017A (ja) | 2014-01-24 | 2014-01-24 | 電子機器 |
PCT/JP2014/078081 WO2015111264A1 (ja) | 2014-01-24 | 2014-10-22 | 電子機器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014011810A JP2015138017A (ja) | 2014-01-24 | 2014-01-24 | 電子機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015138017A true JP2015138017A (ja) | 2015-07-30 |
Family
ID=53769093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014011810A Pending JP2015138017A (ja) | 2014-01-24 | 2014-01-24 | 電子機器 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015138017A (ja) |
-
2014
- 2014-01-24 JP JP2014011810A patent/JP2015138017A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8606316B2 (en) | Portable blind aid device | |
US10909759B2 (en) | Information processing to notify potential source of interest to user | |
US10408629B2 (en) | Navigation system, client terminal device, control method, and storage medium | |
US20080030580A1 (en) | Command system, imaging device, command device, imaging method, command processing method, and program | |
US20070228159A1 (en) | Inquiry system, imaging device, inquiry device, information processing method, and program thereof | |
JP2005037181A (ja) | ナビゲーション装置、サーバ装置、ナビゲーションシステム、及びナビゲーション方法 | |
WO2018146938A1 (ja) | 人物検出システム | |
US10430572B2 (en) | Information processing system that recognizes a user, storage medium, and information processing method | |
WO2018154902A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2015138534A (ja) | 電子機器 | |
KR101634972B1 (ko) | 위급 상황 알림 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
WO2016088611A1 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
JP2015158866A (ja) | 混雑状況把握装置、混雑状況把握システム及び混雑状況把握方法 | |
US8558893B1 (en) | Head-up security display | |
JP2016048301A (ja) | 電子機器 | |
KR101853324B1 (ko) | 안전 지역 정보 제공 방법 및 그를 위한 장치 및 시스템 | |
WO2015111264A1 (ja) | 電子機器 | |
KR101832327B1 (ko) | 안전 지역 정보 제공 방법 및 그를 위한 장치 및 시스템 | |
KR20150066714A (ko) | 일과 관리 방법 및 장치 | |
JP2015138017A (ja) | 電子機器 | |
JPWO2017179182A1 (ja) | ドライブレコーダ撮像画像送信システム、ドライブレコーダ撮像画像送信方法及びプログラム | |
JP6810252B2 (ja) | 情報処理端末および自動応答方法 | |
WO2015105075A1 (ja) | 情報処理装置及び電子機器 | |
KR101572807B1 (ko) | 웨어러블 디바이스를 이용하여 영상 신호를 전송하는 방법, 이를 위한 장치 및 그 시스템 | |
KR20160053472A (ko) | 글라스형 웨어러블 디바이스를 이용한 이벤트정보 제공서비스 시스템, 방법 및 글라스형 웨어러블 디바이스용 어플리케이션 |