JP2015191554A - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
JP2015191554A
JP2015191554A JP2014069786A JP2014069786A JP2015191554A JP 2015191554 A JP2015191554 A JP 2015191554A JP 2014069786 A JP2014069786 A JP 2014069786A JP 2014069786 A JP2014069786 A JP 2014069786A JP 2015191554 A JP2015191554 A JP 2015191554A
Authority
JP
Japan
Prior art keywords
user
information
unit
control unit
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014069786A
Other languages
English (en)
Inventor
雄飛 降矢
Taketo Furuya
雄飛 降矢
啓 志賀
Hiromu Shiga
啓 志賀
洋治 内山
Yoji Uchiyama
洋治 内山
一皇 伊三木
Kazukimi Imiki
一皇 伊三木
由桂 有馬
Yuka Arima
由桂 有馬
政一 関口
Masaichi Sekiguchi
政一 関口
直樹 關口
Naoki Sekiguchi
直樹 關口
雄 村越
Yu MURAKOSHI
雄 村越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2014069786A priority Critical patent/JP2015191554A/ja
Publication of JP2015191554A publication Critical patent/JP2015191554A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの利便性を向上する。【解決手段】本発明の電子機器は、撮影部(101)と、ユーザに関する情報に基づいて、前記撮影部により撮影された画像からユーザが注目する対象を決定する決定部(123)と、前記決定部が決定した前記対象にユーザの視線を誘導する視線誘導部(123、103)と、を備える。【選択図】図1

Description

本発明は、電子機器に関する。
従来より、自動車のドライバの視線を障害物の方向に誘導し、障害物の存在をドライバに知らせることで、安全性を向上させるシステムが提案されている(例えば、特許文献1)。
特開2002−19491号公報
しかしながら、上記特許文献1では、システムを適用できる場面が自動車の運転に限られており、ユーザに十分な利便性を提供しているとはいえなかった。
本発明は上記の課題に鑑みてなされたものであり、ユーザの利便性を向上する電子機器を提供することを目的とする。
本発明の電子機器は、撮影部と、ユーザに関する情報に基づいて、前記撮影部により撮影された画像からユーザが注目する対象を決定する決定部と、前記決定部が決定した前記対象にユーザの視線を誘導する視線誘導部と、を備える。
この場合において、前記撮影部は、前記ユーザに装着されることとしてもよい。また、前記ユーザに関する情報は、ユーザの行動履歴情報、前記撮影部が撮影した画像から取得されるユーザが注目した情報、ユーザが入力した情報、ユーザが外部機器に入力した情報のうち少なくとも1つであることとしてもよい。
また、本発明において、電子機器は、前記ユーザが保持している物品を検出する物品検出部を備え、前記決定部は、前記物品検出部が検出した物品に基づいて、前記ユーザが注目する対象を決定することとしてもよい。この場合において、前記物品検出部は、前記ユーザが保持している物品と近接通信又は人体通信を行うことにより、前記物品を検出することとしてもよい。
また、本発明において、電子機器は、前記ユーザの視線の方向を検出する視線検出部、又は、前記視線検出部及び前記ユーザの身体の変化を検出する検出部を有し、前記撮影部が撮影した画像においてユーザが注目した情報を取得する取得部を備えていてもよい。また、前記ユーザが注目する対象に関する情報を報知する報知部を備えていてもよい。
なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
本発明の電子機器は、ユーザの利便性を向上することができるという効果を奏する。
第1の実施形態に係る装着装置の構成を示すブロック図である。 図2(A)は、装着装置の斜視図であり、図2(B)は、ユーザの視界と、表示部の表示可能範囲とを示す図である。 装着装置が実行する処理の一例を示すフローチャートである。 装着装置が実行する注目情報取得処理の一例を示すフローチャートである。 視線画像データの一例を示す図である。 注目対象テーブルの一例を示す図である。 装着装置が実行する視線誘導処理の一例を示すフローチャートである。 図8(A)〜図8(D)は、視線誘導について説明するための図である。 第2の実施形態に係る電子機器システムの構成を示すブロック図である。 携帯機器が実行する処理の一例を示すフローチャートである。 図11(A)及び図11(B)は、携帯機器による注目情報の取得について説明するための図である。 装着装置が実行する処理の一例を示すフローチャートである。 図13(A)及び図13(B)は、注目対象テーブルの一例を示す図である。 第3の実施形態に係る電子機器システムの構成を示すブロック図である。 図15(A)は、撮像装置の正面図であり、図15(B)は、撮像装置の背面図である。 ページ/操作部材対応テーブルの一例を示す図である。 第3の実施形態に係る装着装置が実行する視線誘導処理の一例を示すフローチャートである。 図18(A)は、マニュアルを複数の領域に分割した状態を示す図であり、図18(B)は、ページ/操作部材対応テーブルの別例を示す図である。
《第1の実施形態》
以下、第1の実施形態に係る装着装置10について、図1〜図8に基づいて、詳細に説明する。図1には、装着装置10の構成がブロック図にて示されている。
装着装置10は、ユーザが身体(顔)に装着する眼鏡型の端末である。装着装置10は、図1に示すように、撮像部101と、表示部103と、操作部105と、マイク107と、スピーカ109と、位置検出部111と、視線検出部113と、瞳検出部115と、生体センサ117と、記憶部119と、通信部121と、制御部123と、を備える。なお、図2(A)には、装着装置10が斜視図にて示されている。図2(A)に示すように、装着装置10は、眼鏡型のフレーム130を備えている。なお、図1において図示され、図2(A)において図示されていない装着装置10の構成は、フレーム130の内部や、フレーム130の一部に設けられているものとする。
撮像部101は、レンズ、撮像素子、画像処理部などを備え、静止画や動画を撮像するものである。撮像部101は、図2(A)に示すようにフレーム130の端部近傍(ユーザの右目近傍)に設けられている。このため、ユーザが装着装置10を装着した状態では、ユーザが向いている(見ている)方向の画像を撮像することができる。
表示部103は、フレーム130内部又はフレーム130近傍に設けられたプロジェクタと、プロジェクタからの投影像をユーザの目に導くためのプリズムとを有している。表示部103は、制御部123の指示の下、各種情報を表示する。装着装置10を装着したユーザは、図2(B)に示す表示可能範囲(図2(B)の矩形範囲)において、表示部103が投影した情報を視認できるとともに、外界像をシースルーで視認することができるようになっている。
操作部105は、フレーム130に設けられたタッチパッドであり、ユーザの指の動きを検知して、ユーザからの操作を受け付け、受け付けた操作情報を制御部123に送信する。
マイク107は、フレーム130に設けられ、ユーザが発した音声を収集する。マイク107が収集した音声は、不図示の音声認識部により音声認識され、音声認識結果は、制御部123に送信される。制御部123は、音声認識結果に基づく処理(例えば、コマンドの実行処理など)を実行する。なお、制御部123が音声認識を実行してもよい。
スピーカ109は、例えば、フレーム130に設けられ、制御部123の制御の下、音声を出力する音声出力装置である。なお、スピーカ109としては、イヤホンやヘッドホンのほか、指向性があり、主に装着装置10を装着するユーザの耳に向けて音声情報を提供することが可能なスピーカなどを採用することができる。
位置検出部111は、例えば、GPS(Global Positioning System)センサを有しており、装着装置10の位置を検出し、装着装置10の位置情報(緯度、経度)を制御部123に出力する。これに代えて、位置情報(緯度、経度)を地図情報や場所情報に紐付けて記憶部119に記憶させて、制御部123が位置情報(緯度、経度)に基づき、例えば会社、自宅(リビング、寝室)というような場所情報を提供するようにしてもよい。
視線検出部113は、赤外線照射部と、赤外線受光部と、を有する。視線検出部113は、赤外線照射部から眼球に対して赤外線を照射し、眼球にて反射した赤外線を赤外線受光部において受光する。そして、赤外線受光部における受光結果に基づいて、視線方向を検出する。なお、視線検出部113は、一例として図2における撮像部101の裏側(顔側)に設けられているものとする。また、視線検出は上記の方法に限定されない。
瞳検出部115は、赤外線照射部と、撮像部と、を有する。瞳検出部115は、赤外線照射部から眼球に対して赤外線を照射し、撮像部によりユーザの眼球画像を撮像する。瞳検出部115は、撮像された眼球画像を所定の輝度値で二値化して、画像内に映り込んだ瞳孔領域を抽出し、ユーザの瞳孔の大きさを検出する。なお、瞳検出部115と視線検出部113とが、赤外線照射部を共有してもよい。なお、瞳検出部115は、一例として図2における撮像部101の裏側(顔側)に設けられているものとする。なお、瞳検出は上記の方法に限定されない。
生体センサ117は、装着装置10を身につけているユーザの生体情報を取得するセンサである。生体センサ117は、例えば、脈拍センサと、発汗センサとを備える。生体センサ117は、例えば、フレーム130のユーザと接触する面に設けられる。脈拍センサは、一例として、特開2001−276012号公報(米国特許第6,526,315号)に開示されているように、発光ダイオードによりユーザに向けて光を照射し、この光に応じてユーザから反射した光を受光することにより、脈拍を検出する。また、発汗センサは、ユーザの皮膚電気抵抗値を測定し、ユーザの発汗状態を検出する。生体センサ117の検出結果は、制御部123に入力される。制御部123は、生体センサ117の検出結果に基づいて、ユーザが注目した情報を特定する。
記憶部119は、例えば、フラッシュメモリ等の不揮発性の半導体メモリである。記憶部119は、撮像部101が撮像した画像データや、表示部103に表示する表示データなどを記憶する。また、記憶部119は、後述する注目対象テーブル(図6)を記憶する。
通信部121は、他の機器と無線通信(携帯電話回線や無線LAN(Local Area Network)等を用いた通信)を行う。通信部121が行う通信は、例えばBluetooth(登録商標)、RFID(Radio Frequency Identification)、TransferJet(登録商標)、Wi−Fi(登録商標)などであってもよい。本第1の実施形態では、通信部121は、インターネット等のネットワークに接続し、当該ネットワークに接続された他の機器との間で通信を行うものとする。
制御部123は、装着装置10全体を統括的に制御する。制御部123は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備える。制御部123は、撮像部101が所定時間毎(例えば、0.5秒毎)に撮像した画像データを取得する。また、制御部123は、視線検出部113から所定時間毎(例えば、0.5秒毎)にユーザの視線方向の情報(視線データ)を取得する。そして、制御部123は、画像データに、同一のタイミングで取得された視線データを付加することで、ユーザが注目している範囲を示した画像データ(以下、視線画像データと呼ぶ)を作成する。例えば、制御部123は、図5に示すように、ユーザが見ている範囲を楕円領域にて示した視線画像データを作成する。なお、視線データは、ユーザが注目している範囲を示した画像である必要はなく、ユーザが注目している範囲を示す座標データであっても良い。この場合、視線画像データは、画像データに座標データが付加された情報となる。座標データは、例えば、画像データのヘッダ部分に格納されるようにすることができる。
(装着装置10の処理)
次に、装着装置10が実行する処理の一例について、図3〜図8を参照して説明する。なお、図3は、装着装置10が実行する処理の一例を示すフローチャートである。本実施形態において、図3の処理は、装着装置10の電源がオンの間、繰り返されるものとする。
図3の処理では、ステップS10において、制御部123は、ユーザの視線が同一の場所に所定時間(例えば、2秒)以上停止しているか否かを判断する。制御部123は、例えば、所定時間毎に作成される視線画像データ同士を比較し、ユーザの視線が同一の場所に所定時間以上停止しているか否かを判断する。ここでの判断が肯定された場合、制御部123は、ステップS11に移行する。
ステップS11に移行すると、制御部123は、ユーザの生体情報が変化したか否かを判断する。例えば、制御部123は、ユーザの脈拍が所定値以上増加したか否か、あるいは、ユーザの瞳孔が所定値よりも大きくなったか否かを判断する。本ステップS11では、制御部123は、生体情報に基づいて、ユーザが、ユーザの視線の先にある情報に注目しているか否か、あるいは、興味を持っているか否かを判断している。ここでの判断が肯定された場合、制御部123は、ステップS12の注目情報取得処理を実行する。なお、本ステップS11を省略してもよい。この場合、装着装置10から瞳検出部115及び生体センサ117を省略することができる。
(注目情報取得処理)
ここで、図4のフローチャートを参照して、注目情報取得処理の詳細について説明する。
制御部123は、図4のステップS121において、視線画像データから、ユーザが注目した部分の画像を抽出する。
続くステップS123において、制御部123は、抽出画像に対して、OCR(Optical Character Recognition)処理を実行する。
続くステップS125において、制御部123は、ユーザの注目した対象が文字であるか否かを判断する。具体的には、制御部123は、ステップS123におけるOCR処理によって、文字を認識できた場合には、ユーザの注目した対象が文字であると判断する。制御部123は、続くステップS129において、ステップS123のOCR処理で取得した文字を、ユーザが注目した情報であると特定する。
一方、ユーザの注目した対象が文字でなかった場合、制御部123は、ステップS127に移行し、抽出画像を分析する。例えば、制御部123は、抽出画像に対してパターンマッチングを行い、抽出画像に含まれている物体(建物、物品、人物等)を特定する。なお、制御部123は、インターネット上のウェブサイトに掲載されている画像等を比較し、当該抽出画像に含まれる物体を特定してもよい。そして、制御部123は、ステップS129において、当該抽出画像に含まれる物体を、ユーザが注目した情報であると特定する。
続くステップS131において、制御部123は、ユーザが注目した情報に関連する情報(関連情報)を取得する。例えば、図5に示すように、ユーザがガイドブックGB1において、「東京タワー」と書かれた部分に注目しているとする。制御部123は、ステップS129において、「東京タワー」をユーザが注目した情報であると特定する。この場合、制御部123は、例えば、位置検出部111から取得したユーザの現在の位置から、東京タワーへの行き方を検索する。当該検索には、装着装置10にインストールされているアプリケーションソフトを使用してもよいし、インターネット上のウェブサイトを使用してもよい。ここで、例えば、ユーザが東京駅におり、検索結果として、山手線か京浜東北線で浜松町駅へ行き、浜松町駅から徒歩で東京タワーに向かう経路が取得されたとする。この場合、制御部123は、関連情報として「山手線、京浜東北線、浜松町駅」を取得する。なお、制御部123は、例えば、東京タワーの周辺の地図情報を取得し、目印となる建物(例えば、増上寺)の情報を関連情報として取得してもよい。
続くステップS133において、制御部123は、ステップS129で特定した注目情報とステップS131で取得した関連情報とを記憶部119が記憶する注目対象テーブルに記憶する。ここで、注目対象テーブルは、図6に示すように、注目情報及び関連情報の項目を備える。注目情報の項目には、ステップS129で特定された注目情報(例えば、「東京タワー」)が格納される。関連情報の項目には、ステップS131で取得された関連情報(「山手線、京浜東北線、浜松町、増上寺」)が格納される。なお、注目情報及び関連情報の項目に登録されるデータは、文字データに限られるものではなく、画像データが登録されてもよい。例えば、ステップS121で抽出した画像を、注目情報の項目に登録してもよい。
ステップS133の処理後、制御部123は、図3のステップS10に戻る。これにより、ユーザが注目した情報、あるいは、ユーザが興味を持った情報と、当該情報に関連する関連情報とが、記憶部119に蓄積されることとなる。
なお、例えば、ユーザが雑誌に掲載された商品に注目した場合には、制御部123は、注目情報の項目に、当該商品の情報(例えば、商品名や、商品の画像データ)を格納し、関連情報の項目には、インターネット等で検索した当該商品を購入可能な店舗の情報(店舗名や住所)等を格納してもよい。
なお、注目対象テーブルのデータは、例えば、ユーザが注目情報の項目に登録された場所(例えば、東京タワー)に到着したり、注目情報の項目に登録された商品を購入可能な店舗を訪れたりした場合に、削除されるようにしてもよい。ユーザが注目情報の項目に登録された場所に到着したか否かは、位置検出部111からの出力に基づいて判断できる。あるいは、ユーザが操作部105を用いて、手動で注目対象テーブルのデータを削除してもよい。
図3に戻り、ユーザの視線が同一の場所に所定時間以上停止していない場合(ステップS10/NO)、又は、ユーザの生体情報が変化しなかった場合(ステップS11/NO)、制御部123は、ステップS15の視線誘導処理を実行する。
(視線誘導処理)
ここで、図7のフローチャートを参照して、ステップS15の視線誘導処理の詳細について説明する。
制御部123は、図7のステップS151において、撮像部101が撮像した画像をOCR処理し、画像内に含まれる文字を取得する。
続くステップS153において、制御部123は、ステップS151で取得した文字の中に、注目対象テーブルに登録されている文字が含まれているか否かを判断する。例えば、図6に示す注目対象テーブルが記憶部119に記憶されており、制御部123が、撮像部101から図8(A)に示す画像を取得したとする。この場合、制御部123は、図8(A)に示す画像において、注目対象テーブルに登録されている「東京タワー」、「山手線」、「京浜東北線」、「浜松町」、「増上寺」の文字が含まれているか否かを判断する。図8(A)に示す画像では、右上に「京浜東北線」の文字が存在する。この場合、制御部123は、ステップS155に移行し、当該文字にユーザの視線を誘導する。例えば、制御部123は、図8(B)に示すように、表示部103の中央に、文字が存在する方向を示す矢印を表示する。あるいは、制御部123は、図8(C)に示すように、まず、表示部103の中央部にカーソルを表示し、その後、図8(D)に示すように、カーソルを徐々に文字の方向へと移動させるようにしてもよい。あるいは、制御部123は、視線を誘導させたい文字を含む領域または当該領域周辺を表示部103に強調表示させるようにしてもよい。
なお、注目対象テーブルに複数のデータが登録されている場合、制御部123は、注目対象テーブルに登録されている全てのデータについてステップS153の処理を行ってもよいし、一部のデータについてステップS153の処理を行ってもよい。例えば、制御部123は、データが登録された日時が最も新しいデータについて、ステップS153の処理をおこなってもよい。あるいは、注目対象テーブルに優先度の項目を設け、制御部123は、優先度が高いデータについて、ステップS153の処理をおこなってもよい。なお、優先度は、ユーザが操作部105を用いて設定すればよい。あるいは、ユーザが、注目対象テーブルに登録されているデータの中から、どのデータについてステップS153の処理を行うかを、操作部105を用いて指定してもよい。この場合、制御部123が、例えば、表示部103に、注目対象テーブルに登録されている注目情報のリストを表示し、ユーザが当該リストの中から、視線誘導を行う対象となる注目情報を指定すればよい。
ところで、ステップS153の判断が否定された場合、制御部123は、ステップS157に移行し、撮像部101が撮像した画像に、注目対象テーブルに登録されている画像が含まれるか否かを判断する。例えば、制御部123は、撮像部101が撮像した画像と、注目対象テーブルに登録されている画像とを比較(例えば、パターンマッチング)することにより、当該判断を行う。なお、注目対象テーブルに画像が登録されていない場合には、ステップS157及びS159を省略すればよい。ここでの判断が否定された場合、図4のステップS10に戻るが、肯定された場合、ステップS159に移行する。
ステップS159に移行すると、制御部123は、ステップS155と同様に、注目対象テーブルに登録されている画像にユーザの視線を誘導する。
ステップS155及びステップS159の処理が終わると、制御部123は、図4のステップS10に戻る。
以上の処理により、ユーザの視線を、ユーザが注目した情報、又は、その情報に関連する情報に誘導することができる。これにより、ユーザにとって有用な情報をユーザに報知することができるとともに、ユーザが当該情報を探す手間を削減することができるので、ユーザの利便性が向上する。
以上、詳細に説明したように、本第1の実施形態によれば、装着装置10の制御部123は、撮像部101が撮像した画像からユーザが注目した情報を取得し、撮像部101により撮像された画像内にユーザが注目した情報あるいはそれに関連する情報が存在する場合には、当該情報にユーザの視線を誘導する。したがって、ユーザにとって有用な情報をユーザに報知することができるとともに、ユーザが当該情報を探す手間を削減することができる。これにより、ユーザの利便性が向上する。
また、本第1の実施形態によれば、撮像部101は、ユーザの顔に装着されているため、制御部123は、ユーザの視線方向にユーザにとって有用な情報が存在するか否かを判断することができる。
また、本第1の実施形態によれば、装着装置10は、ユーザの視線方向を検出する視線検出部113と、ユーザの脈拍の変化や発汗量を検出する生体センサ117及び瞳孔の変化を検出する瞳検出部115とを備える。制御部123は、ユーザの脈拍や瞳孔が変化した場合に、ユーザの視線方向に存在する情報を、ユーザが注目した情報として取得する。したがって、生体センサ117及び瞳検出部115を備えない構成と比較して、より精度よく、ユーザが注目した情報を特定することができる。また、ユーザが注目した情報を自動で特定することができるため、ユーザが手動で注目情報を入力する必要がなく、ユーザの利便性が向上する。
なお、上記第1の実施形態において、生体センサ117及び瞳検出部115の両方ではなく、少なくとも一方を設けるようにしてもよい。
また、上記第1の実施形態において、制御部123は、注目情報取得処理を実行することにより、自動でユーザが注目した情報を注目対象テーブルに登録していたが、これに限られるものではない。ユーザが、注目対象テーブルに対して、マニュアルで注目情報を登録するようにしてもよい。例えば、注目情報として文字情報を入力する場合、ユーザは、マイク107を用いた音声入力により注目情報を注目対象テーブルに登録してもよい。あるいは、スマートフォン等の携帯機器において注目情報(文字情報)を入力し、装着装置10に送信してもよい。また、注目情報として画像情報を入力する場合、例えば、ユーザは、気になっている商品を撮像部101で撮像し、当該商品の画像を、操作部105を操作して、注目対象テーブルに登録してもよい。これにより、例えば、店舗等において商品を探す場合に、類似の商品が並ぶ陳列棚から、ユーザが登録した商品にユーザの視線を誘導することができるため、ユーザは、類似の商品が並ぶ陳列棚から、目的の商品を短時間で探し出すことができる。また、例えば、ユーザは、待ち合わせをする人物の画像を注目対象テーブルに登録してもよい。これにより、人ごみの中に当該人物が存在する場合に、その人物にユーザの視線が誘導されるので、ユーザは人ごみの中から短時間で当該人物を探し出すことができる。
また、上記第1の実施形態において、制御部123は、インターネット等から天気の情報を取得し、当該天気の情報に基づいて、ユーザが注目する対象を決定し、当該対象にユーザの視線を誘導してもよい。例えば、制御部123は、今日の天気が雨である場合に、ユーザが注目する対象として傘を決定し、傘にユーザの視線を誘導するようにしてもよい。この場合、記憶部119に、各天気と、当該天気における注目対象とを関連付けて記憶しておけばよい。また、記憶部119に、ユーザの予定が登録されている場合には、当該予定に基づいて、ユーザの注目する対象を決定し、当該対象にユーザの視線を誘導してもよい。例えば、制御部123は、今日の予定として顧客へのプレゼンテーションが登録されている場合に、レーザポインタやボイスレコーダ等をユーザが注目する対象として決定し、レーザポインタやボイスレコーダにユーザの視線を誘導するようにしてもよい。この場合、記憶部119に、各予定と、当該予定が存在する場合の注目対象とを関連付けて記憶しておけばよい。これにより、ユーザは、天気や予定に応じた持ち物に気づくことができ、ユーザの利便性が向上する。
なお、上記第1の実施形態において、装着装置10の制御部123が実行する処理の少なくとも一部をスマートフォン等の携帯機器、又は、不図示のサーバが実行してもよい。例えば、注目情報取得処理(図4)を、携帯機器、又は、サーバが実行してもよい。この場合、装着装置10から携帯機器又はサーバに視線画像データを送信し、携帯機器又はサーバは、当該視線画像データに基づいて、注目情報と関連情報とを取得すればよい。
《第2の実施形態》
次に、図9〜図13を参照して、第2の実施形態について詳細に説明する。図9は、第2の実施形態に係る電子機器システム500Aの構成を示すブロック図である。電子機器システム500Aは、図9に示すように、装着装置10と、携帯機器20とを備える。電子機器システム500Aは、携帯機器20に入力された情報に基づいて、ユーザの視線を誘導するシステムである。
(装着装置10)
装着装置10は、第1の実施形態に係る装着装置10と同一又は同等の構成を備えるため、詳細な説明を省略する。なお、本実施形態において、通信部121は、例えばBluetooth(登録商標)、RFID(Radio Frequency Identification)、TransferJet(登録商標)などの近接通信や、Wi−Fi(登録商標)などの無線通信、人体を介した人体通信により携帯機器20の通信部304と通信する。なお、人体通信には、人体に微弱な電流を流して、その電流を変調して情報を伝達する電流方式や、人体の表面に誘起する電界を変調して情報を伝達する電界方式などがある。本実施形態では、電流方式及び電界方式のいずれのタイプを用いることも可能である。なお、ユーザの皮膚と電極が接触している場合はもちろん、ユーザの皮膚と電極との間に布等が存在している場合(すなわち、電極が手と対向している場合)でも、人体通信は可能である。なお、人体通信用の電極は、フレーム130のユーザ側(内側)に設けることができる。
なお、本実施形態においては、装着装置10から、瞳検出部115及び生体センサ117を省略してもよい。
(携帯機器20)
携帯機器20は、ユーザにより携帯された状態で利用される情報機器である。携帯機器20としては、携帯電話、スマートフォン、タブレット型パソコン、PHS(Personal Handy-phone System)、PDA(Personal Digital Assistant)等を採用することができる。本実施形態では、携帯機器20は、スマートフォンであるものとする。携帯機器20は、電話機能やインターネット等に接続するための通信機能、および、プログラムを実行するためのデータ処理機能等を有する。
携帯機器20は、図9に示すように、撮像部201、表示部202、操作部203、マイク204、スピーカ205、記憶部206、通信部207、及び制御部213を備える。
撮像部201は、撮像素子や撮影レンズなどを備える撮影ユニットを含み、被写体を撮像する。
表示部202は、例えば、LCD(Liquid Crystal Display)であり、画像、各種情報およびボタン等の操作入力用画像を表示する。
操作部203は、例えば、タッチパネルとスイッチとを備える。タッチパネルは、ユーザが触れたことに応じて情報入力を受け付ける。タッチパネルは、例えば、表示部202上または表示部202内に組み込まれて設けられる。したがって、タッチパネルは、ユーザが表示部202の表面をタッチすることに応じて、種々の情報入力を受け付ける。スイッチは、ユーザから携帯機器20に対する操作を受け付ける操作部材である。
マイク204は、携帯機器20の周囲の音声(例えばユーザの音声)を入力するための音声入力装置である。スピーカ205は、ユーザや携帯機器20の周囲へ音声を出力する音声出力装置である。
記憶部206は、例えば、不揮発性の半導体メモリやハードディスクである。記憶部206は、撮像部201が撮像した静止画、動画の各画像データを記憶する。
通信部207は、他の機器と通信を行うものであり、例えばBluetooth(登録商標)、RFID、TransferJet(登録商標)などの近接通信や、人体を介した人体通信、および無線通信などを用いることができる。無線通信としては、例えばWi−Fi(登録商標)などがある。本実施形態において、通信部207は、近接通信又は人体通信により、装着装置10の通信部121と通信する。また、通信部207は、無線通信により、インターネット等のネットワークに接続された他の機器と通信を行う。
制御部213は、CPU、RAM、ROM等を備え、携帯機器20全体を制御する。例えば、制御部213は、操作部203を用いてユーザにより入力された情報を、通信部207を介して装着装置10に送信する。
(電子機器システム500Aの処理)
次に、図10〜図13を用いて、電子機器システム500Aが実行する処理について説明する。図10は、携帯機器20が実行する処理の一例を示すフローチャートである。図12は、装着装置10が実行する処理の一例を示すフローチャートである。なお、本実施形態において、図10の処理は、携帯機器20の電源がオンされている間繰り返されるものとする。図12の処理は、装着装置10の電源がオンされている間繰り返されるものとする。また、携帯機器20と通信する装着装置10は、例えば装着装置10と携帯機器20とを接触させたり、近接させたりして予めペアリングされているとする。ペアリング情報は、装着装置10と携帯機器20とが保持しているものとする。なお、前述の近接通信や人体通信の成立により装着装置10と携帯機器20とがペアリングを行うようにしてもよい。本実施形態においてペアリングとは、複数の装置間の協働処理を実行され得る状態にすることである。
まず、携帯機器20の制御部213が、図10のステップS21において、携帯機器20上で所定のソフトウェアが起動されるまで待機する。本実施形態では、制御部213は、ウェブブラウザが起動されるまで待機するものとする。そして、所定のソフトウェアが起動された段階で、ステップS23に移行する。
ステップS23に移行すると、制御部213は、文字情報が入力されたか否かを判断する。例えば、図11(A)に示すように、ユーザが、ウェブブラウザに表示された検索サイト上で、「大井町駅 レストラン」を入力したとする。この場合、制御部213は、文字情報が入力されたとして、ステップS25に移行する。一方、文字情報が入力されない場合には、ステップS25の処理を行わず、ステップS26に移行する。
ステップS25に移行すると、制御部213は、入力された文字情報を、ユーザが注目した情報(注目情報)として装着装置10に送信する。例えば、ユーザが携帯機器20で図11(A)に示すように、「大井町駅 レストラン」を入力した場合、制御部213は、「大井町駅」及び「レストラン」の文字情報を、注目情報として装着装置10に送信する。
続くステップS26において、制御部213は、ウェブブラウザ上に表示されている情報を送信するよう、ユーザから指示されたか否かを判断する。例えば、上述した「大井町駅 レストラン」の検索結果として表示されたレストランのリストの中から、ユーザがあるレストランを選択し、図11(B)に示すように、レストランの詳細情報が表示されたとする。ここで、ユーザが、ウェブサイトに表示されている情報送信ボタンB10を押すと、制御部213は、ウェブブラウザ上に表示された情報を送信するようユーザから指示されたと判断し、ステップS27に移行する。なお、ウェブサイト上に情報送信ボタンB10を設けるのではなく、例えば、携帯機器20のスイッチ203に、情報送信ボタンを割り当ててもよい。あるいは、ウェブブラウザに情報送信用のボタンを設けてもよい。
ステップS27に移行すると、制御部213は、ウェブブラウザ上に表示されている情報の中から、所定の情報をユーザが注目した情報(注目情報)として装着装置10に送信する。ここで、所定の情報は、例えば、店舗名、店舗の住所、店舗の最寄り駅、店舗の外観画像、店舗の看板の画像等を含む。ウェブブラウザ上に表示された情報のうちいずれの情報を装着装置10に送信するかは、ウェブサイトを運営する企業により予め定められていてもよいし、ユーザが選択できるようにしてもよい。
ステップS27の処理の終了後、又は、ステップS26の判断が否定されると、制御部213は、ステップS28において、ソフトウェアが終了されたか否かを判断する。ここでの判断が肯定された場合は、ステップS21に戻り、否定された場合は、ステップS23に戻る。
上述の処理により、携帯機器20から装着装置10に、ユーザが注目した情報(注目情報)が提供される。
一方、装着装置10の制御部123は、図12のステップS31において、携帯機器20から注目情報を受信したか否かを判断する。携帯機器20の制御部213が、図10のステップS25の処理を実行した場合、あるいは、ステップS27の処理を実行した場合、ステップS31の判断が肯定され、制御部123は、ステップS33に移行する。
ステップS33に移行すると、制御部123は、携帯機器20から受信した注目情報を注目対象テーブル(図13)に登録する。例えば、ユーザが携帯機器20で図11(A)に示すように、「大井町駅 レストラン」を入力すると、携帯機器20から装着装置10に、「大井町駅」及び「レストラン」の文字情報が、注目情報として送信される(図10のステップS25)。この場合、制御部123は、図13(A)に示すように、注目対象テーブルに「大井町駅」と「レストラン」とを登録する。また、ユーザが携帯機器20において、図11(B)に示された情報送信ボタンB10を押すと、所定の情報(店舗名、店舗の住所、店舗の最寄り駅、店舗の外観画像、店舗の看板の画像等)が、注目情報として携帯機器20から装着装置10に送信される。この場合、制御部123は、図13(B)に示すように、文字情報と画像情報とを含む注目情報を、注目対象テーブルに登録する。なお、本実施形態では、注目対象テーブルは、関連情報の項目を有さないものとする。
ステップS33の処理を終了すると、制御部123は、ステップS31に戻る。
一方、ステップS31において、携帯機器20から注目情報を受信していない場合、制御部123は、図13(B)に示す注目対象テーブルに基づいて、第1の実施形態と同様にステップS15の視線誘導処理を実行する。なお、視線誘導処理については、第1の実施形態で説明した処理と同様であるため、詳細な説明を省略する。
以上の処理により、ユーザが、例えば、携帯機器20において地図情報を表示して、駅からレストランまでの道順を確認する場合に、地図内に注目対象テーブルに登録されている文字(例えば、大井町駅)が存在するならば、ユーザの視線が地図内の大井町駅の文字に誘導される。これにより、ユーザは、地図の中から駅を探さなくても済み、ユーザの利便性が向上する。また、ユーザがレストランのすぐ近くまで来ているにもかかわらず、レストランを見つけられない場合に、注目対象テーブルに登録されている店舗の外観画像が、撮像部101が撮像する画像内に存在すれば、ユーザの視線がレストランへと誘導される。これにより、ユーザは短時間で目的のレストランを見つけることができる。
以上、詳細に説明したように、本第2の実施形態によると、装着装置10の制御部123は、ユーザが携帯機器20に入力した情報に基づいて、撮像部101により撮像された画像内にユーザが注目する対象が存在するか否かを判断する。当該対象が存在する場合には、当該対象にユーザの視線を誘導する。これにより、ユーザにとって有用な情報をユーザに報知することができるとともに、ユーザが当該情報を探す手間を削減することができ、ユーザの利便性が向上する。
なお、上記第2の実施形態において、ユーザが場所の指定をせずに飲食店の検索を行った場合、制御部123は、位置検出部111からユーザの現在位置を取得する。制御部123は、検索結果として携帯機器20の表示部202に表示された飲食店のリストにおいて、最寄り駅周辺又は現在地周辺のレストランにユーザの視線を誘導してもよい。なお、制御部123は、撮像部101が撮像する画像(表示部202に表示された飲食店のリストを含む画像)をOCR処理することによって、レストランが存在する駅や住所を認識し、最寄り駅周辺又は現在地周辺のレストランを特定することができる。
また、上記第2の実施形態において、携帯機器20の制御部213が、ユーザが閲覧したウェブサイトの履歴(閲覧履歴)からユーザの興味の対象を推定し、注目対象として装着装置10に送信してもよい。例えば、ユーザが、携帯機器20において、特定の駅(例えば、東京駅)の周辺にある複数のホテルのウェブサイトを閲覧していた場合には、制御部213は、「東京駅」及び「ホテル」の文字情報を注目対象として装着装置10に送信してもよい。なお、装着装置10の制御部123が、携帯機器20からユーザのウェブサイトの閲覧履歴を取得し、当該閲覧履歴からユーザの興味の対象を推定し、注目対象として注目対象テーブルに登録してもよい。
また、上記第2の実施形態において、ユーザがウェブサイトを閲覧している間に、制御部123は、ユーザが注意すべき情報(定休日や営業時間)が表示されている箇所にユーザの視線を誘導してもよい。ユーザが注意すべき情報は、装着装置10の出荷時に予め設定されていてもよいし、ユーザが設定してもよい。
《第3の実施形態》
次に、第3の実施形態について、図14〜図18を参照して詳細に説明する。図14は、第3の実施形態に係る電子機器システム500Bの構成を示すブロック図である。図14に示すように、電子機器システム500Bは、装着装置10と、撮像装置30と、マニュアル機器40と、を備える(利用する)。
(装着装置10)
装着装置10は、第1の実施形態に係る装着装置10と同一又は同等の構成を備えるため、詳細な説明を省略する。なお、本実施形態において、通信部121は、例えばBluetooth(登録商標)、RFID、TransferJet(登録商標)などの近接通信や、Wi−Fi(登録商標)などの無線通信、人体を介した人体通信により撮像装置30の通信部304、及び、マニュアル機器40の通信部401と通信する。また、本実施形態においては、装着装置10から瞳検出部115及び生体センサ117を省略してもよい。
(撮像装置30)
撮像装置30は、例えば、カメラや、撮像機能を有する携帯電話、スマートフォン、タブレット型端末などである。本実施形態では、撮像装置30は、カメラであるものとして説明を行う。撮像装置30は、一眼レフカメラ、ミラーレスカメラ、およびコンパクトカメラのいずれであってもよいが、本実施形態では、コンパクトカメラであるものとする。なお、図15(A)には、撮像装置30の正面図が、図15(B)には、撮像装置30の背面図が示されている。
撮像装置30は、図1に示すように、撮像部301、表示部302、操作部303、通信部304、記憶部305、及び制御部307を備える。
撮像部301は、レンズ、撮像素子、画像処理部などを備え、静止画や動画を撮像するものである。
表示部302は、例えば、LCDであり、図15(B)に示すように、撮像部301のレンズと反対側の面(背面)に設けられる。表示部302は、撮像装置30に対する各種の設定情報や、撮像装置30を操作するための操作メニュー、アイコンなどを表示する。また、表示部302は、撮像部301が撮像するスルー画像(ライブビュー画像)や、後述する記憶部305に記録されている静止画像や動画像を表示する。
操作部303は、ユーザから撮像装置30に対する操作を受け付ける操作部材であって、レリーズスイッチ303A、撮影モードスイッチ303B、再生スイッチ303C、メニュスイッチ303D、十字スイッチ(マルチセレクター)303E、及び削除スイッチ303F等を含む(図15(A),図15(B)参照)。レリーズスイッチ303Aは、上面に設けられており、例えば、静止画像の撮像を指示する場合にユーザによって操作される(押される)。撮影モードスイッチ303Bは、撮影モードを切り替える場合にユーザによって操作される(押される)。再生スイッチ303Cは、記憶部305に記憶された静止画や動画を再生する場合にユーザによって操作される(押される)。メニュスイッチ303Dは、表示部302に、撮像条件を設定するための操作メニュー等を表示させる場合にユーザによって操作される。十字スイッチ303Eは、中央部のOKスイッチと、周辺部の上下左右のスイッチとを有し、ユーザは、表示部302に表示された操作メニューから、十字スイッチ303Eを操作することによってあるメニューを選択し、撮像条件の設定を行う。削除スイッチ303Fは、撮像装置30が撮像した画像を再生する再生モードにある場合に、十字スイッチ303Eの操作により選択された画像を削除するためのスイッチである。
なお、操作部303は、表示部302上に設けられ、又は表示部302内に組み込まれたタッチパネルを備えていてもよい。この場合、タッチパネルは、表示部302の表面に対するユーザの接触操作を検出し、種々の情報入力を受け付ける。すなわち、ユーザは、表示部302に表示された操作メニューやアイコンに触れる動作を行うことで、撮像装置30を操作することができる。
通信部304は、他の機器と、近接通信(例えば、例えばBluetooth(登録商標)、RFID、TransferJet(登録商標))、Wi−Fi(登録商標)などの無線通信、又は人体通信を行う。本実施形態では、通信部304は、装着装置10との間で、近接通信又は人体通信を行うものとする。なお、人体通信を行う場合、撮像装置30の筐体の外側でユーザと接触する部分に人体通信用の電極を配置すればよい。
記憶部305は、例えば、撮像装置30に着脱可能な記憶媒体であるSDカードに接続するコネクタを有し、SDカードに静止画のデータや動画のデータを記憶させる。
制御部307は、撮像装置30全体を統括的に制御する。制御部307は、CPU、RAM、ROM等を備える。例えば、制御部307は、操作部303が備える操作部材のうちユーザが操作している操作部材の情報を、通信部304を介して装着装置10に送信する。
(マニュアル機器40)
マニュアル機器40は、製品の使用説明書(ユーザマニュアル)に取り付けられる。マニュアル機器40は、図14に示すように、通信部401と、記憶部402と、制御部403と、を備える。
通信部401は、他の機器と、近接通信(例えば、例えばBluetooth(登録商標)、RFID、TransferJet(登録商標))、Wi−Fi(登録商標)などの無線通信、又は人体通信を行う。本実施形態では、通信部401は、装着装置10との間で、近接通信又は人体通信を行う。
記憶部402は、例えば、不揮発性の半導体メモリであり、マニュアル機器40が取り付けられたユーザマニュアルの各ページの画像と、図16に示すページ/操作部材対応テーブルとを記憶する。ページ/操作部材対応テーブルは、マニュアルのページと、当該ページに記載されている操作部材の情報とを関連づけるテーブルであり、ページ及び操作部材の項目を備えている。ページの項目は、マニュアルの各ページを表し、操作部材の項目は、各ページにおいて説明(記載)されている操作部材が格納される。
制御部403は、CPU、RAM、ROM等を備え、マニュアル機器40全体を統括的に制御する。例えば、通信部401と装着装置10との通信を制御し、記憶部402に記憶されているユーザマニュアルの各ページの画像を装着装置10に送信したり、ページ/操作部材対応テーブルのデータを装着装置10に送信したりする。
(視線誘導処理)
次に、第3の実施形態に係る装着装置10が実行する視線誘導処理について説明する。図17は、装着装置10が実行する視線誘導処理を示すフローチャートである。なお、本実施形態において、図17の処理は、装着装置10の電源がオンの間、繰り返されるものとする。
図17の処理では、まず、制御部123は、ユーザが、撮像装置30のユーザマニュアルを参照しつつ、撮像装置30を操作しようとしているか否かを判断する。具体的には、制御部123は、ステップS301において、撮像装置30との通信(人体通信又は近接通信)が成立しているか否かを判断する。ここでの判断が肯定された場合、制御部123は、ステップS303において、マニュアル機器40との通信(人体通信又は近接通信)が成立しているか否かを判断する。ステップS301及びステップS303の判断が肯定された場合には、制御部123は、ユーザが撮像装置30のユーザマニュアルを参照しつつ、撮像装置30を操作しようとしていると判断し、ステップS305に移行する。一方、ステップS301又はステップS303の判断が否定された場合には、制御部123は、ステップS301に戻る。
ステップS305に移行すると、制御部123は、ユーザがマニュアルを見ているか否かを判断する。制御部123は、例えば、ユーザマニュアルの各ページの画像をマニュアル機器40の記憶部402から取得し、撮像部101が撮像する画像と、ユーザマニュアルの各ページの画像とを比較(パターンマッチング)することで、当該判断を行うことができる。なお、ユーザマニュアルの各ページの画像は、装着装置10の記憶部119に記憶しておいてもよい。また、ユーザマニュアルの各ページの画像は、撮像装置30の記憶部305に記憶しておいてもよい。また、ユーザマニュアルの各ページの画像は、不図示のサーバに記憶しておいてもよい。ユーザがマニュアルを見ている場合には、ステップS305の判断が肯定され、ステップS307に移行する。
ステップS307に移行すると、制御部123は、ユーザが閲覧しているページを特定する。例えば、制御部123は、ステップS305での、撮像部101が撮像する画像と、ユーザマニュアルの各ページの画像との比較処理により、ユーザが閲覧しているページを特定することができる。
続くステップS308において、制御部123は、ユーザが閲覧しているページに関連する操作部材を特定する。本実施形態では、制御部123は、マニュアル機器40の記憶部402に記憶されているページ/操作部材対応テーブルから、ユーザが閲覧しているページに関連付けられている操作部材を取得する。例えば、ステップS307において、ユーザが閲覧しているページが26ページであると特定されたとする。この場合、制御部123は、図16のページ/操作部材対応テーブルにおいて、26ページに関連付けられている「撮影モードスイッチ」を、ユーザが閲覧しているページに関連する操作部材として特定する。
続くステップS309において、制御部123は、ユーザの視線が撮像装置30に移動したか否かを判断する。例えば、制御部123は、視線画像データにおいて、ユーザの視線が、撮像装置30に存在するか否かを判断する。なお、制御部123は、撮像部101が撮像する画像に、撮像装置30が含まれるか否かに基づいて、ユーザの視線が撮像装置30に移動したか否かを判断してもよい。撮像部101が撮像する画像に、撮像装置30が含まれるか否かは、撮像装置30の画像と撮像部101が撮像する画像とを比較(パターンマッチング)することで、判断できる。ここでの判断が否定された場合、ステップS307に戻るが、肯定された場合、ステップS311に移行する。
ステップS311に移行すると、制御部123は、ユーザの視線を、ステップS308で特定した操作部材に誘導する。制御部123は、例えば、表示部103の中央に、操作部材が存在する方向を示す矢印を表示する。あるいは、制御部123は、まず、表示部103の中央部にカーソルを表示し、その後、カーソルを徐々に操作部材へと移動させるようにしてもよい。ステップS311の処理後、制御部123は、ステップS313に移行する。
ところで、ステップS305において、ユーザがマニュアルを見ていないと判断した場合、制御部123は、ステップS315に移行する。
ステップS315に移行すると、制御部123は、撮像装置30から、ユーザが操作している操作部材の情報を取得する。
続くステップS317において、制御部123は、ユーザの視線がマニュアルに移動したか否かを判断する。例えば、制御部123は、視線画像データにおいて、ユーザの視線が、マニュアルに存在するか否かを判断する。なお、制御部123は、撮像部101が撮像する画像に、マニュアルが含まれるか否かに基づいて、ユーザの視線がマニュアルに移動したか否かを判断してもよい。ここでの判断が否定された場合、ステップS315に戻るが、肯定された場合、ステップS319に移行する。
ステップS319に移行すると、制御部123は、ユーザが操作している操作部材について記載されたマニュアルのページにユーザの視線を誘導する。例えば、制御部123は、ページ/操作部材対応テーブル(図16)から、ユーザが操作している操作部材に関連付けられているマニュアルのページを取得する。例えば、ユーザが操作している操作部材が撮影モードスイッチ303Bであった場合、制御部123は、ページ/操作部材対応テーブル(図16)に基づいて、ユーザが操作している操作部材に関連付けられているマニュアルのページ(26ページ)を取得する。そして、ユーザがマニュアルの目次を閲覧している場合には、表示部103にカーソルを表示するなどして、当該目次において、ユーザが操作している操作部材について記載されたマニュアルのページが記載されている箇所にユーザの視線を誘導する。なお、本実施形態において、ユーザが操作している操作部材について記載されたマニュアルのページが既に開かれている場合には、制御部123は、ユーザの視線を誘導しないものとする。なお、制御部123は、例えば、表示部103に、ユーザが操作している操作部材について記載されたマニュアルのページを報知するメッセージ(「26ページを開いてください」等)を表示してもよい。
ステップS319の処理後は、制御部123は、ステップS313に移行し、マニュアル機器40又は撮像装置30との通信が終了したか否かを判断する。本ステップでは、ユーザがマニュアルを見ながら撮像装置30を操作するのを止めたか否かを判断している。ここでの判断が否定された場合には、ステップS305に戻るが、肯定された場合には、ステップS301に戻る。
以上の処理により、ユーザがマニュアルを見ながら撮像装置30を操作している場合に、ユーザが閲覧しているマニュアルのページに関連付けられた操作部材にユーザの視線が誘導される。そのため、ユーザは撮像装置30の中から操作部材を探し、見つからない場合には、マニュアルを再び見直すといった動作を繰り返さなくてすむ。また、ユーザが撮像装置30の操作部材を操作している場合には、ユーザがマニュアルを見た際に、当該操作部材について記載されているページにユーザの視線が誘導されるので、必要な情報を短時間で見つけ出すことができる。
以上、詳細に述べたように、本第3の実施形態によれば、装着装置10の制御部123は、近接通信又は人体通信により、ユーザが撮像装置30を保持(操作)していることを検出し、ユーザが撮像装置30のマニュアルを閲覧していれば、当該閲覧している箇所に関連する操作部材にユーザの視線を誘導する。また、装着装置10の制御部123は、ユーザが撮像装置30の操作部材を操作していれば、当該操作部材について記載されたマニュアルの箇所にユーザの視線を誘導する。したがって、ユーザは、短時間で必要な情報に辿り着くことができ、ユーザの利便性が向上する。
なお、上記第3の実施形態では、ページ/操作部材対応テーブル(図16)において、マニュアルのページと操作部材とを対応付けていたが、これに限られるものではない。例えば、マニュアルの各ページを、さらに、複数の領域に分割し、領域ごとに操作部材を対応付けてもよい。例えば、図18(A)に示すように、マニュアルを第1領域R1〜第3領域R3に分割した場合、図18(B)に示すように、ページ/操作部材対応テーブルにおいて、各領域に対して操作部材を対応付ければよい。この場合、制御部123は、図17のステップS307において、ユーザが閲覧中のページを特定するとともに、視線画像データに基づいて、ユーザがどの領域に注目しているかを特定すればよい。これにより、ステップS308において、ページ/操作部材対応テーブル(図18(B))に基づいて、関連する操作部材を特定することができる。なお、領域の設定の仕方(領域数、各領域の大きさ)は、各ページで異なっていてもよいし、同一でもよい。
なお、上記第3の実施形態において、撮像装置30のマニュアルは、電子データでもよいし、紙媒体でもよい。
なお、上記第3の実施形態は、撮像装置30以外の電子機器(例えば、洗濯機、冷蔵庫、ハードディスクレコーダ、テレビ等)にも適用可能である。また、上記第3の実施形態は、電子機器以外の物品(食料品、衣服、靴、時計、アクセサリー、書籍等)にも適用可能である。
例えば、上記第3の実施形態において、商品に対し、例えば、マニュアル機器40と同等の構成を備える機器を取り付けてもよい。この場合、制御部123は、店舗に陳列された商品(例えば、本)をユーザが手に取り、装着装置10と商品との間で人体通信又は近接通信が成立した場合に、ユーザの視線を当該商品と一緒によく購入される商品や、当該商品とよく比較される商品にユーザの視線を誘導してもよい。なお、当該商品と一緒によく購入される商品や、当該商品とよく比較される商品の情報は、商品に取り付けられる機器の記憶部に記憶されていてもよいし、不図示のサーバに記憶されていてもよい。また、このとき、制御部123は、ユーザが手に取った商品に関する情報を表示部103に表示するようにしてもよい。例えば、ユーザが本を手にとった場合、制御部123は、本の作者、出版社、価格、発効日、シリーズの有無などについて、表示部103に表示してもよい。また、ユーザが食料品を手に取った場合、制御部123は、食料品の産地、メーカ、成分、内容量等、食料品に関する情報を表示部103に表示するようにしてもよい。なお、当該商品に関する情報は、商品に取り付けられた機器が備える記憶部に記憶されていてもよいし、サーバの記憶部に記憶されていてもよい。
また、上記第3の実施形態を、自動車に適用してもよい。例えば、ユーザが自動車のハンドルを握ることにより、装着装置10と自動車との間で人体通信が成立した場合に、ユーザの視線を運転に関する情報に誘導するようにしてもよい。運転に関する情報とは、例えば、経路情報、交通情報、歩行者情報、制限速度情報等である。
なお、上記第1〜第3の実施形態において、装着装置10は、眼鏡型の端末ではなくてもよい。例えば、体の任意の位置に装着可能な装着型端末であってもよく、その機能の一部が分離していてもよい。一例を挙げると、表示部を備えたコンタクトレンズ型の端末として、他の機能を腕時計型の端末に持たせるようにしてもよい。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置(CPU)が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体(ただし、搬送波は除く)に記録しておくことができる。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
上述した各実施形態は本発明の好適な実施の例であり、適宜組み合わせることができる。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
10 装着装置
101 撮像部
103 表示部
113 視線検出部
115 瞳検出部
117 生体センサ
121 通信部
123 制御部

Claims (7)

  1. 撮影部と、
    ユーザに関する情報に基づいて、前記撮影部により撮影された画像からユーザが注目する対象を決定する決定部と、
    前記決定部が決定した前記対象にユーザの視線を誘導する視線誘導部と、
    を備える電子機器。
  2. 前記撮影部は、前記ユーザに装着される請求項1に記載の電子機器。
  3. 前記ユーザに関する情報は、ユーザの行動履歴情報、前記撮影部が撮影した画像から取得されるユーザが注目した情報、ユーザが入力した情報、ユーザが外部機器に入力した情報のうち少なくとも1つである請求項1または2記載の電子機器。
  4. 前記ユーザが保持している物品を検出する物品検出部を備え、
    前記決定部は、前記物品検出部が検出した物品に基づいて、前記ユーザが注目する対象を決定する請求項1から3のいずれか一項に記載の電子機器。
  5. 前記物品検出部は、前記ユーザが保持している物品と近接通信又は人体通信を行うことにより、前記物品を検出する請求項4記載の電子機器。
  6. 前記ユーザの視線の方向を検出する視線検出部、又は、前記視線検出部及び前記ユーザの身体の変化を検出する検出部を有し、前記撮影部が撮影した画像においてユーザが注目した情報を取得する取得部を備える請求項3に記載の電子機器。
  7. 前記ユーザが注目する対象に関する情報を報知する報知部を備える請求項1から6のいずれか一項記載の電子機器。
JP2014069786A 2014-03-28 2014-03-28 電子機器 Pending JP2015191554A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014069786A JP2015191554A (ja) 2014-03-28 2014-03-28 電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014069786A JP2015191554A (ja) 2014-03-28 2014-03-28 電子機器

Publications (1)

Publication Number Publication Date
JP2015191554A true JP2015191554A (ja) 2015-11-02

Family

ID=54425966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014069786A Pending JP2015191554A (ja) 2014-03-28 2014-03-28 電子機器

Country Status (1)

Country Link
JP (1) JP2015191554A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017058945A (ja) * 2015-09-16 2017-03-23 ヤフー株式会社 情報処理システム、携帯端末、サーバ装置、情報処理方法及びプログラム
JPWO2017104198A1 (ja) * 2015-12-14 2018-09-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020009071A (ja) * 2018-07-05 2020-01-16 富士通株式会社 ログ情報収集プログラム、ログ情報収集方法及び情報処理装置
JP2020027390A (ja) * 2018-08-10 2020-02-20 日本電信電話株式会社 注意対象推定装置及び注意対象推定方法
JP2021007019A (ja) * 2016-06-13 2021-01-21 ソニー・インタラクティブエンタテインメント エルエルシー 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017058945A (ja) * 2015-09-16 2017-03-23 ヤフー株式会社 情報処理システム、携帯端末、サーバ装置、情報処理方法及びプログラム
US9971402B2 (en) 2015-09-16 2018-05-15 Yahoo Japan Corporation Information processing system, mobile terminal, server apparatus, method for processing information, and non-transitory computer readable storage medium
JPWO2017104198A1 (ja) * 2015-12-14 2018-09-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11042743B2 (en) 2015-12-14 2021-06-22 Sony Corporation Information processing device, information processing method, and program for preventing deterioration of visual recognition in a scene
JP2021007019A (ja) * 2016-06-13 2021-01-21 ソニー・インタラクティブエンタテインメント エルエルシー 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
JP7249975B2 (ja) 2016-06-13 2023-03-31 ソニー・インタラクティブエンタテインメント エルエルシー 位置に基づくゲームプレイコンパニオンアプリケーションへユーザの注目を向ける方法及びシステム
JP2020009071A (ja) * 2018-07-05 2020-01-16 富士通株式会社 ログ情報収集プログラム、ログ情報収集方法及び情報処理装置
JP7247480B2 (ja) 2018-07-05 2023-03-29 富士通株式会社 ログ情報収集プログラム、ログ情報収集方法及び情報処理装置
JP2020027390A (ja) * 2018-08-10 2020-02-20 日本電信電話株式会社 注意対象推定装置及び注意対象推定方法

Similar Documents

Publication Publication Date Title
KR102039427B1 (ko) 스마트 글라스
US9563057B2 (en) Eyewear type terminal and control method thereof
US9900498B2 (en) Glass-type terminal and method for controlling the same
US9317113B1 (en) Gaze assisted object recognition
JP5734910B2 (ja) 情報提供システムおよび情報提供方法
KR102275653B1 (ko) 웨어러블 디바이스 및 컨텐츠 전송 방법.
KR20160128119A (ko) 이동 단말기 및 이의 제어방법
KR20150082841A (ko) 이동 단말기 및 그 제어 방법
KR20150129546A (ko) 안경형 단말기와 그 안경형 단말기의 제어 방법
KR101631999B1 (ko) 이동 단말기 및 그 제어 방법
KR20170025413A (ko) 이동 단말기 및 그 제어 방법
JP2015191554A (ja) 電子機器
KR20160015972A (ko) 웨어러블 디바이스 및 그 제어 방법
KR20170071347A (ko) 이동단말기 및 그 제어방법
US10747490B2 (en) Method and device for displaying an image transmitted from a wearable device
KR20180000603A (ko) 이동 단말기 및 그 제어방법
US10429939B2 (en) Apparatus for projecting image and method for operating same
CN108881979B (zh) 信息处理方法、装置、移动终端及存储介质
KR20180085388A (ko) 계산서 처리 방법, 장치 및 단말 디바이스
CN108280434A (zh) 显示信息的方法和装置
CN108141491A (zh) 移动终端控制装置及控制方法
KR20160023208A (ko) 미러 디스플레이 장치 및 그의 동작 방법
JP2016115125A (ja) ウェアラブル検索システム
CN105912202A (zh) 应用分享方法及装置
CN108491839A (zh) 信息获取方法及装置