JP2017216660A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2017216660A
JP2017216660A JP2016110955A JP2016110955A JP2017216660A JP 2017216660 A JP2017216660 A JP 2017216660A JP 2016110955 A JP2016110955 A JP 2016110955A JP 2016110955 A JP2016110955 A JP 2016110955A JP 2017216660 A JP2017216660 A JP 2017216660A
Authority
JP
Japan
Prior art keywords
information
user
unit
companion
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016110955A
Other languages
English (en)
Inventor
荘太 松澤
Sota Matsuzawa
荘太 松澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016110955A priority Critical patent/JP2017216660A/ja
Priority to PCT/JP2017/018813 priority patent/WO2017208853A1/ja
Publication of JP2017216660A publication Critical patent/JP2017216660A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Image Analysis (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】ユーザの視線方向に存在する同伴者を高精度で特定することができるようにする。
【解決手段】広角カメラは、グラス型ウェアラブルデバイスのユーザの視線方向に存在する人物である同伴者を特定する際に用いられる同伴者特定情報を取得する。通信部は、グラス型ウェアラブルデバイスと近接通信可能なスマートフォンのユーザを特定するユーザ特定情報を取得する。同伴者特定部は、広角カメラにより取得された同伴者特定情報と、通信部により取得されたユーザ特定情報とに基づいて、同伴者を特定する。本開示は、例えば、情報処理システム等に適用することができる。
【選択図】図2

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、ユーザの視線方向に存在する同伴者を高精度で特定することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
ユーザの行動を邪魔しない最適なタイミングで、ユーザが現在興味のある内容を提示するために、現在のユーザの状況を示すコンテキスト情報を取得する端末装置がある。コンテキスト情報には、例えば、ユーザの視線方向に存在する、ユーザの関心がある人物である同伴者を特定する情報がある。
同伴者を特定する方法としては、例えば、GNSS(Global Navigation Satellite System)の位置情報に基づいて、自分の端末装置の周辺に存在する端末装置である周辺端末装置のユーザを同伴者として特定する方法がある。
しかしながら、ビル街や屋内ではGNSSの位置情報の精度が悪いため、位置情報からは、自分の端末装置と他の端末装置が数100m程度の範囲内に存在するかどうかを判定することしかできない。従って、同伴者ではない、自分の端末装置から数100m程度の範囲内に偶然存在した人物(例えば、偶然同一のビルで食事をしていた人物)も、同伴者として特定されてしまう。
そこで、Bluetooth(登録商標)の受信電波強度を利用した近接通信により、近接通信可能な周辺端末装置のユーザを同伴者として特定する方法もある。この場合、自分の端末装置と近接している人物のみを同伴者として特定することができる。しかしながら、この方法であっても、同伴者ではない、偶然自分の端末装置と近接している人物、即ちユーザの視線方向には存在しない人物(例えば、ユーザと対面していない人物)も、同伴者として特定されてしまう。
一方、ユーザの顔画像や動きに基づいて、撮影画像内の被写体からユーザを特定する情報処理装置がある(例えば、特許文献1参照)。
特開2013−207356号公報
以上のように、従来の方法では、ユーザの視線方向に存在する同伴者を高精度で特定することができなかった。
本開示は、このような状況に鑑みてなされたものであり、ユーザの視線方向に存在する同伴者を高精度で特定することができるようにするものである。
本開示の一側面の情報処理装置は、自分の情報処理装置のユーザの視線方向に存在する人物である同伴者を特定する際に用いられる同伴者特定情報を取得する同伴者特定情報取得部と、前記自分の情報処理装置と近接通信可能な他の情報処理装置のユーザを特定するユーザ特定情報を取得するユーザ特定情報取得部と、前記同伴者特定情報取得部により取得された前記同伴者特定情報と、前記ユーザ特定情報取得部により取得された前記ユーザ特定情報とに基づいて、前記同伴者を特定する同伴者特定部とを備える情報処理装置である。
本開示の一側面の情報処理方法およびプログラムは、本開示の一側面の情報処理装置に対応する。
本開示の一側面においては、自分の情報処理装置のユーザの視線方向に存在する人物である同伴者を特定する際に用いられる同伴者特定情報が取得され、前記自分の情報処理装置と近接通信可能な他の情報処理装置のユーザを特定するユーザ特定情報が取得され、前記同伴者特定情報と前記ユーザ特定情報とに基づいて、前記同伴者が特定される。
本開示の一側面によれば、ユーザの視線方向に存在する同伴者を高精度で特定することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
情報処理システムの第1実施の形態の概要を示す図である。 図1の情報処理システムの構成例を示すブロック図である。 第1実施の形態における登録処理を説明するフローチャートである。 撮影画面の例を示す図である。 第1実施の形態におけるユーザ情報取得処理を説明するフローチャートである。 第1実施の形態における同伴者特定処理を説明するフローチャートである。 本開示を適用した情報処理システムの第2実施の形態の構成例を示すブロック図である。 第2実施の形態における登録処理を説明するフローチャートである。 第2実施の形態における同伴者特定処理を説明するフローチャートである。 本開示を適用した情報処理システムの第3実施の形態の第1の構成例を示すブロック図である。 第3実施の形態における同伴者特定処理を説明するフローチャートである。 本開示を適用した情報処理システムの第3実施の形態の第2の構成例を示すブロック図である。 本開示を適用した情報処理システムの第4実施の形態の構成例を示すブロック図である。 第4実施の形態における同伴者特定処理を説明するフローチャートである。 本開示を適用した情報処理システムの第5実施の形態の構成例を示すブロック図である。 第5実施の形態における登録処理を説明するフローチャートである。 服装情報入力画面の例を示す図である。 第5実施の形態における同伴者特定処理を説明するフローチャートである。 服装画像の撮影を説明する図である。 コンピュータのハードウエアの構成例を示すブロック図である。
以下、本開示を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1実施の形態:情報処理システム(図1乃至図6)
2.第2実施の形態:情報処理システム(図7乃至図9)
3.第3実施の形態:情報処理システム(図10乃至図12)
4.第4実施の形態:情報処理システム(図13および図14)
5.第5実施の形態:情報処理システム(図15乃至図19)
6.第6実施の形態:コンピュータ(図20)
<第1実施の形態>
(情報処理システムの第1実施の形態の概要)
図1は、情報処理システムの第1実施の形態の概要を示す図である。
図1の例では、情報処理システム10は、ユーザaが装着するグラス型ウェアラブルデバイス11と、ユーザb乃至dが所持するスマートフォン12−1乃至12−3を含むように構成される。ユーザa乃至dは、例えば同一のパーティ会場にいる。
図1Aに示すように、例えば、ユーザa乃至dが互いに近づき、グラス型ウェアラブルデバイス11がスマートフォン12−1乃至12−3と近接通信可能な範囲内に存在するようになると、グラス型ウェアラブルデバイス11は、スマートフォン12−1乃至12−3がBluetooth(登録商標)を用いてブロードキャストしている、ユーザb乃至dのユーザ情報の取得先を取得する。
ユーザ情報とは、ユーザのプロフィール情報、ユーザを特定するユーザ特定情報としての顔画像などを含む、ユーザにより事前に登録される情報である。グラス型ウェアラブルデバイス11は、ユーザ情報の取得先に基づいて、図示せぬサーバからユーザ情報を取得し、一時的に保持する。また、グラス型ウェアラブルデバイス11は、ユーザaの視線方向の画像の撮影を開始する。
その後、図1Bに示すように、ユーザcが、ユーザaにさらに近づき、会話を始めると、ユーザcは、ユーザaの視線方向の画像内に存在するようになる。従って、グラス型ウェアラブルデバイス11は、ユーザb乃至dのユーザ情報に含まれる各顔画像の特徴量と、視線方向の画像内の顔領域の特徴量との類似度を求め、最も類似している顔画像に対応するユーザcを、ユーザaの同伴者に特定する。そして、グラス型ウェアラブルデバイス11は、ユーザcのユーザ情報に含まれるユーザcのプロフィール情報を一定時間表示する。
その後、図1Cに示すように、ユーザaとユーザcの会話が終わり、ユーザcがユーザaから離れ、スマートフォン12−2がグラス型ウェアラブルデバイス11と近接通信可能な範囲外に移動すると、グラス型ウェアラブルデバイス11は、スマートフォン12−2を所持するユーザcのユーザ情報を削除する。
(情報処理システムの第1実施の形態の構成例)
図2は、図1の情報処理システム10の構成例を示すブロック図である。
図2の情報処理システム10は、グラス型ウェアラブルデバイス11、グラス型ウェアラブルデバイス11と近接通信可能な範囲に存在するN個(Nは1以上の整数)のスマートフォン12−1乃至12−N、およびSNS(Social Networking Service)サーバ13により構成される。
なお、スマートフォン12−1乃至12−Nは、SNSアプリ―ケーションを起動している。また、スマートフォン12−1乃至12−Nは同様の構成を有するので、以下では、スマートフォン12−1乃至12−Nを特に区別する必要がない場合、それらをまとめてスマートフォン12という。
情報処理システム10のグラス型ウェアラブルデバイス11は、近接通信部31、制御部32、通信部33、記憶部34、接眼IRカメラ35、赤外線LED36、視線方向推定部37、広角カメラ38、同伴者特定部39、表示制御部40、および透過ディスプレイ41により構成される。
グラス型ウェアラブルデバイス11は、スマートフォン12と近接通信可能な範囲、即ちスマートフォン12のBluetoothビーコンの検知範囲内に存在する。従って、グラス型ウェアラブルデバイス11の近接通信部31は、各スマートフォン12のBluetoothビーコンから、Bluetooth(登録商標)を用いてブロードキャストされるアドバタイジングパケットを受信する。このアドバタイジングパケットのURLフィールドには、送信元のスマートフォン12のユーザのユーザ情報の取得先として、SNSサーバ13内のユーザ情報の記憶位置を示すURLが記述されている。近接通信部31は、このURLを制御部32に供給する。
その後、近接通信部31は、各スマートフォン12がグラス型ウェアラブルデバイス11と近接通信可能な範囲外に存在するようになったかどうか、即ち各スマートフォン12のBluetoothビーコンからアドバタイジングパケットが受信不可能になったかどうかを検出する。そして、近接通信部31は、検出結果を制御部32に供給する。
制御部32は、近接通信部31から供給されるURLを通信部33に供給し、そのURLに応じて通信部33から供給されるユーザ情報を記憶部34に供給して一時的に記憶させる。さらに、制御部32は、近接通信部31から供給される検出結果に基づいて、グラス型ウェアラブルデバイス11と近接通信可能な範囲外に存在するようになったスマートフォン12のユーザのユーザ情報を記憶部34に削除させる。
通信部33は、制御部32から供給されるURLに基づいて、そのURLに記憶されているユーザ情報をSNSサーバ13に要求するユーザ情報送信リクエストを、インターネットなどを介してSNSサーバ13に送信する。通信部33(ユーザ特定情報取得部)は、ユーザ情報送信リクエストに応じて、SNSサーバ13から送信されてくるユーザ情報を受信(取得)し、制御部32に供給する。
記憶部34は、制御部32から供給されるユーザ情報を一時的に記憶する。また、記憶部34は、制御部32の制御により、記憶しているユーザ情報を削除する。
接眼IRカメラ35は、視線方向推定部37の制御により、赤外線LED(Light Emitting Diode)36がグラス型ウェアラブルデバイス11のユーザの眼球に赤外光を照射しているときに、その眼球の画像を撮影する。接眼IRカメラ35は、眼球の画像を視線方向推定部37に供給する。赤外線LED36は、視線方向推定部37の制御により、グラス型ウェアラブルデバイス11のユーザの眼球に赤外光を照射する。
視線方向推定部37は、赤外線LED36を制御してグラス型ウェアラブルデバイス11のユーザの眼球に赤外光を照射させるとともに、接眼IRカメラ35を制御して、その眼球の画像を撮影させる。視線方向推定部37は、接眼IRカメラ35から供給される眼球の画像からプルキニエ像と瞳孔中心を取得し、角膜反射法を利用して視線方向を推定する。視線方向推定部37は、視線方向に基づいて広角カメラ38を制御し、広角カメラ38に視線方向の画像を撮影させる。
広角カメラ38(同伴者特定情報取得部)は、視線方向推定部37の制御により、グラス型ウェアラブルデバイス11のユーザの視線方向の画像を撮影(取得)し、その画像を同伴者特定部39に供給する。
同伴者特定部39は、広角カメラ38から供給される画像から顔領域を、同伴者を特定する際に用いられる同伴者特定情報として抽出し、顔領域の特徴量を抽出する。また、同伴者特定部39は、記憶部34に記憶されている全てのユーザ情報に含まれる顔画像を読み出し、各顔画像の特徴量を抽出する。同伴者特定部39は、抽出された顔領域の特徴量と各顔画像の特徴量との類似度を求める。本明細書では、類似度は、類似しているほど大きい値であるものとする。
同伴者特定部39は、最も大きい類似度が閾値より大きい場合、スマートフォン12のユーザのうちの、最も大きい類似度に対応するユーザを同伴者として特定する。同伴者特定部39は、記憶部34に記憶されている同伴者のユーザ情報に含まれるプロフィール情報を読み出し、表示制御部40に供給する。
表示制御部40は、同伴者特定部39から供給されるプロフィール情報を透過ディスプレイ41に供給して表示させる。透過ディスプレイ41は、表示制御部40から供給されるプロフィール情報を表示する。
スマートフォン12は、登録処理部51、表示制御部52、表示部53、可視光カメラ54、入力部55、通信部56、記憶部57、および近接通信部58により構成される。
登録処理部51は、入力部55から供給される指令がユーザ情報の登録開始の指令である場合、ユーザ情報を登録するための画面の表示を表示制御部52に指令する。また、登録処理部51は、入力部55から供給される指令が撮影の開始の指令である場合、可視光カメラ54を制御して可視光カメラ54に撮影を行わせる。登録処理部51は、その結果可視光カメラ54から供給されるスマートフォン12のユーザの顔画像を取得する。さらに、登録処理部51は、入力部55から入力されるプロフィール情報を取得する。登録処理部51は、スマートフォン12のユーザの顔画像とプロフィール情報からなるユーザ情報を通信部56に供給する。
表示制御部52は、登録処理部51から供給される指令に応じて、ユーザ情報を登録するための画面を生成し、表示部53に供給して表示させる。表示部53は、表示制御部52から供給される画面を表示する。
可視光カメラ54は、グラス型ウェアラブルデバイス11の広角カメラ38と同一の種類の取得部、即ち可視光の画像を撮影する撮影部である。可視光カメラ54は、登録処理部51の制御にしたがって、スマートフォン12のユーザの顔画像を撮影し、その顔画像を登録処理部51に供給する。
入力部55は、マイクロフォン、表示部53上に設けられるタッチパネルなどにより構成される。入力部55は、ユーザからの指令や入力を受け付け、その指令や入力を登録処理部51に供給する。
通信部56は、登録処理部51から供給されるユーザ情報の登録を要求するユーザ情報登録リクエストを、インターネットなどを介してSNSサーバ13に送信する。通信部56は、ユーザ情報登録リクエストに応じてSNSサーバ13から送信されてくるユーザ情報のURLを受信する。通信部56は、ユーザ情報のURLを記憶部57に供給し、記憶させる。記憶部57は、通信部56から供給されるURLを記憶する。
近接通信部58は、Bluetoothビーコンを有する。近接通信部58は、記憶部57からユーザ情報のURLを読み出し、予め規定されたデータフォーマットにしたがってURLフィールドにユーザ情報のURLを記述したアドバタイズパケットを生成する。近接通信部58は、Bluetoothビーコンにより、生成されアドバタイズパケットを、Bluetoothビーコンの検知範囲内に存在するグラス型ウェアラブルデバイス11にブロードキャストする。
SNSサーバ13は、通信部61、リクエスト処理部62、およびDB(Database)63により構成される。
SNSサーバ13の通信部61は、スマートフォン12の通信部56から送信されてくるユーザ情報登録リクエストを受信し、リクエスト処理部62に供給する。また、通信部61は、リクエスト処理部62から供給されるユーザ情報のURLを、インターネットなどを介してスマートフォン12に送信する。
また、通信部61は、グラス型ウェアラブルデバイス11の通信部33から送信されてくるユーザ情報送信リクエストを受信し、リクエスト処理部62に供給する。また、通信部61は、リクエスト処理部62から供給されるユーザ情報を、インターネットなどを介してグラス型ウェアラブルデバイス11に送信する。
リクエスト処理部62は、通信部61から供給されるユーザ情報登録リクエストを解析し、ユーザ情報登録リクエストが登録を要求するユーザ情報を取得する。リクエスト処理部62は、そのユーザ情報のURLを決定し、通信部61に供給する。また、リクエスト処理部62は、ユーザ情報をDB63に供給し、そのユーザ情報のURLに対応付けて記憶させる。
また、リクエスト処理部62は、通信部61から供給されるユーザ情報送信リクエストを解析し、ユーザ情報送信リクエストが送信を要求するユーザ情報のURLを取得する。リクエスト処理部62は、そのURLをDB63に供給し、そのURLに対応付けて記憶されるユーザ情報を読み出す。リクエスト処理部62は、読み出されたユーザ情報を通信部61に供給する。
DB63は、リクエスト処理部62から供給されるユーザ情報を、そのユーザ情報のURLに対応付けて記憶する。
なお、本明細書では、視線方向は角膜反射法を用いて推定されるが、視線方向の推定方法は角膜反射法に限定されない。例えば、眼球周辺の電位分布を求める眼球モデルに基づいて視線方向を推定する方法などを用いて推定されるようにしてもよい。
(登録処理の説明)
図3は、スマートフォン12の登録処理を説明するフローチャートである。この登録処理は、例えば、スマートフォン12のユーザが入力部55を用いてユーザ情報の登録を指令し、その指令に応じて登録処理部51が表示制御部52にユーザ情報を登録するための画面の表示を指令したとき、開始される。
図3のステップS11において、スマートフォン12の表示制御部52は、登録処理部51からの指令に応じて、i枚目の顔画像の撮影を案内する撮影画面を生成し、表示部53に表示させる。なお、iは、最初のステップS11の処理では1である。ユーザは、撮影画面を見ながら、所望のタイミングで入力部55を用いて撮影を指令する。入力部55は、撮影の指令を受け付けると、その指令を登録処理部51に供給する。
ステップS12において、登録処理部51は、入力部55から撮影の指令が供給されたかどうかを判定する。ステップS12で撮影の指令がまだ供給されていないと判定された場合、登録処理部51は、撮影の指令が供給されるまで待機する。
一方、ステップS12で撮影の指令が供給されたと判定された場合、登録処理部51は、可視光カメラ54に撮影を指令する。そして、ステップS13において、可視光カメラ54は、スマートフォン12のユーザの顔画像を撮影する。
ステップS14において、登録処理部51は、所定の枚数の顔画像が撮影されたかどうかを判定する。ステップS14で所定の枚数の顔画像がまだ撮影されていないと判定された場合、登録処理部51は、iを1だけインクリメントして、表示制御部52にi枚目の顔画像の撮影画面の表示を指令し、処理をステップS11に戻す。そして、所定の枚数の顔画像が撮影されるまで、ステップS11乃至S14の処理が繰り返される。
一方、ステップS14で所定の枚数の顔画像が撮影されたと判定された場合、ステップS15において、登録処理部51は、入力部55から顔画像の登録の指令が供給されたかどうかを判定する。
ステップS15で顔画像の登録の指令が供給されていないと判定された場合、登録処理部51は、iを1に戻し、表示制御部52にi枚目の顔画像の撮影画面の表示を指令し、処理をステップS11に戻す。そして、入力部55から登録処理部51へ顔画像の登録の指令が供給されるまで、ステップS11乃至S15の処理が繰り返される。
一方、ステップS15で顔画像の登録の指令が供給されたと判定された場合、登録処理部51は、その顔画像を保持して、プロフィール情報を入力するためのプロフィール情報入力画面の表示を表示制御部52に指令し、処理をステップS16に進める。
ステップS16において、表示制御部52は、登録処理部51からの指令に応じてプロフィール情報入力画面を生成し、表示部53に表示させる。ユーザは、プロフィール情報入力画面を見ながら入力部55を用いてプロフィール情報を入力する。入力部55は、そのプロフィール情報を登録処理部51に供給する。
ステップS17において、登録処理部51は、入力部55からプロフィール情報が入力されたかどうかを判定する。ステップS17でプロフィール情報が入力されていないと判定された場合、登録処理部51は、プロフィール情報が入力されるまで待機する。
一方、ステップS17でプロフィール情報が入力されたと判定された場合、登録処理部51は、そのプロフィール情報を取得する。そして、登録処理部51は、保持しているユーザの顔画像とプロフィール情報からなるユーザ情報を通信部56に供給する。
ステップS18において、通信部56は、登録処理部51から供給されるユーザ情報の登録を要求するユーザ情報登録リクエストを、インターネットなどを介してSNSサーバ13に送信する。
ステップS19において、通信部56は、ユーザ情報登録リクエストに応じてSNSサーバ13から送信されてくるユーザ情報のURLを受信する。ステップS20において、通信部56は、受信されたユーザ情報のURLを記憶部57に供給して記憶させる。
(撮影画面の例)
図4は、撮影画面の例を示す図である。
図4の例では、撮影する顔画像の枚数は5枚である。また、5枚の顔画像の撮影方向は、スマートフォン12のユーザの左耳方向、左斜め前方向、正面方向、右斜め前方向、および右耳方向である。
この場合、1枚目の顔画像の撮影画面は、図4に示すように、例えば「左耳の方向から撮影します 用意できたらOKと言ってください」という撮影を案内するメッセージと、撮影方向として左耳方向を示す撮影方向情報81Aとを含む撮影画面81である。ユーザは、撮影画面81を見て左耳方向にスマートフォン12を配置する。そして、ユーザは、「OK」という音声を入力部55のマイクロフォンに発することにより、1枚目の顔画像の撮影を指令する。その結果、左耳方向の顔画像が撮影される。
また、2枚目の顔画像の撮影画面は、例えば、「左斜め前から撮影します 用意できたらOKと言ってください」という撮影を案内するメッセージと、撮影方向として左斜め前方向を示す撮影方向情報82Aとを含む撮影画面82である。ユーザは、撮影画面82を見て左斜め前方向にスマートフォン12を配置する。そして、ユーザは、「OK」という音声を入力部55のマイクロフォンに発することにより、2枚目の顔画像の撮影を指令する。その結果、左斜め前方向の顔画像が撮影される。
図示は省略するが、3枚目以降の顔画像の撮影画面も、1枚目および2枚目の顔画像の撮影画面と同様に、撮影を案内するメッセージと撮影方向情報を含む。
以上のような撮影画面が表示され、5枚の顔画像が撮影されると、表示制御部52は、顔画像の登録を確認する顔画像登録画面83を生成し、表示部53に表示させる。顔画像登録画面83は、撮影された5枚の顔画像からなる顔画像群83A、「撮影が完了しました 登録しますか?」というメッセージ、および顔画像の登録を指令するためのOKボタン83Bにより構成される。
ユーザは、顔画像群83Aが所望の顔画像群である場合、OKボタン83Bの上の入力部55のタッチパネルを操作することにより、顔画像群83Aの登録を指令する。
以上のように、表示制御部52は、撮影画面を表示部53に表示させるので、スマートフォン12のユーザは、各撮影方向の顔画像を容易に撮影することができる。また、図4の例では、正面方向以外の方向の顔画像も撮影されるので、グラス型ウェアラブルデバイス11は、正面方向以外の方向から同伴者を撮影する場合であっても、精度良く同伴者を特定することができる。
なお、スマートフォン12は、慣性センサを備え、慣性センサにより検出された初期位置からの撮影位置の相対角度に基づいて撮影方向が正しいかどうかを判定し、正しくない場合にユーザに撮影のやり直しを求めるようにしてもよい。
(ユーザ情報取得処理の説明)
図5は、情報処理システム10のユーザ情報取得処理を説明するフローチャートである。
図5のステップS31において、スマートフォン12の近接通信部58は、Bluetoothビーコンにより、アドバタイズパケットを、Bluetoothビーコンの検知範囲内に存在するグラス型ウェアラブルデバイス11にブロードキャストする。
ステップS41において、グラス型ウェアラブルデバイス11の近接通信部31は、近接通信部58からブロードキャストされるアドバタイジングパケットを受信する。ステップS42において、近接通信部31は、受信されたアドバタイジングパケットのURLフィールドに含まれるユーザ情報のURLを取得し、制御部32を介して通信部33に供給する。
ステップS43において、通信部33は、制御部32から供給されるURLに基づいて、そのURLに記憶されているユーザ情報をSNSサーバ13に要求するユーザ情報送信リクエストを、インターネットなどを介してSNSサーバ13に送信する。
ステップS51において、SNSサーバ13の通信部61は、通信部33から送信されてくるユーザ情報送信リクエストを受信し、リクエスト処理部62に供給する。ステップS52において、リクエスト処理部62は、通信部61から供給されるユーザ情報送信リクエストを解析し、ユーザ情報送信リクエストが送信を要求するユーザ情報のURLを取得する。
ステップS53において、リクエスト処理部62は、ステップS52で取得されたURLをDB63に供給し、そのURLに対応付けて記憶されるユーザ情報を読み出す。リクエスト処理部62は、読み出されたユーザ情報を通信部61に供給する。ステップS54において、通信部61は、リクエスト処理部62から供給されるユーザ情報を、インターネットなどを介してグラス型ウェアラブルデバイス11に送信する。
ステップS44において、グラス型ウェアラブルデバイス11の通信部33は、通信部61から送信されてくるユーザ情報を取得し、制御部32に供給する。ステップS45において、制御部32は、通信部33から供給されるユーザ情報を記憶部34に供給して一時的に記憶させる。ステップS46において、近接通信部31は、近接通信部58のBluetoothビーコンからアドバタイジングパケットが受信できるかどうかを判定し、判定結果を制御部32に供給する。
ステップS46でアドバタイジングパケットが受信できると判定された場合、制御部32は、アドバタイジングパケットが受信できなくなるまで待機する。一方、ステップS46でアドバタイジングパケットが受信できないと判定された場合、ステップS47において、制御部32は、記憶部34を制御し、スマートフォン12のユーザのユーザ情報を記憶部34から削除する。そして、処理は終了する。
(同伴者特定処理の説明)
図6は、グラス型ウェアラブルデバイス11の同伴者特定処理を説明するフローチャートである。
図6のステップS70において、視線方向推定部37は、赤外線LED36と接眼IRカメラ35を制御して、グラス型ウェアラブルデバイス11のユーザの眼球の画像を撮影し、角膜反射法を利用して視線方向を推定する。
ステップS71において、広角カメラ38は、視線方向に基づく視線方向推定部37の制御により、視線方向の画像を撮影し、その画像を同伴者特定部39に供給する。ステップS72において、同伴者特定部39は、広角カメラ38から供給される画像に顔領域が存在するかどうかを判定する。ステップS72で顔領域が存在すると判定された場合、即ち同伴者が存在する場合、処理はステップS73に進む。
ステップS73において、同伴者特定部39は、広角カメラ38から供給される画像から顔領域を抽出する。ステップS74において、同伴者特定部39は、顔領域の特徴量を抽出する。
ステップS75において、同伴者特定部39は、記憶部34に記憶されている各ユーザ情報に含まれる顔画像を読み出し、その顔画像の特徴量を抽出する。ステップS76において、同伴者特定部39は、抽出された顔領域の特徴量と各顔画像の特徴量との相関値に基づいて類似度を計算する。
ステップS77において、同伴者特定部39は、ステップS76で計算された類似度から最も大きい類似度を選択する。ステップS78において、同伴者特定部39は、ステップS77で選択された最も大きい類似度が閾値より大きいかどうかを判定する。
ステップS78で最も大きい類似度が閾値より大きいと判定された場合、ステップS79において、同伴者特定部39は、スマートフォン12のユーザのうちの、最も大きい類似度に対応するユーザを同伴者として特定する。そして、同伴者特定部39は、記憶部34に記憶されている同伴者のユーザ情報に含まれるプロフィール情報を読み出し、表示制御部40に供給する。
ステップS80において、表示制御部40は、同伴者特定部39から供給される同伴者のプロフィール情報を透過ディスプレイ41に供給して表示させる。
一方、ステップS72で顔領域が存在しないと判定された場合、即ち同伴者が存在しない場合、処理はステップS79およびS80をスキップし、ステップS81に進む。また、ステップS78で最も大きい類似度が閾値より大きくはないと判定された場合、即ち同伴者特定の精度が低い場合、処理はステップS79およびS80をスキップし、ステップS81に進む。
ステップS81において、グラス型ウェアラブルデバイス11は、同伴者特定処理を終了するかどうかを判定する。ステップS81で同伴者特定処理を終了しないと判定された場合、処理はステップS70に戻り、同伴者特定処理を終了すると判定されるまで、ステップS70乃至S81の処理が繰り返される。一方、ステップS81で同伴者特定処理を終了すると判定された場合、処理は終了する。
以上のように、グラス型ウェアラブルデバイス11は、スマートフォン12のユーザの顔画像とグラス型ウェアラブルデバイス11のユーザの視線方向の画像とを取得する。従って、グラス型ウェアラブルデバイス11は、スマートフォン12のユーザの顔画像とグラス型ウェアラブルデバイス11のユーザの視線方向の画像内の顔領域とに基づいて、同伴者を高精度で特定することができる。
また、グラス型ウェアラブルデバイス11は、特定された同伴者のプロフィール情報を表示するので、グラス型ウェアラブルデバイス11のユーザのコミュニケーションを支援することができる。
<第2実施の形態>
(情報処理システムの第2実施の形態の構成例)
図7は、本開示を適用した情報処理システムの第2実施の形態の構成例を示すブロック図である。
図7に示す構成のうち、図2の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図7の情報処理システム100は、グラス型ウェアラブルデバイス11、スマートフォン12−1乃至12−Nの代わりに、グラス型ウェアラブルデバイス101、スマートフォン102が設けられる点が、図2の情報処理システム10の構成と異なる。
なお、スマートフォン102−1乃至102−Nは同様の構成を有するので、以下では、スマートフォン102−1乃至102−Nを特に区別する必要がない場合、それらをまとめてスマートフォン102という。情報処理システム100では、ユーザ特定情報と同伴者特定情報の種類が虹彩画像であり、ユーザ特定情報と同伴者特定情報の取得部の種類が異なる。
具体的には、グラス型ウェアラブルデバイス101の構成は、広角カメラ38、同伴者特定部39の代わりに、超高解像度カメラ131、同伴者特定部132が設けられる点が、図2のグラス型ウェアラブルデバイス11の構成と異なる。
グラス型ウェアラブルデバイス101の超高解像度カメラ131(同伴者情報取得部)は、視線方向推定部37の制御により、視線方向の超高解像度画像を撮影(取得)し、その超高解像度画像を同伴者特定部132に供給する。
同伴者特定部132は、超高解像度カメラ131から供給され超高解像度画像から虹彩領域を同伴者特定情報として抽出し、虹彩領域の特徴量を抽出する。また、同伴者特定部132は、記憶部34に記憶されているユーザ情報にユーザ特定情報として含まれる虹彩画像を読み出し、各虹彩画像の特徴量を抽出する。同伴者特定部132は、抽出された虹彩領域の特徴量と各虹彩画像の特徴量との類似度を求める。同伴者特定部132は、最も大きい類似度が閾値より大きい場合、スマートフォン102のユーザのうちの、最も大きい類似度に対応するユーザを同伴者として特定する。
虹彩画像の特徴量に基づいて人物を特定する方法は、例えば、小林司、藤井明宏、藤根俊夫、「携帯アイリス認証技術」、OKIテクニカルレビュー第210号 Vo.74 No.2、2007年4月,p.58-61に記載されている。同伴者特定部132は、記憶部34に記憶されている同伴者のユーザ情報に含まれるプロフィール情報を読み出し、表示制御部40に供給する。
スマートフォン102の構成は、登録処理部51、可視光カメラ54の代わりに、登録処理部151、IRカメラ152と赤外線LED153が設けられる点を除いて、図2のスマートフォン12の構成と同一である。
スマートフォン102の登録処理部151は、入力部55から供給される指令がユーザ情報の登録開始の指令である場合、ユーザ情報を登録するための画面の表示を表示制御部52に指令する。また、登録処理部151は、入力部55から供給される指令が撮影の開始の指令である場合、赤外線LED153を制御して赤外光を発光させるとともに、IRカメラ152を制御してIRカメラ152に撮影を行わせる。登録処理部151は、その結果IRカメラ152から供給されるスマートフォン102のユーザの虹彩画像を取得する。さらに、登録処理部151は、入力部55から入力されるプロフィール情報を取得する。登録処理部151は、スマートフォン102のユーザの虹彩画像とプロフィール情報からなるユーザ情報を通信部56に供給する。
IRカメラ152は、可視光の画像を撮影する超高解像度カメラ131とは異なる種類の取得部、即ち赤外光の画像を撮影する取得部である。IRカメラ152は、登録処理部151の制御により、赤外線LED153がスマートフォン102のユーザの眼球に赤外光を照射しているときに、スマートフォン102のユーザの虹彩画像をユーザ特定情報として撮影(取得)する。IRカメラ152は、その虹彩画像を登録処理部151に供給する。
赤外線LED153は、登録処理部151の制御により、スマートフォン102のユーザの眼球に赤外光を照射する。
(情報処理システムの処理の説明)
図8は、図7のスマートフォン102の登録処理を説明するフローチャートである。この登録処理は、例えば、スマートフォン102のユーザが入力部55を用いてユーザ情報の登録を指令し、その指令に応じて登録処理部151が表示制御部52にユーザ情報を登録するための画面の表示を指令したとき、開始される。
図8のステップS111において、スマートフォン102の表示制御部52は、登録処理部151からの指令に応じて、虹彩画像の撮影を案内する撮影画面を生成し、表示部53に表示させる。ユーザは、撮影画面を見ながら、所望のタイミングで入力部55を用いて撮影を指令する。入力部55は、撮影の指令を受け付けると、その指令を登録処理部151に供給する。
ステップS112において、登録処理部151は、入力部55から撮影の指令が供給されたかどうかを判定する。ステップS112で撮影の指令がまだ供給されていないと判定された場合、登録処理部151は、撮影の指令が供給されるまで待機する。
一方、ステップS112で撮影の指令が供給されたと判定された場合、登録処理部151は、赤外線LED153に発光を指令するとともに、IRカメラ152に撮影を指令する。そして、ステップS113において、赤外線LED153は、赤外光をスマートフォン102のユーザの眼球に照射する。ステップS114において、IRカメラ152は、スマートフォン102のユーザの虹彩画像を撮影する。
ステップS115において、登録処理部151は、入力部55から虹彩画像の登録の指令が供給されたかどうかを判定する。
ステップS115で虹彩画像の登録の指令が供給されていないと判定された場合、登録処理部151は、表示制御部52に虹彩画像の撮影画面の表示を指令し、処理をステップS111に戻す。そして、入力部55から登録処理部151へ虹彩画像の登録の指令が供給されるまで、ステップS111乃至S115の処理が繰り返される。
一方、ステップS115で虹彩画像の登録の指令が供給されたと判定された場合、登録処理部151は、その虹彩画像を保持して、プロフィール情報入力画面の表示を表示制御部52に指令し、処理をステップS116に進める。
ステップS116乃至S120の処理は、図3のステップS16乃至S20の処理と同様であるので、説明は省略する。
また、図7の情報処理システム100のユーザ情報取得処理は、図5のユーザ情報取得処理と同様であるので、説明は省略する。
図9は、図7のグラス型ウェアラブルデバイス101の同伴者特定処理を説明するフローチャートである。
図9のステップS170において、視線方向推定部37は、赤外線LED36と接眼IRカメラ35を制御して、グラス型ウェアラブルデバイス101のユーザの眼球の画像を撮影し、角膜反射法を利用して視線方向を推定する。
ステップS171において、超高解像度カメラ131は、視線方向に基づく視線方向推定部37の制御により、視線方向の超高解像度画像を撮影し、その超高解像度画像を同伴者特定部132に供給する。
ステップS172において、同伴者特定部132は、超高解像度カメラ131から供給される超高解像度画像に顔領域が存在するかどうかを判定する。ステップS172で顔領域が存在すると判定された場合、即ち同伴者が存在する場合、処理はステップS173に進む。
ステップS173において、同伴者特定部132は、超高解像度カメラ131から供給される超高解像度画像から顔領域を抽出する。ステップS174において、同伴者特定部132は、顔領域から虹彩領域を抽出する。ステップS175において、同伴者特定部132は、虹彩領域の特徴量を抽出する。
ステップS176において、同伴者特定部132は、記憶部34に記憶されている各ユーザ情報に含まれる虹彩画像を読み出し、その虹彩画像の特徴量を抽出する。ステップS177において、同伴者特定部132は、抽出された虹彩領域の特徴量と各虹彩画像の特徴量との相関値に基づいて類似度を計算する。
ステップS178乃至S182の処理は、図6のステップS77乃至S81の処理と同様であるので、説明は省略する。
また、ステップS172で顔領域が存在しないと判定された場合、即ち同伴者が存在しない場合、処理はステップS182に進む。
以上のように、グラス型ウェアラブルデバイス101は、スマートフォン102のユーザの虹彩画像とグラス型ウェアラブルデバイス101のユーザの視線方向の超高解像度画像とを取得する。従って、グラス型ウェアラブルデバイス101は、スマートフォン12のユーザの虹彩画像とグラス型ウェアラブルデバイス101のユーザの視線方向の超高解像度画像内の虹彩領域とに基づいて、同伴者を高精度で特定することができる。
<第3実施の形態>
(情報処理システムの第3実施の形態の第1の構成例)
図10は、本開示を適用した情報処理システムの第3実施の形態の第1の構成例を示すブロック図である。
図10に示す構成のうち、図2の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図10の情報処理システム200は、グラス型ウェアラブルデバイス201、スマートフォン202−1乃至スマートフォン202−N、SNSサーバ203、およびスマートフォン202−1乃至202−Nのそれぞれと同一のユーザにより装着されるウォッチ型ウェアラブルデバイス204−1乃至204−Nにより構成される。
なお、スマートフォン202−1乃至202−Nは同様の構成を有するので、以下では、スマートフォン202−1乃至202−Nを特に区別する必要がない場合、それらをまとめてスマートフォン202という。同様に、ウォッチ型ウェアラブルデバイス204−1乃至204−Nをまとめてウォッチ型ウェアラブルデバイス204という。
情報処理システム200では、ユーザ特定情報と同伴者特定情報の種類が脈波を示す脈波情報であり、ユーザ特定情報と同伴者特定情報が異なる種類の取得部によりリアルタイムで取得される。
具体的には、グラス型ウェアラブルデバイス201の構成は、近接通信部31、制御部32、通信部33、記憶部34、広角カメラ38、同伴者特定部39の代わりに、近接通信部231、制御部232、通信部233、記憶部234、可視光カメラ236、同伴者特定部238が設けられる点、および、スペックル取得部235とレーザ発光部237が新たに設けられる点が、図2のグラス型ウェアラブルデバイス11の構成と異なる。
グラス型ウェアラブルデバイス201の近接通信部231は、近接通信部31と同様に、各スマートフォン202のBluetoothビーコンから、アドバタイジングパケットを受信する。このアドバタイジングパケットのURLフィールドには、送信元のスマートフォン202のユーザのプロフィール情報の取得先として、SNSサーバ203内のプロフィール情報の記憶位置を示すURLが記述されている。近接通信部231は、このURLを制御部232に供給する。
その後、近接通信部231は、近接通信部31と同様に、各スマートフォン202がグラス型ウェアラブルデバイス201と近接通信可能な範囲外に存在するようになったかどうかを検出し、検出結果を制御部232に供給する。
また、近接通信部231は、Bluetoothビーコンを有する。近接通信部231は、Bluetoothビーコンにより、Bluetoothビーコンの検知範囲内に存在するスマートフォン202に、制御部232から供給される、スマートフォン202のユーザの脈波情報を要求する脈波情報リクエストをブロードキャストする。そして、近接通信部231(ユーザ特定情報取得部)は、脈波情報リクエストに応じて各スマートフォン202から送信されてくる脈波情報をユーザ特定情報として受信(取得)し、制御部232に供給する。
制御部232は、近接通信部231から供給されるURLを通信部233に供給し、そのURLに応じて通信部233から供給されるプロフィール情報を取得する。また、制御部232は、脈波情報リクエストを生成して近接通信部231に供給し、近接通信部231から供給される脈波情報を取得する。
制御部232は、各スマートフォン202のユーザのプロフィール情報と脈波情報を対応付けて、記憶部234に供給して一時的に記憶させる。さらに、制御部232は、近接通信部231から供給される検出結果に基づいて、グラス型ウェアラブルデバイス201と近接通信可能な範囲外に存在するようになったスマートフォン202のユーザのプロフィール情報と脈波情報を記憶部234に削除させる。
通信部233は、制御部232から供給されるURLに基づいて、そのURLに記憶されているプロフィール情報をSNSサーバ203に要求するプロフィール情報送信リクエストを、インターネットなどを介してSNSサーバ203に送信する。通信部233は、プロフィール情報送信リクエストに応じて、SNSサーバ203から送信されてくるプロフィール情報を受信し、制御部232に供給する。
記憶部234は、制御部232から供給される各ユーザのプロフィール情報と脈波情報を対応付けて、一時的に記憶する。また、記憶部234は、制御部232の制御により、記憶しているプロフィール情報と脈波情報を削除する。
スペックル取得部235は、可視光カメラ236から供給されるグラス型ウェアラブルデバイス201のユーザの視線方向の画像から、首、唇、額、手の甲などの肌が露出している肌領域を抽出する。スペックル取得部235は、肌領域に基づいてレーザ発光部237を制御することにより、レーザ発光部237に肌に向けてレーザ光を発光させるとともに、可視光カメラ236に肌画像を撮影させる。
スペックル取得部235は、その結果可視光カメラ236から供給される肌画像からスペックルを取得し、そのスペックルから得られる血流データから同伴者の脈波情報(血流波情報)を同伴者特定情報として検出(取得)する。なお、肌画像から血流データを取得する方法は、例えば、http://moor-inst.jp/products/moorflpi-2/moorflpi2-1.htmlに記載されている。スペックル取得部235は、同伴者の脈波情報を同伴者特定部238に供給する。
可視光カメラ236は、視線方向推定部37の制御により、グラス型ウェアラブルデバイス201のユーザの視線方向の画像を撮影し、その画像をスペックル取得部235に供給する。また、可視光カメラ236(同伴者特定情報取得部)は、スペックル取得部235の制御により、レーザ発光部237が肌にレーザ光を発光しているときに、肌画像を撮影し、スペックル取得部235に供給する。レーザ発光部237は、スペックル取得部235の制御により、肌にレーザ光を発光する。
同伴者特定部238は、記憶部234に記憶されている各スマートフォン202のユーザの脈波情報を読み出す。そして、同伴者特定部238は、スペックル取得部235から供給される同伴者の脈波情報と各スマートフォン202のユーザの脈波情報との類似度を求める。具体的には、同伴者特定部238は、同伴者の脈波情報が示す脈波と、各スマートフォン202のユーザの脈波情報が示す脈波の時間のずれを計算し、そのずれの偏差が小さいほど類似度が大きくなるように類似度を求める。
同伴者特定部238は、最も大きい類似度が閾値より大きい場合、スマートフォン202のユーザのうちの、最も大きい類似度に対応するユーザを同伴者として特定する。同伴者特定部238は、記憶部234に記憶されている同伴者のプロフィール情報を読み出し、表示制御部40に供給する。
スマートフォン202の構成は、登録処理部51、表示制御部52、通信部56、近接通信部58の代わりに、登録処理部251、表示制御部252、通信部253、近接通信部254が設けられる点、および、可視光カメラ54が設けられない点が、図2のスマートフォン12の構成と異なる。
登録処理部251は、入力部55から供給される指令がプロフィール情報の登録開始の指令である場合、プロフィール情報を登録するための画面の表示を表示制御部252に指令する。また、登録処理部251は、入力部55から入力されるプロフィール情報を取得する。登録処理部251は、スマートフォン202のプロフィール情報を通信部253に供給する。
表示制御部252は、登録処理部251から供給される指令に応じて、プロフィール情報を登録するための画面を生成し、表示部53に供給して表示させる。
通信部253は、登録処理部251から供給されるプロフィール情報の登録を要求するプロフィール情報登録リクエストを、インターネットなどを介してSNSサーバ203に送信する。通信部253は、プロフィール情報登録リクエストに応じてSNSサーバ203から送信されてくるプロフィール情報のURLを受信する。通信部253は、プロフィール情報のURLを記憶部57に供給し、記憶させる。
近接通信部254は、Bluetoothビーコンを有する。近接通信部254は、記憶部57からプロフィール情報のURLを読み出し、予め規定されたデータフォーマットにしたがってURLフィールドにプロフィール情報のURLを記述したアドバタイズパケットを生成する。近接通信部254は、Bluetoothビーコンにより、生成されアドバタイズパケットを、Bluetoothビーコンの検知範囲内に存在するグラス型ウェアラブルデバイス201にブロードキャストする。
また、近接通信部254は、近接通信部231のBluetoothビーコンからBluetooth(登録商標)を用いてブロードキャストされる脈波情報リクエストを受信する。近接通信部254は、Bluetoothビーコンにより、スマートフォン202のユーザに装着されるウォッチ型ウェアラブルデバイス204に脈波情報リクエストを送信する。近接通信部254は、その脈波情報リクエストに応じてウォッチ型ウェアラブルデバイス204のBluetoothビーコンから送信されてくる脈波情報を受信する。近接通信部254は、Bluetoothビーコンにより、受信された脈波情報を、Bluetoothビーコンの検知範囲内に存在するグラス型ウェアラブルデバイス201にブロードキャストする。
SNSサーバ203は、通信部261、リクエスト処理部262、およびDB263により構成される。
SNSサーバ203の通信部261は、スマートフォン202の通信部253から送信されてくるプロフィール情報登録リクエストを受信し、リクエスト処理部262に供給する。また、通信部261は、リクエスト処理部262から供給されるプロフィール情報のURLを、インターネットなどを介してスマートフォン202に送信する。
また、通信部261は、グラス型ウェアラブルデバイス201の通信部33から送信されてくるプロフィール情報送信リクエストを受信し、リクエスト処理部262に供給する。また、通信部261は、リクエスト処理部262から供給されるプロフィール情報を、インターネットなどを介してグラス型ウェアラブルデバイス201に送信する。
リクエスト処理部262は、通信部261から供給されるプロフィール情報登録リクエストを解析し、プロフィール情報登録リクエストが登録を要求するプロフィール情報を取得する。リクエスト処理部262は、そのプロフィール情報のURLを決定し、通信部261に供給する。また、リクエスト処理部262は、プロフィール情報をDB263に供給し、そのプロフィール情報のURLに対応付けて記憶させる。
また、リクエスト処理部262は、通信部261から供給されるプロフィール情報送信リクエストを解析し、プロフィール情報送信リクエストが送信を要求するプロフィール情報のURLを取得する。リクエスト処理部262は、そのURLをDB263に供給し、そのURLに対応付けて記憶されるプロフィール情報を読み出す。リクエスト処理部262は、読み出されたプロフィール情報を通信部261に供給する。
DB263は、リクエスト処理部262から供給されるプロフィール情報を、そのプロフィール情報のURLに対応付けて記憶する。
ウォッチ型ウェアラブルデバイス204は、近接通信部271と脈波センサ272により構成される。
ウォッチ型ウェアラブルデバイス204の近接通信部271は、ウォッチ型ウェアラブルデバイス204を装着したユーザのスマートフォン202のBluetoothビーコンから送信されてくる脈波情報リクエストを受信する。近接通信部271は、脈波情報リクエストに応じて、ウォッチ型ウェアラブルデバイス204を装着するユーザの脈波情報を脈波センサ272に要求する。また、近接通信部271は、Bluetoothビーコンを有する。近接通信部271は、Bluetoothビーコンにより、脈波センサ272から供給される脈波情報を、Bluetooth(登録商標)を用いてスマートフォン202に送信する。
脈波センサ272は、近接通信部271から供給される要求に応じて、ウォッチ型ウェアラブルデバイス204を装着したユーザの脈波情報の取得を開始し、近接通信部271に供給する。
なお、図10の例では、スペックル取得部235、可視光カメラ236、およびレーザ発光部237により同伴者の脈波情報を取得するが、デプスセンサにより検出されるデプスの時間変化などにより同伴者の脈波情報を取得するようにしてもよい。
(情報処理システムの処理の説明)
図10のスマートフォン202の登録処理は、ユーザ情報およびユーザ情報送信リクエストが、それぞれ、プロフィール情報、プロフィール情報送信リクエストに代わる点を除いて、図3のステップS16乃至S20の処理と同様であるので、説明は省略する。
図10の情報処理システム200のプロフィール情報取得処理は、ユーザ情報およびユーザ情報送信リクエストが、それぞれ、プロフィール情報、プロフィール情報送信リクエストに代わる点を除いて、図5のユーザ情報登録処理と同様であるので、説明は省略する。
図11は、図10の情報処理システム200の同伴者特定処理を説明するフローチャートである。
図11のステップS200において、グラス型ウェアラブルデバイス201の近接通信部231は、Bluetoothビーコンにより、Bluetoothビーコンの検知範囲内に存在する全てのスマートフォン202に脈波情報リクエストをブロードキャストする。
ステップS231において、スマートフォン202の近接通信部254は、グラス型ウェアラブルデバイス201のBluetoothビーコンからブロードキャストされる脈波情報リクエストを受信する。ステップS232において、近接通信部254は、Bluetoothビーコンにより、スマートフォン202のユーザに装着されるウォッチ型ウェアラブルデバイス204に脈波情報リクエストを送信する。
ステップS241において、ウォッチ型ウェアラブルデバイス204の近接通信部271は、ウォッチ型ウェアラブルデバイス204を装着したユーザのスマートフォン202のBluetoothビーコンから送信されてくる脈波情報リクエストを受信する。近接通信部271は、脈波情報リクエストに応じて脈波情報を脈波センサ272に要求する。
ステップS242において、脈波センサ272は、近接通信部271から供給される要求に応じて、ウォッチ型ウェアラブルデバイス204を装着するユーザの脈波情報の取得を開始し、所定の期間だけ脈波情報を取得する。そして、脈波センサ272は、取得された脈波情報を近接通信部271に供給する。ステップS243において、近接通信部271は、脈波センサ272から供給される脈波センサを、Bluetooth(登録商標)を用いてスマートフォン202に送信する。
ステップS233において、スマートフォン202の近接通信部254は、近接通信部271から送信されてくる脈波情報を受信する。
ステップS201およびS202の処理は、図6のステップS70およびS71の処理と同一であるので、説明は省略する。
ステップS203において、スペックル取得部235は、可視光カメラ236から供給される画像に肌領域が存在するかどうかを判定する。ステップS203で肌領域が存在すると判定された場合、即ち同伴者が存在する場合、処理はステップS204に進む。
ステップS204において、スペックル取得部235は、可視光カメラ236から供給される画像から肌領域を抽出する。そして、スペックル取得部235は、肌領域に基づいてレーザ発光部237と可視光カメラ236を制御し、レーザ発光部237に肌に向けてレーザ光を発光させるとともに、可視光カメラ236に肌画像を撮影させる。
ステップS205において、スペックル取得部235は、可視光カメラ236により撮影された肌画像からスペックルを取得する。ステップS206において、スペックル取得部235は、取得されたスペックルから得られる血流データから脈波情報を取得する。
ステップS234において、スマートフォン202の近接通信部254は、Bluetoothビーコンにより、受信された脈波情報を、Bluetoothビーコンの検知範囲内に存在するグラス型ウェアラブルデバイス201にブロードキャストする。
ステップS207において、グラス型ウェアラブルデバイス201の近接通信部231は、スマートフォン202からブロードキャストされた脈波情報を受信する。近接通信部231は、受信されたスマートフォン202のユーザの脈波情報を、制御部232を介して記憶部234に供給し、そのユーザのプロフィール情報に対応付けて一時的に記憶させる。
ステップS208において、同伴者特定部238は、記憶部234に記憶されている各スマートフォン202のユーザの脈波情報を読み出し、スペックル取得部235から供給される同伴者の脈波情報と同期するように同期処理を行う。ステップS209において、同伴者特定部238は、同期処理された同伴者の脈波情報が示す脈波と各スマートフォン202のユーザの脈波情報が示す脈波の時間のずれの偏差に基づいて、ユーザごとに、その偏差が小さいほど類似度が大きくなるように類似度を計算する。
ステップS210乃至S214の処理は、図6のステップS77乃至S81の処理と同様であるので、説明は省略する。また、ステップS203で肌領域が存在しないと判定された場合、即ち同伴者が存在しない場合、処理はステップS214に進む。
以上のように、グラス型ウェアラブルデバイス201は、スマートフォン202のユーザの脈波情報と、グラス型ウェアラブルデバイス201の視線方向の肌画像とを取得する。従って、グラス型ウェアラブルデバイス201は、スマートフォン202のユーザの脈波情報と視線方向の肌画像から得られる脈波情報とに基づいて、同伴者を高精度で特定することができる。
(情報処理システムの第3実施の形態の第2の構成例)
図12は、本開示を適用した情報処理システムの第3実施の形態の第2の構成例を示すブロック図である。
図12に示す構成のうち、図10の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図12の情報処理システム300の構成は、グラス型ウェアラブルデバイス201の代わりにグラス型ウェアラブルデバイス301が設けられる点が、図10の情報処理システム200の構成と異なる。情報処理システム300では、ユーザ特定情報とは異なる種類の情報である、ユーザの視線方向の音声が、同伴者特定情報として取得される。
具体的には、グラス型ウェアラブルデバイス301の構成は、可視光カメラ236、レーザ発光部237、およびスペックル取得部235の代わりに、マイクロフォン331が設けられる点、および、同伴者特定部238の代わりに同伴者特定部332が設けられる点が、図10のグラス型ウェアラブルデバイス201の構成と異なる。
グラス型ウェアラブルデバイス301のマイクロフォン331は、視線方向推定部37の制御により、グラス型ウェアラブルデバイス201のユーザの視線方向の音声を取得し、その音声を同伴者特定部332に供給する。
同伴者特定部332は、記憶部234に記憶されている各スマートフォン202のユーザの脈波情報を読み出す。また、同伴者特定部332は、マイクロフォン331から供給される音声から心音情報を同伴者特定情報として抽出する。そして、同伴者特定部332は、心音情報から脈波情報を復元するモデルにしたがって、抽出された心音情報を脈波情報に変換し、その脈波情報を同伴者の脈波情報とする。即ち、同伴者特定部332(変換部)は、種類が、ユーザ特定情報の種類とは異なり、心音情報である同伴者特定情報を、種類が、ユーザ特定情報と同一の脈波情報である情報に変換する。
同伴者特定部332(同伴者特定部)は、図10の同伴者特定部238と同様に、同伴者の脈波情報と各スマートフォン202のユーザの脈波情報との類似度を算出し、その類似度に基づいて同伴者を特定する。同伴者特定部332は、記憶部234に記憶されている同伴者のプロフィール情報を読み出し、表示制御部40に供給する。
以上のように、グラス型ウェアラブルデバイス301で同伴者特定情報として取得可能な情報の種類と、スマートフォン202でユーザ特定情報として取得可能な情報の種類が異なる場合、グラス型ウェアラブルデバイス301は、同伴者特定情報とユーザ特定情報の一方の種類を他方の種類に変換し、同伴者を特定する。
<第4実施の形態>
(情報処理システムの第4実施の形態の構成例)
図13は、本開示を適用した情報処理システムの第4実施の形態の構成例を示すブロック図である。
図13に示す構成のうち、図10の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図13の情報処理システム400の構成は、グラス型ウェアラブルデバイス201、スマートフォン202−1乃至202−N、ウォッチ型ウェアラブルデバイス204−1乃至204−Nの代わりに、グラス型ウェアラブルデバイス401、スマートフォン402−1乃至402−N、ウォッチ型ウェアラブルデバイス404−1乃至404−Nが設けられる点が、図10の情報処理システム200の構成と異なる。
なお、スマートフォン402−1乃至402−Nは同様の構成を有するので、以下では、スマートフォン402−1乃至402−Nを特に区別する必要がない場合、それらをまとめてスマートフォン402という。同様に、ウォッチ型ウェアラブルデバイス404−1乃至404−Nをまとめてウォッチ型ウェアラブルデバイス404という。
情報処理システム400では、ユーザ特定情報と同伴者特定情報の種類が、ウォッチ型ウェアラブルデバイス404が装着される所定の部位(例えば手首)の各時刻の動きを示す動き情報である。
具体的には、グラス型ウェアラブルデバイス401の構成は、近接通信部231、制御部232、記憶部234、同伴者特定部238の代わりに、近接通信部431、制御部432、記憶部434、同伴者特定部436が設けられる点と、スペックル取得部235、可視光カメラ236、およびレーザ発光部237の代わりにデプスセンサ435が設けられる点が、図10のグラス型ウェアラブルデバイス201の構成と異なる。
グラス型ウェアラブルデバイス401の近接通信部431は、各スマートフォン402のBluetoothビーコンから、プロフィール情報のURLがURLフィールドに記述されているアドバタイジングパケットを受信する。近接通信部431は、このURLを制御部432に供給する。
その後、近接通信部431は、近接通信部231と同様に、各スマートフォン402がグラス型ウェアラブルデバイス401の近接通信可能な範囲外に存在するようになったかどうかを検出し、検出結果を制御部432に供給する。
また、近接通信部431は、Bluetoothビーコンを有する。近接通信部431は、Bluetoothビーコンにより、Bluetoothビーコンの検知範囲内に存在するスマートフォン402に、制御部432から供給される、スマートフォン402のユーザの動き情報を要求する動き情報リクエストをブロードキャストする。そして、近接通信部431(ユーザ特定情報取得部)は、動き情報リクエストに応じてスマートフォン402から送信されてくる動き情報をユーザ特定情報として受信(取得)し、制御部432に供給する。
制御部432は、近接通信部431から供給されるURLを通信部233に供給し、そのURLに応じて通信部233から供給されるプロフィール情報を取得する。また、制御部432は、動き情報リクエストを生成して近接通信部431に供給し、近接通信部431から供給される動き情報を取得する。
制御部432は、各スマートフォン402のユーザのプロフィール情報と動き情報を対応付けて、記憶部434に供給して一時的に記憶させる。さらに、制御部432は、近接通信部431から供給される検出結果に基づいて、グラス型ウェアラブルデバイス401と近接通信可能な範囲外に存在するようになったスマートフォン402のユーザのプロフィール情報と動き情報を記憶部434に削除させる。
記憶部434は、制御部432から供給される各ユーザのプロフィール情報と動き情報を対応付けて、一時的に記憶する。また、記憶部434は、制御部432の制御により、記憶しているプロフィール情報と動き情報を削除する。
デプスセンサ435(同伴者特定情報取得部)は、視線方向推定部37の制御により、グラス型ウェアラブルデバイス401のユーザの視線方向の各時刻のデプス画像を所定の時間だけ取得し、同伴者特定部436に供給する。
同伴者特定部436は、デプスセンサ435から供給される各時刻のデプス画像から、骨格のうちのウォッチ型ウェアラブルデバイス404が装着される所定の部位を推定し、その部位のデプス画像における3次元座標を取得する。骨格の3次元座標をトラッキングする方法は、例えば、http://blogs.wsj.com/tech-europe/2010/11/08/key-kinect-technology-devised-in-cambridge-lab/やhttps://msdn.microsoft.com/ja-jp/library/jj131025.aspxに記載されている。同伴者特定部436は、各時刻の所定の部位の3次元座標に基づいて、所定の部位の動きを示す動き情報を生成し、同伴者の動き情報、即ち同伴者特定情報とする。
また、同伴者特定部436は、記憶部434に記憶されている各スマートフォン402のユーザの動き情報を読み出す。そして、同伴者特定部436は、同伴者の動き情報が示す各時刻の動きと、各スマートフォン402のユーザの動き情報が示す各時刻の動きとの類似度を計算する。
動きの類似度の計算方法は、例えば、竹林佑介、西尾孝治、小堀研一、「モーションキャプチャデータの類似検索に関する一手法」、映像情報メディア学会誌、2008年9月1日、p.1420-1426や佐藤浩司、青木工太、長橋宏、「動作特徴を考慮したモーションキャプチャデータベースの構築と動作生成への応用」、映像情報メディア学会誌、2008年8月1日、p.1330-1332に記載されている。
同伴者特定部436は、最も大きい類似度が閾値より大きい場合、スマートフォン402のユーザのうちの、最も大きい類似度に対応するユーザを同伴者として特定する。同伴者特定部436は、記憶部434に記憶されている同伴者のプロフィール情報を読み出し、表示制御部40に供給する。
スマートフォン402の構成は、近接通信部254の代わりに近接通信部451が設けられる点が、図10のスマートフォン202の構成と異なる。
スマートフォン402の近接通信部451は、Bluetoothビーコンを有する。近接通信部451は、記憶部57からプロフィール情報のURLを読み出し、予め規定されたデータフォーマットにしたがってURLフィールドにプロフィール情報のURLを記述したアドバタイズパケットを生成する。近接通信部451は、Bluetoothビーコンにより、生成されアドバタイズパケットを、Bluetoothビーコンの検知範囲内に存在するグラス型ウェアラブルデバイス401にブロードキャストする。
また、近接通信部451は、近接通信部431のBluetoothビーコンからBluetooth(登録商標)を用いてブロードキャストされる動き情報リクエストを受信する。近接通信部451は、Bluetoothビーコンにより、スマートフォン402のユーザに装着されるウォッチ型ウェアラブルデバイス404に動き情報リクエストを送信する。近接通信部451は、その動き情報リクエストに応じてウォッチ型ウェアラブルデバイス404のBluetoothビーコンから送信されてくる動き情報を受信する。近接通信部451は、Bluetoothビーコンにより、受信された動き情報を、Bluetoothビーコンの検知範囲内に存在するグラス型ウェアラブルデバイス401にブロードキャストする。
ウォッチ型ウェアラブルデバイス404は、近接通信部471と慣性センサ472により構成される。
ウォッチ型ウェアラブルデバイス404の近接通信部471は、ウォッチ型ウェアラブルデバイス404を装着したユーザのスマートフォン402のBluetoothビーコンから送信されてくる動き情報リクエストを受信する。近接通信部471は、動き情報リクエストに応じて、ウォッチ型ウェアラブルデバイス404を装着するユーザの動き情報を慣性センサ472に要求する。また、近接通信部471は、Bluetoothビーコンを有する。近接通信部471は、Bluetoothビーコンにより、慣性センサ472から供給される動き情報を、Bluetooth(登録商標)を用いてスマートフォン402に送信する。
慣性センサ472は、近接通信部471から供給される要求に応じて、ウォッチ型ウェアラブルデバイス404が装着された部位の所定の時間の各時刻の慣性データの取得を開始する。慣性センサ472は、取得された各時刻の慣性データを、慣性航法により、慣性センサ472における3次元座標に変換する。慣性センサ472は、各時刻の3次元座標に基づいて、ウォッチ型ウェアラブルデバイス404を装着したユーザの動き情報を計算し、近接通信部471に供給する。
なお、スマートフォン402は、ウォッチ型ウェアラブルデバイス404の装着部位を示す部位情報を、動き情報とともにグラス型ウェアラブルデバイス401に送信するようにしてもよい。この場合、記憶部434は、動き情報とともに部位情報も記憶する。
そして、グラス型ウェアラブルデバイス401は、骨格の全部位の動き情報を求めておき、類似度の計算を行う際、その計算に用いられるスマートフォン402のユーザの動き情報に対応する部位情報が示す部位の動き情報を、全部位の動き情報から選択する。グラス型ウェアラブルデバイス401は、選択された部位の動き情報とスマートフォン402のユーザの動き情報に基づいて類似度を計算する。このように、スマートフォン402が部位情報を送信する場合、スマートフォン402のユーザは、任意の部位にウォッチ型ウェアラブルデバイス404を装着することができる。
(情報処理システムの処理の説明)
図13のスマートフォン402の登録処理および図13の情報処理システム200のプロフィール情報取得処理は、第3実施の形態における登録処理およびプロフィール情報取得処理と同様であるので、説明は省略する。
図14は、図13の情報処理システム400の同伴者特定処理を説明するフローチャートである。
図14のステップS400において、グラス型ウェアラブルデバイス401の近接通信部431は、Bluetoothビーコンにより、Bluetoothビーコンの検知範囲内に存在する全てのスマートフォン402に動き情報リクエストをブロードキャストする。
ステップS431において、スマートフォン402の近接通信部451は、グラス型ウェアラブルデバイス401のBluetoothビーコンからブロードキャストされる動き情報リクエストを受信する。ステップS432において、近接通信部451は、Bluetoothビーコンにより、スマートフォン402のユーザに装着されるウォッチ型ウェアラブルデバイス404に動き情報リクエストを送信する。
ステップS441において、ウォッチ型ウェアラブルデバイス404の近接通信部471は、ウォッチ型ウェアラブルデバイス404を装着したユーザのスマートフォン402のBluetoothビーコンから送信されてくる動き情報リクエストを受信する。近接通信部471は、動き情報リクエストに応じて動き情報を慣性センサ472に要求する。
ステップS442において、慣性センサ472は、近接通信部471から供給される要求に応じて、ウォッチ型ウェアラブルデバイス404が装着された部位の所定の時間の各時刻の慣性データの取得を開始する。慣性センサ472は、取得された各時刻の慣性データを、慣性航法により、慣性センサ472における3次元座標に変換する。
ステップS443において、慣性センサ472は、各時刻の3次元座標に基づいてウォッチ型ウェアラブルデバイス404のユーザの動き情報を計算し、近接通信部471に供給する。ステップS444において、慣性センサ472は、近接通信部471から供給される動き情報を、Bluetooth(登録商標)を用いてスマートフォン402に送信する。
ステップS433において、スマートフォン402の近接通信部451は、近接通信部471から送信されてくる動き情報を受信する。
ステップS401において、グラス型ウェアラブルデバイス401の視線方向推定部37は、赤外線LED36と接眼IRカメラ35を制御して、グラス型ウェアラブルデバイス401のユーザの眼球の画像を撮影し、角膜反射法を利用して視線方向を推定する。
ステップS402において、デプスセンサ435は、視線方向に基づく視線方向推定部37の制御により、視線方向の各時刻のデプス画像を所定の時間だけ取得し、同伴者特定部436に供給する。ステップS403において、同伴者特定部436は、デプスセンサ435から供給される各時刻のデプス画像にウォッチ型ウェアラブルデバイス404が装着される所定の部位が存在するかどうかを判定する。ステップS403で所定の部位が存在すると判定された場合、即ち同伴者が存在する場合、処理はステップS404に進む。
ステップS404において、同伴者特定部436は、各時刻のデプス画像から、ウォッチ型ウェアラブルデバイス404が装着される所定の部位を推定し、その部位のデプス画像における3次元座標を取得する。ステップS405において、同伴者特定部436は、各時刻の所定の部位の3次元座標に基づいて同伴者の動き情報を生成する。
ステップS434において、スマートフォン402の近接通信部451は、Bluetoothビーコンにより、受信された動き情報を、Bluetoothビーコンの検知範囲内に存在するグラス型ウェアラブルデバイス401にブロードキャストする。
ステップS406において、グラス型ウェアラブルデバイス401の近接通信部431は、スマートフォン402からブロードキャストされた動き情報を受信する。近接通信部431は、受信されたスマートフォン402のユーザの動き情報を、制御部432を介して記憶部434に供給し、そのユーザのプロフィール情報に対応付けて一時的に記憶させる。
ステップS407において、同伴者特定部436は、記憶部434に記憶されている各スマートフォン402のユーザの動き情報を読み出し、同伴者の動き情報と同期するように同期処理を行う。ステップS408において、同伴者特定部436は、同期処理された同伴者の動き情報が動きを示す3次元座標が、各スマートフォン402のユーザの動き情報が動きを示す3次元座標と同一になるように、同伴者の動き情報が動きを示す3次元座標を変換する。
ステップS409において、同伴者特定部436は、座標変換された同伴者の動き情報が示す動きと各スマートフォン402のユーザの動き情報が示す動きとの類似度を計算する。
ステップS410乃至S414の処理は、図6のステップS77乃至S81の処理と同様であるので、説明は省略する。また、ステップS403で所定の部位が存在しないと判定された場合、即ち同伴者が存在しない場合、処理はステップS414に進む。
以上のように、グラス型ウェアラブルデバイス401は、スマートフォン402のユーザの動き情報と、グラス型ウェアラブルデバイス201の視線方向のデプス画像とを取得する。従って、グラス型ウェアラブルデバイス401は、スマートフォン402のユーザの動き情報と視線方向のデプス画像から得られる同伴者の動き情報とに基づいて、同伴者を高精度で特定することができる。
なお、第3および第4実施の形態において、同一のユーザに装着されるスマートフォン202(402)とウォッチ型ウェアラブルデバイス204(404)は、同一の筐体で構成されるようにしてもよい。
<第5実施の形態>
(情報処理システムの第5実施の形態の構成例)
図15は、本開示を適用した情報処理システムの第5実施の形態の構成例を示すブロック図である。
図15に示す構成のうち、図2の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図15の情報処理システム500の構成は、グラス型ウェアラブルデバイス11、スマートフォン12−1乃至12−Nの代わりに、グラス型ウェアラブルデバイス501、スマートフォン502−1乃至502−Nが設けられる点が、図2の情報処理システム10の構成と異なる。
なお、スマートフォン502−1乃至502−Nは同様の構成を有するので、以下では、スマートフォン502−1乃至502−Nを特に区別する必要がない場合、それらをまとめてスマートフォン502という。
情報処理システム500では、ユーザ特定情報と同伴者特定情報の種類が2種類である。そして、1つの種類は、ユーザ特定情報と同伴者特定情報で共通の顔画像であるが、もう1つ種類は、ユーザ特定情報では服装を記述する服装情報であるが、同伴者特定情報では服装画像である。
具体的には、グラス型ウェアラブルデバイス501の構成は、同伴者特定部39の代わりに同伴者特定部531が設けられる点が、図2のグラス型ウェアラブルデバイス11の構成と異なる。
グラス型ウェアラブルデバイス501の同伴者特定部531は、広角カメラ38から供給される画像から顔領域を同伴者特定情報として抽出し、顔領域の特徴量を抽出する。また、同伴者特定部531は、広角カメラ38から供給される画像内の上半身と下半身の領域を、同伴者特定情報のうちの服装領域として抽出する。そして、同伴者特定部531は、服装領域を服装情報に変換する。即ち、同伴者特定部531は、同伴者特定情報の種類を、ユーザ特定情報の種類に変換する。
同伴者特定部531は、記憶部34に記憶されている全てのユーザ情報に含まれる顔画像と服装情報を読み出す。そして、同伴者特定部531は、各顔画像の特徴量を抽出する。同伴者特定部531は、抽出された顔領域の特徴量と各顔画像の特徴量との類似度を求める。また、同伴者特定部531は、抽出された服装領域に対応する服装情報と、読み出された各服装情報との類似度を求める。同伴者特定部531は、ユーザごとに、顔画像の類似度と服装情報の類似度を重み付け加算し、最終的な類似度を求める。
具体的には、顔領域と顔画像を取得する取得部の種類は同一であるが、服装領域と服装情報を取得する取得部の種類は異なる。即ち、顔領域および服装領域を取得する広角カメラ38と顔画像を取得する可視光カメラ54の種類は、いずれも、可視光の画像を撮影する種類であるが、服装情報を取得する入力部55の種類は、入力された情報を取得する種類である。従って、服装情報の類似度の精度は、顔画像の類似度の精度に比べて低い。よって、同伴者特定部531は、服装情報の類似度に対する重みが顔画像の類似度に対する重みに比べて小さくなるように、類似度を重み付け加算する。
同伴者特定部531は、最も大きい最終的な類似度が閾値より大きい場合、スマートフォン502のユーザのうちの、最も大きい最終的な類似度に対応するユーザを同伴者として特定する。同伴者特定部531は、記憶部34に記憶されている同伴者のユーザ情報に含まれるプロフィール情報を読み出し、表示制御部40に供給する。
スマートフォン502の構成は、登録処理部51の代わりに登録処理部551が設けられる点が、図2のスマートフォン12の構成と異なる。
スマートフォン502の登録処理部551は、入力部55から供給される指令がユーザ情報の登録開始の指令である場合、ユーザ情報を登録するための画面の表示を表示制御部52に指令する。また、登録処理部551は、入力部55から供給される指令が撮影の開始の指令である場合、可視光カメラ54を制御して可視光カメラ54に撮影を行わせる。登録処理部551は、その結果可視光カメラ54から供給されるスマートフォン12のユーザの顔画像を取得する。さらに、登録処理部551は、入力部55から入力されるプロフィール情報を取得する。また、登録処理部551は、入力部55から入力される服装情報を取得する。登録処理部551は、スマートフォン12のユーザの顔画像、プロフィール情報、および服装情報からなるユーザ情報を通信部56に供給する。
(登録処理の説明)
図16は、図15のスマートフォン502の登録処理を説明するフローチャートである。この登録処理は、例えば、スマートフォン502のユーザが入力部55を用いてユーザ情報の登録を指令し、その指令に応じて登録処理部551が表示制御部52にユーザ情報を登録するための画面の表示を指令したとき、開始される。
図16のステップS511乃至S515の処理は、図3のステップS11乃至S15の処理と同様であるので、説明は省略する。
ステップS516において、表示制御部52は、入力部55からの指令に応じて服装情報を入力するための服装情報入力画面を生成し、表示部53に表示させる。ユーザは、服装情報入力画面を見ながら入力部55を用いて服装情報を入力する。入力部55は、その服装情報を登録処理部551に供給する。
ステップS517において、登録処理部551は、入力部55から服装情報が入力されたかどうかを判定する。ステップS517で服装情報が入力されていないと判定された場合、登録処理部551は、服装情報が入力されるまで待機する。
一方、ステップS517で服装情報が入力されたと判定された場合、登録処理部551は、その服装情報を取得する。
ステップS518およびS519の処理は、図3のステップS16およびS17の処理と同様であるので、説明は省略する。ステップS519の処理後、登録処理部551は、顔画像、服装情報、およびプロフィール情報からなるユーザ情報を通信部56に供給する。
ステップS520において、通信部56は、登録処理部551から供給されるユーザ情報の登録を要求するユーザ情報登録リクエストを、インターネットなどを介してSNSサーバ13に送信する。
ステップS521およびS522の処理は、図3のステップS19およびS20の処理と同様であるので、説明は省略する。
情報処理システム500のユーザ情報取得処理は、図5のユーザ情報取得処理と同様であるので、説明は省略する。
(服装情報入力画面の例)
図17は、服装情報入力画面の例を示す図である。
図17の服装情報入力画面570には、「今日の服装を入力してください」という服装情報の入力を促すメッセージと、各項目についての選択肢とが含まれている。図17の例では、項目は、上半身の服装の色、長袖の有無、Vネックの有無、下半身の服装の色、柄の有無、およびスカートの有無である。また、項目「上半身の服装の色」と「下半身の服装の色」の選択肢は各色であり、その他の項目の選択肢は有無(Yes/No)である。
スマートフォン502のユーザは、服装情報入力画面570を見ながら、入力部55のタッチパネルを操作して、自分自身の服装について各項目の選択肢を選択することにより、服装情報を入力する。
(同伴者特定処理の説明)
図18は、図15のグラス型ウェアラブルデバイス501の同伴者特定処理を説明するフローチャートである。
図18のステップS570およびS571の処理は、図6のステップS70およびS71の処理と同様であるので、説明は省略する。
ステップS572において、同伴者特定部531は、広角カメラ38から供給される画像に顔領域と服装領域が存在するかどうかを判定する。ステップS572で顔領域と服装領域が存在すると判定された場合、即ち同伴者が存在する場合、処理はステップS573に進む。
ステップS573において、同伴者特定部531は、広角カメラ38から供給される画像から顔領域と服装領域を抽出する。ステップS574において、同伴者特定部531は、顔領域の特徴量を抽出し、服装領域を服装情報に変換する。ステップS575およびS576の処理は、図6のステップS75およびS76の処理と同様であるので、説明は省略する。
ステップS577において、同伴者特定部531は、変換された服装情報と、読み出された各ユーザ情報に含まれる服装情報との類似度を計算する。ステップS578において、同伴者特定部531は、ユーザごとに、顔画像の類似度と服装情報の類似度を重み付け加算し、最終的な類似度を求める。
ステップS579乃至S583の処理は、図6のステップS77乃至S81の処理と同様であるので、説明は省略する。
また、ステップS572で顔領域と服装領域のいずれかが存在しないと判定された場合、即ち同伴者が存在しない場合、処理はステップS583に進む。
なお、図18の例では、顔領域と服装領域の両方が存在しない場合、同伴者が特定されないようにしたが、顔領域と服装領域の少なくとも一方が存在する場合には、その一方に基づいて同伴者が特定されるようにしてもよい。
以上のように、グラス型ウェアラブルデバイス501は、スマートフォン502のユーザの顔画像および服装情報と、グラス型ウェアラブルデバイス501のユーザの視線方向の画像とを取得する。従って、グラス型ウェアラブルデバイス501は、スマートフォン12のユーザの顔画像および服装情報と、グラス型ウェアラブルデバイス501のユーザの視線方向の画像内の顔領域および服装領域とに基づいて、同伴者を高精度で特定することができる。
なお、グラス型ウェアラブルデバイス501は、バッテリ(電源)の残量に基づいて、同伴者特定情報として取得可能な顔領域と服装領域のうちのいずれか1つのみを取得するようにしてもよい。例えば、グラス型ウェアラブルデバイス501は、バッテリの残量が少ない場合、顔領域のみを取得し、顔領域のみに基づいて同伴者を特定するようにしてもよい。
また、上述した説明では、服装についてのユーザ特定情報は、スマートフォン502のユーザにより入力部55を用いて入力される服装情報であるようにしたが、可視光カメラ54により撮影されたスマートフォン502のユーザの服装画像であってもよい。
この場合、図19に示すように、スマートフォン502のユーザは、鏡590の前に立ち、自分の頭部から脚部までを鏡590に反射させて可視光カメラ54に連続撮影させる。登録処理部551は、連続撮影されたユーザの頭部から脚部までの画像をスティッチングして服装画像を生成する。
なお、スマートフォン502は慣性センサを備え、その慣性センサにより、連続撮影中の可視光カメラ54のピッチ方向の角度を検出するようにしてもよい。この場合、登録処理部551は、連続撮影中のピッチ方向の角度に基づいて、全身の画像から上半身の服装画像と下半身の服装画像を分離することができる。その結果、上半身の服装画像と下半身の服装画像の類似度を別々に計算することができる。
第1乃至第5実施の形態において、ユーザ特定情報や同伴者特定情報の種類は限定されない。また、ユーザ特定情報や同伴者特定情報を取得する取得部は、ある程度の指向性を有し、遠隔から情報を取得可能なものであれば、どのようなものであってもよい。
ユーザ特定情報や同伴者特定情報の種類としては、例えば、顔画像、虹彩画像、脈拍情報、心音情報、動き情報、服装画像、服装情報のほか、唇や瞬きの動作を示す情報、静脈を示す情報、足音や呼吸音などを示す情報、呼吸波形を示す情報などがある。
ユーザ特定情報と同伴者特定情報の種類が唇の動作を示す情報である場合、ユーザ特定情報を取得する取得部は、リアルタイムで周囲の音声を取得するマイクロフォンや事前に唇画像を撮影する可視光カメラであり、同伴者特定情報を取得する取得部は、ユーザの視線方向の画像を撮影する可視光カメラである。
ユーザ特定情報と同伴者特定情報の種類が瞬きの動作を示す情報である場合、ユーザ特定情報を取得する取得部は、リアルタイムで瞬き画像を撮影する可視光カメラであり、同伴者特定情報を取得する取得部は、ユーザの視線方向の画像を撮影する可視光カメラである。
また、ユーザ特定情報と同伴者特定情報の種類が静脈を示す情報である場合、ユーザ特定情報を取得する取得部は、リアルタイムで赤外線LEDによりユーザの静脈に照射された赤外光を静脈画像として撮影するIRカメラであり、同伴者特定情報を取得する取得部は、赤外線LEDによりユーザの視線方向に向けて照射された赤外光を撮影するIRカメラである。
ユーザ特定情報と同伴者特定情報の種類が足音や呼吸音を示す情報である場合、ユーザ特定情報を取得する取得部は、リアルタイムまたは事前に周囲の音声を取得するマイクロフォンであり、同伴者特定情報を取得する取得部は、ユーザの視線方向の音声を取得する指向性マイクロフォンである。
ユーザ特定情報と同伴者特定情報の種類が呼吸波形を示す情報である場合、ユーザ特定情報を取得する取得部は、リアルタイムでユーザに照射したミリ波(または赤外光)を検出するミリ波レーダ(またはIRカメラ)であり、同伴者特定情報を取得する取得部は、ユーザの視線方向に照射したミリ波(または赤外光)を検出するミリ波レーダ(またはIRカメラ)である。
また、ユーザ特定情報が事前に取得される場合、ユーザの状況ごとに取得されるようにしてもよい。
例えば、ユーザ特定情報が脈波情報である場合、リラックス時、平常時、興奮時などの状況ごとに、脈波情報が取得されるようにしてもよい。この場合、リラックス時の脈波情報を取得する際、例えば、「目をつぶって深呼吸して下さい」というメッセージが表示され、ヒーリング音楽が再生される。また、平常時の脈波情報を取得する際、例えば、「目を開けて次の文章を読んでください」というメッセージと普通の文章が表示される。さらに、興奮時の脈波情報を取得する際、「これから始まるゲームで遊んでください」というメッセージが表示され、人をイライラさせるゲームが開始される。
なお、脈波情報の取得は、メッセージの表示後に開始されてもよいし、取得する状況になったと判定された場合に開始されてもよい。取得する状況になったかどうかの判定は、例えば、脈波情報から検出した心拍に基づいて行われる。
また、ユーザ特定情報が足音を示す情報である場合、ゆっくり歩くとき、普通に歩くとき、早歩きするとき、走るときなどの状況ごとに、足音を示す情報が取得されるようにしてもよい。この場合、ユーザは、音声などにより、ユーザの状況が所定の状況になるように促される。
以上のように、ユーザの状況ごとにユーザ特定情報が取得される場合、類似度の計算は、ユーザの状況ごとに行われるようにしてもよいし、現在のユーザの状況を判断し、その状況のユーザ特定情報のみを用いて行われるようにしてもよい。
また、第5実施の形態において、類似度の重みは、類似度の精度ではなく、類似度に対応する同伴者特定情報の優先度に基づいて決定されるようにしてもよい。同伴者特定情報の優先度は、例えば、同伴者特定情報を取得する取得部の取得精度、同伴者特定情報に対応するユーザ特定情報を取得する取得部の取得精度、周囲の状況などにより設定される。
例えば、同伴者特定情報およびユーザ特定情報の種類が顔画像と声紋情報である場合、広角カメラにより取得される画像の顔領域の優先度が、騒音ノイズを受けやすいマイクロフォンにより取得される音声の声紋情報に比べて高く設定されるようにすることができる。これにより、例えば、顔領域の類似度の重みは0.7になり、声紋情報の類似度の重みは0.3になる。
また、優先度は、広角カメラにより取得された画像の明度とマイクロフォンにより取得された音声に含まれる騒音の大きさに基づいて設定されるようにすることもできる。これにより、例えば、周囲が暗く、騒音が少ない場合、顔領域の類似度の重みに比べて、声紋情報の類似度の重みが大きくなる。一方、周囲が明るく、騒音が多い場合、声紋情報の類似度の重みに比べて、顔領域の類似度の重みが大きくなる。
なお、類似度の重みが0である同伴者特定情報は取得されないようにしてもよい。例えば、広角カメラにより取得される画像の顔領域の類似度の重みが1であり、騒音ノイズを受けやすいマイクロフォンにより取得される音声の声紋情報の類似度の重みが0である場合、マイクロフォンは、音声を取得しないようにしてもよい。
また、第5実施の形態において、複数の取得部(センサ)により複数の同伴者特定情報が取得される場合には、グラス型ウェアラブルデバイスのバッテリの残量と各取得部の消費電力に基づいて、同伴者特定情報を取得する取得部が選択されるようにしてもよい。この場合、例えば、ユーザ特定情報が顔画像と声紋情報であり、グラス型ウェアラブルデバイスのバッテリの残量が少ないとき、グラス型ウェアラブルデバイスは、顔画像を撮影する広角カメラに比べて消費電力の低いマイクロフォンを用いて声紋情報のみを同伴者特定情報として取得する。
さらに、第5実施の形態において、ユーザ特定情報が顔画像と声紋情報であるが、グラス型ウェアラブルデバイスが、声紋情報を取得可能なマイクロフォンのみを有する場合、グラス型ウェアラブルデバイスは、声紋情報のみを用いて同伴者を特定する。
また、第1乃至第5実施の形態において、プロフィール情報以外の同伴者に関する情報が表示されるようにしてもよい。例えば、グラス型ウェアラブルデバイスが同伴者を特定した際、日時や場所などのコンテキスト情報を記憶し、その同伴者が過去に同伴者として特定された回数や頻度を同伴者と会った回数や頻度として表示したり、過去のコンテキスト情報を表示したりするようにしてもよい。これにより、グラス型ウェアラブルデバイスのユーザは、過去に会話した人物と再度会話した際、過去に会話したときの状況を容易に思い出すことができる。
さらに、第1乃至第5実施の形態において、ユーザ情報には、ユーザのSNSへの最近の投稿やライフログが含まれていてもよい。この場合、グラス型ウェアラブルデバイスは、特定された同伴者のSNSへの最近の投稿やライフログも表示する。同伴者のSNSへの最近の投稿やライフログの表示の有無は、その同伴者が過去に同伴者として特定された回数などに基づいて決定されてもよい。
また、第1乃至第5実施の形態において、透過ディスプレイ41は、プロフィール情報そのものではなく、プロフィール情報に基づいた話題などの情報を表示するようにしてもよい。
さらに、第1乃至第5実施の形態では、スマートフォンのユーザがSNSの会員であるかどうかによらず、ユーザ情報(プロフィール情報)を取得できるようにしたが、SNSの会員である場合にのみ、ユーザ情報(プロフィール情報)を取得できるようにしてもよい。この場合、グラス型ウェアラブルデバイスは、ユーザ情報送信リクエスト(プロフィール情報送信リクエスト)を送信する前に、SNSから事前に付与されているグラス型ウェアラブルデバイスのユーザのIDとパスワードをSNSサーバに送信する。SNSサーバは、このIDとパスワードに基づいて認証を行い、認証に成功した場合、ユーザ情報送信リクエスト(プロフィール情報送信リクエスト)に応じてユーザ情報(プロフィール情報)を送信する。
また、第1実施の形態、第2実施の形態、および第5実施の形態において、ユーザ情報はスマートフォンに格納され、スマートフォン12からグラス型ウェアラブルデバイスに送信されるようにしてもよい。
この場合、グラス型ウェアラブルデバイスが、自分が取得可能な同伴者特定情報に対応するユーザ特定情報のみをスマートフォンに要求し、スマートフォンが、そのユーザ特定情報のみをグラス型ウェアラブルデバイスに送信するようにしてもよい。
<第6実施の形態>
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図20は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ900において、CPU(Central Processing Unit)901,ROM(Read Only Memory)902,RAM(Random Access Memory)903は、バス904により相互に接続されている。
バス904には、さらに、入出力インタフェース905が接続されている。入出力インタフェース905には、入力部906、出力部907、記憶部908、通信部909、及びドライブ910が接続されている。
入力部906は、キーボード、マウス、マイクロフォンなどよりなる。出力部907は、ディスプレイ、スピーカなどよりなる。記憶部908は、ハードディスクや不揮発性のメモリなどよりなる。通信部909は、ネットワークインタフェースなどよりなる。ドライブ910は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア911を駆動する。
以上のように構成されるコンピュータ900では、CPU901が、例えば、記憶部908に記憶されているプログラムを、入出力インタフェース905及びバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ900(CPU901)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア911に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ900では、プログラムは、リムーバブルメディア911をドライブ910に装着することにより、入出力インタフェース905を介して、記憶部908にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部909で受信し、記憶部908にインストールすることができる。その他、プログラムは、ROM902や記憶部908に、あらかじめインストールしておくことができる。
なお、コンピュータ900が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本開示は、同伴者を特定する情報処理システムであれば、同伴者のプロフィール情報を表示する情報処理システム以外の情報処理システムにも適用することができる。
例えば、本開示は、特定された同伴者のプロフィール情報に含まれる同伴者の理解可能な言語を示す言語情報をグラス型ウェアラブルデバイスから受信し、その言語情報が示す言語を翻訳言語に自動的に設定する、グラス型ウェアラブルデバイスのユーザが装着するヘッドセット型多言語自動翻訳機を含む情報処理システムに適用することもできる。
この場合、グラス型ウェアラブルデバイスのユーザは、自分自身で同伴者の言語を翻訳言語として設定することなく、ヘッドセット型多言語自動翻訳機に、自分の発話を同伴者の理解可能な言語に翻訳させたり、同伴者の発話を自分の理解可能な言語に翻訳させたりすることができる。これは、ユーザが、多国籍の人々が集まるパーティなどに参加しており、同伴者となり得る人物の言語が不特定多数である場合、特に有効である。また、ヘッドセット型多言語自動翻訳機は、翻訳言語を設定することにより、翻訳言語を設定せず、発話から言語を推定する場合に比べて、素早く翻訳を行うことができる。
ヘッドセット型多言語自動翻訳機は、同伴者を示す情報に対応付けて、ユーザと同伴者の会話の内容を記録するようにしてもよい。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本開示は、以下のような構成もとることができる。
(1)
自分の情報処理装置のユーザの視線方向に存在する人物である同伴者を特定する際に用いられる同伴者特定情報を取得する同伴者特定情報取得部と、
前記自分の情報処理装置と近接通信可能な他の情報処理装置のユーザを特定するユーザ特定情報を取得するユーザ特定情報取得部と、
前記同伴者特定情報取得部により取得された前記同伴者特定情報と、前記ユーザ特定情報取得部により取得された前記ユーザ特定情報とに基づいて、前記同伴者を特定する同伴者特定部と
を備える情報処理装置。
(2)
前記ユーザ特定情報は、前記他の情報処理装置において前記同伴者特定情報取得部とは異なる種類の取得部により取得される
ように構成された
前記(1)に記載の情報処理装置。
(3)
前記同伴者特定情報と前記ユーザ特定情報の種類は同一である
ように構成された
前記(2)に記載の情報処理装置。
(4)
前記ユーザ特定情報とは異なる種類の前記同伴者特定情報を、前記ユーザ特定情報と同一の種類の情報に変換する変換部
をさらに備え、
前記同伴者特定部は、前記変換部による変換後の前記情報と前記ユーザ特定情報とに基づいて、前記同伴者を特定する
ように構成された
前記(2)に記載の情報処理装置。
(5)
前記同伴者特定部は、前記同伴者特定情報と前記ユーザ特定情報の類似度に基づいて前記同伴者を特定する
前記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記同伴者特定部は、複数の種類の前記同伴者特定情報と、前記複数の種類の前記ユーザ特定情報との類似度を前記種類ごとに算出して重み付け加算し、重み付け加算後の前記類似度に基づいて、前記同伴者を特定する
ように構成された
前記(1)乃至(4)のいずれかに記載の情報処理装置。
(7)
前記同伴者特定情報取得部は、前記自分の情報処理装置の電源の残量に基づいて、取得可能な複数の種類の前記同伴者特定情報のうちの所定の種類の前記同伴者特定情報のみを取得する
ように構成された
前記(1)乃至(5)のいずれかに記載の情報処理装置。
(8)
前記ユーザ特定情報取得部は、前記他の情報処理装置から前記ユーザ特定情報を取得する
ように構成された
前記(1)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記ユーザ特定情報取得部は、前記他の情報処理装置に前記ユーザ特定情報の取得を要求し、
前記他の情報処理装置は、前記要求に応じて前記ユーザ特定情報の取得を開始し、取得された前記ユーザ特定情報を前記自分の情報処理装置に送信する
ように構成された
前記(8)に記載の情報処理装置。
(10)
前記他の情報処理装置の外部の記憶装置は、前記ユーザ特定情報を記憶し、
前記他の情報処理装置は、前記記憶装置内の前記ユーザ特定情報の記憶位置を前記自分の情報処理装置に送信し、
前記ユーザ特定情報取得部は、前記記憶位置に基づいて、前記記憶装置から前記ユーザ特定情報を取得する
ように構成された
前記(1)乃至(7)のいずれかに記載の情報処理装置。
(11)
情報処理装置が、
自分の情報処理装置のユーザの視線方向に存在する人物である同伴者を特定する際に用いられる同伴者特定情報を取得する同伴者特定情報取得ステップと、
前記自分の情報処理装置と近接通信可能な他の情報処理装置のユーザを特定するユーザ特定情報を取得するユーザ特定情報取得ステップと、
前記同伴者特定情報取得ステップの処理により取得された前記同伴者特定情報と、前記ユーザ特定情報取得ステップの処理により取得された前記ユーザ特定情報とに基づいて、前記同伴者を特定する同伴者特定ステップと
を含む情報処理方法。
(12)
コンピュータを、
自分の情報処理装置のユーザの視線方向に存在する人物である同伴者を特定する際に用いられる同伴者特定情報を取得する同伴者特定情報取得部と、
前記自分の情報処理装置と近接通信可能な他の情報処理装置のユーザを特定するユーザ特定情報を取得するユーザ特定情報取得部と、
前記同伴者特定情報取得部により取得された前記同伴者特定情報と、前記ユーザ特定情報取得部により取得された前記ユーザ特定情報とに基づいて、前記同伴者を特定する同伴者特定部と
して機能させるためのプログラム。
11 グラス型ウェアラブルデバイス, 12−1乃至12−N スマートフォン, 13 SNSサーバ, 33 通信部, 38 広角カメラ, 39 同伴者特定部, 54 可視光カメラ, 101 グラス型ウェアラブルデバイス, 102−1乃至102−N スマートフォン, 131 超高解像度カメラ, 132 同伴者特定部, 152 IRカメラ, 201 グラス型ウェアラブルデバイス, 202−1乃至201−N スマートフォン, 203 SNSサーバ, 231 近接通信部, 233 通信部, 236 可視光カメラ, 238 同伴者特定部, 272 脈波センサ, 301 グラス型ウェアラブルデバイス, 331 マイクロフォン, 332 同伴者特定部, 401 グラス型ウェアラブルデバイス, 402−1乃至402−N スマートフォン, 431 近接通信部, 435 デプスセンサ, 436 同伴者特定部, 472 慣性センサ, 501 グラス型ウェアラブルデバイス, 502−1乃至502−N スマートフォン, 531 同伴者特定部

Claims (12)

  1. 自分の情報処理装置のユーザの視線方向に存在する人物である同伴者を特定する際に用いられる同伴者特定情報を取得する同伴者特定情報取得部と、
    前記自分の情報処理装置と近接通信可能な他の情報処理装置のユーザを特定するユーザ特定情報を取得するユーザ特定情報取得部と、
    前記同伴者特定情報取得部により取得された前記同伴者特定情報と、前記ユーザ特定情報取得部により取得された前記ユーザ特定情報とに基づいて、前記同伴者を特定する同伴者特定部と
    を備える情報処理装置。
  2. 前記ユーザ特定情報は、前記他の情報処理装置において前記同伴者特定情報取得部とは異なる種類の取得部により取得される
    ように構成された
    請求項1に記載の情報処理装置。
  3. 前記同伴者特定情報と前記ユーザ特定情報の種類は同一である
    ように構成された
    請求項2に記載の情報処理装置。
  4. 前記ユーザ特定情報とは異なる種類の前記同伴者特定情報を、前記ユーザ特定情報と同一の種類の情報に変換する変換部
    をさらに備え、
    前記同伴者特定部は、前記変換部による変換後の前記情報と前記ユーザ特定情報とに基づいて、前記同伴者を特定する
    ように構成された
    請求項2に記載の情報処理装置。
  5. 前記同伴者特定部は、前記同伴者特定情報と前記ユーザ特定情報の類似度に基づいて前記同伴者を特定する
    請求項1に記載の情報処理装置。
  6. 前記同伴者特定部は、複数の種類の前記同伴者特定情報と、前記複数の種類の前記ユーザ特定情報との類似度を前記種類ごとに算出して重み付け加算し、重み付け加算後の前記類似度に基づいて、前記同伴者を特定する
    ように構成された
    請求項1に記載の情報処理装置。
  7. 前記同伴者特定情報取得部は、前記自分の情報処理装置の電源の残量に基づいて、取得可能な複数の種類の前記同伴者特定情報のうちの所定の種類の前記同伴者特定情報のみを取得する
    ように構成された
    請求項1に記載の情報処理装置。
  8. 前記ユーザ特定情報取得部は、前記他の情報処理装置から前記ユーザ特定情報を取得する
    ように構成された
    請求項1に記載の情報処理装置。
  9. 前記ユーザ特定情報取得部は、前記他の情報処理装置に前記ユーザ特定情報の取得を要求し、
    前記他の情報処理装置は、前記要求に応じて前記ユーザ特定情報の取得を開始し、取得された前記ユーザ特定情報を前記自分の情報処理装置に送信する
    ように構成された
    請求項8に記載の情報処理装置。
  10. 前記他の情報処理装置の外部の記憶装置は、前記ユーザ特定情報を記憶し、
    前記他の情報処理装置は、前記記憶装置内の前記ユーザ特定情報の記憶位置を前記自分の情報処理装置に送信し、
    前記ユーザ特定情報取得部は、前記記憶位置に基づいて、前記記憶装置から前記ユーザ特定情報を取得する
    ように構成された
    請求項1に記載の情報処理装置。
  11. 情報処理装置が、
    自分の情報処理装置のユーザの視線方向に存在する人物である同伴者を特定する際に用いられる同伴者特定情報を取得する同伴者特定情報取得ステップと、
    前記自分の情報処理装置と近接通信可能な他の情報処理装置のユーザを特定するユーザ特定情報を取得するユーザ特定情報取得ステップと、
    前記同伴者特定情報取得ステップの処理により取得された前記同伴者特定情報と、前記ユーザ特定情報取得ステップの処理により取得された前記ユーザ特定情報とに基づいて、前記同伴者を特定する同伴者特定ステップと
    を含む情報処理方法。
  12. コンピュータを、
    自分の情報処理装置のユーザの視線方向に存在する人物である同伴者を特定する際に用いられる同伴者特定情報を取得する同伴者特定情報取得部と、
    前記自分の情報処理装置と近接通信可能な他の情報処理装置のユーザを特定するユーザ特定情報を取得するユーザ特定情報取得部と、
    前記同伴者特定情報取得部により取得された前記同伴者特定情報と、前記ユーザ特定情報取得部により取得された前記ユーザ特定情報とに基づいて、前記同伴者を特定する同伴者特定部と
    して機能させるためのプログラム。
JP2016110955A 2016-06-02 2016-06-02 情報処理装置、情報処理方法、およびプログラム Pending JP2017216660A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016110955A JP2017216660A (ja) 2016-06-02 2016-06-02 情報処理装置、情報処理方法、およびプログラム
PCT/JP2017/018813 WO2017208853A1 (ja) 2016-06-02 2017-05-19 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016110955A JP2017216660A (ja) 2016-06-02 2016-06-02 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2017216660A true JP2017216660A (ja) 2017-12-07

Family

ID=60478512

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016110955A Pending JP2017216660A (ja) 2016-06-02 2016-06-02 情報処理装置、情報処理方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP2017216660A (ja)
WO (1) WO2017208853A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020138258A1 (ja) * 2018-12-28 2021-11-04 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4065507B2 (ja) * 2002-07-31 2008-03-26 キヤノン株式会社 情報提示装置および情報処理方法
US7949359B2 (en) * 2007-04-05 2011-05-24 Sejo Pan Methods and system for dynamically and anonymously linking wireless communications unit users
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
JP2016010136A (ja) * 2014-06-26 2016-01-18 シャープ株式会社 携帯端末装置および情報処理システム

Also Published As

Publication number Publication date
WO2017208853A1 (ja) 2017-12-07

Similar Documents

Publication Publication Date Title
US10178291B2 (en) Obtaining information from an environment of a user of a wearable camera system
CN108052079B (zh) 设备控制方法、装置、设备控制装置及存储介质
US20200236070A1 (en) Information processing system and information processing method
CN108876877A (zh) 表情符号人偶化
US20180085928A1 (en) Robot, robot control method, and robot system
JP2018505462A (ja) アバター選択機構
KR20200036811A (ko) 정보 처리 시스템, 정보 처리 장치, 정보 처리 방법 및 기록 매체
JP2012066026A (ja) 情報処理装置及び方法、並びにプログラム
JP6728863B2 (ja) 情報処理システム
US10877555B2 (en) Information processing device and information processing method for controlling user immersion degree in a virtual reality environment
US11417135B2 (en) Information processing apparatus, information processing method, and program
US20160277707A1 (en) Message transmission system, message transmission method, and program for wearable terminal
KR101661555B1 (ko) 비콘을 이용한 글라스형 웨어러블 디바이스의 카메라 기능 제한방법 및 프로그램
US20130027535A1 (en) Information processing apparatus, phrase output method, and program
KR20210076373A (ko) 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
JP2007272534A (ja) 省略語補完装置、省略語補完方法、及びプログラム
CN109358744A (zh) 信息共享方法、装置、存储介质及穿戴式设备
JP2018049481A (ja) 情報処理装置、評価システムおよびプログラム
KR101728707B1 (ko) 글라스형 웨어러블 디바이스를 이용한 실내 전자기기 제어방법 및 제어프로그램
KR20160015142A (ko) 글라스형 웨어러블 디바이스를 이용한 긴급시 비상연락방법 및 프로그램
US20190193261A1 (en) Information processing device, information processing method, and non-transitory computer-readable recording medium for acquiring information of target
CN109986553B (zh) 一种主动交互的机器人、系统、方法及存储装置
KR102288001B1 (ko) 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 이를 포함한 포토 부스
Rizk et al. Demonstrating hitonavi-μ: a novel wearable LiDAR for human activity recognition
WO2017208853A1 (ja) 情報処理装置、情報処理方法、およびプログラム