JP2016103079A - 情報処理装置、制御方法、およびプログラム - Google Patents

Abstract

【課題】認識対象の経時的差異を話題として提供することが可能な情報処理装置、制御方法、およびプログラムを提供する。
【解決手段】認識対象の現在の特徴量と時系列上の他の時点における特徴量とを比較する比較部と、前記比較部の比較結果に基づく前記認識対象の差異を通知するよう制御する通知制御部と、を備える、情報処理装置。
【選択図】図２

Description

本開示は、情報処理装置、制御方法、およびプログラムに関する。

近年、ユーザの生活、行動、体験等を、映像、音声、位置情報、動き情報等にデジタル化して記録するライフログが浸透してきている。ライフログは、ユーザが装着するウェアラブルデバイス（スマートバンド、スマートアイグラス、スマートウォッチ等）や、ユーザが所持するモバイル端末（スマートフォン等）により自動的に記録され、例えばクラウド上の所定サーバに蓄積される。

このように蓄積されたライフログを閲覧する場合は、一般的には時系列で過去履歴が表示されたり、記録したデータ全てが表示されたりするだけであった。閲覧したいデータがある場合、ユーザは検索条件を入力して自ら探索する必要があった。

なお、ユーザへの推薦情報を自動的に抽出する技術としては、例えば下記引用文献１において、ユーザのプロファイル情報およびアクセス履歴情報に基づいて次にアクセスする他のコンテンツを示唆するための情報を提供する方法が開示されている。

特開２００２−１０８９２３号公報

しかしながら、ユーザが以前会った人に会った場合や、以前訪れたことのある場所に行った場合等に、以前の様子はどうだったかをライフログから知りたい場合には、その時の日時から画像検索する必要があり、日時が明確でない場合は探し出すことが困難であった。

また、以前会った時や訪れた時から対象の人物や景色が変わっていることが分かれば、差異を話題にすることができるが、容易に気付くことは困難であった。

そこで、本開示では、認識対象の経時的差異を話題として提供することが可能な情報処理装置、制御方法、およびプログラムを提案する。

本開示によれば、認識対象の現在の特徴量と時系列上の他の時点における特徴量とを比較する比較部と、前記比較部の比較結果に基づく前記認識対象の差異を可視化した可視化情報を生成する生成部と、を備える情報処理装置を提案する。

本開示によれば、認識対象の現在の特徴量と時系列上の他の時点における特徴量とを比較することと、前記比較の結果に基づく前記認識対象の差異を可視化した可視化情報を生成することと、を含む制御方法を提案する。

本開示によれば、コンピュータを、認識対象の現在の特徴量と時系列上の他の時点における特徴量とを比較する比較部と、前記比較部の比較結果に基づく前記認識対象の差異を可視化した可視化情報を生成する生成部と、として機能させるためのプログラムを提案する。

以上説明したように本開示によれば、認識対象の経時的差異を話題として提供することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態による情報処理システムの概要を説明する図である。 本実施形態によるサーバの構成の一例を示すブロック図である。 本実施形態によるログ収集処理を示すフローチャートである。 本実施形態における特徴量抽出処理を示すフローチャートである。 本実施形態による認識対象の特徴量の傾向モデル生成処理を示すフローチャートである。 本実施形態による２点間の差異提示処理を示すフローチャートである。 本実施形態による可視化情報の画面表示例を示す図である。 図７に示す画面において他のユーザが相手と会った時の撮像画像を表示する変形例について説明する図である。 差異部分を強調した可視化情報例を示す図である。 本実施形態による傾向との差異提示処理を示すフローチャートである。 本実施形態による可視化情報の画面表示例を示す図である。 本実施形態によるスコアに応じた差異提示処理を示すフローチャートである。 ユーザと相手との関係が親しい間柄ではない場合における提示態様について説明する図である。 ユーザと相手との関係が親しい間柄である場合における提示態様について説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．サーバの構成
３．動作処理
３−１．データ収集
３−２．２点要素間の差異提示
３−３．傾向との差異提示
３−４．スコアに応じた差異提示
４．まとめ

＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
まず、本開示の一実施形態による情報処理システムの概要を図１に示して説明する。図１に示すように、本実施形態による情報処理システムは、ユーザのライフログを収集し、蓄積するサーバ１と、話題提供として差異提示を行うユーザ端末２とが、ネットワーク３を介して接続されている。

ライフログは、ユーザの生活、行動、体験等が、映像、音声、位置情報、動き情報等にデジタル化されたものであって、例えばユーザに装着された各種ウェアラブルデバイス（スマートウォッチ、スマートバンド、スマートアイグラス等）により継続的に取得される。サーバ１は、このようなユーザのライフログを蓄積し、解析することで、ユーザが過去に会ったことがある人物や過去に行ったことがある場所、過去に食べたことがある料理等を、後日再度認識した場合に、過去との差異を提示して話題を提供することができる。差異提示は例えばユーザ端末２で行われ得る。ユーザ端末２は、図１に示すスマートフォンに限定されず、例えばタブレット端末、携帯電話端末、ＰＤＡ（Personal Digital Assistant）、ＰＣ（Personal Computer）、携帯用音楽プレーヤー、携帯用ゲーム機、またはウェアラブル端末（ＨＭＤ、スマートアイグラス、スマートウォッチ、スマートバンド等）であってもよい。

また、本実施形態によるサーバ１は、過去の傾向から未来の変化を予測して、現在と未来との差異を提示して話題を提供することも可能である。

以上、本開示の一実施形態による情報処理システムの概要について説明した。続いて、本実施形態の情報処理システムに含まれるサーバ１の構成について説明する。

＜＜２．サーバの構成＞＞
図２は、本実施形態によるサーバ１の構成の一例を示すブロック図である。図２に示すように、サーバ１は、通信部１１、生データＤＢ（データベース）１２、特徴量抽出部１３、特徴量ＤＢ１４、モデル生成部１５、モデルＤＢ１６、比較部１７、可視化情報生成部１８、および予測部１９を有する。

（通信部）
通信部１１は、外部装置と無線／有線により接続してデータの送受信を行う。例えば、通信部１１は、ユーザが所有する情報処理端末４から、認識対象に関するセンサ情報や環境のセンサ情報を受信する。また、通信部１１は、多ユーザモデルＤＢサーバ３４、一般的な好ましさＤＢサーバ３５、商品メタＤＢサーバ３６、または著名人ＤＢサーバ３７等の外部サーバと接続して所定の情報を取得することも可能である。また、通信部１１は、可視化情報生成部１８により生成された可視化情報をユーザ端末２に送信する。

（生データＤＢ）
生データＤＢ１２は、通信部１１を介して情報処理端末４から受信した、認識対象や認識した際の環境に関する情報を格納する記憶部である。ここで、情報処理端末４が有する各種ログセンサについて具体的に説明する。

−情報処理端末−
情報処理端末４は、認識対象に関するセンサ情報や、対象を認識した際の周辺の環境に関するセンサ情報を取得する。情報処理端末４は、例えば味覚センサ４０１、匂いセンサ４０２、カメラ４０３、無線通信部４０４、位置計測部４０５、気圧計４０６、温度・湿度計４０７、時計部４０８、または外部参照情報取得部４０９等を有する。なお、これらのセンサは全て同一体に設けられている必要はなく、例えば味覚センサ４０１は、箸、スプーン、フォーク等の食事を行う際に利用する道具に設けられ、匂いセンサ４０２、カメラ４０３、無線通信部４０４、位置計測部４０５、気圧計４０６、温度・湿度計４０７、時計部４０８、および外部参照情報取得部４０９は、ユーザが装着するウェアラブルデバイス、スマートフォン、携帯電話端末等に設けられてもよい。情報処理端末４は、取得したセンサ情報をサーバ１に送信する。

また、情報処理端末４は、認識対象に適したセンサ情報を取得し得る。より具体的には、例えば認識対象が料理の場合、味覚センサ４０１により、料理の味覚情報（甘味、酸味、塩味、苦味、旨味）が検知され、匂いセンサ４０２により料理の匂いが検知され、カメラ４０３により料理の撮像画像が取得される。また、認識対象が人の場合、匂いセンサ４０２により相手の匂いが検知され、カメラ４０３により相手の撮像画像が取得され、無線通信部４０４により相手のＩＤが受信される。無線通信部４０４は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、赤外線通信、近距離無線通信等により実現され、相手の情報処理端末（ウェアラブルデバイス、スマートフォン等）と接続して、相手が誰であるかを示すＩＤを取得し得る。また、認識対象が景色の場合、カメラ４０３により景色の撮像画像が取得される。

また、認識対象が何であるかに関わらず、対象を認識した時の環境に関する情報として、位置計測部４０５により位置情報が取得され、気圧計４０６により気圧が検知され、温度・湿度計４０７により温度・湿度が検知され、時計部４０８により日時が取得される。位置計測部４０５は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）測位部により実現され、ＧＰＳ衛星からの電波を受信して、現在位置を検知する。また、位置計測部４０５は、ＧＰＳの他、例えばＷｉ−Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。

また、環境に関する情報は、外部参照情報取得部４０９により、各種外部サーバにアクセスして取得することも可能である。例えば認識対象が料理の場合、外部参照情報取得部４０９は、料理メタＤＢを格納するサーバ３１にアクセスして料理メタデータを照合することで、料理名やカロリー等の情報を取得することができる。また、外部参照情報取得部４０９は、気象情報ＤＢを格納するサーバ３２にアクセスして、対象認識時の日時から、その時の天候や気温、湿度等を取得することができる。また、外部参照情報取得部４０９は、場所メタＤＢを格納するサーバ３３にアクセスして、対象認識時の位置情報から、場所や施設の詳細情報等取得することができる。

以上、情報処理端末４に設けられる各種ログセンサについて具体的に説明した。情報処理端末４は、取得したセンサ情報を所定のタイミングでサーバ１に送信する。なお、図２に示すセンサの具体例は一例であって、本実施形態はこれに限定されない。例えば、情報処理端末４は、さらに収音部、加速度センサ、地磁気センサ、振動センサ等を含んでいてもよい。また、情報処理端末４は、例えばスマートフォン、スマートバンド、スマートアイグラス、ＨＭＤ、携帯電話端末等により実現される。さらに、情報処理端末４の機能をユーザ端末２が兼ねていてもよい。

（特徴量抽出部）
特徴量抽出部１３は、生データＤＢ１２に格納された認識対象に関するセンサ情報に基づいて、認識対象の特徴量を抽出する。例えば、認識対象が料理である場合、味覚センサ情報、匂いセンサ情報から定量化できる特徴量や、料理の画像から特定できるカロリーを抽出する。また、認識対象が人である場合、人の印象に影響する部分を特徴量として抽出する。例えば、髪型の分類、髪の長さ、顔の丸味、推定身長、推定ウェスト、推定体重、眼鏡の有無、眼鏡の色・形・ブランド、アクセサリーの有無、アクセサリーの色・形・ブランド、着用している服装の色・形・ブランド、化粧の有無、化粧の色合いの特徴（口紅の色、グロスの有無、ファンデーションの色等）、顔のしわ、包帯・眼帯の有無、香水の有無、ブランドや品番、シャンプーの銘柄、行動の癖の分類等を特徴量化する。また、認識対象が景色である場合、特徴量抽出部１３は、景色の撮像画像から、その景色に含まれる建物、看板、山、海、道路等の配置を特徴量化する。

（特徴量ＤＢ）
特徴量ＤＢ１４は、特徴量抽出部１３により抽出された認識対象の特徴量を記憶する。

（モデル生成部）
モデル生成部１５は、認識対象の過去の特徴量に基づいて、認識対象の特徴量の傾向モデルを生成する。これにより、現在と過去といった２点間の差異に限らず、過去の傾向（例えばよく着用する洋服の色等）と現在との差異を出力することが可能となる。

過去の傾向を示すモデルとして、例えばヒストグラムを利用する。モデル生成部１５は、認識対象が人の場合、着用していた洋服の色や洋服のブランドを頻度で記録してヒストグラムを生成する。これにより、後述する比較部１７において、当該ヒストグラムの分布から、現在対象人物が着用している洋服の色やブランドが、普段着用するものであるのか、あまり着用しないものであるのかを差異として出力され得る。認識対象が人である場合の傾向モデルは、洋服の色やブランドのヒストグラムの他、例えばメガネの有無、衣類の種類（スカート、パンツ等）、装飾品、香水のブランド等のヒストグラムも生成され得る。また、認識対象が料理である場合の傾向モデルは、過去に同じ料理を食べた際に取得された味覚情報の蓄積に基づく味のヒストグラムが挙げられる。また、モデル生成部１５は、過去の傾向を示すモデルを偏差値で算出してもよい。この場合、後述する比較部１７において、現在の特徴量が閾値以下であるか否かに応じて過去の傾向と同じ（一般的）であるか、異なる（珍しい）かが判断され得る。

さらに、モデル生成部１５は、一のユーザが認識対象を認識した際の過去の特徴量に基づいて傾向モデルを生成することに限定されず、多ユーザモデルＤＢを格納するサーバ３４を参照して、他の１以上のユーザが対象を認識した際の過去の特徴量を参照して傾向モデルを生成することも可能である。すなわち、例えば人物Ａの特徴量の傾向モデルを生成する際、モデル生成部１５は、特徴量抽出部１３により抽出された特徴量や特徴量ＤＢ１４に蓄積された過去の特徴量といった、ユーザが人物Ａに会った時に取得されたセンサ情報に基づく特徴量に限らず、サーバ３４から取得した、他ユーザが人物Ａに会った時に取得されたセンサ情報に基づく特徴量も利用して傾向モデルを生成することが可能である。

（モデルＤＢ）
モデルＤＢ１６は、モデル生成部１５により生成された認識対象の傾向モデルを記憶する。

（比較部）
比較部１７は、認識対象の現在の特徴量と、過去の特徴量（特に直近の過去の特徴量）、過去の特徴量の傾向、または未来の予測特徴量とを比較して、その差異を出力する。なお、比較を行う前に、今回の認識対象が、ユーザが過去に認識した対象と同一であるかを特定する必要がある。認識対象が人の場合、顔画像に基づいて顔の特徴量から同一人物を特定することができる。また、相手のＩＤを取得できた場合はＩＤの一致から同一人物を特定することができる。また、認識対象が料理の場合、店の場所、場所メタ（店名）、料理画像等から同じメニューの料理であるかを特定することができる。また、認識対象が景色の場合、位置情報、方位情報、画像特徴量等から同一の景色を特定することができる。比較部１７は、同一の認識対象であると特定できた場合、現在の認識対象の特徴量と、過去の特徴量（特に直近の過去の特徴量）、過去の特徴量の傾向（過去モデル）、または未来の予測特徴量とを比較して、特徴量の差異が所定値以上である場合、比較結果として当該差異を出力する。

（可視化情報生成部）
可視化情報生成部１８は、比較部１７から出力された差異に基づいて、ユーザに提示するための差異の可視化情報を生成する。例えば、可視化情報生成部１８は、差異部分の過去画像と現在画像とを生データＤＢ１２から取得し、これらを並べた表示画像や差異部分を強調する画像を可視化情報として生成してもよい（図９参照）。また、可視化情報生成部１８は、差異部分の過去傾向を示すヒストグラムにおいて今回の特徴を示す部分を強調表示してもよい（図１１参照）。また、可視化情報生成部１８は、差異部分の過去画像と共に、その時の日時を表示してもよい。また、可視化情報生成部１８は、生データＤＢ１２に格納されている認識対象の過去の撮像画像および現在の撮像画像を用いて、画像認識対象が徐々に変化する様子を、時間軸上のスライダーで切り替えながら見ることができる画面を生成してもよい（図７参照）。

また、可視化情報生成部１８は、差異部分について変化を指摘するための画面だけではなく、差異部分の詳細情報を含む画面を生成してもよい。例えば、前回会った時と異なる商品（メガネ、帽子、靴、鞄、アクセサリー等）を相手（認識対象）が身に着けていた場合、比較部１７により当該商品が差異として出力される。この時、可視化情報生成部１８は、当該商品が何であるかを特定するために、商品メタＤＢを格納するサーバ６にアクセスし、商品メタデータを参照して、当該商品の詳細（商品名、ブランド、価格帯、発売時期等）を表示することができる。また、可視化情報生成部１８は、商品メタデータを参照して、当該商品の購入サイトへのリンクを張ったり、関連商品を提示したりすることも可能である。

また、可視化情報生成部１８は、差異部分と「一般的な好ましさ」との差分をアドバイスとして指摘する画面を生成することも可能である。一般的な好ましさのデータは、一般的な好ましさ情報ＤＢを格納するサーバ３５から取得し得る。可視化情報生成部１８は、認識対象の変化に対して「一般的な好ましさ」との差分を指摘することで、さらにどう変化させた方がよいかといった話題を提供することができる。一般的な好ましさとは、例えばファッション誌から取得された最近の流行や人気の高いアイテム、カラーパレットに合った配色、ベースカラーとアクセントカラーの割合、といった情報が含まれる。また、多ユーザモデルを一般化して取得された情報や、一般的な常識（冠婚葬祭マナー）も含まれる。さらに、部屋のインテリアに関しては、白で統一して部屋を広く見せる、小さめの家具を配置して部屋を広く見せる、ダイニングで暖色系の照明を利用するといった配色や配置に関する情報が含まれる。また、ヘアスタイルに関しては、髪の毛の長さに合った束ね方、髪留めの利用方法、顔の形に合った髪型、年齢に合った髪型等の情報が含まれる。

また、可視化情報生成部１８は、差異部分の付加情報として、画像から推定されるカロリー表示や、体重、年齢、身長等を合わせて表示してもよい。また、可視化情報生成部１８は、変化後の特徴が著名人と似ている場合、その著名人を表示してもよい。著名人の情報は、著名人情報ＤＢを格納するサーバ３７にアクセスして取得し得る。

このように、可視化情報生成部１８は、差異部分を指摘するだけではなく、差異部分の詳細情報や、「一般的な好ましさ」との差分に基づくアドバイス、差異部分の付加情報を含む画面を生成することで、ユーザに提供する話題を充実させることができる。

可視化情報生成部１８は、生成した可視化情報（比較部１７の比較結果に基づく認識対象の差異に関する情報の一例）を、通信部１１を介してユーザ端末２に送信し、ユーザに通知するよう制御する通知制御部としても機能する。

（予測部）
予測部１９は、認識対象の未来の特徴量を予測し、予測結果を比較部１７または可視化情報生成部１８に出力する。これにより、比較部１７において、過去との差異だけではなく、未来との差異が行われ、また、可視化情報生成部１８において、未来の特徴量を含む画面を生成することができる。予測部１９による第１の予測方法としては、認識対象の過去および現在の２点以上の特徴量を元に、外挿することで未来の特徴量を予測することが可能である。例えば、２年前、１年前、および現在の髪の毛の量を元に、１年後の髪の毛の量を線形モデルで予測する。また、予測部１９による第２の予測方法としては、認識対象の過去の特徴量の傾向モデルを利用して、未来の特徴量を予測することが可能である。例えば、認識対象の顔の皺の増え方を示す傾向モデルを元に、さらに加齢した場合に出来る皺の量を予測する。この場合、可視化情報生成部１８は、加齢した場合に出来る皺の量の予測結果に基づく顔画像を生成して提示画面に含めることが可能である。

以上、本実施形態によるサーバ１の構成について具体的に説明した。なお、サーバ１には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、および不揮発性メモリを備えたマイクロコンピュータが搭載され、サーバ１の各構成を制御する。

＜＜３．動作処理＞＞
続いて、本実施形態による情報処理システムの動作処理について、図３〜図１４を参照して具体的に説明する。

＜３−１．データ収集＞
まず、図３〜図５を参照して本実施形態による各種データ収集について説明する。図３は、本実施形態によるログ収集処理を示すフローチャートである。図３に示す処理は、各種ログセンサが設けられている情報処理端末４（ウェアラブルデバイス等）において実行される。具体的には、情報処理端末は、定期的もしくは外部イベントによるトリガー発生時にログ収集を開始し（Ｓ１０３）、認識対象を特定する（Ｓ１０６）。

次いで、情報処理端末は、認識対象に適したセンサ情報を収集する（Ｓ１０９）。例えば認識対象が料理であれば、味覚センサ４０１、匂いセンサ４０２、カメラ４０３により情報を取得する。また、認識対象が人物であれば、匂いセンサ４０２、カメラ４０３、無線通信部４０４により情報を取得する。

次に、情報処理端末は、認識時における環境のセンサ情報を収集する（Ｓ１１２）。環境のセンサ情報とは、認識対象に基づかない情報であって、例えば位置計測部４０５により取得される現在位置情報、温度・湿度計４０７により取得される現在の温度・湿度、時計部４０８により取得される現在日時等が相当する。

次いで、情報処理端末は、ログデータの拡充を図る（Ｓ１１５）。すなわち、外部参照情報取得部４０９により、各種外部サーバ（料理メタＤＢのサーバ３１、気象情報ＤＢのサーバ３２、または場所メタＤＢのサーバ３３等）にアクセスして認識対象の情報や認識時の環境情報をさらに取得する。

そして、情報処理端末は、取得した全ての情報をサーバ１へ送信し、生データＤＢ１２に格納させる。

続いて、サーバ１における特徴量化について図４を参照して説明する。図４は、本実施形態における特徴量抽出処理を示すフローチャートである。図４に示すように、まず、サーバ１の特徴量抽出部１３は、生データＤＢ１２から、認識対象のセンサ情報を読み込む（Ｓ１２３）。

次に、特徴量抽出部１３は、認識対象のセンサ情報に基づいて、認識対象の特徴量を抽出する（Ｓ１２６）。

そして、特徴量抽出部１３は、抽出した特徴量を特徴量ＤＢ１４へ格納する（Ｓ１２９）。以上説明した特徴量の抽出は、ユーザが対象を認識した際にリアルタイムで行われる。

続いて、サーバ１における傾向モデルの生成について図５を参照して説明する。図５は、本実施形態による認識対象の特徴量の傾向モデル生成処理を示すフローチャートである。図５に示すように、まず、サーバ１のモデル生成部１５は、認識対象の所定の特徴量の傾向モデルが既に生成されているか否かを確認する（Ｓ１３３）。

次に、既に生成されている場合（Ｓ１３３において「Ｎｏ」）、モデル生成部１５は、モデルＤＢ１６から、既に生成されている傾向モデル（過去モデル）を読み込む（Ｓ１３６）。

一方、まだ生成されていない場合（Ｓ１３３において「Ｙｅｓ」）、モデル生成部１５は、所定の特徴量の傾向モデル初期化を行う。

次に、モデル生成部１５は、特徴量ＤＢ１４から、認識対象の所定の特徴量を読み込む（Ｓ１４２）。ここでは、傾向モデルにまだ反映されていない特徴量（例えば現在新たに認識対象から取得された特徴量）を読み込む。

次いで、モデル生成部１５は、読み込んだ特徴量に基づいて、当該特徴量の傾向モデルを更新する（Ｓ１４５）。

次に、モデル生成部１５は、更新した傾向モデルを、モデルＤＢ１６に書き込む（Ｓ１４８）。

次いで、モデル生成部１５は、必要であれば、多ユーザモデルＤＢを格納するサーバ３４におけるユーザのモデルＤＢを、更新した傾向モデルと同期させる。サーバ３４には、ユーザ毎に、認識対象の傾向モデルや特徴量ＤＢが格納されている。

以上説明した傾向モデルの生成は、認識対象から抽出される複数の特徴量毎に生成される。例えば認識対象の髪型の特徴、洋服の特徴、持ち物の特徴、体型の特徴等の傾向モデルが夫々生成され得る。

続いて、本実施形態による差異提示の動作処理および可視化情報例について図６〜図１４を参照して説明する。以下に説明する差異提示の各動作処理は、ユーザが対象を認識した際にリアルタイムで行われ得る。

＜３−２．２点要素間の差異提示＞
まず、本実施形態による２点要素間（すなわち、現在と直近過去または未来）の差異提示について、図６〜図９を参照して具体的に説明する。

図６は、本実施形態による２点間の差異提示処理を示すフローチャートである。図６に示すように、まず、比較部１７は、認識対象の現在の特徴量と、直近過去の特徴量を、特徴量ＤＢ１４から読み込む（Ｓ２０３）。

次に、比較部１７は、特徴量の比較を行い、差異を算出する（Ｓ２０６）。

次いで、比較部１７は、比較結果（差異個所）を可視化情報生成部１８に出力する（Ｓ２０９）。

次に、可視化情報生成部１８は、生データＤＢ１２から差異個所の情報を取得する（Ｓ２１２）。

次いで、可視化情報生成部１８は、差異個所を指摘するコメントを生成する（Ｓ２１５）。この際、可視化情報生成部１８は、外部サーバから差異個所の詳細情報や関連情報等を取得し、これらも含めたコメントを生成してもよい。

続いて、可視化情報生成部１８は、取得した差異個所の情報や生成したコメントに基づいて可視化情報を生成し、生成した可視化情報を、通信部１１を介してユーザ端末２に提示して、差異個所の通知を行う（Ｓ２１８）。

ここで、可視化情報生成部１８によりユーザに提示される可視化情報の具体例について図７を参照して説明する。図７は、本実施形態による可視化情報の画面表示例を示す図である。図７に示すように、例えば可視化情報は、認識対象の過去の撮像画像および現在の撮像画像を用いて、画像認識対象が徐々に変化する様子を時間軸上のスライダーで切り替えながら見ることができる画面により実現される。図７の画面２２−１〜画面２２−４は、時間軸上のスライダーを移動することにより切り替えられる画面である。

具体的には、例えばユーザが対象を認識した最も過去の情報（初めて会った時の相手の撮像画像等）が１９７２年の場合、画面２２−１に示すように、時間軸の最も過去が１９７２年に設定される。そして、スライダーを１９７２年に移動すると、１９７２年に取得された認識対象の撮像画像（顔画像）と共に、認識時の日時、場所、天気等の情報が併せて表示される。これにより、ユーザは、相手と初めて会った時のことを話題にすることができる。

また、次にユーザが同一の相手に会ったのが２０１４年である場合、１９７２年と２０１４年の間の相手の情報は蓄積されていないが、画面２２−２に示すように、スライダーを１９７２年と２０１４年の間に移動した際に、過去画像に基づいて生成した合成画像が表示されてもよい。画面２２−２では、１９７２年の過去画像と、２０１４年の過去画像とを重ねた合成画像が表示されている。

次いで、画面２２−３に示すように、時間軸上のスライダーを２０１４年現在に移動すると、２０１４年に取得された認識対象の撮像画像（顔画像）と共に、認識時の日時、場所、天気等の情報が併せて表示される。ここで、ユーザが２０１４年現在、同一の相手に会った際に、直近の過去の相手の特徴量と現在の相手の特徴量とが比較部１７により比較され、比較結果に基づいて差異を可視化する画面２２−３が表示される。例えば同一の相手に会った直近の過去が一週間前である場合、画面２２−３には、一週間前の相手の顔画像、会った日時、場所等の情報が含まれ、さらに一週間前との特徴量の差異（髪型が変わった等）が示される。これにより、ユーザは、前回会った時から相手の髪型が変わっていることを話題にすることができる。なお、何ら差異がない場合は、変化がない旨が示されてもよい。

続いて、画面２２−４に示すように、時間軸上のスライダーを２０２０年等の未来に移動させると、予測部１９により予測された未来の特徴量に基づいた情報が表示される。例えば、未来の予測結果で示される皺の多さ、髪の量、髪の色、顔のたるみ変化等に基づいて可視化情報生成部１８により生成された顔画像が表示される。

以上、認識対象の過去画像等を時間軸に応じて表示する可視化情報例について説明した。なお、図７に示す画面２２−２では、ユーザが相手と会っていない間の相手の顔画像を過去画像に基づいて合成して表示しているが、本実施形態はこれに限定されず、可視化情報生成部１８は、多ユーザモデルＤＢを格納するサーバ３４から、他ユーザが相手と会った時の相手の撮像画像を取得し、表示してもよい。以下、図８を参照して説明する。

図８は、図７に示す画面２２−２において他のユーザが相手と会った時の撮像画像を表示する変形例について説明する図である。図８に示すように、画面２２−２’では、時間軸上のスライダーが１９７２年と２０１４年の間（例えば２０００年頃）に移動されている。スライダーで示される時期にユーザは相手に会っていないため、生データＤＢ１２には相手の過去画像（撮像画像）等が格納されていないが、他ユーザ（例えば共通の友人ＸＸ）が相手に会っていた場合、可視化情報生成部１８は、他ユーザが会った時に撮像された相手の画像をサーバ３４から取得し、画面２２−２’に表示する。また、可視化情報生成部１８は、相手の過去画像を表示すると共に、「２０００年頃は会っていません。共通の友人ＸＸさんが会った時の画像を表示します。」といったコメント（注釈）を付けることで、他ユーザが会った時の情報であることをユーザに通知する。

次いで、他の可視化情報例について図９を参照して説明する。図９は、差異部分を強調した可視化情報例を示す図である。例えばユーザが会った相手のメガネのフレームの色が、直近過去である昨日から変わった場合、差異部分であるメガネフレームを強調してユーザに通知する。具体的には、例えば図９に示すように、画面２２−６において、相手の現在の撮像画像と、直近過去の撮像画像とを並べて表示し、さらに差異部分の拡大画像と、差異部分に関するコメントを表示する。これにより、ユーザは、前回会った時から相手のメガネのフレームの色が変わっていることを話題にすることができる。

＜３−３．傾向との差異提示＞
次に、本実施形態による傾向との差異提示について、図１０〜図１１を参照して具体的に説明する。上述した実施形態では、現在と直近過去または未来といった時系列上の２点要素間の差異を提示しているが、本実施形態はこれに限定されず、モデル生成部１５により生成された認識対象の過去の特徴量の傾向と現在との差異を提示することも可能である。

図１０は、本実施形態による傾向との差異提示処理を示すフローチャートである。図１０に示すように、まず、比較部１７は、認識対象の現在の特徴量を特徴量ＤＢ１４から読み込む（Ｓ２３３）。

次いで、比較部１７は、認識対象の過去の傾向をモデルＤＢ１６から読み込む（Ｓ２３６）。

次に、比較部１７は、現在の特徴量と過去の傾向とを比較し、差異を算出する（Ｓ２３９）。

次いで、比較部１７は、比較結果（差異個所）を可視化情報生成部１８に出力する（Ｓ２４２）。

次に、可視化情報生成部１８は、生データＤＢ１２から差異個所の情報を取得する（Ｓ２４５）。

次いで、可視化情報生成部１８は、差異個所を指摘するコメントを生成する（Ｓ２４８）。この際、可視化情報生成部１８は、外部サーバから差異個所の詳細情報や関連情報等を取得し、これらも含めたコメントを生成してもよい。

続いて、可視化情報生成部１８は、取得した差異個所の情報や生成したコメントに基づいて可視化情報を生成し、生成した可視化情報を、通信部１１を介してユーザ端末２に提示して、差異個所の通知を行う（Ｓ２５１）。

ここで、可視化情報生成部１８によりユーザに提示される可視化情報の具体例について図１１を参照して説明する。図１１は、本実施形態による可視化情報の画面表示例を示す図である。図１１に示すように、例えば可視化情報は、差異部分の過去の傾向を示すヒストグラムにおいて、今回の特徴を示す部分を強調表示する画面により実現されてもよい。具体的には、図１１の画面２２−７に示すように、例えば認識対象の洋服の色の過去傾向（色毎の着用頻度）を示すヒストグラムを、色毎に分類した場合の代表的な過去の洋服画像と共に表示し、現在着用している洋服の色が過去の傾向に比べると着用頻度が少ないものであることを指摘する。この際、可視化情報生成部１８は、該当する色を前回着用していた時の画像と、現在着用している洋服の画像とを並べて表示してもよい。

＜３−４．スコアに応じた差異提示＞
次に、本実施形態によるスコアに応じた差異提示について、図１２〜図１４を参照して具体的に説明する。上述した各実施形態では、比較部１７により算出された差異個所をそのままユーザに提示したが、本実施形態による提示方法はこれに限定されず、例えば差異の大きさや差異の内容属性（ネガティブ／ポジティブ）に応じて提示態様（表示態様）を変更することで、より適切に提示することができる。

図１２は、本実施形態によるスコアに応じた差異提示処理を示すフローチャートである。図１２に示すように、まず、比較部１７は、認識対象の現在の特徴量と、直近過去の特徴量を、特徴量ＤＢ１４から読み込む（Ｓ３０３）。

次に、比較部１７は、特徴量の比較を行い、差異を算出する（Ｓ３０６）。

次いで、比較部１７は、比較結果（差異個所）および差異スコアを可視化情報生成部１８に出力する（Ｓ２０９）。差異スコアとは、現在の特徴量との差異の大きさを示すスコアである。差異が複数ある場合は、それぞれの差異について差異スコアが算出され、可視化情報生成部１８に出力される。

次に、可視化情報生成部１８は、生データＤＢ１２から差異個所の情報を取得する（Ｓ３１２）。

次いで、可視化情報生成部１８は、差異のポジティブ−ネガティブスコアを算出する（Ｓ３１５）。ポジティブ−ネガティブスコアは、比較部１７により出力された差異（変化）がポジティブなものか、ネガティブなものかの度合いを連続値で示すものであって、例えば「スコア：−１００」は非常にネガティブな差異、「スコア：５０」は比較的ポジティブな差異を意味する。

次に、可視化情報生成部１８は、ユーザと相手との関係性、差異スコア、およびポジティブ−ネガティブスコアに基づいて、差異の提示態様（表示画面における強調度、配置等）を決定する（Ｓ３１８）。例えば可視化情報生成部１８は、差異スコアが大きい差異やポジティブ度が高い差異は強調して表示し、差異スコアは大きいがネガティブな内容の場合は相手との関係性（親しさ、性別、年齢の近さ等）に応じた強調度や配置で提示するよう決定する。また、可視化情報生成部１８は、複数の差異がある場合、相手との関係が親密であれば、ポジティブ−ネガティブスコアがネガティブに大きくとも（例えばスコア：−５０以下でも）、差異スコアが大きい順に提示してもよい。一方、相手との関係が親密でなければ、可視化情報生成部１８は、ポジティブ−ネガティブスコアが２０以上のものを優先的に差異スコア順に表示（配置）してもよい。

次いで、可視化情報生成部１８は、差異個所を指摘するコメントを生成する（Ｓ３２１）。この際、可視化情報生成部１８は、外部サーバから差異個所の詳細情報や関連情報等を取得し、これらも含めたコメントを生成してもよい。

続いて、可視化情報生成部１８は、取得した差異個所の情報や生成したコメントに基づいて可視化情報を生成し、生成した可視化情報を、通信部１１を介してユーザ端末２に提示して、差異個所の通知を行う（Ｓ３２４）。

ここで、可視化情報生成部１８によりユーザに提示される可視化情報の具体例について図１３、図１４を参照して説明する。図１３および図１４では、一例として、比較部１７により髪色の変化と体重の変化が差異として出力された場合における、相手との関係性に応じた提示態様の違いについて説明する。髪色の変化は、例えば茶色から黒への変化であって、差異スコア２０、ポジティブ−ネガティブスコアはニュートラルな変化を示す。また、体重の変化は、例えば推定２０ｋｇの増加であって、差異スコア３０、ポジティブ−ネガティブスコアはネガティブな変化を示す。

図１３は、ユーザと相手との関係が親しい間柄ではない場合における提示態様について説明する図である。可視化情報生成部１８は、ユーザと相手との関係が親しい間柄ではない場合、図１３の画面２２−８に示すように、差異スコアが低くともニュートラルな変化である髪色の変化を指摘するコメント５０をより目立つよう大きな文字で強調表示し、また、表示順も上位に表示させる。一方、差異スコアが高くともネガティブな変化である体重の変化を指摘するコメント５１は、目立たないよう小さな文字で、また、表示順も下位に表示させる。これにより、ユーザは、髪色の変化といったニュートラルな変化に注目して話題することができる。

図１４は、ユーザと相手との関係が親しい間柄である場合における提示態様について説明する図である。可視化情報生成部１８は、ユーザと相手との関係が親しい間柄である場合、図１４の画面２２−９に示すように、ネガティブな変化であっても、差異スコアが高い体重の変化を指摘するコメント５２をより目立つよう大きな文字で強調表示し、また、表示順も上位に表示させる。一方、差異スコアが低い変化である髪色の変化を指摘するコメント５３は、小さな文字で、また、表示順も下位に表示させる。これにより、ユーザは、体重の変化といったネガティブな変化であっても変化の大きい差異に注目して話題することができる。

以上、スコアに応じた差異提示について説明した。なお、図１２に示すフローでは、２点要素間の比較を行っているが、本実施形態はこれに限定されず、現在と過去傾向の比較結果も同様にスコア（差異スコア、ポジティブ−ネガティブスコア）に応じて提示態様制御してもよい。

＜＜４．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、認識対象の経時的差異を話題として提供することを可能とする。これにより、ユーザは認識対象の変化に気付くことができる。また、認識対象が人物である場合は、久しぶりに会った時等に、変化を話題として利用することができる。また、認識対象が景色である場合、時系列的な景色の変化を見ることで新たな発見が生まれる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述したサーバ１、ユーザ端末２に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、サーバ１、ユーザ端末２の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、比較部１７の比較結果に基づく認識対象の差異に関する情報の通知は、上述したような可視化情報生成部１８により生成された可視化情報のユーザ端末２への表示に限定されない。サーバ１は、比較部１７の比較結果に基づく認識対象の差異に関する情報を、ユーザ端末２において音声等によりユーザに通知するよう制御する通知制御部の機能を有してもよい。

また、本実施形態によるサーバ１の少なくとも一部の構成をユーザ端末２が有していてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
認識対象の現在の特徴量と時系列上の他の時点における特徴量とを比較する比較部と、
前記比較部の比較結果に基づく前記認識対象の差異を可視化した可視化情報を生成する生成部と、
を備える、情報処理装置。
（２）
前記認識対象の特徴量は、ユーザが前記認識対象と対面した際に検知されるセンサ情報から抽出される、前記（１）に記載の情報処理装置。
（３）
前記比較部は、前記認識対象の現在の特徴量と過去の特徴量とを比較する、前記（１）または（２）に記載の情報処理装置。
（４）
前記比較部は、前記認識対象の現在の特徴量と、直近過去の特徴量とを比較する、前記（３）に記載の情報処理装置。
（５）
前記比較部は、前記認識対象の現在の特徴量と、前記認識対象の過去の特徴量の傾向を示すモデルとを比較する、前記（３）に記載の情報処理装置。
（６）
前記過去の特徴量のモデルは、前記認識対象の過去の特徴量に基づいて生成される、前記（５）に記載の情報処理装置。
（７）
前記過去の特徴量のモデルは、１以上の他ユーザが前記認識対象と対面した際に検知されるセンサ情報から抽出された前記認識対象の過去の特徴量に基づいて生成される、前記（５）に記載の情報処理装置。
（８）
前記比較部は、前記認識対象の現在の特徴量と、当該認識対象の未来の特徴量とを比較する、前記（１）または（２）に記載の情報処理装置。
（９）
前記未来の特徴量は、前記認識対象の過去の特徴量のモデルおよび現在の特徴量に基づいて予測される、前記（８）に記載の情報処理装置。
（１０）
前記特徴量は、前記認識対象に適したセンサ情報から抽出される、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記特徴量は、前記認識対象が人物である場合、カメラセンサまたは匂いセンサにより検知された前記人物の撮像画像または匂い情報から抽出される、前記（１０）に記載の情報処理装置。
（１２）
前記特徴量は、前記認識対象が料理である場合、味覚センサ、匂いセンサ、またはカメラセンサにより検知された前記料理の味情報、匂い情報、または撮像画像から抽出される、前記（１０）に記載の情報処理装置。
（１３）
前記特徴量は、前記認識対象が景色である場合、カメラセンサにより検知された前記景色の撮像画像から抽出される、前記（１０）に記載の情報処理装置。
（１４）
前記生成部は、前記認識対象の差異個所を強調する表示画面を可視化情報として生成する、前記（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記生成部は、前記認識対象の差異の大きさ、差異のポジティブ−ネガティブ属性、および認識対象とユーザとの関係性に応じて、前記差異の提示態様を決定する、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記情報処理装置は、前記比較部の比較結果に基づく前記認識対象の差異に関する情報をユーザに通知するよう制御する通知制御部をさらに備える、前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）
認識対象の現在の特徴量と時系列上の他の時点における特徴量とを比較することと、
前記比較の結果に基づく前記認識対象の差異を可視化した可視化情報を生成することと、
を含む、制御方法。
（１８）
コンピュータを、
認識対象の現在の特徴量と時系列上の他の時点における特徴量とを比較する比較部と、
前記比較部の比較結果に基づく前記認識対象の差異を可視化した可視化情報を生成する生成部と、
として機能させるための、プログラム。

１ サーバ
１１ 通信部
１２ 生データＤＢ
１３ 特徴量抽出部
１４ 特徴量ＤＢ
１５ モデル生成部
１６ モデルＤＢ
１７ 比較部
１８ 可視化情報生成部
１９ 予測部
２ ユーザ端末
３ ネットワーク
３１ 料理メタＤＢサーバ
３２ 気象情報ＤＢサーバ
３３ 場所メタＤＢサーバ
３４ 多ユーザモデルＤＢサーバ
３５ 一般的な好ましさＤＢサーバ
３６ 商品メタＤＢサーバ
３７ 著名人ＤＢサーバ

Claims (18)

1. 認識対象の現在の特徴量と時系列上の他の時点における特徴量とを比較する比較部と、
   前記比較部の比較結果に基づく前記認識対象の差異を可視化した可視化情報を生成する生成部と、
   を備える、情報処理装置。
2. 前記認識対象の特徴量は、ユーザが前記認識対象と対面した際に検知されるセンサ情報から抽出される、請求項１に記載の情報処理装置。
3. 前記比較部は、前記認識対象の現在の特徴量と過去の特徴量とを比較する、請求項１に記載の情報処理装置。
4. 前記比較部は、前記認識対象の現在の特徴量と、直近過去の特徴量とを比較する、請求項３に記載の情報処理装置。
5. 前記比較部は、前記認識対象の現在の特徴量と、前記認識対象の過去の特徴量の傾向を示すモデルとを比較する、請求項３に記載の情報処理装置。
6. 前記過去の特徴量のモデルは、前記認識対象の過去の特徴量に基づいて生成される、請求項５に記載の情報処理装置。
7. 前記過去の特徴量のモデルは、１以上の他ユーザが前記認識対象と対面した際に検知されるセンサ情報から抽出された前記認識対象の過去の特徴量に基づいて生成される、請求項５に記載の情報処理装置。
8. 前記比較部は、前記認識対象の現在の特徴量と、当該認識対象の未来の特徴量とを比較する、請求項１に記載の情報処理装置。
9. 前記未来の特徴量は、前記認識対象の過去の特徴量のモデルおよび現在の特徴量に基づいて予測される、請求項８に記載の情報処理装置。
10. 前記特徴量は、前記認識対象に適したセンサ情報から抽出される、請求項１に記載の情報処理装置。
11. 前記特徴量は、前記認識対象が人物である場合、カメラセンサまたは匂いセンサにより検知された前記人物の撮像画像または匂い情報から抽出される、請求項１０に記載の情報処理装置。
12. 前記特徴量は、前記認識対象が料理である場合、味覚センサ、匂いセンサ、またはカメラセンサにより検知された前記料理の味情報、匂い情報、または撮像画像から抽出される、請求項１０に記載の情報処理装置。
13. 前記特徴量は、前記認識対象が景色である場合、カメラセンサにより検知された前記景色の撮像画像から抽出される、請求項１０に記載の情報処理装置。
14. 前記生成部は、前記認識対象の差異個所を強調する表示画面を可視化情報として生成する、請求項１に記載の情報処理装置。
15. 前記生成部は、前記認識対象の差異の大きさ、差異のポジティブ−ネガティブ属性、および認識対象とユーザとの関係性に応じて、前記差異の提示態様を決定する、請求項１に記載の情報処理装置。
16. 前記情報処理装置は、前記比較部の比較結果に基づく前記認識対象の差異に関する情報をユーザに通知するよう制御する通知制御部をさらに備える、請求項１に記載の情報処理装置。
17. 認識対象の現在の特徴量と時系列上の他の時点における特徴量とを比較することと、
    前記比較の結果に基づく前記認識対象の差異を可視化した可視化情報を生成することと、
    を含む、制御方法。
18. コンピュータを、
    認識対象の現在の特徴量と時系列上の他の時点における特徴量とを比較する比較部と、
    前記比較部の比較結果に基づく前記認識対象の差異を可視化した可視化情報を生成する生成部と、
    として機能させるための、プログラム。
    

Images