JP2015165407A - ネットワークシステム - Google Patents

Abstract

【課題】本発明は、顔の表情に関する表示情報の更新を自動化できるネットワークシステム、サーバ装置、情報処理装置及びプログラムを提供することを課題とする。【解決手段】第１及び第２の装置１１が接続されたネットワークシステム２であって、ユーザ情報と画像データとを第１の装置１１で取得する取得手段と、取得した画像データに含まれる顔領域を抽出する抽出手段と、抽出手段で抽出した顔領域の顔の表情を識別する識別手段と、顔の表情毎に、顔の表情を示す表情識別情報と表示情報とを関連付けて記憶する記憶手段と、表示情報の中から、識別手段で識別した顔の表情に対応する表情識別情報と関連付けて記憶されている表示情報を特定する特定手段と、特定された表示情報と取得手段で取得したユーザ情報とを対応付けて第２の装置１１の表示部に表示させる表示手段とを有することにより上記課題を解決する。【選択図】図２

Description

本発明は、ネットワークシステム、サーバ装置、情報処理装置及びプログラムに関する。

業務の関係者が遠方にいる場合はコミュニケーションの手段として電話やメール、テレビ会議等が利用される。コミュニケーションの手段として電話やメール、テレビ会議等を利用する場合は、直接、相手の表情や様子を伺うことができず、互いにモチベーションの変化や状況を知ることが難しくなる。

例えばメールや手紙等の文章では相手の感情や状況を察知することが難しいため、読み手の受け取り方に差がでることがある。また、電話の音声、テレビ会議やＷｅｂカメラの映像では一時的に相手の様子を知ることができるが、通信をしているときの相手の様子しか分からない。

従来、ユーザの気分をアイコンで示し、ユーザ同士で共有可能であるツールとして例えばニコニコカレンダーは既に知られている。ニコニコカレンダーはユーザの気分を「見える化」するツールである。また、状態表示用端末間において個人の気持ち等の状態情報を送信して表示する状態表示システムは従来から知られている（例えば特許文献１参照）。

しかしながら、従来のユーザの気分を「見える化」するツールはユーザの気分をユーザが手動で更新するため、ユーザが更新を忘れてしまったり、多忙により更新する時間がとれず、更新ができなかったりするという問題があった。

また、従来のユーザの気分を「見える化」するツールは更新するユーザの気分をユーザが自己判断によって決めるため、ユーザが更新を面倒に思い、いつも同じ気分で更新してしまったり、気分が沈んでいるときであっても、周囲に遠慮をして、気分が沈んでいることを表すアイコンに更新しなかったりするという問題があった。

従来のユーザの気分を「見える化」するツールは、上記のようにユーザの気分が正確に更新されない場合があり、本来期待されるべき効果が得られず、有効活用できないという問題があった。

本発明は、顔の表情に関する表示情報の更新を自動化できるネットワークシステム、サーバ装置、情報処理装置及びプログラムを提供することを目的とする。

上記課題を解決するため、請求項１に記載したネットワークシステムは、第１の装置と第２の装置とが接続されたネットワークシステムであって、ユーザ情報と画像データとを前記第１の装置で取得する取得手段と、前記取得手段で取得した画像データから、該画像データに含まれる顔領域を抽出する顔領域抽出手段と、複数の顔の表情の中から前記顔領域抽出手段で抽出した顔領域の顔の表情を識別する識別手段と、複数の顔の表情毎に、顔の表情を示す表情識別情報と表示情報とを関連付けて記憶する記憶手段と、前記記憶手段で記憶されている表示情報の中から、前記識別手段で識別した顔の表情に対応する表情識別情報と関連付けて記憶されている表示情報を特定する特定手段と、前記特定手段で特定された表示情報と前記取得手段で取得したユーザ情報とを対応付けて前記第２の装置の表示部に表示させる表示手段とを有することを特徴とする。

なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。

本発明によれば、顔の表情に関する表示情報の更新を自動化できる。

モチベーション可視化システムの一例の構成図である。 モチベーション可視化システムの他の例の構成図である。 サーバ装置の一例のハードウェア構成図である。 端末装置の一例のハードウェア構成図である。 モチベーション可視化システムの一例の機能ブロック図である。 表情ＤＢの一例の構成図である。 指標ＤＢの一例の構成図である。 履歴ＤＢの一例の構成図である。 アイコンＤＢの一例の構成図である。 アイコンＤＢの一例のイメージ図である。 モチベーション可視化システムに含まれるサーバ装置の処理手順の一例を示すフローチャートである。 ステップＳ５の処理の一例のフローチャートである。 ステップＳ５の処理の一例のイメージ図である。 端末装置に表示されるＵＩの一例のイメージ図である。 端末装置に表示されるＵＩの他の例のイメージ図である。 端末装置の他の一例の機能ブロック図である。

以下、本発明の実施の形態について、詳細に説明する。なお、本実施の形態におけるモチベーションとは、ユーザの気持ち、やる気、気分、状態、状況、感情等の意味を含むものとして取り扱う。

図１はモチベーション可視化システムの一例の構成図である。図１のモチベーション可視化システム（以下、単にシステムと呼ぶ）１は、サーバ装置１０及び１つ以上の端末装置１１がインターネットやＬＡＮなどのネットワーク１２経由で接続されている。端末装置１１は、例えばＰＣ（パーソナルコンピュータ）やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）や携帯電話機や専用端末等である。

端末装置１１はカメラを搭載する。端末装置１１が搭載するカメラは内蔵又は外付けの何れであっても良い。端末装置１１はモチベーションの可視化が行われるユーザにより操作される。端末装置１１はサーバ装置１０と接続して後述する処理を行い、ユーザのモチベーションを表す情報の更新を行う。なお、図１のシステム１におけるサーバ装置１０と端末装置１１との処理の切り分けは様々考えられるため、後述する。

図２はモチベーション可視化システムの他の例の構成図である。図２のモチベーション可視化システム（以下、単にシステムと呼ぶ）２は複数の端末装置１１がインターネットやＬＡＮなどのネットワーク１２経由で接続されている。端末装置１１は、例えばＰＣやＰＤＡや携帯電話機や専用端末等である。

端末装置１１はカメラを搭載する。端末装置１１が搭載するカメラは内蔵又は外付けの何れであっても良い。端末装置１１はモチベーションの可視化が行われるユーザにより操作される。端末装置１１は他の端末装置１１と接続して後述する処理を行い、ユーザのモチベーションを表す情報の更新を行う。なお、図２のシステム２はネットワーク１２に含まれる単なる中継機器としてのサーバ装置を介して接続される形態を含む。

図３はサーバ装置の一例のハードウェア構成図である。サーバ装置１０はバス２８で相互に接続されている入力装置２１、出力装置２２、記録媒体読取装置２３、補助記憶装置２４、主記憶装置２５、演算処理装置２６及びインタフェース装置２７を有する構成である。

入力装置２１はキーボードやマウス等である。入力装置２１は各種信号を入力するために用いられる。出力装置２２はディスプレイ装置等である。出力装置２２は各種ウインドウやデータ等を表示するために用いられる。インタフェース装置２７は、モデム、ＬＡＮカード等である。インタフェース装置２７は、ネットワーク１２に接続するために用いられる。

モチベーション可視化プログラム等のシステム１を実現する為のプログラムは例えば記録媒体２９の配布やネットワーク１２からのダウンロードなどによって提供される。モチベーション可視化プログラム等のシステム１を実現する為のプログラムはサーバ装置１０で実行されるプログラムの少なくとも一部である。

記録媒体２９はＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプを用いることができる。記録媒体２９は記録媒体読取装置２３にセットされる。モチベーション可視化プログラム等のシステム１を実現する為のプログラムは記録媒体２９から記録媒体読取装置２３を介して補助記憶装置２４にインストールされる。

ネットワーク１２からダウンロードされたモチベーション可視化プログラム等のシステム１を実現する為のプログラムはインタフェース装置２７を介して補助記憶装置２４にインストールされる。

補助記憶装置２４はモチベーション可視化プログラム等のシステム１を実現する為のプログラム、必要なファイル、データ等を格納する。主記憶装置２５はプログラムの起動時に補助記憶装置２４からモチベーション可視化プログラム等のシステム１を実現する為のプログラムを読み出して格納する。演算処理装置２６は主記憶装置２５に格納されたモチベーション可視化プログラム等のシステム１を実現する為のプログラムに従って後述の各種機能を実現する。

図４は端末装置の一例のハードウェア構成図である。ここでは一例として端末装置１１がＰＣであるときのハードウェア構成について説明する。端末装置１１はバス３９で相互に接続されている入力装置３１、出力装置３２、記録媒体読取装置３３、補助記憶装置３４、主記憶装置３５、演算処理装置３６、インタフェース装置３７及びカメラ３８を有する構成である。なお、カメラ３８は端末装置１１に内蔵されたものであっても、外付けされたものであってもよい。

入力装置３１はキーボードやマウス等である。入力装置３１は各種信号を入力するために用いられる。出力装置３２はディスプレイ装置等である。出力装置３２は各種ウインドウやデータ等を表示するために用いられる。インタフェース装置３７は、モデム、ＬＡＮカード等である。インタフェース装置３７は、ネットワーク１２に接続するために用いられる。カメラ３８はユーザの顔を撮影する。

モチベーション可視化プログラム等のシステム１又は２を実現する為のプログラムは例えば記録媒体４０の配布やネットワーク１２からのダウンロード等によって提供される。モチベーション可視化プログラム等のシステム１を実現する為のプログラムは端末装置１１で実行されるプログラムの少なくとも一部である。

記録媒体４０はＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプを用いることができる。記録媒体４０は記録媒体読取装置３３にセットされる。モチベーション可視化プログラム等のシステム１を実現する為のプログラムは記録媒体４０から記録媒体読取装置３３を介して補助記憶装置３４にインストールされる。

ネットワーク１２からダウンロードされたモチベーション可視化プログラム等のシステム１を実現する為のプログラムはインタフェース装置３７を介して補助記憶装置３４にインストールされる。

補助記憶装置３４はモチベーション可視化プログラム等のシステム１を実現する為のプログラム、必要なファイル、データ等を格納する。主記憶装置３５はプログラムの起動時に補助記憶装置３４からモチベーション可視化プログラム等のシステム１を実現する為のプログラムを読み出して格納する。演算処理装置３６は主記憶装置３５に格納されたモチベーション可視化プログラム等のシステム１を実現する為のプログラムに従って後述の各種機能を実現する。

図５はモチベーション可視化システムの一例の機能ブロック図である。なお、図５は図１のシステム１における一例の機能ブロック図である。図５において、端末装置１１は撮影部５１、送信部５２、ＵＩ処理部５３、受信部５４を有する。また、サーバ装置１０は受信部６１、静止画化部６２、顔抽出部６３、部位抽出部６４、表情認識部６５、指標化部６６、アイコン決定部６７、送信部６８、表情ＤＢ６９、指標ＤＢ７０、履歴ＤＢ７１及びアイコンＤＢ７２を有する。

端末装置１１の撮影部５１はユーザの顔を撮影する。撮影部５１はユーザの顔の動画を撮影してもよいし、静止画を撮影してもよい。撮影部５１が静止画を撮影した場合は後述の静止画化部６２の処理が不要となる。ここでは撮影部５１が動画を撮影したものとして説明を続ける。送信部５２は撮影部５１が撮影した動画をサーバ装置１０に送信する。

ＵＩ処理部５３は出力装置３２にＵＩを表示する。受信部５４はサーバ装置１０から後述のアイコン更新要求を受け付ける。アイコン更新要求は後述のユーザのモチベーションを表すアイコンをＵＩに表示させる要求である。アイコン更新要求に基づき、ＵＩ処理部５３はユーザのモチベーションを表すアイコンをＵＩに表示又は更新する。

サーバ装置１０の受信部６１はユーザの顔の動画を受信する。静止画化部６２は受信部６１が受信した動画を静止画化する。顔抽出部６３は静止画化部６２が静止画化した静止画から顔を抽出する。部位抽出部６４は顔抽出部６３が抽出した静止画上の顔から各部位を抽出する。ここで抽出する部位は表情の認識に役立つ部位であればよい。ここでは表情の認識に役立つ部位として目、眉、口を抽出する。

表情認識部６５は部位抽出部６４が抽出した静止画上の顔の部位の形状（輪郭など）から各部位の表情を認識する。なお、各部位の表情の認識には、後述する表情ＤＢ６９を用いる。指標化部６６は表情認識部６５が認識した各部位の表情を指標化し、指標の平均を算出する。各部位の表情の指標化には後述の指標ＤＢ７０を用いる。指標化部６６は後述の履歴ＤＢ７１に算出した指標の平均を保存する。

アイコン決定部６７は後述のアイコンＤＢ７２を参照し、指標化部６６が算出した指標の平均に応じたアイコンを決定する。アイコンはユーザのモチベーションを表す情報の一例である。送信部６８はアイコン決定部６７が決定したユーザのモチベーションを表すアイコンへのアイコン更新要求を端末装置１１に送信する。

なお、履歴ＤＢ７１に保存したユーザの指標の履歴は、端末装置１１から参照要求があると、サーバ装置１０から端末装置１１に送信される。ユーザは例えばＵＩに表示されたユーザの指標の履歴を参照できる。

なお、図５のシステム１では表情ＤＢ６９、指標ＤＢ７０、履歴ＤＢ７１及びアイコンＤＢ７２がサーバ装置１０に設けられているが、表情ＤＢ６９、指標ＤＢ７０、履歴ＤＢ７１及びアイコンＤＢ７２の少なくとも一つを、他の１つ以上のサーバ装置に設けるようにしてもよい。

また、図５のシステム１は例えばアイコン決定部６７及びアイコンＤＢ７２を端末装置１１に設けるようにしてもよい。アイコン決定部６７及びアイコンＤＢ７２を端末装置１１に設けたシステム１ではアイコン更新要求に変えて、指標化部６６が算出した指標の平均が送信部６８から端末装置１１に送信される。更に、図５のシステム１は１台のサーバ装置１０で構成される例を示しているが、複数台のサーバ装置で構成してもよい。

図６は表情ＤＢの一例の構成図である。図６の表情ＤＢ６９は表情テーブル、目テーブル、眉テーブル及び口テーブルを有する。表情ＤＢ６９は、それぞれの表情（例えば喜怒哀楽）の表情テーブルに対して、各部位のテーブルである目テーブル、眉テーブル及び口テーブルが関連付けられている。

表情テーブルは表情ごとに表情ＩＤ（目）と表情ＩＤ（眉）と表情ＩＤ（口）とが設定されている。表情ＩＤ（目）と表情ＩＤ（眉）と表情ＩＤ（口）は例えば番号により設定される。表情ＩＤ（目）の場合、例えばｅ１、ｅ２等の番号を想定する。

目テーブルは表情ＩＤ（目）と特徴（目）と軌跡（目）とが設定されている。眉テーブルは表情ＩＤ（眉）と特徴（眉）と軌跡（眉）とが設定されている。口テーブルは表情ＩＤ（口）と特徴（口）と軌跡（口）とが設定されている。目テーブルは目の特徴及び軌跡が設定されている。眉テーブルは眉の特徴及び軌跡が設定されている。口テーブルは口の特徴及び軌跡が設定されている。

表情テーブルに対して、各部位のテーブルである目テーブルと眉テーブルと口テーブルとは表情ＩＤ（目）と表情ＩＤ（眉）と表情ＩＤ（口）により関連付けられている。各部位のテーブルである目テーブルと眉テーブルと口テーブルには、例えば特徴として各部位の輪郭の頂点の位置や角度などが設定され、軌跡として各部位の輪郭を縁取る点の集まりなどを設定することを想定する。例えば目テーブルには、特徴として目の輪郭の頂点の位置や角度などが設定され、軌跡として目の輪郭を縁取る点の集まりなどを想定する。

表情ＤＢ６９を参照する場合は部位抽出部６４が抽出した静止画上の顔の部位の特徴及び軌跡をキーとして各部位のテーブルの特徴及び軌跡と比較し、特徴及び軌跡が似ている各部位テーブルの表情ＩＤを取得する。例えば目の特徴及び軌跡をキーとして目テーブルの特徴及び軌跡と比較した場合は特徴及び軌跡が似ている目テーブルの表情ＩＤ（目）を取得する。

取得した表情ＩＤをキーとして表情テーブルの表情ＩＤを検索することで、表情認識部６５はユーザの表情を認識できる。例えば表情ＩＤ（目）をキーとして表情テーブルの表情ＩＤ（目）を検索することで、表情認識部６５はユーザの目の表情を認識できる。

また、図７は指標ＤＢの一例の構成図である。図７の指標ＤＢ７０は指標テーブルを有する。指標ＤＢ７０は、各部位ごとに指標テーブルを有する。各部位ごとの指標テーブルは表情と指標（値）とが対応付けられて設定されている。つまり、指標ＤＢ７０は、それぞれの表情に対しての指標を各部位ごとに対応付けて設定している。

指標ＤＢ７０を参照する場合は表情認識部６５が認識した静止画上の顔の各部位の表情をキーとして各部位の指標テーブルの表情と比較し、各部位の指標テーブルから一致する表情と対応付けられた指標を取得する。

また、図８は履歴ＤＢの一例の構成図である。図８の履歴ＤＢ７１は日付とユーザＩＤと指標（値）とが対応付けられて保存されている。つまり、履歴ＤＢ７１はユーザＩＤと対応付けて日付ごとのユーザの指標を設定している。また、履歴ＤＢ７１はユーザＩＤによりユーザ情報と対応付けられている。なお、図８のユーザ情報はユーザＩＤ、ユーザ名など、ユーザに関する情報が含まれる。ユーザ情報を利用することで、ユーザ名はユーザＩＤに変換することができる。履歴ＤＢ７１を参照する場合はユーザＩＤをキーとして履歴ＤＢ７１からユーザの指標を取得する。

また、図９はアイコンＤＢの一例の構成図である。図９のアイコンＤＢ７２はアイコンＩＤと指標の範囲と画像とが対応付けられて保存されている。つまり、アイコンＤＢ７２は指標の範囲と対応付けてアイコンＩＤと画像とを設定している。アイコンＤＢ７２を参照する場合はユーザの指標をキーとしてアイコンＤＢ７２からアイコンＩＤ及び画像を取得する。言い換えればユーザの指標がアイコンＤＢ７２の指標の範囲の何処に含まれるかによってアイコンＤＢ７２からは異なるアイコンＩＤ及び画像が取得される。

図１０はアイコンＤＢの一例のイメージ図である。図１０のアイコンＤＢ７２は３種類のアイコンが保存されている例である。ユーザの指標がＡ１〜Ａ２の場合、図１０のアイコンＤＢ７２ではアイコンＩＤ「ｉｃｏｎＡ」の画像が取得される。また、ユーザの指標がＢ１〜Ｂ２の場合、図１０のアイコンＤＢ７２ではアイコンＩＤ「ｉｃｏｎＢ」の画像が取得される。さらに、ユーザの指標がＣ１〜Ｃ２の場合、図１０のアイコンＤＢ７２ではアイコンＩＤ「ｉｃｏｎＣ」の画像が取得される。

図１０において、アイコンＩＤ「ｉｃｏｎＡ」の画像は、笑った顔の一例のイメージである。アイコンＩＤ「ｉｃｏｎＢ」の画像は、普通の顔の一例のイメージである。アイコンＩＤ「ｉｃｏｎＣ」の画像は怒った顔の一例のイメージである。

図１１はモチベーション可視化システムに含まれるサーバ装置の処理手順の一例を示すフローチャートである。なお、図１１のフローチャートが開始されるタイミングは端末装置１１を起動したとき、端末装置１１でモチベーション可視化システムに関するプログラムを起動したとき、端末装置１１で更新ボタンなどが押されたとき、所定時間間隔などが考えられる。

ステップＳ１において、サーバ装置１０の受信部６１は端末装置１１からユーザの顔の動画を受信する。ステップＳ２において、静止画化部６２は受信部６１が受信した動画を複数枚の静止画にする。ステップＳ２の処理では例えばＯｐｅｎＣＶ（Ｏｐｅｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）を使用することで動画から複数枚の静止画を作成可能である。

ＯｐｅｎＣＶとは、画像認識に関連する機能のライブラリである。ＯｐｅｎＣＶはコンピュータビジョンと呼ばれる画像認識・解析に関するコンピューティング技術が主な用途として想定されている。ＯｐｅｎＣＶを用いることで、サーバ装置１０ではコンピュータビジョンに関する高度な画像処理機能を利用できる。

なお、ステップＳ２において、静止画化部６２は動画をＮ秒、サンプリング間隔をＭ秒とすると、Ｎ、Ｍの関係がＮ≧ｋ×Ｍ（ｋ＞１）とする。ステップＳ３〜Ｓ６の処理はステップＳ２で作成した各静止画に対して行う。

ステップＳ３において、顔抽出部６３は静止画化部６２が静止画化した静止画から顔の輪郭を抽出する。ステップＳ３の処理においてもＯｐｅｎＣＶを使用することで静止画から顔の輪郭を抽出可能である。

ステップＳ４において、部位抽出部６４は顔抽出部６３が抽出した静止画上の顔の輪郭から各部位として目、眉、口の輪郭を抽出する。例えば部位抽出部６４は顔の輪郭の下半分から口の輪郭を抽出し、顔の輪郭の上半分から目、眉の輪郭を抽出する。ステップＳ４の処理においてもＯｐｅｎＣＶを使用することで顔の輪郭から目、眉、口の輪郭を抽出可能である。

ステップＳ５において、表情認識部６５は部位抽出部６４が抽出した静止画上のユーザの顔の目、眉、口の輪郭を用いて、表情ＤＢ６９の目テーブル、眉テーブル、口テーブルの特徴、軌跡とのパターンマッチングを行い、表情を認識する。なお、パターンマッチングでは各部位の特徴、軌跡の他、各部位との距離を用いてもよい。ステップＳ５の処理の詳細は後述する。

ステップＳ６において、指標化部６６は表情認識部６５が行った表情の認識結果を用いて１枚の静止画上のユーザの顔の目、眉、口の表情を指標化し、１枚の静止画上のユーザの顔の目、眉、口の表情の指標を平均して、１枚の静止画上のユーザの顔の指標として算出する。なお、指標化部６６はユーザの顔の目、眉、口の表情の指標化に指標ＤＢ７０を用いる。指標に関しては例えば表情が「喜」であった場合Ｘ、表情が「怒」であった場合Ｙとしたとき、Ｘ＞Ｙとする。

ステップＳ３〜Ｓ６の処理をステップＳ２で作成した各静止画に対して行った後、指標化部６６はステップＳ７において、ステップＳ３〜Ｓ６で算出した各静止画のユーザの顔の指標から、全静止画のユーザの顔の指標の平均を算出する。ステップＳ８において、指標化部６６はステップＳ７で算出した全静止画のユーザの顔の指標の平均を日付、ユーザＩＤと共に履歴ＤＢ７１へ保存する。

ステップＳ９において、アイコン決定部６７はアイコンＤＢ７２を参照し、指標化部６６が算出した指標の平均に応じたアイコンを決定する。ステップＳ１０において、送信部６８はアイコン決定部６７が決定したユーザのモチベーションを表すアイコンへのアイコン更新要求を端末装置１１に送信する。

この後、端末装置１１の受信部５４は、サーバ装置１０からアイコン更新要求を受け付ける。端末装置１１のＵＩ処理部５３はユーザのモチベーションを表すアイコンをアイコン更新要求に基づき、ＵＩに表示又は更新できる。

図１２はステップＳ５の処理の一例のフローチャートである。ステップＳ２１〜Ｓ２３の処理は、部位抽出部６４が抽出した静止画上のユーザの顔の目、眉、口の輪郭それぞれについて行われる。

ステップＳ２１において、表情認識部６５は３つの手法の形状マッチングを後述のように行う。ステップＳ２２に進み表情認識部６５はステップＳ２１の形状マッチングの結果を合計する。ステップＳ２３において、表情認識部６５は部位抽出部６４が抽出した静止画上のユーザの顔の部位（目など）の特徴及び軌跡と、極めて近い特徴及び軌跡が設定された部位のテーブル（目テーブルなど）が見つかったか判定する。

極めて近い特徴及び軌跡が設定された部位のテーブルが見つかっていなければ、表情認識部６５はステップＳ２１に戻り、次の部位のテーブルについて処理を続ける。極めて近い特徴及び軌跡が設定された部位のテーブルが見つかると、表情認識部６５は、その時点でステップＳ２４の処理を行う。また、表情認識部６５は全ての部位のテーブルについて形状マッチングが終了したときもステップＳ２４の処理を行う。

ステップＳ２４において、表情認識部６５は最も近い特徴及び軌跡が設定された部位のテーブルに設定された表情ＩＤを取得し、取得した表情ＩＤをキーとして表情テーブルの表情ＩＤを検索することで、ユーザの顔の部位の表情を認識する。

ここではステップＳ２１の形状マッチングについて更に説明する。形状マッチングとは２つの入力画像に対して形状比較を行うものである。ステップＳ２１の形状マッチングでは後述のＯｐｅｎＣＶのサンプルコードのように、３種類の手法により形状マッチングを行うものとする。

opencv.jp - OpenCV: マッチング（Matching）サンプルコード - (「形状のマッチング」参照)： http://opencv.jp/sample/matching.html
前述のＯｐｅｎＣＶのサンプルコードの大まかな流れは、以下の通りである。
（１）入力画像と比較画像を読み込む。
（２）３種類の手法により形状比較を行う。
（３）形状比較の結果を画像に出力する。
（４）次の比較画像を読み込み、（２）に戻る。

ここで、前述のサンプルコードの流れ（２）で使用しているcvMatchShapesという関数は、２つの画像の形状がより似ている場合には「０」に近い数値を返す関数である。前述したcvMatchShapes関数が利用する形状比較の手法は、以下のリンク先に説明されている。

構造解析と形状ディスクリプタ - opencv v2.1 documentation (「cvMatchShapes」参照)
http://opencv.jp/opencv-2.1/c/structural_analysis_and_shape_descriptors.html#cv-matchshapes
本実施の形態では、静止画から抽出したユーザの顔の部位(入力画像)と、表情ＤＢ６９の部位のテーブルに設定された特徴、軌跡などのパターン（比較画像）との形状マッチングを（cvMatchShapes関数の3種類の形状比較）を行う。そして、本実施の形態では各形状比較の結果を平均した数値が、より０に近しいパターンが設定された部位のテーブルと関連付けられた表情を、ユーザの顔の部位の表情としている。

図１３はステップＳ５の処理の一例のイメージ図である。表情認識部６５は部位抽出部６４が抽出した静止画上のユーザの顔の目、眉、口の輪郭を用いて表情を判別する場合には図１３に示すような目テーブル、眉テーブル、口テーブルの特徴、軌跡とのパターンとのパターンマッチングを行う。

例えば図１３は静止画上のユーザの顔の目の表情を判別する例を示している。表情認識部６５は部位抽出部６４が抽出した静止画上のユーザの顔の目の輪郭であるユーザの目のパターンと、表情ＤＢ６９の目テーブルに設定されている目の特徴や軌跡などのパターンとのパターンマッチングを行う。そして、表情認識部６５は部位抽出部６４が抽出した静止画上のユーザの顔の目のパターンに、より近い目テーブルに設定された目のパターンから目の表情を判別する。図１３の例では目の表情として「楽」を判別している。

図１４は端末装置に表示されるＵＩの一例のイメージ図である。図１４のＵＩはユーザのモチベーションを表すアイコンを、ユーザ毎に各日付に対して表示している。例えばマウスカーソルをアイコンに重ねると、ＵＩ表示部５３はユーザが入力したコメント等の補足的な情報を表示できるようにしてもよい。ユーザが入力したコメント等の補足的な情報を表示できるようにすると、ＵＩはユーザ同士のモチベーションの共有を、より促進することが期待できる。

図１５は端末装置に表示されるＵＩの他の例のイメージ図である。図１５のＵＩは補助的な画面として、現在のユーザのモチベーションを表すアイコンを表示する。図１５のＵＩは現在のユーザのモチベーションを確認したいようなケースが想定される場合にユーザの利便性の向上が期待できる。

なお、図５のシステム１は一例であって、サーバ装置１０が有する機能の少なくとも一部を端末装置１１側に設ける構成も可能である。例えばシステム１は図５のサーバ装置１０の機能のうちの履歴ＤＢ７１をサーバ装置１０が有し、図５の機能のうちの履歴ＤＢ７１以外を端末装置１１が有する構成とすることもできる。

図５のサーバ装置１０の機能のうちの履歴ＤＢ７１をサーバ装置１０が有し、図５の機能のうちの履歴ＤＢ７１以外を端末装置１１が有するシステム１では、サーバ装置１０が端末装置１１から受信したユーザの指標の履歴を保存し、サーバ装置１０が端末装置１１からの要求に基づき、ユーザの指標の履歴を提供する。

以上、本実施の形態のシステム１によれば、端末装置１１でユーザの顔を撮影し、撮影したユーザの顔の表情の認識結果に基づき、ユーザの表情を指標化することで、ユーザのモチベーションを表すアイコンをＵＩに表示できる。このように、本実施の形態のシステム１では、従来、手動で行っていたアイコンの更新を自動化できる。

また、本実施の形態のシステム１によれば、従来、ユーザが自己判断により決めていたユーザのモチベーションを表すアイコンを、撮影したユーザの顔の表情に基づいて自動的に決めるため、ユーザが更新を面倒に思い、いつも同じ気分で更新してしまったり、気分が沈んでいるときであっても、周囲に遠慮をして、気分が沈んでいることを表すアイコンに更新しなかったりするという問題を解決できる。つまり、本実施の形態のシステム１によれば、より正確なユーザのモチベーションを表すアイコンに更新できる。

図２のモチベーション可視化システム２に含まれる端末装置１１は例えば図１６のように構成される。図１６は端末装置の他の一例の機能ブロック図である。図１６の端末装置１１は、撮影部５１、ＵＩ処理部５３、受信部６１、静止画化部６２、顔抽出部６３、部位抽出部６４、表情認識部６５、指標化部６６、アイコン決定部６７、送信部６８、表情ＤＢ６９、指標ＤＢ７０、履歴ＤＢ７１及びアイコンＤＢ７２を有する。

図１６の端末装置１１は図５のサーバ装置１０及び端末装置１１の機能ブロックを合わせた構成となっている。なお、図１６の端末装置１１の機能ブロックは、一部を除いて図５のサーバ装置１０及び端末装置１１の機能ブロックと同様な処理を行うため、説明を適宜省略する。

端末装置１１の撮影部５１はユーザの顔を撮影する。ＵＩ処理部５３は出力装置３２にＵＩを表示する。受信部５４は、他の端末装置１１から前述のアイコン更新要求を受け付ける。ＵＩ処理部５３はユーザのモチベーションを表すアイコンを表示又は更新する。

静止画化部６２は撮影部５１が撮影した動画を静止画化する。顔抽出部６３は静止画化部６２が静止画化した静止画から顔を抽出する。部位抽出部６４は顔抽出部６３が抽出した静止画上の顔から各部位を抽出する。

表情認識部６５は表情ＤＢ６９を参照し、部位抽出部６４が抽出した静止画上の顔の部位の形状（輪郭など）から各部位の表情を認識する。指標化部６６は指標ＤＢ７０を参照し、表情認識部６５が認識した各部位の表情を指標化し、指標の平均を算出する。指標化部６６は前述の履歴ＤＢ７１に算出した指標の平均を保存する。

アイコン決定部６７はアイコンＤＢ７２を参照し、指標化部６６が算出した指標の平均に応じたアイコンを決定する。アイコン決定部６７が決定したアイコンはＵＩ処理部５３によりＵＩに表示される。また、送信部６８はアイコン決定部６７が決定したユーザのモチベーションを表すアイコンへのアイコン更新要求を他の端末装置１１に送信する。

なお、履歴ＤＢ７１に保存したユーザの指標の履歴は、他の端末装置１１から参照要求があると、他の端末装置１１に送信される。そして、他の端末装置１１のＵＩ処理部５３は受信したユーザの指標の履歴を表示する。また、履歴ＤＢ７１に保存したユーザの指標の履歴は、ＵＩ処理部５３から参照要求があると、ＵＩに表示される。ユーザは例えばＵＩに表示されたユーザの指標の履歴を参照できる。

本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

なお、特許請求の範囲に記載した装置は装置端末１１に相当する。サーバ装置はサーバ装置１０に相当する。ネットワークシステムはモチベーション可視化システム１に相当する。取得手段は撮影部５１、ＵＩ処理部５３に相当する。顔領域抽出手段は顔抽出部６３に相当する。識別手段は部位抽出部６４、表情認識部６５、指標化部６６に相当する。記憶手段はアイコンＤＢ７２に相当する。特定手段はアイコン決定部６７に相当する。表示手段はＵＩ処理部５３に相当する。部位抽出手段は部位抽出部６４に相当する。表情記憶手段は表情ＤＢ６９に相当する。認識手段は表情認識部６５、指標化部６６に相当する。第１の送信手段は送信部５２に相当する。第１の受信手段は受信部６１に相当する。第２の送信手段は送信部６８に相当する。第２の受信手段は受信部５４に相当する。送信手段は送信部５２に相当する。受信手段は受信部５４に相当する。

１、２ モチベーション可視化システム
１０ サーバ装置
１１ 端末装置
１２ ネットワーク
２１、３１ 入力装置
２２、３２ 出力装置
２３、３３ 記録媒体読取装置
２４、３４ 補助記憶装置
２５、３５ 主記憶装置
２６、３６ 演算処理装置
２７、３７ インタフェース装置
２８、３９ バス
２９、４０ 記録媒体
３８ カメラ
５１ 撮影部
５２ 送信部
５３ ＵＩ処理部
５４、６１ 受信部
６２ 静止画化部
６３ 顔抽出部
６４ 部位抽出部
６５ 表情認識部
６６ 指標化部
６７ アイコン決定部
６８ 送信部
６９ 表情ＤＢ
７０ 指標ＤＢ
７１ 履歴ＤＢ
７２ アイコンＤＢ

特開２００４−１９２２９７号公報

本発明は、ネットワークシステムに関する。

本発明は、顔の表情に関する表示情報の更新を自動化できるネットワークシステムを提供することを目的とする。

上記課題を解決するため、請求項１に記載したネットワークシステムは、第１の装置と、複数の第２の装置とが接続されたネットワークシステムであって、前記複数の第２の装置をそれぞれ操作しているユーザのユーザ情報と画像データとを、前記複数の第２の装置それぞれで取得する取得手段と、前記取得手段でそれぞれ取得したそれぞれの画像データから、該画像データに含まれる顔領域をそれぞれ抽出する顔領域抽出手段と、複数の顔の表情毎に、顔の表情を示す表情識別情報と該顔の表情を示す表示情報とを関連付けて記憶する記憶手段と、前記記憶手段で前記複数の顔の表情毎にそれぞれ関連付けて記憶されている表示情報の中から、前記顔領域抽出手段で抽出したそれぞれの顔領域の顔の表情に対応する表情識別情報とそれぞれ関連付けて記憶されている表示情報をそれぞれ特定する特定手段と、前記取得手段で前記複数の第１の装置それぞれから取得したそれぞれのユーザ情報と、前記特定手段で特定されたそれぞれの表示情報と、をそれぞれ対応付けて前記第１の装置の表示部に表示させる表示手段と、を有することを特徴とする。

Claims (15)

1. 第１の装置と第２の装置とが接続されたネットワークシステムであって、
   ユーザ情報と画像データとを前記第１の装置で取得する取得手段と、
   前記取得手段で取得した画像データから、該画像データに含まれる顔領域を抽出する顔領域抽出手段と、
   複数の顔の表情の中から前記顔領域抽出手段で抽出した顔領域の顔の表情を識別する識別手段と、
   複数の顔の表情毎に、顔の表情を示す表情識別情報と表示情報とを関連付けて記憶する記憶手段と、
   前記記憶手段で記憶されている表示情報の中から、前記識別手段で識別した顔の表情に対応する表情識別情報と関連付けて記憶されている表示情報を特定する特定手段と、
   前記特定手段で特定された表示情報と前記取得手段で取得したユーザ情報とを対応付けて前記第２の装置の表示部に表示させる表示手段と
   を有することを特徴とするネットワークシステム。
2. 前記識別手段は、
   前記顔領域抽出手段で抽出した顔領域の顔から部位の形状を抽出する部位抽出手段と、
   前記部位の形状と前記顔の表情を示す情報とを対応付けて記憶する表情記憶手段と、
   前記表情記憶手段で記憶されている前記顔の表情を示す情報の中から、前記部位抽出手段で抽出した前記部位の形状と関連付けて記憶されている前記顔の表情を示す情報を認識する認識手段と
   を有することを特徴とする請求項１記載のネットワークシステム。
3. 前記認識手段は、前記部位の形状としての目、眉、口の少なくとも一つの輪郭と前記顔の表情を示す情報としての前記目、眉、口の少なくとも一つの表情を示す情報とを関連付けて記憶する表情記憶手段を用いて、前記部位抽出手段で抽出した前記目、眉、口の少なくとも一つの輪郭と関連付けられて記憶されている前記目、眉、口の少なくとも一つの表情を示す情報から前記顔の表情を示す情報を認識する
   ことを特徴とする請求項２記載のネットワークシステム。
4. 第１の装置と第２の装置とがサーバ装置を介して接続されたネットワークシステムであって、
   前記第１の装置は、
   ユーザ情報と画像データとを取得する取得手段と、
   前記取得手段で取得したユーザ情報と画像データとを前記サーバ装置に送信する第１の送信手段と
   を有し、
   前記サーバ装置は、
   前記第１の装置から送信されるユーザ情報と画像データとを受信する第１の受信手段と、
   前記第１の受信手段で受信した画像データから、該画像データに含まれる顔領域を抽出する顔領域抽出手段と、
   複数の顔の表情の中から、前記顔領域抽出手段で抽出した顔領域の顔の表情を識別する識別手段と、
   前記識別手段により識別された顔の表情を示す情報と前記第１の受信手段で受信したユーザ情報とを前記第２の装置に送信する第２の送信手段と
   を有し、
   前記第２の装置は、
   複数の顔の表情毎に、顔の表情を示す表情識別情報と表示情報とを関連付けて記憶する記憶手段と、
   前記サーバ装置から送信された顔の表情を示す情報とユーザ情報とを受信する第２の受信手段と、
   前記記憶手段で記憶されている表示情報の中から、前記第２の受信手段で受信した顔の表情を示す情報に対応する表情識別情報と関連付けて記憶されている表示情報を特定する特定手段と、
   前記特定手段で特定された表示情報と前記第２の受信手段で受信したユーザ情報とを対応付けて表示部に表示させる表示手段と
   を有することを特徴とするネットワークシステム。
5. 前記識別手段は、
   前記顔領域抽出手段で抽出した顔領域の顔から部位の形状を抽出する部位抽出手段と、
   前記部位の形状と前記顔の表情を示す情報とを対応付けて記憶する表情記憶手段と、
   前記表情記憶手段で記憶されている前記顔の表情を示す情報の中から、前記部位抽出手段で抽出した前記部位の形状と関連付けて記憶されている前記顔の表情を示す情報を認識する認識手段と
   を有することを特徴とする請求項４記載のネットワークシステム。
6. 前記認識手段は、前記部位の形状としての目、眉、口の少なくとも一つの輪郭と前記顔の表情を示す情報としての前記目、眉、口の少なくとも一つの表情を示す情報とを関連付けて記憶する表情記憶手段を用いて、前記部位抽出手段で抽出した前記目、眉、口の少なくとも一つの輪郭と関連付けられて記憶されている前記目、眉、口の少なくとも一つの表情を示す情報から前記顔の表情を示す情報を認識する
   ことを特徴とする請求項５記載のネットワークシステム。
7. 第１の装置と第２の装置とが接続されたネットワークシステムであって、
   前記第１の装置は、
   ユーザ情報と画像データとを取得する取得手段と、
   前記取得手段で取得した画像データから、該画像データに含まれる顔領域を抽出する顔領域抽出手段と、
   複数の顔の表情の中から、前記顔領域抽出手段で抽出した顔領域の顔の表情を識別する識別手段と、
   前記識別手段により識別された顔の表情を示す情報と前記取得手段で取得したユーザ情報とを前記第２の装置に送信する送信手段と
   を有し、
   前記第２の装置は、
   複数の顔の表情毎に、顔の表情を示す表情識別情報と表示情報とを関連付けて記憶する記憶手段と、
   前記第１の装置から送信された顔の表情を示す情報とユーザ情報とを受信する受信手段と、
   前記記憶手段で記憶されている表示情報の中から、前記受信手段で受信した顔の表情を示す情報に対応する表情識別情報と関連付けて記憶されている表示情報を特定する特定手段と、
   前記特定手段で特定された表示情報と前記受信手段で受信したユーザ情報とを対応付けて表示部に表示させる表示手段と
   を有することを特徴とするネットワークシステム。
8. 前記識別手段は、
   前記顔領域抽出手段で抽出した顔領域の顔から部位の形状を抽出する部位抽出手段と、
   前記部位の形状と前記顔の表情を示す情報とを対応付けて記憶する表情記憶手段と、
   前記表情記憶手段で記憶されている前記顔の表情を示す情報の中から、前記部位抽出手段で抽出した前記部位の形状と関連付けて記憶されている前記顔の表情を示す情報を認識する認識手段と
   を有することを特徴とする請求項７記載のネットワークシステム。
9. 前記認識手段は、前記部位の形状としての目、眉、口の少なくとも一つの輪郭と前記顔の表情を示す情報としての前記目、眉、口の少なくとも一つの表情を示す情報とを関連付けて記憶する表情記憶手段を用いて、前記部位抽出手段で抽出した前記目、眉、口の少なくとも一つの輪郭と関連付けられて記憶されている前記目、眉、口の少なくとも一つの表情を示す情報から前記顔の表情を示す情報を認識する
   ことを特徴とする請求項８記載のネットワークシステム。
10. ユーザ情報と画像データとを取得する第１の装置と、該第１の装置で取得した画像データに含まれる顔領域の顔の表情を示す表示情報と前記ユーザ情報とを対応付けて表示部に表示させる第２の装置とにネットワークを介して接続されるサーバ装置であって、
    前記第１の装置で取得されたユーザ情報と画像データとを受信する受信手段と、
    前記受信手段で受信した画像データから、該画像データに含まれる顔領域を抽出する顔領域抽出手段と、
    複数の顔の表情の中から、前記顔領域抽出手段で抽出した顔領域の顔の表情を識別する識別手段と、
    前記識別手段により識別された顔の表情を示す情報と前記受信手段で受信したユーザ情報とを前記第２の装置に送信する送信手段と
    を有することを特徴とするサーバ装置。
11. ユーザ情報と画像データとを取得する第１の装置と、該第１の装置で取得した画像データに含まれる顔領域の顔の表情を示す表示情報と前記ユーザ情報とを対応付けて表示部に表示させる第２の装置とにネットワークを介して接続されるサーバ装置を、
    前記第１の装置で取得されたユーザ情報と画像データとを受信する受信手段、
    前記受信手段で受信した画像データから、該画像データに含まれる顔領域を抽出する顔領域抽出手段、
    複数の顔の表情の中から、前記顔領域抽出手段で抽出した顔領域の顔の表情を識別する識別手段、
    前記識別手段により識別された顔の表情を示す情報と前記受信手段で受信したユーザ情報とを前記第２の装置に送信する送信手段
    として機能させるためのプログラム。
12. ユーザ情報と画像データとを取得する第１の装置と、該第１の装置とサーバ装置を介して接続され、該第１の装置で取得した画像データに含まれる顔領域の顔の表情を示す表示情報と前記ユーザ情報とを対応付けて表示部に表示させる第２の装置とのいずれの機能も備えた情報処理装置であって、
    前記第１の装置として機能するときには、
    ユーザ情報と画像データとを取得する取得手段と、
    前記取得手段で取得したユーザ情報と画像データとを前記サーバ装置に送信する送信手段と
    を有し、
    記第２の装置として機能するときには、
    複数の顔の表情毎に、顔の表情を示す表情識別情報と表示情報とを関連付けて記憶する記憶手段と、
    前記サーバ装置が、前記第１の装置として機能する他の情報処理装置から送信された画像データから該画像データに含まれる顔領域を抽出し、さらに抽出した顔領域の顔の表情を複数の顔の表情の中から識別して得た顔の表情を示す情報と、前記第１の装置として機能する他の情報処理装置から送信されたユーザ情報とを前記サーバ装置から受信する受信手段と、
    前記記憶手段で記憶されている表示情報の中から、前記受信手段で受信した顔の表情を示す情報に対応する表情識別情報と関連付けて記憶されている表示情報を特定する特定手段と、
    前記特定手段で特定された表示情報と前記受信手段で受信したユーザ情報とを対応付けて表示部に表示させる表示手段と
    を有することを特徴とする情報処理装置。
13. 情報処理装置を、ユーザ情報と画像データとを取得する第１の装置、及び該第１の装置とサーバ装置を介して接続され、前記第１の装置で取得した画像データに含まれる顔領域の顔の表情を示す表示情報と前記ユーザ情報とを対応付けて表示部に表示させる第２の装置のいずれの機能も備えた情報処理装置をいずれの装置としても機能させるプログラムであって、
    前記プログラムは、前記情報処理装置を、
    ユーザ情報と画像データとを取得する取得手段、
    前記取得手段で取得したユーザ情報と画像データとを前記サーバ装置に送信する送信手段
    を備えた前記第１の装置として機能させ、
    さらに前記プログラムは、前記情報処理装置を、
    前記サーバ装置が、前記第１の装置として機能する他の情報処理装置から送信された画像データから該画像データに含まれる顔領域を抽出し、さらに抽出した顔領域の顔の表情を複数の顔の表情の中から識別して得た顔の表情を示す情報と、前記第１の装置として機能する他の情報処理装置から送信されたユーザ情報とを前記サーバ装置から受信する受信手段、
    複数の顔の表情毎に顔の表情を示す表情識別情報と表示情報とを関連付けて記憶部に記憶されている表示情報の中から、前記受信手段で受信した顔の表情を示す情報に対応する表情識別情報と関連付けて記憶されている表示情報を特定する特定手段、
    前記特定手段で特定された表示情報と前記受信手段で受信したユーザ情報とを対応付けて表示部に表示させる表示手段
    を備えた前記第２の装置として機能させるプログラム。
14. ユーザ情報と画像データとを取得する第１の装置と、該第１の装置で取得した画像データに含まれる顔領域の顔の表情を示す表示情報と前記ユーザ情報とを対応付けて表示部に表示させる第２の装置とのいずれの機能も備えた情報処理装置であって、
    前記第１の装置として機能するときには、
    ユーザ情報と画像データとを取得する取得手段と、
    前記取得手段で取得した画像データから、該画像データに含まれる顔領域を抽出する顔領域抽出手段と、
    複数の顔の表情の中から、前記顔領域抽出手段で抽出した顔領域の顔の表情を識別する識別手段と、
    前記識別手段により識別された顔の表情を示す情報と前記取得手段で取得したユーザ情報とを前記第２の装置として機能する他の情報処理装置に送信する送信手段と
    を有し、
    前記第２の装置として機能するときには、
    複数の顔の表情毎に、顔の表情を示す表情識別情報と表示情報とを関連付けて記憶する記憶手段と、
    前記第１の装置として機能する他の情報処理装置から送信された顔の表情を示す情報とユーザ情報とを受信する受信手段と、
    前記記憶手段で記憶されている表示情報の中から、前記受信手段で受信した顔の表情を示す情報に対応する表情識別情報と関連付けて記憶されている表示情報を特定する特定手段と、
    前記特定手段で特定された表示情報と前記受信手段で受信したユーザ情報とを対応付けて表示部に表示させる表示手段と
    を有することを特徴とする情報処理装置。
15. 情報処理装置を、ユーザ情報と画像データとを取得する第１の装置及び該第１の装置で取得した画像データに含まれる顔領域の顔の表情を示す表示情報と前記ユーザ情報とを対応付けて表示部に表示させる第２の装置のいずれの装置としても機能させるプログラムであって、
    前記プログラムは、前記情報処理装置を
    ユーザ情報と画像データとを取得する取得手段、
    前記取得手段で取得した画像データから、該画像データに含まれる顔領域を抽出する顔領域抽出手段、
    複数の顔の表情の中から、前記顔領域抽出手段で抽出した顔領域の顔の表情を識別する識別手段、
    前記識別手段により識別された顔の表情を示す情報と前記取得手段で取得したユーザ情報とを前記第２の装置として機能する他の情報処理装置に送信する送信手段
    を備えた前記第１の装置として機能させ、
    さらに前記プログラムは、前記情報処理装置を、
    前記第１の装置として機能する他の情報処理装置から送信された顔の表情を示す情報とユーザ情報とを受信する受信手段、
    複数の顔の表情毎に顔の表情を示す表情識別情報と表示情報とを関連付けて記憶部に記憶されている表示情報の中から、前記受信手段で受信した顔の表情を示す情報に対応する表情識別情報と関連付けて記憶されている表示情報を特定する特定手段、
    前記特定手段で特定された表示情報と前記受信手段で受信したユーザ情報とを対応付けて表示部に表示させる表示手段
    を備えた前記第２の装置として機能させるプログラム。

Images