JP2014116891A - 情報表示システム、サーバ装置、情報処理装置、サーバ装置の制御方法、情報処理装置の制御方法及びプログラム - Google Patents

Abstract

【課題】 情報処理装置で撮影された人物に対して表示すべきコンテンツの内容と表示態様を自動的に切り替えて視認性と識別性に優れたコンテンツ表示を行う。
【解決手段】
被写体を撮影する内蔵カメラとで撮影された被写体に含まれる人物に対応づけられた個人識別情報をサーバ装置に要求する。そして、サーバ装置から受信する各人物の個人識別情報と、設定されるコンテンツ情報の表示モードとに基づいて前記表示手段に表示すべきコンテンツ情報をそれぞれ生成する。切替手段は、生成されたコンテンツ情報の数と、表示手段に表示される各人物の位置と、コンテンツ情報の表示範囲とに基づいて、前記表示手段に表示すべきコンテンツ情報の表示モードを個人表示モードからグループ表示モードに切り替えることを特徴とする。
【選択図】 図１２

Description

本発明は、情報表示システム、サーバ装置、情報処理装置、サーバ装置の制御方法、情報処理装置の制御方法及びプログラムに関するものである。

従来、実世界上の人物の動線追跡を行うシステムは、カメラなど映像を撮像するセンサを空間内に複数配置することでセンサ空間を構築している。例えば、時系列に撮像された複数の画像から人物の動線追跡、及び、速度ベクトルの算出を行うシステムがある。該システムは、算出された速度ベクトルと、人物の顔画像からの視線方向取得処理などの画像処理結果から、複数人物のグループ関連付けとグループ特性を決定し、その特性に応じてグループに対して表示するコンテンツを決定する（特許文献１）。

また、複数人物が画像を観察する際、人物間の関連情報に基づいて表示コンテンツを制御するシステムがある。例えば、カメラによって撮像された複数人物の顔画像から特徴データを抽出し、その特徴データから人物を特定する。その人物が特定された結果と人物間の相対位置関係から、表示コンテンツの順番、もしくは、表示の大きさを制御するものがある（特許文献２）。
また、実世界上の人物の動線情報を利用して、人物の個人情報コンテンツをディスプレイを通してリアルタイムに観測者に表示するようなシステムが提案されている。

特開２０１１−２４８５４８号公報 特開２０１２−２９１１９公報

しかし、特許文献１では、複数人物をグルーピングし、そのグループへ単一コンテンツを表示することを想定しており、コンテンツはグループへの提示優先度が高いもののみしか表示されない。また、特許文献２では、カメラによって撮像された複数人物が多くなると、一人当たりの表示コンテンツの大きさが小さくなりすぎてしまう可能性がある。

また、人物の個人情報コンテンツをディスプレイを通して見るシステムでは、観測対象の人物が複数人になると、ディスプレイ上に個人の情報コンテンツが溢れてしまい、観測者が人物の情報を取得しにくいという課題がある。

本発明は、上記の課題を解決するためになされたもので、本発明の目的は、情報処理装置で撮影された人物に対して表示すべきコンテンツの内容と表示態様を自動的に切り替えて視認性と識別性に優れたコンテンツ表示を行える仕組みを提供することである。

上記目的を達成する本発明の情報表示システムは以下に示す構成を備える。
人物を撮影する複数のカメラを含むカメラシステムと、サーバ装置と、情報処理装置とが通信する情報表示システムであって、前記カメラシステムは、各カメラで撮影される画像情報から人物を検出する検出手段と、検出された人物を特定する人物識別情報を割り当てる割当手段と、検出された人物の部地理空間位置を特定する位置情報を算出する算出手段と、算出された位置情報と割り当てられた前記識別情報とを対応づけた人物情報を前記サーバ装置に送信する第１の送信手段と、検出された人物の画像情報から当該人物の顔情報に基づく特徴情報を抽出する抽出手段と、抽出された特徴情報と前記識別情報とを対応づけて人物特徴情報を前記サーバ装置に送信する第２の送信手段と、を備え、前記サーバ装置は、人物を個別に識別するための個人識別情報と、個人属性情報と、人物の顔情報と、現在の物理位置情報と、各人物が属するグループ情報とをデータベースに登録して管理する管理手段と、前記カメラシステムから受信する人物特徴情報と登録された顔情報とを比較して各カメラで撮影された人物を認識する認識手段と、認識された人物の個人識別情報に対応づけ前記データベースに登録されている現在の物理位置情報を更新する更新手段と、前記情報処理装置から複数の人物の個人識別情報とともに受け付けるコンテンツ表示に用いる人物関連情報の取得要求に応じて、前記データベースから読み出される人物関連情報を複数の人物の個人識別情報とともに前記情報処理装置に送信する第３の送信手段と、を備え、前記情報処理装置は、被写体を撮影する内蔵カメラと、撮影された画像を表示する表示手段と、撮影された被写体に含まれる人物に対応づけられた個人識別情報とともに、当該個人識別情報に対応づけられた人物関連情報の取得要求を前記サーバ装置に行う第１の要求手段と、前記サーバ装置から受信する各人物の人物関連情報と、設定されるコンテンツ情報の表示モードとに基づいて前記表示手段に表示すべきコンテンツ情報をそれぞれ算出する算出手段と、算出されたコンテンツ情報の数と、前記表示手段に表示される各人物の位置と、各人物のコンテンツ情報の表示範囲とに基づいて、前記表示手段に表示される各人物に対応づけてコンテンツ情報を表示する表示制御手段と、算出されたコンテンツ情報の数と、前記表示手段に表示される各人物の位置と、各人物のコンテンツ情報の表示範囲とに基づいて、前記表示制御手段が前記表示手段に表示すべきコンテンツ情報の表示モードを個人表示モードからグループ表示モードに切り替える切替手段と、を備えることを特徴とする。

上記目的を達成する本発明のサーバ装置は以下に示す構成を備える。

カメラシステムまたは情報処理装置と通信するサーバ装置であって、人物を個別に識別するための個人識別情報と、個人属性情報、人物の顔情報と、現在の物理位置情報と、各人物が属するグループ情報とをデータベースに登録して管理する管理手段と、前記カメラシステムから受信する人物特徴情報と登録された顔情報とを比較して各カメラで撮影された人物を認識する認識手段と、認識された人物の個人識別情報に対応づけ前記データベースに登録されている現在の物理位置情報を更新する更新手段と、前記情報処理装置から複数の人物の個人識別情報とともに受け付けるコンテンツ表示に用いる人物関連情報の取得要求に応じて、前記データベースから読み出される人物関連情報を複数の人物の個人識別情報とともに前記情報処理装置に送信する送信手段と、を備えることを特徴とする。

上記目的を達成する本発明の情報処理装置は以下に示す構成を備える。

サーバ装置と通信する情報処理装置であって、被写体を撮影する内蔵カメラと、撮影された画像を表示する表示手段と、撮影された被写体に含まれる人物に対応づけられた個人識別情報とともに、当該個人識別情報に対応づけられた人物関連情報の取得要求を前記サーバ装置に行う第１の要求手段と、前記サーバ装置から受信する各人物の人物関連情報と、設定されるコンテンツ情報の表示モードとに基づいて前記表示手段に表示すべきコンテンツ情報をそれぞれ算出する算出手段と、算出されたコンテンツ情報の数と、前記表示手段に表示される各人物の位置と、各人物のコンテンツ情報の表示範囲とに基づいて、前記表示手段に表示される各人物に対応づけてコンテンツ情報を表示する表示制御手段と、算出されたコンテンツ情報の数と、前記表示手段に表示される各人物の位置と、各人物のコンテンツ情報の表示範囲とに基づいて、前記表示制御手段が前記表示手段に表示すべきコンテンツ情報の表示モードを個人表示モードからグループ表示モードに切り替える切替手段と、を備えることを特徴とする。

本発明によれば、情報処理装置で撮影された人物に対して表示すべきコンテンツの内容と表示態様を自動的に切り替えて視認性と識別性に優れたコンテンツ表示を行える。

情報表示システムの一例を示す図である。 図１に示したタブレット端末のハードウェア構成を説明するブロック図である。 図２に示したタブレット端末の外観を示す図である。 図１に示した処理サーバのハードウェア構成を説明するブロック図である。 図１に示したネットワークカメラのハードウェア構成を示すブロック図である。 ディスプレイに表示される画面イメージの一例を示す図である。 ディスプレイに表示される画面イメージの一例を示す図である。 処理サーバがＨＤＤに保持する個人情報データベースの内容を説明する図である。 処理サーバがＨＤＤに保持する個人と個人、及び、個人とグループの関わりを表す情報データベースの内容を示す図である。 情報表示システムの制御方法を説明するフローチャートである。 サーバ装置の制御方法を説明するフローチャートである。 情報表示システムの制御方法を説明するフローチャートである。 情報処理装置の制御方法を説明するフローチャートである。 サーバ装置の制御方法を説明するフローチャートである。 ディスプレイを通して見ている被観測者を導出する方法の概念図である。 ディスプレイ上のコンテンツ表示位置の算出処理を示す図である。 サーバ装置の制御方法を説明するフローチャートである。 ディスプレイに表示される画面イメージ例を示す図である。 グループとグループの関わりを表す情報データベースの内容を示す図である。 サーバ装置の制御方法説明するフローチャートである。

次に本発明を実施するための最良の形態について図面を参照して説明する。
＜システム構成の説明＞
〔第１実施形態〕

図１は、本実施形態を示す情報表示システムの一例を示す図である。本例は、処理サーバ３００と情報処理装置の一例であるタブレット端末２００とが通信可能な情報表示システム例を示す。本実施形態では、複数のネットワークカメラを用いたカメラシステムで撮影される人物に割り当てられる識別情報が処理サーバ３００に送信されることで、各人物が移動する物理空間内での各人物の物理位置情報が更新されて管理されるシステムが構築される。
図１において、本情報表示システムは、Ａさんが持つカメラ内蔵のタブレット端末２００と、ネットワークカメラ５００、ワイヤレスアクセスポイント１００、処理サーバ３００等から構成されている。ここで、タブレット端末２００とワイヤレスアクセスポイント１００は無線ＬＡＮで接続されており、処理サーバ３００とネットワークカメラ５００とワイヤレスアクセスポイント１００は有線ＬＡＮで構成されるネットワーク９０００で接続されている。Ａさんは、Ｂさん、Ｃさん、Ｄさんが含まれるＢｅｔａグループＧ１の方向を向いており、グループを観測しているものとする。また、ＡさんとＥさんはＡｌｐｈａグループＧ２とする。

図２は、図１に示したタブレット端末２００のハードウェア構成を説明するブロック図である。

図２に示すタブレット端末２００において、内部バス２１１は、メモリコントローラ２０７、Ｉ／Ｏコントローラ２０９間で情報の伝達が出来るよう、電気信号を伝搬する。メモリコントローラ２０７は、メインメモリ２０８に対するメモリアクセス全般を統括する。Ｉ／Ｏコントローラ２０９は、フラッシュメモリ２１０、ＬＡＮポート２０２、タッチパネルを兼ねるディスプレイ２０１のタッチパネル、カメラ２０３、地磁気センサ２１２、内部バス２１１を介して接続している処理部との情報の授受を行う。
ＬＡＮポート２０２は、ネットワーク９０００を介して接続されている他の機器、Ｉ／Ｏコントローラ２０９との情報の授受を行う。フラッシュメモリ２１０にはブートローダプログラム及び本特許の実施形態を含むタブレット端末制御プログラムが格納されている。ブートローダプログラムに関しては、本発明の特徴との関わりは薄いため説明は割愛する。メインメモリ２０８は揮発性メモリであり、高速アクセスが可能であるので、フラッシュメモリ２１０に記憶されている情報や一時的に使用する情報はここに格納される。

タブレット端末２００の電源投入時には、ＣＰＵ２０４がブートローダプログラムを読み出して実行し、フラッシュメモリ２１０に格納されているタブレット端末制御プログラムを取り出し、メインメモリ２０８に格納する。

そして、ＣＰＵ２０４がメインメモリ２０８に格納されているタブレット端末制御プログラムを実行し、タブレット端末の備える各機能を実行する。タブレット端末２００は、情報を表示するディスプレイとユーザからの情報入力を受けるタッチパネルが一体化したディスプレイ２０１を備える。

グラフィックコントローラ２０６は、ディスプレイ２０１のディスプレイへの表示を制御する。タブレット端末２００は、ユーザに情報を提示する際にはディスプレイ２０１に情報を表示し、ユーザは、ディスプレイ２０１に対するタッチ操作でタブレット端末２００への情報入力が可能である。タブレット端末２００は、内蔵カメラ（以下、カメラと呼ぶ）２０３を備えている。

カメラ２０３は撮像した撮像画像をデジタル画像に変換してメインメモリ２０８に格納する。カメラ２０３は、Ｉ／Ｏコントローラ２０９と情報の授受を行う。タブレット端末２００は、地磁気センサ２１２を備えている。地磁気センサ２１２は、東西南北の方角と、三次元方向の傾きを計測することが可能であり、計測した情報をデジタル情報に変換してＣＰＵ２０４に出力する。地磁気センサ２１２は、Ｉ／Ｏコントローラ２０９と情報の授受を行う。

ＣＰＵ２０４は、地磁気センサ２１２により、タブレット端末２００を持っているユーザが、物理空間上でどの方向にタブレット端末２００を向けているのかが把握可能である。図示しないバッテリは、電力をタブレット端末２００全体に供給する。昨今、タブレット端末２００は一般的な技術となっており、その詳細技術は本発明とは直接関係しないため、これ以上の説明は割愛する。

図３は、図２に示したタブレット端末２００の外観を示す図である。
図３の（ａ）に示す通り、タブレット端末２００は前面にディスプレイ２０１を備えている。図３の（ｂ）に示す通り、タブレット端末は裏面にカメラ２０３を備えている。この構造により、ユーザはタブレット端末２００のディスプレイ表示を見つつ、カメラで視線方向を撮像することが可能である。

図４は、図１に示した処理サーバ３００のハードウェア構成を説明するブロック図である。
図４に示す処理サーバ３００おいて、内部バス３１１は、メモリコントローラ３０７、Ｉ／Ｏコントローラ３０９間で情報の伝達が出来るよう、電気信号を伝搬する。メモリコントローラ３０７は、メインメモリ３０８に対するメモリアクセス全般を統括する。

Ｉ／Ｏコントローラ３０９は、ＨＤＤ３１０、ＬＡＮポート３０４、キーボード３０２、マウス３０３、内部バス３１１を介して接続している処理部との情報の授受を行う。ＬＡＮポート３０４は、ネットワーク９０００を介して接続されている他の機器、Ｉ／Ｏコントローラ３０９との情報の授受を行う。ＨＤＤ３１０にはブートローダプログラム及び本特許の実施形態を含む処理サーバ制御プログラムが格納されている。

ブートローダプログラムに関しては、本発明の特徴との関わりは薄いため説明は割愛する。メインメモリ３０８は揮発性メモリであり、高速アクセスが可能であるので、ＨＤＤ３１０に記憶されている情報や一時的に使用する情報はここに格納される。

処理サーバ３００の電源投入時には、ＣＰＵ３０５がブートローダプログラムを読み出して実行し、ＨＤＤ３１０に格納されている処理サーバ制御プログラムを取り出し、メインメモリ３０８に格納する。

そして、ＣＰＵ３０５がメインメモリ３０８に格納されている処理サーバ制御プログラムを実行し、処理サーバの備える各機能を実行する。処理サーバ３００は、情報を表示するディスプレイ２０１を備える。

グラフィックコントローラ３０６は、ディスプレイ２０１への表示を制御する。処理サーバ３００は、ユーザに情報を提示する際にはディスプレイ２０１に情報を表示し、ユーザは、キーボード３０２又はマウス３０３に対する操作で処理サーバ３００への情報入力が可能である。昨今、サーバは一般的な技術となっており、その詳細技術は本発明とは直接関係しないため、これ以上の説明は割愛する。

図５は、図１に示したネットワークカメラ５００のハードウェア構成を説明するブロック図である。

図５に示すネットワークカメラ５００おいて、内部バス５０９は、メモリコントローラ５０５、Ｉ／Ｏコントローラ５０７間で情報の伝達が出来るよう、電気信号を伝搬する。メモリコントローラ５０５は、メインメモリ５０６に対するメモリアクセス全般を統括する。Ｉ／Ｏコントローラ５０７は、ＲＯＭ５０８、ＬＡＮポート５０２、カメラ５０１、内部バス５０９を介して接続している処理部との情報の授受を行う。ＬＡＮポート５０２は、ネットワーク９０００を介して接続されている他の機器、Ｉ／Ｏコントローラ５０７との情報の授受を行う。

ＲＯＭ５０８にはブートローダプログラム及び本特許の実施形態を含むネットワークカメラ制御プログラムが格納されている。ブートローダプログラムに関しては、本発明の特徴との関わりは薄いため説明は割愛する。

メインメモリ５０６は揮発性メモリであり、高速アクセスが可能であるので、ＲＯＭ５０８に記憶されている情報や一時的に使用する情報はここに格納される。ネットワークカメラ５００の電源投入時には、ＣＰＵ５０３がブートローダプログラムを読み出して実行し、ＲＯＭ５０８に格納されているネットワークカメラ制御プログラムを取り出し、メインメモリ５０６に格納する。

そして、ＣＰＵ５０３がメインメモリ５０６に格納されているネットワークカメラ制御プログラムを実行し、ネットワークカメラの備える各機能を実行する。ネットワークカメラ５００は、カメラ５０１を備えている。カメラ５０１は撮像した撮像画像をデジタル変換する。

カメラ５０１は、Ｉ／Ｏコントローラ５０７との情報の授受を行う。このカメラ５０１は建物内の天井に取り付けられるようになっており、建物空間内を広く撮像することが可能である。勿論、カメラとしては、天井取り付け型ではなく、壁面に埋め込んだものであったり、スタンドに設置したりするものであっても良い。
昨今、カメラは一般的な技術となっており、その詳細技術は本発明とは直接関係しないため、これ以上の説明は割愛する。

図６は、図２に示したタブレット端末２００のディスプレイ２０１に表示される画面イメージの一例を示す図である。本例は、図１に示したＡさんが、Ｂさん、Ｃさん、Ｄさんを観測したときに、本発明を適用する前のタブレット端末２００のディスプレイ２０１に表示される画面イメージ例である。

図６において、ディスプレイ２０１には、Ｂさん、Ｃさん、Ｄさんの位置に合わせて各人物のＡさんとの関わり情報６０１、６０２、６０３が重畳表示され、観測者（Ａさん）はディスプレイ２０１を通して人物の情報を視認することができる。ディスプレイ２０１上の各人物の位置とその関わり情報は線６０４で結ばれる。
Ａさんとの関わり情報６０１は、後述する図９の接触日・接触時間（Ｃｏｎｔａｃｔ＿Ｄａｙ＿Ｔｉｍｅ列の属性）、接触した内容（Ｔｉｔｌｅ列の属性）から導出される。

しかし、図６に示すように、Ａさんがカメラ２０３を介して複数の人物を観測している場合、Ｃさんの情報６０２がＢさんの情報６０１とＤさんの情報６０３とで重なってしまっており、各人物の情報が読みづらくなってしまっている。この例では３人のみだが、より複数の人物を観測した場合、人物の情報は更に見づらくなってしまうことが想定される。尚、Ｂさん、Ｃさん、ＤさんとＡさんとの関わり情報は、観測者のタッチ操作或いは予め設定した内容などにより、図８のＩｎｆｏｒｍａｉｔｉｏｎ列の属性を表示するよう切り替えてもよい。

図７は、図２に示したタブレット端末２００のディスプレイ２０１に表示される画面イメージの一例を示す図である。
本例は、本発明を適用した時に、図１のＡさんが、Ｂさん、Ｃさん、Ｄさんを観測したときに、タブレット端末２００のディスプレイ２０１に表示される画面イメージ例である。

図７において、表示される情報は、Ｂさん、Ｃさん、Ｄさんが含まれるグループ情報７０１であり、グループ情報７０１はＡさんとの関わりに基づいて処理サーバ３００によって算出される。ここでは、Ｂさん、Ｃさん、Ｄさんが含まれるグループとして「Ｂｅｔａ」グループというグループ情報が表示されている。また、Ａさんとの関わりを表す情報が「２０１２／０３／０８にＤＢ策定会議を１時間５分行いました。」という情報として表示される。グループ情報を表示するか個人の情報を表示するかは、図６に示した個人情報を重畳表示した場合にＣＰＵ２０４が個人情報の重なりの範囲から自動的に判定される。また、ディスプレイ２０１上の各人物の位置とそのグループ情報は線７０２で結ばれる。

図８は、図１に示した処理サーバ３００がＨＤＤ３１０に保持する個人情報データベースの内容を説明する図である。
図８において、８０１〜８０５の各行は、それぞれＡさん、Ｂさん、Ｃさん、Ｄさん、Ｅさんの個人情報を表す。個人ＩＤ（個人識別情報）はＩＤ列に示す固有のＩＤで管理する。各個人の名前はＮａｍｅ列で管理する。
例えば、Ｎａｍｅが"Ａ"となっているのは、Ａさんであることを示す。各個人の趣味や近況などの情報（人物関連情報）はＩｎｆｏｍａｔｉｏｎ列として管理する。各個人が自分のＰＣ端末（不図示）などでＩｎｆｏｍａｔｉｏｎを編集すると、その内容がこのＩｎｆｏｍａｔｉｏｎ列に反映される。

例えば、ＩＤ＝０００３（Ｃさん）のＩｎｆｏｍａｔｉｏｎは、趣味が「ゲーム」で、近況が「Ｒｕｂｙに興味があります。」という内容になる。各個人の管理するスケジュールの内容はＳｃｈｅｄｕｌｅ列として管理する。各個人が自分のＰＣ端末などでスケジュールを編集すると、その内容がこのＳｃｈｅｄｕｌｅ列に反映される。例えば、ＩＤ＝０００２（Ｂさん）とＩＤ＝０００３（Ｃさん）は共にタイトルが「ＤＢ策定会議」で開催日時が「２０１２／３／１５の１０：００〜１１：００」というミーティングに出席予定ということになる。各個人の顔画像はＦａｃｅ＿Ｉｍａｇｅ列として管理する。例えば、企業では社員証用に撮像した写真を登録する。

各個人が物理空間（例えばオフィス空間）のどこにいるかを示す物理位置情報はＬｏｃａｔｉｏｎ列として管理する。例えば、ＩＤ＝０００１（Ａさん）の物理位置情報は、カメラの撮像画像から人体検出した際に割り振られるＩＤがＭａｎＩＤという属性で表され、値は０であることを表している。

また、システムを管理するＡさんの物理空間における位置座標はＣｏｏｒｄという属性で表され、ｘ座標は３０３０ｍｍ、ｙ座標は１５３３ｍｍ、ｚ座標（高さ）は１階にいることを表している。各個人の所属グループの情報はＧｒｏｕｐ列として管理する。各個人が自分のＰＣ端末（不図示）などでＧｒｏｕｐを編集すると、その内容がこのＧｒｏｕｐ列に反映される。例えば、ＩＤ＝０００４（Ｄさん）の所属グループは、"Ｂｅｔａ"グループと"Ｇａｍｍａ"グループということになる。

図９は、図１に示した処理サーバ３００がＨＤＤ３１０に保持する個人と個人、及び、個人とグループの関わりを表す情報データベースの内容を示す図である。本例は処理サーバ３００が行う第１の生成処理に基づき生成される情報データベースの例である。
図９において、個人ＩＤはＩＤ列に示す固有のＩＤで管理しており、図８のＩＤと同じ人物であることを示している。例えば、図９のＩＤ列が"０００１"となっているのは、"Ａ"さんであることを示す。
各個人の接触した人物のＩＤはＣｏｎｔａｃｔ＿ＩＤ列で管理する。例えば、Ｃｏｎｔａｃｔ＿ＩＤが"０００２"となっているのは、ＩＤ＝０００１（Ａさん）がＩＤ＝０００２（Ｂさん）と接触したことを示す。

各個人の接触したグループはＣｏｎｔａｃｔ＿Ｇｒｏｕｐ列として管理する。例えば、Ｃｏｎｔａｃｔ＿Ｇｒｏｕｐが"Ｂｅｔａ"となっているのは、ＩＤ＝０００１（Ａさん）がグループ"Ｂｅｔａ"と接触したことを示す。
接触した個人、もしくはグループとの接触した日及び接触した時間はＣｏｎｔａｃｔ＿Ｄａｙ＿Ｔｉｍｅ列として管理する。例えば、ＩＤ＝０００１（Ａさん）がＩＤ＝０００３（Ｃさん）と"接触した日"は「２０１２／０３／１２」であり、"接触した時間"（接触開始から終了までの経過時間）は「０１：５０：００（１時間５０分００秒）」ということになる。

接触した内容はＴｉｔｌｅ列として管理しており、図８のＳｃｈｅｄｕｌｅ列のＴｉｔｌｅから引用されて登録される。例えば、ＩＤ＝０００１（Ａさん）がＩＤ＝０００４（Ｄさん）と接触したのは「商品企画ＤＲ」という内容になる。これはＩＤ＝０００４（Ｄさん）と接触した日時のＩＤ＝０００１（Ａさん）のＳｃｈｅｄｕｌｅのＴｉｔｌｅが「商品企画ＤＲ」であったことを示す。
図９では、簡単のためＩＤ＝０００１（Ａさん）の情報データベースのみ示しているが、実際には、他の人物（Ｂさん、Ｃさんなど）の情報データベースも同様に存在する。

図１０は、本実施形態を示す情報表示システムの制御方法を説明するフローチャートである。本例は、撮像画像処理例である。なお、図１０に示すＳ１１０１からＳ１１１１はネットワークカメラ５００の撮像画像処理であり、図１０に示すＳ１１１２〜Ｓ１１２１は処理サーバ３００の撮像画像処理である。

また、本フローチャートのＳ１１０１〜Ｓ１１１１は、ネットワークカメラ５００のＲＯＭ５０８に格納されたプログラムに従ってＣＰＵ５０３が実行することによって実現される。
また、本フローチャートのＳ１１１２〜Ｓ１１２１は、処理サーバ３００のＨＤＤ３１０に格納されたプログラムに従ってＣＰＵ３０５が実行することによって実現される。
〔ネットワークカメラ５００の撮影画像処理〕
Ｓ１１０１では、ネットワークカメラ５００が、内蔵カメラ（以下、カメラと呼ぶ）５０１で空間を撮像し、Ｓ１１０２に進む。Ｓ１１０２では、ネットワークカメラ５００のＣＰＵ５０３が、カメラ５０１で撮像される画像情報から人物の人体を検出し、Ｓ１１０３に進む。

ここで、撮像画像から人物の人体を検出する方法について述べる。撮像される画像情報から人体を検出する方法としては様々な公知の方式があるが、例えば内蔵カメラ５０１から被写体までの距離を測定できる深度センサを用いた技術などが広く知られている。
Ｓ１１０３では、検出した人体が新規のものかどうか判定し、新規のものであればＳ１１０４に進み、そうでなければＳ１１０５に進む。

Ｓ１１０４では、新規の人体に新たなＭａｎＩＤ（人物識別情報）を割当て、Ｓ１１０６に進む。ここで、ＭａｎＩＤとは、システムが深度センサなどを用いて検出した人体をシステムの内部的に区別するために、各人体に自動的に割り振る個別の番号である。
Ｓ１１０５では、人体が既に検出済みであるため、既存のＭａｎＩＤを割り当て、Ｓ１１０６に進む。

Ｓ１１０６では、ネットワークカメラ５００が、撮像画像から物理空間における人物の位置を算出し、Ｓ１１０７に進む。ここで、物理空間における人物の位置とは、人物のいる水平面上の位置であって高さ方向の位置を除いた３次元の位置である。

以下、物理空間での位置（物理空間位置）の算出方法について述べる。物理空間における位置を算出する方法としては様々な公知の方式があるが、例えば先述の深度センサであれば、測定対象に関する深度情報と、深度センサ撮像面の法線と測定対象の成す角度から算出する方法などがある。
Ｓ１１０７では、ネットワークカメラ５００が、第１の送信処理として算出した人物の位置情報をＭａｎＩＤに紐付けた人物情報を処理サーバ３００に送信し、Ｓ１１０８に進む。Ｓ１１０８では、ネットワークカメラ５００のＣＰＵ５０３が人物の顔を認識できるかどうかを判定する。ここで、出来るとＣＰＵ５０３が判断した場合はＳ１１０９に進み、出来ないとＣＰＵ５０３が判断した場合はネットワークカメラ５００による撮影画像処理を終了する。

なお、人物の顔が認識できるかどうかは、例えば、特徴空間ベクトルを用いた検出方法を用い、検出出来た場合は認識できるものとして扱うことが考えられる。
Ｓ１１０９では、ネットワークカメラ５００のＣＰＵ５０３が、撮像画像から人物の顔を検出し、撮像画像中の人物の顔の画像を抽出して、Ｓ１１１０に進む。Ｓ１１１０では、ネットワークカメラ５００のＣＰＵ５０３が、前記撮像画像中の人物の顔の画像から、人物の顔の特徴情報を算出し、Ｓ１１１１に進む。
Ｓ１１１１では、ネットワークカメラ５００が、第２の送信処理として前記撮像画像中の人物の顔の特徴情報（人物特徴情報）をＭａｎＩＤに紐付けて処理サーバ３００に送信し、ネットワークカメラの処理を終了する。

〔処理サーバ３００の撮像画像処理〕
Ｓ１１１２では、処理サーバ３００が、ネットワークカメラ５００から送信された人物の位置情報とＭａｎＩＤを受信し、Ｓ１１１３に進む。Ｓ１１１３では、処理サーバ３００のＣＰＵ３０５が、ＨＤＤ３１０から各個人の物理位置情報（図８のＬｏｃａｔｉｏｎ列の属性）を読み出す。

Ｓ１１１４では、ＣＰＵ３０５が物理位置情報から一致するＭａｎＩＤがＨＤＤ３１０に既に登録されているかどうかを判定する。ここで、登録済みのＭａｎＩＤがあるとＣＰＵ３０５が判断した場合、Ｓ１１１５へ進み、登録済みのＭａｎＩＤがないとＣＰＵ３０５が判断した場合Ｓ１１１６へ進む。
Ｓ１１１５では、ＣＰＵ３０５が登録済みのＭａｎＩＤの位置情報を更新し、Ｓ１１１７へ進む。Ｓ１１１６では、ＣＰＵ３０５は新規にＭａｎＩＤと紐付けて位置情報をＨＤＤ３１０に登録し、Ｓ１１１７へ進む。Ｓ１１１７では、処理サーバ３００が、ネットワークカメラ５００から送信された撮像画像中の人物の顔の特徴情報とＭａｎＩＤを受信し、Ｓ１１１８に進む。
Ｓ１１１８では、処理サーバ３００のＣＰＵ３０５が、詳細は図１１に示す顔認識処理を実行し、Ｓ１１１９に進む。Ｓ１１１９では、処理サーバ３００のＣＰＵ３０５が、ＨＤＤ３１０から特定した個人の個人ＩＤ（図８のＩＤ列の属性）と物理位置情報（図８のＬｏｃａｔｉｏｎ列の属性）を読み出し、Ｓ１１２０へ進む。

Ｓ１１２０では、ＣＰＵ３０５は、ＭａｎＩＤが個人ＩＤに紐付けられて登録されているかどうかを判断する。ここで、ＭａｎＩＤが個人ＩＤに紐付けられて登録されていないとＣＰＵ３０５が判断した場合、Ｓ１１２１へ進み、既に紐付けられていると判断した場合は、処理サーバ３００の撮像画像処理を終了する。
Ｓ１１２１では、新規にＭａｎＩＤと個人ＩＤとを紐付けて登録し、処理サーバ３００の撮像画像処理を終了する。

なお、本実施形態において、処理サーバ３００の位置情報登録・更新処理（Ｓ１１１２〜Ｓ１１１６）と個人ＩＤ登録処理（Ｓ１１１７〜Ｓ１１２１）は非同期に動作させている。その理由は、個人ＩＤ登録処理の顔認識処理が成功するかどうかは、ネットワークカメラ５００が人物の顔を観測出来る位置と向きに人物が存在する必要があり、顔を認識できないことが多々あるためである。
そのため、まずは人物の位置を把握しておき、顔認識が成功し個人が特定できた時点で、人物の位置情報と個人ＩＤを結びつけることが重要になる。本実施形態で図１に示す通りネットワークカメラ５００を４台異なる方向に設置しているのは、人物の顔を観測出来る条件を増やし、個人認識の確率を向上させるためである。

図１１は、本実施形態を示すサーバ装置の制御方法を説明するフローチャートである。本例は、処理サーバ３００による顔認識処理例である。なお、本フローチャートのＳ１２０１〜Ｓ１２０４は、処理サーバ３００のＨＤＤ３１０に格納されたプログラムに従ってＣＰＵ３０５が実行することによって実現される。

Ｓ１２０１では、処理サーバ３００のＣＰＵ３０５が、記憶装置（ＨＤＤ３１０）から各個人の顔情報画像（図８のＦａｃｅ＿Ｉｍａｇｅ列の情報）を順次読み出して特徴情報を算出し、Ｓ１２０２に進む。Ｓ１２０２では、ＣＰＵ３０５が、Ｓ１２０１で算出した特徴情報と撮像画像中の人物の顔の特徴情報の類似度を算出し、Ｓ１２０３に進む。

ここで、人物の顔の特徴情報の類似度を算出する方法としては、例えば、２つの特徴空間ベクトルの成す角度の相関を求める方法などの公知の方法が多くあり、いずれかの方法を用いて類似度を算出すればよい。

Ｓ１２０３では、ＣＰＵ３０５が、Ｓ１２０２で算出した類似度が一定値以上かどうかを判定する。ここで、類似度が一定値以上であるとＣＰＵ３０５が判断した場合、Ｓ１２０４に進み、一定値未満であるとＣＰＵ３０５が判断した場合は、Ｓ１２０１に進み、次の個人情報に関して類似度を比較する処理を進める。
Ｓ１２０４では、ＣＰＵ３０５が現在参照している個人情報が、撮像画像中の人物であると個人特定し、本処理を終了する。

図１２は、本実施形態を示す情報表示システムの制御方法を説明するフローチャートである。なお、Ｓ１３０１〜Ｓ１３１２はタブレット端末２００の情報表示処理例であり、観察者がディスプレイ２０１を通して非観察者を視認することで、観察者は非観察者の情報を個人の情報或いはグループの情報として得ることができる。Ｓ１３１３〜Ｓ１３１８は、タブレット端末２００の情報表示処理に応じて処理を実行する処理サーバ３００の情報表示処理例である。以下、処理サーバ３００から受信する混物の物理位置情報と個人ＩＤと個人属性情報に従いタブレット端末２００に表示される人物にコンテンツ情報を表示する表示制御を説明する。ここで、個人属性情報とは、Ｎａｍｅ（名前情報），Ｉｎｆｏｍａｔｉｏｎ（個人に関わる特定情報）、Ｓｃｈｅｄｕｌｅ（スケジュール情報）等が該当する。
なお、タブレット端末２００の表示モードは、ユーザにより、個人表示モードかグループ表示モードとするかが選択されているものとする。本実施形態では、ＣＰＵ２０４は、後述するコンテンツ情報の判断に応じて、表示モードを個人表示モードからグループ表示モードに切替制御する例を説明する。

また、本フローチャートのＳ１３０１〜Ｓ１３１２は、タブレット端末２００のフラッシュメモリ２１０に格納されたプログラムに従ってＣＰＵ２０４が実行することによって実現される。さらに、本フローチャートのＳ１３１３〜Ｓ１３１８は、処理サーバ３００のＨＤＤ３１０に格納されたプログラムに従ってＣＰＵ３０５が実行することによって実現される。

〔タブレット端末２００による情報指示処理〕
Ｓ１３０１では、タブレット端末２００のコンテンツ表示モードを、グループコンテンツ情報優先表示モードとするか、通常表示モードとするかを観測者（本実施形態では、Ａさん）が予め選択し、Ｓ１３０２に進む。
この処理は、観測者がタブレット端末の表示モードを選択することにより、タブレット端末２００のＣＰＵ２０４が表示モードの設定をフラッシュメモリ２１０に保存するという動作になる。ここで、観測者が通常表示モードを選択した場合は、ＣＰＵ２０４は、グループコンテンツ情報の表示は行わない。
Ｓ１３０２では、タブレット端末２００が、カメラ２０３で空間を撮像し、Ｓ１３０３に進む。Ｓ１３０３では、タブレット端末２００のＣＰＵ２０４が、地磁気センサ２１２の情報からタブレット端末２００の向きを算出し、Ｓ１３０４に進む。

Ｓ１３０４では、タブレット端末２００が、第１の要求処理として観測者の個人ＩＤ（図８のＩＤ列の属性）と共に、撮影場所に存在する人物の物理位置情報（図８のＬｏｃａｔｉｏｎ列の属性）、個人ＩＤ（図８のＩＤ列の属性）、個人属性情報（図８のＮａｍｅ列、Ｉｎｆｏｒｍａｔｉｏｎ列、Ｓｃｈｅｄｕｌｅ列の属性）の取得要求を処理サーバ３００に送信し、Ｓ１３０５に進む。
Ｓ１３０５では、タブレット端末２００が、人物の物理位置情報、個人ＩＤ、個人属性情報を処理サーバ３００から受信し、Ｓ１３０６に進む。

Ｓ１３０６では、タブレット端末２００が、詳細は図１３に示すコンテンツ表示情報算出処理を実施し、Ｓ１３０７に進む。

Ｓ１３０７では、ＣＰＵ２０４が表示モードがグループコンテンツ情報表示優先モードであるか判定する。ここで、グループコンテンツ情報表示優先モードであるとＣＰＵ２０４が判断した場合、Ｓ１３０８へ進み、グループコンテンツ情報表示優先モードでないとＣＰＵ２０４が判断した場合は、Ｓ１３０９へ進む。

Ｓ１３０８では、ＣＰＵ２０４が、表示するコンテンツの数が所定数より少なく、且つ、重なり範囲が所定範囲以内であるか判定する。ここで、重なり範囲が所定範囲以内であるとＣＰＵ２０４が判断した場合はＳ１３０９に進み、重なり範囲が所定範囲以内でないとＣＰＵ２０４が判断した場合は、Ｓ１３１０へ進む。なお、コンテンツの数及び重なり範囲は、それぞれ後述のＳ１４０１、Ｓ１４０７で算出される。

ここで、所定数より少なくとは、例えば所定数を「３」とするならば、表示するコンテンツの数が「３」より少ない状態のことを表す。また、重なり範囲が所定範囲以内であるとは、例えばコンテンツの重なっている領域が２０，０００ピクセル以内であるといった状態のことを表す。所定数や所定範囲以内の値は、任意に設定できる。

Ｓ１３０９では、Ｓ１３０６のコンテンツ表示情報算出処理で算出されたコンテンツ表示位置、コンテンツの大きさをもとに、ＣＰＵ２０４はコンテンツ情報を撮像画像に重畳させてディスプレイ２０１に表示する。その後、タブレット端末２００の情報表示処理を終了する。
例えば、図６においてＣさんがいない場合には、ＣＰＵ２０４は、ＢさんとＤさんの各個人のコンテンツ情報がディスプレイ２０１に表示するように制御する。
Ｓ１３１０では、タブレット端末２００が、第２の要求処理としてグループコンテンツ表示に用いる観測者の個人ＩＤと共に、コンテンツを表示する人物の個人ＩＤとグループコンテンツの情報取得要求を処理サーバ３００に送信し、Ｓ１３１１に進む。Ｓ１３１１では、タブレット端末２００が、グループコンテンツ情報と、該グループに含まれる人物の個人ＩＤを処理サーバ３００から受信し、Ｓ１３１２に進む。

Ｓ１３１２では、ＣＰＵ２０４がグループコンテンツ情報及び該グループに含まれる人物とグループコンテンツ情報を結ぶ接続線を撮像画像に重畳させてディスプレイ２０１に表示し、タブレット端末２００の情報表示処理を終了する。
例えば、図７のように、Ｂさん、Ｃさん、Ｄさんのグループコンテンツ情報と、グループに含まれる各人物とグループコンテンツ情報を結ぶ線７０２がタブレット端末２００のディスプレイ２０１に表示される。
〔処理サーバ３００による情報表示処理〕

Ｓ１３１３では、処理サーバ３００が、タブレット端末２００から観測者の個人ＩＤ（図８のＩＤ列の属性）と共に、場にいる人物の物理位置情報（図８のＬｏｃａｔｉｏｎ列の属性）、個人ＩＤ（図８のＩＤ列の属性）、個人属性情報（図８のＮａｍｅ列、Ｉｎｆｏｒｍａｔｉｏｎ列、Ｓｃｈｅｄｕｌｅ列の属性）の取得要求を受信し、Ｓ１３１４に進む。
Ｓ１３１４では、処理サーバ３００のＣＰＵ３０５が、ＨＤＤ０３１０から各個人の個人ＩＤ、個人属性情報、物理位置情報を読み出し、Ｓ１３１５へ進む。Ｓ１３１５では、処理サーバ３００が、第３の送信処理としてＳ１３１４で読み出された個人ＩＤ、個人属性情報、物理位置情報をタブレット端末２００に送信し、Ｓ１３１６に進む。

Ｓ１３１６では、処理サーバ３００が、タブレット端末２００から観測者の個人ＩＤ（図８のＩＤ列の属性）と共に、ディスプレイ２０１に表示される人物の個人ＩＤ（図８のＩＤ列の属性）とグループコンテンツ情報取得要求を受信し、Ｓ１３１７に進む。

Ｓ１３１７では、処理サーバ３００のＣＰＵ３０５が、図１４に示すグループコンテンツ情報導出処理を実行し、観測者と被観測者グループの関係性を示すグループコンテンツ情報（グループ関連情報）を導出する。Ｓ１３１８では、処理サーバ３００が、第４の送信処理としてグループコンテンツ情報と、そのグループに含まれる人物の個人ＩＤをタブレット端末２００に送信し、処理サーバ３００の情報表示処理を終了する。

図１３は、本実施形態を示す情報処理装置の制御方法を説明するフローチャートである。本例は、図２に示したタブレット端末２００のコンテンツ表示情報算出処理例である。本フローチャートは、図１２のＳ１３０６で実施される。また、本フローチャートのＳ１４０１からＳ１４０７は、タブレット端末２００のフラッシュメモリ２１０に格納されたプログラムに従ってＣＰＵ２０４が実行することによって実現される。

Ｓ１４０１では、ＣＰＵ２０４が人物の物理位置情報（図８のＬｏｃａｔｉｏｎ列の属性）とタブレットの向き情報から、観測者がディスプレイ２０１を通して見ている被観測者を導出し、Ｓ１４０２に進む。ここで導出された被観測者からその被観測者の数も同時に導出される。被観測者の導出方法については、後述の図１５で説明する。

Ｓ１４０２では、ＣＰＵ２０４は、Ｓ１４０１で導出された被観測者の個人属性情報から、ディスプレイ２０１に表示するコンテンツ情報を導出し、Ｓ１４０３に進む。Ｓ１４０３では、ＣＰＵ２０４は、Ｓ１４０２で導出されたコンテンツ情報から、表示コンテンツの大きさを算出し、Ｓ１４０４に進む。

ここで、コンテンツの大きさの算出は、コンテンツ情報の文字量と、１文字あたりのピクセル数から算出することが可能である。例えば、１バイト文字の大きさが「１６ｘ１６（横ｘ縦）」（単位はピクセル）で、文字数が１０文字である場合は、表示コンテンツの大きさを「１６０×１６」と算出することができる。改行文字がある場合は、表示コンテンツの縦を「１６×（改行文字の数）」、横を最も長い文字数の行のピクセル数で算出できる。また、例えば文字から算出したピクセル数に縦横１０ピクセルなどの余白をつけることも可能である。

Ｓ１４０４では、ＣＰＵ２０４は、タブレット端末２００の向き情報と被観測者の物理位置情報から、タブレット端末２００のディスプレイ２０１上のコンテンツ表示位置を算出し、Ｓ１４０５に進む。コンテンツ表示位置の算出方法については、後述の図１６で説明する。

Ｓ１４０５では、ＣＰＵ２０４がＳ１４０３及びＳ１４０４で算出されたコンテンツの表示位置と、コンテンツの大きさから、ディスプレイ２０１におけるコンテンツの表示範囲を算出する。例えば、ディスプレイ２０１の大きさが「１２８０×８００」（単位はピクセル）で、表示コンテンツの大きさが「４００×２００」、コンテンツの表示位置が（６００ピクセル、４００ピクセル）であるとする。

ただし、（ｘピクセル、ｙピクセル）はディスプレイの左上を原点として、それぞれ右にｘピクセル及び下にｙピクセル分シフトした座標を表す。この場合、ディスプレイ２０１におけるコンテンツの表示範囲は、（６００ピクセル、４００ピクセル）を中心とした「４００ｘ２００」の長方形となる。

すなわち、左上（４０１ピクセル、３０１ピクセル）、右上（８００ピクセル、３０１ピクセル）、左下（４０１ピクセル、５００ピクセル）、右下（８００ピクセル、５００ピクセル）の４点を結んだ長方形として表示範囲を算出する。
Ｓ１４０６では、ＣＰＵ２０４がディスプレイ０２０１に表示するコンテンツが複数あるかどうかを判定する。ここで、コンテンツの数が複数であるとＣＰＵ２０４が判断した場合はＳ１４０７へ、コンテンツの数が複数でないとＣＰＵ２０４が判断した場合は、本処理を終了する。

Ｓ１４０７では、ＣＰＵ２０４がＳ１４０５で算出されたコンテンツの表示範囲から、各コンテンツの重なり範囲を算出し、本処理を終了する。
例えば、コンテンツの表示範囲が、Ｓ１４０５の例で挙げた長方形と、左上（６０１ピクセル、３０１ピクセル）、右上（１０００ピクセル、３０１ピクセル）、左下（６０１ピクセル、５００ピクセル）、右下（１０００ピクセル、５００ピクセル）の４点を結んだ長方形であるとする。
この場合、コンテンツの重なり範囲は、左上（６０１ピクセル、３０１ピクセル）、右上（８００ピクセル、３０１ピクセル）、左下（６０１ピクセル、５００ピクセル）、右下（８００ピクセル、５００ピクセル）を結んだ長方形なので、４０，０００ピクセル（２００ｘ２００）と算出できる。

図１４は、本実施形態を示すサーバ装置の制御方法を説明するフローチャートである。本例は、図１に示した処理サーバ３００のグループコンテンツ情報導出処理例である。本フローチャートは、図１２のＳ１３１７で実施される。なお、本フローチャートのＳ１５０１〜Ｓ１５０３は、処理サーバ３００のＨＤＤ０３１０に格納されたプログラムに従ってＣＰＵ３０５が実行することによって実現される。

Ｓ１５０１では、処理サーバ３００のＣＰＵ３０５が、タブレット端末２００から受信した観測者の個人ＩＤおよびコンテンツを表示する人物の個人ＩＤを参照する。そして、処理サーバ３００のＣＰＵ３０５はこの参照によって、表示する人物の個人ＩＤ（図８のＩＤ列の属性）に対応する所属グループ情報（図８のＧｒｏｕｐ列の属性）をＨＤＤ０３１０から読み出し、Ｓ１５０２へ進む。

Ｓ１５０２では、処理サーバ３００のＣＰＵ３０５が、Ｓ１５０１で読み出されたグループ情報の共通グループを求め、Ｓ１５０３へ進む。ここで、共通グループであるとは、図８のＧｒｏｕｐ列のグループ名が同じである場合のことを言う。
例えば、図８のＩＤ＝０００２（Ｂさん）、ＩＤ＝０００３（Ｃさん）、ＩＤ＝０００４（Ｄさん）に共通するグループ情報は、"Ｂｅｔａ"グループということになる。

Ｓ１５０３では、処理サーバ３００のＣＰＵ３０５が、Ｓ１５０２で求められた共通グループと、図９の個人とグループの関わりを表す情報データベースをもとに、グループコンテンツ情報を生成し、本処理を終了する。
例えば、観測者がＩＤ＝０００１（Ａさん）であり、観測しているグループがＳ１５０２で求められた"Ｂｅｔａ"グループの場合、図９のＣｏｎｔａｃｔ＿Ｇｒｏｕｐ列、Ｃｏｎｔａｃｔ＿Ｄａｙ＿Ｔｉｍｅ列、Ｔｉｔｌｅ列の属性をもとに、図７で示したようなグループコンテンツ情報を生成する。つまり生成されるグループコンテンツ情報は、観測者と被観測者グループの関係性を示す情報である。

図１５は、図１の観測者（Ａさん）がタブレット端末２００のディスプレイ２０１を通して見ている被観測者を導出する方法の概念図である。

図１５において、タブレット端末２００のコントローラ２２０は、図１０で説明したＳ１１０６の処理によってネットワークカメラ５００が検出した全ての人物の物理位置情報を図９のデータテーブルのＬｏｃａｔｉｏｎ列の属性からネットワークを介して取得する。また、コントローラ２２０は、図１２のＳ１３０３から観測者の持つタブレット端末２００の向き情報を取得する。

これらの人物の物理位置情報およびタブレット端末２００の向き情報から、コントローラ２２０は、図１５に示すようなマップを内部生成する。図１５のマップは観測者と他の人物の位置関係を上から見た例である。

すなわち、コントローラ２２０は、人物の物理位置情報のＬｏｃａｔｉｏｎ情報から建物内の空間（物理空間）において、観測者であるユーザの位置座標（Ｘｏ，Ｙｏ）を基点として他の人物であるユーザの位置座標（Ｘｔ，Ｙｔ）を取得する。また、コントローラ２２０は、タブレット端末の向き（以下ではタブレット端末２００の法線２００１と表記する）θをタブレット端末２００の向き情報から取得する。なお、θはｒａｄｉａｎ単位とするが、Ｌｏｃａｔｉｏｎ情報はｄｅｇｒｅｅ単位であり、相互に変換可能である。

次にコントローラ２２０は、図１５に示される角度γを求める。角度γは、観測者の持つタブレット端末２００の法線２００１に対する他の人物（非観測者）の位置する方向の角度となる。γは以下の数１で求める。

そして、コントローラ２２０のＣＰＵ２０４は、タブレット端末２００のディスプレイ２０１のカバーする視野角αと角度γを比較することで、他の人物（非観測者）が被観測者であるかどうかを判定する。ここでいう被観測者とは、観測者の持つタブレット端末２００のディスプレイ２０１越しに見える人物のことである。コントローラ２２０は、｜γ｜＜α／２であれば他の人物が被観測者であると判定し、そうでない場合に他の人物は被観測者ではないと判定する。

図１６は、図１３のＳ１４０４でタブレット端末がディスプレイ２０１上のコンテンツ表示位置の算出処理を説明する図である。
図１６に示すようにタブレット端末２００の法線２１０１に基づいて図１５で算出した他の人物（非観測者）の位置する方向の角度γの傾き方向を示す線２１０２と、タブレット端末２００のディスプレイの交点が、コンテンツ表示位置Ｐｄｉｓｐｌａｙとなる。この位置Ｐｄｉｓｐｌａｙは、観測者から見た被観測者がタブレット端末２００のディスプレイ２０１越しに視認される位置であり、コンテンツ情報がディスプレイ２０１上に表示されるコンテンツ表示位置である。
コントローラ２２０は、このコンテンツ表示位置Ｐｄｉｓｐｌａｙを次の数２に基づいて算出する。

このＤは、観測者の目からディスプレイ２０１までの距離であって、予め決まった値である。

図１７は、本実施形態を示すサーバ装置の制御方法を説明するフローチャートである。本例は、処理サーバ３００の人物の関係性生成処理例である。なお、本フローチャートのＳ１８０１〜Ｓ１８１０は、処理サーバ３００のＨＤＤ３１０に格納されたプログラムに従ってＣＰＵ３０５が実行することによって実現される。以下、データベースに登録された個人識別情報、現在の物理位置情報、スケジュール情報、グループ情報に基づいて、各人物と各人物との接触関係を特定する関係性情報を生成して登録する処理を説明する。
Ｓ１８０１では、ＣＰＵ３０５がＨＤＤ３１０から人物の物理位置情報（図８のＬｏｃａｔｉｏｎ列の属性）を読み出し、Ｓ１８０２へ進む。

Ｓ１８０２では、ＣＰＵ３０５は、Ｓ１８０１で読み出された人物の物理位置情報をもとに所定範囲以内に複数人物がいるか判定する。ここで、複数人物がいるとＣＰＵ３０５が判断した場合、Ｓ１８０３へ、複数人物がいないとＣＰＵ３０５が判断した場合、本処理を終了する。
例えば、ある人物を中心に半径２ｍ以内に他の人物がいる場合や、会議室などの特定の場所に複数人物がいる場合に、ＣＰＵ３０５は、所定範囲以内に複数人物がいると判定する。なお、ＣＰＵ３０５が所定範囲以内に複数人物がいると判定した場合に、所定範囲以内にいる複数の人物は、互いに接触していると判定される。

Ｓ１８０３では、ＣＰＵ３０５は、ＨＤＤ３１０から、所定範囲以内にいる人物の個人ＩＤ（図８のＩＤ列の属性）、スケジュール（図８のＳｃｈｅｄｕｌｅ列の属性）、所属グループ（図８のＧｒｏｕｐ列の属性）を読み出し、Ｓ１８０４へ進む。

Ｓ１８０４では、ＣＰＵ３０５が２人以上から成るグループが複数あるか判定する。ここで、ＣＰＵ３０５が２人以上から成るグループが複数あると判断した場合、Ｓ１８０８へ進み、２人以上から成るグループが複数ないと判断した場合、Ｓ１８０５へ進む。
例えば、図８のＩＤ＝０００１（Ａさん）、ＩＤ＝０００２（Ｂさん）、ＩＤ＝０００３（Ｃさん）、ＩＤ＝０００４（Ｄさん）、ＩＤ＝０００５（Ｅさん）が所定範囲以内にいるとする。

この場合、ＡさんとＥさんが"Ａｌｐｈａ"グループ、Ｂさん、Ｃさん、Ｄさんが"Ｂｅｔａ"グループになるので、２人以上から成るグループが複数あると判定される。尚、Ｓ１８０４からＳ１８０８、Ｓ１８０９、Ｓ１８１０へ至るフローの説明はここでは行わず、後述の第２実施形態で説明する。

Ｓ１８０５では、ＣＰＵ３０５は、所定範囲以内にいる各人物について、接触している人物・グループの接触した時間（接触開始から接触終了までの経過時間）を上述したデータベースに登録し、Ｓ１８０６へ進む。
例えば、ＩＤ＝０００１（Ａさん）がＩＤ＝０００２（Ｂさん）と接触した時間は第１の生成処理に基づいて図９の接触日・接触時間情報（Ｃｏｎｔａｃｔ＿Ｄａｙ＿Ｔｉｍｅ列の属性）のように、接触日を「２０１２／０３／０８」、接触した時間（接触開始から終了までの経過時間）を「０１：０５：２０（１時間５分２０秒）」としてＣＰＵ３０５がデータベース上に登録する。

Ｓ１８０６では、ＣＰＵ３０５が接触している人物同士の接触時のお互いのスケジュール（図８のＳｃｈｅｄｕｌｅ列の属性）が一致するかどうか判定する。ここで、接触している人物同士の接触時のお互いのスケジュール（図８のＳｃｈｅｄｕｌｅ列の属性）が一致すると判断した場合、Ｓ１８０７へ進み、接触している人物同士の接触時のお互いのスケジュールが一致していないと判断した場合は、本処理を終了する。ここで、接触している人物同士の接触時のお互いのスケジュールが一致するとは、図８のＳｃｈｅｄｕｌｅ列の属性の"Ｔｉｔｌｅ"、"Ｄａｙ"、"Ｓｔａｒｔ＿Ｔｉｍｅ"、"Ｅｎｄ＿Ｔｉｍｅ"が一致する場合のことを言う。

ただし、属性の全てが一致するのではなく、一部が一致する場合にしても良い。たとえば、"Ｔｉｔｌｅ"の文字列の一部を抜き出したキーワードが一致する場合にしてもよいし、"Ｔｉｔｌｅ"が一致する場合において、人物同士の"Ｓｔａｒｔ＿Ｔｉｍｅ"から"Ｅｎｄ＿Ｔｉｍｅ"の時間が一定時間以上重なる場合にしても良い。

Ｓ１８０７では、ＣＰＵ３０５が接触の内容をスケジュールが一致している人物同士のスケジュール（図８のＳｃｈｅｄｕｌｅ列の属性）の"Ｔｉｔｌｅ"から引用してデータベースに登録して、本処理を終了する。これにより、処理サーバ３００は、個人と個人との接触関係を管理する関係性情報管理処理を行うことができる。
ここで、接触の内容とは、接触している人物同士のお互いのスケジュール（図８のＳｃｈｅｄｕｌｅ列）の属性の"Ｔｉｔｌｅ"のことを言う。

例えば、ＩＤ＝０００１（Ａさん）がＩＤ＝０００２（Ｂさん）と接触した内容は図８のＳｃｈｅｄｕｌｅ列の属性の"Ｔｉｔｌｅ"から「ＤＢ策定会議」として、図９の"Ｔｉｔｌｅ"列に登録される。Ｓ１８０８からＳ１８１０は、後述の第２実施形態で説明するため、ここでの説明は割愛する。

第１実施形態では、観測者がタブレット端末のディスプレイを通して複数の被観測者を観測することにより、被観測者のグループ情報を視認することができる。これにより、被観測者が大人数になった場合でも、ディスプレイ上の個人情報コンテンツが重なり視認しづらくなるようなことが少なくなる。また、観測者は被観測者をグループとして視認できるようになるので、観測者が被観測者同士のつながりを認識しやすくなる。

〔第２実施形態〕
以下、第２実施形態について説明する。
第１実施形態では、観測者自身がグループに含まれていない例について示した。第２実施形態の実施例では、観測者自身があるグループに含まれている例を示す。特に、第２実施形態では第１実施形態に加えて、観測者がグループに含まれるかどうかを判定する処理が加わるため、その点に着目しながら説明する。以下、第１実施形態との差分を中心に説明する。

図１８は、図２に示したタブレット端末２００のディスプレイ２０１に表示される画面イメージ例を示す図である。本例は、図１のＡさんが、Ｂさん、Ｃさん、Ｄさんの"Ｂｅｔａ"グループＧ１を観測したときに、タブレット端末２００のディスプレイ２０１に表示される画面イメージ例である。

第１実施形態との差分は、図１のＡさんとＥさんが同じ"Ａｌｐｈａ"グループＧ２に含まれる場合の画面イメージである点である。
特に、Ｂさん、Ｃさん、Ｄさんが含まれるグループの情報は、ＡさんとＥさんが含まれる"Ａｌｐｈａ"グループとの関わりにもとづいて処理サーバ３００によって算出される。ここでは、第１実施形態で表示される情報に加え、Ａさん、Ｅさんの"Ａｌｐｈａ"グループとの関わりを表す情報が追加で「"Ａｌｐｈａグループ"と、」という形で表示される。

図１９は、図４に示した処理サーバ３００のＨＤＤ３１０に保持するグループとグループの関わりを表す情報データベースの内容を説明する図である。
図１９において、第１実施形態で説明した図９との差分は、ＩＤ列がＧｒｏｕｐ列になり、Ｃｏｎｔａｃｔ＿ＩＤ列が無くなった点である。
図１９では、Ｇｒｏｕｐ列のグループ"Ａｌｐｈａ"が、グループ"Ｂｅｔａ"に接触したことを示している。各グループの接触したグループ名はＣｏｎｔａｃｔ＿Ｇｒｏｕｐ列で管理する。ここでは、Ｃｏｎｔａｃｔ＿Ｇｒｏｕｐが"Ｂｅｔａ"となっているのは、グループ"Ａｌｐｈａ"がグループ"Ｂｅｔａ"と接触したことを示す。

接触したグループとの接触日及び接触時間はＣｏｎｔａｃｔ＿Ｄａｙ＿Ｔｉｍｅ列として管理する。ここでは、グループ"Ａｌｐｈａ"がグループ"Ｂｅｔａ"と接触した日は「２０１２／０３／０５」であり、接触した時間は「０２：３２：４０（２時間３２分４０秒）」ということになる。

グループ同士が接触した内容はＴｉｔｌｅ列として管理される。ここでは、グループ"Ａｌｐｈａ"がグループ"Ｂｅｔａ"と接触した内容は「ＤＢ策定会議」という内容になる。この内容は、各グループの人物の共通Ｓｃｈｅｄｕｌｅ情報から導出される。ここでは、グループ"Ａｌｐｈａ"の情報データベースしか示していないが、実際には他のグループの情報データベースも存在する。

〔処理サーバ３００のグループコンテンツ情報導出処理〕
図２０は、本実施形態を示すサーバ装置の制御方法説明するフローチャートである。本例は、第２実施形態における処理サーバ３００のグループコンテンツ情報導出処理例である。なお、本フローチャートは、図１２のＳ１３１７で実施される。また、本フローチャートのＳ２１０１〜Ｓ２１０８は、処理サーバ３００のＨＤＤ３１０に格納されたプログラムに従ってＣＰＵ３０５が実行することによって実現される。
第１実施形態で説明した図１４との差分は、Ｓ２１０３〜Ｓ２１０７のフローであり、観測者自身がグループに含まれるかどうか判定した上でグループコンテンツ情報を生成する点である。Ｓ２１０１〜Ｓ２１０２は、第１実施形態の図１４のＳ１５０１〜Ｓ１５０２と同じである。

Ｓ２１０３では、処理サーバ３００のＣＰＵ３０５が、ＨＤＤ３１０から人物の物理位置情報（図８のＬｏｃａｔｉｏｎ列の属性）を読み出し、観測者から所定範囲以内にいる人物を導出し、Ｓ２１０４へ進む。
Ｓ２１０４では、ＣＰＵ３０５は観測者から所定範囲以内に人物がいるかどうかを判断する。ここで、観測者から所定範囲以内に人物がいるとＣＰＵ３０５が判断した場合、Ｓ２１０５へ進み、観測者から所定範囲以内に人物がいないとＣＰＵ３０５が判断した場合は、Ｓ２１０８へ進む。
Ｓ２１０５では、処理サーバ３００のＣＰＵ３０５が、Ｓ２１０３で導出された人物のグループ情報（図８のＧｒｏｕｐ列の属性）と個人ＩＤ（図８のＩＤ列の属性）を導出し、Ｓ２１０６へ進む。

Ｓ２１０６では、ＣＰＵ３０５がＳ２１０５で導出された人物が、観測者のグループと同じであるかどうか判定する。ここで、導出された人物が、観測者のグループと同じであるとＣＰＵ３０５が判断した場合、Ｓ２１０７へ進み、導出された人物が、観測者のグループと同じでないとＣＰＵ３０５が判断した場合、Ｓ２１０８へ進む。
例えば、観測者が図８のＩＤ＝０００１（Ａさん）である場合、所定範囲以内にいる人物がＩＤ＝０００５（Ｅさん）であるならば、ＡさんとＥさんは同じグループ"Ａｌｐｈａ"であると判定される。

Ｓ２１０７では、処理サーバ３００のＣＰＵ３０５が、第２の生成処理としてＳ２１０２で算出されたグループと、図１９に示したグループとグループの関わりを表す情報データベースをもとに、観測者グループに関連するグループコンテンツ情報を生成し、本処理を終了する。
例えば、観測者グループが"Ａｌｐｈａ"であり、観測しているグループが"Ｂｅｔａ"グループの場合、図１９のＣｏｎｔａｃｔ＿Ｇｒｏｕｐ列、Ｃｏｎｔａｃｔ＿Ｄａｙ＿Ｔｉｍｅ列、Ｔｉｔｌｅ列の属性をもとに、図１８で示したようなコンテンツ情報を生成する。
一方、Ｓ２１０８では、観測者がグループに入らないため、第２の生成処理としてＣＰＵ３０５が観測者に関連するグループコンテンツ情報を生成する。本処理は、第１実施形態に示した図１４のＳ１５０３と同じ処理結果になり、本処理を終了する。
以下、図１７を用いて第２実施形態における処理サーバの関係性生成処理について説明する。
第１実施形態との差分は、グループとグループの関係性を示す情報を生成する処理を示すＳ１８０８〜Ｓ１８１０のフローがあることである。以下、第１実施形態との差分である、Ｓ１８０８〜Ｓ１８１０について説明する。

Ｓ１８０８では、ＣＰＵ３０５が各グループについて、接触しているグループとの接触した時間をデータベースに登録し、Ｓ１８０９へ進む。例えば、グループ"Ａｌｐｈａ"がグループ"Ｂｅｔａ"と接触した時間は、図１９の接触日・接触時間情報（Ｃｏｎｔａｃｔ＿Ｄａｙ＿Ｔｉｍｅ列の属性）のように、接触日を「２０１２／０３／０５」、接触した時間を「０２：３２：４０（２時間３２分４０秒）」としてデータベース上に登録する。

Ｓ１８０９では、ＣＰＵ３０５が接触しているグループの人物同士の接触時のスケジュール（図８のＳｃｈｅｄｕｌｅ列の属性）が一致するかどうか検索して判定する。ここで、接触しているグループの人物同士の接触時のスケジュールが一致するとＣＰＵ３０５が判断した場合、Ｓ１８１０へ進み、接触しているグループの人物同士の接触時のスケジュールが一致しないと判断した場合は、本処理を終了する。

Ｓ１８１０では、ＣＰＵ３０５が接触の内容をスケジュールが一致しているグループの人物同士のスケジュール（図８のＳｃｈｅｄｕｌｅ列の属性）の"Ｔｉｔｌｅ"から引用して登録して、本処理を終了する。例えば、グループ"Ａｌｐｈａ"（Ａさん、Ｅさんが含まれる）とグループ"Ｂｅｔａ"（Ｂさん、Ｃさん、Ｄさんが含まれる）が接触した内容は図８のＳｃｈｅｄｕｌｅ列の属性の"Ｔｉｔｌｅ"から「ＤＢ策定会議」として、図１９のデータベース上の"Ｔｉｔｌｅ"列に登録される。

第２実施形態では、観測者自身がグループに含まれる場合について述べた。これにより、観測者グループと被観測者グループの関係性が視認できるようになるので、観測者が被観測者グループとのつながりをより認識しやすくなる。

第１実施形態及び第２実施形態では、タブレット端末２００を用いて被観測者を観測する場合について述べたが、タブレット端末の代わりに地磁気センサを備えたＨＭＤ（ヘッドマウントディスプレイ）或いはＨＵＤ（ヘッドアップディスプレイ）を用いても良い。（半）透過ディスプレイを備えたＨＭＤ及びＨＵＤを用いた場合、観測者はカメラ映像を通すことなく、観測者の目で直接被観測者を見ながら情報コンテンツを視認することができる。そのため観測者は、実際に見える被観測者に重ねて情報コンテンツを視認することが可能となる。

本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウエア（プログラム）をパソコン（コンピュータ）等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。

本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施形態の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。

２００ タブレット端末
３００ 処理サーバ
５００ ネットワークカメラ

Claims (17)

1. 人物を撮影する複数のカメラを含むカメラシステムと、サーバ装置と、情報処理装置とが通信する情報表示システムであって、
   前記カメラシステムは、
   各カメラで撮影される画像情報から人物を検出する検出手段と、
   検出された人物を特定する人物識別情報を割り当てる割当手段と、
   検出された人物の物理空間位置を特定する位置情報を算出する算出手段と、
   算出された位置情報と割り当てられた前記識別情報とを対応づけた人物情報を前記サーバ装置に送信する第１の送信手段と、
   検出された人物の画像情報から当該人物の顔情報に基づく特徴情報を抽出する抽出手段と、
   抽出された特徴情報と前記識別情報とを対応づけて人物特徴情報を前記サーバ装置に送信する第２の送信手段と、を備え、
   前記サーバ装置は、
   人物を個別に識別するための個人識別情報と、個人属性情報と、人物の顔情報と、現在の物理位置情報と、各人物が属するグループ情報とをデータベースに登録して管理する管理手段と、
   前記カメラシステムから受信する人物特徴情報と登録された顔情報とを比較して各カメラで撮影された人物を認識する認識手段と、
   認識された人物の個人識別情報に対応づけ前記データベースに登録されている現在の物理位置情報を更新する更新手段と、
   前記情報処理装置から複数の人物の個人識別情報とともに受け付けるコンテンツ表示に用いる人物関連情報の取得要求に応じて、前記データベースから読み出される人物関連情報を複数の人物の個人識別情報とともに前記情報処理装置に送信する第３の送信手段と、を備え、
   前記情報処理装置は、
   被写体を撮影する内蔵カメラと、
   撮影された画像を表示する表示手段と、
   撮影された被写体に含まれる人物に対応づけられた個人識別情報とともに、当該個人識別情報に対応づけられた人物関連情報の取得要求を前記サーバ装置に行う第１の要求手段と、
   前記サーバ装置から受信する各人物の人物関連情報と、設定されるコンテンツ情報の表示モードとに基づいて前記表示手段に表示すべきコンテンツ情報をそれぞれ算出する算出手段と、
   算出されたコンテンツ情報の数と、前記表示手段に表示される各人物の位置と、各人物のコンテンツ情報の表示範囲とに基づいて、前記表示手段に表示される各人物に対応づけてコンテンツ情報を表示する表示制御手段と、
   算出されたコンテンツ情報の数と、前記表示手段に表示される各人物の位置と、各人物のコンテンツ情報の表示範囲とに基づいて、前記表示制御手段が前記表示手段に表示すべきコンテンツ情報の表示モードを個人表示モードからグループ表示モードに切り替える切替手段と、
   を備えることを特徴とする情報表示システム。
2. 前記サーバ装置は、
   前記情報処理装置から複数の人物の個人識別情報とともに受け付けるグループコンテンツ表示に用いるグループ関連情報の取得要求に応じて、前記データベースから読み出されるグループ関連情報を複数の人物の個人識別情報とともに前記情報処理装置に送信する第４の送信手段を備え、
   前記情報処理装置は、
   前記表示モードをグループ表示モードに切り替える場合、複数の人物の個人識別情報とともにグループコンテンツ表示に用いるグループ関連情報の取得要求を行う第２の要求手段を設け、
   前記表示制御手段は、前記サーバ装置から複数の人物の個人識別情報とともに受信するグループコンテンツ情報と当該グループコンテンツ情報とに基づいて、前記表示手段に撮影された人物の画像にグループコンテンツ情報を重畳して表示することを特徴とする請求項１記載の情報表示システム。
3. 前記個人属性情報は、個人の名前情報、当該個人に関わる特定情報、当該個人のスケジュール情報を含むことを特徴とする請求項１または２記載の情報表示システム。
4. 前記サーバ装置は、
   前記データベースに登録された個人識別情報と、現在の物理位置情報と、スケジュール情報と、グループ情報とに基づいて各人物と各人物との接触関係を特定する関係性情報を生成する第１の生成手段と、
   生成された関係性情報を前記データベースに登録して管理する関係性情報管理手段と、を備え
   前記関係性情報管理手段は、人物の前記現在の物理位置情報を検索して所定範囲にいる人物のスケジュール情報に基づいて関係性情報を更新することを特徴とする請求項１記載の情報表示システム。
5. 前記サーバ装置は、
   前記内蔵カメラを操作する観測者の個人識別情報と、前記内蔵カメラで撮影される人物の人物識別情報とに対応づけられたグループ情報が一致するかどうかを判断する判断手段と、
   前記グループ情報が一致すると判断した場合、観測者のグループに関連するグループコンテンツ情報を生成し、前記グループ情報が一致しないと判断した場合、観測者に関連するグループコンテンツ情報を生成する第２の生成手段と、を備え、
   前記第４の送信手段は、第２の生成手段により生成される観測者のグループに関連するグループコンテンツ情報または観測者に関連するグループコンテンツ情報を前記情報処理装置に送信することを特徴とする請求項２記載の情報表示システム。
6. 人物を撮影する複数のカメラを含むカメラシステムと、サーバ装置とが通信する情報表示システムであって、
   前記カメラシステムは、
   各カメラで撮影される画像情報から人物を検出する検出手段と、
   検出された人物を特定する識別情報を割り当てる割当手段と、
   検出された人物の空間位置を特定する位置情報を算出する算出手段と、
   算出された位置情報と割り当てられた前記識別情報とを対応づけた人物情報を前記サーバ装置に送信する第１の送信手段と、
   検出された人物の画像情報から当該人物の顔情報に基づく特徴情報を抽出する抽出手段と、
   抽出された特徴情報と前記識別情報とを対応づけて人物特徴情報を前記サーバ装置に送信する第２の送信手段と、を備え、
   前記サーバ装置は、
   人物を個別に識別するための個人識別情報と、個人属性情報と、人物の顔情報と、現在の物理位置情報と、各人物が属するグループ情報とをデータベースに登録して管理する管理手段と、
   前記カメラシステムから受信する人物特徴情報と登録された顔情報とを比較して各カメラで撮影された人物を認識する認識手段と、
   認識された人物の個人識別情報に対応づけ前記データベースに登録されている現在の物理位置情報を更新する更新手段と、を備えることを特徴とする情報表示システム。
7. サーバ装置と、情報処理装置とが通信する情報表示システムであって、
   前記サーバ装置は、
   前記情報処理装置から複数の人物の個人識別情報とともに受け付けるコンテンツ表示に用いる人物関連情報の取得要求に応じて、データベースから読み出される人物関連情報を複数の人物の個人識別情報とともに前記情報処理装置に送信する送信手段を備え、
   前記情報処理装置は、
   被写体を撮影する内蔵カメラと、
   撮影された画像を表示する表示手段と、
   撮影された被写体に含まれる人物に対応づけられた個人識別情報とともに、当該個人識別情報に対応づけられた人物関連情報の取得要求を前記サーバ装置に行う第１の要求手段と、
   前記サーバ装置から受信する各人物の人物関連情報と、設定されるコンテンツ情報の表示モードとに基づいて前記表示手段に表示すべきコンテンツ情報をそれぞれ算出する算出手段と、
   算出されたコンテンツ情報の数と、前記表示手段に表示される各人物の位置と、各人物のコンテンツ情報の表示範囲とに基づいて、前記表示手段に表示される各人物に対応づけてコンテンツ情報を表示する表示制御手段と、
   算出されたコンテンツ情報の数と、前記表示手段に表示される各人物の位置と、各人物のコンテンツ情報の表示範囲とに基づいて、前記表示制御手段が前記表示手段に表示すべきコンテンツ情報の表示モードを個人表示モードからグループ表示モードに切り替える切替手段と、
   を備えることを特徴とする情報表示システム。
8. カメラシステムまたは情報処理装置と通信するサーバ装置であって、
   人物を個別に識別するための個人識別情報と、個人属性情報と、人物の顔情報と、現在の物理位置情報と、各人物が属するグループ情報とをデータベースに登録して管理する管理手段と、
   前記カメラシステムから受信する人物特徴情報と登録された顔情報とを比較して各カメラで撮影された人物を認識する認識手段と、
   認識された人物の個人識別情報に対応づけ前記データベースに登録されている現在の物理位置情報を更新する更新手段と、
   前記情報処理装置から複数の人物の個人識別情報とともに受け付けるコンテンツ表示に用いる人物関連情報の取得要求に応じて、前記データベースから読み出される人物関連情報を複数の人物の個人識別情報とともに前記情報処理装置に送信する送信手段と、を備えることを特徴とするサーバ装置。
9. 前記情報処理装置から複数の人物の個人識別情報とともに受け付けるグループコンテンツ表示に用いるグループ関連情報の取得要求に応じて、前記データベースから読み出されるグループ関連情報を複数の人物の個人識別情報とともに前記情報処理装置に送信する第４の送信手段を備え、を備えることを特徴とする請求項８記載のサーバ装置。
10. サーバ装置と通信する情報処理装置であって、
    被写体を撮影する内蔵カメラと、
    撮影された画像を表示する表示手段と、
    撮影された被写体に含まれる人物に対応づけられた個人識別情報とともに、当該個人識別情報に対応づけられた人物関連情報の取得要求を前記サーバ装置に行う第１の要求手段と、
    前記サーバ装置から受信する各人物の人物関連情報と、設定されるコンテンツ情報の表示モードとに基づいて前記表示手段に表示すべきコンテンツ情報をそれぞれ算出する算出手段と、
    算出されたコンテンツ情報の数と、前記表示手段に表示される各人物の位置と、各人物のコンテンツ情報の表示範囲とに基づいて、前記表示手段に表示される各人物に対応づけてコンテンツ情報を表示する表示制御手段と、
    算出されたコンテンツ情報の数と、前記表示手段に表示される各人物の位置と、各人物のコンテンツ情報の表示範囲とに基づいて、前記表示制御手段が前記表示手段に表示すべきコンテンツ情報の表示モードを個人表示モードからグループ表示モードに切り替える切替手段と、
    を備えることを特徴とする情報処理装置。
11. 前記表示モードをグループ表示モードに切り替える場合、
    複数の人物の個人識別情報とともにグループコンテンツ表示に用いるグループ関連情報の取得要求を行う第２の要求手段を設け、
    前記表示制御手段は、前記サーバ装置から複数の人物の個人識別情報とともに受信するグループコンテンツ情報と当該グループコンテンツ情報とに基づいて、前記表示手段に撮影された人物の画像にグループコンテンツ情報を重畳して表示することを特徴とする請求項１０記載の情報処理装置。
12. カメラシステムまたは情報処理装置と通信するサーバ装置の制御方法であって、
    人物を個別に識別するための個人識別情報と、個人属性情報と、人物の顔情報と、現在の物理位置情報と、各人物が属するグループ情報とをデータベースに登録して管理する管理工程と、
    前記カメラシステムから受信する人物特徴情報と登録された顔情報とを比較して各カメラで撮影された人物を認識する認識工程と、
    認識された人物の個人識別情報に対応づけ前記データベースに登録されている現在の物理位置情報を更新する更新工程と、
    前記情報処理装置から複数の人物の個人識別情報とともに受け付けるコンテンツ表示に用いる人物関連情報の取得要求に応じて、前記データベースから読み出される人物関連情報を複数の人物の個人識別情報とともに前記情報処理装置に送信する第１の送信工程と、を備えることを特徴とするサーバ装置の制御方法。
13. 前記情報処理装置から複数の人物の個人識別情報とともに受け付けるグループコンテンツ表示に用いるグループ関連情報の取得要求に応じて、前記データベースから読み出されるグループ関連情報を複数の人物の個人識別情報とともに前記情報処理装置に送信する第２の送信工程を備えることを特徴とする請求項１２記載のサーバ装置の制御方法。
14. 被写体を撮影する内蔵カメラと、撮影された画像を表示する表示手段とを備え、サーバ装置と通信する情報処理装置の制御方法であって、
    内蔵カメラで撮影された被写体に含まれる人物に対応づけられた個人識別情報とともに、当該個人識別情報に対応づけられた人物関連情報の取得要求を前記サーバ装置に行う第１の要求工程と、
    前記サーバ装置から受信する各人物の人物関連情報と、設定されるコンテンツ情報の表示モードとに基づいて前記表示手段に表示すべきコンテンツ情報をそれぞれ算出する算出工程と、
    算出されたコンテンツ情報の数と、前記表示手段に表示される各人物の位置と、各人物のコンテンツ情報の表示範囲とに基づいて、前記表示手段に表示される各人物に対応づけてコンテンツ情報を表示する表示制御工程と、
    算出されたコンテンツ情報の数と、前記表示手段に表示される各人物の位置と、各人物のコンテンツ情報の表示範囲とに基づいて、前記表示制御工程が前記表示手段に表示すべきコンテンツ情報の表示モードを個人表示モードからグループ表示モードに切り替える切替工程と、
    を備えることを特徴とする情報処理装置の制御方法。
15. 前記表示モードをグループ表示モードに切り替える場合、複数の人物の個人識別情報とともにグループコンテンツ表示に用いるグループ関連情報の取得要求を行う第２の要求工程を設け、
    前記表示制御工程は、前記サーバ装置から複数の人物の個人識別情報とともに受信するグループコンテンツ情報と当該グループコンテンツ情報とに基づいて、前記表示手段は、撮影された人物の画像にグループコンテンツ情報を重畳して表示することを特徴とする請求項１４記載の情報処理装置の制御方法。
16. 請求項１２または１３に記載のサーバ装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
17. 請求項１４または１５に記載の情報処理装置の制御方法をコンピュータに実行させることを特徴とするプログラム。

Images