JP2007028555A - カメラシステム，情報処理装置，情報処理方法，およびコンピュータプログラム - Google Patents

Abstract

【課題】 同一被写体を複数のカメラにより共通のタイミングで撮像した複数の撮像画像から，自動的に被写体の写り具合の良い撮像画像を選択してユーザに提示する。
【解決手段】 撮像のタイミングを同期させて被写体を撮像する複数のカメラと接続された情報処理装置に，複数のカメラから共通のタイミングで各カメラにより撮像された撮像画像を取得する同期撮像画像取得部２０２，同期撮像画像取得部が取得した共通のタイミングで撮像された複数の撮像画像の各々について，撮像画像中の被写体の状態を所定の評価基準により評価し，各撮像画像に評価値を付与する画像評価部２１０，画像評価部により各撮像画像に付与された評価値に応じて，複数の撮像画像の各々に優先順位を付与する優先順位付与部２１８，および優先順位付与部により各撮像画像に付与された優先順位に従って各撮像画像を表示装置に表示させる表示制御部２２０を設けた。
【選択図】 図４

Description

本発明は，カメラシステム，情報処理装置，情報処理方法，およびコンピュータプログラムに関する。詳細には，複数のカメラにより共通のタイミングで撮像された複数の撮像画像に対する処理を行うカメラシステム，情報処理装置，情報処理方法，およびコンピュータプログラムに関する。

被写体をカメラで撮像する際に，複数のカメラを用いて共通のタイミングで同一の被写体を撮像することが行われる。複数のカメラは，互いに異なる角度や異なる距離に配置され，各場所から同一の被写体を撮像する。その結果，同一の被写体について，被写体の角度，撮影画像における被写体の大きさなどが互いに異なる複数の撮像画像ができる。

同一の被写体を共通のタイミングで複数のカメラにより撮像した画像の利用の方法は様々なものが考えられる。例えば，特許文献１に記載の広域撮影方法では，複数台のカメラで撮影した同一被写体の映像を，重複部分を排除して連結し，広域映像を作成している。

特開２００４−１８６９２２号公報

同一被写体を複数のカメラで共通のタイミングで撮像した場合，各々のカメラにより撮像された撮像画像間には，各カメラの位置や撮像状況によって，被写体の写り具合に違いが生じる。各カメラで撮像された複数の撮像画像を入手したユーザが，写り具合の良い撮像画像を選ぶ場合には，現在は，ユーザが手動で各撮像画像を見比べて，写り具合の良い撮像画像を選ばなければならない。そのため，撮像画像が多数ある場合には，ユーザが手動で各撮像画像を見比べて撮像画像を選択することは大変な労力となり得る。

そこで，本発明は，このような問題に鑑みてなされたもので，その目的とするところは，同一被写体を複数のカメラにより共通のタイミングで撮像した複数の撮像画像から，自動的に被写体の写り具合の良い撮像画像を選択してユーザに提示することが可能な，カメラシステム，情報処理装置，情報処理方法，およびコンピュータプログラムに関する。

上記課題を解決するために，本発明のある観点によれば，複数のカメラと，複数のカメラから撮像画像を取得する情報処理装置とが通信網を介して接続されたカメラシステムにおいて：複数のカメラは，被写体を撮像する撮像部と；撮像のタイミングを互いに同期させる撮像同期部と；を備え，情報処理装置は，複数のカメラから，共通のタイミングで各カメラにより撮像された撮像画像を取得する同期撮像画像取得部と；同期撮像画像取得部が取得した，共通のタイミングで撮像された複数の撮像画像の各々について，撮像画像中の被写体の状態を所定の評価基準により評価し，各撮像画像に評価値を付与する画像評価部と；画像評価部により各撮像画像に付与された評価値に応じて，複数の撮像画像の各々に優先順位を付与する優先順位付与部と；評価部により各撮像画像に付与された優先順位に従って，各撮像画像を表示装置に表示させる表示制御部と；を備えるカメラシステムが提供される。

上記課題を解決するために，本発明の別の観点によれば，撮像のタイミングを同期させて被写体を撮像する複数のカメラと通信網を介して接続され，カメラから撮像画像を取得する情報処理装置において：複数のカメラから，共通のタイミングで各カメラにより撮像された撮像画像を取得する同期撮像画像取得部と；同期撮像画像取得部が取得した，共通のタイミングで撮像された複数の撮像画像の各々について，撮像画像中の被写体の状態を所定の評価基準により評価し，各撮像画像に評価値を付与する画像評価部と；画像評価部により各撮像画像に付与された評価値に応じて，複数の撮像画像の各々に優先順位を付与する優先順位付与部と；評価部により各撮像画像に付与された優先順位に従って，各撮像画像を表示装置に表示させる表示制御部と；を備える情報処理装置が提供される。上記撮像画像中の被写体の状態には，例えば，撮像画像全体に対する被写体の大きさ，被写体の角度，撮像画像における被写体の位置，被写体のぼけ具合，撮像時のカメラのぶれを原因とする被写体のぶれ具合，撮像時の周囲の明るさ等を原因とする被写体の明るさなど，撮像画像における被写体の写り具合に関わる様々な状態が含まれる。

上記画像評価部は，各撮像画像から人物の顔画像を検出し，検出された顔画像の状態に基づいて各撮像画像の評価値を決定してもよい。

上記画像評価部は，検出された顔画像の顔の角度に基づいて評価値を決定してもよく，その場合，上記優先順位付与部は，評価値に基づき，人物の正面顔の画像が含まれる撮像画像に，人物の正面顔以外の角度の顔が含まれる撮像画像よりも高い優先順位を付与してもよい。正面顔は，人物の顔を正面から撮像した場合の，撮像画像における人物の顔を示す。正面顔には，人物の真正面の顔と，所定角度以内で上下左右を向いている顔とが含まれてもよい。

上記画像評価部は，検出された顔画像のサイズに基づいて評価値を決定してもよく，その場合，上記優先順位付与部は，評価値に基づき，顔画像のサイズが所定値以上である撮像画像に，顔画像のサイズが所定値未満である撮像画像よりも高い優先順位を付与してもよい。

上記画像評価部は，撮像画像における，検出された顔画像の位置情報に基づいて評価値を決定してもよく，その場合，上記優先順位付与部は，評価値に基づき，撮像画像の中心から顔画像が所定の距離よりも近い撮像画像に，撮像画像の中心から顔画像が所定の距離よりも遠い撮像画像よりも高い優先順位を付与してもよい。

上記画像評価部は，各撮像画像から検出された顔画像の数に基づいて評価値を決定してもよく，その場合，上記優先順位付与部は，評価値に基づき，検出された顔画像の数が多い順に高い優先順位を付与してもよい。

上記画像評価部は，各撮像画像から検出された顔画像の数と，検出された顔画像の顔の角度と，に基づいて評価値を決定してもよく，その場合，上記優先順位付与部は，評価値に基づき，検出された正面顔の画像の数が多い順に高い優先順位を付与してもよい。

上記検出された顔画像に基づいて，該顔画像に該当する人物を特定する顔認識部をさらに備えてもよく，その場合，上記画像評価部は，顔認識部により特定された人物の顔画像の状態に基づいて各撮像画像の評価値を決定してもよい。かかる構成によれば，撮像画像中の特定の人物の顔画像の状態に基づいて，各撮像画像の順位付けを行うことができる。

上記情報処理装置は，検出された顔画像に基づいて，該顔画像に該当する人物を特定する顔認識部と；同期撮像画像取得部が取得した複数の撮像画像の少なくとも１つから顔認識部により特定された人物の情報を，複数の撮像画像の全てと関連付けて記憶する登場人物記憶部と；をさらに備えてもよい。

上記情報処理装置は，各カメラから，被写体の撮像時における各カメラの位置を示す撮像位置情報を取得する位置情報取得部を備えてもよい。

上記情報処理装置は，各カメラから，被写体の撮像時における各カメラの撮像方位を示す撮像方位情報を取得する撮像方位取得部を備えてもよい。

上記情報処理装置は，各カメラから，被写体の撮像時におけるカメラのチルト角を示す撮像角度情報を取得する撮像角度取得部を備えてもよい。

上記表示制御部は，各撮像画像を，各撮像画像の優先順位順で順番に表示装置に表示させてもよい。

上記表示制御部は，各撮像画像を，各撮像画像の優先順位順に画像のサイズを変化させて表示させてもよい。

上記課題を解決するために，本発明の別の観点によれば，コンピュータに上記の情報処理装置として機能させるコンピュータプログラムが提供される。コンピュータプログラムは，コンピュータが備える記憶部に格納され，コンピュータが備えるＣＰＵに読み込まれて実行されることにより，そのコンピュータを上記の情報処理装置として機能させる。また，コンピュータプログラムが記録された，コンピュータで読み取り可能な記録媒体も提供される。記録媒体は，例えば，磁気ディスク，光ディスクなどである。

上記課題を解決するために，本発明の別の観点によれば，撮像のタイミングを同期させて被写体を撮像する複数のカメラと通信網を介して接続され，カメラから撮像画像を取得する情報処理装置で実行される情報処理方法において：複数のカメラから，共通のタイミングで各カメラにより撮像された撮像画像を取得する同期撮像画像取得ステップと；同期撮像画像取得ステップで取得した，共通のタイミングで撮像された複数の撮像画像の各々について，撮像画像中の被写体の状態を所定の評価基準により評価し，各撮像画像に評価値を付与する画像評価ステップと；画像評価ステップにより各撮像画像に付与された評価値に応じて，複数の撮像画像の各々に優先順位を付与する優先順位付与ステップと；優先順位付与ステップにより各撮像画像に付与された優先順位に従って，各撮像画像を表示装置に表示させる表示制御ステップと；を含む情報処理方法が提供される。

上記課題を解決するために，本発明の別の観点によれば，画像を表示装置に表示させる情報処理装置と通信網を介して接続され，情報処理装置に撮像画像を送信するカメラにおいて：被写体を撮像する撮像部と；他のカメラと撮像のタイミングを同期させる撮像同期部と；撮像部により撮像された撮像画像について，撮像画像中の被写体の状態を所定の評価基準により評価し，各撮像画像に評価値を付与する画像評価部と；撮像画像と評価値を関連付けて情報処理装置に送信する撮像画像送信部と；を備えるカメラが提供される。

上記カメラの上記画像評価部は，撮像画像から人物の顔画像を検出し，検出された顔画像の状態に基づいて撮像画像の評価値を決定してもよい。

また，上記課題を解決するために，本発明の別の観点によれば，撮像のタイミングを同期させて被写体を撮像する複数のカメラと通信網を介して接続され，複数のカメラから撮像画像を取得する情報処理装置において：複数のカメラから，共通のタイミングで各カメラにより撮像された撮像画像を取得する同期撮像画像取得部と；複数のカメラから，被写体の撮像時における各カメラの位置を示す撮像位置情報を取得する撮像位置情報取得部と；撮像位置情報に基づいて，各カメラ間の位置関係と対応する位置関係で各撮像画像を表示装置に表示させる表示制御部と；を備える情報処理装置が提供される。

また，上記課題を解決するために，本発明の別の観点によれば，撮像のタイミングを同期させて被写体を撮像する複数のカメラと通信網を介して接続され，複数のカメラから撮像画像を取得する情報処理装置において：複数のカメラから，共通のタイミングで各カメラにより撮像された撮像画像を取得する同期撮像画像取得部と；各撮像画像から人物の顔画像を検出する顔検出部と；検出された顔画像に基づいて，該顔画像に該当する人物を特定する顔認識部と；同期撮像画像取得部が取得した複数の撮像画像の少なくとも１つから顔認識部により特定された人物の情報を，複数の撮像画像の全てと関連付けて記憶する登場人物記憶部と；を備える情報処理装置が提供される。

以上説明したように本発明によれば，同一被写体を複数のカメラにより共通のタイミングで撮像した複数の撮像画像から，自動的に被写体の写り具合の良い撮像画像を選択してユーザに提示することができるものである。

以下に添付図面を参照しながら，本発明の好適な実施の形態について詳細に説明する。なお，本明細書及び図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。

（第１実施形態）
以下では，第１実施形態として，本発明にかかるカメラシステムを，複数のカメラで共通のタイミングで同一の被写体を撮像し，各カメラで撮像された複数の撮像画像を，被写体の写り具合に応じて表示装置に表示するカメラシステム１００に適用して説明する。まず，図１に基づいて本実施形態の概要を説明する。

＜実施形態の概要＞
図１に示すように，本実施形態にかかるカメラシステム１００では，被写体１３０を，複数のカメラ１０４ａ，１０４ｂ，１０４ｃで撮像する。カメラ１０４ａ，１０４ｂ，１０４ｃは，互いに異なる場所に配置される。例えば，図示のようにカメラ１０４ａ，１０４ｂ，１０４ｃが各々異なる角度から被写体１３０を撮像した場合には，カメラ１０４ａ，１０４ｂ，１０４ｃにより各々撮像された撮像画像には，被写体１３０が各々異なる角度で写っていることになる。また，カメラ１０４ａ，１０４ｂ，１０４ｃが，被写体１３０を各々異なる距離から撮像した場合には，カメラ１０４ａ，１０４ｂ，１０４ｃにより各々撮像された撮像画像には，撮像画像全体に対する被写体１３０の大きさが各々異なる状態で写っていることになる。

また，本実施形態にかかるカメラシステム１００では，複数のカメラ１０４ａ，１０４ｂ，１０４ｃは，共通のタイミングで被写体１３０を撮像する。撮像のタイミングは，各カメラ間で無線通信を行い通知することにより共通のタイミングとすることができる。カメラシステム１００では，共通のタイミングで同一の被写体１３０を複数のカメラ１０４ａ，１０４ｂ，１０４ｃで撮像し，各カメラにより撮像された撮像画像を表示装置１０６に表示する。

撮像画像を表示装置１０６に表示する際に，カメラシステム１００では，各撮像画像中の被写体の写り具合に応じて，写り具合の良い撮像画像を優先的に表示するようにする。写り具合の良さの判断基準としては，例えば，被写体１３０が人物である場合，撮像画像中の人物の顔の角度，大きさ，配置などとすることができる。具体的には例えば，顔の角度を判断基準とする場合，撮像画像中の人物の顔が正面を向いている方が，斜めや横を向いているよりも写り具合が良いと判断できる。また，顔の大きさを判断基準とする場合，撮像画像中の人物の顔の大きさがより大きい方が写り具合が良いと判断できる。また，顔の配置を判断基準とする場合，撮像画像中の人物の顔の位置が，撮像画像の中心により近い方が写り具合が良いと判断できる。

図１の例では，被写体１３０である人物の顔が正面を向いている撮像画像１３４ａ，斜めを向いている撮像画像１３４ｂ，横を向いている撮像画像１３４ｃが，カメラ１０４ａ，１０４ｂ，１０４ｃによって各々撮像された。そして，表示装置１０６には，撮像画像１３４ａ，撮像画像１３４ｂ，撮像画像１３４ｃが，異なる大きさで表示される。表示される画像の大きさは，図示のように，撮像画像１３４ａ，撮像画像１３４ｂ，撮像画像１３４ｃの順に小さくなる。つまり，被写体１３０である人物の顔が正面を向いている撮像画像１３４ａが他の撮像画像よりも優先的に表示され，かつ，斜めを向いている撮像画像１３４ｂが横を向いている撮像画像１３４ｃよりも優先的に表示されている。上記の如く，複数の撮像画像を被写体の写り具合に応じて優先順位をつけて表示装置１０６に表示することにより，ユーザは複数の撮像画像を見比べて写り具合の良い撮像画像を手動で選択しなくとも，迅速かつ簡便に写り具合の良い撮像画像を見ることができる。

以上，本実施形態の概要について説明した。上述の，被写体の写り具合に応じた撮像画像の表示を可能にするためのカメラシステム１００の構成について，以下に説明する。

＜カメラシステムの全体構成＞
まず，図２に基づいて，本実施形態にかかるカメラシステム１００の全体構成について説明する。図２に示したように，カメラシステム１００は，情報処理装置１０２，表示装置１０６，通信網１０８，カメラ１０４ａ，１０４ｂ，１０４ｃを主に備える。

情報処理装置１０２は，カメラ１０４ａ，１０４ｂ，１０４ｃから撮像画像を取得し，各撮像画像に優先順位を付与して表示装置１０６に表示させる機能を有する。詳細には，情報処理装置１０２は，カメラ１０４ａ，１０４ｂ，１０４ｃから取得した撮像画像から顔画像を検出し，検出した顔画像の状態に基づいて各撮像画像に優先順位を付与する。そして，付与した優先順位に従って，撮像画像を表示装置１０６に表示させる。

表示装置１０６は，情報処理装置１０２と接続されて，撮像画像を画面に表示する機能を有する。表示装置１０６としては，液晶ディスプレイ，ＣＲＴ，プラズマディスプレイ等を例示できる。なお，表示装置１０６と情報処理装置１０２は一体的に構成されてもよい。

カメラ１０４ａ，１０４ｂ，１０４ｃ（以後，単にカメラ１０４とも称する。）は，静止画像を撮像する機能を有する。また，カメラ１０４は，他のカメラ１０４との間で，撮像のタイミングを同期させる機能を有する。具体的には，カメラ１０４は，撮像同期部の一例として，無線通信機能を備え，他のカメラ１０４との間で情報を送受信する。より詳細には，例えば，カメラ１０４ａ，１０４ｂ，１０４ｃが，撮像指示のためのボタンを各々備えており，カメラ１０４ａ，１０４ｂ，１０４ｃのいずれかのボタンが押下された場合に，ボタンが押下されたカメラ１０４は，無線通信によりボタンの押下を他のカメラ１０４に通知する。そして，通知後，すぐに，または所定時間経過後に，各カメラ１０４がシャッターを切り被写体を撮像する。このようにすれば，カメラ１０４ａ，１０４ｂ，１０４ｃは，共通のタイミングで撮像を行うことができる。なお，各カメラ１０４の撮像のタイミングは完全に同一であってもよいし，所定範囲内であればずれていても構わない。カメラ１０４は，撮像した撮像画像を通信網１０８を介して情報処理装置１０２に送信する。なお，本実施形態ではカメラ１０４が撮像する撮像画像は静止画像であるが，本発明はかかる例には限定されず，撮像画像は動画像であってもよい。

また，カメラ１０４は，ＧＰＳ（global positioning system）またはビーコンにより自己の位置を検出する位置情報検出機能を備え，情報処理装置１０２に位置情報を送信することができる。また，カメラ１０４は，電子コンパスを備え，撮像時における撮像方位の情報を情報処理装置１０２に送信できる。また，カメラ１０４は，チルト角を検出する機能を備え，撮像時のチルト角の情報を情報処理装置１０２に送信することができる。

通信網１０８は，例えば，インターネット，電話回線網，衛星通信網等の公衆回線網や，ＷＡＮ，ＬＡＮ，ＩＰ−ＶＰＮ等の専用回線網などで構成されており，有線・無線を問わない。

上記構成によるカメラシステム１００では，カメラ１０４ａ，１０４ｂ，１０４ｃにより共通のタイミングで撮像された撮像画像が情報処理装置１０２に収集される。情報処理装置１０２は，複数の撮像画像を，所定の基準によって評価し，被写体の写り具合の良い撮像画像から優先的に表示装置１０６に表示させる。以上，カメラシステム１００の全体構成について説明した。なお，図示の例ではカメラは３台であるが，２台であってもよいし，４台以上であってもよい。

＜情報処理装置のハードウェア構成＞
次に，図３に基づいて，情報処理装置１０２のハードウェア構成について説明する。図３に示すように，情報処理装置１０２は，例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と，ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と，ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３と，ホストバス１１４と，ブリッジ１１５と，外部バス１１６と，インタフェース１１７と，入力装置１１８と，出力装置１２０と，ストレージ装置（ＨＤＤ）１２１と，ドライブ１２２と，接続ポート１２４と，通信装置４２５などを備える。

ＣＰＵ１１１は，演算処理装置および制御装置として機能し，ＲＯＭ１１２またはＨＤＤ１２１に格納された各種プログラムに従って動作し，情報処理装置１０２内の各部を制御する。具体的な処理としては，例えば，撮像画像から顔画像を検出する処理や，撮像画像に優先順位を付与する処理などを実行する。

ＲＯＭ１１２は，ＣＰＵ１１１が使用するプログラムや，演算パラメータ等を記憶する。ＲＡＭ１１３は，ＣＰＵ１１１による処理の実行において使用するプログラムや，その実行において適宜変化するパラメータ等を一時記憶する。また，ＲＡＭ１１３は，情報処理装置１０２に入力された撮像画像などを一時的に保存するために利用することもできる。これらはＣＰＵバスなどから構成されるホストバス１１４により相互に接続されている。

ホストバス１１４は，ブリッジ１１５を介して，ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１１６に接続されている。

入力装置１１８は，例えば，マウス，キーボード，タッチパネル，ボタン，スイッチ，レバー等の操作手段と，入力信号を生成してＣＰＵ１１１に出力する入力制御回路などから構成されている。情報処理装置１０２のユーザは，この入力装置１１８を操作することにより，情報処理装置１０２に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置１２０は，例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置，液晶ディスプレイ（ＬＣＤ）装置，ランプ等の表示装置と，スピーカ等の音声出力装置などで構成される。この出力装置１２０は，例えば撮像画像を出力する。なお，出力装置１２０は，情報処理装置１０２の外部に設けられた，外部機器としての出力装置を制御する制御部として機能してもよい。

ＨＤＤ１２１は，本実施形態にかかる情報処理装置１０２の記憶手段の一例として構成されたデータ格納用の装置である。このＨＤＤ１２１は，ＣＰＵ１１１が実行するプログラムや各種データを格納する。また，このＨＤＤ１１１には，例えば，撮像画像などの各種データが格納されてもよい。

ドライブ１２２は，記憶媒体用リーダ／ライタであり，情報処理装置１０２に内蔵，或いは外付けされる。このドライブ１２２は，情報処理装置１０２にローディングされた磁気ディスク（ＨＤ等），光ディスク（ＣＤ，ＤＶＤ等）光磁気ディスク（ＭＯ等），または半導体メモリ等のリムーバブル記憶媒体に対してコンテンツなどの各種データを記録／再生する。

具体的には，ドライブ１２２は，リムーバル記憶媒体に記憶されているデータを読み出して，インタフェース１１７，外部バス１１６，ブリッジ１１５，およびホストバス１１４を介して接続されているＲＡＭ１１３に供給する。ＣＰＵ１１１は，必要に応じて，これらのデータをＨＤＤ１２１などに格納する。一方ドライブ１２２は，ＲＯＭ１１２またはＨＤＤ１２１などに格納されているデータや，新たに生成したデータ，外部装置から取得したデータをＣＰＵ１１１から受け取り，リムーバブル記憶媒体に書き込む。

接続ポート１２４は，例えば，情報処理装置１０２と表示装置１０６などの外部機器とを接続するポートであり，ＵＳＢ，ＩＥＥＥ１３９４等の接続端子を有する。接続ポート１２４は，インタフェース１１７，および外部バス１１６，ブリッジ１１５，ホストバス１１４等を介してＣＰＵ１１１等に接続されている。

通信装置１２５は，例えば，通信網１０８に接続するための通信デバイス等で構成された通信インタフェースである。この通信装置１２５は，外部機器との間で，通信網１０８を介して各種データを送受信する。以上，情報処理装置１０２のハードウェア構成について簡単に説明した。

＜情報処理装置の機能構成＞
次に，図４に基づいて，情報処理装置１０２の機能構成について説明する。情報処理装置１０２は，同期撮像画像取得部２０２，位置情報取得部２０４，撮像方位取得部２０６，撮像角度取得部２０８，画像評価部２１０，登場人物記憶部２１２，顔認識部２１４，被写体同一性判断部２１６，優先順位付与部２１８，表示制御部２２０などを主に備える。

同期撮像画像取得部２０２は，複数のカメラ１０４ａ，１０４ｂ，１０４ｃから，共通のタイミングで各カメラにより撮像された撮像画像を取得する。各カメラ１０４が，撮像画像に撮像時刻を付与し，撮像時刻が付与された撮像画像を情報処理装置１０２に送信すれば，情報処理装置１０２は，共通のタイミングで撮像された撮像画像であることを認識することができる。

画像評価部２１０は，同期撮像画像取得部２０２が取得した，共通のタイミングで撮像された複数の撮像画像の各々について，撮像画像中の被写体の状態を所定の評価基準により評価し，各撮像画像に評価値を付与する。本実施形態において，画像評価部２１０は，各撮像画像から人物の顔画像を検出し，検出された顔画像の状態に基づいて各撮像画像の評価値を決定する。より具体的には，検出された顔画像の顔の角度，顔画像のサイズ，撮像画像における顔画像の位置に基づいて，評価値を決定する。また，撮像画像から複数の顔画像が検出された場合には，検出された顔画像の数もまた評価値に反映される。

撮像画像からの顔画像の検出は，例えば，「ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習」（差部 浩太郎，日台 健一 著）に記載の方法により行うことができる。以下に概略を述べる。

高速に演算可能なピクセル差分特徴を利用して，姿勢毎の顔パターン検出器の学習をAdaBoost（アダブースト）を用いて木構造に弱仮説が配置されるように行い，任意姿勢の顔検出器を構成する。その際に，高速に演算が可能なピクセル差分特徴をアンサンブル学習に用いる。また，識別時に弱仮説の重み付き多数決を演算する際に十分な結果が得られた時点で打ち切る機能を導入する。そして，ピクセル差分特徴の簡素を活かしてこれらを高速に並列計算する方法を用いる。さらに，全ての姿勢の顔パターンを識別する弱仮説から，次第に各姿勢の顔パターンを識別するように枝分かれ細分化していく木構造の識別器を構成して，その識別器を用いて顔画像を検出する。

ピクセル差分は顔画像検出対象のウィンドウ内の任意の２つの画素値の差分を取ったものである。トレーニングサンプルに対してこの差分値の出力のヒストグラムを生成し，最も識別誤差が少ない閾値を求める。これを全ての画素の組み合わせに対して行い，最も識別誤差の少ないものを弱仮説として採用する。弱仮説の決定方法は，下記の通りである。

１．Ｍ回繰り返し：
ａ）２つの画素Ｉ_１，Ｉ_２をランダムに決める。
ｂ）エラー最小な閾値の算出。下記の数式１を最小ｅ_ｍｉｎにする閾値Ｔ_ｍｉｎを求める。

・・・（数式１）

ｃ）エラー最大な閾値の算出。上記数式１を最大ｅ_ｍａｘにする閾値Ｔ_ｍａｘを求め，下記の数式２による方法で反転する。

ｅ’_ｍａｘ＝１−ｅ_ｍａｘ
Ｉ_１’＝Ｉ_２
Ｉ_２’＝Ｉ_１
Ｔ’_ｍａｘ＝−Ｔ_ｍａｘ
・・・（数式２）

ｄ）ｅ_ｍｉｎ＜ｅ’_ｍａｘであればＩ_１，Ｉ_２，Ｔ_ｍｉｎを，そうでなければI’_１，I’_２，Ｔ_ｍａｘを弱仮説として決定
２．上記繰り返し中で，最もエラーｅの小さかったものを採用

識別時には下記の数式３で表される演算を行うことで弱仮説を計算することができる。

ｙ＝ｆ_ｔ（ｘ）＝ｓｉｇｎ（ｘ（ｋ_１）−ｘ（ｋ_２）−θ_ｔ）
・・・（数式３）
上記式で，x は入力ウィンドウ画像の輝度値でk1, k2は画素の位置，qは閾値である。

AdaBoostでは弱仮説を一つ加える度にトレーニング誤差の上界が減少してより性能の良い識別器に近づいていく。換言すると，途中までの弱仮説だけでもそれなりの識別器が形成されており，入力によっては十分に識別することができる。これを利用して途中まで
の多数決結果が十分に小さい値であれば計算を打ち切って判定を下すことができる。

下記の数式４が重み付き多数決の式である。

・・・（数式４）

t（弱仮説の個数）を増やしていったときの重み付き多数決の推移をプロットした例を図５に示す。顔検出器に顔画像を入力した時の典型的な反応は，図中のウィンドウ１〜４
のように弱仮説を増やすにつれて次第に正の方向に増加していく。これに対して，入力に非顔画像を与えたときには次第に負の方向に減少していく（ウィンドウ５）。この際にある打ち切り閾値を設定することで，負の方向に減少していく重み付き多数決の計算を途中で終了することができる。

この打ち切り閾値は，学習サンプルデータの対象物体が全て通過できる最大値を取る。図５の場合，ウィンドウ１〜４が全ての対象物体データだとすると，それら全ての最小値が打ち切り閾値となる．t個目の弱仮説を追加した時の重み付き多数決Ft(x)に対応する打ち切り閾値Rtは下記の数式５のように定式化される。

Ｒ_ｔ＝ｍｉｎ［Ｆ_ｔ（ｘ_１），Ｆ_ｔ（ｘ_２），…，Ｆ_ｔ（ｘ_Ｎ）］
・・・（数式５）

任意姿勢の顔検出器について以下に説明する。顔のパターンは姿勢毎に大きく異なるので一つの識別器で性能の良い顔検出器を構成するのは困難である。そこで，全姿勢の顔‐非顔画像の識別器からその結果を引き継ぎながら，姿勢毎の顔‐非顔画像の識別器へと枝分かれしていく識別器を学習する。特に，下位階層の姿勢分類は上位の姿勢分類をさらに分割するような木構造の構成にし，上位階層で演算した結果を引き継いで下位階層の演算
を行うようにする。

まず，姿勢の分類を行う。顔の姿勢を目線を水平とした時のピッチ角とヨー角を用いて分類する。ピッチ角に関して，-90 度〜-25 度， -25 度〜+25度，+25 度〜+90 度の3 段階，ヨー角に関しては，-90度から-65 度，-65 度〜-25
度，-25 度〜+25 度，+25度〜+65 度，+65 度〜+90 度の5 段階に分けて顔の姿勢を計15 個の離散的なグループに分ける。図６が各姿勢グループの学習データを平均したものである。

次に，ツリー構造の識別器を構成する。図７は，実際に姿勢毎に分類された顔の検出を行う識別器の木構造の構成である．各丸が一連の弱仮説群(ノード)を表しており，内部に表示されている15 個の箱が図６に代表される15通りの姿勢グループを指している。塗りつぶされている姿勢グループがその弱仮説群の学習に使われたサンプルの姿勢グループである。また，左下に向かっている矢印は弱仮説群の評価で打ち切りが発生した場合を示し，打ち切りなく通過した場合は右へ抜けて次の弱仮説群へ入る事を示している。右端まで達すると評価終了である。根元の弱仮説群はすべての姿勢サンプルを使って学習されている。例えば100個の弱仮説を選択した時点で枝分かれを起こす。ここでは正面と右半面，左半面の３つの姿勢グループに分かれる。正面はさらに上，真中，下の３つに分かれて，真中はさらに真中，やや右，やや左に分かれる．右半面も左半面もその後，上，真中，下に分かれて最終的に判定される。

次に学習の手順を示す。各ノードは上述のピクセル特徴を弱仮説に用いたAdaBoostによる学習で求める。ここでは与える学習サンプルと上位(親)ノードから下位(子)ノードへの結果の引継ぎを制御することになる。各ノードの学習に使うサンプルは以下のように選択する。ポジティブサンプル(顔画像)に関しては，木構造の定義に基いて対応する姿勢グループに属するサンプル全てを用いる。ネガティブサンプル(非顔画像)に関しては，根元ノードに全てのサンプルを投入し，以降は親ノードの学習の結果，打ち切り閾値を下回らなかったサンプルを子ノードの学習に利用する。結果の引継ぎは以下のように行う。各ノードでの学習を終えると各サンプルに対する重みDと各サンプルの重み付き多数決F(x)の結果が得られる。上述のサンプルの選択方法により，子ノードで使用するサンプルは親ノードのサブセットになっているので，これら重みと多数決結果のうち子ノードで利用するものだけを子ノードに渡す。重みに関しては総和が１にならなくなるので，ポジティブサンプルとネガティブサンプルの総和がそれぞれ0.5
となるように正規化し直す。重み付き多数決はで打ち切り閾値を計算する際に必要になるが，子ノードで新たに加える弱仮説は親ノードから引き継いだ重み付き多数決に加えていく。これにより，親ノードで選択された特徴を反映した判定が下される。

識別の際も学習時と同じように根元ノードから評価を行う。根元ノードで打ち切りが発生したら評価終了で出力は-1(非顔)となる。親ノードを通過した画像の重み付き多数決F は各子ノードに配られる。枝分かれした子ノードは順番に評価する。枝先で打ち切りが発生した際には，元に戻って残りの子ノードを評価する。どこかの枝で末端まで打ち切られずに辿り着いた時は，顔だと判断されたことになり末端のノードに対応する姿勢グループが入力画像の顔の向きとして出力される。どの枝先でも末端に辿り付けなかった場合は非
顔画像と判定される。

本実施形態では，画像評価部２１０は，上記方法により顔画像の検出を行い，検出された顔の角度として，例えば，図７に示した各識別器の番号（Ｌ４，Ｌ５等）を出力する。また，画像評価部２１０は，検出された顔画像の数，大きさ，および撮像画像中の位置情報も出力する。画像評価部２１０は，検出された顔画像の数，大きさ，および撮像画像中の位置情報を出力するために，公知の顔検出方法を用いることができる。

図４に戻り，情報処理装置１０２の機能構成についての説明を続ける。顔認識部２１４は，画像評価部２１０によって撮像画像から検出された顔画像に基づいて，その顔画像に該当する人物を特定する。顔認識部２１４は，予め登録された顔画像のデータを，その顔画像のデータにより特定される人物の名前やＩＤ等と関連付けて保有している。そして，検出された顔画像と，予め登録されている顔画像のデータとを比較することにより，検出された顔画像に該当する人物を特定する。顔認識部２１４は，同期撮像画像取得部２０２が取得した共通のタイミングで撮像された複数の撮像画像のうち，１つ以上の撮像画像中の顔画像から特定された人物について，その人物の名前を，共通のタイミングで撮像された複数の撮像画像の全てを関連付けて登場人物記憶部２１２に格納する。

登場人物記憶部２１２は，同期撮像画像取得部２０２が取得した複数の撮像画像の少なくとも１つから顔認識部２１４により特定された人物の情報を，複数の撮像画像の全てと関連付けて記憶する。共通のタイミングで撮像された複数の撮像画像には，被写体として同一の人物が写っている可能性が高い。しかし，人物の顔の向きなどによっては，撮像画像に写ってはいても画像評価部２１０により顔画像として検出できない場合や，顔認識部２１４による顔認識ができない場合がある。そこで，複数の撮像画像中の１つからでも特定された人物は，共通のタイミングで撮像された他の撮像画像にも写っていると仮定して，その人物の情報（名前，ＩＤなど）と全ての撮像画像を関連付けて登場人物記憶部２１２に登録しておく。そうすれば，例えば，ユーザが自分が写っている撮像画像の閲覧やダウンロードを希望する場合に，情報処理装置１０２は，ユーザのＩＤや名前を取得し，登場人物記憶部２１２に記憶されている該当するＩＤまたは名前に関連付けられている撮像画像をユーザに提示することにより，ユーザが写っている全ての撮像画像を提供することができる。

位置情報取得部２０４は，カメラ１０４ａ，１０４ｂ，１０４ｃの各々から，撮像時における各カメラの位置情報を取得し，取得した位置情報を被写体同一性判断部２１６に提供する。

撮像方位取得部２０６は，カメラ１０４ａ，１０４ｂ，１０４ｃの各々から，撮像時における撮像方位の情報を取得し，取得した撮像方位の情報を被写体同一性判断部２１６に提供する。

撮像角度取得部２０８は，カメラ１０４ａ，１０４ｂ，１０４ｃの各々から，撮像時におけるチルト角の情報を取得し，取得したチルト角の情報を被写体同一性判断部２１６に提供する。

被写体同一性判断部２１６は，カメラ１０４ａ，１０４ｂ，１０４ｃの各々の撮像時における位置情報，撮像方位情報，およびチルト角情報を取得し，各カメラ１０４により撮像された被写体が同一であるか否かを判断する。被写体同一性判断部２１６は，例えば，位置情報により，あるカメラ１０４ａが他のカメラ１０４ｂ，１０４ｃと所定の距離以上離れている場合には，カメラ１０４ａの被写体とカメラ１０４ｂ，１０４ｃの被写体とは同一ではないと判断し，その旨を優先順位付与部２１８に通知する。また，被写体同一性判断部２１６は，カメラ１０４ａ，１０４ｂ，１０４ｃが互いに所定の距離よりも近くに位置している場合でも，撮像方位またはチルト各によっては，各カメラ１０４の被写体が同一でないことを認識し，その旨を優先順位付与部２１８に通知することができる。

優先順位付与部２１８は，画像評価部２１０により各撮像画像に付与された評価値に応じて，複数の撮像画像の各々に優先順位を付与する。詳細には，優先順位付与部２１８は，画像評価部２１０により顔画像の顔の角度に基づいて付与された評価値に応じて，人物の正面顔の画像が含まれる撮像画像に，人物の正面顔以外の角度の顔が含まれる撮像画像よりも高い優先順位を付与する。また，優先順位付与部２１８は，画像評価部２１０により顔画像のサイズに基づいて付与された評価値に応じて，顔画像のサイズが所定値以上である撮像画像に，顔画像のサイズが所定値未満である撮像画像よりも高い優先順位を付与する。また，優先順位付与部２１８は，画像評価部２１０により撮像画像における顔画像の位置に基づいて付与された評価値に応じて，撮像画像の中心から顔画像が所定の距離よりも近い撮像画像に，撮像画像の中心から顔画像が所定の距離よりも遠い撮像画像よりも高い優先順位を付与する。また，優先順位付与部２１０は，画像評価部２１０により検出された顔画像の数が多い順に高い優先順位を付与してもよい。

本実施形態において，優先順位付与部２１０は，検出された顔画像の数，顔の角度，顔画像のサイズ，顔画像の位置の全てを考慮して各撮像画像に優先順位を付与する。詳細は，図１０を参照して後述する。また，優先順位付与部２１８は，撮像画像中の特定の人物に着目して，各撮像画像に優先順位を付与することもできる。詳細は図１３を参照して後述する。優先順位付与部２１８は，各撮像画像に優先順位を付与した後，撮像画像と順位とを対応付けて表示制御部２２０に提供する。

表示制御部２２０は，優先順位付与部２１８から取得した撮像画像を，各撮像画像に対応付けられている優先順位に従って，優先順位の高い撮像画像を優先的に表示装置１０６に表示させる。詳細には，表示制御部２２０は，優先順位の高い撮像画像から優先順位順で順番に表示装置１０６に表示させる。または，表示制御部２２０は，各撮像画像を，優先順位の高い撮像画像から優先順位順に画像のサイズを変化させて表示させることもできる。以上，情報処理装置１０２の機能構成について説明した。

＜情報処理の流れ＞
次に，図８〜図１３に基づいて，情報処理装置１０２による情報処理の流れを説明する。まず，図８〜図１１を参照して，複数の撮像画像から，より多くの顔画像が検出され，かつ，検出された顔画像の顔が正面を向いている割合が高く，かつ，検出された顔画像のサイズが大きいサイズである割合が高く，かつ，検出された顔画像が撮像画像の中心に近い位置である割合が高い画像に，より高い優先順位を付与する場合の情報処理の流れについて説明する。その次に，図１２〜図１３を参照して，撮像画像から顔画像が検出されて顔認識処理により特定された人物について，その人物の顔の向きがより正面に近く，かつ，その人物の顔画像がより大きく，かつ，その位置が撮像画像の中心に近い撮像画像に，より高い優先順位を付与する場合の情報処理の流れについて説明する。

まず，図８に示したように，情報処理装置１０２は，複数のカメラ１０４から，共通のタイミングで各カメラ１０４により撮像された撮像画像を取得する（Ｓ１００）。撮像画像を取得すると，情報処理装置１０２は，撮像画像を対象に顔画像の検出を行う（Ｓ１０２）。そして，情報処理装置１０２は，検出された顔画像の状態に基づいて評価値を決定する（Ｓ１０４）。全ての撮像画像について，顔画像の検出と評価値の決定を行うと（Ｓ１０６），情報処理装置１０２は各撮像画像の評価値に基づいて優先順位を決定する（Ｓ１０８）。そして，情報処理装置１０２は，Ｓ１０８で決定した各撮像画像の優先順位に基づいて，優先順位順に撮像画像を表示装置１０６に表示する（Ｓ１１０）。

上記処理により，情報処理装置１０２は，共通のタイミングで撮像された複数の撮像画像を優先順位順に表示することができる。情報処理装置１０２によって撮像画像に付与される評価値と，評価値に基づく優先順位付与の例を図１０に示した。

情報処理装置１０２は，図１０（ａ）に示したように，各撮像画像について，検出顔数３１０，顔角度３１２，顔サイズ３１４，顔位置３１６の各項目に値を入れることにより各撮像画像の評価を行う。検出顔数３１０は，各撮像画像から検出された顔画像の数である。図示の例では，撮像画像Ａ３０２からは５つ，撮像画像Ｂ３０４からは７つ，撮像画像Ｃ３０６からは２つの顔画像が検出された。

顔角度３１２は，検出された顔画像のうち，正面の顔である顔画像の数と横の顔である顔画像の数を示す。正面の顔と横の顔は，例えば，図７に示した各識別器の番号（Ｌ４，Ｌ５等）を，それぞれ正面顔または横顔と予め対応付けておき，出力される識別器の番号に応じて顔画像が正面顔か横顔のいずれであるかを決定するようにしてもよい。つまり，例えば検出した顔画像の顔の向きが，Ｌ４，Ｌ７，Ｌ８の識別器に対応する向きであった場合には，正面顔としてカウントされるようにする。一方，検出した顔画像の顔の向きが，Ｌ４，Ｌ５，Ｌ６以外の識別器に対応する向きであった場合には，横顔としてカウントされるようにする。図示の例では，撮像画像Ａ３０２から検出された５つの顔画像のうち，３つが正面顔であり，２つが横顔である。また，撮像画像Ｂ３０４から検出された７つの顔画像のうち，４つが正面顔であり，３つが横顔である。また，撮像画像Ｃ３０６から検出された２つの顔画像は，２つとも横顔である。

顔サイズ３１４は，検出された顔画像のサイズを大，中，小の３種類に分類した場合の，撮像画像から検出された顔画像の各サイズの数を示す。顔画像のサイズは，第１所定値以上を大，第１所定値未満で第２所定値以上を中，第２所定値未満を小とする。図示の例では，撮像画像Ａ３０２から検出された５つの顔画像のうち，２つの顔画像のサイズが大に属し，２つの顔画像のサイズが中に属し，１つの顔画像のサイズが小に属している。また，撮像画像Ｂ３０４から検出された７つの顔画像のうち，５つの顔画像のサイズが大に属し，２つの顔画像のサイズが中に属している。また，撮像画像Ｃ３０６から検出された２つの顔画像のサイズは，ともに中に属している。

顔位置３１６は，検出された顔画像の，撮像画像全体における位置を示す。顔画像の位置が，撮像画像の中心から所定距離以内である場合を中央とし，それ以外を各々上，下，左，右とする。図示の例では，撮像画像Ａ３０２から検出された５つの顔画像のうち，２つが撮像画像の中央に位置し，１つが上，２つが下に位置している。また，撮像画像Ｂ３０４から検出された７つの顔画像のうち，４つが撮像画像の中央に位置し，２つが左，１つが右に位置している。また，撮像画像Ｃ３０６から検出された２つの顔画像はともに左に位置している。

ポイント３０８は，順位付与部２１８が各撮像画像の順位付けを行うために撮像画像に付与するポイントを示す。順位付与部２１８は，検出顔数，顔角度，顔サイズ，顔位置ごとに，ポイント３０８欄に格納されているポイントを各撮像画像に付与して加算していき，加算結果のポイントが高い撮像画像から順に高い順位を付与する。具体的に図示の例では，順位付与部２１８は，検出された顔画像の数に各１ポイント付与し，顔の角度が正面の顔画像に５ポイント，顔の角度が横の顔画像に３ポイント付与する。また，順位付与部２１８は，顔のサイズが大の顔画像に５ポイント，中の顔画像に３ポイント，小の顔画像に１ポイント付与し，顔画像の位置が撮像画像の中央である顔画像に５ポイント，中央以外の位置の顔画像に２ポイント付与する。

図１０（ａ）に示した撮像画像Ａ３０２，撮像画像Ｂ３０４，撮像画像Ｃ３０６について，順位付与部２１８がポイントを計算した例を図１０（ｂ）に示した。符号３１８は，順位付与部２１８が撮像画像Ａ３０２についてポイントを計算した例である。検出顔数に関しては，撮像画像Ａ３０２から検出された検出顔数は５であるので，顔の数に各１ポイント付与し，５ポイントとなる。顔の角度に関しては，撮像画像Ａ３０２から検出された顔画像の顔の角度は，正面が３で横が２であるで，正面顔に各５ポイント，横顔に各３ポイントを付与し，（３×５）＋（２×３）＝２１となる。顔のサイズに関しては，撮像画像Ａ３０２から検出された顔画像のサイズは，大が２，中が２，小が１であるで，サイズ大に各５ポイント，サイズ中に各３ポイント，サイズ小に各１ポイントを付与し，（２×５）＋（２×３）＋（１×１）＝１７となる。顔の位置に関しては，撮像画像Ａ３０２から検出された顔画像の撮像画像における位置は，中央が２で中央以外が３であるで，中央に各５ポイント，中央以外に各２ポイントを付与し，（２×５）＋（３×２）＝１６となる。そして，ポイントの合計は，図示のように５９ポイントとなる。

順位付与部２１８は，上記と同様に撮像画像Ｂ３０４と撮像画像Ｃ３０６のポイントも計算し，計算結果は図示のように撮像画像Ｂ３０４が１２９ポイント，撮像画像Ｃ３０６が１８ポイントとなった。順位付与部２１８は，全ての撮像画像についてのポイント計算を完了すると，ポイントが高い順に順位を付与する。図示の例では，順位付与部２１８は，撮像画像Ｂ３０４に１位，撮像画像Ａ３０２に２位，撮像画像Ｃ３０６に３位を付与する。各撮像画像に優先順位が付与された後に，各撮像画像は優先順位順に表示装置１０６に表示される。表示の例を図１１に示した。

図１１Ａは，各撮像画像を，各撮像画像の優先順位順で順番に表示装置１０６に表示させる例である。図１１Ａに示すように，図１０（ｂ）のポイント計算の結果１位が付与された撮像画像Ｂ３０４が最初に表示装置１０６に表示される。その次に，２位の撮像画像Ａ３０２が表示装置１０６に表示され，最後に３位の撮像画像Ｃ３０６が表示装置１０６に表示される。各撮像画像が表示装置１０６に表示されている期間は，同じであってもよいし，優先順位が高い撮像画像ほど長い期間表示されるようにしてもよい。

図１１Ｂは，各撮像画像を，各撮像画像の優先順位順に画像のサイズを変化させて表示装置１０６に表示させる例である。図１１Ｂに示すように，図１０（ｂ）のポイント計算の結果１位が付与された撮像画像Ｂ３０４が，他の撮像画像よりも大きいサイズで表示装置１０６に表示される。撮像画像Ｂ３０４の次に大きいサイズで２位の撮像画像Ａ３０２が表示装置１０６に表示され，３位の撮像画像Ｃ３０６は一番小さいサイズで表示装置１０６に表示される。

情報処理装置１０２は，上述のように，共通のタイミングで撮像された複数の撮像画像を優先順位順に表示装置１０６に表示させる。また，情報処理装置１０２は，共通のタイミングで撮像された複数の撮像画像の被写体が同一であるかを判断する処理を行うこともできる。図９に，情報処理装置１０２による，被写体同一性の判断処理の流れを示した。

図９に示すように，情報処理装置１０２は，まず，共通のタイミングで撮像された複数の撮像画像を取得する（Ｓ２００）。そして，情報処理装置１０２は，各撮像画像を撮像した各カメラから，撮像時のカメラの位置情報，撮像方位情報，および撮像角度情報を取得する（Ｓ２０２）。そして，各カメラの被写体が同一であるか否かを判断し（Ｓ２０４），被写体が同一であると判断した場合には，顔画像の検出に進む（Ｓ２０６）。一方，Ｓ２０４において，被写体が他の撮像画像とは同一でないと判断した撮像画像は，顔画像の検出対象から外す（Ｓ２０８）。

以上，複数の撮像画像から，より多くの顔画像が検出され，かつ，検出された顔画像の顔が正面を向いている割合が高く，かつ，検出された顔画像のサイズが大きいサイズである割合が高く，かつ，検出された顔画像が撮像画像の中心に近い位置である割合が高い画像に，より高い優先順位を付与する場合の情報処理の流れについて説明した。次に，図１２〜図１３を参照して，撮像画像から顔画像が検出されて顔認識により特定された人物について，その人物の顔の向きがより正面に近く，かつ，その人物の顔画像がより大きく，かつ，その位置が撮像画像の中心に近い撮像画像に，より高い優先順位を付与する場合の情報処理の流れについて説明する。

情報処理装置１０２は，まず，共通のタイミングで撮像された複数の撮像画像を取得する（Ｓ３００）。そして，情報処理装置１０２は，取得した撮像画像から顔画像を検出する（Ｓ３０２）。続いて，情報処理装置１０２は，検出された顔画像に対して顔認識の処理を行う（Ｓ３０４）。そして，情報処理装置１０２は，顔認識の処理により特定された人物の顔画像の検出結果に基づいて評価値を決定する（Ｓ３０６）。そして，取得した全ての撮像画像について，顔検出，顔認識，特定した人物の顔画像の検出結果に基づく評価値の決定の処理を行い（Ｓ３０８），その後，情報処理装置１０２は，特定の人物に関する各撮像画像の評価値に基づいて，優先順位を決定する（Ｓ３１０）。そして，情報処理装置１０２は，優先順位順に各撮像画像を表示装置１０６に表示させる（Ｓ３１２）。

上記処理により，情報処理装置１０２は，共通のタイミングで撮像された複数の撮像画像を，特定人物に対する優先順位順に表示することができる。情報処理装置１０２によって撮像画像に付与される評価値と，評価値に基づく優先順位付与の例を図１３に示した。

図１３（ａ）は，共通のタイミングで撮像された２つの撮像画像の例として，撮像画像Ａ４０２と撮像画像Ｂ４０６を挙げており，各撮像画像中から顔認識された登録ユーザＸと登録ユーザＹについて，顔画像の状態に基づいて各々決定された評価値を示す。

顔角度４０８は，顔画像の顔の角度を示し，本例では，図７の識別器の番号をそのまま顔の角度として用いている。顔サイズ４１０は，顔画像のサイズであり，図１０の顔サイズ３１４と同様に大，中，小に分類される。顔位置４１２は，撮像画像全体における顔画像の位置であり，図１０の顔位置３１６と同様に，中央，左，右，上，下に分類される。

図示の例では，撮像画像Ａ４０２と撮像画像Ｂ４０６の双方から，登録ユーザＸと登録ユーザＹの顔画像が検出された。登録ユーザＸの顔画像は，撮像画像Ａ４０２では顔角度が姿勢Ｌ４であり，サイズは中，位置は撮像画像の中央であることが分かる。一方，撮像画像Ｂ４０６における登録ユーザＸの顔画像は，顔の角度が姿勢Ｌ１４であり，サイズは中，位置は撮像画像の右端である。また，登録ユーザＹの顔画像は，撮像画像Ａ４０２では顔角度が姿勢Ｌ１１であり，サイズは大，位置は撮像画像の左端であることが分かる。一方，撮像画像Ｂ４０６における登録ユーザＹの顔画像は，顔の角度が姿勢Ｌ１５であり，サイズは大，位置は撮像画像の中央である。

順位付与部２１８が順位付与のために用いるポイントを，図１３（ｂ），（ｃ），（ｄ）に示した。図１３（ｂ）は，顔角度４０８に関するポイントであり，姿勢４１４とポイント４１６が関連付けられている。図１３（ｃ）は，顔サイズ４１０に関するポイントであり，顔サイズ４１８とポイント４１６が関連付けられている。図１３（ｄ）は，顔位置４１２に関するポイントであり，顔位置４２０とポイント４１６が関連付けられている。順位付与部２１８は，画像評価部２１０により決定された評価値に，所定のポイントを付与して合計し，合計ポイントが高い順に高い優先順位を付与する。

順位付与部２１８が，図１３（ａ）に基づいて，登録ユーザＸ，登録ユーザＹごとの各撮像画像のポイントを計算した例を図１３（ｅ）に示した。登録ユーザＸに関する撮像画像Ａのポイントの計算例を符号４２１で示す。撮像画像Ａ４０２における登録ユーザＸの顔角度はＬ４であるため，図１３（ｂ）を参照して７ポイントを付与する。また，撮像画像Ａ４０２における登録ユーザＸの顔サイズは中であるため，図１３（ｃ）を参照して３ポイントを付与する。また，撮像画像Ａ４０２における登録ユーザＸの顔位置は中央であるため，図１３（ｄ）を参照して５ポイントを付与する。その結果，登録ユーザＸに関する撮像画像Ａ４０２の合計ポイントは１５ポイントとなる。同様に，登録ユーザＸに関する撮像画像Ｂ４０６の合計ポイントを求めると，７ポイントとなった。従って，順位付与部２１８は，登録ユーザＸに関しては，撮像画像Ａ４０２に１位を付与し，撮像画像Ｂ４０６に２位を付与する。

また，順位付与部２１８は，登録ユーザＹについても同様に撮像画像Ａ４０２と撮像画像Ｂ４０６のポイントを求め，ポイントに基づいて優先順位を付与する。その結果，登録ユーザＹについては，撮像画像Ａ４０２は８ポイント，撮像画像Ｂ４０６は１１ポイントとなり，撮像画像Ｂ４０６に１位が付与され，撮像画像Ａ４０２に２位が付与される。

上述のように，順位付与部２１８により，各人物について各撮像画像に優先順位が付与された後，各人物について優先順位順に撮像画像が表示装置１０６に表示される。

以上，本発明の第１実施形態として，本発明にかかるカメラシステムを，複数のカメラで共通のタイミングで同一の被写体を撮像し，各カメラで撮像された複数の撮像画像を，被写体の写り具合に応じて表示装置に表示するカメラシステム１００に適用して説明した。本実施形態にかかるカメラシステム１００によれば，共通のタイミングで撮像された複数の撮像画像に，検出された顔画像の数，顔画像の顔の角度，顔画像のサイズ，および撮像画像における顔画像の位置などの基準に基づいて優先順位が付与される。そして，付与された優先順位順に表示装置に各撮像画像が表示される。そのため，カメラシステム１００は，同一被写体を複数のカメラにより共通のタイミングで撮像した複数の撮像画像から，自動的に被写体の写り具合の良い撮像画像を選択してユーザに提示することができる。また，カメラシステム１００は，各カメラの撮像時の位置情報，撮像方位情報，およびチルト角情報を用いることにより，撮像対象の同一性を判断することができる。

（第２実施形態）
次に，本発明の第２実施形態として，本発明にかかるカメラシステムを，複数のカメラで共通のタイミングで同一の被写体を撮像し，各カメラで撮像された複数の撮像画像を，撮像されたカメラの位置に応じて表示装置に表示するカメラシステムに適用して説明する。

第２実施形態にかかるカメラシステムの全体構成，情報処理装置のハードウェア構成は第１実施形態と同様であるため説明を省略する。情報処理装置の機能構成は，第１実施形態にかかる情報処理装置１０２の機能構成中の，同期撮像画像取得部２０２，位置情報取得部２０４，表示制御部２２０を備えていれば足りる。つまり，同期撮像画像取得部２０２によって各カメラから取得した撮像画像を，位置情報取得部２０４によって取得した各カメラの位置情報に基づいて，表示制御部２２０が，各カメラ間の位置関係と対応する位置関係で各撮像画像を表示装置１０６に表示させる。

本実施形態にかかる情報処理装置が実行する情報処理の流れを図１４に示した。図１４に示すように，情報処理装置は，まず，共通のタイミングで撮像された複数の撮像画像と，各カメラの位置情報を取得する（Ｓ４００）。そして，情報処理装置は，各カメラの位置関係と対応する位置関係で各撮像画像を表示装置に表示させる（Ｓ４０２）。

図１５および図１６に，本実施形態にかかるカメラシステムにより撮像された撮像画像が表示装置に表示される例を示した。図１５に示したように，被写体１３０が複数のカメラ１０４ａ，１０４ｂ，１０４ｃによって共通のタイミングで撮像される。各カメラによって撮像された撮像画像は，図１６に示したように表示装置１０６に表示される。図１６において，撮像画像５０４ｃは，カメラ１０４ｃによって撮像された撮像画像であり，撮像画像５０４ｂは，カメラ１０４ｂによって撮像された撮像画像であり，撮像画像５０４ａは，カメラ１０４ａによって撮像された撮像画像である。図１５に示すように，カメラ１０４ｂを挟んでカメラ１０４ａとカメラ１０４ｃとが配置されている。このようなカメラ間の位置関係と対応するように，表示装置１０６には，カメラ１０４ｂによって撮像された撮像画像５０４ｂが中央に配置され，その撮像画像５０４ｂを挟むように撮像画像５０４ｃと撮像画像５０４ａが両脇に配置されて表示される。

上記のように，本実施形態にかかるカメラシステムでは，各カメラの位置関係に対応した位置関係で撮像画像を表示することができる。各カメラの位置関係に対応した位置関係で撮像画像が表示されることにより，ユーザは，複数の撮像画像の撮像時におけるカメラの位置関係を一目で把握することができる。

（第３実施形態）
次に，本発明の第３実施形態として，本発明にかかるカメラシステムを，複数のカメラで共通のタイミングで同一の被写体を撮像し，各カメラで撮像された複数の撮像画像のうち少なくとも１つから検出された顔画像により特定された人物を，共通のタイミングで撮像された全ての撮像画像と関連付けるカメラシステムに適用して説明する。

第３実施形態にかかるカメラシステムの全体構成，情報処理装置のハードウェア構成は第１実施形態と同様であるため説明を省略する。情報処理装置の機能構成は，第１実施形態にかかる情報処理装置１０２の機能構成中の，同期撮像画像取得部２０２，画像評価部２１０，顔認識部２１４，登場人物記憶部２１２，位置情報取得部２０４，撮像方位取得部２０６，撮像角度取得部２０８，表示制御部２２０を備えていれば足りる。

つまり，同期撮像画像取得部２０２によって各カメラから取得した撮像画像から，画像評価部２１０により顔画像を検出し，検出された顔画像について顔認識部２１４で認識を行って人物を特定する。そして，特定された人物の識別子（名前など）と，同期撮像画像取得部２０２が取得した複数の撮像画像を関連付けて登場人物記憶部２１２に格納する。また，位置情報取得部２０４，撮像方位取得部２０６，撮像角度取得部２０８により取得された各情報に基づいて，被写体同一性判断部２１６が被写体の同一性を判断し，被写体が他の撮像画像と同一でないと判断した撮像画像を，登場人物記憶部２１２から削除してもよい。そして，表示制御部２２０は，登場人物記憶部２１２に記憶されている撮像画像を表示装置１０６に表示させる。

図１７に，本実施形態にかかる情報処理装置が実行する情報処理の流れを示した。図１７に示すように，情報処理装置は，まず，共通のタイミングで撮像された複数の撮像画像を取得する（Ｓ５００）。次に，情報処理装置は，取得した撮像画像を対象に顔画像を検出し（Ｓ５０２），検出された顔画像を対象に顔認識を行う（Ｓ５０４）。そして，情報処理装置は，Ｓ５０４の顔認識により特定された人物の識別子と，Ｓ５００で取得した全ての撮像画像を関連付ける（Ｓ５０６）。その後，情報処理装置は，Ｓ５０６において特定の人物と関連付けられた全ての撮像画像を表示装置１０６に表示させる。または，情報処理装置は，Ｓ５０６において特定の人物と関連付けられた全ての撮像画像を，ユーザからの要求に応じてダウンロードさせるようにしてもよい。

上記のように，本実施形態にかかるカメラシステムでは，特定の人物に関連付けられた複数の撮像画像を表示することができる。そのため，ユーザは，自己が写っている全ての画像を表示させることや，ダウンロードすることができる。

以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明は係る例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば，上記実施形態では，複数のカメラが無線通信を行うことにより共通のタイミングで撮像を行ったが，本発明はかかる例には限定されない。例えば，各カメラのボタンを押す人がタイミングを同期させてボタンを押すことにより，各カメラが共通のタイミングで撮像してもよい。

また，上記実施形態では，画像評価部２１０は撮像画像に含まれる顔画像の状態に基づいて評価値を決定したが，本発明はかかる例には限定されない。例えば，撮像時のカメラのぶれを原因とする撮像画像の状態や，撮像画像の明るさなどに基づいて評価値を決定してもよい。

また，上記実施形態では，画像評価部２１０が情報処理装置１０２に設けられていたが，本発明はかかる例には限定されない。例えば，画像評価部２１０がカメラ側に設けられていてもよい。

本発明の第１の実施形態を示す説明図である。 同実施の形態におけるカメラシステムの全体構成を示す説明図である。 同実施の形態における情報処理装置のハードウェア構成を示すブロック図である。 同実施の形態における情報処理装置の機能構成を示すブロック図である。 同実施の形態における情報処理装置が行う顔検出処理を説明するグラフである。 同実施の形態における情報処理装置が行う顔検出処理を説明する説明図である。 同実施の形態における情報処理装置が行う顔検出処理を説明する説明図である。 同実施の形態における情報処理の流れを示すフローチャートである。 同実施の形態における情報処理の流れを示すフローチャートである。 同実施の形態における評価値を示す説明図である。 同実施の形態における撮像画像の表示例を示す説明図である。 同実施の形態における撮像画像の表示例を示す説明図である。 同実施の形態における情報処理の流れを示すフローチャートである。 同実施の形態における評価値を示す説明図である。 本発明の第２の実施形態にかかる情報処理の流れを示すフローチャートである。 同実施の形態における撮像時のカメラの配置を示す説明図である。 同実施の形態における撮像画像の表示例を示す説明図である。 本発明の第３の実施形態にかかる情報処理の流れを示すフローチャートである。

符号の説明

１００ カメラシステム
１０２ 情報処理装置
１０４ａ，１０４ｂ，１０４ｃ カメラ
１０６ 表示装置
１０８ 通信網
２０２ 同期撮像画像取得部
２０４ 位置情報取得部
２０６ 撮像方位取得部
２０８ 撮像角度取得部
２１０ 画像評価部
２１２ 登場人物記憶部
２１４ 顔認識部
２１６ 被写体同一性判断部
２１８ 優先順位付与部
２２０ 表示制御部

Claims (21)

1. 複数のカメラと，前記複数のカメラから撮像画像を取得する情報処理装置とが通信網を介して接続されたカメラシステムにおいて：
   前記複数のカメラは，
   被写体を撮像する撮像部と；
   撮像のタイミングを互いに同期させる撮像同期部と；を備え，
   前記情報処理装置は，
   前記複数のカメラから，共通のタイミングで前記各カメラにより撮像された撮像画像を取得する同期撮像画像取得部と；
   前記同期撮像画像取得部が取得した，前記共通のタイミングで撮像された複数の撮像画像の各々について，前記撮像画像中の被写体の状態を所定の評価基準により評価し，前記各撮像画像に評価値を付与する画像評価部と；
   前記画像評価部により各撮像画像に付与された前記評価値に応じて，前記複数の撮像画像の各々に優先順位を付与する優先順位付与部と；
   前記優先順位付与部により各撮像画像に付与された優先順位に従って，前記各撮像画像を表示装置に表示させる表示制御部と；
   を備えることを特徴とするカメラシステム。
2. 撮像のタイミングを同期させて被写体を撮像する複数のカメラと通信網を介して接続され，前記カメラから撮像画像を取得する情報処理装置において：
   前記複数のカメラから，共通のタイミングで各カメラにより撮像された撮像画像を取得する同期撮像画像取得部と；
   前記同期撮像画像取得部が取得した，前記共通のタイミングで撮像された複数の前記撮像画像の各々について，前記撮像画像中の被写体の状態を所定の評価基準により評価し，前記各撮像画像に評価値を付与する画像評価部と；
   前記画像評価部により前記各撮像画像に付与された前記評価値に応じて，複数の前記撮像画像の各々に優先順位を付与する優先順位付与部と；
   前記優先順位付与部により前記各撮像画像に付与された前記優先順位に従って，前記各撮像画像を表示装置に表示させる表示制御部と；
   を備えることを特徴とする情報処理装置。
3. 前記画像評価部は，前記各撮像画像から人物の顔画像を検出し，検出された前記顔画像の状態に基づいて前記各撮像画像の前記評価値を決定することを特徴とする，請求項２に記載の情報処理装置。
4. 前記画像評価部は，前記検出された顔画像の顔の角度に基づいて前記評価値を決定し，
   前記優先順位付与部は，前記評価値に基づき，前記人物の正面顔の画像が含まれる前記撮像画像に，前記人物の正面顔以外の角度の顔が含まれる前記撮像画像よりも高い優先順位を付与することを特徴とする，請求項３に記載の情報処理装置。
5. 前記画像評価部は，前記検出された顔画像のサイズに基づいて前記評価値を決定し，
   前記優先順位付与部は，前記評価値に基づき，前記顔画像のサイズが所定値以上である前記撮像画像に，前記顔画像のサイズが前記所定値未満である前記撮像画像よりも高い優先順位を付与することを特徴とする，請求項３に記載の情報処理装置。
6. 前記画像評価部は，前記撮像画像における，前記検出された顔画像の位置情報に基づいて前記評価値を決定し，
   前記優先順位付与部は，前記評価値に基づき，前記撮像画像の中心から前記顔画像が所定の距離よりも近い前記撮像画像に，前記撮像画像の中心から前記顔画像が所定の距離よりも遠い前記撮像画像よりも高い優先順位を付与することを特徴とする，請求項３に記載の情報処理装置。
7. 前記画像評価部は，前記各撮像画像から検出された顔画像の数に基づいて前記評価値を決定し，
   前記優先順位付与部は，前記評価値に基づき，前記検出された顔画像の数が多い順に高い優先順位を付与することを特徴とする，請求項３に記載の情報処理装置。
8. 前記画像評価部は，前記各撮像画像から検出された顔画像の数と，前記検出された顔画像の顔の角度と，に基づいて前記評価値を決定し，
   前記優先順位付与部は，前記評価値に基づき，前記検出された正面顔の画像の数が多い順に高い優先順位を付与することを特徴とする，請求項３に記載の情報処理装置。
9. 前記検出された顔画像に基づいて，該顔画像に該当する人物を特定する顔認識部をさらに備え，
   前記画像評価部は，前記顔認識部により特定された前記人物の顔画像の状態に基づいて前記各撮像画像の前記評価値を決定することを特徴とする，請求項３に記載の情報処理装置。
10. 前記検出された顔画像に基づいて，該顔画像に該当する人物を特定する顔認識部と；
    前記同期撮像画像取得部が取得した複数の撮像画像の少なくとも１つから前記顔認識部により特定された人物の情報を，前記複数の撮像画像の全てと関連付けて記憶する登場人物記憶部と；
    をさらに備えることを特徴とする，請求項３に記載の情報処理装置。
11. 前記各カメラから，被写体の撮像時における前記各カメラの位置を示す撮像位置情報を取得する位置情報取得部を備えることを特徴とする，請求項２に記載の情報処理装置。
12. 前記各カメラから，被写体の撮像時における前記各カメラの撮像方位を示す撮像方位情報を取得する撮像方位取得部を備えることを特徴とする，請求項１１に記載の情報処理装置。
13. 前記カメラから，被写体の撮像時における前記カメラのチルト角を示す撮像角度情報を取得する撮像角度取得部を備えることを特徴とする，請求項１１に記載の情報処理装置。
14. 前記表示制御部は，前記各撮像画像を，前記各撮像画像の優先順位順で順番に前記表示装置に表示させることを特徴とする，請求項２に記載の情報処理装置。
15. 前記表示制御部は，前記各撮像画像を，前記各撮像画像の優先順位順に画像のサイズを変化させて表示させることを特徴とする，請求項２に記載の情報処理装置。
16. 撮像のタイミングを同期させて被写体を撮像する複数のカメラと通信網を介して接続され，前記カメラから撮像画像を取得する情報処理装置をして：
    前記複数のカメラから，共通のタイミングで各カメラにより撮像された撮像画像を取得する同期撮像画像取得処理と；
    前記同期撮像画像取得処理で取得した，前記共通のタイミングで撮像された複数の前記撮像画像の各々について，前記撮像画像中の被写体の状態を所定の評価基準により評価し，前記各撮像画像に評価値を付与する画像評価処理と；
    前記画像評価処理により前記各撮像画像に付与された前記評価値に応じて，複数の前記撮像画像の各々に優先順位を付与する優先順位付与処理と；
    前記優先順位付与処理により前記各撮像画像に付与された前記優先順位に従って，前記各撮像画像を表示装置に表示させる表示制御処理と；
    を実行せしめることを特徴とするコンピュータプログラム。
17. 撮像のタイミングを同期させて被写体を撮像する複数のカメラと通信網を介して接続され，前記カメラから撮像画像を取得する情報処理装置で実行される情報処理方法において：
    前記複数のカメラから，共通のタイミングで各カメラにより撮像された撮像画像を取得する同期撮像画像取得ステップと；
    前記同期撮像画像取得ステップで取得した，前記共通のタイミングで撮像された複数の前記撮像画像の各々について，前記撮像画像中の被写体の状態を所定の評価基準により評価し，前記各撮像画像に評価値を付与する画像評価ステップと；
    前記画像評価ステップにより前記各撮像画像に付与された前記評価値に応じて，複数の前記撮像画像の各々に優先順位を付与する優先順位付与ステップと；
    前記優先順位付与ステップにより前記各撮像画像に付与された前記優先順位に従って，前記各撮像画像を表示装置に表示させる表示制御ステップと；
    を含むことを特徴とする情報処理方法。
18. 画像を表示装置に表示させる情報処理装置と通信網を介して接続され，前記情報処理装置に撮像画像を送信するカメラにおいて：
    被写体を撮像する撮像部と；
    他のカメラと撮像のタイミングを同期させる撮像同期部と；
    前記撮像部により撮像された撮像画像について，前記撮像画像中の被写体の状態を所定の評価基準により評価し，各撮像画像に評価値を付与する画像評価部と；
    前記撮像画像と前記評価値を関連付けて前記情報処理装置に送信する撮像画像送信部と；
    を備えることを特徴とするカメラ。
19. 前記画像評価部は，前記撮像画像から人物の顔画像を検出し，検出された前記顔画像の状態に基づいて前記撮像画像の前記評価値を決定することを特徴とする，請求項１８に記載のカメラ。
20. 撮像のタイミングを同期させて被写体を撮像する複数のカメラと通信網を介して接続され，前記複数のカメラから撮像画像を取得する情報処理装置において：
    前記複数のカメラから，共通のタイミングで各カメラにより撮像された撮像画像を取得する同期撮像画像取得部と；
    前記複数のカメラから，被写体の撮像時における前記各カメラの位置を示す撮像位置情報を取得する撮像位置情報取得部と；
    前記撮像位置情報に基づいて，前記各カメラ間の位置関係と対応する位置関係で前記各撮像画像を表示装置に表示させる表示制御部と；
    を備えることを特徴とする情報処理装置。
21. 撮像のタイミングを同期させて被写体を撮像する複数のカメラと通信網を介して接続され，前記複数のカメラから撮像画像を取得する情報処理装置において：
    前記複数のカメラから，共通のタイミングで各カメラにより撮像された撮像画像を取得する同期撮像画像取得部と；
    前記各撮像画像から人物の顔画像を検出する顔検出部と；
    前記検出された顔画像に基づいて，該顔画像に該当する人物を特定する顔認識部と；
    前記同期撮像画像取得部が取得した複数の前記撮像画像の少なくとも１つから前記顔認識部により特定された前記人物の情報を，前記複数の撮像画像の全てと関連付けて記憶する登場人物記憶部と；
    を備えることを特徴とする情報処理装置。
    

Images