JP2011082913A - 撮像装置、撮像方法及び撮像プログラム - Google Patents

Abstract

【課題】被写体となる人物にとって有用な画像を自動的に撮影できるようにする。
【解決手段】人物同士の関係を表す人間関係グラフＨｇを用いて、撮像画像に含まれている人物の中から画像として記録すべき人物を選定し、この人物の撮影に適した構図及びカメラ設定で自動的に撮影を行うようにする。これにより、関係性が高い人物同士を自動的に撮影することなどができ、かくして被写体となる人物にとって有用な画像（例えば仲の良い人が一緒に写っている画像）自動的に撮影することができる。
【選択図】図１１

Description

本発明は、撮像装置、撮像方法及び撮像プログラムに関し、例えば、自動撮影モードを有する撮像装置に適用して好適なものである。

従来、撮影者の負担を軽減する為の機能として、被写体を追跡しながら撮影を行う追跡撮影機能を有する撮像装置が提案されている。例えば、特許文献１参照。

具体的にこの撮像装置は、撮像部を介して得られる画像を表示部に表示すると共に、この画像から人物を検出して、この人物を撮影対象とする。ここで、複数の人物が検出された場合、ユーザにより選択された人物、又は撮像装置に顔画像データが登録されている人物が撮影対象となる。

そして撮像装置は、表示部に表示した画像上に撮影対象を囲う枠を表示し、さらに画像解析などにより撮影対象を追跡しながら枠を撮影対象に追従させ、録画ボタンの操作に応じて画像を記録（つまり撮影対象の人物を撮影）する。

このように、この撮像装置は、画像から人物を検出して、この人物を撮影対象として追跡して撮影することで、撮影者の負担を軽減することができるようになっている。

特開２００８−１０９５５２公報

ところで、より撮影者の負担を軽減する為には、撮像装置が、撮影対象となる人物の検出から、この人物の撮影までを自動的に行うようにすることが望ましい。

しかしながら、上述した撮像装置では、撮影のタイミングはユーザ依存であり、撮影が自動的に行われるわけではない。また仮に、撮影対象となる人物を検出した後、この人物を自動的に撮影するようにした場合、撮影対象となる人物は、例えば、顔画像データが登録されている人物となる。

ここで、単に、登録されている人物を検出して撮影するのではなく、例えば、互いに関係性が高い人物を検出して撮影できれば、被写体となる人物にとって有用な画像（例えば仲の良い人と一緒に写っている画像）が得られるものと考えられる。

本発明は以上の点を考慮してなされたもので、被写体となる人物にとって有用な画像を自動的に撮影し得る撮像装置、撮像方法及び撮像プログラムを提案しようとするものである。

かかる課題を解決するため本発明においては、撮像装置に、撮像部と、人物同士の関係を表す人間関係情報を記憶部に記憶させる人間関係情報記憶制御部と、撮像部により得られた撮像画像から、被写体としての人物を検出する人物検出部と、人物検出部により撮像画像から人物が検出されると、記憶部に記憶されている人間関係情報を用いて、撮像画像から検出された人物の中から画像として記録すべき人物を選定する記録対象人物選定部と、記録対象人物選定部により選定された人物が主たる被写体となるように撮像部を制御し、当該撮像部により得られた撮像画像を所定の記録部に記録させる撮像画像記録制御部とを設けるようにした。

このように、本発明の撮像装置は、人物同士の関係を表す人間関係情報をもとに、撮像画像に含まれている人物の中から画像として記録すべき人物を選定し、当該人物を主たる被写体として自動的に撮影を行うようにした。これにより、関係性が高い人物同士を自動的に撮影することなどができる。

本発明によれば、人物同士の関係を表す人間関係情報をもとに、撮像画像に含まれている人物の中から画像として記録すべき人物を選定し、当該人物を主たる被写体として自動的に撮影を行うようにした。これにより、関係性が高い人物同士を自動的に撮影することなどができ、かくして被写体となる人物にとって有用な画像（例えば仲の良い人が一緒に写っている画像）を自動的に撮影し得る撮像装置、撮像方法及び撮像プログラムを実現できる。

実施の形態の概要となる撮像装置の構成を示す略線図である。 実施の形態の具体例となる自動撮影システムの構成を示す略線図である。 ＤＳＣ及びクレードルのハードウェア構成を示すブロック図である。 人間関係グラフのグラフ構造を示す略線図である。 人間関係グラフのデータ構造を示す略線図である。 顔辞書のデータ構造を示す略線図である。 顔画像登録処理手順を示すフローチャートである。 個人識別処理手順を示すフローチャートである。 人間関係グラフ更新処理手順を示すフローチャートである。 図９に示す人間関係グラフ更新処理手順のフローチャートに続くフローチャートである。 自動撮影処理手順を示すフローチャートである。 人物検出処理手順を示すフローチャートである。 検出人物テーブルの構成を示す略線図である。 記録対象人物選定処理手順を示すフローチャートである。 記録対象人物テーブルの構成を示す略線図である。 自動撮影時の構図の決定の説明に供する略線図である。 画像記録処理手順を示すフローチャートである。 記録履歴更新処理手順を示すフローチャートである。 自動撮影プログラムの実行に直接関与するハードウェアとデータを示す略線図である。 自動撮影に係る機能構成を示す略線図である。

以下、発明を実施するための最良の形態（以下実施の形態とする）について説明する。尚、説明は以下の順序で行う。
１．実施の形態
２．他の実施の形態

＜１．実施の形態＞
［１−１．実施の形態の概要］
まず、実施の形態の概要を説明する。因みに、この概要を説明した後、本実施の形態の具体例の説明に移る。

図１において１は、撮像装置を示す。この撮像装置１は、撮像部２を有している。またこの撮像装置１は、人物同士の関係を表す人間関係情報を所定の記憶部（図示せず）に記憶させる人間関係情報記憶制御部３を有している。さらにこの撮像装置１は、撮像部２により得られた撮像画像から、被写体としての人物を検出する人物検出部４を有している。さらにこの撮像装置１は、人物検出部４により撮像画像から人物が検出されると、記憶部に記憶されている人間関係情報を用いて、撮像画像から検出された人物の中から画像として記録すべき人物を選定する記録対象人物選定部５を有している。

さらにこの撮像装置１は、記録対象人物選定部５により選定された人物が主たる被写体となるように撮像部２を制御し、この撮像部２により得られた撮像画像を所定の記録部（図示せず）に記録させる撮像画像記録制御部６を有している。

すなわち、この撮像装置１は、人物同士の関係を表す人間関係情報をもとに、撮像画像に含まれている人物の中から画像として記録すべき人物を選定し、当該人物を主たる被写体として自動的に撮影を行うようになっている。こうすることで、撮像装置１は、関係性が高い人物同士を自動的に撮影することなどができ、被写体となる人物にとって有用な画像（例えば仲の良い人が一緒に写っている画像）を自動的に撮影することができる。

具体的に、人間関係情報には、人物同士の親密度などが記されるようになっている。そして記録対象人物選定部５は、この人間関係情報に記された人物同士の親密度を用いて、撮像画像から検出された人物ごとに記録優先度を算出し、この記録優先度をもとに記録すべき人物を選定するようになっている。

より具体的には、人間関係情報には、人物同士の過去の親密度と、各人物の所属グループが記されるようになっている。そして記録対象人物選定部５は、撮像画像をもとにこの撮像画像から検出された人物同士の現在の親密度を算出する。さらに記録対象人物選定部５は、この算出した現在の親密度と、人間関係情報に記されている、検出された人物同士の過去の親密度及び検出された各人物の所属グループの数と、検出された人物を画像として既に記録した枚数とを用いて、検出された人物ごとの記録優先度を算出するようになっている。

さらに撮像部２にズーム機能を搭載させ、この撮像部２の向きを任意の向きに変える為の機構を有する駆動装置（図示せず）と接続する接続部７を撮像装置１に設けるようにしてもよい。

このとき撮像画像記録制御部６は、記録対象人物選定部５により選定された人物に適した構図及びカメラ設定となるように、構図及びカメラ設定に係るパラメータを決定する。そして撮像画像記録制御部６は、このパラメータに基づき撮像部２を制御すると共に接続部７を介して駆動装置を制御し、この撮像部２により得られた撮像画像を所定の記録部に記録させるようにする。

さらにこの撮像装置１に、撮像画像から検出された人物同士の現在の親密度と過去の親密度とをもとに、この人物同士の新たな親密度を算出し、この算出した親密度で人間関係情報を更新する人間関係情報更新部８を設けるようにしてもよい。

このような構成でなる撮像装置１の具体例について、以下、詳しく説明する。

［１−２．実施の形態の具体例］
［１−２−１．自動撮影システムのシステム構成］
次に、第１の実施の形態の具体例を説明する。図２において１００は、自動撮影システムを示す。この自動撮影システム１００は、デジタルスチルカメラ（これをＤＳＣとも呼ぶ）１０１と曇台機能付きのクレードル１０２とで構成される。ここで、ＤＳＣ１０１が、上述した撮像装置１に対応するものであり、クレードル１０２が、上述した駆動装置に対応するものである。

この自動撮影システム１００では、ＤＳＣ１０１をクレードル１０２上部の雲台部１０２Ａに載置することで、ＤＳＣ１０１とクレードル１０２とが端子（図示せず）を介して接続される。自動撮影システム１００は、この状態で、ユーザにより自動撮影モードが選択されると、自動撮影モードで動作する。

このとき、ＤＳＣ１０１は、クレードル１０２と通信して雲台部１０２Ａのパン・チルト機構を制御することで、撮影方向を任意の方向に変えることができるようになっている。

そしてＤＳＣ１０１は、カメラの向きを任意の方向に変えながら、人物同士の関係を表す人間関係グラフ（詳しくは後述する）を利用して撮影すべき被写体を見付けると、自動的にこの被写体を撮影するようになっている。

尚、ＤＳＣ１０１は、クレードル１０２から取り外されれば、一般的なＤＳＣと同様、ユーザ操作に応じて撮影できるようになっている。

［１−２−２．ＤＳＣ及びクレードルのハードウェア構成］
次に、図３を用いて、ＤＳＣ１０１及びクレードル１０２のハードウェア構成について説明する。

ＤＳＣ１０１は、ＣＰＵ１１０が、ＲＯＭ１１１に書き込まれたプログラムをＲＡＭ１１２に展開して実行することで各種処理を行うと共に、操作部１１３からの入力信号に応じて各部を制御する。因みに、ＣＰＵは、Central Processing Unitの略、ＲＯＭは、Read Only Memoryの略、ＲＡＭは、Random Access Memoryの略である。

操作部１１３は、撮影ボタン、モード切替スイッチ、ズームボタン、電源ボタン、タッチパネルなどを含み、これらの操作に応じた入力信号をＣＰＵ１１０に送る。ＣＰＵ１１０は、操作部１１３から送られてくる入力信号をもとに、どのボタンが操作されたのかを認識する。尚、タッチパネルは、ディスプレイ１１４とともにタッチスクリーンを構成するようになっている。

ＣＰＵ１１０は、クレードル１０２から外された状態で、例えば操作部１１３の電源ボタンが押下されて電源オンすると、又はモード切替スイッチの操作により動作モードを通常撮影モードに切り替えるよう指示されると、通常撮影モードで動作する。

すると撮像部１１５は、撮像制御部１１６の制御のもと、図示しないレンズを介して取り込んだ被写体からの光を撮像素子で電気信号に変換（すなわち光電変換）することで、アナログの画像信号を得る。そして撮像部１１５は、この画像信号をデジタルの画像信号に変換した後、撮像制御部１１６に送る。

さらに、この画像信号は、撮像制御部１１６から画像処理部１１７に送られ、この画像処理部１１７によりディスプレイ１１４に表示する為の処理が施された後、表示制御部１１８に送られる。

表示制御部１１８は、ディスプレイ１１４を制御して、この画像信号に基づく画像をディスプレイ１１４に表示させる。この結果、ディスプレイ１１４には、被写体の画像がそのままスルー画（モニタリング画像などとも呼ばれる）として表示される。これにより、ＤＳＣ１０１は、撮影者に被写体を確認させることができる。

またこのとき表示制御部１１８は、メニューやアイコンなどのグラフィックス信号を生成して、これを画像信号に重畳する。この結果、ディスプレイ１１４には、スルー画と共に、撮影に係わるメニューやアイコンなどが表示される。

またこのときＣＰＵ１１０は、撮像制御部１１６を介して得られる画像に対して顔検出処理を行う。この結果、人物の顔を検出すると、ＣＰＵ１１０は、表示制御部１１８を介して、ディスプレイ１１４に表示させているスルー画上に、顔として検出した領域（これを顔領域とも呼ぶ）を囲う顔枠を表示させる。

さらにこのとき、ズームボタンが押下されてズームイン又はズームアウトが指示されたとする。すると、ＣＰＵ１１０は、ズームを制御してズームイン又はズームアウトを行う。

具体的に、ＣＰＵ１１０は、撮像制御部１１６に対して、ズーム倍率を指定する。撮像制御部１１６は、指定されたズーム倍率でズームするよう撮像部１１５を制御する。この結果、ズームイン又はズームアウトが行われる。

この結果、ディスプレイ１１４に表示されているスルー画が拡大（ズームイン）又は縮小（ズームアウト）される。

ここで、例えばメニューから静止画像撮影モードが選択されている状態で、操作部１１３の撮影ボタンが押下されたとする。すると、ＣＰＵ１１０は、静止画像を記録する。

具体的に、画像処理部１１７は、ＣＰＵ１１０の制御のもと、撮像制御部１１６から送られてくる画像信号を所定の静止画像フォーマットでエンコードすることで、静止画像データを生成する。

ＣＰＵ１１０は、このようにして生成された静止画像データを、ＲＡＭ１１２に一時記憶させた後、タグ情報などを付与したうえで、記憶媒体制御部１１９に送る。記憶媒体制御部１１９は、この静止画像データを静止画像ファイルとして記憶媒体１２０に記憶させる。このようにして、ＤＳＣ１０１は、静止画像を記録する。因みに、この記憶媒体１２０は、例えば、着脱可能なメモリカードである。

一方、動画像撮影モードが選択されている状態で、操作部１１３の撮影ボタンが押下されたとする。すると、ＣＰＵ１１０は、動画像の記録を開始する。

具体的に、画像処理部１１７は、ＣＰＵ１１０の制御のもと、撮像制御部１１６から送られてくる画像信号を所定の動画像フォーマットでエンコードすることで、動画像データを生成していく。

またこのとき、音声処理部１２１は、ＣＰＵ１１０の制御のもと、マイクロホン１２２から入力されるアナログの音声信号を、デジタルの音声信号に変換した後、ＣＰＵ１１０に送る。

ＣＰＵ１１０は、この音声信号を所定の音声フォーマットでエンコードすることで、音声データを生成していく。

そしてＣＰＵ１１０は、このようにして生成された動画像データと音声データとを多重化することで動画像音声データを生成して、この動画像音声データをＲＡＭ１１２に一時記憶させた後、順次記憶媒体制御部１１９に送る。記憶媒体制御部１１９は、この動画像音声データを順次記憶媒体１２０に記憶させていく。

その後、再び撮影ボタンが押下されると、ＣＰＵ１１０は、動画像の記録を終了する。

すなわちＣＰＵ１１０は、このときＲＡＭ１１２に残存する動画像音声データを、記憶媒体制御部１１９に送る。記憶媒体制御部１１９は、この動画像音声データを記憶媒体１２０に記憶させる。この結果、撮影開始から終了までの一連の動画像音声データが記憶媒体１２０に記憶されたことになる。

さらにＣＰＵ１１０は、記憶媒体制御部１１９を介して、一連の動画像音声データにヘッダ情報を付与することにより、この動画像音声データを動画像ファイルとして記憶媒体１２０に記憶させる。このようにして、ＤＳＣ１０１は、動画像を記録する。

またＣＰＵ１１０は、例えば操作部１１３のモード切替スイッチの操作により動作モードを再生モードに切り替えるよう指示されると、再生モードで動作する。

するとＣＰＵ１１０は、記憶媒体制御部１１９を介して、記憶媒体１２０から例えば撮影日時が最も新しいファイルを読み出して、ＲＡＭ１１２に一時記憶させる。

ここで、このファイルが静止画像ファイルである場合、ＣＰＵ１１０は、この静止画像ファイルから静止画像データを抽出して、画像処理部１１７に送る。

画像処理部１１７は、この静止画像データをエンコードされたときと同一の静止画像フォーマットでデコードすることで元の画像信号を得る。ＣＰＵ１１０は、この画像信号を、一旦ＲＡＭ１１２に書き戻した後、表示制御部１１８に送る。

表示制御部１１８は、ディスプレイ１１４を制御して、この画像信号に基づく静止画像をディスプレイ１１４に表示させる。このようにしてＤＳＣ１０１は、静止画像を再生する。

一方、読み出したファイルが動画像ファイルである場合、ＣＰＵ１１０は、この動画像ファイルから、動画像データと音声データとを分離抽出して、動画像データを画像処理部１１７に送る。

画像処理部１１７は、この動画像データをエンコードされたときと同一の動画像フォーマットでデコードすることで元の画像信号を得る。この画像信号は、ＣＰＵ１１０により、一旦ＲＡＭ１１２に書き戻された後、順次表示制御部１１８に送られる。

表示制御部１１８は、ディスプレイ１１４を制御して、画像信号に基づく動画像をディスプレイ１１４に表示させる。

またこのときＣＰＵ１１０は、音声データをエンコードされたときと同一の音声フォーマットでデコードすることで元の音声信号を得、これをＲＡＭ１２に書き戻した後、順次音声処理部１２１に送る。音声処理部１２１は、音声信号をデジタルからアナログに変換して、この音声信号に基づく音声をスピーカ１２３から出力させる。このようにしてＤＳＣ１０１は、動画像を再生する。

尚、クレードル１０２から外された状態のとき、ＤＳＣ１０１は、電源制御部１２４が、バッテリ（図示せず）から得られる電力を各部に供給することで動作するようになっている。

ここで、ＤＳＣ１０１がクレードル１０２上部の雲台部１０２Ａに載置され、ＤＳＣ１０１とクレードル１０２とが端子（図示せず）を介して接続されたとする。

すると、クレードル１０２に接続された外部電源１２５からの電力が、クレードル１０２の電源制御部１２６を介してＤＳＣ１０１に供給される。

ＤＳＣ１０１の電源制御部１２４は、この電力を各部に供給することでＤＳＣ１０１を動作させると共に、この電力をバッテリ（図示せず）に供給することでバッテリを充電する。

またこのとき、ＤＳＣ１０１とクレードル１０２は、それぞれの外部インタフェース部１２７、１２８を介して通信する。

このとき、ＤＳＣ１０１のＣＰＵ１１０は、例えば操作部１１３のモード切替スイッチの操作により動作モードを自動撮影モードに切り替えるよう指示されると、自動撮影モードで動作する。

その後、操作部１１３の撮影ボタンが押下されると、ＣＰＵ１１０は、自動撮影を開始する。すると、ＣＰＵ１１０は、ＤＳＣ１０１の撮影方向を任意の方向に変える為のパン・チルト制御信号をクレードル１０２に送る。

この結果、クレードル１０２の雲台部１０２Ａのパン・チルト機構が駆動して、ＤＳＣ１０１の撮影方向が任意の方向に変わる。

次に、ＣＰＵ１１０は、撮像部１１５で撮像され撮像制御部１１６を介して得られた画像（これを撮像画像とも呼ぶ）を解析して人物の検出を行う。この解析の結果、人物が検出されると、ＣＰＵ１１０は、検出された人物の中から画像として記録すべき人物（これを記録対象人物とも呼ぶ）を、後述する人間関係グラフを利用して選定する。

そしてＣＰＵ１１０は、記録対象人物が主たる被写体となるように、撮影に係わる各種パラメータ（これを撮影パラメータとも呼ぶ）を決定する。具体的に、ＣＰＵ１１０は、記録対象人物の撮影に適した構図となるように、構図に関するパラメータ（ズーム倍率、パン方向及びチルト方向への向きと移動量など）を決定する。またＣＰＵ１１０は、記録対象人物の撮影に適したカメラ設定となるように、カメラ設定に関するパラメータ（露出、フォーカスなど）を決定する。

ＣＰＵ１１０は、これらの撮影パラメータのうち、雲台部１０２Ａの制御に係わる撮影パラメータ（パン方向及びチルト方向への向きと移動量）をパン・チルト制御信号としてクレードル１０２に送る。またＣＰＵ１１０は、撮像部１１５の制御に係わる撮影パラメータ（ズーム倍率、露出、フォーカスなど）を撮像制御部１１６に送る。

この結果、撮影パラメータに基づいて、雲台部１０２Ａと撮像部１１５とが制御されることにより、記録対象人物の撮影に適した構図及びカメラ設定となる。そしてＣＰＵ１１０は、この構図及びカメラ設定で、記録対象人物の静止画像もしくは動画像を記録する。つまり記録対象人物の撮影を行う。

記録対象人物の撮影が終了すると、ＣＰＵ１１０は、ＤＳＣ１０１の撮影方向を別の方向に変えて、再び記録対象人物の撮影を行う。

ＣＰＵ１１０は、このような動作を、例えば、操作部１１３の撮影ボタンが再度押下されるまで繰り替えす。

このようにして、ＤＳＣ１０１は、自動撮影モード時、撮影方向を変えながら、検出した人物の中から記録対象人物を選んで、自動的に記録対象人物を撮影していくようになっている。

一方、クレードル１０２は、ＣＰＵ１２９が、ＲＯＭ１３０に書き込まれたプログラムをＲＡＭ１３１に展開して実行することで各種処理を行うと共に、ＤＳＣ１０１から送られてくる各種信号に応じて各部を制御する。

実際、ＣＰＵ１２９は、ＤＳＣ１０１から、撮影方向を任意の方向に変える為のパン・チルト制御信号が送られてくると、このパン・チルト制御信号を雲台制御部１３２に送る。雲台制御部１３２は、このパン・チルト制御信号に基づいて、雲台部１０２Ａのパン・チルト機構を駆動させる為の駆動信号を生成して、これを雲台部１０２Ａに送る。

この結果、雲台部１０２Ａのパン・チルト機構が駆動して、この雲台部１０２Ａに載置されたＤＳＣ１０１の撮影方向が任意の方向に変えられる。

このように、クレードル１０２は、ＤＳＣ１０１に電力を供給すると共に、ＤＳＣ１０１からのパン・チルト制御信号に応じて、ＤＳＣ１０１の撮影方向を任意の方向に変えることができるようになっている。

尚、クレードル１０２は、電源制御部１２６が、外部電源１２５から得られる電力を各部に供給することで動作するようになっている。

因みに、ＤＳＣ１０１の撮像部１１５が、上述した撮像装置１の撮像部２に対応するものである。またＤＳＣ１０１のＣＰＵ１１０が、撮像装置１の人間関係情報記憶制御部３、人物検出部４、記録対象人物選定部５、撮像画像記録制御部６、人間関係情報更新部８に対応するものである。さらにＤＳＣ１０１の外部インタフェース部１２７が、撮像装置１の接続部７に対応するものである。

［１−２−３．自動撮影］
次に、上述した自動撮影モードでの自動撮影について、詳しく説明する。この自動撮影では、上述したように、記録対象人物の選定に、人間関係グラフを利用するようになっており、まずこの人間関係グラフのグラフ構造から説明する。

図４に人間関係グラフのグラフ構造を概念的に示す。この図４に示すように、人間関係グラフＨｇは、人物を表すノードＮｄ（図中ではＮｄ１〜Ｎｄ８）と、ノードＮｄ間を結ぶエッジＥｇ（図中ではＥｇ１〜Ｅｇ１１）とでなるグラフ構造を有している。

各ノードＮｄには、ＤＳＣ１０１に登録されている人物の顔画像が対応付けられている。また各エッジＥｇは、結んでいる一方のノードＮｄが表す人物と、もう一方のノードＮｄが表す人物との親密度を表している。尚、ここでは、人物と人物との親しさを表す指標として親密度を用いている。

ここで、エッジＥｇは、その太さが太いほど、結んでいる双方のノードＮｄが表す人物間の親密度が高いこと、すなわち双方のノードＮｄが表す人物同士がより親しい仲であることを意味する。

一方で、ノードＮｄ間がエッジＥｇで結ばれていなければ、双方のノードＮｄが表す人物同士が親しい仲ではないことを意味する。

次に、人間関係グラフＨｇのデータ構造について説明する。図５に人間関係グラフＨｇのデータ構造を示す。この図５に示すように、人間関係グラフＨｇは、各ノードＮｄが表す人物の属性を管理する為の人物属性テーブルＴｂ１と、各エッジＥｇが表す人物間の親密度を管理する為の親密度テーブルＴｂ２とでなるデータ構造を有している。

この人物属性テーブルＴｂ１と親密度テーブルＴｂ２は、記憶媒体１２０に記憶されている。

ここで、説明の都合上、人物の顔画像が登録された顔辞書を説明してから、人物属性テーブルＴｂ１及び親密度テーブルＴｂについて説明する。図６に顔辞書Ｆｄのデータ構造を示す。この図６に示すように、顔辞書Ｆｄは、顔辞書テーブルＴｂ３と顔画像ファイルＦｐとでなるデータ構造を有している。

この顔辞書テーブルＴｂ３と顔画像ファイルＦｐは、記憶媒体１２０に記憶されている。

顔辞書テーブルＴｂ３は、人物ごとの顔画像データが含まれる顔画像ファイルＦｐを人物ごとに管理する為のテーブルであり、人物ごとに、人物ＩＤと顔画像ファイルＦｐのファイル名とが、顔画像情報として記載される。

人物ＩＤは、人物ごとに割り当てられたＩＤである。尚、複数の顔画像ファイルＦｐが記憶されている人物の顔画像情報には、１つの人物ＩＤに対して複数のファイル名が記載されるようになっている。顔画像ファイルＦｐは、任意の画像から切り出された顔画像のデータをファイル化したものである。

これに対して、人物属性テーブルＴｂ１には、顔辞書テーブルＴｂ３に登録されている人物ごとに、人物ＩＤ、所属グループＩＤ、記録枚数及び性別などが、属性情報として記載される。

所属グループＩＤは、各人物が所属しているグループを識別する為のものである。尚、複数のグループに所属している人物の属性情報には、１つの人物ＩＤに対して複数のグループＩＤが記載されるようになっている。

記録枚数は、ＤＳＣ１０１で撮影された各人物の画像の枚数、すなわち記憶媒体１２０に記録されている各人物の画像ファイル（上述の顔画像ファイルＦｐは除く）の数である。例えば、記憶媒体１２０に、或る人物の画像ファイルが１０個記録されているとすれば、この人物の属性情報には記録枚数が「１０」と記載される。性別は、各人物の性別を示すものである。

また親密度テーブルＴｂ２には、顔辞書テーブルＴｂ３に記載されている人物間の親密度が、人物ＩＤと人物ＩＤとの組み合わせごとに記載される。親密度は、例えば「−２０」から「＋２０」の範囲の整数で表され、値が大きいほど親しい仲であることを示すようになっている。

尚、親密度は、所定の条件のもとに変化し、「０」を基準として、「０」以下であれば親しくないこと、「０」より大きければ親しいことを意味する。

また、親密度テーブルＴｂ２には、人物と人物との親密度として、一方の人物側から見た親密度と、もう一方の人物側から見た親密度とが別々に記載されるようになっている。

実際、親密度テーブルＴｂ２には、例えば人物ＩＤ＝０の人物と人物ＩＤ＝２の人物との親密度として、人物ＩＤ＝０の人物側から見た親密度（横０、縦２）が「８」、人物ＩＤ＝２の人物側から見た親密度（横２、縦０）が「２」のように記載される。

これら顔辞書テーブルＴｂ３、人物属性テーブルＴｂ１及び親密度テーブルＴｂ２に登録されている顔画像情報、属性情報及び親密度が、人物ＩＤにより対応付けられて、上述した人間関係グラフＨｇのグラフ構造が表される。

尚、顔辞書テーブルＴｂ３に登録されている顔画像は、自動撮影時に、撮像画像から検出された人物の個人識別などにも利用される。

例えば、撮像画像から人物の顔が検出されたとする。このときＣＰＵ１１０は、検出した顔の領域（すなわち顔領域）を検出顔画像として切り出す。そしてＣＰＵ１１０は、この検出顔画像と、顔辞書テーブルＴｂ３に顔画像ファイルＦｐとして登録されている顔画像（これを登録顔画像とも呼ぶ）の各々とを比較して類似度を算出する。

そしてＣＰＵ１１０は、類似度が所定の閾値以上となる登録顔画像を、検出顔画像と同一人物の顔画像であると見なすことで、撮像画像から検出された人物が、この登録顔画像に対応する人物ＩＤの人物であると識別する。

このように顔画像を比較することで個人識別を行う場合、人物ごとの登録顔画像の数が多くなるほど、認識精度が向上する。

ゆえに、人物ごとに、光源環境、顔の向き、表情などが異なる顔画像を用意して、これらを顔辞書テーブルＴｂ３に登録するようにすれば、個人識別の精度は格段と向上する。

ところで、ＤＳＣ１０１では、顔辞書Ｆｄへの顔画像の登録、及び人間関係グラフＨｇの更新を、画像の記録時に自動的に行うことができるようになっている。

ここで、顔辞書Ｆｄへの顔画像を登録する処理（これを顔画像登録処理とも呼ぶ）の手順と、人間関係グラフＨｇを更新する処理（これを人間関係グラフ更新処理とも呼ぶ）の手順について説明する。尚、自動撮影の処理手順については、これらの後に説明することとする。

まず図７に示すフローチャートを用いて、顔画像登録処理の手順（これを顔画像登録処理手順とも呼ぶ）ＲＴ１について説明する。

因みに、この顔画像登録処理手順ＲＴ１は、ＤＳＣ１０１のＣＰＵ１１０が、ＲＯＭ１１１に書き込まれているプログラムに従って実行する顔画像登録処理の手順である。

ＣＰＵ１１０は、画像を記録したときに、この画像から人物の顔を検出すると、この画像から顔領域を検出顔画像として切り出し、顔画像登録処理を開始する。ＣＰＵ１１０は、まず顔画像登録処理手順ＲＴ１のステップＳＰ１に移る。

ステップＳＰ１においてＣＰＵ１１０は、画像から切り出した検出顔画像と、顔辞書テーブルＴｂ３に登録されている登録顔画像とを比較することで、個人識別を行う個人識別処理を行う。

図８に、この個人識別処理の手順（これを個人識別処理手順とも呼ぶ）ＳＲＴ１を示す。ＣＰＵ１１０は、個人識別処理を開始すると、この個人識別処理手順ＳＲＴ１のステップＳＰ１００に移る。

ステップＳＰ１００においてＣＰＵ１１０は、顔辞書テーブルＴｂ３に少なくとも１個の人物ＩＤが登録されているか否かを判別する。

このステップＳＰ１００で否定結果を得ると、このことは、まだ顔辞書テーブルＴｂ３に一人も登録されていないことを意味する。このときＣＰＵ１１０は、入力された顔画像に対応する人物は登録されていないとして、この個人識別処理を終了する。

これに対して、ステップＳＰ１００で肯定結果を得ると、このときＣＰＵ１１０は、ステップＳＰ１０１に移る。ステップＳＰ１０１においてＣＰＵ１１０は、変数ｉに０を代入して、次のステップＳＰ１０２に移る。この変数ｉは、顔辞書テーブルＴｂ３に登録されている人物を人物ｉとして順番に指定する為のものである。

ステップＳＰ１０２においてＣＰＵ１１０は、変数ｉの値が、顔辞書テーブルＴｂ３に登録されている人物の数Ｎと等しいか否か判別する。すなわち、このステップＳＰ１０２は、検出顔画像と、顔辞書テーブルＴｂ３に登録されている全ての人物の登録顔画像とを比較し終えたか否かを判別するステップである。

ここで、まだ全ての人物の登録顔画像と比較し終えていないことにより、このステップＳＰ１０２で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ１０３に移る。

ステップＳＰ１０３においてＣＰＵ１１０は、変数ｊに０を代入して、次のステップＳＰ１０４に移る。この変数ｊは、人物ｉの登録顔画像を登録顔画像ｊとして順番に指定する為のものである。

ステップＳＰ１０４においてＣＰＵ１１０は、変数ｊの値が、顔辞書テーブルＴｂ３に登録されている、人物ｉの登録顔画像の数ｎ［ｉ］と等しいか否か判別する。すなわち、このステップＳＰ１０４は、検出顔画像と、顔辞書テーブルＴｂ３に登録されている、人物ｉの全ての登録顔画像とを比較し終えたか否かを判別するステップである。

ここで、まだ人物ｉの全ての登録顔画像と比較し終えていないことにより、このステップＳＰ１０４で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ１０５に移る。

ステップＳＰ１０５においてＣＰＵ１１０は、検出顔画像と、人物ｉの登録顔画像ｊとの類似度を算出して、次のステップＳＰ１０６に移る。ステップＳＰ１０６においてＣＰＵ１１０は、類似度が所定の閾値以上であるか否かを判別する。

このステップＳＰ１０６で肯定結果を得ると、このことは、検出顔画像と、人物ｉの登録顔画像ｊとが同一人物のものであることを意味する。このときＣＰＵ１１０は、ステップＳＰ１０７に移る。ステップＳＰ１０７においてＣＰＵ１１０は、検出顔画像が人物ｉのものであると判別して、この人物ｉの人物ＩＤを取得し、次のステップＳＰ１０８に移る。

これに対して、ステップＳＰ１０６で否定結果を得ると、このことは、検出顔画像と、人物ｉの登録顔画像ｊとが同一人物のものではないことを意味する。このときＣＰＵ１１０は、ステップＳＰ１０７での処理を行わずに、ステップＳＰ１０８に移る。

ステップＳＰ１０８においてＣＰＵ１１０は、変数ｊにｊ＋１を代入することにより、人物ｉの登録顔画像の中から、現在指定している登録顔画像の次の登録顔画像を指定して、ステップＳＰ１０４に戻る。

以降、ＣＰＵ１１０は、ステップＳＰ１０４で肯定結果を得るまで、すなわち検出顔画像と、人物ｉの全ての登録顔画像とを比較し終えるまで、ステップＳＰ１０４〜ＳＰ１０８の処理を繰り返す。

そして、人物ｉの全ての登録顔画像と比較し終えたことにより、このステップＳＰ１０４で肯定結果を得ると、ＣＰＵ１１０は、ステップＳＰ１０９に移る。

ステップＳＰ１０９においてＣＰＵ１１０は、変数ｉにｉ＋１を代入することにより、現在指定している人物の次の人物を指定して、ステップＳＰ１０２に戻る。

以降、ＣＰＵ１１０は、ステップＳＰ１０２で肯定結果を得るまで、すなわち検出顔画像と、全ての人物の登録顔画像とを比較し終えるまで、ステップＳＰ１０２〜ＳＰ１０９までの処理を繰り返す。

そして、全ての人物の登録顔画像と比較し終えたことにより、このステップＳＰ１０２で肯定結果を得ると、ＣＰＵ１１０は、この個人識別処理を終了する。

このようにしてＣＰＵ１１０は、検出顔画像との類似度が所定の閾値以上となる登録顔画像の人物を、検出顔画像に対応する人物と識別して、この人物の人物ＩＤを取得するようになっている。尚、類似度が閾値以上となる登録顔画像の人物が複数存在する場合、例えば、最も類似度が高い登録顔画像の人物の人物ＩＤを取得するようにする。

このような個人識別処理を終了すると、ＣＰＵ１１０は、次のステップＳＰ２（図７）に移る。ステップＳＰ２においてＣＰＵ１１０は、個人識別処理の結果として、検出顔画像に対応する人物の人物ＩＤを取得したか否かを判別する。

このステップＳＰ２で肯定結果を得ると、このことは、検出顔画像に対応する人物の人物ＩＤを取得したこと、すなわち検出顔画像に対応する人物の人物ＩＤが顔辞書テーブルＴｂ３に登録されていることを意味する。

このときＣＰＵ１１０は、ステップＳＰ３に移り、検出顔画像を顔画像ファイルＦｐとして記憶媒体１２０に記憶すると共に、この顔画像ファイルＦｐのファイル名を、取得した人物ＩＤに対応付けて顔辞書テーブルＴｂ３に登録する。このようにして登録した後、ＣＰＵ１１０は、顔画像登録処理を終了する。

これに対して、ステップＳＰ３で否定結果を得ると、このことは、検出顔画像に対応する人物の人物ＩＤが顔辞書テーブルＴｂ３に登録されていないことを意味する。

このときＣＰＵ１１０は、ステップＳＰ４に移り、検出顔画像を顔画像ファイルＦｐとして記憶媒体１２０に記憶すると共に、この顔画像ファイルＦｐのファイル名を、新たに発行した人物ＩＤに対応付けて顔辞書テーブルＴｂ３に登録する。このようにして登録した後、ＣＰＵ１１０は、顔画像登録処理を終了する。

このような顔画像登録処理により、ＣＰＵ１１０は、任意の画像から抽出した人物の顔画像を顔辞書Ｆｄに登録するようになっている。

この顔画像登録処理は、人間関係グラフＨｇの更新と共に行われる処理であり、この点をふまえ、次に、図９及び図１０に示すフローチャートを用いて、人間関係グラフ更新処理の手順（これを人間関係グラフ更新処理手順とも呼ぶ）ＲＴ２について説明する。

因みに、この人間関係グラフ更新処理手順ＲＴ２は、ＤＳＣ１０１のＣＰＵ１１０が、ＲＯＭ１１１に書き込まれているプログラムに従って実行する人間関係グラフ更新処理の手順である。

ＣＰＵ１１０は、例えば、静止画像撮影モードで静止画像ファイルを記憶媒体１２０に記憶させた後、この人間関係グラフ更新処理を開始して、人間関係グラフ更新処理手順ＲＴ２のステップＳＰ２０に移る。

ステップＳＰ２０においてＣＰＵ１１０は、静止画像ファイルに基づく静止画像から人物の顔を検出して、次のステップＳＰ２１に移る。ステップＳＰ２１においてＣＰＵ１１０は、変数ｉに０を代入して、次のステップＳＰ２２に移る。このときの変数ｉは、静止画像から検出された人物の顔を、人物ｉの顔として順番に指定する為のものである。

ステップＳＰ２２においてＣＰＵ１１０は、変数ｉの値が、静止画像から検出された人物の顔の数Ｎと等しいか否か判別する。すなわち、このステップＳＰ２２は、静止画像から検出された人物の顔を全て指定し終えたか否かを判別するステップである。

ここで、まだ全ての人物の顔を指定し終えていないことにより、このステップＳＰ２２で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ２３に移る。

ステップＳＰ２３においてＣＰＵ１１０は、静止画像から人物ｉの顔領域を検出顔画像として切り出して、次のステップＳＰ２４に移る。ステップＳＰ２４においてＣＰＵ１１０は、上述した顔画像登録処理を行うことにより、人物ｉの検出顔画像を顔辞書テーブルＴｂ３に登録して、次のステップＳＰ２５に移る。

ステップＳＰ２５においてＣＰＵ１１０は、変数ｉにｉ＋１を代入することにより、静止画像から検出された人物の顔の中から、現在指定している顔の次の顔を指定して、ステップＳＰ２２に戻る。

以降、ＣＰＵ１１０は、ステップＳＰ２２で肯定結果を得るまで、すなわち静止画像から切り出した検出顔画像を全て顔辞書テーブルＴｂ３に登録し終えるまで、ステップＳＰ２２〜ＳＰ２５の処理を繰り返す。

そして、全ての検出顔画像を顔辞書テーブルＴｂ３に登録し終えたことにより、このステップＳＰ２２で肯定結果を得ると、ＣＰＵ１１０は、ステップＳＰ２６に移る。

ステップＳＰ２６においてＣＰＵ１１０は、再び変数ｉに０を代入して、次のステップＳＰ２７に移る。このときの変数ｉは、静止画像から切り出された検出顔画像に対応する人物を人物ｉとして順番に指定する為のものである。

ステップＳＰ２７においてＣＰＵ１１０は、変数ｉの値が、静止画像から切り出された検出顔画像の数Ｎと等しいか否か判別する。すなわち、このステップＳＰ２７は、静止画像から切り出された検出顔画像の各々に対応する人物を人物ｉとして全て指定し終えたか否かを判別するステップである。

ここで、まだ全ての人物を指定し終えていないことにより、このステップＳＰ２７で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ２８に移る。

ステップＳＰ２８においてＣＰＵ１１０は、静止画像から切り出したｉ番目の検出顔画像に対応する人物ｉの人物ＩＤを、顔辞書テーブルＴｂ３から取得して、次のステップＳＰ２９に移る。

ステップＳＰ２９においてＣＰＵ１１０は、顔辞書テーブルＴｂ３から取得した人物ｉの人物ＩＤが、人間関係グラフＨｇに登録されているか否かを判別する。

このステップＳＰ２９で否定結果を得ると、このことは、人物ｉの人物ＩＤが人間関係グラフＨｇにまだ登録されていないことを意味する。

このときＣＰＵ１１０は、ステップＳＰ３０に移り、人物ｉの人物ＩＤを人間関係グラフＨｇの人物属性テーブルＴｂ１に新規で追加して、次のステップＳＰ３１に移る。

ステップＳＰ３１においてＣＰＵ１１０は、ｉ番目の検出顔画像から、人物ｉの性別を判別して、これをこの人物ｉの属性情報として、人物属性テーブルＴｂ１に記載して、次のステップＳＰ３２に移る。

尚、顔画像から人物の性別を判別する方法については、種々のアルゴリズムが知られている。例えば、顔画像から、顔の形状や色、髪型、目や口の位置などの特徴量を検出し、その特徴量と、予め用意された性別ごとの特徴量とを比較して、これらの相関値が高い方の性別を、人物の性別として判別するものがある。

これに対して、ステップＳＰ２０で肯定結果を得ると、このことは、人物ｉの人物ＩＤが人間関係グラフＨｇに登録済であることを意味する。

このときＣＰＵ１１０は、ステップＳＰ３１での処理を行わずに、ステップＳＰ３２に移る。

ステップＳＰ３２においてＣＰＵ１１０は、今回記録した静止画像から人物ｉの検出顔画像が検出されたこと、つまり今回人物ｉが撮影されたことから、この人物ｉの属性情報である記録枚数を更新する。すなわち、ＣＰＵ１１０は、この人物ｉの属性情報である記録枚数を、現在の記録枚数＋１に更新して、次のステップＳＰ３３に移る。

ここまでのステップＳＰ２８〜ＳＰ３２の処理により、人物ｉに関して人物属性テーブルＴｂ１の更新が終了したことになる。

ステップＳＰ３３（図１０）においてＣＰＵ１１０は、変数ｊに０を代入して、次のステップＳＰ３４に移る。このときの変数ｊは、静止画像から検出された、人物ｉ以外の人物を人物ｊとして順番に指定する為のものである。

ステップＳＰ３４においてＣＰＵ１１０は、変数ｊの値が、静止画像から切り出された検出顔画像の数Ｎと等しいか否か判別する。すなわち、このステップＳＰ３４は、静止画像から切り出された、人物ｉ以外の全ての人物を指定し終えたか否かを判別するステップである。

ここで、まだ全ての人物を指定し終えていないことにより、このステップＳＰ３４で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ３５に移る。ステップＳＰ３５においてＣＰＵ１１０は、人物ｉと、人物ｉ以外の人物ｊとの親密度を算出して、親密度テーブルＴｂ２に記載する。

具体的に、ＣＰＵ１１０は、まず人物ｊの人物ＩＤを、顔辞書テーブルＴｂ３から取得する。そしてＣＰＵ１１０は、人物ｉの人物ＩＤと人物ｊの人物ＩＤとをもとに、人物ｉ側から見た人物ｉと人物ｊとの親密度を親密度テーブルＴｂ２から検索する。

検索の結果、親密度が得られると、このことは、過去に人物ｉ側から見た人物ｉと人物ｊとの親密度が算出され、親密度テーブルＴｂ２に記載されていることを意味する。このときＣＰＵ１１０は、親密度テーブルＴｂから得られた親密度を過去親密度とする。

一方、検索の結果、親密度が得られなければ、このことは、過去１度も人物ｉ側から見た人物ｉと人物ｊとの親密度が算出されてなく、親密度テーブルＴｂ２に記載されていないことを意味する。このときＣＰＵ１１０は、過去親密度を「０」とする。

さらにＣＰＵ１１０は、今回記録した静止画像をもとに、人物ｉ側から見た人物ｉと人物ｊとの親密度を算出（具体的な算出方法については後述する）して、これを現在親密度とする。そしてＣＰＵ１１０は、過去親密度に現在親密度を加算して得られた値を、人物ｉ側から見た人物ｉと人物ｊとの新たな親密度として、親密度テーブルＴｂ２に記載する。

このとき、ＣＰＵ１１０は、人物ｉ側から見た人物ｉと人物ｊとの過去親密度が親密度テーブルＴｂ２に記載されていれば、この過去親密度を今回算出した新たな親密度で更新する。一方、過去親密度が記載されていなければ、今回算出した親密度を、人物ｉ側から見た人物ｉと人物ｊの親密度として親密度テーブルＴｂ２に新規で追加する。

すなわち、人物ｉ側から見た人物ｉと人物ｊとの過去親密度をＣｐａｓｔ［ｉ，ｊ］、現在親密度をＣｎｏｗ［ｉ，ｊ］とすると、新たな親密度Ｃｇｒａｐｈ［ｉ，ｊ］は、次式（１）により表される。

Ｃｇｒａｐｈ［ｉ，ｊ］＝Ｃｐａｓｔ［ｉ，ｊ］＋Ｃｎｏｗ［ｉ，ｊ］……（１）

尚、今回記録した静止画像から得られる現在親密度Ｃｎｏｗ［ｉ，ｊ］は、詳しくは後述するが、例えば、人物ｉと人物ｊの双方ともに顔の笑顔度が低い場合などに−（負）の値を取るようになっている。これにより、例えば、昔は仲が良かったが、現在は仲が良くない人物同士であれば、静止画像を記録するごとに、親密度テーブルＴｂ２に記載される親密度が下がっていくことになる。このように、親密度テーブルＴｂ２には、過去の親密度と、現在の親密度の双方を反映した親密度が記載されるようになっている。

このようにして、人物ｉ側から見た人物ｉと人物ｊとの親密度を算出して親密度テーブルＴｂ２に記載した後、ＣＰＵ１１０は、ステップＳＰ３６に移る。ステップＳＰ３６においてＣＰＵ１１０は、変数ｊにｊ＋１を代入（ただし、人物ｉと人物ｊとが同一人物にならないようｊ＝ｉはスキップ）することにより、現在指定している人物ｊの次の人物を指定して、ステップＳＰ３４に戻る。

以降、ＣＰＵ１１０は、ステップＳＰ３４で肯定結果を得るまで、すなわち人物ｉと、人物ｉ以外の全ての人物ｊとの親密度を算出して親密度テーブルＴｂ２に記載し終えるまで、ステップＳＰ３４〜ＳＰ３６までの処理を繰り返す。

そして、人物ｉと、人物ｉ以外の全ての人物ｊとの親密度を算出して親密度テーブルＴｂ２に記載し終えたことにより、このステップＳＰ３４で肯定結果を得ると、ＣＰＵ１１０は、ステップＳＰ３７に移る。

ここまでのステップＳＰ３３〜ＳＰ３６の処理により、人物ｉに関して親密度テーブルＴｂ２の更新が終了したことになる。

ステップＳＰ３７においてＣＰＵ１１０は、変数ｉにｉ＋１を代入することにより、現在指定している人物ｉの次の人物を指定して、ステップＳＰ２７（図９）に戻る。

以降、ＣＰＵ１１０は、ステップＳＰ２７で肯定結果を得るまで、すなわち静止画像から検出された全ての人物に関して人間関係グラフＨｇを更新し終えるまで、ステップＳＰ２７〜ステップＳＰ３７の処理を繰り返す。

そして、静止画像から検出された全ての人物に関して人間関係グラフＨｇを更新し終えたことにより、このステップＳＰ２７で肯定結果を得ると、ＣＰＵ１１０は、ステップＳＰ３８に移る。

ステップＳＰ３８においてＣＰＵ１１０は、更新し終えた人間関係グラフＨｇのグラフ構造をもとに、登録されている人物の各々が所属する所属グループを再判別して、人物属性テーブルＴｂ１に記載さている各人物の所属グループを更新する。尚、各人物の所属グループを判別する方法については後述する。

このようにして所属グループを更新した後、ＣＰＵ１１０は、人間関係グラフ更新処理を終了する。

このような人間関係グラフ更新処理により、ＣＰＵ１１０は、画像を記録したときに、顔辞書Ｆｄへ顔画像を登録すると共に人間関係グラフＨｇを更新するようになっている。

ここで、各人物の所属グループを判別する方法について簡単に説明する。ノードＮｄとエッジＥｇでなるデータ構造から、各ノードＮｄ（すなわち各人物）を分類する方法については、種々のアルゴリズムが知られている。例えば、ノードＮｄとエッジＥｇの繋がり具合から、各ノードＮｄを分類するアルゴリズムとして、GirvanとNewmanによるＧＮ法が知られている（非特許文献１参照）。
M.E.J.Newman and M.Girvan,Finding and evaluating community structure in networks. Phys.Rev.69,026113(2004)

このＧＮ法は、階層的クラスタリングの一手法であり、与えられた多数のデータ（ノードＮｄに相当）の相関性を表す指標を定義して、この指標により表される相関性の強弱をもとにデータを分類する方法である。

このＧＮ法では、ノードＮｄ間を結ぶエッジＥｇに対して、「Ｂｅｔｗｅｅｎｎｅｓｓ」という指標を定義している。「Ｂｅｔｗｅｅｎｎｅｓｓ」は、適当なノードＮｄ間の経路の集合を与えたときに、通る回数が多いエッジＥｇほど大きくなるように定義されている。そしてこの「Ｂｅｔｗｅｅｎｎｅｓｓ」が大きいエッジＥｇは、グループ間を繋ぐエッジＥｇであると予測できる。

この理由は、仮に２つのクラスタ（グループ）で共有するエッジＥｇが数本しか存在しないとすれば、クラスタ間の移動は、必ずこの数本のうちのいずれかを通るからである。

ゆえに「Ｂｅｔｗｅｅｎｎｅｓｓ」が小さいエッジＥｇで結ばれたノードＮｄが同一グループに属するものと見なすことができる。

実際、このＧＮ法を用いて、各ノードＮｄが属するグループを判別する場合、まず人間関係グラフＨｇ内の全てのエッジＥｇに対して、「Ｂｅｔｗｅｅｎｎｅｓｓ」を算出する。次に「Ｂｅｔｗｅｅｎｎｅｓｓ」の大きなエッジＥｇを人間関係グラフＨｇから取り除く。さらに残りの全てのエッジＥｇに対して、再度「Ｂｅｔｗｅｅｎｎｅｓｓ」を算出する。このような手順を繰り返し行う。

この結果、各ノードＮｄが属するグループ、すなわち各人物の所属グループが判別される。

ＣＰＵ１１０は、このようなアルゴリズムを用いて、各人物の所属グループを判別するようになっている。

ここで、自動撮影処理の手順（これを自動撮影処理手順とも呼ぶ）について説明する。尚、ここでは、自動撮影処理手順の概要を説明してから、その詳細を説明していくこととする。

図１１に、自動撮影処理手順の概要である自動撮影処理手順ＲＴ３を示す。因みに、この自動撮影処理手順ＲＴ３は、ＤＳＣ１０１のＣＰＵ１１０が、ＲＯＭ１１１に書き込まれているプログラムに従って実行する自動撮影処理の手順である。

ＣＰＵ１１０は、ＤＳＣ１０１がクレードル１０２と接続された状態で、操作部１１３を介して自動撮影モードに切り替えるよう指示されると、自動撮影処理を開始して、自動撮影処理手順ＲＴ３のステップＳＰ４０に移る。

ステップＳＰ４０においてＣＰＵ１１０は、現在得られている撮像画像から人物を検出する人物検出処理（詳しくは後述する）を行って、次のステップＳＰ４１に移る。

ステップＳＰ４１においてＣＰＵ１１０は、人物検出処理の結果、人物が検出されたか否かを判別する。このステップＳＰ４１で肯定結果を得ると、ＣＰＵ１１０は、ステップＳＰ４２に移る。

ステップＳＰ４２においてＣＰＵ１１０は、人間関係グラフＨｇを利用して、検出された人物の中から画像として記録すべき人物（記録対象人物）を選定する記録対象人物選定処理（詳しくは後述する）を行って、次のステップＳＰ４３に移る。

ステップＳＰ４３においてＣＰＵ１１０は、記録対象人物選定処理の結果、記録対象人物が選定されたか否かを判別する。このステップＳＰ４３で肯定結果を得ると、ＣＰＵ１１０は、ステップＳＰ４４に移る。

ステップＳＰ４４においてＣＰＵ１１０は、記録対象人物の撮影に適した構図及びカメラ設定となるように撮影パラメータを決定して、この撮影パラメータに基づき、雲台部１０２Ａと撮像部１１５とを制御する。尚、撮影パラメータに関して、詳しくは後述する。

このようにして、決定した撮影パラメータに基づき雲台部１０２Ａと撮像部１１５とを制御した後、ＣＰＵ１１０は、次のステップＳＰ４５に移る。ステップＳＰ４５においてＣＰＵ１１０は、記録対象人物の画像を記録する画像記録処理（詳しくは後述する）を行って、次のステップＳＰ４６に移る。

ステップＳＰ４６においてＣＰＵ１１０は、記録対象人物の画像を記録することにともなって、記録履歴を更新する記録履歴更新処理（詳しくは後述する）を行い、次のステップＳＰ４７に移る。尚、記録履歴とは、自動撮影を開始してから現在までに記録した各人物の画像の枚数と、顔辞書Ｆｄと人間関係グラフＨｇのことである。

ステップＳＰ４７においてＣＰＵ１１０は、操作部１１３を介して自動撮影モードを終了するよう指示されたか、又は自動撮影を開始してから所定時間経過したか否かを判別する。尚、ＣＰＵ１１０は、例えば、バッテリの残量から算出した動作可能時間や、ユーザにより設定された撮影時間などを、このときの所定時間とする。

このステップＳＰ４７で肯定結果を得ると、ＣＰＵ１１０は、自動撮影処理を終了する。

これに対して、ステップＳＰ４７で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ４０に戻り、撮影方向を変えて、再度、人物検出処理を行う。

また人物検出処理の結果、人物が検出されなかったことにより、上述のステップＳＰ４１で否定結果を得た場合、ＣＰＵ１１０は、ステップＳＰ４２〜ＳＰ４６までの処理を行わずに、ステップＳＰ４７に移る。

さらに記録対象人物選定処理の結果、記録対象人物が選定されなかったことにより、上述のステップＳＰ４３で否定結果を得た場合も、ＣＰＵ１１０は、ステップＳＰ４４〜ＳＰ４６までの処理を行わずに、ステップＳＰ４７に移る。

このような自動撮影処理により、ＣＰＵ１１０は、自動撮影を行うようになっている。

次に、自動撮影処理に含まれる各処理について詳しく説明する。まず上述したステップＳＰ４０の人物検出処理について詳しく説明する。

図１２に、人物検出処理の手順（これを人物検出処理手順とも呼ぶ）ＳＲＴ２を示す。

ＣＰＵ１１０は、人物検出処理を開始すると、人物検出処理手順ＳＲＴ２のステップＳＰ２００に移る。ステップＳＰ２００においてＣＰＵ１１０は、撮像部１１５のズームをＷｉｄｅ端（つまり一番広角側）に設定して、次のステップＳＰ２０１に移る。ここでズームをＷｉｄｅ端に設定する理由は、できるだけ広範囲から人物を検出する為である。

ステップＳＰ２０１においてＣＰＵ１１０は、ＤＳＣ１０１の撮影方向を変える為に、まずパン方向の向き及び移動量を指定して、これらを示すパン・チルト制御信号をクレードル１０２に送る。この結果、クレードル１０２の雲台部１０２Ａのパン・チルト機構が駆動して、ＤＳＣ１０１の撮影方向が、指定されたパン方向の向き及び移動量に応じた方向に変わる。

次にＣＰＵ１１０は、ステップＳＰ２０２に移り、チルト方向の向き及び移動量を指定して、これらを示すパン・チルト制御信号をクレードル１０２に送る。この結果、クレードル１０２の雲台部１０２Ａのパン・チルト機構が駆動して、ＤＳＣ１０１の撮影方向が、指定されたチルト方向の向き及び移動量に応じた方向に変わる。

このようにズームをＷｉｄｅ端に設定して撮影方向を指定した後、ＣＰＵ１１０は、ステップＳＰ２０３に移る。

ステップＳＰ２０３においてＣＰＵ１１０は、このとき撮像部１１５で撮像され制御部１１６を介して得られた撮像画像に対して顔検出処理を行う。

顔検出については、特開２００８−４０７１０号公報にも開示されているように、種々のアルゴリズムが知られている。例えば、撮像画像から、肌色領域と目や口の位置などの顔の特徴量とを検出し、その特徴量の位置関係から肌色領域が人物の顔であるかを判別するものがある。また、撮像画像から得られた輝度データと、顔のテンプレート画像とのマッチング処理を行って、これらの相関値が或る値以上となる場合に顔であると判別するものがある。

ＣＰＵ１１０は、これらのアルゴリズムを用いて、顔検出処理を行った後、次のステップＳＰ２０４に移る。尚、ＣＰＵ１１０は、顔検出処理の結果、検出した顔ごとに、撮像画像内の顔の座標（これを顔座標とも呼ぶ）とサイズ（これを顔サイズとも呼ぶ）を顔検出情報として得るようになっている。

また、この顔検出処理では、目や口の位置が顔のどちら側に寄っているかなどにより、撮像画像内における顔の向きを検出できるようにもなっている。また、この顔検出処理では、目や口の傾きなどにより、笑顔度を検出できるようにもなっている。ＣＰＵ１１０は、これら顔の向き及び笑顔度も、顔検出情報として得るようになっている。

ステップＳＰ２０４においてＣＰＵ１１０は、変数ｉａに０を代入して、次のステップＳＰ２０５に移る。この変数ｉａは、撮像画像から検出された人物の顔を、人物ｉａの顔として順番に指定する為のものである。

ステップＳＰ２０５においてＣＰＵ１１０は、変数ｉａの値が、撮像画像から検出された人物の顔の数Ｎａと等しいか否か判別する。すなわち、このステップＳＰ２０５は、撮像画像から検出された人物の顔を全て指定し終えたか否かを判別するステップである。

ここで、まだ全ての人物の顔を指定し終えていないことにより、このステップＳＰ２０５で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ２０６に移る。

ステップＳＰ２０６においてＣＰＵ１１０は、撮像画像から人物ｉａの顔領域を検出顔画像として切り出して、次のステップＳＰ２０７に移る。ステップＳＰ２０７においてＣＰＵ１１０は、切り出した検出顔画像をもとに、上述した個人識別処理を行って、次のステップＳＰ２０８に移る。尚、ＣＰＵ１１０は、この個人識別処理の結果、人物ｉａが識別できた場合にのみ、この人物ｉａの人物ＩＤを得る。

ステップＳＰ２０８においてＣＰＵ１１０は、人物ｉａに関して得られた情報を、検出人物情報として、図１３に示す検出人物テーブルＴｂ４に記載する。

検出人物テーブルＴｂ４は、顔検出処理により得られた顔検出情報を、撮像画像から顔が検出された人物ごとに管理する為のテーブルであり、人物ごとに、顔番号と人物ＩＤと顔検出情報とが、検出人物情報として記載される。

顔番号は、撮像画像から顔が検出された順に付される番号であり、ここでは、変数ｉａと等しくなる。また人物ＩＤは、個人識別処理により識別できた人物についてのみ記載されるものであり、識別できなかった人物については記載されない（実際には「なし」と記載される）。

顔検出情報の顔座標は、顔領域の中心座標で表される。さらに顔検出情報の顔サイズは、顔領域の縦と横のサイズを、撮像画像の縦と横のサイズをそれぞれ「１」として、「０」〜「１」の範囲で正規化して得られる値で表される。つまり、この顔サイズは、撮像画像のサイズに対する比率で表される。

さらに顔検出情報の顔の向きは、例えば「右」、「左」、［正面］で表される。さらに顔検出情報の笑顔度は、例えば「−１０」から「＋１０」の範囲の整数で表され、値が大きいほど笑顔であることを示す。具体的には、「０」を基準として、「０」以下であれば、笑顔ではないこと、「０」より大きければ笑顔であることを意味する。

ＣＰＵ１１０は、このような人物検出テーブルＴｂ４に対して、人物ｉａに関して得られた、顔番号ｉａ、人物ＩＤ及び顔検出情報を検出人物情報として記載した後、次のステップＳＰ２０９に移る。

ステップＳＰ２０９においてＣＰＵ１１０は、変数ｉａにｉａ＋１を代入することにより、撮像画像から検出された人物の顔の中から、現在指定している顔の次の顔を指定して、ステップＳＰ２０５に戻る。

以降、ＣＰＵ１１０は、ステップＳＰ２０５で肯定結果を得るまで、すなわち撮像画像から検出された人物に関する検出人物情報を全て人物検出テーブルＴｂ４に記載し終えるまで、ステップＳＰ２０５〜ＳＰ２０９の処理を繰り返す。

そして、全ての検出人物情報を人物検出テーブルＴｂ４に記載し終えたことにより、このステップＳＰ２０５で肯定結果を得ると、ＣＰＵ１１０は、人物検出処理を終了する。

このような人物検出処理により、ＣＰＵ１１０は、撮像画像から人物を検出するようになっている。

次に、上述した自動撮影処理のステップＳＰ４２（図１１）の記録対象人物選定処理について詳しく説明する。

図１４に、記録対象人物選定処理の手順（これを記録対象人物選定処理手順とも呼ぶ）ＳＲＴ３を示す。

ＣＰＵ１１０は、撮像画像から人物が検出されると、検出された人物の中から画像として記録すべき人物を選定する記録対象人物設定処理を開始して、記録対象人物選定処理手順ＳＲＴ３のステップＳＰ３００に移る。

ステップＳＰ３００においてＣＰＵ１１０は、変数ｉに０を代入して、次のステップＳＰ３０１に移る。このときの変数ｉは、検出人物テーブルＴｂ４に記載されている人物（すなわち撮像画像から検出された人物）を人物ｉとして順番に指定する為のものである。

ステップＳＰ３０１においてＣＰＵ１１０は、変数ｉの値が、検出人物テーブルＴｂ４に記載されている人物の数Ｎと等しいか否か判別する。すなわち、このステップＳＰ３０１は、検出人物テーブルＴｂ４に記載されている人物を人物ｉとして全て指定し終えたか否かを判別するステップである。

ここで、まだ全ての人物を人物ｉとして指定し終えていないことにより、このステップＳＰ３０１で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ３０２に移る。

ステップＳＰ３０２においてＣＰＵ１１０は、記録対象人物を選定するときの指標となる、人物ｉに対する記録優先度Ｐ［ｉ］を０に初期化して、次のステップＳＰ３０３に移る。

ステップＳＰ３０３においてＣＰＵ１１０は、変数ｊに０を代入して、次のステップＳＰ３０４に移る。このときの変数ｊは、人物ｉに対して、検出人物テーブルＴｂ４に記載されている人物を人物ｊとして順番に指定する為のものである。

ステップＳＰ３０４においてＣＰＵ１１０は、変数ｊの値が、検出人物テーブルＴｂ４に記載されている人物の数Ｎと等しいか否か判別する。すなわち、このステップＳＰ３０４は、検出人物テーブルＴｂ４に記載されている人物を人物ｊとして全て指定し終えたか否かを判別するステップである。

ここで、まだ全ての人物を人物ｊとして指定し終えていないことにより、このステップＳＰ３０４で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ３０５に移る。

ステップＳＰ３０５においてＣＰＵ１１０は、人物ｉと人物ｊとの関係から人物ｉと人物ｊの組に対する記録優先度Ｐ［ｉ，ｊ］を算出する（算出方法については後述する）。さらにＣＰＵ１１０は、現時点での人物ｉの記録優先度Ｐ［ｉ］に、人物ｉと人物ｊの組に対する記録優先度Ｐ［ｉ，ｊ］を加算して得られた値を、人物ｉの新たな記録優先度Ｐ［ｉ］として、ステップＳＰ３０６に移る。

ステップＳＰ３０６においてＣＰＵ１１０は、変数ｊにｊ＋１を代入することにより、現在指定している人物ｊの次の人物を指定して、ステップＳＰ３０４に戻る。

以降、ＣＰＵ１１０は、ステップＳＰ３０４で肯定結果を得るまで、ステップＳＰ３０４〜ＳＰ３０６までの処理を繰り返す。

この結果、ＣＰＵ１１０は、人物ｉと順に指定した全ての人物ｊとの組ごとに算出した記録優先度Ｐ［ｉ，ｊ］の合計値を、人物ｉの記録優先度Ｐ［ｉ］として得る。

ここで、人物ｉと人物ｊとの組に対する記録優先度Ｐ［ｉ，ｊ］の算出方法について説明する。

記録優先度Ｐ［ｉ，ｊ］は、ｉ≠ｊの場合、すなわち人物ｊが人物ｉではない場合と、ｉ＝ｊの場合、すなわち人物ｊが人物ｉである場合とで算出方法が異なる。

ｉ≠ｊの場合の算出方法は、以下に示す４項目の考え方に基づいている。第１に、人物ｉと人物ｊとが共に人間関係グラフＨｇに登録されている場合に、登録されていない場合と比して記録優先度Ｐ［ｉ，ｊ］を高くする。

第２に、人間関係グラフＨｇ上で、人物ｉと人物ｊとの親密度が高いほど、記録優先度Ｐ［ｉ，ｊ］を高くする。第３に、人間関係グラフＨｇ上で、人物ｉと人物ｊとが共に所属する所属グループの数が多いほど、記録優先度Ｐ［ｉ，ｊ］を高くする。第４に、今回得られた撮像画像をもとに算出した人物ｉと人物ｊとの親密度（算出方法については後述する）が高いほど、記録優先度Ｐ［ｉ，ｊ］を高くする。

ここで、人間関係グラフＨｇに記載されている人物ｉ側から見た人物ｉと人物ｊとの親密度（これを登録親密度とも呼ぶ）をＣｇｒａｐｈ［ｉ，ｊ］とする。ただし、人物ｉと人物ｊのうちの少なくともどちらか一方が人間関係グラフＨｇに存在しない場合、このＣｇｒａｐｈ［ｉ，ｊ］は０とする。

また今回得られた撮像画像をもとに算出した人物ｉ側から見た人物ｉと人物ｊとの親密度（これを現在親密度とも呼ぶ）をＣｎｏｗ［ｉ，ｊ］とする。さらに人物ｉと人物ｊとが共に所属する所属グループの数をＧ［ｉ，ｊ］とする。ただし、人物ｉと人物ｊのうちの少なくともどちらか一方が人間関係グラフＨｇに存在しない場合、このＧ［ｉ，ｊ］も０とする。

このとき上述した４項目の考え方に基づくと、記録優先度Ｐ［ｉ，ｊ］は、例えば、次式（２）により表される。

Ｐ［ｉ，ｊ］＝Ｗａ・Ｃｇｒａｐｈ［ｉ，ｊ］＋Ｗｂ・Ｃｎｏｗ［ｉ，ｊ］＋
Ｗｃ・Ｇ［ｉ，ｊ］ ……（２）

尚、Ｗａ、Ｗｂ、Ｗｃの各々は、Ｃｇｒａｐｈ［ｉ，ｊ］、Ｃｎｏｗ［ｉ，ｊ］、Ｇ［ｉ，ｊ］の各々に対して重み付けを行う為の重み係数である。

またこの記録優先度Ｐ［ｉ，ｊ］を算出するうえで必要となる、現在親密度Ｃｎｏｗ［ｉ，ｊ］の算出方法は、以下に示す３項目の考え方に基づいている。

第１に、撮像画像内における人物ｉと人物ｊとの距離が近いほど、Ｃｎｏｗ［ｉ，ｊ］を高くする。この場合、例えば、顔領域複数個分（例えば５個分）の距離を基準距離とする。そして、人物ｉと人物ｊとの距離が、基準距離と等しければ、Ｃｎｏｗ［ｉ，ｊ］を０、基準距離以下であれば＋（正）の値、基準距離より離れていれば−（負）の値となるようにする。

第２に、撮像画像内における人物ｉと人物ｊの顔の向きが向かい合っていれば、Ｃｎｏｗ［ｉ，ｊ］を高くし、向かい合っていなければ、Ｃｎｏｗ［ｉ，ｊ］を低くする。この場合、例えば、向かい合っていれば、Ｃｎｏｗ［ｉ，ｊ］を＋の値、向かい合っていなければ、−の値とする。

第３に、撮像画像内における人物ｉと人物ｊの笑顔度が大きいほど、Ｃｎｏｗ［ｉ，ｊ］を高くする。この場合、例えば、人物ｉの笑顔度と人物ｊの笑顔度の合計値をＣｎｏｗ［ｉ，ｊ］とする。ゆえに、例えば、人物ｉも人物ｊも笑顔でないとすれば、Ｃｎｏｗ［ｉ，ｊ］の値は−の値となる。

このように、撮像画像内における人物ｉと人物ｊとの距離、顔の向き、笑顔度などをもとに、＋の値から−の値を取り得る現在親密度Ｃｎｏｗ［ｉ，ｊ］を算出するようになっている。尚、この場合、３項目の考え方のいずれか１つに限らず、複数を組み合わせて現在親密度Ｃｎｏｗ［ｉ，ｊ］を算出するようにしてもよい。

そして、これら３項目の考え方に基づく所定の演算式により、Ｃｎｏｗ［ｉ，ｊ］が算出される。このとき、ＣＰＵ１１０は、検出人物テーブルＴｂ４に記載されている、人物ｉと人物ｊの顔座標、顔の向き、笑顔度を用いて、このＣｎｏｗ［ｉ，ｊ］を算出するようになっている。

これに対して、ｉ＝ｊの場合の算出方法は、以下に示す２項目の考え方に基づいている。第１に、人間関係グラフＨｇ上で、人物ｉの記録枚数（すなわち過去に記録された画像の枚数）が多いほど、記録優先度Ｐ［ｉ，ｊ］を高くする。第２に、自動撮影を開始してから現在までに記録された人物ｉの画像の枚数が少ないほど、記録優先度Ｐ［ｉ，ｊ］を高くする。

ここで、人間関係グラフＨｇに記載されている人物ｉの記録枚数をＮｇｒａｐｈ［ｉ］とする。また自動撮影を開始してから現在までに記録された人物ｉの画像の枚数をＮｎｏｗ［ｉ］とする。

このとき上述した２項目の考え方に基づくと、記録優先度Ｐ［ｉ，ｊ］は、次式（３）により表される。

Ｐ［ｉ，ｊ］＝Ｗｄ・Ｎｇｒａｐｈ［ｉ］＋Ｗｅ／（Ｎｎｏｗ［ｉ］＋１）
……（３）

尚、Ｗｄ、Ｗｅの各々は、Ｎｇｒａｐｈ［ｉ］、Ｎｎｏｗ［ｉ］の各々に対して重み付けを行う為の重み係数である。

このような算出方法により、人物ｉと人物ｊとの組に対する記録優先度Ｐ［ｉ，ｊ］が算出される。

ところで、上述した重み係数Ｗａ、Ｗｂ、Ｗｃ、Ｗｄ、Ｗｅの各々の値は、固定でもよいし、動的に変化させるようにしてもよい。

動的に変化させる場合、まずユーザに、過去の親密度を優先するか、現在の親密度を優先するかを選択させる。

ここで、過去の親密度を優先するよう選択された場合、ＣＰＵ１１０は、Ｗａ、Ｗｃ、Ｗｄ＞Ｗｂとなるように、Ｗａ、Ｗｃ、Ｗｄ、Ｗｂを変化させる。すなわち、撮像画像から得られる現在の親密度よりも、人間関係グラフＨｇに記載されている過去の親密度に対する重み付けを大きくする。

一方、現在の親密度を優先するよう選択された場合、ＣＰＵ１１０は、Ｗａ、Ｗｃ、Ｗｄ＜Ｗｂとなるように、Ｗａ、Ｗｃ、Ｗｄ、Ｗｂを変化させる。すなわち、撮像画像から得られる現在の親密度を、人間関係グラフＨｇに記載されている過去の親密度に対する重み付けよりも大きくする。

これにより、過去の親密度と現在の親密度のどちらかを優先して、記録優先度Ｐ［ｉ，ｊ］を算出することができる。

ここで、再び記録対象人物選定処理手順ＳＲＴ３の説明に戻る。ＣＰＵ１１０は、人物ｉと順に指定した全ての人物ｊとの組ごとに算出した記録優先度Ｐ［ｉ，ｊ］の合計値を、人物ｉの記録優先度Ｐ［ｉ］として得て、上述のステップＳＰ３０４で肯定結果を得ると、ステップＳＰ３０７に移る。

ステップＳＰ３０７においてＣＰＵ１１０は、変数ｉにｉ＋１を代入することにより、現在指定している人物ｉの次の人物を指定して、ステップＳＰ３０１に戻る。

以降、ＣＰＵ１１０は、ステップＳＰ３０１で肯定結果を得るまで、すなわち撮像画像から検出された全ての人物の記録優先度Ｐ［ｉ］を算出し終えるまで、ステップＳＰ３０１〜ステップＳＰ３０７の処理を繰り返す。

そして、全ての人物の記録優先度Ｐ［ｉ］を算出し終えたことにより、このステップＳＰ３０１で肯定結果を得ると、ＣＰＵ１１０は、ステップＳＰ３０８に移る。

ステップＳＰ３０８においてＣＰＵ１１０は、撮像画像から検出されたＮ人分の記録優先度Ｐ［ｉ］の平均値と標準偏差を算出して、次のステップＳＰ３０９に移る。

ステップＳＰ３０９においてＣＰＵ１１０は、ステップＳＰ３０９で算出した平均値と標準偏差とをもとに各記録優先度Ｐ［ｉ］の偏差値を算出する。さらにＣＰＵ１１０は、記録優先度Ｐ［ｉ］の偏差値が例えば６０以上である人物を、記録対象人物として選定する。そしてＣＰＵ１１０は、この人物の検出人物情報（顔番号ｉａ、人物ＩＤ及び顔検出情報）を検出人物テーブルＴｂ４から得て、これを記録対象人物情報として、図１５に示す記録対象人物テーブルＴｂ５に記載する。

記録対象人物テーブルＴｂ５は、検出人物テーブルＴｂに記載された人物の中から、記録対象人物として選定された人物を管理する為のテーブルであり、人物ごとに、顔番号と人物ＩＤと顔検出情報とが、記録対象人物情報として記載される。

ＣＰＵ１１０は、このような記録対象人物テーブルＴｂ５に対して、記録対象人物として選定した人物の記録対象人物情報を記載して、記録対象人物選定処理ＳＲＴ３を終了する。

このような記録対象人物選定処理により、ＣＰＵ１１０は、撮像画像から検出した人物の中から、記録対象人物を選定するようになっている。

次に、上述した自動撮影処理のステップＳＰ４４（図１１）で決定する撮影パラメータについて詳しく説明する。

ＣＰＵ１１０は、撮像画像から検出した人物の中から、画像として記録すべき人物を記録対象人物として選定し終えると、この記録対象人物の撮影に適した構図及びカメラ設定となるように撮影パラメータを決定する。

ここで決定する撮影パラメータは、例えば、ズーム倍率、パン方向の向き及び移動量、チルト方向の向き及び移動量、露出、フォーカス、記録タイミングなどである。

このうち、ズーム倍率、パン方向の向き及び移動量、チルト方向の向き及び移動量は、記録対象人物を、最適な構図で撮影する為の撮影パラメータである。

ＣＰＵ１１０は、撮影パラメータ決定処理で、これらの撮影パラメータを決定するようになっている。

具体的に、ＣＰＵ１１０は、まず記録対象人物の顔領域の中心が撮像画像の中心となるように、パン方向の向き及び移動量と、チルト方向の向き及び移動量とを決定する。つまり、撮影方向を決定する。因みに、記録対象人物が２人の場合には、２人の顔領域の中心を結ぶ直線の中心が撮像画像の中心となるようにする。また記録対象人物が３人以上の場合には、これらの顔領域の中心を結んでなる多角形の重心が撮像画像の中心となるようにする。

そしてＣＰＵ１１０は、このようにして決定したパン方向の向き及び移動量と、チルト方向の向き及び移動量とに基づいて、クレードル１０２の雲台部１０２Ａを制御する。この結果、撮像画像の中心に記録対象人物を捉えた構図となる。

さらにＣＰＵ１１０は、記録対象人物の顔領域の総面積が、撮像画像の面積に対して一定の割合（例えば１０％程度）となるように、ズーム倍率を決定する。

そしてＣＰＵ１１０は、このようにして決定したズーム倍率に基づき、撮像制御部１１６を介して撮像部１１５を制御する。この結果、図１６に示すように、撮像画像の中心に一定の大きさで記録対象人物を捉えた構図、すなわち記録対象人物の撮影に適した構図となる。

また露出、フォーカス、記録タイミングは、記録対象人物を最適なカメラ設定で撮影する為の撮影パラメータである。

ＣＰＵ１１０は、構図を決定した後、撮像画像上に、全ての記録対象人物の顔領域を包含する仮想的な矩形を描き、この矩形内の部分に適した露出及びフォーカス（焦点距離）を決定する。尚、露出は、絞り、シャッタスピード、ＩＳＯ感度などの露出に関するパラメータにより決定するものである為、ＣＰＵ１１０は、実際、これらのパラメータを決定するようになっている。

そしてＣＰＵ１１０は、このようにして決定した露出及びフォーカスに基づき、撮像制御部１１６を介して撮像部１１５を制御する。ここまでの制御により、記録対象人物の撮影に適した構図、露出及びフォーカスとなる。

そのうえで、ＣＰＵ１１０は、記録タイミングを決定する。この記録タイミングは、例えば、所定時間後のように固定値であってもよいし、記録対象人物の笑顔度を定期的に検出してこの笑顔度が所定値以上になった時点でもよい。

そしてＣＰＵ１１０は、このようにして決定した記録タイミングで、上述したステップＳＰ４５の画像記録処理を行うことにより撮像画像を記録する。

このように、ＣＰＵ１１０は、記録対象人物の撮影に適した構図及びカメラ設定となるように、ズーム倍率、パン方向とチルト方向の向き及び移動量、露出、フォーカス、記録タイミングなどの撮影パラメータを決定するようになっている。

次に、上述した自動撮影処理のステップＳＰ４５の画像記録処理について詳しく説明する。

図１７に、画像記録処理の手順（これを画像記録処理手順とも呼ぶ）ＳＲＴ４を示す。

ＣＰＵ１１０は、撮影パラメータを決定することで、記録対象人物の撮影に適した構図及びカメラ設定とすると、記録対象人物の画像を記録する画像記録処理を開始して、画像記録処理手順ＳＲＴ４のステップＳＰ４００に移る。

ステップＳＰ４００においてＣＰＵ１１０は、記録モードを選択する。記録モードとしては、撮像画像を静止画像として記録する静止画像記録モードと、動画像として記録する動画像記録モードがある。また一時的に記録した複数の静止画像の中から、記録対象人物の静止画像として最適な静止画像を選択して記録する最適画像記録モードがある。

ＣＰＵ１１０は、これら３つの記録モードのうちの１つを選択する。この場合、ユーザにより指定された記録モードを選択するようにしてもよいし、ＣＰＵ１１０が自動的に記録モードを選択するようにしてもよい。

ここで、ＣＰＵ１１０が、記録モードを自動的に選択する場合、例えば、以下の４つの方法が考えられる。第１の方法として、記録モードをランダムに選択する。

第２の方法として、記録対象人物の人数に基づいて記録モードを選択する。この場合、ＣＰＵ１１０は、記録対象人物の人数が例えば５人以下であれば、静止画像記録モードを選択し、６人以上であれば動画像記録モードを選択する。

因みに、この第２の方法で動画像記録モードを選択した場合、ＣＰＵ１１０は、例えば、まず記録対象人物全員を撮像画像内に捉え、その後、記録対象人物を１人ずつ順に撮像画像の中心に捉えるように撮影方向を変えながら動画像を記録する。

第３の方法として、記憶媒体１２０の残容量に基づいて記録モードを選択する。この場合、ＣＰＵ１１０は、記憶媒体１２０の残容量が、所定容量（例えば動画像を１分間記録し得る容量）以上であれば動画像記録モードを選択し、この所定容量未満であれば静止画像記録モードを選択する。

第４の方法として、撮像画像内の現在親密度の合計値に基づいて記録モードを選択する。この場合、ＣＰＵ１１０は、撮像画像から記録対象人物間の現在親密度の合計値を算出して、この合計値が所定値（例えば１００）以上であれば、最適画像選択モードを選択する。またＣＰＵ１１０は、この合計値が所定値未満であれば、第１乃至第３の方法で記録モードを選択する。すなわち、この第４の方法では、親しい人物の集合を撮影するような場合に、最適画像選択モードを選択するようになっている。

ＣＰＵ１１０は、これら第１乃至第４の方法のうちの１つを用いて、記録モードを選択したのち、ステップＳＰ４０１に移る。ステップＳＰ４０１においてＣＰＵ１１０は、選択した記録モードを確認する。

このステップＳＰ４０１で、選択した記録モードが静止画像記録モードであることを確認すると、ＣＰＵ１１０は、ステップＳＰ４０２に移る。ステップＳＰ４０２においてＣＰＵ１１０は、このときの撮像画像を、画像処理部１１７に入力して、これを静止画像データとしてエンコードさせ、次のステップＳＰ４０３に移る。

ステップＳＰ４０３においてＣＰＵ１１０は、エンコードの結果として画像処理部１１７から得られた静止画像データを、静止画像ファイルとして記憶媒体１２０に記憶させて、画像記録処理を終了する。

また上述のステップＳＰ４０１で、選択した記録モードが動画像記録モードであることを確認した場合、ＣＰＵ１１０は、ステップＳＰ４０４に移る。ステップＳＰ４０４においてＣＰＵ１１０は、このときの撮像画像を、画像処理部１１７に入力して、これを動画像データとしてエンコードさせると共に、マイクロホン１２２から入力される音声を音声データとしてエンコードする。

その後、ＣＰＵ１１０は、ステップＳＰ４０５に移り、動画像の記録を終了するか否かの判定（これを記録終了判定とも呼ぶ）を行う。具体的に、ＣＰＵ１１０は、以下の複数の条件のうちの１つもしくは複数に基づいて、この記録終了判定を行うようになっている。

第１の条件として、記録対象人物のうちの少なくとも一人がフレームアウトしたら、記録を終了する。第２の条件として、記録対象人物のうちの所定割合（例えば５０％）以上の人物がフレームアウトしたら、記録を終了する。

第３の条件として、動画像内の記録対象人物間の現在親密度の合計値が、記録開始時の合計値から所定割合（例えば２０％）以上減少したら、記録を終了する。第４の条件として、記録開始時からの経過時間が、予め設定された時間（例えば１分間）を超えていたら、記録を終了する。

尚、第１の条件及び第２の条件は、撮影方向を固定した状態で、動画像を記録しているときにのみ適用されるものとする。

これらの条件に基づいて、記録終了判定を行った後、ＣＰＵ１１０は、ステップＳＰ４０６に移る。

ステップＳＰ４０６においてＣＰＵ１１０は、記録終了判定の結果として、動画像の記録を終了すると判定したか否かを判別する。このステップＳＰ４０６で否定結果を得ると、このことはまだ動画像の記録を継続することを意味する。このときＣＰＵ１１０は、ステップＳＰ４０４に戻り、次の撮像画像を、画像処理部１１７に入力して、動画像のエンコードを継続すると共に、音声のエンコードを継続する。

以降、ＣＰＵ１１０は、ステップＳＰ４０６で肯定結果を得るまで、すなわち動画像の記録を終了すると判定するまで、ステップＳＰ４０４〜ＳＰ４０７の処理を繰り返すことで動画像の記録を継続する。

そして、動画像の記録を終了すると判定したことにより、このステップＳＰ４０６で肯定結果を得ると、ＣＰＵ１１０は、ステップＳＰ４０３に移り、これまでに得られた動画像データと音声データとからなる動画像音声データを、動画像ファイルとして記憶媒体１２０に記憶させ、画像記録処理を終了する。

さらに上述のステップＳＰ４０１で、選択した記録モードが最適画像記録モードであることを確認した場合、ＣＰＵ１１０は、ステップＳＰ４０７に移る。ステップＳＰ４０７においてＣＰＵ１１０は、このときの撮像画像を、画像処理部１１７に入力して、これを静止画像データとしてエンコードさせ、次のステップＳＰ４０８に移る。

ステップＳＰ４０８においてＣＰＵ１１０は、エンコードの結果として画像処理部１１７から得られた静止画像データを、静止画像ファイルとして記憶媒体１２０のバッファ領域に一時記憶させて、次のステップＳＰ４０９に移る。

ステップＳＰ４０９においてＣＰＵ１１０は、静止画像の記録を終了するか否かを判定する記録終了判定を行う。具体的に、ＣＰＵ１１０は、以下の複数の条件のうちの１つもしくは複数に基づいて、この記録終了判定を行うようになっている。

第１の条件として、記録対象人物のうちの少なくとも一人がフレームアウトしたら、記録を終了する。第２の条件として、記録対象人物のうちの所定割合（例えば５０％）以上の人物がフレームアウトしたら、記録を終了する。

第３の条件として、静止画像内の記録対象人物間の現在親密度の合計値が、１枚目の静止画像から得られた現在親密度の合計値から所定割合（例えば２０％）以上減少したら、記録を終了する。この場合、ＣＰＵ１１０が、静止画像ごとに、記録対象人物間の現在親密度の合計値を算出するようにする。

第４の条件として、記録開始時からの経過時間が、予め設定された時間（例えば１分間）を超えていたら、記録を終了する。第５の条件として、記録開始時からの静止画像の記録枚数が、予め設定された枚数（例えば２０枚）に達したら、記録を終了する。

これらの条件に基づいて、記録終了判定を行った後、ＣＰＵ１１０は、ステップＳＰ４１０に移る。

ステップＳＰ４１０においてＣＰＵ１１０は、記録終了判定の結果として、静止画像の記録を終了すると判定したか否かを判別する。このステップＳＰ４１０で否定結果を得ると、このことはまだ静止画像の記録を継続することを意味する。このときＣＰＵ１１０は、ステップＳＰ４０７に戻り、次の撮像画像を、画像処理部１１７に入力して、これを静止画像データとしてエンコードする。

以降、ＣＰＵ１１０は、ステップＳＰ４１０で肯定結果を得るまで、すなわち静止画像の記録を終了すると判定するまで、ステップＳＰ４０４〜ＳＰ４０７の処理を繰り返すことで静止画像を連続して記録する。

そして、静止画像の記録を終了すると判定したことにより、このステップＳＰ４１０で肯定結果を得ると、ＣＰＵ１１０は、ステップＳＰ４１１に移る。

ステップＳＰ４１１においてＣＰＵ１１０は、これまでに記憶媒体１２０のバッファに一時記録させた複数の静止画像ファイルの中から、記録対象人物の静止画像として最適な静止画像ファイルを選択する。

ここで、ＣＰＵ１１０が、最適な静止画像ファイルを選択する場合、例えば、以下の４つの方法が考えられる。第１の方法として、静止画像ごとに記録対象人物間の現在親密度の合計値を算出して、この合計値が最大の静止画像を選択する。第２の方法として、静止画像ごとに記録対象人物の笑顔度の合計値を算出して、この合計値が最大の静止画像を選択する。

第３の方法として、向き合っている記録対象人物の数が多い静止画像を選択する。この場合、ＣＰＵ１１０は、各記録対象人物の顔座標と顔の向きをもとに、記録対象人物ごとに、他の記録対象人物のうちの何人と向き合っているかを判別する。

第４の方法として、静止画像ごとに鮮鋭度を算出して、この鮮鋭度が最大の生成画像を選択する。尚、鮮鋭度については、既存の算出方法で算出すればよい。

ＣＰＵ１１０は、これら第１乃至第４の方法のうちの１つまたは複数を用いて、記録対象人物の静止画像として最適な静止画像ファイルを選択した後、次のステップＳＰ４０３に移る。

ステップＳＰ４０３においてＣＰＵ１１０は、選択した静止画像ファイルを記憶媒体１２０のバッファ領域から通常記憶領域に移して、残りの静止画像ファイルをバッファ領域から消去させて、画像記録処理を終了する。

このような画像記録処理により、ＣＰＵ１１０は、記録対象人物の画像を記録するようになっている。

次に、上述した自動撮影処理のステップＳＰ４６（図１１）の記録履歴更新処理について詳しく説明する。

図１８に、記録履歴更新処理の手順（これを記録履歴更新処理とも呼ぶ）ＳＲＴ５を示す。尚、この記録履歴更新処理手順ＳＲＴ５は、一部を除き、上述した人間関係グラフ更新処理手順ＲＴ２（図９及び図１０）と同一であり、同一部分については、簡単に説明する。

ＣＰＵ１１０は、記録対象人物の画像を記録し終えると、これにともなって記録履歴を更新する記録履歴更新処理を開始して、記録履歴更新処理手順ＳＲＴ５のステップＳＰ５００に移る。

ステップＳＰ５００においてＣＰＵ１１０は、変数ｉに０を代入して、次のステップＳＰ５０１に移る。このときの変数ｉは、記録対象人物テーブルＴｂ５に記載されている記録対象人物を記録対象人物ｉとして順番に指定する為のものである。

ステップＳＰ５０１においてＣＰＵ１１０は、変数ｉの値が、記録対象人物テーブルＴｂ５に記載されている記録対象人物の数Ｎと等しいか否か判別する。すなわち、このステップＳＰ５０１は、記録対象人物を全て指定し終えたか否かを判別するステップである。

ここで、まだ全ての記録対象人物を指定し終えていないことにより、このステップＳＰ５０１で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ５０２に移る。

ステップＳＰ５０２においてＣＰＵ１１０は、記録した画像から記録対象人物ｉの顔領域を顔画像として切り出して、次のステップＳＰ５０３に移る。尚、記録した画像が静止画像であれば、この静止画像から顔画像を切り出す一方で、動画像であれば、この動画像の例えば先頭フレームの画像から顔画像を切り出す。

ステップＳＰ５０３においてＣＰＵ１１０は、上述した顔画像登録処理を行うことにより、記録対象人物ｉの顔画像を顔辞書テーブルＴｂ３に登録して、次のステップＳＰ５０４に移る。

ステップＳＰ５０４においてＣＰＵ１１０は、今回、記録対象人物ｉが撮影されたことから、自動撮影を開始してから現在までに記録された記録対象人物ｉの画像の枚数（Ｎｎｏｗ［ｉ］）を、現在の値＋１に更新して、次のステップＳＰ５０５に移る。

ステップＳＰ５０５においてＣＰＵ１１０は、変数ｉにｉ＋１を代入することにより、次の記録対象人物を指定して、ステップＳＰ５０１に戻る。

以降、ＣＰＵ１１０は、ステップＳＰ５０１で肯定結果を得るまで、すなわち全ての記録対象人物ｉの顔画像を顔辞書テーブルＴｂ３に登録して、記録枚数（Ｎｎｏｗ［ｉ］）を更新し終えるまで、ステップＳＰ５０１〜ＳＰ５０６の処理を繰り返す。

そして、全ての記録対象人物ｉの顔画像を顔辞書テーブルＴｂ３に登録して、記録枚数を更新し終えたことにより、このステップＳＰ５０１で肯定結果を得ると、ＣＰＵ１１０は、ステップＳＰ５０６に移る。

ここまでの処理により、記録履歴のうちの、自動撮影を開始してから現在までに記録した各人物の画像の枚数と、顔辞書Ｆｄの更新が終了したことになる。

ステップＳＰ５０６においてＣＰＵ１１０は、再び変数ｉに０を代入して、次のステップＳＰ５０７に移る。このときの変数ｉは、記録対象人物テーブルＴｂ５に記載されている記録対象人物を記録対象人物ｉとして順番に指定する為のものである。

ステップＳＰ５０７においてＣＰＵ１１０は、変数ｉの値が、記録対象人物テーブルＴｂ５に記載されている記録対象人物の数Ｎと等しいか否か判別する。すなわち、このステップＳＰ５０７は、記録対象人物を全て指定し終えたか否かを判別するステップである。

ここで、まだ全ての記録対象人物を指定し終えていないことにより、このステップＳＰ５０７で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ５０８に移る。

ステップＳＰ５０８においてＣＰＵ１１０は、上述した人間関係グラフ更新処理のステップＳＰ２８〜ＳＰ３６（図９、図１０）の処理を行うことにより、記録対象人物ｉに関して人間関係グラフＨｇを更新して、次のステップＳＰ５０９に移る。

ステップＳＰ５０９においてＣＰＵ１１０は、変数ｉにｉ＋１を代入することにより、次の記録対象人物を指定して、ステップＳＰ５０７に戻る。

以降、ＣＰＵ１１０は、ステップＳＰ５０７で肯定結果を得るまで、すなわち全ての記録対象人物ｉに関して人間関係グラフＨｇを更新し終えるまで、ステップＳＰ５０７〜ＳＰ５０９の処理を繰り返す。

そして、全ての記録対象人物ｉに関して人間関係グラフＨｇを更新し終えたことにより、このステップＳＰ５０７で肯定結果を得ると、ＣＰＵ１１０は、ステップＳＰ５１０に移る。

ステップＳＰ５１０においてＣＰＵ１１０は、更新し終えた人間関係グラフＨｇのグラフ構造をもとに、人間関係グラフＨｇに記録されている各人物の所属グループを更新する。

ここまでの処理により、記録履歴（自動撮影を開始してから現在までに記録した各人物の画像の枚数と、顔辞書Ｆｄと人間関係グラフ）の更新が終了したことになる。すると、ＣＰＵ１１０は、記録履歴更新処理を終了する。

このような記録履歴更新処理により、ＣＰＵ１１０は、記録履歴を更新するようになっている。

ここまで説明した各処理により、ＤＳＣ１０１は、雲台部１０２Ａを制御して撮影方向を変えながら、撮像画像から検出した人物の中から記録対象人物を選定して、この人物に適した構図及びカメラ設定で自動撮影を行うようになっている。

この自動撮影は、ＣＰＵ１１０が自動撮影プログラムを実行することで実現される機能である。ここで、この自動撮影プログラムの実行に直接関与するハードウェアとデータについて説明する。

図１９に示すように、自動撮影プログラムＡｐは、ＲＯＭ１１１に格納されている。この自動撮影プログラムＡｐは、ＲＡＭ１１２に展開された後、ＣＰＵ１１０に読み込まれるようになっている。

また自動撮影プログラムの実行に必要なデータは、記憶媒体１２０に記憶されている。このデータは、上述した人間関係グラフＨｇの人物属性テーブルＴｂ１及び親密度テーブルＴｂ２、顔辞書Ｆｄの顔辞書テーブルＴｂ３、顔画像ファイルＦｐなどである。

これらのデータは、適宜、記憶媒体制御部１１９を介してＲＡＭ１１２に展開された後、ＣＰＵ１１０により読み込まれるようになっている。

具体的に、ＣＰＵ１１０は、自動撮影プログラムをＲＯＭ１１２から読み込んで実行することで、各部を制御して上述した自動撮影を行う。このときＣＰＵ１１０は、必要なデータを記憶媒体制御部１１９を介して記憶媒体１２０から読み込み、更新したデータについては、記憶媒体制御部１１９を介して記憶媒体１２０に書き戻す。

このようにＣＰＵ１１０は、自動撮影プログラムを実行するうえで、プログラム及びデータの読み込み、プログラムの実行、プログラム実行結果（例えば更新したデータ）の出力を担うようになっている。

［１−２−４．ＤＳＣの機能構成］
次に、自動撮影プログラムを実行したときのＣＰＵ１１０のソフトウェア的な機能構成について図２０を用いて説明する。

ＣＰＵ１１０は、自動撮影プログラムを実行することにより、撮像制御部１１６を介して撮像部１１５のカメラ制御を行うカメラ制御部２００として機能する。またＣＰＵ１１０は、外部インタフェース１２７を介してクレードル１０２を制御するクレードル制御部２０１として機能する。

さらにＣＰＵ１１０は、画像（例えばカメラ制御部２００を介して得られた撮像画像）Ｐｉから人物を検出して、この人物の情報（検出人物情報）を検出人物テーブルＴｂ４に記載する人物検出部２０２として機能する。

またＣＰＵ１１０は、人物検出部２０２により検出した人物の中から、記録対象人物を選定して、この人物の情報（記録対象人物情報）を記録対象人物テーブルＴｂ５に記載する記録対象人物選定部２０３として機能する。

さらにＣＰＵ１１０は、記録対象人物選定部２０３により選定された記録対象人物の撮影に適した構図及びカメラ設定となるように撮影パラメータを決定する撮影パラメータ決定部２０４として機能する。

この撮影パラメータ決定部２０４により決定された撮影パラメータは、カメラ制御部２００及びクレードル制御部２０１に渡される。カメラ制御部２００は、この撮影パラメータに基づいて、撮像制御部１１６を介して撮像部１１５のズーム、カメラ設定などを制御する。またクレードル制御部２０１は、この撮影パラメータに基づいて、外部インタフェース１２７を介してクレードル１０２の雲台部１０２Ａのパン・チルト機構を制御する。

さらにＣＰＵ１１０は、カメラ制御部２００を介して得られる撮像画像Ｐｉを記録する画像記録部２０５として機能する。さらにＣＰＵ１１０は、撮像画像Ｐｉの記録にともなって、記録履歴を更新する記録履歴更新部２０６として機能する。

さらにＣＰＵ１１０は、記憶媒体制御部１１９を介して記憶媒体１２０へのデータの読み書きを制御するデータアクセス部２０７として機能する。データアクセス部２０７は、人物検出部２０２、記録対象人物選定部２０３、画像記録部２０５及び記録履歴更新部２０６と、記憶媒体制御部１１９との間で、記憶媒体１２０に記憶されているデータの授受を行う。

このような機能構成により、ＣＰＵ１１０は、上述した自動撮影を実現するようになっている。

［１−２−５．動作及び効果］
以上の構成において、ＤＳＣ１０１は、クレードル１０２に載置された状態で、自動撮影モードに切り替えるよう指示されると、自動撮影モードで動作する。

するとＤＳＣ１０１は、クレードル１０２の雲台部１０２Ａのパン・チルト機構を制御することにより撮影方向を決定して、このとき得られる撮像画像から人物を検出する。

次にＤＳＣ１０１は、検出した人物の中から画像として記録すべき記録対象人物を選定する。このときＤＳＣ１０１は、人間関係グラフＨｇを用いて、検出した人物ごとに記録優先度を算出する。このとき算出される記録優先度は、検出された他の人物との関係性が高い人物ほど高くなるようになっている。そしてＤＳＣ１０１は、この記録優先度に基づいて記録対象人物を選定する。

記録対象人物を選定し終えると、ＤＳＣ１０１は、記録対象人物の撮影に適した構図及びカメラ設定となるように撮影パラメータを決定する。

そしてＤＳＣ１０１は、この撮影パラメータに基づいて各部を制御することで、記録対象人物の撮影に適した構図及びカメラ設定で、記録対象人物の画像を記録する。

このようにして画像を記録し終えると、ＤＳＣ１０１は、撮影方向を別の方向に変えて、再び上述の動作を繰り返す。

このように、ＤＳＣ１０１は、自動的に撮影方向を変えながら、そのときどきの撮像画像から検出した人物の中から、他の検出した人物との関係性が高い人物を選んで、この人物の撮影に適した撮影パラメータでこの人物を自動撮影する。

こうすることで、ＤＳＣ１０１は、ユーザの手を煩わすことなく、関係性が高い人物同士（例えば仲の良い人物同士）が際立つ画像を自動的に記録することができる。すなわちＤＳＣ１０１は、被写体となる人物にとって有用で価値のある画像を自動的に記録することができる。

またＤＳＣ１０１は、記録優先度を算出するときに、検出した他の人物と共に人間関係グラフＨｇに記載されている人物の記録優先度を高くするようにした。こうすることで、ＤＳＣ１０１は、検出した他の人物と共に人間関係グラフＨｇに記載されている人物（つまり過去に撮影したことのある人物）を優先的に撮影することができる。

さらにＤＳＣ１０１は、検出した他の人物との過去の親密度（人間関係グラフＨｇに記載されている親密度）が高い人物ほど、記録優先度を高くするようにした。こうすることで、ＤＳＣ１０１は、検出した他の人物との過去の親密度が高い人物を優先的に撮影することができる。

さらにＤＳＣ１０１は、検出した他の人物と同じ所属グループ（人間関係グラフＨｇに記載されている所属グループ）に属している人物の記録優先度を高くするようにした。こうすることで、ＤＳＣ１０１は、検出した他の人物と同じ所属グループに属している人物を優先的に撮影することができる。

さらにＤＳＣ１０１は、検出した他の人物との現在の親密度（撮像画像から得られた親密度）が高い人物ほど、記録優先度を高くするようにした。こうすることで、ＤＳＣ１０１は、検出した他の人物との現在の親密度が高い人物を優先的に撮影することができる。

さらにＤＳＣ１０１は、過去に記録された画像の枚数（人間関係グラフＨｇに記載されている記録枚数）が多い人物ほど、記録優先度を高くするようにした。こうすることでＤＳＣ１０１は、過去に記録された画像の枚数が多い人物を優先的に撮影することができる。

さらにＤＳＣ１０１は、自動撮影を開始してから、現在までに記録された画像の枚数が少ない人物ほど、記録優先度を高くするようにした。こうすることでＤＳＣ１０１は、自動撮影時に、撮影する人物に偏りが生じてしまうことを防止することができる。

次にＤＳＣ１０１は、検出した人物の中から画像として記録すべき記録対象人物を選定する。このときＤＳＣ１０１は、人間関係グラフＨｇを利用して、検出した人物ごとに記録優先度を算出する。このとき算出される記録優先度は、検出された他の人物との関係性が高い人物ほど高くなるようになっている。そしてＤＳＣ１０１は、この記録優先度に基づいて記録対象人物を選定する。

またＤＳＣ１０１は、記録対象人物の画像を記録するときのモードとして、動画像記録モードを有している。この動画像記録モードでは、ＤＳＣ１０１は、記録対象人物を一人ずつ順に撮像画像の中心に捉えるように撮影方向を変えながら動画像を記録する。こうすることで、ＤＳＣ１０１は、記録対象人物の各々を順に注目していくような動画像を記録することができる。この動画像記録モードは、記録対象人物の数が多すぎて、そのままでは誰に注目しているのかわからなくなってしまうような場合に効果的である。

さらにＤＳＣ１０１は、画像を記録するときのモードとして、複数の静止画像の中から最適な静止画像を選択して記録する最適画像記録モードを有している。この最適画像記録モードでは、ＤＳＣ１０１は、複数の静止画像の中から、記録対象人物同士の親密度が最も高い画像、もしくは鮮鋭度が最も高い画像を選択して記録する。こうすることで、ＤＳＣ１０１は、複数の静止画像の中から、被写体となる人物にとって最も有用と思われる画像を記録することができる。

またＤＳＣ１０１は、記録した画像から、記録対象人物同士の親密度を算出して、この親密度を、人間関係グラフＨｇにフィードバックすることで、人間関係グラフＨｇを更新する。こうすることで、ＤＳＣ１０１は、ユーザの手を煩わすことなく、画像を記録するごとに、自動的に人間関係グラフＨｇを更新することができる。

以上の構成によれば、ＤＳＣ１０１は、人間関係グラフＨｇを用いて、撮像画像に含まれている人物の中から画像として記録すべき人物（記録対象人物）を選定し、この人物の撮影に適した構図及びカメラ設定で自動的に撮影を行うようにした。これにより、ＤＳＣ１０１は、関係性が高い人物同士を自動的に撮影することなどができ、かくして被写体となる人物にとって有用な画像（例えば仲の良い人が一緒に写っている画像）自動的に撮影することができる。

＜２．他の実施の形態＞
［２−１．他の実施の形態１］
尚、上述した実施の形態では、ＤＳＣ１０１が、自動的に人間関係グラフＨｇを更新するようにした。これに限らず、更新された人間関係グラフＨｇをユーザが編集できるようにしてもよい。この場合、ＣＰＵ１１０は、人間関係グラフＨｇの人物属性テーブルＴｂ１と親密度テーブルＴｂ２とをディスプレイ１１４に表示させ、操作部１１３の操作に応じてこれらに記載された内容を更新する。同様に、顔辞書Ｆｄについても、ユーザが編集できるようにしてもよい。

［２−２．他の実施の形態２］
また、上述した実施の形態では、ＤＳＣ１０１が、動画像も静止画像と同様１つの画像として扱い、例えば、自動撮影モードで動画像を記録した場合、画像の記録枚数を現在の値＋１と更新するようにした。これに限らず、動画像を複数の画像として扱うようにしてもよい。

例えば、動画像を記録した場合に、この動画像に、或る人物が含まれるフレームがＮ個あったとする。この場合、ＤＳＣ１０１は、この人物の画像の記録枚数を現在の値＋Ｎと更新する。このように、動画像を、静止画像（すなわちフレーム）の集合として扱うようにしてもよい。

［２−３．他の実施の形態３］
さらに、上述した実施の形態では、画像を記録したときに、この画像から検出された人物ｉと人物ｊとの親密度を、人間関係グラフＨｇ上で更新するようにした。このとき、ＤＳＣ１０１は、記録した画像をもとに算出した現在親密度に、人間関係グラフＨｇに記載されている過去親密度を加えた値を、新たな親密度とするようにした。

これに限らず、例えば、人間関係グラフＨｇの親密度テーブルＴｂ２に、親密度ごとの更新日時を記載するようにして、この更新日時に基づいて、過去親密度を重み付けするようにしてもよい。

この場合、人物ｉ側から見た人物ｉと人物ｊとの過去親密度をＣｐａｓｔ［ｉ，ｊ］、現在親密度をＣｎｏｗ［ｉ，ｊ］とすると、新たな親密度Ｃｇｒａｐｈ［ｉ，ｊ］は、次式（４）により表される。

Ｃｇｒａｐｈ［ｉ，ｊ］＝Ｗｐ・Ｃｐａｓｔ［ｉ，ｊ］＋Ｃｎｏｗ［ｉ，ｊ］
……（４）

ここで、Ｗｐが、過去親密度Ｃｐａｓｔ［ｉ，ｊ］に対して重み付けを行う為の重み付け係数である。この重み付け係数を、過去親密度の更新日時（すなわち人物ｉと人物ｊの直近の撮影日時）が古いほど小さくするようにすれば、親密度を更新するときに、過去親密度に対する重み付けが小さくなる。こうすることで、現在親密度を重視した親密度を得ることができる。

さらに、これに限らず、現在親密度を重視するか、過去親密度を重視するかに応じて、これらのどちらか一方に対して重み付けを行うようにしてもよい。

［２−４．他の実施の形態４］
さらに、上述した実施の形態では、人物ｉと人物ｊとの組に対する記録優先度Ｐ［ｉ，ｊ］を算出するときに、重み係数Ｗａ、Ｗｂ、Ｗｃ、Ｗｄ、Ｗｅの各々の値を動的に変化させるようにしてもよいとした。

ここで、重み係数Ｗａは、上述したように、人間関係グラフＨｇに記載されている人物ｉと人物ｊとの親密度に対する重み係数である。また重み係数Ｗｂは、画像をもとに算出した人物ｉと人物ｊとの現在の親密度に対する重み係数である。さらに重み係数Ｗｃは、人間関係グラフＨｇ上で、人物ｉと人物ｊとが共に所属する所属グループの数に対する重み係数である。

さらに重み係数Ｗｄは、人間関係グラフＨｇに記載されている人物ｉの記録枚数に対する重み係数である。さらに重み係数Ｗｆは、自動撮影を開始してから現在までに記録された人物ｉの画像の枚数に対する重み係数である。

そして上述した実施の形態では、ユーザが過去の親密度を優先すると選択したか、現在の親密度を優先すると選択したかに応じて、重み係数Ｗａ、Ｗｂ、Ｗｃ、Ｗｄ、Ｗｅを動的に変化させるようにした。

これに限らず、自動撮影時の画像の記録枚数や撮影時間に応じて重み係数Ｗａ、Ｗｂ、Ｗｃ、Ｗｄ、Ｗｅを動的に変化させるようにしてもよい。

例えば、自動撮影開始からの画像の総記録枚数をＴとして、これらの画像から人間関係グラフＨｇに含まれる人物がＭ人検出されているとすると、一人当たりの平均記録枚数はＴ／Ｍとなる。

ここで、例えば、人物ｉの自動撮影開始からの画像の記録枚数をｔとして、ｔ＜Ｔ／Ｍの場合に、Ｗｅ＞Ｗａ、Ｗｂ、Ｗｃ、Ｗｄとなるように、Ｗａ、Ｗｂ、Ｗｃ、Ｗｄ、Ｗｅを変化させる。すなわち、人物ｉの記録枚数ｔが一人当たりの平均記録枚数Ｔ／Ｍより少ない場合に、画像の枚数に対する重み付けを大きくする。

こうすることで、人物ｉの記録優先度Ｐ［ｉ］を大きくすることができ、結果として、自動撮影時に、記録される画像に人物の偏りができてしまうことを防止することができる。

また、別の手法として、例えば、Ｔ／Ｍの値が所定値以上（例えば１０枚以上）になった場合に、Ｗａ、Ｗｃ、Ｗｄ＜Ｗｂとなるように、これらを変化させる。すなわち、一人当たりの平均記録枚数Ｔ／Ｍが所定枚数以上となったら、画像から得られる現在の親密度を、人間関係グラフＨｇに記載されている過去の親密度に対する重み付けよりも大きくする。

これにより、一人当たりの平均記録枚数Ｔ／Ｍが所定枚数以上となったら、現在の親密度を優先するようなことができる。

さらに、別の手法として、例えば、ユーザにより設定された撮影時間（例えば２時間）のうちの前半（前半１時間）は、Ｗａ、Ｗｃ、Ｗｄ＞Ｗｂとして、後半（後半１時間）は、Ｗａ、Ｗｃ、Ｗｄ＜Ｗｂとなるように、これらを変化させる。こうすることで、前半は、人間関係グラフＨｇに記載されている過去の親密度を重視した撮影を行い、後半は、画像から得られる現在の親密度を重視した撮影を行うようなことができる。

［２−５．他の実施の形態５］
さらに上述した実施の形態では、最適画像記録モードを選択した場合に、一時的に記録した複数の静止画像の中から、記録対象人物の静止画像として最適な静止画像を選択して、これを記録するようにした。

これに限らず、一時的に記録した動画像の複数のフレームの中から、記録対象人物の静止画像として記録するのに最適なフレームを抽出して、これを記録するようにしてもよい。

［２−６．他の実施の形態６］
さらに上述した実施の形態では、人間関係グラフＨｇの人物属性テーブルＴｂ１に、性別を人物の属性情報として記載するようにした。ここで、この人物属性テーブルＴｂ１に記載された性別と親密度テーブルＴｂ２に記載された親密度を参照すれば、各人物が男性と女性のどちらと親密度が高い傾向にあるかを判別することができる。

そのうえで、例えば、人物ｉと人物ｊとの組に対する記録優先度Ｐ［ｉ，ｊ］の算出時に、人物ｉが男性と親密度が高い傾向にあるならば、人物ｊが男性である場合に、女性である場合よりも記録優先度Ｐ［ｉ，ｊ］を高くするようにする。

このようにすれば、被写体となる人物にとって一段と有用な画像を記録することができる。

また、例えば、自動撮影開始から記録した画像に含まれる人物の性別に偏りがでないように、記録優先度Ｐ［ｉ，ｊ］の算出時に、性別に対して重み付けを行うようにしてもよい。

さらに、人物の性別に限らず、人物の年代（例えば２０代）を人物属性テーブルＴｂ１に記載するようにしてもよい。

こうすることで、性別と同様、各人物がどの年代と親密度が高い傾向にあるかを判別することができる。

そして性別と同様に、記録優先度Ｐ［ｉ，ｊ］の算出にこの年代を利用すれば、被写体となる人物に対して一段と有用な画像を記録することができる。

さらに、自動撮影開始から記録した画像に含まれる人物の年代に偏りがでないように、記録優先度Ｐ［ｉ，ｊ］の算出時に、年代に対して重み付けを行うようにしてもよい。

このように、記録優先度Ｐ［ｉ，ｊ］の算出時に、人物属性テーブルＴｂ１に記載された属性情報を利用するようにしてもよい。

尚、各人物の年代も、性別と同様、顔画像から判別するようにすればよい。実際、
顔画像から人物の年代を判別する方法については、種々のアルゴリズムが知られている。例えば、顔画像から、顔の形状や色、髪型、皺、目や口の位置などの複数の特徴量を検出する。さらにこれら複数の特徴量を所定数のグループに分類して、グループごとに、予め用意された年代ごとの特徴量と比較することで年代を判別する。そしてグループごとに判別された年代のうち、例えば、最も多く判別された年代を、この顔画像の人物の年代と判別する。

［２−７．他の実施の形態７］
さらに、上述した実施の形態では、ＤＳＣ１０１と、パン・チルト機構を有するクレードル１０２とで構成される自動撮影システムに本発明を適用した例を説明した。これに限らず、クレードル１０２と同様のパン・チルト機構を有するＤＳＣに本発明を適用するようにしてもよい。

また例えば、ＤＳＣ側にもクレードル側にもパン・チルト機構を有さない自動撮影システムに本発明を適用するようにしてもよい。

この場合、当然のことながら、ＤＳＣは、撮影方向を変えることができない。その代わりに、例えば、記録対象人物の顔領域が画像の中心で一定の割合となるように、撮像画像から一部を抽出して、この部分をデジタルズームにより拡大する。そしてＤＳＣが、この部分の画像を記録する。

このようにすれば、パン・チルト機構を有さない自動撮影システムであっても、記録対象人物が際立つ画像を記録することができるので、例えばＤＳＣのみで、被写体となる人物にとって有用な画像を撮影することができる。

また、記録対象人物を選定した後に、記録対象人物の顔領域に適した露出及びフォーカスを設定するだけでもよく、このようにしただけでも、記録対象人物が際立つ画像を記録することができる。

［２−８．他の実施の形態８］
さらに、上述した実施の形態では、人間関係グラフＨｇに記載された親密度を用いて、検出した人物の中から記録対象人物を選定するようにした。これに限らず、人物間の関係を表す指標（すなわち関係度）となる情報であれば、親密度以外の情報を用いて、記録対象人物を選定するようにしてもよい。

［２−９．他の実施の形態９］
さらに、上述した実施の形態では、人間関係グラフＨｇ及び顔辞書Ｆｄのデータを、ＤＳＣ１０１の記憶媒体１２０に記憶させるようにした。これに限らず、例えば、ＤＳＣ１０１に、フラッシュメモリを設けて、このフラッシュメモリに、人間関係グラフＨｇ及び顔辞書Ｆｄのデータを記憶させるようにしてもよい。

［２−１０．他の実施の形態１０］
さらに、上述した実施の形態では、撮像装置としてのＤＳＣ１０１に、撮像部としての撮像部１１５を設けるようにした。またこのＤＳＣ１０１に、人間関係情報記憶制御部、人物検出部、記録対象人物選定部、撮像画像記録制御部、人間関係情報更新部としてのＣＰＵ１１０を設けるようにした。さらにこのＤＳＣ１０１に記憶部としての記憶媒体１２０を設けるようにして。さらにこのＤＳＣ１０１に接続部としての外部インタフェース部１２７を設けるようにした。

本発明はこれに限らず、同様の機能を有するのであれば、上述したＤＳＣ１０１の各機能部を、他の種々のハードウェアもしくはソフトウェアにより構成するようにしてもよい。

さらに上述した実施の形態では、ＤＳＣ１０１に本発明を適用するようにした。これに限らず、カメラ機能を有する機器であれば、デジタルビデオカメラ、パーソナルコンピュータ、携帯型電話機、ゲーム機など、この他種々の機器に適用するようにしてもよく、また適用することができる。

［２−１１．他の実施の形態１１］
さらに上述した実施の形態では、各種処理を実行するためのプログラムを、ＤＳＣ１０１のＲＯＭ１１１に書き込んでおくようにした。

これに限らず、このプログラムを例えば記憶媒体１２０に書き込んでおき、ＤＳＣ１０１のＣＰＵ１１０が、このプログラムを記憶媒体１２０から読み出して実行するようにしてもよい。またＤＳＣ１０１に、フラッシュメモリと、ネットワーク通信部を設けて、このプログラムを、ネットワーク通信部を介してダウンロードしてフラッシュメモリにインストールするようにしてもよい。

［２−１２．他の実施の形態１２］
さらに本発明は、上述した実施の形態と他の実施の形態とに限定されるものではない。すなわち本発明は、上述した実施の形態と他の実施の形態の一部または全部を任意に組み合わせた形態、もしくは一部を抽出した形態にもその適用範囲が及ぶものである。

さらに上述した実施の形態と他の実施の形態は一例であり、本発明の要旨を逸脱しない範囲であれば、この他、種々の形態に本発明を適用するようにしてもよく、また適用することができる。

本発明は、例えば、自動撮影機能を有するデジタルスチルカメラやデジタルビデオカメラで広く利用することができる。

１……撮像装置、２、１１５……撮像部、３……人間関係情報記憶制御部、４……人物検出部、５……記録対象人物選定部、６……撮像画像記録制御部、７……接続部、８……人間関係情報更新部、１００……自動撮影システム、１０１……ＤＳＣ（デジタルスチルカメラ）１０２……クレードル、１０２Ａ……雲台部、１１０、１２９……ＣＰＵ、１１１、１３０……ＲＯＭ、１１２、１３１……ＲＡＭ、１１３……操作部、１１４……ディスプレイ、１１６……撮像制御部、１１７……画像処理部、１１９……記憶媒体制御部、１２０……記憶媒体。

Claims (13)

1. 撮像部と、
   人物同士の関係を表す人間関係情報を記憶部に記憶させる人間関係情報記憶制御部と、
   上記撮像部により得られた撮像画像から、被写体としての人物を検出する人物検出部と、
   上記人物検出部により上記撮像画像から人物が検出されると、上記記憶部に記憶されている人間関係情報を用いて、上記撮像画像から検出された人物の中から画像として記録すべき人物を選定する記録対象人物選定部と、
   上記記録対象人物選定部により選定された人物が主たる被写体となるように上記撮像部を制御し、当該撮像部により得られた撮像画像を所定の記録部に記録させる撮像画像記録制御部と
   を具える撮像装置。
2. 上記人間関係情報には、人物同士の親密度が記され、
   上記記録対象人物選定部は、
   上記人間関係情報に記された人物同士の親密度を用いて、上記撮像画像から検出された人物ごとの記録優先度を算出し、当該記録優先度をもとに記録すべき人物を選定する
   請求項１に記載の撮像装置。
3. 上記人間関係情報には、人物同士の過去の親密度と、各人物の所属グループが記され、
   上記記録対象人物選定部は、
   上記撮像画像をもとに当該撮像画像から検出された人物同士の現在の親密度を算出して、当該算出した現在の親密度と、上記人間関係情報に記されている、検出された人物同士の過去の親密度及び検出された各人物の所属グループの数と、検出された人物を画像として既に記録した枚数とを用いて、検出された人物ごとの記録優先度を算出する
   請求項２に記載の撮像装置。
4. 上記人物検出部は、
   上記撮像画像から人物の顔となる領域を検出することで人物の検出を行うと共に、当該領域をもとに人物の顔の位置、顔の向き、笑顔度のうちの少なくとも１つを検出し、
   上記記録対象人物選定部は、
   上記人物検出部により検出された人物の顔の位置、顔の向き、笑顔度のうちの少なくとも１つを用いて、上記撮像画像から検出された人物同士の親密度を算出する
   請求項３に記載の撮像装置。
5. 上記記録対象人物選定部は、
   上記記録優先度を算出するときに、現在の親密度、過去の親密度、所属グループの数及び記録した枚数のそれぞれに対して個別に重み付けを行う
   請求項３に記載の撮像装置。
6. 上記撮像画像記録制御部は、
   上記記録対象人物選定部により選定された人物に適した構図及びカメラ設定となるように、構図及びカメラ設定に係るパラメータを決定し、当該パラメータに基づき上記撮像部を制御し、当該撮像部により得られた撮像画像を上記所定の記録部に記憶させる
   請求項１に記載の撮像装置
7. 上記撮像部の向きを任意の向きに変える為の機構を有する駆動装置と接続する接続部をさらに具え、
   上記撮像部は、ズーム機能を有し、
   上記撮像画像記録制御部は、
   上記記録対象人物選定部により選定された人物に適した構図及びカメラ設定となるように、構図及びカメラ設定に係るパラメータを決定し、当該パラメータに基づき上記撮像部を制御すると共に上記接続部を介して上記駆動装置を制御し、当該撮像部により得られた撮像画像を上記所定の記録部に記録させる
   請求項１に記載の撮像装置。
8. 上記撮像画像記録制御部は、
   上記撮像部により得られた撮像画像を記録部に記録させ終えると、現在の向きとは異なる向きに撮像部の向きを変えるように上記接続部を介して上記駆動装置を制御する
   請求項７に記載の撮像装置。
9. 上記撮像画像から検出された人物同士の現在の親密度と過去の親密度とをもとに、当該人物同士の新たな親密度を算出し、当該算出した親密度で上記人間関係情報を更新する人間関係情報更新部をさらに具える
   請求項３に記載の撮像装置。
10. 上記人間関係情報更新部は、
    上記新たな親密度を算出するときに、現在の親密度を優先するか、過去の親密度を優先するかに応じて、現在の親密度及び過去の親密度のどちらか一方に対して重み付けを行う
    請求項９に記載の撮像装置。
11. 上記撮像画像記録制御部は、
    上記撮像部から得られる連続する複数の撮像画像の中から、上記記録対象人物選定部により選定された人物の画像として最適な画像を選択して上記所定の記録部に記録させる
    請求項１に記載の撮像装置。
12. 撮像部により得られた撮像画像から、被写体としての人物を人物検出部が検出し、
    上記人物検出部により上記撮像画像から人物が検出されると、記憶部に記憶されている、人物同士の関係を表す人間関係情報を用いて、上記撮像画像から検出された人物の中から画像として記録すべき人物を記録対象人物選定部が選定し、
    上記記録対象人物選定部により選定された人物が主たる被写体となるように制御部が上記撮像部を制御し、当該撮像部により得られた撮像画像を所定の記録部に記録させる
    撮像方法。
13. コンピュータに、
    撮像部により得られた撮像画像から、被写体としての人物を人物検出部が検出するステップと、
    上記人物検出部により上記撮像画像から人物が検出されると、記憶部に記憶されている、人物同士の関係を表す人間関係情報を用いて、上記撮像画像から検出された人物の中から画像として記録すべき人物を記録対象人物選定部が選定するステップと、
    上記記録対象人物選定部により選定された人物が主たる被写体となるように制御部が上記撮像部を制御し、当該撮像部により得られた撮像画像を所定の記録部に記録させるステップと
    を実行させるための撮像プログラム。

Images