JP2010140069A - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】ユーザの好みに応じたコンテンツを容易に利用する。
【解決手段】画像記憶部２１０は、画像入力部１１０から出力された画像を記憶する。顔識別結果記憶部２００は、画像に含まれる顔に関する顔識別結果を記憶する。関係深度値算出部１５０は、複数のコンテンツのうち、複数の人物が含まれるコンテンツについて人物間の頻度を集計することにより、複数のコンテンツに含まれる各人物間の評価値を算出する。また、関係深度値算出部１５０は、この評価値に基づいて第０次関係深度値および第１次関係深度値を算出する。優先順位決定部１６０は、特定人物に関する他の人物の優先順位を第０次関係深度値および第１次関係深度値に基づいて決定する。表示制御部１７０は、優先順位決定部１６０により決定された優先順位に基づいて、画像記憶部２１０に記憶されている複数の画像を表示部１８０に順次表示させる。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に、画像等のコンテンツについて画像解析を行う画像処理装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、人物等の被写体を撮像して画像や動画等のコンテンツを記録するデジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及している。また、このように記録されたコンテンツを整理するための検索技術や、閲覧するための表示技術が多数提案されている。

例えば、各コンテンツが記録された位置に関する位置情報を用いて、複数のコンテンツを複数のグループに分類し、この分類結果に基づいて各コンテンツを表示させるコンテンツ管理装置が提案されている。例えば、各コンテンツに対応する位置情報に基づいて各コンテンツを二分木のリーフに対応させた二分木構造データを作成し、この二分木構造データにおけるノードの中からグループ化条件を満たすノードを抽出する。そして、この抽出されたノードに属するコンテンツを１つのグループとして決定し、この決定されたグループに基づいて各コンテンツを分類するコンテンツ管理装置が提案されている（例えば、特許文献１参照。）。
特開２００８−２５０６０５号公報（図３）

上述の従来技術によれば、各コンテンツに対応する位置情報を用いて、各コンテンツを分類することができるため、ユーザの好みに応じてコンテンツを表示させることができる。しかしながら、ユーザの好みは多種多様であるため、コンテンツが記録された位置とは無関係に、ユーザの好みを反映させてコンテンツを利用したい場合も想定される。

例えば、近年では、コンテンツに含まれる人物の顔を検出するとともに、この検出された顔が特定人物の顔であるか否かを識別する個人識別が可能な画像処理装置が提案されている。そこで、その個人顔識別結果を用いて、コンテンツを表示することができれば、ユーザの好みに応じた表示を行うことができると考えられる。例えば、その個人顔識別結果を用いて、ユーザ指定による特定人物が含まれるコンテンツを優先的に表示させることにより、ユーザの好みに応じた人物が含まれるコンテンツを優先的に表示させることができる。

しかしながら、例えば、ユーザ指定による特定人物が含まれていないコンテンツであっても、特定人物に関係が深い人物が含まれる可能性がある。このような特定人物に関係が深い人物が含まれている場合には、これらの人物を見ることにより、特定人物の人間関係を楽しむことができ、そのコンテンツの閲覧をさらに楽しくすることができると考えられる。

本発明はこのような状況に鑑みてなされたものであり、ユーザの好みに応じたコンテンツを容易に利用することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、複数のコンテンツのうちの何れかのコンテンツに含まれる２人の人物を特定人物および第２の人物とし、上記特定人物が含まれる上記コンテンツにおける上記第２の人物または上記第２の人物以外の第３の人物の登場頻度と、上記特定人物が含まれない上記コンテンツにおける上記第２の人物および上記第３の人物の登場頻度とに基づいて上記特定人物および上記第２の人物の関係の深さの度合いを示す関係深度値を算出する関係深度値算出部と、上記複数のコンテンツに含まれる人物のうち上記特定人物に関する上記第２の人物の優先順位を上記算出された関係深度値に基づいて決定する優先順位決定部とを具備する画像処理装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、特定人物が含まれるコンテンツにおける第２の人物または第３の人物の登場頻度と、特定人物が含まれないコンテンツにおける第２の人物および第３の人物の登場頻度とに基づいて、特定人物および第２の人物に関する関係深度値を算出し、この算出された関係深度値に基づいて、特定人物に関する第２の人物の優先順位を決定するという作用をもたらす。

また、この第１の側面において、上記関係深度値算出部は、上記複数のコンテンツに含まれる人物のうち同一コンテンツに同時に含まれる２人の人物の登場頻度に基づいて上記複数のコンテンツに含まれる各人物間の評価値を算出し、上記特定人物および上記第２の人物に関する上記評価値と上記特定人物および上記第３の人物に関する上記評価値と上記第２の人物および上記第３の人物に関する上記評価値とに基づいて上記関係深度値を算出するようにしてもよい。これにより、複数のコンテンツに含まれる人物のうち、同一コンテンツに同時に含まれる２人の人物の登場頻度に基づいて、複数のコンテンツに含まれる各人物間の評価値を算出し、特定人物および第２の人物に関する評価値と、特定人物および第３の人物に関する評価値と、第２の人物および第３の人物に関する評価値とに基づいて関係深度値を算出するという作用をもたらす。

また、この第１の側面において、上記関係深度値算出部は、上記特定人物および上記第２の人物に関する上記評価値に基づいて第１の関係深度値を算出し、上記第３の人物および上記特定人物に関する上記評価値と上記第２の人物および上記第３の人物に関する上記評価値とに基づいて第２の関係深度値を算出し、上記優先順位決定部は、上記算出された第１の関係深度値および第２の関係深度値に基づいて上記優先順位を決定するようにしてもよい。これにより、特定人物および第２の人物に関する評価値に基づいて第１の関係深度値を算出し、第３の人物および特定人物に関する評価値と、第２の人物および第３の人物に関する評価値とに基づいて第２の関係深度値を算出し、この第１の関係深度値および第２の関係深度値に基づいて優先順位を決定するという作用をもたらす。

また、この第１の側面において、上記優先順位決定部は、上記算出された第１の関係深度値および第２の関係深度値のそれぞれに重み付けをした値に基づいて上記関係深度値を算出するようにしてもよい。これにより、算出された第１の関係深度値および第２の関係深度値のそれぞれに重み付けをした値に基づいて関係深度値を算出するという作用をもたらす。

また、この第１の側面において、上記決定された優先順位に基づいて上記複数のコンテンツの出力制御を行う出力制御部をさらに具備するようにしてもよい。これにより、決定された優先順位に基づいて、複数のコンテンツの出力制御を行うという作用をもたらす。

また、この第１の側面において、上記関係深度値算出部は、上記複数のコンテンツに含まれる人物のうち同一コンテンツに同時に含まれる２人の人物の登場頻度および当該同一コンテンツに同時に含まれる人物の数に基づいて上記複数のコンテンツに含まれる各人物間の評価値を算出し、上記特定人物および上記第２の人物に関する上記評価値と上記特定人物および上記第３の人物に関する上記評価値と上記第２の人物および上記第３の人物に関する上記評価値とに基づいて上記関係深度値を算出するようにしてもよい。これにより、複数のコンテンツに含まれる人物のうち、同一コンテンツに同時に含まれる２人の人物の登場頻度と、その同一コンテンツに同時に含まれる人物の数とに基づいて、複数のコンテンツに含まれる各人物間の評価値を算出し、特定人物および第２の人物に関する評価値と、特定人物および第３の人物に関する評価値と、第２の人物および第３の人物に関する評価値とに基づいて関係深度値を算出するという作用をもたらす。

また、この第１の側面において、上記関係深度値算出部は、上記複数のコンテンツに含まれる人物のうち同一コンテンツに同時に含まれる２人の人物の登場頻度および当該同一コンテンツに同時に含まれる各人物間の距離に基づいて上記複数のコンテンツに含まれる各人物間の評価値を算出し、上記特定人物および上記第２の人物に関する上記評価値と上記特定人物および上記第３の人物に関する上記評価値と上記第２の人物および上記第３の人物に関する上記評価値とに基づいて上記関係深度値を算出するようにしてもよい。これにより、複数のコンテンツに含まれる人物のうち、同一コンテンツに同時に含まれる２人の人物の登場頻度と、その同一コンテンツに同時に含まれる各人物間の距離とに基づいて、複数のコンテンツに含まれる各人物間の評価値を算出し、特定人物および第２の人物に関する評価値と、特定人物および第３の人物に関する評価値と、第２の人物および第３の人物に関する評価値とに基づいて関係深度値を算出するという作用をもたらす。

また、この第１の側面において、上記コンテンツは動画を構成する所定区間内の複数のフレームであり、上記関係深度値算出部は、上記動画に含まれる人物のうち同一区間に含まれる２人の人物の登場頻度および当該同一区間内で２人の人物が同一フレームに同時に含まれる期間に基づいて上記動画に含まれる各人物間の評価値を算出し、上記特定人物および上記第２の人物に関する上記評価値と上記特定人物および上記第３の人物に関する上記評価値と上記第２の人物および上記第３の人物に関する上記評価値とに基づいて上記関係深度値を算出するようにしてもよい。これにより、動画に含まれる人物のうち、同一区間に含まれる２人の人物の登場頻度と、その同一区間内で２人の人物が同一フレームに同時に含まれる期間に基づいて、動画に含まれる各人物間の評価値を算出し、特定人物および第２の人物に関する評価値と、特定人物および第３の人物に関する評価値と、第２の人物および第３の人物に関する評価値とに基づいて関係深度値を算出するという作用をもたらす。

また、本発明の第２の側面は、人物の顔を識別するための識別情報を記憶する識別情報記憶部と、上記識別情報が記憶されている人物のうち１人の人物を特定人物として指定する指定操作を受け付ける操作受付部と、複数のコンテンツを入力するコンテンツ入力部と、上記入力されたコンテンツに含まれる顔を検出する顔検出部と、上記識別情報に基づいて上記検出された顔を識別する顔識別部と、上記識別結果に基づいて上記複数のコンテンツに含まれる人物を特定して上記特定人物が含まれる上記コンテンツにおける第２の人物または上記第２の人物以外の第３の人物の登場頻度と、上記特定人物が含まれない上記コンテンツにおける上記第２の人物および上記第３の人物の登場頻度とに基づいて上記特定人物および上記第２の人物の関係の深さの度合いを示す関係深度値を算出する関係深度値算出部と、上記複数のコンテンツに含まれる人物のうち上記特定人物に関する上記第２の人物の優先順位を上記算出された関係深度値に基づいて決定する優先順位決定部と、上記決定された優先順位に基づいて上記入力されたコンテンツの出力制御を行う出力制御部とを具備する画像処理装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力されたコンテンツに含まれる顔を検出し、この検出された顔を識別し、この識別結果に基づいて複数のコンテンツに含まれる人物を特定し、特定人物が含まれるコンテンツにおける第２の人物または第３の人物の登場頻度と、特定人物が含まれないコンテンツにおける第２の人物および第３の人物の登場頻度とに基づいて、特定人物および第２の人物に関する関係深度値を算出し、特定人物が含まれるコンテンツにおける人物間の関係と、特定人物が含まれないコンテンツにおける人物間の関係とに基づいて、第２の人物および特定人物に関する関係深度値を算出し、この算出された関係深度値に基づいて特定人物に関する第２の人物の優先順位を決定し、この決定された優先順位に基づいて複数のコンテンツの出力制御を行うという作用をもたらす。

また、本発明の第３の側面は、被写体を撮像して画像を生成する撮像部と、上記生成された画像のうちの何れかの画像に含まれる２人の人物を特定人物および第２の人物とし、上記特定人物が含まれる上記画像における上記第２の人物または上記第２の人物以外の第３の人物の登場頻度と、上記特定人物が含まれない上記画像における上記第２の人物および上記第３の人物の登場頻度とに基づいて上記特定人物および上記第２の人物の関係の深さの度合いを示す関係深度値を算出する関係深度値算出部と、上記生成された画像に含まれる人物のうち上記特定人物に関する上記第２の人物の優先順位を上記算出された関係深度値に基づいて決定する優先順位決定部と、上記決定された優先順位に基づいて上記撮像部による画像の生成に用いられる撮像パラメータを設定する撮像制御部とを具備する撮像装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、特定人物が含まれる画像における第２の人物または第３の人物の登場頻度と、特定人物が含まれない画像における第２の人物および第３の人物の登場頻度とに基づいて、特定人物および第２の人物に関する関係深度値を算出し、この算出された関係深度値に基づいて、特定人物に関する第２の人物の優先順位を決定し、この決定された優先順位に基づいて撮像パラメータを設定するという作用をもたらす。

本発明によれば、ユーザの好みに応じたコンテンツを容易に利用することができるという優れた効果を奏し得る。

以下、本発明を実施するための最良の形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（優先順位の決定制御：特定人物に関する関係深度値を算出し、この関係深度値に基づいて優先順位を決定する例）
２．第２の実施の形態（優先順位の決定制御：顔間の距離または画像に含まれる人数等を考慮して関係深度値を算出する例）
３．第３の実施の形態（優先順位の決定制御：動画に同時に含まれる期間を考慮して関係深度値を算出する例）
４．第４の実施の形態（優先順位に基づく撮像制御：優先順位を用いて撮像パラメータを決定する例）

＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本発明の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。画像処理装置１００は、画像入力部１１０と、顔検出部１２０と、顔識別部１３０と、記録制御部１４０と、関係深度値算出部１５０と、優先順位決定部１６０と、優先順位保持部１６１とを備える。また、画像処理装置１００は、表示制御部１７０と、表示部１８０と、操作受付部１９０と、顔識別結果記憶部２００と、画像記憶部２１０と、登録人物情報記憶部２２０とを備える。画像処理装置１００は、例えば、デジタルスチルカメラ等の撮像装置により記録された画像について、画像解析処理により特徴量を抽出し、この抽出された特徴量を用いて各種画像処理を施すことが可能なパーソナルコンピュータによって実現することができる。

画像入力部１１０は、デジタルスチルカメラ等の撮像装置により記録された画像（画像データ）を入力するものであり、入力された画像を顔検出部１２０、顔識別部１３０および記録制御部１４０に出力する。なお、画像入力部１１０は、特許請求の範囲に記載のコンテンツ入力部の一例である。

顔検出部１２０は、画像入力部１１０から出力された画像に含まれる人物の顔を検出するものであり、検出された顔に関する顔検出情報を顔識別部１３０に出力する。なお、１つの画像から複数の顔が検出された場合には、検出された各顔に関する顔検出情報が顔識別部１３０に出力される。ここで、顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）、画像に含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。また、顔検出情報には、検出された顔の画像上における位置およびサイズが含まれる。検出された顔の画像上における位置は、例えば、画像上における顔を含む顔領域（例えば、矩形状）の中心位置とし、検出された顔の画像上におけるサイズは、例えば、画像上における顔領域の水平方向および垂直方向の長さとすることができる。

顔識別部１３０は、登録人物情報記憶部２２０に記憶されている特徴量２２３（図２に示す）を用いて、顔検出部１２０により検出された顔が登録人物の顔であるか否かを識別するものである。そして、この顔識別結果を、識別対象となった画像および顔検出情報に関連付けて記録制御部１４０に出力する。具体的には、顔識別部１３０は、顔検出部１２０から出力された顔検出情報に基づいて、画像入力部１１０から出力された画像から、顔検出部１２０により検出された顔を含む矩形状の顔画像を取り出す。そして、この取り出された顔画像における特徴量を抽出し、抽出された特徴量と、登録人物情報記憶部２２０に記憶されている特徴量２２３とを比較することにより、顔検出部１２０により検出された顔が登録人物の顔であるか否かを識別する。

ここで、特徴量は、画像から検出された顔が登録人物の顔に該当するか否かを識別するために用いられる識別情報であり、例えば、顔を構成する目や鼻、口、眉等の各部の位置関係や形状を認識するための顔画像の特徴や特性を示すデータである。この特徴量は、例えば、色や輝度等の値に基づいて抽出される。また、顔識別結果として、例えば、識別された登録人物の顔に対応する登録人物の顔識別情報（例えば、図２に示す識別番号２２１）が記録制御部１４０に出力される。

この顔識別方法として、例えば、比較対象となる顔画像から抽出された特徴量と、登録人物の顔に関する特徴量とを比較することにより、これらの特徴量の類似度を算出する。そして、この算出された類似度が閾値を超えた場合に、その顔画像に含まれる顔が登録人物の顔であると判定する識別方法を用いることができる。また、顔識別方法として、例えば、特徴量として特徴ベクトルを用いて識別処理を行う識別方法を用いることができる（例えば、特開２００８−１２９８３０号参照。）。

ここで、顔識別部１３０は、登録人物情報記憶部２２０に記憶されている特徴量の中に、顔検出部１２０により検出された顔に対応する特徴量が存在しない場合には、その顔の識別を行うことができない。そこで、顔検出部１２０により検出された顔の識別を行うことができない場合には、その顔に対応する特徴量が新たな登録人物に関する特徴量として登録人物情報記憶部２２０に記憶される。すなわち、顔識別部１３０は、検出された顔の識別を行うことができない場合には、その顔に対応する特徴量を記録制御部１４０に出力し、記録制御部１４０は、その特徴量を新たな登録人物に関する特徴量として登録人物情報記憶部２２０に記憶させる。この場合に、顔識別部１３０は、その顔に対応する顔画像を記録制御部１４０に出力し、記録制御部１４０は、その顔画像を特徴量に関連付けて新たな登録人物に関する登録顔画像として登録人物情報記憶部２２０に記憶させる。

記録制御部１４０は、顔識別結果記憶部２００、画像記憶部２１０および登録人物情報記憶部２２０に対する記録制御を行うものである。具体的には、記録制御部１４０は、画像入力部１１０から出力された画像を画像記憶部２１０に記録させるとともに、この画像に関連付けて顔識別部１３０から出力された顔識別結果を顔識別結果記憶部２００に記録させる。また、記録制御部１４０は、検出された顔の識別を行うことができない場合には、その顔に対応する特徴量および顔画像を新たな登録人物に関する特徴量および登録顔画像として登録人物情報記憶部２２０に記録させる。

顔識別結果記憶部２００は、記録制御部１４０の制御に基づいて、顔識別部１３０から出力された顔識別結果を、識別対象となった画像に関連付けて記憶するものであり、記憶されている顔識別結果を関係深度値算出部１５０に供給する。なお、顔識別結果記憶部２００については、図４を参照して詳細に説明する。

画像記憶部２１０は、記録制御部１４０の制御に基づいて、画像入力部１１０から出力された画像を記憶するものであり、記憶されている画像を表示制御部１７０に供給する。

登録人物情報記憶部２２０は、記録制御部１４０の制御に基づいて、登録人物に関する情報（登録人物情報）を記憶するものであり、記憶されている登録人物情報を顔識別部１３０または表示制御部１７０に供給する。ここで、登録人物は、画像処理装置１００に登録されている人物であり、登録人物情報は、画像処理装置１００に登録されている人物に関する情報である。また、本発明の実施の形態では、登録人物情報記憶部２２０に登録人物情報が記録されている人物を登録人物とし、この登録人物のうちでユーザにより指定された人物を特定人物と称して説明する。なお、登録人物情報記憶部２２０については、図２を参照して詳細に説明する。また、登録人物情報記憶部２２０は、特許請求の範囲に記載の識別情報記憶部の一例である。

関係深度値算出部１５０は、顔識別結果記憶部２００に記憶されている顔識別結果に基づいて、画像記憶部２１０に記憶されている各画像に含まれる特定人物と他の人物との関係の深さの度合いを示す関係深度値を算出するものである。そして、算出された関係深度値を優先順位決定部１６０に出力する。具体的には、関係深度値算出部１５０は、登録人物情報記憶部２２０に登録人物情報が記憶されている人物のうち、一人の人物を指定する指定操作が操作受付部１９０により受け付けられた場合には、その指定された人物（特定人物）に関する関係深度値を算出する。この場合に、関係深度値算出部１５０は、特定人物が含まれる画像における人物間の関係と、特定人物が含まれない画像における人物間の関係とに基づいて関係深度値を算出する。例えば、特定人物が含まれる画像における第２の人物または第３の人物の登場頻度と、特定人物が含まれない画像における第２の人物および第３の人物の登場頻度とに基づいて特定人物および第２の人物に関する関係深度値が算出される。すなわち、関係深度値算出部１５０は、画像記憶部２１０に記憶されている画像に含まれる人物のうち、同一画像に同時に含まれる２人の人物の登場頻度を集計し、この集計結果に基づいて各人物間の評価値を算出する。そして、特定人物および第２の人物に関する評価値に基づいて第２の人物に対する第０次関係深度値を算出する。また、特定人物および第３の人物に関する評価値と、第２の人物および第３の人物に関する評価値とに基づいて、第２の人物に対する第１次関係深度値を算出する。なお、この関係深度値の算出については、図５および図６を参照して詳細に説明する。

優先順位決定部１６０は、関係深度値算出部１５０から出力された関係深度値に基づいて、登録人物情報記憶部２２０に登録人物情報が記憶されている複数の人物について、優先順位を決定するものである。そして、決定された優先順位を優先順位保持部１６１に出力して保持させる。この優先順位の決定については、図５および図６を参照して詳細に説明する。

優先順位保持部１６１は、優先順位決定部１６０から出力された優先順位を保持するものであり、保持されている優先順位を表示制御部１７０に供給する。

表示制御部１７０は、操作受付部１９０により受け付けられた操作内容に基づいて、画像記憶部２１０および登録人物情報記憶部２２０に記憶されている各画像を表示部１８０に表示させるものである。例えば、表示制御部１７０は、登録人物の顔の一覧を表示させる指示操作が、操作受付部１９０により受け付けられた場合には、登録人物情報記憶部２２０に記憶されている登録顔画像（図２に示す）を取得する。そして、この取得された登録顔画像の一覧を表示部１８０に表示させる。また、例えば、表示制御部１７０は、表示部１８０に一覧表示されている登録顔画像のうちから、１つの登録顔画像を指定する指定操作が操作受付部１９０により受け付けられた場合には、優先順位保持部１６１に保持されている優先順位を取得する。そして、画像記憶部２１０に記憶されている複数の画像を取得し、これらの各画像を優先順位保持部１６１から取得された優先順位に基づいて表示部１８０に順次表示させる。これらの表示例については、図７および図８を参照して詳細に説明する。なお、表示制御部１７０は、特許請求の範囲に記載の出力制御部の一例である。

表示部１８０は、表示制御部１７０の制御に基づいて、画像等の各画像を表示するものである。表示部１８０は、例えば、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）により実現することができる。

操作受付部１９０は、ユーザにより操作された操作内容を受け付ける操作受付部であり、受け付けられた操作内容に応じた信号を関係深度値算出部１５０または表示制御部１７０に出力する。なお、操作受付部１９０の少なくとも一部と表示部１８０とをタッチパネルとして一体で構成するようにしてもよい。

図２は、本発明の第１の実施の形態における登録人物情報記憶部２２０に記憶されている各情報を模式的に示す図である。登録人物情報記憶部２２０には、識別番号２２１と、登録名称２２２と、特徴量２２３と、登録顔画像２２４とが関連付けて記憶されている。なお、図２では、人物Ａ乃至Ｉの９人の登録人物情報が登録人物情報記憶部２２０に記憶されている場合を例にして示す。

識別番号２２１は、登録人物情報記憶部２２０に登録人物情報が記憶されている各人物を識別するための識別情報であり、例えば、記憶された順番に「＃１」、「＃２」等が付与され、記憶される。

登録名称２２２は、登録人物情報記憶部２２０に登録人物情報が記憶されている各人物に付された名称である。例えば、登録人物情報記憶部２２０に特徴量および顔画像が記憶された登録人物の名称がユーザにより入力されると、この入力された名称が、登録名称２２２として記憶される。図２では、これらの名称を省略して、「Ａ」乃至「Ｉ」で示す。

特徴量２２３は、登録人物情報記憶部２２０に登録人物情報が記憶されている各人物に関する特徴量である。なお、図２では、特徴量２２３の内容を省略して示す。

登録顔画像２２４は、登録人物情報記憶部２２０に登録人物情報が記憶されている各人物に関する顔画像である。なお、図２では、登録顔画像２２４に格納されている顔画像の画像データを図形化した画像として示し、この画像内に、各人物を識別するための符号（「Ａ」乃至「Ｉ」）を付す。

図３は、本発明の第１の実施の形態における画像記憶部２１０に記憶されている画像を模式的に示す図である。図３に示す画像３０１乃至３１８は、デジタルスチルカメラ等の撮像装置により記録された静止画であり、画像入力部１１０から入力されて画像記憶部２１０に記憶されている画像である。また、画像３０１乃至３１８には、一人または複数人の人物が含まれているものとする。なお、図３では、画像３０１乃至３１８に含まれる人物を識別するため、各人物の体の中心部分に符号（「Ａ」乃至「Ｉ」）を付して示す。すなわち、同一の符号が付されている人物は、同一人物であるものとする。例えば、画像３０１は、左側から、人物Ｅ、人物Ａ、人物Ｇが並んで記録された画像である。また、画像３０２は、左側から、人物Ｃ、人物Ｄが並んで記録された画像である。また、図３では、画像３０１乃至３１８を時系列に並べて示す。すなわち、時間軸において、画像３０１が一番古い画像であり、画像３１８が一番新しい画像であるものとする。

ここで、例えば、デジタルスチルカメラを所有するユーザが団体旅行に行った場合には、そのデジタルスチルカメラを用いて各地の名所等で記念撮影を行うことが想定される。この記念撮影では、各地の名所等を背景として、例えば、画像３０５のように、一人のみの人物が含まれる画像や、他の画像のように、複数の人物が含まれる画像が記録されることが多い。また、複数の人物を被写体として記念撮影を行う場合には、仲のよい者同士で一緒に撮影を行うことが多い。すなわち、同一画像に一緒に写っている人物同士は人間関係が深い可能性が高いと考えることができる。そこで、本発明の第１の実施の形態では、同一画像に含まれる人物同士の人間関係の深さに着目し、この人間関係を数値化することによりその人物間の直接的または間接的な人間関係の深さを推定する。また、この推定に基づいて、特定人物に関する他の人物の優先順位を決定する。

ここで、図２に示す登録人物情報記憶部２２０には、人物Ａ乃至Ｉのそれぞれを識別するための登録人物情報が記憶されている。例えば、画像３０１乃至３１８が画像入力部１１０から順次入力されると、顔検出部１２０が、画像３０１乃至３１８について、人物Ａ乃至Ｉの顔を順次検出する。続いて、顔識別部１３０が、登録人物情報記憶部２２０に記憶されている人物Ａ乃至Ｉの特徴量を用いて、検出された各顔について人物Ａ乃至Ｉの各顔を識別し、この顔識別結果が、顔識別結果記憶部２００に順次記録される。この顔識別結果については、図４を参照して詳細に説明する。

図４は、本発明の第１の実施の形態における顔識別結果記憶部２００に記憶されている内容を概略的に示す図である。顔識別結果記憶部２００には、画像入力部１１０から入力された画像と、この画像において検出された登録人物との関係が顔識別結果として記憶される。図４に示す例では、人物Ａ乃至Ｉのそれぞれを識別するための登録人物情報が登録人物情報記憶部２２０に記憶されている場合に、図３に示す画像３０１乃至３１８が入力された場合における記憶内容を示す。なお、図４では、画像３０１乃至３１８を示す識別情報をＰ３０１乃至Ｐ３１８とし、人物Ａ乃至Ｉを示す識別情報をＡ乃至Ｉとして示す。また、図４では、画像３０１乃至３１８において、登録人物の顔が検出された場合には、その人物欄に「○」を付し、登録人物の顔が検出されていない場合には、その人物欄に「−」を付す。例えば、画像３０１には人物Ａ、ＥおよびＧが含まれているため、Ｐ３０１のＡ、ＥおよびＧには「○」が付され、その他には「−」が付される。

このように、顔識別結果記憶部２００には、画像入力部１１０から入力された各画像に関連付けられて、各画像において検出された登録人物に関する顔識別結果が記憶されている。この顔識別結果記憶部２００に記憶されている顔識別結果を用いて関係深度値が算出される。以下では、関係深度値の算出方法について図面を参照して詳細に説明する。

［優先順位の決定例］
図５は、本発明の第１の実施の形態における顔識別結果記憶部２００に記憶されている内容に基づいて作成される人間関係表および人間関係図を示す図である。図５に示す人間関係表３３０および人間関係図３４０により表される数値は、関係深度値算出部１５０により算出される。図５（ａ）には、画像３１０乃至３１８に含まれる人物Ａ乃至Ｉの関係を数値で表した人間関係表３３０を示す。図５（ｂ）には、人物Ａ乃至Ｉを表す白抜き丸を二次元上に配置して、人物Ａ乃至Ｉの関係を二次元的に表した人間関係図３４０を示す。図５に示す例では、同一画像に複数の人物が含まれている場合に、この同一画像に含まれる複数の人物のうち、各２人の関係について「１」を加算する例を示す。例えば、画像３０１のように、同一画像に３人の人物Ａ、Ｅ、Ｇが含まれている場合には、人物ＡおよびＥの関係、人物ＥおよびＧの関係、人物ＧおよびＡの関係のそれぞれについて「１」が加算される。また、画像３０２のように、同一画像に２人の人物Ｃ、Ｄが含まれている場合には、人物ＣおよびＤの関係について「１」が加算される。このように、同一画像に含まれる複数の人物の関係について「１」を順次加算することにより、画像３１０乃至３１８に含まれる人物Ａ乃至Ｉの人物間の関係を数値（評価値）で表すことができる。例えば、人物ＡおよびＣが一緒に含まれている画像は、画像３１２および３１７のみである。このため、人間関係表３３０の人物ＡおよびＣの関係を示す欄には「２（１＋１）」が格納される。また、例えば、人物ＡおよびＢが一緒に含まれている画像は、画像３１０乃至３１８に存在しない。このため、人間関係表３３０の人物ＡおよびＢの関係を示す欄には「０」が格納される。また、他の人物同士の関係についても同様に計算され、人間関係表３３０の２人の人物の関係を示す欄に格納される。

また、図５（ｂ）に示すように、図５（ａ）に示す人間関係表３３０の内容を二次元的な人間関係図として表すことができる。図５（ｂ）に示す人間関係図では、人物Ａ乃至Ｉを白抜きの丸で示し、この丸内に各人物の識別情報（Ａ乃至Ｉ）を付して説明する。例えば、同一画像に複数の人物が含まれている場合には、この複数の人物に含まれる２人の人物に対応する白抜き丸を直線で結び、この直線で結ばれた２人の人物について算出された評価値を直線に付して示す。例えば、直線で結ばれている２人の人物は、一緒に写っている画像が少なくとも１枚存在するため、比較的深い関係であると推定される。また、直線では直接結ばれていないが、一人または数人を介して間接的に結ばれる２人の人物についても、比較的深い関係であると推定される。

例えば、人物Ｂは、人物ＣおよびＥと直線で直接結ばれているため、人物ＣおよびＥと比較的深い関係であると推定される。また、人物Ｂは、人物Ａ、Ｄ、Ｇとは、直線で直接結ばれていないが、一人の人物（人物ＣまたはＥ）を介して間接的に結ばれている。このため、人物Ｂは、人物Ａ、Ｄ、Ｇともそれなりに深い関係であると推定される。さらに、人物Ｂは、人物ＦおよびＨとは、直線で直接結ばれていないが、少なくとも二人の人物（人物Ａ、Ｃ、Ｄ、ＥまたはＧ）を介して間接的に結ばれている。このため、人物Ｂは、人物Ｆ、Ｈともそれなりに深い関係であると推定される。しかし、人物Ｂは、人物Ｉとは、直線的または間接的に結ばれていない。このため、人物Ｂは、人物Ｉとは深い関係ではないと推定される。このように、顔識別結果記憶部２００に記憶されている内容に基づいて作成される人間関係を用いて、登録人物の人間関係を示す関係深度値を人物毎に算出することができる。

図６は、本発明の第１の実施の形態における顔識別結果記憶部２００に記憶されている内容に基づいて作成される関係深度値およびこれに基づいて決定される優先順位の一例を示す図である。図６（ａ）には、関係深度値の一例として、人物Ａに関する関係深度値の一覧表３５０を示す。この一覧表３５０に示す人物毎の関係深度値は、関係深度値算出部１５０により算出される。一覧表３５０には、人物３５１と、第０次関係深度値３５２と、第１次関係深度値３５３とを関連付けて示す。

人物３５１は、算出対象となる人物（特定人物）以外の人物である。ここで、図６（ａ）では、特定人物を人物Ａとする例を示すため、人物３５１には人物Ｂ乃至Ｉを示す。なお、特定人物の指定については、図８を参照して詳細に説明する。

第０次関係深度値３５２は、同一の画像に特定人物とともに含まれる人物との関係（直接関係）に基づいて、特定人物について算出される関係深度値である。図６（ａ）に示す例では、人物Ａと人物Ｂ乃至Ｉとの直接関係に基づいて算出された関係深度値を示す。具体的には、図５（ａ）に示す人間関係表３３０における人物Ａの各欄（１行目の各欄）に格納されている各値である。

第１次関係深度値３５３は、同一の画像に特定人物と同時には含まれないが、複数の画像において特定人物以外の第３の人物を介して関係付けられる第２の人物との関係（間接関係）に基づいて算出される関係深度値である。図６（ａ）に示す例では、人物Ａと人物Ｂ乃至Ｉとの間接関係に基づいて算出された関係深度値を示す。具体的には、人物Ａと他の人物（第２の人物）とに関する第１次関係深度値を算出する場合には、人物Ａおよび第２の人物以外の第３の人物を介して間接的に結び付けられた評価値を加算することにより算出される。例えば、人物Ａおよび人物Ｂ以外の第３の人物を介して、人物Ａおよび人物Ｂが間接的に結び付けられる場合は、図５（ｂ）に示すように、人物Ｃを介す場合、または、人物Ｅを介す場合である。そこで、人物Ｃを介して人物Ａおよび人物Ｂが間接的に結び付けられる場合における人物Ａおよび人物Ｃについて算出された評価値（２）と、人物Ｃおよび人物Ｂについて算出された評価値（１）とが乗算され、人物Ｃ経由の乗算値が算出される（２）。同様に、人物Ｅを介して人物Ａおよび人物Ｂが間接的に結び付けられる場合における人物Ａおよび人物Ｅについて算出された評価値（５）と、人物Ｅおよび人物Ｂについて算出された評価値（２）とが乗算され、人物Ｅ経由の乗算値が算出される（１０）。続いて、人物Ｃ経由の乗算値（２）と、人物Ｅ経由の乗算値（１０）とが加算され、人物Ａおよび人物Ｂに関する第１次関係深度値（２＋１０）が算出される。

このように、関係深度値算出部１５０により算出された第０次関係深度値および第１次関係深度値を用いて、優先順位決定部１６０が人物Ａに関する優先順序を決定する。この優先順序の決定方法として、例えば、図６（ｂ）に示すように、第０次関係深度値に基づいて順位を決定し、第０次関係深度値が同じ値の場合には、これらの順位についてのみ第１次関係深度値を用いて優先順位を決定する決定方法を用いることができる。

図６（ｂ）には、図６（ａ）に示す人物Ａに関する関係深度値表の一覧表３５０に記載の各値に基づいて決定された人物Ａに関する優先順位の一覧表３６０を示す。図６（ｂ）に示すように、人物ＣおよびＦ、人物ＤおよびＨ、人物ＢおよびＩのように、第０次関係深度値が同じ値の場合がある。このように、第０次関係深度値が同じ値となる複数の人物については、例えば、第１次関係深度値に基づいて優先順位を決定する。また、例えば、第０次関係深度値および第１次関係深度値に関する重み係数を用いて関係深度値を算出し、この関係深度値に基づいて順位を決定するようにしてもよい。具体的には、第０次関係深度値をＳ０とし、第０次関係深度値に関する重み係数をαとする。また、第１次関係深度値をＳ１とし、第１次関係深度値に関する重み係数をβとする。そして、これらの重み係数α、βを用いて関係深度値Ｓ（＝αＳ０＋βＳ１）を人物Ｂ乃至Ｉ毎に算出する。このように算出された関係深度値Ｓに基づいて優先順位を決定することができる。ここで、重み係数α、βは、例えば、α＞βを満たす値である。また、これらの重み係数をユーザによる操作入力により変更可能とするようにしてもよい。

このように、優先順位決定部１６０が、第０次関係深度値および第１次関係深度値に基づいて優先順位を決定し、この決定された優先順位を優先順位保持部１６１に保持させる。この優先順位保持部１６１に保持された優先順位に基づいて、表示制御部１７０が、例えば、画像３０１乃至３１８の表示順序を変更して表示部１８０に表示させることができる。

なお、この例では、第０次関係深度値および第１次関係深度値を算出し、これらの値に基づいて優先順位を決定する例を示した。しかしながら、例えば、複数の画像において特定人物以外の２人の人物（第２および第３の人物）を介して関係付けられる第４の人物との関係に基づいて第２次関係深度値を算出し、第０乃至２次関係深度値に基づいて優先順位を決定するようにしてもよい。また、複数の画像において特定人物以外のｍ人（ｍ≧３）以上の人物を介して関係付けられる人物との関係に基づいて第ｎ関係深度値を算出し、第０乃至ｎ次関係深度値に基づいて優先順位を決定するようにしてもよい。なお、対象となる画像の数や登録人数が多くなるに応じて計算量が膨大になる。また、ｎの値が大きくなるに応じて、第ｎ関係深度値の意味合いも薄れてくることがある。このため、第ｎ関係深度値の算出については適切な段階で終了することが望ましい。例えば、第ｎ関係深度値の値が同一となる人物がいなくなった段階で終了することができる。

［画像の表示例］
図７は、本発明の第１の実施の形態における画像記憶部２１０に記憶されている画像３０１乃至３１８を表示部１８０に表示させる際における表示順序の一例を示す図である。図７では、図３に時系列で並べて示す画像３０１乃至３１８を優先順位に基づいて並び直した例を示す。例えば、画像記憶部２１０に記憶されている画像３０１乃至３１８について、図６（ｂ）に示す優先順位が１位の人物Ｅが含まれている画像を表示順序の前側に並べる。図７では、人物Ｅが含まれている画像群を画像群３７１とし、画像群３７１に含まれる各画像における人物Ｅの顔および体部分を太線で示す。画像群３７１内においては、例えば、人物Ａが含まれている画像を表示順序の前側に並べ、人物Ａが含まれておらず人物Ａ以外の人物が含まれている画像を表示順序の後側に並べることができる。例えば、人物Ａが含まれている画像が複数存在する場合には、時間軸において前側の画像を表示順序の前側に並べる。同様に、人物Ａが含まれておらず人物Ａ以外の人物が含まれている画像が複数存在する場合には、時間軸において前側の画像を表示順序の前側に並べる。同様に、図６（ｂ）に示す優先順位が２位の人物Ｇが含まれている画像群を画像群３７２とする。ここで、人物Ｇが含まれる画像３０１、３１３、３１５については、画像群３７１に含まれているため、画像３０６のみが画像群３７２に含まれることになる。また、同様に、図６（ｂ）に示す優先順位が３位の人物Ｃが含まれている画像群を画像群３７３とする。また、他の画像についても優先順位に基づいて並べることができる。

図８は、本発明の第１の実施の形態における表示部１８０に表示される表示画面例を示す図である。図８（ａ）には、登録顔画像を指定するための顔画像指定画面３８０を示す。図８（ｂ）には、指定された登録顔画像の人物を特定人物として決定された優先順序に基づいて各画像を表示させる表示画面３９０を示す。

図８（ａ）に示す顔画像指定画面３８０は、例えば、登録人物情報記憶部２２０に記憶されている登録顔画像の一覧を表示して、所望の人物を指定するための画面である。顔画像指定画面３８０には、登録人物情報記憶部２２０に記憶されている登録顔画像のうちの１または複数の登録顔画像と、左ボタン３８６および右ボタン３８７と、表示ボタン３８８と、戻るボタン３８９とが設けられている。登録人物情報記憶部２２０に記憶されている登録顔画像として、例えば、複数の人物のうち、人物Ａ乃至Ｄに対応する登録顔画像３８１乃至３８４が表示される。なお、図８（ａ）では、各登録顔画像に含まれる顔の真中部分に、対応する人物を表す文字を付す。例えば、登録顔画像３８１は人物Ａに対応する顔画像であるため、登録顔画像３８１に含まれる顔の真中部分にＡの文字を付す。また、左ボタン３８６および右ボタン３８７の何れかについて、カーソル３８５を用いて押下操作をすることにより、登録顔画像３８１乃至３８４を左右に移動させ、人物Ａ乃至Ｄ以外の人物に対応する登録顔画像を表示させることができる。また、表示されている登録顔画像３８１乃至３８４の何れかを指定する指定操作が、カーソル３８５を用いて行われた場合には、指定された登録顔画像の周りにマーカが付される。図８（ａ）では、登録顔画像３８１の周りに破線のマーカを付す場合を示す。

このように、一覧表示されている登録顔画像のうちの何れかが指定された状態で、表示ボタン３８８を押下する押下操作が、カーソル３８５を用いて行われた場合には、指定された登録顔画像に対応する人物に関する関係深度値が算出される。そして、算出された関係深度値に基づいて、指定された登録顔画像に対応する人物（特定人物）に関する優先順位が決定され、この優先順位に基づいて、例えば、図８（ｂ）に示すように、画像記憶部２１０に記憶されている画像が表示される。なお、戻るボタン３８９が押下された場合には、表示部１８０の表示状態が、顔画像指定画面３８０の直前の表示画面に変更される。

図８（ｂ）に示す表示画面３９０は、顔画像指定画面３８０において指定された登録顔画像に対応する特定人物に関する優先順位に基づいて、画像記憶部２１０に記憶されている画像を表示するための画面である。表示画面３９０には、画像記憶部２１０に記憶されている画像を表示する表示領域３９１と、顔画像指定画面３８０において指定された登録顔画像を表示する指定顔画像領域３９２と、左ボタン３９５および右ボタン３９６とが設けられている。また、表示画面３９０には、左ボタン３９３および右ボタン３９４と、新たに表示ボタン３９７と、戻るボタン３９８と、登録人物情報記憶部２２０に記憶されている登録顔画像のうちの１または複数の登録顔画像を表示する顔画像領域３９９とが設けられている。顔画像領域３９９には、例えば、直前に表示されていた顔画像指定画面３８０に含まれる登録顔画像３８２乃至３８４が表示される。

例えば、指定顔画像領域３９２には、顔画像指定画面３８０において指定された登録顔画像３８１が表示される。また、表示領域３９１には、画像記憶部２１０に記憶されている画像が、指定顔画像領域３９２に表示されている登録顔画像に対応する特定人物に関する優先順位に基づいて順次表示される。また、例えば、左ボタン３９５および右ボタン３９６の何れかについて、カーソル３８５を用いて押下操作をすることにより、表示領域３９１に表示されている画像を優先順位に基づいて左右に移動させることができる。また、顔画像領域３９９に一覧表示されている登録顔画像のうちの何れかを新たに指定し、新たに表示ボタン３９７を押下する押下操作が、カーソル３８５を用いて行われた場合には、新たに指定された登録顔画像に対応する特定人物に関する関係深度値が算出される。そして、新たに指定された登録顔画像に関する優先順位に基づいて、画像記憶部２１０に記憶されている画像が表示される。なお、戻るボタン３９８が押下された場合には、表示部１８０の表示状態が、直前に表示されていた顔画像指定画面３８０に変更される。

なお、図８（ｂ）に示す例では、画像記憶部２１０に記憶されている画像を１つずつ表示する例を示すが、例えば、優先順位により決定される画像群に含まれる複数の画像を画像群毎に表示するようにしてもよい。また、表示制御部１７０は、画像記憶部２１０に記憶されている画像を優先順位に基づいて表示領域３９１に表示するとともに、登録人物情報記憶部２２０に記憶されている登録顔画像を優先順位に従って指定顔画像領域３９２に表示させるようにしてもよい。

また、例えば、多量の画像を画像入力部１１０に順次入力し、これらの画像に含まれる人物に関する登録人物情報を登録人物情報記憶部２２０に順次記録する。そして、登録人物情報記憶部２２０に記録された登録人物情報の登録名称２２２（図２に示す）をユーザが手動で入力する際に、各登録顔画像を優先順位に表示させて、優先順位の高い順に登録名称を入力することができる。これにより、効率的な登録人物情報の登録作業を行うことができる。

［画像処理装置の動作例］
次に、本発明の第１の実施の形態における画像処理装置１００の動作について図面を参照して説明する。

図９は、本発明の第１の実施の形態における画像処理装置１００による顔識別結果記録処理の処理手順を示すフローチャートである。

最初に、画像入力部１１０が画像を入力する（ステップＳ９０１）。続いて、顔検出部１２０が、入力された画像について顔検出処理を行う（ステップＳ９０２）。続いて、顔検出部１２０により顔が検出されたか否かが判断され（ステップＳ９０３）、顔が検出されていなければ、ステップＳ９０８に進む。一方、顔検出部１２０により顔が検出された場合には（ステップＳ９０３）、顔識別部１３０が、検出された顔について顔識別処理を行う（ステップＳ９０４）。

続いて、検出された顔のうちで、識別を行うことができない顔が存在するか否かが判断され（ステップＳ９０５）、識別を行うことができない顔が存在しなければ、ステップＳ９０７に進む。一方、識別を行うことができない顔が存在する場合には（ステップＳ９０５）、記録制御部１４０が、その顔に対応する特徴量および顔画像を新たな登録人物に関する登録人物情報として登録人物情報記憶部２２０に記録させる（ステップＳ９０６）。続いて、記録制御部１４０が、検出された顔について識別された顔識別結果を、画像に関連付けて顔識別結果記憶部２００に記録させる（ステップＳ９０７）。画像入力部１１０からの画像入力が終了したか否かが判断され（ステップＳ９０８）、画像入力が終了した場合には、顔検出結果記録処理の動作を終了する。一方、画像入力部１１０からの画像入力が終了していない場合には（ステップＳ９０８）、ステップＳ９０１に戻る。

図１０は、本発明の第１の実施の形態における画像処理装置１００による画像表示処理の処理手順を示すフローチャートである。

最初に、登録人物情報記憶部２２０に記憶されている登録顔画像を表示する指示操作が操作受付部１９０により受け付けられたか否かが判断される（ステップＳ９１１）。その指示操作が受け付けられていない場合には（ステップＳ９１１）、その指示操作が受け付けられるまで監視を継続する。その指示操作が受け付けられた場合には（ステップＳ９１１）、表示制御部１７０が、登録人物情報記憶部２２０に記憶されている各登録顔画像を取得し、取得された各登録顔画像の一覧を表示部１８０に表示させる（ステップＳ９１２）。

続いて、表示部１８０に表示されている登録顔画像の一覧のうちで、１つの登録顔画像を指定する指定操作が操作受付部１９０により受け付けられたか否かが判断される（ステップＳ９１３）。登録顔画像を指定する指定操作が受け付けられた場合には（ステップＳ９１３）、関係深度値算出部１５０が、表示対象となる画像に関連付けて顔識別結果記憶部２００に記憶されている顔識別結果を取得する（ステップＳ９１４）。なお、表示対象となる画像は、画像記憶部２１０に記憶されている各画像である。続いて、関係深度値算出部１５０が、取得された顔識別結果に基づいて、表示対象となる各画像に含まれる人物間の評価値を算出する（ステップＳ９１５）。続いて、変数ｉが「０」に初期化され（ステップＳ９１６）、関係深度値算出部１５０が、算出された各評価値に基づいて、第ｉ次関係深度値を算出する（ステップＳ９１７）。

続いて、変数ｉが、定数Ｎ以上であるか否かが判断される（ステップＳ９１８）。変数ｉが、定数Ｎ未満である場合には（ステップＳ９１８）、変数ｉに「１」が加算され（ステップＳ９１９）、ステップＳ９１７に戻る。例えば、定数Ｎとして、１を用いることができる。一方、変数ｉが定数Ｎ以上である場合には（ステップＳ９２０）、優先順位決定部１６０が、算出された第０乃至ｉ次関係深度値に基づいて、特定人物に関する優先順位を決定する（ステップＳ９２０）。そして、この優先順位が優先順位保持部１６１に保持される（ステップＳ９２１）。続いて、表示制御部１７０が、優先順位保持部１６１に保持された優先順位に基づいて、表示対象となる各画像の表示順序を決定する（ステップＳ９２２）。続いて、表示制御部１７０が、決定された表示順序に基づいて、表示対象となる各画像を表示部１８０に表示させる（ステップＳ９２３）。

また、登録顔画像を指定する指定操作が受け付けられない場合には（ステップＳ９１３）、表示制御部１７０が、表示対象となる各画像の記録時刻に基づいて、表示対象となる各画像の表示順序を決定する（ステップＳ９２４）。なお、ステップＳ９１５乃至Ｓ９１９は、特許請求の範囲に記載の関係深度値算出手順の一例である。また、ステップＳ９２０は、特許請求の範囲に記載の優先順位決定手順の一例である。

このように、本発明の第１の実施の形態によれば、同一画像に含まれる人物間に関する評価値を用いて優先順位を決定することができる。具体的には、同一画像に含まれる人物間に関する評価値を用いて第０乃至ｉ次関係深度値を算出し、この第０乃至ｉ次関係深度値に基づいて、優先順位を決定する。このように、直接的な人間関係に基づいて算出される第０次関係深度値と、間接的な人間関係に基づいて算出される第ｉ次関係深度値とを用いて優先順位を決定することができる。これにより、同一画像に特定人物と一緒に写っていない人物についても、第ｉ次関係深度値の算出対象となるため、特定人物に関する人間関係を、興味のある形で表現することができる。

＜２．第２の実施の形態＞
［画像処理装置の構成例］
本発明の第２の実施の形態では、同一画像に含まれる人物の数または人物間の距離を考慮して関係深度値を算出する例について図面を参照して詳細に説明する。

図１１は、本発明の第２の実施の形態における画像処理装置５００の機能構成例を示すブロック図である。画像処理装置５００は、記録制御部５１０と、顔情報記憶部５２０と、顔間距離算出部５３０と、関係深度値算出部５４０と、優先順位決定部５５０と、優先順位保持部５５１とを備える。なお、他の機能構成については、図１に示す画像処理装置１００と略同一であるため、画像処理装置１００の符号と同一の符号を付して、機能が異なるものを中心にして説明し、他の説明を省略する。

記録制御部５１０は、顔情報記憶部５２０、画像記憶部２１０および登録人物情報記憶部２２０に対する記録制御を行うものである。具体的には、記録制御部５１０は、画像入力部１１０から出力された画像を画像記憶部２１０に記録させるとともに、この画像に関連付けて顔識別部１３０から出力された顔識別結果および顔検出情報を顔情報記憶部５２０に記録させる。

顔情報記憶部５２０は、記録制御部５１０の制御に基づいて、顔識別部１３０から出力された顔識別結果および顔検出情報を、識別対象となった画像に関連付けて記憶するものである。そして、記憶されている顔識別結果および顔検出情報（顔情報）を顔間距離算出部５３０に供給し、記憶されている顔識別結果を関係深度値算出部５４０に供給する。なお、顔情報記憶部５２０については、図１３を参照して詳細に説明する。

顔間距離算出部５３０は、顔情報記憶部５２０に記憶されている顔検出情報に基づいて、画像記憶部２１０に記憶されている各画像に含まれる人物の顔間の距離を算出するものである。そして、算出された顔間の距離を顔識別結果に関連付けて関係深度値算出部５４０に出力する。なお、この顔間の距離の算出については、図１８を参照して詳細に説明する。

関係深度値算出部５４０は、顔情報記憶部５２０に記憶されている顔識別結果および顔検出情報に基づいて関係深度値を算出するものであり、算出された関係深度値を優先順位決定部５５０に出力する。具体的には、関係深度値算出部５４０は、画像記憶部２１０に記憶されている画像に含まれる人物のうち、同一画像に同時に含まれる２人の人物の登場頻度と、その同一画像に同時に含まれる人物の数とに基づいて各人物間の評価値を算出する。また、関係深度値算出部５４０は、画像記憶部２１０に記憶されている画像に含まれる人物のうち、同一画像に同時に含まれる２人の人物の登場頻度と、その同一画像に同時に含まれる各人物間の距離とに基づいて各人物間の評価値を算出する。そして、特定人物および第２の人物に関する評価値に基づいて第２の人物に対する第０次関係深度値を算出する。また、特定人物および第３の人物に関する評価値と、第２の人物および第３の人物に関する評価値とに基づいて、第２の人物に対する第１次関係深度値を算出する。これらの算出対象となる関係深度値は、例えば、ユーザによる操作受付部１９０からの操作入力により選択される。なお、同一画像に含まれる人物の数を考慮した関係深度値の算出については、図１６および図１７を参照して詳細に説明する。また、同一画像に含まれる人物間の距離を考慮した関係深度値の算出については、図１８乃至図２１を参照して詳細に説明する。

優先順位決定部５５０は、関係深度値算出部５４０から出力された関係深度値に基づいて、登録人物情報記憶部２２０に登録人物情報が記憶されている複数の人物について、優先順位を決定するものである。そして、決定された優先順位を優先順位保持部５５１に出力して保持させる。なお、この優先順位の決定は、決定の対象となる関係深度値が異なる以外の点は、本発明の第１の実施の形態と同様である。また、この優先順位の決定については、図１６乃至図２１を参照して詳細に説明する。

優先順位保持部５５１は、優先順位決定部５５０から出力された優先順位を保持するものであり、保持されている優先順位を表示制御部１７０に供給する。

図１２は、本発明の第２の実施の形態における画像記憶部２１０に記憶されている画像を模式的に示す図である。図１２に示す画像６０１乃至６０３は、デジタルスチルカメラ等の撮像装置により記録された静止画であり、画像入力部１１０から入力されて画像記憶部２１０に記憶されている画像である。また、画像６０１乃至６０３には、複数人の人物が含まれているものとする。なお、図１２では、画像６０１乃至６０３に含まれる人物を識別するため、各人物の体の中心部分に符号「Ａ」乃至「Ｄ」を付して示す。すなわち、同一の符号が付されている人物は、同一人物であるものとする。また、図１２では、画像６０１乃至６０３を時系列に並べて示す。すなわち、時間軸において、画像６０１が一番古い画像であり、画像６０３が一番新しい画像であるものとする。

図１３は、本発明の第２の実施の形態における顔情報記憶部５２０に記憶されている内容を概略的に示す図である。顔情報記憶部５２０には、画像入力部１１０から入力された画像と、この画像において検出された登録人物との関係とともに、検出された登録人物の顔検出情報が記憶される。図１３に示す例では、人物Ａ乃至Ｄのそれぞれを識別するための登録人物情報が登録人物情報記憶部２２０に記憶されている場合に、図１２に示す画像６０１乃至６０３が入力された場合における記憶内容を示す。なお、図１３では、画像６０１乃至６０３を示す識別情報をＰ６０１乃至Ｐ６０３とし、人物Ａ乃至Ｄを示す識別情報をＡ乃至Ｄとして示す。例えば、画像６０１乃至６０３において、登録人物の顔が検出された場合には、その人物に関連付けて顔検出情報（顔の画像上における位置およびサイズ）が格納される。なお、図１３では、登録人物の顔が検出されていない場合には、その対応する欄に「−」を付す。例えば、画像６０１には人物Ａ、ＢおよびＤが含まれているため、Ｐ６０１のＡ、ＢおよびＤには、Ａ、ＢおよびＤについて検出された検出顔情報が格納される。例えば、Ｐ６０１のＡについて検出された検出顔情報として、顔の画像上における位置（Ｘ１１，Ｙ１１）と、顔の画像上におけるサイズ（Ｈ１１，Ｗ１１）とが格納される。

このように、顔情報記憶部５２０には、画像入力部１１０から入力された画像に関連付けられて、画像において検出された人物に関する顔識別結果および顔検出情報が記憶されている。この顔情報記憶部５２０に記憶されている顔識別結果および顔検出情報を用いて関係深度値が算出される。以下では、関係深度値の算出方法について図面を参照して詳細に説明する。

［優先順位の決定例］
図１４は、本発明の第２の実施の形態における顔情報記憶部５２０に記憶されている内容に基づいて作成される人間関係表および人間関係図を示す図である。図１４（ａ）には、画像６０１乃至６０３に含まれる人物Ａ乃至Ｄの関係を数値で表した人間関係表６１０を示す。図１４（ｂ）には、人物Ａ乃至Ｄを表す白抜き丸を二次元上に配置して、人物Ａ乃至Ｄの関係を二次元的に表した人間関係図６２０を示す。なお、図１４に示す人間関係表６１０および人間関係図６２０は、図５に示す人間関係表３３０および人間関係図３４０と同様に作成されるものであるため、ここでの詳細な説明を省略する。

図１５は、本発明の第２の実施の形態における顔情報記憶部５２０に記憶されている内容に基づいて作成される関係深度値およびこれに基づいて決定される優先順位の一例を示す図である。図１５（ａ）には、関係深度値の一例として、人物Ａに関する関係深度値の一覧表６３０を示す。一覧表６３０には、人物および画像と、第０次関係深度値６３１と、第１次関係深度値６３２とを関連付けて示す。なお、図１５（ａ）に示す一覧表６３０は、画像６０１乃至６０３に関する内容と、各値に対する合計とを追加した以外の点は、図６（ａ）に示す一覧表３５０と同様であるため、ここでの詳細な説明を省略する。なお、第０次関係深度値６３１の括弧内に示す数値は、合計に対して各人物が占める割合である。

図１５（ｂ）には、図１５（ａ）に示す人物Ａに関する関係深度値表の一覧表３５０に記載の各値に基づいて決定された人物Ａに関する優先順位の一覧表３６０を示す。このように、本発明の第１の実施の形態と同様に優先順位を決定することができる。ここで、例えば、人物Ａが含まれる画像６０１乃至６０３について、人物Ａ以外に３人（人物Ｂ乃至Ｄ）が含まれる画像６０３と、人物Ａ以外に１人（人物Ｃ）のみが含まれる画像６０１とを比較する。この場合には、多人数で撮影された画像６０３に含まれる３人（人物Ｂ乃至Ｄ）と人物Ａとの関係よりも、いわゆる２ショットで撮影された画像６０１に含まれる人物Ｃおよび人物Ａの関係が深い可能性が高いと考えられる。

また、同一画像に含まれる複数の人物間の距離が近ければ、この距離が近い人物間の人間関係も深い可能性が高いとも考えられる。例えば、図１２（ａ）に示す画像６０１に含まれる人物Ａおよび人物Ｂと、人物Ａおよび人物Ｄとの関係を考える。画像６０１では、人物Ａおよび人物Ｂの距離よりも、人物Ａおよび人物Ｄの距離が近い。このため、人物Ａとの距離が近い人物Ｄが、人物Ａとの距離が遠い人物Ｂよりも人物Ａとの人間関係が深い可能性が高いと考えられる。そこで、以下では、同一画像に含まれる人物間の特徴を考慮して、関係深度値を算出する例について説明する。この人物間の特徴として、同一画像に含まれる人物の数、同一画像に含まれる人物間の距離を考慮する例を示す。

［同一画像に含まれる人物の数を考慮した優先順位の決定例］
図１６は、本発明の第２の実施の形態における顔情報記憶部５２０に記憶されている内容に基づいて作成される人間関係表および人間関係図を示す図である。図１６に示す人間関係表６５０および人間関係図６６０により表される数値は、関係深度値算出部５４０により算出される。図１６（ａ）には、画像６０１乃至６０３に含まれる人物Ａ乃至Ｄの関係を数値で表した人間関係表６５０を示す。図１６（ｂ）には、人物Ａ乃至Ｄを表す白抜き丸を二次元上に配置して、人物Ａ乃至Ｄの関係を二次元的に表した人間関係図６６０を示す。図１６に示す例では、同一画像に複数の人物が含まれている場合に、この同一画像に含まれる複数の人物のうち、各２人の関係についてその複数の人物の数を考慮した値を加算する例を示す。具体的には、同一画像に含まれる人物の数をｎとする場合に、１／（ｎ−１）を算出し、１／（ｎ−１）を各人物間に関する関係を表す数値とする。

例えば、画像６０１のように、同一画像に３人の人物Ａ、Ｂ、Ｄが含まれている場合には、人物ＡおよびＢの関係、人物ＢおよびＤの関係、人物ＤおよびＡの関係のそれぞれについて１／２が加算される。また、画像６０２のように、同一画像に２人の人物Ａ、Ｃが含まれている場合には、人物ＡおよびＣの関係について１が加算される。また、画像６０３のように、同一画像に４人の人物Ａ乃至Ｄが含まれている場合には、人物Ａ乃至Ｄのそれぞれの関係について１／３が加算される。このように、同一画像に含まれる複数の人物の関係について、同一画像に含まれる人物の数を考慮した値を順次加算することにより、画像６０１乃至６０３に含まれる人物Ａ乃至Ｄの人物間の関係を数値（評価値）で表すことができる。

例えば、人物ＡおよびＢが一緒に含まれている画像は、画像６０１および６０３であり、画像６０１について算出された各人物間に関する関係を表す数値は１／２であり、画像６０３について算出された各人物間に関する関係を表す数値は１／３である。このため、人間関係表６５０の人物ＡおよびＢの関係を示す欄には「５／６」が格納される。また、例えば、人物ＢおよびＣが一緒に含まれている画像は、画像６０３のみであり、画像６０３について算出された各人物間に関する関係を表す数値は１／３である。このため、人間関係表６５０の人物ＢおよびＣの関係を示す欄には「１／３」が格納される。また、他の人物同士の関係についても同様に計算され、人間関係表６５０の２人の人物の関係を示す欄に格納される。なお、図１６（ａ）では、各人物間に関する関係を表す各数値の合計値（評価値）の右側のカッコ内に、加算対象となる各数値を付す。

また、図１６（ｂ）に示すように、図１６（ａ）に示す人間関係表６５０の内容を二次元的な人間関係図として表すことができる。図１６（ｂ）に示す人間関係図６６０では、人物Ａ乃至Ｄを白抜きの丸で示し、この丸内に各人物の識別情報（Ａ乃至Ｄ）を付して説明する。なお、直線で結ばれた２人の人物について算出された数値が異なる以外の点は、図５（ｂ）に示す人間関係図３４０の関係と同様であるため、ここでの詳細な説明を省略する。ここで、人間関係図６６０と、図１４（ｂ）に示す人間関係図６２０とを比較すると、直線で結ばれた２人の人物について算出された数値が異なっていることがある。例えば、人間関係図６２０において、人物ＡおよびＢの関係と、人物ＡおよびＣの関係とのそれぞれについて算出された評価値は２である。これに対して、人間関係図６６０において、人物ＡおよびＢの関係について算出された評価値は５／６であるが、人物ＡおよびＣの関係について算出された評価値は４／３である。すなわち、同一画像に含まれる人物の数を考慮した場合には、人物ＡおよびＣの関係が、人物ＡおよびＢの関係よりも深い関係であると推定される。

図１７は、本発明の第２の実施の形態における顔情報記憶部５２０に記憶されている内容に基づいて作成される関係深度値およびこれに基づいて決定される優先順位の一例を示す図である。図１７（ａ）には、関係深度値の一例として、人物Ａに関する関係深度値の一覧表６７０を示す。一覧表６７０には、人物および画像と、第０次関係深度値６７１と、第１次関係深度値６７２とを関連付けて示す。この一覧表６７０に示す人物毎の関係深度値は、関係深度値算出部５４０により算出される。なお、図１７（ａ）に示す一覧表６７０は、直線で結ばれた２人の人物について算出された数値が異なる以外の点は、図１５（ａ）に示す一覧表６３０と同様であるため、ここでの詳細な説明を省略する。

図１７（ｂ）には、図１７（ａ）に示す人物Ａに関する関係深度値表の一覧表６７０に記載の各値に基づいて決定された人物Ａに関する優先順位の一覧表６８０を示す。この一覧表６８０に示す優先順位は、優先順位決定部５５０により決定される。なお、図１７（ｂ）に示す一覧表６８０は、第０次関係深度値６８３および第１次関係深度値６８４の内容およびこれに基づいて決定される順位が異なる以外の点は、図１５（ｂ）に示す一覧表６４０と同様であるため、ここでの詳細な説明を省略する。

ここで、一覧表６８０と、図１５（ｂ）に示す一覧表６４０とを比較すると、同一画像を対象としているにもかかわらず、優先順位が異なっている。例えば、一覧表６４０では、優先順位の１位が人物Ｂであるのに対し、一覧表６８０では、優先順位の１位が人物Ｃである。また、人物Ｃについては、一覧表６４０では優先順位が３位であるのに対し、一覧表６８０では優先順位が１位である。すなわち、多人数で撮影された画像６０３に含まれる３人（人物Ｂ乃至Ｄ）と人物Ａとの関係よりも、いわゆる２ショットで撮影された画像６０１に含まれる人物Ｃおよび人物Ａの関係が重視された優先順位を決定することができる。また、例えば、本発明の第１の実施の形態と同様に、第０次関係深度値および第１次関係深度値に関する重み係数を用いて関係深度値を算出し、この関係深度値に基づいて順位を決定するようにしてもよい。

［同一画像に含まれる人物間の距離を考慮した優先順位の決定例］
図１８は、本発明の第２の実施の形態における画像記憶部２１０に記憶されている画像を模式的に示す図である。図１８に示す画像７００および７１０は、図１２に示す画像６０１および６０３を拡大表示したものである。ここで、図１３に示す顔情報記憶部５２０には、顔検出部１２０により検出された顔に関する顔検出情報（顔の画像上における位置およびサイズ）が記憶されている。このため、画像記憶部２１０に記憶されている画像に含まれる各顔の位置および大きさを特定することができる。この各顔の位置を用いて、顔間距離算出部５３０が、画像に含まれる２人の人物間の距離を算出する。

顔間距離算出部５３０が、画像記憶部２１０に記憶されている画像に含まれる２人の人物間の距離を算出する場合には、この画像に含まれる２人の人物に関連付けて顔情報記憶部５２０に記憶されている顔検出情報（顔の画像上における位置）を取得する。続いて、顔間距離算出部５３０が、取得された顔検出情報を用いて、２人の人物間の距離を算出する。例えば、図１８（ａ）に示す画像７００に含まれる人物ＡおよびＢ間の距離を算出する場合には、顔間距離算出部５３０が、顔情報記憶部５２０から、画像Ｐ６０１の人物ＡおよびＢに格納されている顔検出情報を取得する。この顔検出情報は、顔の画像上における位置（（Ｘ１１，Ｙ１１）および（Ｘ１２，Ｙ１２））である。続いて、顔間距離算出部５３０が、取得された顔検出情報を用いて、人物ＡおよびＢ間の距離（√（（Ｘ１１−Ｘ１２）^２＋（Ｙ１１−Ｙ１２）^２））を算出する。例えば、図１８（ａ）に示すように、人物ＡおよびＢ間の距離として、人物Ａの顔の中心位置Ｏ１１と、人物Ｂの顔の中心位置Ｏ１２との間の距離Ｋ１が算出される。同様に、人物ＡおよびＤ間の距離として、人物Ａの顔の中心位置Ｏ１１と、人物Ｄの顔の中心位置Ｏ１３との間の距離Ｋ２が算出される。また、人物ＢおよびＤ間の距離として、人物Ｂの顔の中心位置Ｏ１２と、人物Ｄの顔の中心位置Ｏ１３との間の距離Ｋ３が算出される。なお、図１８（ａ）では、顔情報記憶部５２０に記憶されている顔検出情報（顔の画像上における位置およびサイズ）により特定される人物Ａ乃至Ｃの各顔の領域を顔領域７０１乃至７０３として示す。また、同様に、例えば、図１８（ｂ）に示すように、人物Ａ乃至Ｄに関する人物間の距離として、距離Ｋ４乃至Ｋ９が算出される。なお、図１８（ｂ）では、人物Ａ乃至Ｄの各顔の領域を顔領域７１１乃至７１４として示す。このように画像毎に算出された各人物間の距離を、顔間距離算出部５３０が、各人物の識別情報に関連付けて関係深度値算出部５４０に出力する。

図１９は、本発明の第２の実施の形態における顔情報記憶部５２０に記憶されている内容に基づいて作成される人間関係表を示す図である。図１９に示す人間関係表６９０により表される数値（評価値）は、関係深度値算出部５４０により算出される。人間関係表６９０は、画像６０１乃至６０３に含まれる人物Ａ乃至Ｄの人物間の関係を数値で表したものである。図１９に示す例では、同一画像に複数の人物が含まれている場合に、この同一画像に含まれる複数の人物のうち、各２人の関係についてその人物間の距離を考慮した値を加算する例を示す。ここで、画像に含まれる複数の人物間の距離については、基準となる人物（基準人物）と、他の人物（対象人物）との相対的な関係により決定される。このため、人間関係表６９０は、図１４および図１６に示す人間関係表とは異なり、基準人物と対象人物との関係を示す表となる。

具体的には、同一画像に含まれる人物の数をｎとする。このｎ人の人物のうちの基準人物以外の対象人物について、顔間距離算出部５３０により算出された人物間の距離の順位をｍ位とする。この人物間の距離の順位がｍ位の人物に関する関係を表す数値を算出する場合には、各人物間に関する関係を表す数値として、２（ｎ−ｍ）／（ｎ（ｎ−１））を算出する。

例えば、同一画像に３人の人物Ａ、Ｂ、Ｄが含まれている画像６０１について、基準人物を人物Ａとし、対象人物を人物ＢおよびＤとする。この場合に、顔間距離算出部５３０により算出された人物ＡおよびＤ間の距離の順位を１位とし、人物ＡおよびＢ間の距離の順位を２位とする。この場合には、基準人物Ａおよび対象人物Ｂ間に関する関係を表す数値として、１／３を算出する。同様に、基準人物Ａおよび対象人物Ｄ間に関する関係を表す数値として、２／３を算出する。一方、例えば、画像６０１について、基準人物を人物Ｂとし、対象人物を人物ＡおよびＤとする。この場合に、顔間距離算出部５３０により算出された人物ＡおよびＢ間の距離の順位を１位とし、人物ＢおよびＤ間の距離の順位を２位とする。この場合には、基準人物Ｂおよび対象人物Ａ間に関する関係を表す数値として、２／３が算出される。同様に、基準人物Ｂおよび対象人物Ｄ間に関する関係を表す数値として、１／３が算出される。このように、同一画像に含まれる各人物を基準人物とした場合における数値を順次算出し、これらの値を複数の画像について基準人物毎に加算する。このように、同一画像に含まれる複数の人物の関係について、同一画像に含まれる人物間の距離を考慮した値を順次加算することにより、画像６０１乃至６０３に含まれる人物Ａ乃至Ｄの関係を数値で表すことができる。

例えば、人物ＡおよびＢが一緒に含まれている画像６０１について、基準人物を人物Ａとし、対象人物を人物Ｂとした場合に算出された人物ＡおよびＢ間に関する関係を表す数値は１／３である。また、人物ＡおよびＢが一緒に含まれている画像６０３について、基準人物を人物Ａとし、対象人物を人物Ｂとした場合に算出された人物ＡおよびＢ間に関する関係を表す数値は１／２である。このため、人間関係表６５０の基準人物Ａに対する対象人物Ｂの関係を示す欄には「５／６」が格納される。

ここで、例えば、人物ＢおよびＣが一緒に含まれている画像６０３について、基準人物をＢとする場合には、人物Ｃは人物Ａよりも遠い位置に存在する。このため、基準人物Ｂに対する対象人物Ｃの相対的な関係は、人物Ａよりも浅い関係であると推定される。これに対して、基準人物をＣとする場合には、人物Ｂは他の人物ＡおよびＤよりも近い位置に存在する。このため、基準人物Ｃに対する対象人物Ｂの相対的な関係は、最も深い関係であると推定される。このような関係が成立するため、例えば、人物ＢおよびＣが一緒に含まれている画像６０３について、基準人物を人物Ｂとし、対象人物を人物Ｃとした場合に算出された人物ＢおよびＣ間に関する関係を表す数値は１／３である。一方、画像６０３について、基準人物を人物Ｃとし、対象人物を人物Ｂとした場合に算出された人物ＢおよびＣ間に関する関係を表す数値は１／２である。また、他の人物同士の関係についても同様に計算され、人間関係表６９０の２人の人物の関係を示す欄に格納される。

図２０は、本発明の第２の実施の形態における顔情報記憶部５２０に記憶されている内容に基づいて作成される人間関係図を示す図である。図２０に示す人間関係図６９１乃至６９４により表される数値（評価値）は、関係深度値算出部５４０により算出される。図２０に示す人間関係図６９１乃至６９４は、人物Ａ乃至Ｄを表す白抜き丸を二次元上に配置して、図１９に示す人間関係表６９０の内容を基準人物毎に二次元的に表したものである。すなわち、図２０（ａ）に示す人間関係図６９１は、基準人物をＡとし、対象人物をＢ乃至Ｄとする場合における人間関係図であり、図２０（ｂ）に示す人間関係図６９２は、基準人物をＢとし、対象人物をＡ、Ｃ、Ｄとする場合における人間関係図である。また、図２０（ｃ）に示す人間関係図６９３は、基準人物をＣとし、対象人物をＡ、Ｂ、Ｄとする場合における人間関係図であり、図２０（ｄ）に示す人間関係図６９４は、基準人物をＤとし、対象人物をＡ乃至Ｃとする場合における人間関係図である。なお、図２０では、基準人物を表す白抜き丸を太線で示す。例えば、図２０（ａ）に示す人間関係図６９１では、基準人物Ａと対象人物Ｂ乃至Ｄとを直線で結び、基準人物Ａに対する対象人物Ｂ乃至Ｄについて算出された評価値（図１９に示す基準人物Ａの各欄（１行目の各欄）の値）を直線に付して示す。

ここで、画像に含まれる複数の人物間の距離については、基準人物に対する対象人物の相対的な関係により決定される。このため、人間関係図６９１乃至６９４は、図１４（ｂ）および図１６（ｂ）に示す人間関係図とは異なり、基準人物に対する対象人物の相対的な関係を示す表となる。例えば、図２０（ａ）に示す人間関係図６９１では、人物ＡおよびＢの関係について算出された評価値は５／６である。これに対して、図２０（ｂ）に示す人間関係図６９２では、人物ＡおよびＢの関係について算出された評価値は７／６である。このように人物間の距離を考慮する場合には、直線で結ばれた２人の人物について算出された評価値が異なることがある。

図２１は、本発明の第２の実施の形態における顔情報記憶部５２０に記憶されている内容と、顔間距離算出部５３０により算出された人物間の距離とに基づいて作成される関係深度値およびこれに基づいて決定される優先順位の一例を示す図である。図２１（ａ）には、関係深度値の一例として、人物Ａに関する関係深度値の一覧表７００を示す。一覧表７００には、人物および画像と、第０次関係深度値６７１と、第１次関係深度値６７２とを関連付けて示す。この一覧表７００に示す人物毎の関係深度値は、関係深度値算出部５４０により算出される。なお、図２１（ａ）に示す一覧表７００は、直線で結ばれた２人の人物について算出された数値が異なる以外の点は、図１５（ａ）に示す一覧表６３０と略同様である。このため、一覧表６３０と異なる点を中心に説明し、他の詳細な説明を省略する。

第０次関係深度値７０１は、同一の画像に特定人物とともに含まれる人物との関係（直接関係）に基づいて、特定人物について算出される関係深度値である。図２１（ａ）に示す例では、特定人物Ａと人物Ｂ乃至Ｄとの直接関係に基づいて算出された関係深度値を示す。具体的には、図１９に示す人間関係表６９０における人物Ａの各欄（１行目の各欄）に格納されている各値である。

第１次関係深度値７０２は、同一の画像に特定人物と同時には含まれないが、複数の画像において特定人物以外の第３の人物を介して関係付けられる第２の人物との関係（間接関係）に基づいて算出される関係深度値である。図２１（ａ）に示す例では、人物Ａと人物Ｂ乃至Ｄとの間接関係に基づいて算出された関係深度値を示す。具体的には、人物Ａと他の人物（第２の人物）とに関する第１次関係深度値を算出する場合には、人物Ａおよび第２の人物以外の第３の人物を介して間接的に結び付けられた評価値を加算することにより算出される。例えば、人物Ａおよび人物Ｂ以外の第３の人物を介して、人物Ａおよび人物Ｂが間接的に結び付けられる場合は、図２０（ａ）、（ｃ）、（ｄ）に示すように、人物Ｃを介す場合、または、人物Ｄを介す場合である。そこで、人物Ｃを介して人物ＡおよびＢが間接的に結び付けられる場合における人物ＡおよびＣに関する評価値（７／６：図２０（ａ）に示す）と、人物ＣおよびＢに関する評価値（１／２：図２０（ｃ）に示す）とが乗算される。この乗算により、人物Ｃ経由の乗算値が算出される（７／１２）。同様に、人物Ｄを介して人物ＡおよびＢが間接的に結び付けられる場合における人物ＡおよびＤに関する評価値（１：図２０（ａ）に示す）と、人物ＤおよびＢに関する評価値（２／３：図２０（ｄ）に示す）とが乗算される。この乗算により、人物Ｄ経由の乗算値が算出される（２／３）。続いて、人物Ｃ経由の乗算値（７／１２）と、人物Ｅ経由の乗算値（２／３）とが加算され、人物Ａおよび人物Ｂに関する第１次関係深度値（１１／１２）が算出される。また、他の人物同士の関係についても同様に計算される。

図２１（ｂ）には、図２１（ａ）に示す人物Ａに関する関係深度値表の一覧表７００に記載の各値に基づいて決定された人物Ａに関する優先順位の一覧表７１０を示す。この一覧表７１０に示す優先順位は、優先順位決定部５５０により決定される。なお、図２１（ｂ）に示す一覧表７１０は、第０次関係深度値７１３および第１次関係深度値７１４の内容およびこれに基づいて決定される順位が異なる以外の点は、図１５（ｂ）に示す一覧表６４０と同様であるため、ここでの詳細な説明を省略する。

ここで、一覧表７１０と、図１５（ｂ）に示す一覧表６４０と、図１７（ｂ）に示す一覧表６８０とを比較すると、同一画像を対象としているにもかかわらず、優先順位が異なっている。例えば、一覧表６８０では、優先順位の２位および３位の値が同一であるのに対し、一覧表７１０では、全ての優先順位の値が異なる。例えば、一覧表６４０では、優先順位の１位が人物Ｂであるのに対し、一覧表６８０および７１０では、優先順位の１位が人物Ｃである。また、一覧表６８０では、人物ＢおよびＤの優先順位がともに２位であるのに対し、一覧表７１０では、人物Ｄの優先順位が２位であり、人物Ｂの優先順位が３位である。すなわち、同一画像に含まれる人物の数とともに、人物間の距離が重視して優先順位を決定することができる。このように、同一画像における相対的な位置関係に基づいて関係深度値を算出することにより、さらにユーザの好みに応じた優先順位を決定することができる。また、例えば、本発明の第１の実施の形態と同様に、第０次関係深度値および第１次関係深度値に関する重み係数を用いて関係深度値を算出し、この関係深度値に基づいて順位を決定するようにしてもよい。

また、以上では、直接または間接により関連付けられるか否かに基づく優先順位の決定、人物の数を考慮した優先順位の決定、人物間の距離を考慮した優先順位の決定について説明した。これらの何れかにより優先順位を決定するかの選択を、例えば、ユーザの好みに応じて、操作受付部１９０からの操作入力により行うようにしてもよい。また、これらの関係深度値をそれぞれ算出し、各関係深度値に関する重み係数を用いて、新たな関係深度値を算出し、この新たな関係深度値に基づいて順位を決定するようにしてもよい。

図２２は、本発明の第２の実施の形態における表示部１８０に表示される表示画面例を示す図である。図２２（ａ）には、指定された登録顔画像の人物を特定人物として決定された優先順序に基づいて各画像を表示させる表示画面７２０を示す。この表示画面７２０は、例えば、図８（ａ）に示す顔画像指定画面３８０において、登録顔画像の指定操作が行われた後に表示される画面である。すなわち、顔画像指定画面３８０において指定された登録顔画像に対応する特定人物に関する優先順位に基づいて、画像記憶部２１０に記憶されている画像が表示画面７２０に表示される。

表示画面７２０には、画像記憶部２１０に記憶されている画像を表示する表示領域７２１と、左ボタン７２２および右ボタン７２３と、戻るボタン７２５とが設けられている。左ボタン７２２および右ボタン７２３と、戻るボタン７２５とについては、図８（ｂ）に示す左ボタン３９５および右ボタン３９６、戻るボタン３９８と同様であるため、ここでの説明を省略する。

表示領域７２１には、画像記憶部２１０に記憶されている画像が、指定された登録顔画像に対応する特定人物に関する優先順位に基づいて順次表示される。また、表示領域７２１内の指定顔画像領域７２６には、指定された登録顔画像（特定人物の登録顔画像）が表示される。さらに、表示領域７２１に表示されている画像に含まれる特定人物以外の他の人物には、特定人物について算出された関係深度値に関するスコア７２７乃至７２９が表示される。図２２（ａ）に示す例では、特定人物をＡとする場合を示すため、表示領域７２１に表示されている画像に含まれる人物Ａ以外の人物Ｂ乃至Ｄに関連付けて、スコア７２７乃至７２９が表示される。このスコア７２７乃至７２９は、例えば、人物毎に算出された第０次関係深度値の合計を１００％とする場合における各人物の割合とすることができる。例えば、図２１（ａ）に示す一覧表７００の第０次関係深度値７０１の括弧内の値をスコア７２７乃至７２９として表示することができる。また、優先順位の算出に用いられた第０乃至ｉ次関係深度値の各値に関連する数値（または、これらの数値の大きさを表す表示情報）を人物毎に表示するようにしてもよい。これにより、現在表示されている画像に含まれる各人物が、特定人物とどの程度の関係深さがあるかを数値等で容易に把握することができる。

図２２（ｂ）には、指定された登録顔画像の人物を特定人物として決定された優先順序に基づいて各画像を表示させる表示画面７３０を示す。この表示画面７３０は、図８（ｂ）に示す表示画面３９０の変形例であり、表示領域３９１に表示されている画像に含まれる人物の顔を表示する登場顔画像領域７３１を設けた点が表示画面３９０とは異なる。また、他については、図８（ｂ）に示す表示画面３９０と略同一であるため、表示画面３９０の符号と同一の符号を付して、異なる点を中心にして説明し、他の説明を省略する。

登場顔画像領域７３１には、表示領域３９１に表示されている画像に含まれる特定人物以外の人物の顔画像が表示される。図２２（ｂ）に示す例では、表示領域３９１に表示されている画像には、特定人物Ａと、他の人物ＥおよびＧが含まれる。このため、登場顔画像領域７３１には、人物ＥおよびＧの顔を含む顔画像が表示される。この顔画像は、例えば、人物ＥおよびＧに関連付けて顔情報記憶部５２０に記憶されている顔検出情報（顔の画像上における位置）を用いて、表示領域３９１に表示されている画像から取り出され、表示される。また、登場顔画像領域７３１に一覧表示されている顔画像のうちの何れかを新たに指定し、新たに表示ボタン３９７を押下する押下操作がカーソル３８５を用いて行われた場合には、指定された顔画像に対応する特定人物に関する関係深度値が算出される。そして、算出された関係深度値に基づいて優先順位が決定され、画像記憶部２１０に記憶されている画像が表示される。

このように、顔画像領域３９９に登録顔画像を一覧表示するとともに、現在の表示画像に含まれる特定人物以外の人物の顔画像を登場顔画像領域７３１に一覧表示する。これにより、ユーザが特定人物を指定する際の選択対象を広げることができる。

ここで、例えば、静止画のスライドショーをする場合に、決定された優先順位に基づいて顔のクローズアップ等のエフェクトをかけるようにしてもよい。例えば、優先順位の最も高い顔のクローズアップ等のエフェクトをかけることができる。また、優先順位の最も高い人物のペアにフォーカスしたエフェクトをかけるようにしてもよい。

［画像処理装置の動作例］
次に、本発明の第２の実施の形態における画像処理装置５００の動作について図面を参照して説明する。

図２３は、本発明の第２の実施の形態における画像処理装置５００による画像表示処理の処理手順を示すフローチャートである。この画像表示処理は、図１０に示す画像表示処理の変形例であり、図１０に示す処理と同一の処理については同一の符号を付して説明を省略する。また、この処理手順では、同一画像に含まれる人物の数を考慮して優先順位を決定する例を示す。

登録顔画像を指定する指定操作が受け付けられた場合には（ステップＳ９１３）、関係深度値算出部５４０が、表示対象となる画像に関連付けて顔情報記憶部５２０に記憶されている顔情報を取得する（ステップＳ９３１）。続いて、関係深度値算出部５４０が、取得された顔情報に基づいて、表示対象となる各画像に含まれる人物間の評価値を算出する（ステップＳ９３２）。この評価値は、同一画像に含まれる人物の数を考慮して算出される。

図２４は、本発明の第２の実施の形態における画像処理装置５００による画像表示処理の処理手順を示すフローチャートである。この画像表示処理は、図１０に示す画像表示処理の変形例であり、図１０に示す処理と同一の処理については同一の符号を付して説明を省略する。また、この処理手順では、同一画像に含まれる人物間の距離を考慮して優先順位を決定する例を示す。

登録顔画像を指定する指定操作が受け付けられた場合には（ステップＳ９１３）、顔間距離算出部５３０および関係深度値算出部５４０が、表示対象となる画像に関連付けて顔情報記憶部５２０に記憶されている顔情報を取得する（ステップＳ９３３）。続いて、顔間距離算出部５３０が、取得された顔情報に基づいて、表示対象となる各画像に含まれる人物間の距離を算出する（ステップＳ９３４）。続いて、関係深度値算出部５４０が、取得された顔情報と、顔間距離算出部５３０により算出された人物間の距離とに基づいて、表示対象となる各画像に含まれる人物間の評価値を算出する（ステップＳ９３５）。この評価値は、同一画像に含まれる人物間の距離を考慮して算出される。また、関係深度値算出部５４０が、指定された登録顔画像に対応する特定人物に関する各評価値に基づいて、第ｉ次関係深度値を算出する（ステップＳ９３６）。

＜３．第３の実施の形態＞
［画像処理装置の構成例］
本発明の第３の実施の形態では、動画に含まれる人物を考慮して関係深度値を算出する例について図面を参照して詳細に説明する。

図２５は、本発明の第３の実施の形態における画像処理装置８００の機能構成例を示すブロック図である。画像処理装置８００は、動画入力部８０１と、顔検出部８０２と、顔識別部８０３と、記録制御部８０４と、関係深度値算出部８０５と、優先順位決定部８０６と、優先順位保持部８０７とを備える。また、画像処理装置８００は、表示制御部８０８と、動画記憶部８０９と、顔識別結果記憶部８１０と、同時撮像期間算出部５３１とを備える。なお、他の機能構成については、図１に示す画像処理装置１００と略同一であるため、画像処理装置１００の符号と同一の符号を付して、機能が異なるものを中心にして説明し、他の説明を省略する。画像処理装置８００は、例えば、デジタルビデオカメラ等の撮像装置により記録された動画について、画像解析処理により特徴量を抽出し、この抽出された特徴量を用いて各種画像処理を施すことが可能なパーソナルコンピュータによって実現することができる。

動画入力部８０１は、デジタルビデオカメラ等の撮像装置により記録された動画（ビデオデータ）を入力するものであり、入力された動画を顔検出部８０２、顔識別部８０３および記録制御部８０４に出力する。

顔検出部８０２は、動画入力部８０１から出力された動画に含まれる人物の顔を検出するものであり、検出された顔に関する顔検出情報を顔識別部８０３に出力する。具体的には、顔検出部８０２は、動画入力部８０１から出力された動画を構成する画像（フレーム）に含まれる人物の顔をフレーム毎に検出する。なお、顔検出部８０２は、動画に含まれる人物の顔を検出する点が異なるが、他の点は図１に示す顔検出部１２０と略同一であるため、他の説明を省略する。

顔識別部８０３は、登録人物情報記憶部２２０に記憶されている特徴量２２３（図２に示す）を用いて、顔検出部８０２により検出された顔が登録人物の顔であるか否かを識別するものである。そして、この顔識別結果を、識別対象となった画像（フレーム）および顔検出情報に関連付けて記録制御部８０４に出力する。なお、顔識別部８０３は、動画に含まれる人物の顔を識別する点が異なるが、他の点は図１に示す顔識別部１３０と略同一であるため、他の説明を省略する。

記録制御部８０４は、顔識別結果記憶部８１０、動画記憶部８０９および登録人物情報記憶部２２０に対する記録制御を行うものである。具体的には、記録制御部８０４は、動画入力部８０１から出力された動画を動画記憶部８０９に記録させるとともに、この動画を構成する各画像に関連付けて顔識別部８０３から出力された顔識別結果を顔識別結果記憶部８１０に記録させる。

顔識別結果記憶部８１０は、記録制御部８０４の制御に基づいて、顔識別部８０３から出力された顔識別結果を、識別対象となった画像に関連付けて記憶するものである。そして、記憶されている顔識別結果を同時撮像期間算出部５３１および関係深度値算出部８０５に供給する。なお、顔識別結果記憶部８１０については、図２６を参照して詳細に説明する。

動画記憶部８０９は、記録制御部８０４の制御に基づいて、動画入力部８０１から出力された動画を記憶するものであり、記憶されている動画を表示制御部８０８に供給する。

同時撮像期間算出部５３１は、顔識別結果記憶部８１０に記憶されている顔識別結果に基づいて、動画記憶部８０９に記憶されている各動画に含まれる２人の人物の顔が同一フレームに同時に含まれる期間を算出するものである。そして、算出された期間を、算出の対象となる動画の一区間および登録人物情報に関連付けて関係深度値算出部８０５に出力する。同時撮像期間算出部５３１は、例えば、同一チャプタにおいて、基準人物の顔と、他の人物の顔とが同一フレームに同時に含まれる期間を、他の人物毎に算出する。なお、この期間の算出については、図２６を参照して詳細に説明する。

関係深度値算出部８０５は、顔識別結果記憶部８１０に記憶されている顔識別結果に基づいて関係深度値を算出するものであり、算出された関係深度値を優先順位決定部８０６に出力する。具体的には、関係深度値算出部８０５は、動画記憶部８０９に記憶されている動画に含まれる人物のうち所定区間に含まれる２人の人物の登場頻度と、その所定区間内に２人の人物が同一フレームに同時に含まれる期間とに基づいて、各人物間の評価値を算出する。そして、特定人物および第２の人物に関する評価値に基づいて第２の人物に対する第０次関係深度値を算出する。また、特定人物および第３の人物に関する評価値と、第２の人物および第３の人物に関する評価値とに基づいて、第２の人物に対する第１次関係深度値を算出する。なお、関係深度値の算出については、図２６を参照して詳細に説明する。

優先順位決定部８０６は、関係深度値算出部８０５から出力された関係深度値に基づいて、登録人物情報記憶部２２０に登録人物情報が記憶されている複数の人物について、優先順位を決定するものである。そして、決定された優先順位を優先順位保持部８０７に出力して保持させる。

優先順位保持部８０７は、優先順位決定部８０６から出力された優先順位を保持するものであり、保持されている優先順位を表示制御部８０８に供給する。

表示制御部８０８は、操作受付部１９０により受け付けられた操作内容に基づいて、動画記憶部８０９に記憶されている各動画を表示部１８０に表示させるものである。例えば、表示制御部８０８は、表示部１８０に一覧表示されている登録顔画像のうちから、１つの登録顔画像を指定する指定操作が操作受付部１９０により受け付けられた場合には、優先順位保持部８０７に保持されている優先順位を取得する。そして、動画記憶部８０９に記憶されている１または複数の動画を取得し、これらの各動画を優先順位保持部８０７から取得された優先順位に基づいて表示部１８０に順次再生させる。この優先順位に基づく動画再生は、例えば、動画単位で行うようにしてもよく、チャプタ単位で行うようにしてもよい。また、優先順位に基づいて、動画またはチャプタを表す代表画像を順次表示させ、この代表画像の選択により動画再生を行うようにしてもよい。

［優先順位の決定例］
図２６は、本発明の第３の実施の形態における動画記憶部８０９に記憶されている動画と、顔識別結果記憶部８１０に記憶されている内容との関係を概略的に示す図である。図２６（ａ）には、動画記憶部８０９に記憶されている動画（＃１）８１８を模式的に示す。ここで、動画（＃１）８１８を構成する各チャプタ（いわゆる、動画の区切り）のうち、先頭のチャプタをチャプタ（＃１０）８１９として示す。また、チャプタ（＃１０）８１９には、フレーム＃１１乃至＃１８が含まれるものとする。

図２６（ｂ）には、動画入力部８０１から入力された動画を構成する画像と、この画像において検出された登録人物との関係が顔識別結果として記憶される顔識別結果記憶部８１０を示す。図２６（ｂ）に示す例では、人物Ａ乃至Ｄのそれぞれを識別するための登録人物情報が登録人物情報記憶部２２０に記憶されている場合における記憶内容を示す。

顔識別結果記憶部８１０には、動画ＩＤ８１１と、チャプタ番号８１２と、フレーム番号８１３と、人物８１４乃至８１７とが関連付けて記憶されている。

動画ＩＤ８１１は、動画記憶部８０９に記憶されている各動画を識別するための識別情報であり、例えば、記憶された順番に「＃１」、「＃２」等が付与され、記憶される。

チャプタ番号８１２は、動画記憶部８０９に記憶されている動画を構成するチャプタを識別するための識別情報である。例えば、動画ＩＤ８１１「＃１」の動画に含まれる先頭のチャプタ（＃１０）８１９について「＃１０」が付与され、記憶される。

フレーム番号８１３は、動画記憶部８０９に記憶されている動画を構成するフレームを識別するための識別情報である。例えば、動画ＩＤ８１１「＃１」の動画に含まれる各フレームに「＃１１」乃至「＃１８」が付与され、記憶される。

登録人物８１４乃至８１６は、登録人物情報記憶部２２０に登録人物情報が記憶されている各人物を示す識別情報である。図２６（ｂ）に示す例では、人物Ａ乃至Ｄのそれぞれを示す識別情報を「Ａ」乃至「Ｄ」として示す。

ここで、図２６（ｂ）に示す例では、動画（＃１）８１８において、登録人物の顔が検出された場合には、顔が検出されたフレームに対応する人物欄に「○」を付し、登録人物の顔が検出されていない場合には、その人物欄に「−」を付す。例えば、人物Ｄが含まれているフレーム＃１１の場合には、フレーム番号８１３「＃１１」に対応するＤには「○」が付され、Ａ、ＢおよびＣには「−」が付される。また、人物Ａ、ＢおよびＤが含まれているフレーム＃１４の場合には、フレーム番号８１３「＃１４」に対応するＡ、ＢおよびＤには「○」が付され、Ｃには「−」が付される。なお、連続するフレーム間では、各フレームに登場する人物の変動は少ないと想定されるが、図２６（ｂ）では、説明の容易のため、変動が大きい場合を例にして示す。

このように、顔識別結果記憶部８１０には、動画入力部８０１から入力された動画を構成する各画像に関連付けられて、各画像において検出された登録人物に関する顔識別結果が記憶されている。この顔識別結果記憶部８１０に記憶されている顔識別結果を用いて関係深度値が算出される。

ここで、動画を撮影する場合には、撮像装置の撮像範囲を水平方向等に移動させながら記録することが想定される。このため、同一空間に複数の人物が存在する場合でも、その同一空間に存在する各人物が同一フレームに同時に含まれない区間が存在することが想定される。このように、同一フレームに同時に含まれない区間が存在する場合でも、一定区間内のフレームの何れかに含まれる人物同士は関連性が深いと考えることができる。例えば、チャプタ番号８１２「＃１０」を構成するフレーム＃１１乃至＃１８の何れかに含まれる人物Ａ、Ｂ、Ｄの人物間については、本発明の第１の実施の形態で示した直接関係があるものとする。また、フレーム＃１１乃至＃１８の何れにも含まれない人物Ｃと、人物Ａ、Ｂ、Ｄとの人物間については直接関係がないものとする。そして、本発明の第１の実施の形態と同様に、１つの静止画を単位とする場合における直接関係の代わりに、一定区間（例えば、チャプタ）を単位とする場合における直接関係に基づいて、各動画について評価値を算出する。この算出された評価値に基づいて、本発明の第１の実施の形態と同様に、第０乃至ｉ次関係深度値を算出することができる。すなわち、動画の場合には、フレーム毎の直接関係ではなく、一定区間に含まれる複数のフレームを単位として、関係深度値を算出することができる。

しかしながら、例えば、本発明の第２の実施の形態で示したように、人間関係が深い人物同士は、同一空間内でも近くに存在することが多いと想定される。例えば、同一チャプタに含まれる各フレームのうち、人間関係が深く距離が近い人物同士は、同時に含まれるフレームの数が多い（同一フレームに同時に写っている時間が長い）と想定される。そこで、以下では、同一区間に含まれる各フレームのうち、同一フレームに同時に含まれる期間を考慮して、関係深度値を算出する例について説明する。

ここで、図２６（ｂ）に示す顔識別結果記憶部８１０には、顔検出部８０２により検出された顔に関する顔識別結果が記憶されている。このため、動画記憶部８０９に記憶されている動画に含まれる顔をフレーム毎に特定することができる。そこで、同時撮像期間算出部５３１は、顔識別結果記憶部８１０に記憶されている顔識別結果を用いて、２人の人物について同一フレームに含まれる期間（同時撮像区間）をチャプタ毎に算出する。すなわち、同時撮像期間算出部５３１は、同一チャプタに含まれる２人の人物について同時撮像区間を順次算出する。

例えば、人物ＡおよびＢについて、チャプタ番号８１２「＃１０」に対応するチャプタの同時撮像区間を算出する場合には、同時撮像期間算出部５３１が、チャプタ番号８１２「＃１０」に対応するフレーム＃１１乃至＃１８の顔識別結果を取得する。続いて、同時撮像期間算出部５３１が、取得された顔識別結果を用いて、人物ＡおよびＢが同一フレームに含まれる期間を算出する。図２６（ｂ）に示すように、人物ＡおよびＢが同一フレームに含まれる期間は、フレーム＃１４および＃１５の期間であるため、チャプタ番号８１２「＃１０」において人物ＡおよびＢに関する同時撮像区間として、２フレームが算出される。このように算出された各人物間の同時撮像区間を、同時撮像期間算出部５３１が、各人物の識別情報およびチャプタ番号に関連付けて関係深度値算出部８０５に出力する。

続いて、関係深度値算出部８０５は、同時撮像区間に長さに応じて、関係深度値を算出する。この関係深度値は、本発明の第２の実施の形態で示した人物間の距離を考慮した関係深度値と同様に算出することができる。例えば、同一チャプタに含まれる人物の数をｎとする。このｎ人の人物のうちの基準人物以外の人物（対象人物）について、同時撮像期間算出部５３１により算出された各人物間の同時撮像区間の長さの順位をｍ位とする。この人物間の同時撮像区間の順位がｍ位の人物に関する関係を表す数値を算出する場合には、各人物間に関する関係を表す数値として、２（ｎ−ｍ）／（ｎ（ｎ−１））を算出する。

このように、同一チャプタに含まれる各人物を基準人物とした場合における数値を算出し、これらの値を複数のチャプタについて基準人物毎に加算する。このように、同一チャプタに含まれる複数の人物の関係について、同一チャプタに含まれる人物間の距離を考慮した値を順次加算することにより、動画（＃１）８１８に含まれる人物Ａ乃至Ｄの関係を数値（評価値）で表すことができる。また、複数の動画についても同様に算出することができる。

［画像処理装置の動作例］
次に、本発明の第３の実施の形態における画像処理装置８００の動作について図面を参照して説明する。

図２７は、本発明の第３の実施の形態における画像処理装置８００による画像表示処理の処理手順を示すフローチャートである。この画像表示処理は、図２４に示す画像表示処理の変形例であり、図２４に示す処理と同一の処理については同一の符号を付して説明を省略する。また、この処理手順では、同一チャプタに含まれる人物間の同時撮像区間を考慮して優先順位を決定する例を示す。

登録顔画像を指定する指定操作が受け付けられた場合には（ステップＳ９１３）、同時撮像期間算出部５３１および関係深度値算出部８０５が、表示対象となる動画に関連付けて顔識別結果記憶部８１０に記憶されている顔識別結果を取得する（ステップＳ９４１）。続いて、同時撮像期間算出部５３１が、取得された顔識別結果に基づいて、各チャプタに含まれる人物間の同時撮像区間を算出する（ステップＳ９４２）。続いて、関係深度値算出部８０５が、取得された顔識別結果と、同時撮像期間算出部５３１により算出された人物間の同時撮像区間とに基づいて、表示対象となる各画像に含まれる人物間の評価値を算出する（ステップＳ９４３）。この評価値は、同一チャプタに含まれる人物間の同時撮像区間を考慮して算出される。

また、表示制御部８０８が、優先順位保持部８０７に保持された優先順位に基づいて、表示対象となる各動画の表示順序を決定する（ステップＳ９４５）。続いて、表示制御部８０８が、決定された表示順序に基づいて、表示対象となる各動画を表示部１８０に表示させる（ステップＳ９４６）。

また、登録顔画像を指定する指定操作が受け付けられない場合には（ステップＳ９１３）、表示制御部１７０が、表示対象となる各動画の記録時刻に基づいて、表示対象となる各動画の表示順序を決定する（ステップＳ９４７）。

＜４．第４の実施の形態＞
［撮像装置の機能構成例］
本発明の第１乃至３の実施の形態では、関係深度値を用いて算出された優先順位を用いてコンテンツの表示制御を行う例について説明した。本発明の第４の実施の形態では、関係深度値を用いて算出された優先順位を用いて撮像制御を行う例について説明する。

図２８は、本発明の第４の実施の形態における撮像装置８５０の機能構成例を示すブロック図である。撮像装置８５０は、本発明の第１の実施の形態における画像処理装置１００の一部を変形したものであり、画像入力部１１０の代わりに撮像部８５１および撮像制御部８５２を設けたものである。なお、優先順位保持部１６１に保持されている優先順位を撮像部８５１の撮像制御に用いる点以外の構成は、画像処理装置１００と同一である。このため、画像処理装置１００の機能構成と同一のものについては同一の符号を付して、これらの構成についての説明を省略する。撮像装置８５０は撮像部８５１および撮像制御部８５２を備える。なお、撮像装置８５０は、例えば、被写体を撮像して撮像画像等のコンテンツを生成することが可能なデジタルスチルカメラやデジタルビデオカメラ等の撮像装置によって実現することができる。

撮像部８５１は、撮像素子（図示せず）と、この撮像素子の出力信号を処理して撮像画像（画像データ）を生成する信号処理部（図示せず）とを備える。すなわち、撮像部８５１において、レンズ（図示せず）を介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像動作を行い、信号処理部が撮像信号に対して信号処理を行うことにより、撮像画像が生成される。この撮像画像の生成に用いられるカメラパラメータ（撮像パラメータ）は、撮像制御部８５２により決定される。また、生成された撮像画像が顔検出部１２０、顔識別部１３０、記録制御部１４０および撮像制御部８５２に出力される。

撮像制御部８５２は、撮像部８５１により生成された撮像画像を順次評価して、シャッター速度、露出、ホワイトバランス等のカメラパラメータを決定し、この決定されたカメラパラメータを用いて撮像部８５１を制御するものである。また、撮像制御部８５２は、優先順位保持部１６１に保持されている優先順位に基づいて、カメラパラメータを決定する。例えば、撮像部８５１により生成された撮像画像に複数の顔が含まれている場合には、それらのうちで最も優先順位の高い顔に最適なカメラパラメータが決定される。この場合に、顔識別部１３０から出力された顔識別結果および顔検出情報に基づいて、撮像画像に含まれる優先順位の高い顔が特定される。

例えば、撮像装置８５０の所有者を特定人物として指定しておく。そして、この所有者が撮像装置８５０により複数の人物を記録する場合には、過去に記録された画像に含まれる人物間の人間関係に基づいて、所有者に関係の深い人物を綺麗にするように撮像パラメータを設定することができる。例えば、優先順位保持部１６１に保持されている優先順位のうち、優先順位の最も高い顔を基準にして撮像制御が行われる。例えば、撮像画像における優先順位の最も高い顔の位置をＡＦエリア（距測エリア）として設定してオートフォーカス制御を行う。また、優先順位の最も高い顔について最適な撮影条件となるように、ホワイトバランス、カラーバランス、露出等のオート制御を行う。

また、モニタリングモードにおいて撮像画像を表示する際に、優先順位保持部１６１に保持されている優先順位に基づいて表示制御を行うようにしてもよい。例えば、図２２（ａ）に示すように、特定人物について算出された関係深度値に関するスコアを撮像画像に含まれる人物毎に表示するようにしてもよい。これにより、例えば、撮影者に身近な人を優先的に綺麗に撮像することができる。また、撮影の際に基準とすべき人物を容易に認識することができる。

なお、本発明の第４の実施の形態では、本発明の第１の実施の形態で示した直接または間接により関連付けられるか否かに基づいて決定された優先順位に基づいて撮像制御を行う例を示した。しかし、本発明の第２および３の実施の形態で示した人物の数を考慮した優先順位、人物間の距離を考慮した優先順位、同時撮像区間の長さを考慮した優先順位に基づいて撮像制御を行うようにしてもよい。また、これらの何れかの優先順位を使用するかの選択を、例えば、ユーザの好みに応じて、操作受付部１９０からの操作入力により行うようにしてもよい。また、これらの関係深度値をそれぞれ算出し、各関係深度値に関する重み係数を用いて、新たな関係深度値を算出し、この新たな関係深度値に基づいて決定された優先順位を用いるようにしてもよい。

また、本発明の実施の形態では、コンテンツに含まれる人物を顔識別部により識別して特定する例を示したが、他の装置により生成された画像について、この画像に埋め込まれたメタデータ等を用いて人物を識別するようにしてもよい。

以上で示したように、本発明の実施の形態によれば、コンテンツに含まれる特定人物と他の人物との直接関係および間接関係を考慮して、優先順位を決定することができる。すなわち、同じコンテンツに一緒に写っている人物同士は関係が深い可能性が高く、また、共通の人物と関係が深い人物同士も関係が深い可能性が高いことを利用して、優先順位を決定することができる。このため、例えば、その特定人物が同時に写っていない画像に含まれる人物についても、間接的な関係が深いと推定される場合には、その特定人物が優先的に表示される可能性がある。このため、その特定人物が、思いがけない人物との関係の深さを発見することができる。また、間接的な人間関係を考慮することにより、特定人物の友人との交際や、自分が写っていないが友人が写っている面白い画像を発見することができる。また、これらの優先順位を用いてコンテンツの整理を行うことができる。これにより、今までと異なった観点からのコンテンツ整理を容易に行うことができる。また、各人物に関する関係深度値に対応する情報を表示することにより、コンテンツに含まれる複数の人物の人間関係を容易に把握することができる。すなわち、あいまいで定量的に評価しにくい人物間の関係の深さを数値化等により表現することができる。これらにより、所有者等の嗜好に合わせた人物のコンテンツ出力、または、所有者等が注目する人物に着目した人物のコンテンツ出力を構築することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

本発明の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。 本発明の第１の実施の形態における登録人物情報記憶部２２０に記憶されている各情報を模式的に示す図である。 本発明の第１の実施の形態における画像記憶部２１０に記憶されている画像を模式的に示す図である。 本発明の第１の実施の形態における顔識別結果記憶部２００に記憶されている内容を概略的に示す図である。 本発明の第１の実施の形態における顔識別結果記憶部２００に記憶されている内容に基づいて作成される人間関係表および人間関係図を示す図である。 本発明の第１の実施の形態における顔識別結果記憶部２００に記憶されている内容に基づいて作成される関係深度値およびこれに基づいて決定される優先順位の一例を示す図である。 本発明の第１の実施の形態における画像記憶部２１０に記憶されている画像３０１乃至３１８を表示部１８０に表示させる際における表示順序の一例を示す図である。 本発明の第１の実施の形態における表示部１８０に表示される表示画面例を示す図である。 本発明の第１の実施の形態における画像処理装置１００による顔識別結果記録処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における画像処理装置１００による画像表示処理の処理手順を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置５００の機能構成例を示すブロック図である。 本発明の第２の実施の形態における画像記憶部２１０に記憶されている画像を模式的に示す図である。 本発明の第２の実施の形態における顔情報記憶部５２０に記憶されている内容を概略的に示す図である。 本発明の第２の実施の形態における顔情報記憶部５２０に記憶されている内容に基づいて作成される人間関係表および人間関係図を示す図である。 本発明の第２の実施の形態における顔情報記憶部５２０に記憶されている内容に基づいて作成される関係深度値およびこれに基づいて決定される優先順位の一例を示す図である。 本発明の第２の実施の形態における顔情報記憶部５２０に記憶されている内容に基づいて作成される人間関係表および人間関係図を示す図である。 本発明の第２の実施の形態における顔情報記憶部５２０に記憶されている内容に基づいて作成される関係深度値およびこれに基づいて決定される優先順位の一例を示す図である。 本発明の第２の実施の形態における画像記憶部２１０に記憶されている画像を模式的に示す図である。 本発明の第２の実施の形態における顔情報記憶部５２０に記憶されている内容に基づいて作成される人間関係表を示す図である。 本発明の第２の実施の形態における顔情報記憶部５２０に記憶されている内容に基づいて作成される人間関係図を示す図である。 本発明の第２の実施の形態における顔情報記憶部５２０に記憶されている内容と、顔間距離算出部５３０により算出された人物間の距離とに基づいて作成される関係深度値およびこれに基づいて決定される優先順位の一例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面例を示す図である。 本発明の第２の実施の形態における画像処理装置５００による画像表示処理の処理手順を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置５００による画像表示処理の処理手順を示すフローチャートである。 本発明の第３の実施の形態における画像処理装置８００の機能構成例を示すブロック図である。 本発明の第３の実施の形態における動画記憶部８０９に記憶されている動画と、顔識別結果記憶部８１０に記憶されている内容との関係を概略的に示す図である。 本発明の第３の実施の形態における画像処理装置８００による画像表示処理の処理手順を示すフローチャートである。 本発明の第４の実施の形態における撮像装置８５０の機能構成例を示すブロック図である。

符号の説明

１００、５００、８００ 画像処理装置
１１０ 画像入力部
１２０、８０２ 顔検出部
１３０、８０３ 顔識別部
１４０、５１０、８０４ 記録制御部
１５０、５４０、８０５ 関係深度値算出部
１６０、５５０、８０６ 優先順位決定部
１６１、５５１、８０７ 優先順位保持部
１７０、８０８ 表示制御部
１８０ 表示部
１９０ 操作受付部
２００ 顔識別結果記憶部
２１０ 画像記憶部
２２０ 登録人物情報記憶部
５２０ 顔情報記憶部
５３０ 顔間距離算出部
５３１ 同時撮像期間算出部
８０１ 動画入力部
８０９ 動画記憶部
８５０ 撮像装置
８５１ 撮像部
８５２ 撮像制御部

Claims (12)

1. 複数のコンテンツのうちの何れかのコンテンツに含まれる２人の人物を特定人物および第２の人物とし、前記特定人物が含まれる前記コンテンツにおける前記第２の人物または前記第２の人物以外の第３の人物の登場頻度と、前記特定人物が含まれない前記コンテンツにおける前記第２の人物および前記第３の人物の登場頻度とに基づいて前記特定人物および前記第２の人物の関係の深さの度合いを示す関係深度値を算出する関係深度値算出部と、
   前記複数のコンテンツに含まれる人物のうち前記特定人物に関する前記第２の人物の優先順位を前記算出された関係深度値に基づいて決定する優先順位決定部と
   を具備する画像処理装置。
2. 前記関係深度値算出部は、前記複数のコンテンツに含まれる人物のうち同一コンテンツに同時に含まれる２人の人物の登場頻度に基づいて前記複数のコンテンツに含まれる各人物間の評価値を算出し、前記特定人物および前記第２の人物に関する前記評価値と前記特定人物および前記第３の人物に関する前記評価値と前記第２の人物および前記第３の人物に関する前記評価値とに基づいて前記関係深度値を算出する請求項１記載の画像処理装置。
3. 前記関係深度値算出部は、前記特定人物および前記第２の人物に関する前記評価値に基づいて第１の関係深度値を算出し、前記第３の人物および前記特定人物に関する前記評価値と前記第２の人物および前記第３の人物に関する前記評価値とに基づいて第２の関係深度値を算出し、
   前記優先順位決定部は、前記算出された第１の関係深度値および第２の関係深度値に基づいて前記優先順位を決定する
   請求項２記載の画像処理装置。
4. 前記優先順位決定部は、前記算出された第１の関係深度値および第２の関係深度値のそれぞれに重み付けをした値に基づいて前記関係深度値を算出する請求項３記載の画像処理装置。
5. 前記決定された優先順位に基づいて前記複数のコンテンツの出力制御を行う出力制御部をさらに具備する請求項１記載の画像処理装置。
6. 前記関係深度値算出部は、前記複数のコンテンツに含まれる人物のうち同一コンテンツに同時に含まれる２人の人物の登場頻度および当該同一コンテンツに同時に含まれる人物の数に基づいて前記複数のコンテンツに含まれる各人物間の評価値を算出し、前記特定人物および前記第２の人物に関する前記評価値と前記特定人物および前記第３の人物に関する前記評価値と前記第２の人物および前記第３の人物に関する前記評価値とに基づいて前記関係深度値を算出する請求項１記載の画像処理装置。
7. 前記関係深度値算出部は、前記複数のコンテンツに含まれる人物のうち同一コンテンツに同時に含まれる２人の人物の登場頻度および当該同一コンテンツに同時に含まれる各人物間の距離に基づいて前記複数のコンテンツに含まれる各人物間の評価値を算出し、前記特定人物および前記第２の人物に関する前記評価値と前記特定人物および前記第３の人物に関する前記評価値と前記第２の人物および前記第３の人物に関する前記評価値とに基づいて前記関係深度値を算出する請求項１記載の画像処理装置。
8. 前記コンテンツは動画を構成する所定区間内の複数のフレームであり、
   前記関係深度値算出部は、前記動画に含まれる人物のうち同一区間に含まれる２人の人物の登場頻度および当該同一区間内で２人の人物が同一フレームに同時に含まれる期間に基づいて前記動画に含まれる各人物間の評価値を算出し、前記特定人物および前記第２の人物に関する前記評価値と前記特定人物および前記第３の人物に関する前記評価値と前記第２の人物および前記第３の人物に関する前記評価値とに基づいて前記関係深度値を算出する請求項１記載の画像処理装置。
9. 人物の顔を識別するための識別情報を記憶する識別情報記憶部と、
   前記識別情報が記憶されている人物のうち１人の人物を特定人物として指定する指定操作を受け付ける操作受付部と、
   複数のコンテンツを入力するコンテンツ入力部と、
   前記入力されたコンテンツに含まれる顔を検出する顔検出部と、
   前記識別情報に基づいて前記検出された顔を識別する顔識別部と、
   前記識別結果に基づいて前記複数のコンテンツに含まれる人物を特定して前記特定人物が含まれる前記コンテンツにおける第２の人物または前記第２の人物以外の第３の人物の登場頻度と、前記特定人物が含まれない前記コンテンツにおける前記第２の人物および前記第３の人物の登場頻度とに基づいて前記特定人物および前記第２の人物の関係の深さの度合いを示す関係深度値を算出する関係深度値算出部と、
   前記複数のコンテンツに含まれる人物のうち前記特定人物に関する前記第２の人物の優先順位を前記算出された関係深度値に基づいて決定する優先順位決定部と、
   前記決定された優先順位に基づいて前記入力されたコンテンツの出力制御を行う出力制御部と
   を具備する画像処理装置。
10. 被写体を撮像して画像を生成する撮像部と、
    前記生成された画像のうちの何れかの画像に含まれる２人の人物を特定人物および第２の人物とし、前記特定人物が含まれる前記画像における前記第２の人物または前記第２の人物以外の第３の人物の登場頻度と、前記特定人物が含まれない前記画像における前記第２の人物および前記第３の人物の登場頻度とに基づいて前記特定人物および前記第２の人物の関係の深さの度合いを示す関係深度値を算出する関係深度値算出部と、
    前記生成された画像に含まれる人物のうち前記特定人物に関する前記第２の人物の優先順位を前記算出された関係深度値に基づいて決定する優先順位決定部と、
    前記決定された優先順位に基づいて前記撮像部による画像の生成に用いられる撮像パラメータを設定する撮像制御部と
    を具備する撮像装置。
11. 複数のコンテンツのうちの何れかのコンテンツに含まれる２人の人物を特定人物および第２の人物とし、前記特定人物が含まれる前記コンテンツにおける前記第２の人物または前記第２の人物以外の第３の人物の登場頻度と、前記特定人物が含まれない前記コンテンツにおける前記第２の人物および前記第３の人物の登場頻度とに基づいて前記特定人物および前記第２の人物の関係の深さの度合いを示す関係深度値を算出する関係深度値算出手順と、
    前記複数のコンテンツに含まれる人物のうち前記特定人物に関する前記第２の人物の優先順位を前記算出された関係深度値に基づいて決定する優先順位決定手順と
    を具備する画像処理方法。
12. 複数のコンテンツのうちの何れかのコンテンツに含まれる２人の人物を特定人物および第２の人物とし、前記特定人物が含まれる前記コンテンツにおける前記第２の人物または前記第２の人物以外の第３の人物の登場頻度と、前記特定人物が含まれない前記コンテンツにおける前記第２の人物および前記第３の人物の登場頻度とに基づいて前記特定人物および前記第２の人物の関係の深さの度合いを示す関係深度値を算出する関係深度値算出手順と、
    前記複数のコンテンツに含まれる人物のうち前記特定人物に関する前記第２の人物の優先順位を前記算出された関係深度値に基づいて決定する優先順位決定手順と
    をコンピュータに実行させるプログラム。

Images