JP2011070277A - 画像処理装置 - Google Patents

Abstract

【課題】本発明は、画像から特定された人同士の関係性を用いた画像の表示方法を提供することを目的とする。
【解決手段】画像検索をおこなう画像処理装置は、検索対象となる人物を特定するための特定情報を取得する特定情報取得部と、特定情報に基づいて、それぞれ複数の顔の画像を含む複数の対象画像から検索対象となる人物の顔の画像が含まれている対象画像を検索する画像検索部と、対象画像に表されている人物同士の親密さの程度を表す親密度を記憶する記憶部と、親密度を用いて、画像検索部により検索された対象画像について、検索対象となる人物との親密度がより高い人物の顔の画像を含む対象画像のグループから順に対象画像を並べた第１のリストを表示媒体に表示する表示制御部と、を備える。
【選択図】図２３

Description

本発明は、画像処理装置に関する。

従来から、複数の人が表されている画像を用いて、人同士の関係性を特定する技術が知られている。例えば、画像に表されている人同士の距離を用いて、２人の親密さの程度を表す親密度を算出する技術が知られている（特許文献１）。また、画像から特定された人同士の関係性を用いた画像の分類方法や、画像の検索方法が知られている。

特開２００６−７９４５７号公報

しかし、画像から特定された人同士の関係性を用いて分類もしくは検索された画像を表示する画像の表示方法ついてはなお向上の余地があった。

本発明は、上記した従来の課題の少なくとも一部を解決するためになされた発明であり、画像から特定された人同士の関係性を用いた画像の表示方法を提供することを目的とする。

上記課題の少なくとも一部を解決するために本願発明は以下の態様を採る。

第１の態様は、画像検索をおこなう画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、検索対象となる人物を特定するための特定情報を取得する特定情報取得部と、前記特定情報に基づいて、それぞれ複数の顔の画像を含む複数の対象画像から前記検索対象となる人物の顔の画像が含まれている対象画像を検索する画像検索部と、前記対象画像に表されている人物同士の親密さの程度を表す親密度を記憶する記憶部と、前記親密度を用いて、前記画像検索部により検索された対象画像について、前記検索対象となる人物との前記親密度がより高い人物の顔の画像を含む対象画像のグループから順に対象画像を並べた第１のリストを表示媒体に表示する表示制御部と、を備える。

第１の態様に係る画像処理装置によれば、検索された対象画像を検索対象となる人物との親密度がより高い人物の顔の画像を含む対象画像のグループから順に対象画像を並べて表示するため、ユーザーによる画像検索を容易にすることができる。

第１の態様に係る画像処理装置において、前記親密度は、前記対象画像に表されている顔同士の実際の距離である被写体間距離を用いて、前記被写体間距離が小さいほど大きい値となるように、前記対象画像ごとに算出される画像内親密度を用いて算出され、前記表示制御部は、前記第１のリストを構成する各前記対象画像のグループにおいて、グループの対象画像に共通して含まれる前記人物と前記検索対象となる人物との前記画像内親密度が高い順に対象画像を並べて前記表示媒体に表示してもよい。この場合、同じグループの対象画像を、内親密度が高い順に並べて表示するため、ユーザーによる画像検索を容易にすることができる。

第１の態様に係る画像処理装置において、前記画像検索部は、さらに、複数の顔の画像を含む複数の対象画像から前記検索対象となる人物と所定の親密度を有する人物の顔の画像が含まれている対象画像を検索し、前記表示制御部は、前記画像検索部により検索された対象画像について、前記親密度を用いて、前記所定の親密度を有する人物との前記親密度がより高い人物の顔の画像を含む対象画像のグループから順に対象画像を並べた第２のリストを表示媒体に表示してもよい。この場合、検索された対象画像を所定の親密度を有する人物との親密度がより高い人物の顔の画像を含む対象画像のグループから順に対象画像を並べて表示するため、ユーザーによる画像検索を容易にすることができる。

第１の態様に係る画像処理装置において、前記表示制御部は、前記第１のリストおよび前記第２のリストに含まれる対象画像をそれぞれ第１の方向に一列に並べるとともに、前記第１のリストおよび前記第２のリストを前記第１の方向と直交する第２の方向に並べて表示してもよい。この場合、第１のリストおよび第２のリストに含まれる対象画像をそれぞれ第１の方向に一列に並べ、また、第１のリストおよび第２のリストを第２の方向に並べて表示するため、ユーザーによる画像検索を容易にすることができる。

第１の態様に係る画像処理装置において、前記表示制御部は、複数の第２のリストを、前記検索対象となる人物との親密度がより高い人物の前記第２のリストから順に第２の方向に並べて表示してもよい。この場合、検索対象となる人物との親密度がより高い人物の第２のリストから順に複数の第２のリストを並べて表示するため、ユーザーによる画像検索を容易にすることができる。

第１の態様に係る画像処理装置はさらに、前記対象画像から顔の画像を含む画像領域である顔領域をそれぞれ検出する顔領域検出部と、前記顔領域に表されている顔から撮影装置までの距離である被写体距離をそれぞれ推定する被写体距離推定部と、前記被写体距離を用いて、前記被写体間距離を推定する被写体間距離推定部と、推定された前記被写体間距離を用いて、前記画像内親密度を算出する親密度算出部と、を備えていてもよい。この場合、被写体間距離を用いて画像内親密度を算出するため、画像内親密度の精度の向上を図ることができる。

第１の態様に係る画像処理装置において、前記被写体距離推定部は、前記対象画像の大きさに対する前記顔領域の大きさに基づいて前記被写体距離を推定してもよい。この場合、顔領域に表されている顔から撮影装置までの距離である被写体距離を容易に推定することができる。

本発明は、種々の態様で実現することが可能であり、例えば、プリンター、デジタルスチルカメラ、パーソナルコンピューター、デジタルビデオカメラ等で実現することができる。また、画像処理方法および装置、親密度算出方法および装置、間柄関係表示方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

第１実施例における画像処理装置としてのプリンターの構成を概略的に示す説明図である。 第１実施例における画像検索・印刷処理の流れを示すフローチャートである。 画像の一覧表示を含むユーザインターフェースを例示した説明図である。 内部メモリーに格納された画像ファイルを説明するための説明図である。 顔領域ＦＡの検出結果の一例を示す説明図である。 内部メモリーに格納された人物情報データベースを説明するための説明図である。 画像識別子と人物識別子との対応付けを説明するための説明図である。 第１実施例における人物情報設定処理の流れを示すフローチャートである。 人物情報データベースに年齢および性別についての人物情報を設定した状態を説明するための説明図である。 被写体距離Ｓｄの推定方法を示す説明図である。 被写体間距離Ｓｂｄの推定方法を示す説明図である。 人物情報データベースＨＣに画像内親密度Ｄｉｉを設定した状態を説明するための説明図である。 間柄判定処理の流れを示すフローチャートである。 第１の間柄判定情報の内容を説明するための説明図である。 第２の間柄判定情報の内容を説明するための説明図である。 人物情報データベースＨＣに間柄情報を設定した状態を説明するための説明図である。 親密度の算出方法を説明するための説明図である。 間柄関係図を例示した説明図である。 間柄関係図を含むユーザインターフェースを例示した説明図である。 第１の印刷画面を例示した説明図である。 第２の印刷画面を例示した説明図である。 対象画像リストに含まれる対象画像の並び順を説明するための説明図である。 第３の印刷画面を例示した説明図である。 第２実施例における人物情報設定処理の流れを示すフローチャートである。 第３の間柄判定情報の内容を説明するための説明図である。

以下、本発明に係る画像処理装置の一態様であるプリンターについて、図面を参照しつつ、実施例に基づいて説明する。

Ａ．第１実施例：
Ａ１．画像処理装置の構成：
図１は、第１実施例における画像処理装置としてのプリンターの構成を概略的に示す説明図である。本実施例のプリンター１００は、メモリーカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンターである。プリンター１００は、プリンター１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリー１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、印刷機構１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンター１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピューター）とのデータ通信を行うためのインターフェースを備えていてもよい。プリンター１００の各構成要素は、バスを介して双方向通信可能に接続されている。

印刷機構１６０は、印刷データに基づき印刷を行う。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリーカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリーカードＭＣにＲＧＢデータとしての画像データを含む画像ファイルが格納されている。この画像ファイルは、例えば、デジタルスチルカメラ等の撮影装置によりＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）規格に則って生成されたファイルであり、撮影により生成された画像データの他に、撮影日時、撮影時の絞り値（Ｆ値）、シャッタースピード、レンズの焦点距離、撮影時の緯度経度情報等の付加データを含んでいる。プリンター１００は、カードインターフェース１７０を介してメモリーカードＭＣに格納された画像ファイルの取得をおこなう。

内部メモリー１２０には、画像処理部２００と、表示制御部３１０と、印刷制御部３２０と、が格納されている。画像処理部２００は、コンピュータープログラムであり、所定のオペレーティングシステムの下で、ＣＰＵ１１０により実行されることで画像検索・印刷処理をおこなう。本実施例の画像検索・印刷処理は、検索対象となる複数の画像（以後、「対象画像」とも呼ぶ）から人同士の親密さの程度を表す親密度を算出し、この親密度を用いて特定の画像を検出する画像検索をおこなうとともに、検出された画像の印刷をおこなう処理である。画像検索・印刷処理については、後に詳述する。表示制御部３１０、および、印刷制御部３２０についてもＣＰＵ１１０により実行されることでぞれぞれの機能を実現する。

画像処理部２００は、プログラムモジュールとして、顔領域検出部２１０と、被写体距離推定部２２０と、被写体間距離推定部２３０と、親密度算出部２４０と、特徴判別部２５０と、特定情報取得部２６０と、画像検索部２７０と、間柄判定部２８０と、間柄関係図作成部２９０と、を含んでいる。間柄判定部２８０は、間柄判定情報選択部２８１を含んでいる。これら各部の機能については、後述の画像検索・印刷処理の説明において詳述する。

表示制御部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷制御部３２０は、画像データから印刷データを生成し、印刷機構１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータープログラムである。ＣＰＵ１１０は、内部メモリー１２０から、これらのプログラム（画像処理部２００、表示制御部３１０、印刷制御部３２０）を読み出して実行することにより、これら各部の機能を実現する。

内部メモリー１２０には、また、間柄判定情報ＲＤＩが格納されている。間柄判定情報ＲＤＩは、後述の画像検索・印刷処理において参照されるために予め設定される情報である。間柄判定情報ＲＤＩの内容については、後述の画像検索・印刷処理の説明において詳述する。

Ａ２．画像検索・印刷処理
図２は、第１実施例における画像検索・印刷処理の流れを示すフローチャートである。本実施例の画像検索・印刷処理は、検索対象となる複数の対象画像の少なくとも一部に表されている人全員についてそれぞれ算出した親密度から、人同士の間柄関係を表す間柄関係図を作成し、間柄関係図を参照したユーザーにより選択された画像の印刷をおこなう。

画像処理部２００は、画像検索の対象となる対象画像を取得する（ステップＳ１００）。本実施例では、メモリーカードＭＣに格納されたすべての画像ファイルにより表される画像を画像検索・印刷処理の対象となる対象画像として説明する。なお、対象画像は、メモリーカードＭＣ以外の記憶装置に格納された画像ファイルにより表される画像であってもよいし、メモリーカードＭＣに格納された画像ファイルの一部により表される画像であってもよい。以下に対象画像を取得する流れの具体例を示す。

図３は、画像の一覧表示を含むユーザインターフェースを例示した説明図である。カードスロット１７２にメモリーカードＭＣが挿入されると、表示制御部３１０により、メモリーカードＭＣに格納された画像の一覧表示を含むユーザインターフェースが表示部１５０に表示される。図３に示すユーザインターフェースには、６つのサムネイル画像ＴＮ１〜ＴＮ６と、５つのボタンＢＮ１〜ＢＮ５が表示されている。なお、本実施例では、画像の一覧表示は、メモリーカードＭＣに格納された画像ファイルに含まれるサムネイル画像を用いて実現される。

プリンター１００は、図３に示すユーザインターフェースにおいて、ユーザーにより、１つ（または複数）の画像が選択されると共に印刷ボタンＢＮ３が選択されると、選択された画像を通常通り印刷する印刷処理を実行する。他方、当該ユーザインターフェースにおいて、ユーザーにより、画像検索ボタンＢＮ４が選択されると、プリンター１００は、メモリーカードＭＣから対象画像を取得する。すなわち、プリンター１００は、メモリーカードＭＣに格納されたすべての画像ファイルを内部メモリー１２０に格納する。なお、本実施例では、画像検索ボタンＢＮ４によりすべての画像ファイルを内部メモリー１２０に格納しているが、ユーザインターフェースにおいて、ユーザーにより任意に対象画像が選択されることで、プリンター１００は、選択された画像に対応する画像ファイルのみを内部メモリー１２０に格納する態様としてもよい。

図４は、内部メモリーに格納された画像ファイルを説明するための説明図である。図４は、内部メモリー１２０に格納された画像ファイルにそれぞれ対応する対象画像と、画像ファイルをそれぞれ識別するための画像識別子とを示している。画像処理部２００は、取得した各対象画像ＴＩ１〜ＴＩ４に対応する画像ファイルにそれぞれ画像識別子を対応付けて内部メモリー１２０の所定領域に格納する。ここで、画像識別子とは、内部メモリー１２０に格納された画像ファイルのそれぞれが一意に特定可能な識別子であり、数字や記号のほか、ファイル名等の文字列であってもよい。

画像処理部２００は、注目画像ＯＩを設定する（ステップＳ１１０）。具体的には、画像処理部２００は、内部メモリー１２０に格納された画像ファイルの中から１つの画像ファイルを選択する。画像処理部２００は、選択した画像ファイルに対応する対象画像ＴＩを注目画像ＯＩとして設定する。本実施例では、図４に示す、対象画像ＴＩ１を注目画像ＯＩとして設定した例について説明する。

顔領域検出部２１０は、注目画像ＯＩにおける顔領域ＦＡの検出をおこなう（ステップＳ１２０）。ここで、顔領域ＦＡとは、注目画像ＯＩ上の画像領域であって、少なくとも顔の一部の画像が含まれる領域を意味している。顔領域検出部２１０による顔領域ＦＡの検出は、例えばテンプレートを利用したパターンマッチングによる方法（特開２００４−３１８２０４参照）といった公知の顔検出方法を用いて実行される。

図５は、顔領域ＦＡの検出結果の一例を示す説明図である。図５の例では、注目画像ＯＩに２人の顔の画像が含まれている。そのため、ここでは、注目画像ＯＩから２つの顔領域ＦＡ１、ＦＡ２が検出される。顔領域ＦＡは、図５に示すように、両目と鼻と口の画像を含む矩形の領域となっている。また、顔領域検出部２１０は、顔領域ＦＡに基づいて頭全体を含む矩形の領域である頭領域ＴＡを検出する。注目画像ＯＩにおける頭領域ＴＡの位置および範囲は、検出した顔領域ＦＡの注目画像ＯＩにおける位置および範囲に対して所定となるように予め設定されている。そのため、顔領域ＦＡの検出により頭領域ＴＡの位置および範囲が一義的に規定される。頭領域ＴＡの規定方法については、特に限定はなく、例えば、頭領域ＴＡは、顔領域ＦＡから所定の画素数外側の範囲としてもよいし、顔領域ＦＡの縦横それぞれの画素数に所定の定数を掛けて算出される範囲としてもよい。本実施例では、２つの頭領域ＴＡ１、ＴＡ２が検出される。

なお、顔領域検出部２１０は、顔領域ＦＡおよび頭領域ＴＡの検出結果として、注目画像ＯＩにおける顔領域ＦＡおよび頭領域ＴＡのそれぞれの位置を特定可能な情報（例えば顔領域ＦＡの４つの頂点の座標、および、頭領域ＴＡの４つの頂点の座標）を出力する。また、図５に示すように、本実施例では、注目画像ＯＩの幅をＷｗｉ（単位は画素数）と表し、顔領域ＦＡの幅をそれぞれＷｆｉ１およびＷｆｉ２（単位は画素数）と表すものとする。なお、ステップＳ１２０の顔領域ＦＡの検出において、顔領域ＦＡが検出されなかった場合には、新たに別の対象画像ＴＩを注目画像ＯＩとして選択し、顔領域ＦＡの検出をおこなう。

ステップＳ１２０では、テンプレートを利用したパターンマッチングにより注目画像ＯＩから顔領域ＦＡが検出される。このようなテンプレートを利用したパターンマッチングによる方法等の公知の顔検出方法は、一般に、顔全体や顔の部位（目や口等）について位置や傾き（角度）を詳細に検出するものではなく、注目画像ＯＩ中から顔の画像が概ね含まれると考えられる領域を顔領域ＦＡとして設定するものである。

図６は、内部メモリーに格納された人物情報データベースを説明するための説明図である。画像処理部２００は、注目画像ＯＩの頭領域ＴＡに対応する画像の画像データを生成する。頭領域ＴＡには、人の頭全体を表す画像が含まれているため、生成した画像データは、注目画像ＯＩに含まれている人ごとの人物画像ＰＩを表している。画像処理部２００は、図６に示すように、人物画像ＰＩを表す画像データと、それぞれの人物画像を識別するための人物識別子と対応付けた人物情報データベースＨＣを内部メモリー１２０の所定領域に格納する。ここでは、注目画像ＯＩとして設定した対象画像ＴＩ１に２人の人物画像が含まれているため、頭領域ＴＡ１により表される人物の人物画像ＰＩ１の画像データと人物識別子ａａとを対応付けるとともに、頭領域ＴＡ２により表される人物の人物画像ＰＩ２の画像データと人物識別子ｂｂとを対応付ける。なお、本実施例では、画像処理部２００は、注目画像ＯＩの頭領域ＴＡに対応する人物画像ＰＩの画像データを生成しているが、画像データを生成せず、頭領域ＴＡの位置を特定するための情報や、頭領域ＴＡを検出した注目画像ＯＩの画像識別子などと、人物識別子と対応付けた人物情報データベースＨＣを構築してもよい。

図７は、画像識別子と人物識別子との対応付けを説明するための説明図である。画像処理部２００は、内部メモリーに格納されている注目画像ＯＩに対応する画像ファイルと、注目画像ＯＩに含まれている人物画像ＰＩの画像データを対応付ける。具体的には、画像処理部２００は、図７に示すように、対象画像ＴＩ１に対応する画像ファイルの画像識別子ＩＡと、２人の人物画像ＰＩ１、ＰＩ２とそれぞれ対応する人物識別子ａａ、ｂｂとを対応付ける。

画像処理部２００は、人物情報設定処理をおこなう（ステップＳ１３０）。人物情報設定処理とは、注目画像ＯＩから、注目画像ＯＩに表されている人の年齢や、性別のほか、注目画像ＯＩに表されている人同士の親密さの程度を表す親密度や間柄などの人物情報を取得し、人物情報データベースＨＣに設定する処理である。人物情報は、上記以外にも、例えば、注目画像ＯＩに表されている人の表情や、顔向きなどを含んでいてもよい。

図８は、第１実施例における人物情報設定処理の流れを示すフローチャートである。特徴判別部２５０は、注目画像ＯＩに表されている人の年齢および性別の判定をおこなう（ステップＳ２１０）。特徴判別部２５０による年齢判定および性別判定は、例えば顔領域ＦＡに含まれる目、鼻、髪型、色彩などについての位置、大きさ、比率などの顔特徴量に基づいて推定する方法（特開２００７−２０６９２１参照）といった公知の判別方法を用いて実行される。本実施例では、年齢判定において推定される年齢は、画像検索・印刷処理をおこなった時点での年齢が推定される。すなわち、注目画像ＯＩに表された人の画像から推定される年齢に、注目画像ＯＩを表す画像ファイルにメタデータとして付加されている撮影日時から画像検索・印刷処理をおこなった日時までに経過した年月分加齢することにより、画像検索・印刷処理をおこなった時点での年齢を推定する。なお、本実施例では、画像検索・印刷処理をおこなった時点での年齢の推定をおこなったが、代わりに、注目画像ＯＩに表されている人の誕生年もしくは誕生年月を推定する態様であってもよい。

図９は、人物情報データベースに年齢および性別についての人物情報を設定した状態を説明するための説明図である。特徴判別部２５０は、人物情報データベースＨＣにおいて、判定した年齢および性別についての人物情報と、判定の対象となった人物と対応する人物画像ＰＩの画像データとを対応付ける。具体的には、図９に示すように、注目画像ＯＩの顔領域ＦＡ１から判定した年齢（３５歳）と性別（男）を、頭領域ＴＡ１と対応する人物画像ＰＩ１の画像データと対応付ける。また、注目画像ＯＩの顔領域ＦＡ２から判定した年齢（２０歳）と性別（女）を、頭領域ＴＡ２と対応する人物画像ＰＩ２の画像データと対応付ける。

被写体距離推定部２２０は、被写体距離Ｓｄの推定を行う（ステップＳ２２０）。ここで、被写体距離Ｓｄは、注目画像ＯＩの撮影時における撮影装置（より詳細には撮影装置のレンズの主点）から被写体である人の顔までの距離である。

図１０は、被写体距離Ｓｄの推定方法を示す説明図である。図１０には、注目画像ＯＩの撮影時における撮影装置の結像面ＩＳと被写体としての人Ｐの顔との位置関係を示している。図１０に示すように、レンズの主点ＵＰと人Ｐの顔との間の距離である被写体距離Ｓｄは、人Ｐの顔の位置を含み結像面ＩＳに平行な面（以下「被写体面ＳＳ」とも呼ぶ）における撮影範囲の幅Ｗｗと画角θ１とにより定まる。また、画角θ１は、レンズの焦点距離ｆと結像面ＩＳの幅Ｗｘとの関係により特定される。すなわち、下記の式（１）が成り立つ。

また、被写体面ＳＳにおける撮像範囲の幅Ｗｗは、人Ｐの顔の画像が注目画像ＯＩ（図５）において占める大きさに基づき特定される。すなわち、被写体面ＳＳにおける幅Ｗｗと人Ｐの顔の幅Ｗｆとの比は、注目画像ＯＩにおける画像全体の幅Ｗｗｉと顔領域ＦＡの幅Ｗｆｉとの比に等しいと考えられる（式（２）参照）。

上記式（１）および（２）から、下記の式（３）が導かれる。

被写体距離推定部２２０は、式（３）を用いた被写体距離Ｓｄの算出に必要な情報を取得する。具体的には、被写体距離推定部２２０は、注目画像ＯＩを表す画像ファイルにメタデータとして付加されている注目画像ＯＩの全体の幅Ｗｗｉの値（画素数）を取得すると共に、顔領域ＦＡ（図５）の幅Ｗｆｉの値（画素数）を算出する。顔領域ＦＡの幅Ｗｆｉの算出は、例えば前述の顔領域ＦＡの４つの頂点のうちの２つの頂点の座標を用いて２つの頂点間の距離を算出することにより行う。

また、被写体距離推定部２２０は、人Ｐの顔の幅Ｗｆの値として、予め設定され内部メモリー１２０に格納された典型的な人物の顔の幅（顔の現実の大きさ）の概略値（例えば２００ｍｍ）を取得する。

さらに、被写体距離推定部２２０は、注目画像ＯＩの画像ファイルの付加データに含まれる撮像時のレンズの焦点距離ｆの値を取得する。ここで、取得されるレンズの焦点距離ｆの値は、３５ｍｍフィルム換算値であり、撮像装置の実際の焦点距離（実焦点距離）とは異なる場合がある。このような場合には、被写体距離推定部２２０は、結像面ＩＳの幅Ｗｘとして、予め設定された３５ｍｍフィルムの幅の値を取得する。なお、画像ファイルの付加データに実焦点距離のデータと撮像装置の撮像素子の幅のデータとが含まれている場合には、被写体距離推定部２２０が、レンズの焦点距離ｆとして実焦点距離の値を取得し、結像面ＩＳの幅Ｗｘとして撮像素子の幅の値を取得するとしてもよい。また、画像ファイルの付加データに画角そのものを示すデータが含まれている場合には、被写体距離推定部２２０が画角を示すデータを取得するとしてもよい。

被写体距離推定部２２０は、取得した上記各情報（対象画像ＴＩの全体の幅Ｗｗｉの値、顔領域ＦＡの幅Ｗｆｉの値、人物Ｐの顔の幅Ｗｆの値、レンズの焦点距離ｆの値、結像面ＩＳの幅Ｗｘの値）と、上記式（３）とを用いて、被写体距離Ｓｄを算出（推定）する。本実施例では、撮影装置から顔領域ＦＡ１に対応する人の顔までの距離である被写体距離Ｓｄ１と、撮影装置から顔領域ＦＡ２に対応する人の顔までの距離である被写体距離Ｓｄ２が推定される。

なお、撮影装置から顔領域ＦＡ１に対応する人の顔までの距離である被写体距離Ｓｄ１と、撮影装置から顔領域ＦＡ２に対応する人の顔までの距離である被写体距離Ｓｄ２との比は、顔領域ＦＡ１の幅Ｗｆｉ１と顔領域ＦＡ２の幅Ｗｆｉ２との比に等しいと考えられるため、上記式（３）を用いて、被写体距離Ｓｄ１を算出し、被写体距離Ｓｄ２を下記の式（４）により算出してもよい。

被写体距離推定部２２０により被写体距離Ｓｄが推定されると、被写体間距離推定部２３０は、被写体間距離Ｓｂｄの推定をおこなう（ステップＳ２３０）。ここで、被写体間距離Ｓｂｄは、注目画像ＯＩに表されている２人の顔の一方の顔から他方の顔までの実際の距離である。言い換えれば、被写体間距離Ｓｂｄは、顔領域ＦＡに表されている顔同士の撮影時における実際の距離である。

図１１は、被写体間距離Ｓｂｄの推定方法を示す説明図である。図１１には、注目画像ＯＩの撮影時における撮影装置ＰＤと被写体としての人Ｐ１および人Ｐ２の顔との位置関係を示している。人Ｐ１は、図５に示す顔領域ＦＡ１に対応する人であり、人Ｐ２は、顔領域ＦＡ２に対応する人を表している。図１１に示すように、人Ｐ１の顔と人Ｐ２の顔との間の距離である被写体間距離Ｓｂｄは、撮影装置ＰＤと人Ｐ１とを結ぶ直線上の距離成分である奥行き方向距離Ｓｈと、この奥行き方向と直交する方向の距離成分である直交方向距離Ｓｖにより特定される。すなわち、式（５）が成り立つ。

また、直交方向距離Ｓｖは、撮影装置ＰＤと人Ｐ１とを結ぶ直線と、撮影装置ＰＤと人Ｐ２とを結ぶ直線とにより形成される形成角θ２と、撮影装置から人Ｐ２の顔までの距離である被写体距離Ｓｄ２により特定される。すなわち、式（６）が成り立つ。

また、直交方向距離Ｓｖおよび奥行き方向距離Ｓｈは、撮影装置から人Ｐ１の顔までの距離である被写体距離Ｓｄ１と、形成角θ２により特定される。すなわち式（７）が成り立つ。

式（６）および式（７）により、奥行き方向距離Ｓｈは、被写体距離Ｓｄ１、Ｓｄ２および形成角θ２を用いて特定される。すなわち、式（８）が成り立つ。

式（５）、式（６）、および、式（８）により、被写体間距離Ｓｂｄを被写体距離Ｓｄ１、Ｓｄ２および形成角θ２を用いて特定できる。すなわち、式（９）が成り立つ。

被写体間距離推定部２３０は、式（９）を用いた被写体間距離Ｓｂｄの算出に必要な情報を取得する。具体的には、被写体間距離推定部２３０は、被写体距離推定部２２０により推定された被写体距離Ｓｄ１、Ｓｄ２を取得するとともに、形成角θ２の値を算出する。形成角θ２の算出は、例えば、注目画像ＯＩにおける顔領域ＦＡ１の中心と顔領域ＦＡ２との中心とを結ぶ線分の長さと、画像全体の幅Ｗｗｉとの比と、形成角θ２と、画角θ１との比を用いることにより算出することができる。

親密度算出部２４０は、画像内親密度Ｄｉｉの算出をおこなう（ステップＳ２４０）。ここで、画像内親密度Ｄｉｉは、注目画像ＯＩに表されている人同士の互いの親密さの程度を表す値であり、人同士が互いに親密であるほど高い値となる。親密度算出部２４０は、ステップＳ２３０において推定された被写体間距離Ｓｂｄを用いて画像内親密度Ｄｉｉを算出する。具体的には、親密度算出部２４０は、被写体間距離Ｓｂｄが小さいほど画像内親密度Ｄｉｉの値が大きくなるように画像内親密度Ｄｉｉを算出する。これは、写真撮影時において、お互いに親密である人同士ほどお互いの距離が近い状態となり、親密でない人同士の場合には、お互いに近接した状態となることが少ないことによる。なお、画像内親密度Ｄｉｉと被写体間距離Ｓｂｄとの関係は、任意に設定可能であり、画像内親密度Ｄｉｉは、被写体間距離Ｓｂｄと直線的な相関関係（線形相関）を有している必要はなく、曲線的な相関関係（非線形相関）であってもよい。また、例えば、被写体間距離Ｓｂｄが所定以上であれば、画像内親密度Ｄｉｉの値は一定となるような態様であってもよい。

親密度算出部２４０は、算出した画像内親密度Ｄｉｉを人物情報データベースＨＣに設定する。図１２は、人物情報データベースＨＣに画像内親密度Ｄｉｉを設定した状態を説明するための説明図である。親密度算出部２４０は、人物情報データベースＨＣにおいて、算出した画像内親密度Ｄｉｉを、算出の対象となった２人の人物画像ＰＩの画像データとそれぞれ対応付ける。具体的には、注目画像ＯＩにおいて、頭領域ＴＡ１により表される人物と、頭領域ＴＡ２により表される人物との画像内親密度Ｄｉｉが「５」であった場合、図１２に示すように、頭領域ＴＡ１と対応する人物画像ＰＩ１の画像データに、注目画像ＯＩとして設定している対象画像ＴＩの画像識別子「ＩＡ」と、画像内親密度Ｄｉｉを算出した相手の人物識別子「ｂｂ」と、画像内親密度Ｄｉｉである「５」をそれぞれ対応付ける。また、頭領域ＴＡ２と対応する人物画像ＰＩ２の画像データに、注目画像ＯＩとして選択している対象画像ＴＩの画像識別子「ＩＡ」と、画像内親密度Ｄｉｉを算出した相手の人物識別子「ａａ」と、画像内親密度Ｄｉｉである「５」をそれぞれ対応付ける。

間柄判定部２８０は、間柄判定処理をおこなう（ステップＳ２５０）。間柄判定処理は、注目画像ＯＩに表されている人同士の間柄を判定するための処理である。図１３は、間柄判定処理の流れを示すフローチャートである。間柄判定部２８０は、人物情報データベースＨＣから、間柄判定の対象となる人のそれぞれの年齢および性別などの人物情報と、対象とする人同士の画像内親密度Ｄｉｉとを用いて注目画像ＯＩに表されている人同士の間柄を判定する。

間柄判定部２８０の間柄判定情報選択部２８１は、位置情報を取得する（ステップＳ３１０）。ここで、位置情報とは、注目画像ＯＩとして選択されている対象画像ＴＩが撮影された場所に関する情報であり、街路、住宅、会社といった撮影された場所の種別に関する情報が含まれている。間柄判定情報選択部２８１は、画像ファイルの付加データに含まれている撮影時の緯度経度情報と、内部メモリー１２０に記憶されている地理情報とを用いて、対象画像ＴＩが撮影された場所を特定する。ここで、緯度経度情報は、撮影装置と一体もしくは別体のＧＰＳユニットにより取得されたＧＰＳ情報を画像ファイルに付加データとして埋め込んだものである。すなわち、間柄判定情報選択部２８１は、対象画像ＴＩが撮影された場所に関する情報を、ＧＰＳ情報を用いることにより特定している。なお、プリンター１００は、内部メモリー１２０に地理情報を記憶している必要はなく、例えば、Ｇｏｏｇｌｅマップなどの地図情報を利用して、緯度経度情報から撮影された場所に関する情報を取得してもよい。

間柄判定部２８０の間柄判定情報選択部２８１は、内部メモリー１２０に記憶されている複数の間柄判定情報の中から１つの間柄判定情報を選択する（ステップＳ３２０）。間柄判定情報には、間柄判定の対象とする人の年齢や性別等の人物情報、および、画像内親密度Ｄｉｉと、間柄との対応関係が示されている。内部メモリー１２０に記憶されている複数の間柄判定情報には、それぞれ画像が撮影された場所ごとに設定された対応関係が示されている。図１４は、第１の間柄判定情報の内容を説明するための説明図である。図１５は、第２の間柄判定情報の内容を説明するための説明図である。間柄判定情報選択部２８１は、ステップＳ３１０により取得した対象画像の撮影された場所に関する情報に基づいて、内部メモリー１２０に記憶されている複数の間柄判定情報から１つの間柄判定情報を選択する。すなわち、間柄判定情報選択部２８１は、対象画像の撮影された場所に関する情報に示されている対象画像の撮影された場所と対応する間柄判定情報を選択する。

図１４は、内部メモリー１２０に記憶されている間柄判定情報の１つであって、街路で撮影された画像に対応する間柄判定情報の内容を例示している。また、図１５は、内部メモリー１２０に記憶されている間柄判定情報の１つであって、会社で撮影された画像に対応する間柄判定情報の内容を例示している。それぞれの間柄判定情報の内容は後述する。なお、図１４および図１５に示されている間柄判定情報の内容は、内部メモリー１２０に設定可能な間柄判定情報の一例にすぎず、これ以外の間柄判定情報を任意に設定することができる。例えば、自宅、公園、遊興施設など、ぞれぞれの場所で撮影された画像に対応する間柄判定情報や、ステップＳ３１０において位置情報が取得されなかった場合に選択される間柄判定情報などを設定することができる。

間柄判定部２８０は、間柄判定情報に従って、対象となる人同士の間柄を判定する（ステップＳ３３０）。はじめに、間柄判定情報選択部２８１により、図１４に内容が示された間柄判定情報が選択された場合について説明する。間柄判定部２８０は、画像内親密度Ｄｉｉと閾値Ｔｈ１とを比較し（ステップＳ５００）、画像内親密度Ｄｉｉが閾値Ｔｈ１以下である場合（ステップＳ５００：ＮＯ）、間柄判定の対象となる人同士は「他人」であると判定する（ステップＳ５０５）。

画像内親密度Ｄｉｉが閾値Ｔｈ１より大きい場合（ステップＳ５００：ＹＥＳ）、間柄判定部２８０は、間柄判定の対象となる人同士の年齢差が閾値Ｔｈ２より小さいか否かを判定する（ステップＳ５１５）。年齢差が閾値Ｔｈ２より小さい場合（ステップＳ５１５：ＹＥＳ）、間柄判定部２８０は、間柄判定の対象となる人の年齢がそれぞれ１２より大きいか否かを判定する（ステップＳ５２０）。

間柄判定の対象となる人の少なくとも一方の年齢が１２以下である場合（ステップＳ５２０：ＮＯ）、間柄判定部２８０は、間柄判定の対象となる人同士は「友達」であると判定する（ステップＳ５２５）。間柄判定の対象となる人の年齢がそれぞれ１２より大きい場合（ステップＳ５２０：ＹＥＳ）、間柄判定部２８０は、間柄判定の対象となる人同士が同性か否かを判定する（ステップＳ５３５）。

間柄判定の対象となる人同士が同性である場合（ステップＳ５３５：ＹＥＳ）、間柄判定部２８０は、間柄判定の対象となる人同士は「友達」であると判定する（ステップＳ５４０）。間柄判定の対象となる人同士が異性である場合（ステップＳ５３５：ＮＯ）、間柄判定部２８０は、間柄判定の対象となる人同士は「恋人もしくは夫婦」であると判定する（ステップＳ５４５）。

ステップＳ５１５において、年齢差が閾値Ｔｈ２以上である場合（ステップＳ５１５：ＮＯ）、間柄判定部２８０は、顔認証を実施する（ステップＳ５５０）。ここで、顔認証とは、間柄判定の対象となる人同士の顔の画像の類似度（顔類似度）を算出するために、それぞれの人の顔の画像から特徴量を算出し、両者の特徴量の類似度から顔類似度を算出する処理をいう。ここで用いられる顔の画像の特徴量には、例えば、対象画像がＲＧＢで表されている場合、ＲＧＢ色空間におけるカラーヒストグラムの各カラービンの画素度数を用いることができる。なお、人の顔の画像同士の類似度を算出できる方法であれば、上記以外の公知技術を用いてもよい。

ステップＳ５５０において算出された顔類似度が閾値Ｔｈ３より小さい場合（ステップＳ５５５：ＹＥＳ）、間柄判定部２８０は、間柄判定の対象となる人同士は「親子」であると判定する（ステップＳ５６０）。ステップＳ５５０において算出された顔類似度が閾値Ｔｈ３以上である場合（ステップＳ５５５：ＮＯ）、間柄判定部２８０は、間柄判定の対象となる人同士は「他人」であると判定する（ステップＳ５６５）。

続いて、間柄判定情報選択部２８１が、図１５に内容が示された間柄判定情報を選択した場合について説明する。間柄判定部２８０は、画像内親密度Ｄｉｉと閾値Ｔｈ４とを比較し（ステップＳ６００）、画像内親密度Ｄｉｉが閾値Ｔｈ４以下である場合（ステップＳ６００：ＮＯ）、間柄判定の対象となる人同士は「他人」であると判定する（ステップＳ６０５）。

画像内親密度Ｄｉｉが閾値Ｔｈ４より大きい場合（ステップＳ６００：ＹＥＳ）、間柄判定部２８０は、間柄判定の対象となる人同士の年齢差が閾値Ｔｈ５より小さいか否かを判定する（ステップＳ６１５）。年齢差が閾値Ｔｈ５以上である場合（ステップＳ６１５：ＮＯ）、間柄判定部２８０は、間柄判定の対象となる人同士は「上司と部下」であると判定する（ステップＳ６１７）。

年齢差が閾値Ｔｈ５より小さい場合（ステップＳ６１５：ＹＥＳ）、間柄判定部２８０は、画像内親密度Ｄｉｉが閾値Ｔｈ６（＞閾値Ｔｈ４）より大きいか否かを判定する（ステップＳ６２０）。画像内親密度Ｄｉｉが閾値Ｔｈ６以下である場合（ステップＳ６２０：ＮＯ）、間柄判定部２８０は、間柄判定の対象となる人同士は「同僚」であると判定する（ステップＳ６２５）。画像内親密度Ｄｉｉが閾値Ｔｈ６より大きい場合（ステップＳ６２０：ＹＥＳ）、間柄判定部２８０は、間柄判定の対象となる人同士が同性か否かを判定する（ステップＳ６３５）。

間柄判定の対象となる人同士が同性である場合（ステップＳ６３５：ＹＥＳ）、間柄判定部２８０は、間柄判定の対象となる人同士は「友達」であると判定する（ステップＳ６４０）。間柄判定の対象となる人同士が異性である場合（ステップＳ６３５：ＮＯ）、間柄判定部２８０は、間柄判定の対象となる人同士は「恋人」であると判定する（ステップＳ６４５）。

間柄判定部２８０は、判定した間柄に関する情報（以後、「間柄情報」とも呼ぶ）を人物情報データベースＨＣに設定する。図１６は、人物情報データベースＨＣに間柄情報を設定した状態を説明するための説明図である。間柄判定部２８０は、人物情報データベースＨＣにおいて、判定の対象となった２人の人物画像ＰＩの画像データと間柄情報とをそれぞれ対応付ける。具体的には、注目画像ＯＩにおいて、頭領域ＴＡ１により表される人物と、頭領域ＴＡ２により表される人物との間柄が「他人」であった場合、図１６に示すように、頭領域ＴＡ１と対応する人物画像ＰＩ１の画像データと対応付けられている、頭領域ＴＡ２により表される人物に関する情報（ここでは、対象画像ＴＩの画像識別子「ＩＡ」、人物識別子「ｂｂ」、および、画像内親密度Ｄｉｉ「５」）に、間柄情報である「他人」を追加する。また、頭領域ＴＡ２と対応する人物画像ＰＩ２の画像データと対応付けられている、頭領域ＴＡ１により表される人物に関する情報（ここでは、対象画像ＴＩの画像識別子「ＩＡ」、人物識別子「ａａ」、および、画像内親密度Ｄｉｉ「５」）に、間柄情報である「他人」を追加する。上記により間柄判定処理が終了する。また、間柄判定処理の終了により、人物情報設定処理が終了する。

図２に戻って、画像処理部２００は、内部メモリー１２０に格納された画像ファイルに対応する対象画像ＴＩを順次、注目画像ＯＩとして設定し、ステップＳ１１０からステップＳ１３０の処理を実行する（ステップＳ１３５：ＮＯ）。このとき、ステップＳ１２０において検出された頭領域ＴＡにより表される人物が既に人物情報データベースＨＣに設定されている場合には、画像処理部２００は、その人物について、人物情報データベースＨＣに新たなレコードを設定しない。画像処理部２００は、例えば、ステップＳ１２０において検出した頭領域ＴＡに含まれる顔の画像と、人物情報データベースＨＣに表されている人物画像ＰＩとの類似度をそれぞれ算出することにより、検出した頭領域ＴＡにより表される人物が既に人物情報データベースＨＣに設定されているか否かを判定する。また、特徴判別部２５０は、検出した頭領域ＴＡにより表される人物が既に人物情報データベースＨＣに設定されているか否かについての判定結果を用いて、一度、年齢判定および性別判定をおこなった人物については、再度、年齢判定および性別判定をおこなわない。画像処理部２００は、すべての対象画像ＴＩについて注目画像ＯＩに設定し、ステップＳ１１０からステップＳ１３０の処理が完了すると（ステップＳ１３５：ＹＥＳ）、親密度算出部２４０は、親密度Ｄｉの算出をおこなう（ステップＳ１４０）。ここで、親密度Ｄｉは、画像内親密度Ｄｉｉと同様に、注目画像ＯＩに表されている人同士の互いの親密さの程度を表す値であり、人同士が互いに親密であるほど高い値となる。親密度Ｄｉは画像内親密度Ｄｉｉを用いて算出する。

図１７は、親密度の算出方法を説明するための説明図である。図１７は、人物識別子ａａと対応する人物と人物識別子ｃｃと対応する人物との間の親密度Ｄｉの算出例を示している。図１７の太枠で示すように、親密度算出部２４０は、人物識別子ａａと対応する人物について、画像識別子ＩＢと対応する対象画像ＴＩを用いて算出された人物識別子ｃｃと対応する人物と間の画像内親密度Ｄｉｉである「２２」と、画像識別子ＩＣと対応する対象画像ＴＩを用いて算出された画像内親密度Ｄｉｉである「２０」との平均値である「２１」を、人物識別子ｃｃと対応する人物との間の親密度Ｄｉとして設定する。すなわち、親密度算出部２４０は、同一人物同士の画像内親密度Ｄｉｉの平均値を親密度Ｄｉとして算出する。また、親密度算出部２４０は、人物識別子ｃｃと対応する人物との間の親密度Ｄｉの算定に、画像識別子ＩＢに対応する対象画像ＴＩと、画像識別子ＩＣに対応する対象画像ＴＩの２つの対象画像ＴＩを用いているため、頻度Ｆｄに「２」を設定する。頻度Ｆｄは、対象画像ＴＩに現れる頻度が高い人同士ほど高い値となる。

人物識別子ａａと対応する人物と、人物識別子ｂｂと対応する人物との間の画像内親密度Ｄｉｉのように、同一人物同士の画像内親密度Ｄｉｉが１つしか設定されていない場合には、親密度算出部２４０は、画像内親密度Ｄｉｉの値を親密度Ｄｉとして設定する。また、親密度算出部２４０は、頻度Ｆｄに「１」を設定する。なお、親密度Ｄｉは、同一人物同士の画像内親密度Ｄｉｉの平均値である必要はなく、例えば、同一人物同士の画像内親密度Ｄｉｉをたし合わせた累積値であってもよいし、同一人物同士の画像内親密度Ｄｉｉのうちの最大値であってもよい。

親密度Ｄｉが算出されると、間柄関係図作成部２９０は、間柄関係図の作成をおこなう（ステップＳ１５０）。間柄関係図は、対象画像に表されている人同士のそれぞれの間柄を図示することにより、対象画像の少なくとも一部に表されている人全員の間柄を表した図である。間柄関係図作成部２９０は、間柄関係図を表す画像データを生成する。

図１８は、間柄関係図を例示した説明図である。間柄関係図ＲＭには、人物画像ＰＩ（ＰＩ１〜ＰＩ６）と、人物画像ＰＩの外周部に形成される人物画像フレームＦｉと、人物画像ＰＩにより表されている人物の年齢情報ａｇおよび性別情報Ｓｓと、人物画像フレームＦｉ同士をつなぐ関係線Ｒｌと、が含まれている。

間柄関係図作成部２９０は、人物情報データベースＨＣに設定されている人物画像ＰＩの画像データを用いて間柄関係図ＲＭの人物画像ＰＩを作成する。また、間柄関係図作成部２９０は、人物情報データベースＨＣに設定されている年齢および性別についての人物情報を用いて間柄関係図ＲＭの年齢情報ａｇおよび性別情報Ｓｓを作成する。性別情報Ｓｓは、図１８に示すように人物画像フレームＦｉの一部に記号として表されている。間柄関係図作成部２９０は、人物情報データベースＨＣに設定されている親密度Ｄｉを用いて関係線Ｒｌの長さＬｒを決定する。具体的には、間柄関係図作成部２９０は、親密度Ｄｉが大きいほど、その対象となる人同士の人物画像フレームＦｉをつなぐ関係線Ｒｌの長さＬｒが短くなるように関係線Ｒｌの長さＬｒを決定する。すなわち、間柄関係図ＲＭにおいて、親密度Ｄｉが大きい人同士ほど、その人同士の人物画像フレームＦｉが近づくように設定される。これにより、ユーザーは視覚を通して容易に人同士の親密度の程度を把握することができる。

間柄関係図作成部２９０は、人物情報データベースＨＣに設定されている頻度Ｆｄを用いて関係線の幅Ｗｒを決定する。具体的には、間柄関係図作成部２９０は、頻度Ｆｄが大きいほど、その対象となる人同士の人物画像フレームＦｉをつなぐ関係線Ｒｌの幅Ｗｒを広くする。これにより、間柄関係図ＲＭにおいて、対象画像ＴＩに現れる頻度が高い人同士ほど、その人同士の人物画像フレームＦｉをつなぐ関係線Ｒｌが太くなるため、その関係線Ｒｌの信用性が高いことがわかる。すなわち、対象画像ＴＩに現れる頻度が低い人同士であれば、親密ではない人同士であるにもかかわらず、偶然にお互いの距離が近い対象画像ＴＩが存在した場合、その対象画像ＴＩが親密度Ｄｉに与える影響が大きくなる。一方、対象画像ＴＩに現れる頻度が高い人同士であれば、親密ではない人同士であるにもかかわらず、一部にお互いの距離が近い対象画像ＴＩが存在しても、他に多数のお互いの距離が遠い対象画像ＴＩが存在するため、お互いの距離が近い対象画像ＴＩが親密度Ｄｉに与える影響を抑制することができる。間柄関係図作成部２９０は、生成した間柄関係図を表す画像データを内部メモリー１２０に格納する。

表示制御部３１０は、間柄関係図ＲＭを表示する（ステップＳ１５５）。図１９は、間柄関係図を含むユーザインターフェースを例示した説明図である。表示制御部３１０は、ステップＳ１５０により生成された間柄関係図ＲＭを表す画像データを用いて、表示部１５０に間柄関係図ＲＭを含むユーザインターフェースを表示させる。図１９に示すユーザインターフェースは、間柄関係図ＲＭのほか、ユーザーに関係線Ｒｌもしくは人物画像ＰＩの選択を要求する旨の表示と、入力ボックスＢｏを備えている。本実施例に係るプリンター１００は、ユーザーによる関係線Ｒｌの選択、もしくは、入力ボックスＢｏへのキーワード等の入力により特定される人物を含む対象画像の検索をおこなう。

特定情報取得部２６０は、特定情報を取得する（ステップＳ１６０）ここで、特定情報とは、検索対象となる人物を特定するための情報である。ここでは、ユーザーにより選択された関係線Ｒｌが特定情報に該当する。なお、特定情報としては、他に、間柄関係図ＲＭにおいて、ユーザーにより選択された人物画像ＰＩや人物画像フレームであってもよいし、入力ボックスＢｏに入力された、人物を特定するための情報であってもよい。入力ボックスＢｏに入力される、人物を特定するための情報とは、例えば、性別や年齢などの入力情報のほか、人物情報データベースＨＣに人物情報と氏名情報とが関連づけられている場合には、氏名等の入力情報が特定情報に該当する。また、検索対象となる人物を表す画像ファイルのファイル名を入力ボックスＢｏに入力する場合、このファイル名が特定情報に該当する。すなわち、特定情報とは、ユーザーにより入力された入力情報であるともいえる。

画像検索部２７０は、画像検索をおこなう（ステップＳ１７０）。画像検索部２７０はユーザーにより選択された関係線Ｒｌ（特定情報）から、この関係線Ｒｌにより結ばれる２人の人物画像ＰＩが含まれている対象画像ＴＩの画像識別子を特定する。具体的には、図１９の斜線で示すように、人物画像ＰＩ１で表される人物と人物画像ＰＩ３で表される人物との関係線Ｒｌａがユーザーにより選択された場合、画像検索部２７０は、図１７に示す人物情報データベースＨＣから、選択された関係線Ｒｌａと対応する親密度Ｄｉを特定する。ここでは、図１７の太枠で囲まれている親密度Ｄｉが関係線Ｒｌａと対応している。画像検索部２７０は、特定した親密度Ｄｉから、親密度Ｄｉの算出根拠となった画像内親密度Ｄｉｉを算定した対象画像ＴＩの画像識別子ＩＢ、ＩＣを特定する。画像検索部２７０は、特定した画像識別子ＩＢ、ＩＣと対応する対象画像ＴＩ２、ＴＩ３を内部メモリー１２０から選択する。このように、特定情報である関係線Ｒｌによって、関係線で繋がれた２人の人物を特定することができるため、画像検索部２７０は、特定情報に基づいて、対象画像ＴＩから検索対象となる人物の顔の画像が含まれている対象画像ＴＩを検索しているといえる。

表示制御部３１０は、印刷画像を表示する（ステップＳ１８０）。図２０は、第１の印刷画面を例示した説明図である。表示制御部３１０は、ステップＳ１７０において検索された対象画像ＴＩ２、ＴＩ３を表示部１５０に表示する。このとき、表示制御部３１０は、人物画像ＰＩ１で表される人物と人物画像ＰＩ３で表される人物との画像内親密度Ｄｉｉの高い順に表示させる。具体的には、図１７に示すように、対象画像ＴＩ２における画像内親密度Ｄｉｉは「２２」であり、対象画像ＴＩ３における画像内親密度Ｄｉｉは「２０」であることから、表示制御部３１０は、対象画像ＴＩ２が先となるように（ここでは、左側となるように）表示する。印刷画面には、印刷画像のほか、４つのボタンＢＮ１〜ＢＮ３、５が表示されている。ユーザーにより、１つ（または複数）の対象画像ＴＩが選択されると共に印刷ボタンＢＮ３が選択されると、選択された画像を印刷する印刷処理を実行する。

印刷制御部３２０は、印刷処理をおこなう（ステップＳ１９０）。印刷制御部３２０は、選択された対象画像ＴＩについての印刷データを生成する。具体的には、印刷制御部３２０は、選択された対象画像ＴＩについて、各画素の画素値をプリンター１００が用いるインクに合わせるための色変換処理や、色変換処理後の画素の階調をドットの分布によって表すためのハーフトーン処理や、ハーフトーン処理された画像データのデータ並びをプリンター１００に転送すべき順序に並び替えるためのラスタライズ処理等を実施して印刷データを生成する。印刷機構１６０は、印刷制御部３２０により生成された印刷データに基づいて、選択された対象画像ＴＩの印刷をおこなう。上記により、画像検索・印刷処理は終了する。

上記では、ステップＳ１６０において、ユーザーにより選択された関係線Ｒｌを特定情報として処理をおこなっていたが、図１９に示すユーザインターフェースにおいて、ユーザーにより人物画像ＰＩが選択された場合について説明する。ここでは、人物画像ＰＩ１が選択された場合について説明する。

画像検索部２７０は、画像検索をおこなう（ステップＳ１７０）。画像検索部２７０は、人物情報データベースＨＣを用いて、ユーザーにより選択された人物画像ＰＩ１（特定情報）と対応する人物の人物識別子ａａを特定する。画像検索部２７０は、図７に示すように、内部メモリー１２０に記憶されている対象画像ＴＩから、特定した人物識別子ａａと関連づけられている対象画像ＴＩを選択する。このとき選択された対象画像ＴＩは、後述する対象画像リストＲｓｔ１に含まれる。

画像検索部２７０は、人物情報データベースＨＣを用いて、人物画像ＰＩ１と対応する人物と最も親密度Ｄｉが高い人物の人物識別子ｃｃを特定する。画像検索部２７０は、内部メモリー１２０に記憶されている対象画像ＴＩから、特定した人物識別子ｃｃと関連づけられている対象画像ＴＩを選択する。このとき選択された対象画像ＴＩは、後述する対象画像リストＲｓｔ２に含まれる。このとき、対象画像リストＲｓｔ１に含まれた対象画像ＴＩが重複して対象画像リストＲｓｔ２含まれることがある。

画像検索部２７０は、人物画像ＰＩ１と対応する人物との親密度Ｄｉが高い人物から順に人物識別子を特定し、特定したそれぞれの人物識別子と関連づけられている対象画像ＴＩを順に内部メモリー１２０に記憶されている対象画像ＴＩから選択する。人物識別子ごとに選択された対象画像ＴＩは、それぞれ別の対象画像リストＲｓｔに含まれる。このとき、異なる対象画像リストＲｓｔに同じ対象画像ＴＩが重複して含まれることがある。以後、各対象画像リストＲｓｔにおいて、検索に用いられた人物識別子により表される人物を「基準人物」と呼ぶ。ここでは、対象画像リストＲｓｔ１の基準人物は、人物画像ＰＩ１と対応する人物であり、対象画像リストＲｓｔ２の基準人物は、人物画像ＰＩ３と対応する人物である。

上記のとおり、画像検索部２７０は、複数の対象画像ＴＩから、特定情報により特定された検索対象となる人物（ここでは、人物画像ＰＩ１と対応する人物）の顔の画像が含まれている対象画像ＴＩを検索するのみではなく、検索対象となる人物と所定の親密度Ｄｉを有する人物の顔の画像が含まれている対象画像ＴＩの検索もおこなう。ここで、所定の親密度Ｄｉを有する人物とは、例えば、検索対象となる人物と最も高い親密度Ｄｉを有している人物や、検索対象となる人物との親密度Ｄｉが設定値以上の人物などをいう。

画像検索部２７０は、人物情報データベースＨＣに含まれているすべての人物の人物識別子を用いて、各人物識別子と関連づけられている対象画像ＴＩをそれぞれ内部メモリー１２０に記憶されている対象画像ＴＩから選択してもよいし、予め設定された人数分の人物識別子のみを用いて、人物識別子と関連づけられている対象画像ＴＩを内部メモリー１２０に記憶されている対象画像ＴＩから選択してもよい。また、検索対象となる人との親密度Ｄｉが予め設定された値以上となる人物の人物識別子のみを用いて、人物識別子と関連づけられている対象画像ＴＩを内部メモリー１２０に記憶されている対象画像ＴＩから選択してもよい。

表示制御部３１０は、印刷画像を表示する（ステップＳ１８０）。図２１は、第２の印刷画面を例示した説明図である。表示制御部３１０は、ステップＳ１７０において検索された対象画像ＴＩを表示部１５０に表示させる。このとき、表示制御部３１０は、図２１に示すように、対象画像リストＲｓｔごとに対象画像ＴＩを表示する。表示制御部３１０は、各対象画像リストＲｓｔに含まれる対象画像ＴＩをそれぞれ積層して表示し、積層した対象画像ＴＩの一番上に基準人物の人物画像ＰＩを表示している。表示制御部３１０は、ユーザーにより、積層されている対象画像ＴＩのうちの少なくとも一部が選択されると、選択された対象画像ＴＩの全体を表示する。

表示制御部３１０は、検索対象となる人（人物画像ＰＩ１により表される人物）の対象画像リストＲｓｔ１を先頭（ここでは、最も左側）にして、検索対象となる人との親密度Ｄｉがより高い人物を基準人物とした対象画像リストＲｓｔから順に（右側に）並べて表示する。具体的には、図２１に示すように、人物画像ＰＩ１により表される人物と最も親密度Ｄｉの高い人物（人物画像ＰＩ３により表される人物）の対象画像リストＲｓｔ２、人物画像ＰＩ１により表される人物と２番目に親密度Ｄｉの高い人物（人物画像ＰＩ５により表される人物）の対象画像リストＲｓｔ３、人物画像ＰＩ１により表される人物と３番目に親密度Ｄｉの高い人物（人物画像ＰＩ４により表される人物）の対象画像リストＲｓｔ４の順に（ここでは、左側から順となるように）並べて表示する。

図２２は、対象画像リストに含まれる対象画像の並び順を説明するための説明図である。表示制御部３１０は、各対象画像リストＲｓｔにおいて、基準人物との親密度Ｄｉがより高い人の顔の画像が含まれている対象画像ＴＩのグループから順に並べて表示する。具体的には、図２２に示す対象画像リストＲｓｔ１のように、表示制御部３１０は、人物画像ＰＩ１により表される人物と最も親密度Ｄｉの高い人物の人物画像ＰＩ３が含まれている対象画像ＴＩａ、ＴＩｂ、ＴＩｃを含む対象画像グループＧｒｐ１、人物画像ＰＩ１により表される人物と２番目に親密度Ｄｉの高い人物の人物画像ＰＩ５が含まれている対象画像ＴＩｄ、ＴＩｅ、ＴＩｆを含む対象画像グループＧｒｐ２、人物画像ＰＩ１により表される人物と３番目に親密度Ｄｉの高い人物の人物画像ＰＩ４が含まれている対象画像ＴＩｇ、ＴＩｈを含む対象画像グループＧｒｐ３の順に（ここでは、左側から順となるように）並べて対象画像ＴＩを表示する。

表示制御部３１０は、対象画像リストＲｓｔの各対象画像グループＧｒｐにおいて、グループの対象画像に共通して含まれる人物と、基準人物との画像内親密度Ｄｉｉが高い対象画像ＴＩから順に並べて表示する。具体的には、図２２に示すように、対象画像リストＲｓｔ１の対象画像グループＧｒｐ１において、表示制御部３１０は、グループの対象画像に共通して含まれる人物（人物画像ＰＩ３により表される人物）と、基準人物（人物画像ＰＩ１により表される人物）との画像内親密度Ｄｉｉが高い対象画像ＴＩから順に並べて表示する。すなわち、表示制御部３１０は、３つの対象画像ＴＩａ、ＴＩｂ、ＴＩｃのうち、最も画像内親密度Ｄｉｉが高い対象画像ＴＩａ、２番目に画像内親密度Ｄｉｉが高い対象画像ＴＩｂ、３番目に画像内親密度Ｄｉｉが高い対象画像ＴＩｃの順に（ここでは、左側から順となるように）並べて表示する。対象画像グループＧｒｐ２、Ｇｒｐ３についても同様に、表示制御部３１０は、それぞれ、各グループの対象画像に共通して含まれる人物（人物画像ＰＩ５により表される人物、もしくは、人物画像ＰＩ４により表される人物）と、基準人物との画像内親密度Ｄｉｉが高い対象画像ＴＩから順に並べて表示する。

第２の印刷画面では、各対象画像リストＲｓｔが左右方向（水平方向）に一列に並べられ、また、各対象画像リストＲｓｔに含まれている対象画像ＴＩは、各対象画像リストＲｓｔが並べられている方向と直交する奥行き方向に並べて（積層されて）表示されている。第２の印刷画面には、印刷画像のほか、５つのボタンＢＮ１〜ＢＮ３、５、７が表示されている。ユーザーにより、１つ（または複数）の対象画像ＴＩが選択されると共に印刷ボタンＢＮ３が選択されると、選択された画像を印刷する印刷処理を実行する。

図２３は、第３の印刷画面を例示した説明図である。表示制御部３１０は、第２の印刷画面においてユーザーにより表示変更ボタンＢＮ７が選択されると、図２３に示す第３の印刷画面を表示部１５０に表示させる。具体的には、表示制御部３１０は、第２の印刷画面と同様に、検索対象となる人（人物画像ＰＩ１により表される人物）の対象画像リストＲｓｔ１を先頭（ここでは、最も左側）にして、検索対象となる人との親密度Ｄｉが高い人物を基準人物とした対象画像リストＲｓｔから順に（右側に）並べて表示する。また、表示制御部３１０は、各対象画像リストＲｓｔにおいて、基準人物との親密度Ｄｉが高い人の顔の画像が含まれている対象画像ＴＩのグループから順に並べて表示する。また、表示制御部３１０は、対象画像リストＲｓｔの各対象画像グループＧｒｐにおいて、基準人物との画像内親密度Ｄｉｉが高い対象画像ＴＩから順に並べて表示する。

第３の印刷画面では、各対象画像リストＲｓｔが左右方向（水平方向）に一列に並べられ、また、各対象画像リストＲｓｔに含まれている対象画像ＴＩは、各対象画像リストＲｓｔが並べられている方向と直交する方向である上下方向（垂直方向）に並べて表示されている。第３の印刷画面には、印刷画像のほか、５つのボタンＢＮ１〜ＢＮ３、５、８が表示されている。ユーザーにより、１つ（または複数）の対象画像ＴＩが選択されると共に印刷ボタンＢＮ３が選択されると、選択された画像を印刷する印刷処理を実行する。表示制御部３１０は、ユーザーにより表示変更ボタンＢＮ８が選択されると、図２１に示す第２の印刷画面を表示部１５０に表示させる。

本実施例において、人物情報データベースＨＣが記憶されている内部メモリー１２０は、特許請求の範囲における「記憶部」に該当する。検索対象となる人の対象画像リストＲｓｔ１は、特許請求の範囲における「第１のリスト」に該当する。対象画像リストＲｓｔ２、Ｒｓｔ３、Ｒｓｔ４は、それぞれ特許請求の範囲における「第２のリスト」に該当する。対象画像グループＧｒｐは、特許請求の範囲における「グループ」に該当する。本実施例の第２の印刷画面において、対象画像が積層されている奥行き方向は、特許請求の範囲における「第１の方向」に該当し、各対象画像リストＲｓｔが並べられている左右方向（水平方向）は、特許請求の範囲における「第２の方向」に該当する。また、本実施例の第３の印刷画面において、対象画像が並べられている上下方向（垂直方向）は、特許請求の範囲における「第１の方向」に該当し、各対象画像リストＲｓｔが並べられている左右方向（水平方向）は、特許請求の範囲における「第２の方向」に該当する。

以上説明した第１の実施例に係るプリンター１００によれば、対象画像ＴＩの顔領域ＦＡに表されている顔同士の実際の距離である被写体間距離Ｓｂｄを用いて人同士の互いの親密さの程度を表す親密度Ｄｉを算出するため、対象画像ＴＩから人同士の関係性を特定する精度の向上を図ることができる。具体的には、写真撮影時の人同士の実際の距離を算出することで、写真撮影時において、お互いに親密である人同士ほどお互いの距離が近い状態となり、また、親密でない人同士の場合には、お互いに近接した状態となることが少ないという撮影時の特性を利用して親密度Ｄｉを算出することができるため、親密度Ｄｉの精度を高めることができる。

対象画像ＴＩに表されている顔の画像同士の距離から親密度を算出する技術については従来から知られていた。しかし、対象画像ＴＩに表された顔の画像同士の距離を用いて親密度を算出する場合、対象画像ＴＩの奥行き方向における人同士の距離が親密度に反映されないため、実際には、奥行き方向で人同士の距離が離れていても、対象画像ＴＩに表された顔の画像同士の距離が近い場合、親密度が高く算出されることがあった。しかし、本発明によれば、対象画像ＴＩの奥行き方法の距離を親密度Ｄｉに反映することができるため、人同士の親密さの程度を精度良く親密度Ｄｉに反映させることができる。

すなわち、第１の対象画像に含まれている顔の画像同士の距離が、第２の対象画像に含まれている顔の画像同士の距離より小さく、第１の対象画像に表されている顔同士の実際の距離が、第２の対象画像に表されている顔同士の実際の距離より大きい場合、プリンター１００は、第１の対象画像に表されている人同士より第２の対象画像に表されている人同士の方がより親密度が高くなるようにそれぞれの親密度を算出することができる。これは、対象画像ＴＩに表されている顔の画像同士の距離から親密度を算出する従来技術においては、第１の対象画像に表されている人同士より第２の対象画像に表されている人同士の方がより親密度が小さくなるようにそれぞれの親密度を算出すると考えられるため、本発明により親密度を算出する精度の向上が図られていることがわかる。

第１の実施例に係るプリンター１００によれば、対象画像ＴＩごとに算出される画像内親密度Ｄｉｉについても、対象画像ＴＩの顔領域ＦＡに表されている顔同士の実際の距離である被写体間距離Ｓｂｄを用いて算出するため、対象画像ＴＩから人同士の関係性を特定する精度の向上を図ることができる。具体的には、人同士の関係は、各写真においても、お互いに親密である人同士ほどお互いの距離が近い状態となり、また、親密でない人同士の場合には、お互いに近接した状態となることが少ないため、写真ごとの親密度である画像内親密度Ｄｉｉに写真撮影時の特性を利用することで、画像内親密度Ｄｉｉの精度を高めることができる。

第１の実施例に係るプリンター１００によれば、被写体距離推定部は、対象画像の大きさに対する顔領域の大きさに基づいて被写体距離を推定するため、顔領域に表されている顔から撮影装置までの距離である被写体距離を容易に推定することができる。具体的には、式（３）に示すように、被写体距離推定部は、注目画像ＯＩにおける画像全体の幅Ｗｗｉと顔領域ＦＡの幅Ｗｆｉを用いることで被写体距離を容易に推定することができる。

第１の実施例に係るプリンター１００によれば、親密度Ｄｉと、人の特徴とを用いて、対象画像に表されている人同士の間柄を判定するため、対象画像から人同士の関係性を特定する精度の向上を図ることができる。具体的には、人同士の関係性を表す間柄を特定するために、対象画像ＴＩの顔領域ＦＡに表されている顔同士の実際の距離である被写体間距離Ｓｂｄを用いて算出された親密度Ｄｉのほか、対象画像ＴＩから判定された人の特徴を用いるため、親密度が同じであっても異なる間柄を判別することができる。

第１の実施例に係るプリンター１００によれば、親密度と、人の年齢とを用いて、対象画像に表されている人同士の間柄を判定するため、対象画像から人同士の関係性を特定する精度の向上を図ることができる。具体的には、人同士の関係性を表す間柄を特定するために、親密度Ｄｉのほか、対象画像ＴＩから判定された人の年齢を用いるため、親密度が同じであっても親子か友達かなどの具体的な間柄の違いを判別することができる。また、親密度と、人の性別とを用いて、対象画像に表されている人同士の間柄を判定するため、対象画像から人同士の関係性を特定する精度の向上を図ることができる。具体的には、人同士の関係性を表す間柄を特定するために、親密度Ｄｉのほか、対象画像ＴＩから判定された人の性別を用いるため、親密度が同じであっても恋人・夫婦か友達かなどの具体的な間柄の違いを判別することができる。

第１の実施例に係るプリンター１００によれば、間柄判定情報選択部により選択された間柄判定情報を用いて、対象画像に表されている人同士の間柄を判定するため、対象画像から人同士の関係性を特定する精度の向上を図ることができる。具体的には、人同士の位置関係や、性別、年齢などの特徴が同様であっても、撮影された場所により人同士の間柄が異なる可能性がある。しかし、本実施例によれば、撮影された場所に対応する間柄判定情報を用いて人同士の間柄を判定するため、対象画像ＴＩから人同士の間柄を特定する精度の向上を図ることができる。

第１の実施例に係るプリンター１００によれば、１以上の対象画像の少なくとも一部に表されている人全員の間柄関係を表す間柄関係図を作成するため、ユーザーは対象画像に表されている人同士の間柄を容易に把握することができる。また、ユーザーは、間柄関係図に表されている間柄や、人物画像を任意に選択することにより、複数の対象画像の中から、所望の対象画像を識別することができる。

また、間柄関係図は、対象画像に現れる人の顔の画像と、人の画像同士をつなぐ関係線とが表され、親密度が高い人同士ほど顔の画像同士の距離が小さく、対象画像に現れる頻度が高い人同士ほど関係線の幅が大きく表されているため、対象画像の少なくとも一部に表されている人全員の関係性を容易に表示することができる。具体的には、間柄関係図ＲＭにおいて、親密度Ｄｉが大きい人同士ほど、その人同士の人物画像フレームＦｉが近づくように設定される。これにより、ユーザーは視覚を通して容易に人同士の親密度の程度を把握することができる。また、対象画像ＴＩに現れる頻度が高い人同士ほど、その人同士の人物画像フレームＦｉをつなぐ関係線Ｒｌが太くなるため、ユーザーは、その関係線Ｒｌの信用性を容易に把握することができる。すなわち、対象画像に現れる頻度が低い人同士であれば、親密ではない人同士であるにもかかわらず、偶然にお互いの距離が近い対象画像が存在した場合、その対象画像が親密度に与える影響が大きくなる。一方、対象画像に現れる頻度が高い人同士であれば、親密ではない人同士であるにもかかわらず、一部にお互いの距離が近い対象画像が存在しても、他に多数のお互いの距離が遠い対象画像が存在するため、お互いの距離が近い対象画像が親密度に与える影響を抑制することができる。よって、関係線Ｒｌが太いほど、その関係線Ｒｌの信用性が高いといえる。

第１の実施例に係るプリンター１００によれば、第１の対象画像に含まれている顔の画像同士の距離が、第２の対象画像に含まれている顔の画像同士の距離より小さく、第１の対象画像に表されている顔同士の実際の距離が、第２の対象画像に表されている顔同士の実際の距離より大きい場合、間柄関係図において、第１の対象画像に現れる人の顔の画像同士の距離より第２の対象画像に現れる人の顔の画像同士の距離の方が小さくなるように間柄関係図を作成することができる。これは、対象画像ＴＩに表されている顔の画像同士の距離から親密度を算出する従来技術を利用して間柄関係図を作成した場合においては、第１の対象画像に現れる人の顔の画像同士の距離より第２の対象画像に現れる人の顔の画像同士の距離の方が大きくなるように間柄関係図を作成すると考えられるため、本発明により間柄関係図の精度の向上が図られていることがわかる。

第１の実施例に係るプリンター１００によれば、検索された対象画像を、検索対象となる人物との親密度がより高い人物の顔の画像を含む対象画像グループから順に対象画像を並べて表示するため、ユーザーによる画像検索を容易にすることができる。具体的には、図２２に示すように、プリンター１００は、対象画像リストＲｓｔにおいて、検索対象となる人物との親密度Ｄｉがより高い人の顔の画像が含まれている対象画像ＴＩの対象画像グループＧｒｐから順に並べて表示する。より具体的には、プリンター１００は、検索対象となる人物と最も親密度Ｄｉの高い人物の人物画像ＰＩが含まれている対象画像ＴＩを含む対象画像グループＧｒｐ１、検索対象となる人物と２番目に親密度Ｄｉの高い人物の人物画像ＰＩが含まれている対象画像ＴＩを含む対象画像グループＧｒｐ２、検索対象となる人物と３番目に親密度Ｄｉの高い人物の人物画像ＰＩが含まれている対象画像ＴＩを含む対象画像グループＧｒｐ３の順に並べて対象画像ＴＩを表示する。これにより、ユーザーは、検索対象となる人物との親密度Ｄｉの高い人物の人物画像ＰＩが含まれている対象画像ＴＩから順に対象画像ＴＩを確認することができるため、画像検索を容易にすることができる。

第１の実施例に係るプリンター１００によれば、対象画像リストを構成する各対象画像グループにおいて、対象画像グループごとの対象画像に共通して含まれる人物と検索対象となる人物との画像内親密度が高い順に対象画像を並べて表示するため、ユーザーによる画像検索を容易にすることができる。具体的には、図２２に示すように、プリンター１００は、対象画像リストＲｓｔの各対象画像グループＧｒｐにおいて、グループの対象画像に共通して含まれる人物と、検索対象となる人物（基準人物）との画像内親密度Ｄｉｉが高い対象画像ＴＩから順に並べて表示する。より具体的には、プリンター１００は、対象画像リストＲｓｔ１の対象画像グループＧｒｐ１において、グループの対象画像に共通して含まれる人物（人物画像ＰＩ３により表される人物）と、基準人物（人物画像ＰＩ１により表される人物）との画像内親密度Ｄｉｉが高い対象画像ＴＩから順に並べて表示する。すなわち、プリンター１００は、３つの対象画像ＴＩａ、ＴＩｂ、ＴＩｃのうち、最も画像内親密度Ｄｉｉが高い対象画像ＴＩａ、２番目に画像内親密度Ｄｉｉが高い対象画像ＴＩｂ、３番目に画像内親密度Ｄｉｉが高い対象画像ＴＩｃの順に（ここでは、左側から順となるように）並べて表示する。これにより、ユーザーは、同一の人物が含まれている対象画像ＴＩについて、画像内親密度Ｄｉｉがより高い対象画像ＴＩから順に確認することができるため、画像検索を容易にすることができる。

第１の実施例に係るプリンター１００によれば、対象画像から、検索対象となる人物と所定の親密度を有する人物の顔の画像が含まれている対象画像を検索し、検索した対象画像を、所定の親密度を有する人物との親密度がより高い人物の顔の画像を含む対象画像グループから順に対象画像を並べた対象画像リストを表示するため、ユーザーによる画像検索を容易にすることができる。具体的には、プリンター１００は、検索対象となる人物の顔の画像が含まれている対象画像を検索するのみではなく、検索対象となる人物と所定の親密度を有する人物の顔の画像が含まれている対象画像についても検索をおこない、検索した対象画像を、所定の親密度を有する人物との親密度がより高い人物の顔の画像を含む対象画像グループから順に対象画像を並べて表示する。これにより、ユーザーは、所定の親密度を有する人物との親密度Ｄｉの高い人物の人物画像ＰＩが含まれている対象画像ＴＩから順に対象画像ＴＩを確認することができるため、画像検索を容易にすることができる。なお、所定の親密度Ｄｉを有する人物とは、例えば、検索対象となる人物と最も高い親密度Ｄｉを有している人物や、検索対象となる人物との親密度Ｄｉが設定値以上の人物などをいう。

第１の実施例に係るプリンター１００によれば、対象画像リストＲｓｔに含まれる対象画像を第１の方向に一列に並べるとともに、複数の対象画像リストＲｓｔを第１の方向と直交する第２の方向に並べて表示するため、ユーザーによる画像検索を容易にすることができる。具体的には、図２１および図２３に示すように、対象画像の並ぶ方向と対象画像リストが並ぶ方向を直交させることにより、表示されたそれぞれの対象画像が属する対象画像リストＲｓが視覚的に容易に判別できるため、ユーザーによる画像検索を容易にすることができる。

第１の実施例に係るプリンター１００によれば、複数の対象画像リストＲｓｔを、検索対象となる人物との親密度がより高い人物の対象画像リストＲｓｔから順に並べて表示するため、ユーザーによる画像検索を容易にすることができる。具体的には、図２１および図２３に示すように、検索対象となる人物との親密度がより高い人物を基準人物とする対象画像リストＲｓｔから順に並べて表示することにより、ユーザーによる画像検索を容易にすることができる。例えば、検索対象となる人物が、自身と親密度の高い友人や子供についての画像を検索したい場合、友人や子供を検索対象に設定しなくても、自身を検索対象となる人物に設定することで、親密度の高い友人や子供についての対象画像リストを自身との親密度の高い順に表示することができるため、所望の画像を容易に取得することができる。

Ｂ．第２実施例：
図２４は、第２実施例における人物情報設定処理の流れを示すフローチャートである。第１実施例では、画像検索・印刷処理のステップＳ１３０（図２）における人物情報設定処理（図８）において、まず、特徴判別部２５０により、注目画像ＯＩに表されている人の年齢および性別の判定がおこなわれていたが（ステップＳ２１０）、本実施例では、図２４に示すように、年齢および性別の判定をおこなわず、ステップＳ２５０における間柄判定処理において実施する態様について説明する。被写体距離Ｓｄの推定（ステップＳ２２０）、被写体間距離Ｓｂｄの推定（ステップＳ２３０）、画像内親密度Ｄｉｉの算出（ステップＳ２４０）については、第１実施例と同様であるため説明を省略する。

図２５は、第３の間柄判定情報の内容を説明するための説明図である。図２５は、第１実施例と同様に、内部メモリー１２０に記憶されている間柄判定情報の１つであって、街路で撮影された画像に対応する間柄判定情報の内容を例示している。すなわち、図２５に示した間柄判定情報の内容は、図１４で示した間柄判定情報の内容と対応している。第２実施例で説明する間柄判定処理は、間柄判定情報の内容以外については第１実施例と同様であるため説明を省略する。

間柄判定情報選択部２８１が、図２５に内容が示された間柄判定情報を選択した場合について説明する。ステップＳ５００およびステップＳ５０５は第１実施例と同様である。画像内親密度Ｄｉｉが閾値Ｔｈ１より大きい場合（ステップＳ５００：ＹＥＳ）、特徴判別部２５０は、注目画像ＯＩに表されている人の年齢の判定をおこなう（ステップＳ５１０）。年齢判定の方法は第１実施例と同様である。年齢判定の後、間柄判定部２８０は、ステップＳ５１５〜Ｓ５２５を実施する。ステップＳ５１５〜Ｓ５２５については第１実施例と同様である。ステップＳ５２０において、間柄判定の対象となる人の年齢がそれぞれ１２より大きい場合（ステップＳ５２０：ＹＥＳ）、特徴判別部２５０は、注目画像ＯＩに表されている人の性別の判定をおこなう（ステップＳ５３０）。性別判定の方法は第１実施例と同様である。性別判定の後、間柄判定部２８０は、ステップＳ５３５〜Ｓ５４５を実施する。上記により間柄判定処理が終了する。また、間柄判定処理の終了により、人物情報設定処理が終了する。

以上説明した第２の実施例に係るプリンター１００によれば、年齢判定もしくは性別判定の少なくとも一方を実施せずに間柄の判定をおこなうことができるため、画像検索・印刷処理の処理効率の向上を図ることができる。具体的には、上記のステップＳ５００において、画像内親密度Ｄｉｉが閾値Ｔｈ１以下である場合（ステップＳ５００：ＮＯ）、年齢判定や性別判定をおこなわなくても、間柄判定の対象となる人同士は「他人」であると判定することができる。また、ステップＳ５１５において、年齢差が閾値Ｔｈ２以上である場合（ステップＳ５１５：ＮＯ）、または、ステップＳ５２０において、間柄判定の対象となる人の少なくとも一方の年齢が１２以下である場合（ステップＳ５２０：ＮＯ）、性別判定をおこなわなくても、間柄判定の対象となる人同士の間柄を判定することができる。なお、年齢判定をおこなった後に性別判定をおこなうことにより、間柄判定の対象となる人同士の間柄を効率よく判定することができる。これは、性別の差異よりも年齢の差異の方が、人同士の間柄の決定に与える影響が大きいためと考えられる。

Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｃ１．変形例１：
本実施例に係るプリンター１００は、対象画像ＴＩから親密度Ｄｉを算出し、算出した親密度Ｄｉを用いて対象画像ＴＩを並べて表示部１５０に表示しているが、親密度Ｄｉは、必ずしもプリンター１００が算出する必要はなく、予め算出された親密度を用いてもよいし、ユーザーにより任意に設定された親密度を用いてもよい。この場合であっても、ユーザーによる画像検索を容易にすることができる。また、この場合、プリンター１００は、顔領域検出部２１０、被写体距離推定部２２０、被写体間距離推定部２３０、および、親密度算出部２４０を備えていなくてもよい。

Ｃ２．変形例２：
本実施例に係るプリンター１００は、図２１や図２３に示すような印刷画面を表示部１５０に表示し、ユーザーから選択された対象画像を印刷しているが、プリンター１００は、電気的に接続されたコンピューターやモニターを含めた概念で捉えてもよく、この場合、モニターに図２１や図２３に示すような印刷画面を表示し、表示制御部はコンピューターのＣＰＵにより実現されてもよい。また、プリンター１００は、図２１や図２３に示すような対象画像を印刷してもよい。

Ｃ３．変形例３：
本実施例に係るプリンター１００は、図２１および図２３に示す印刷画面において、検索対象となる人の対象画像リストＲｓｔ１を先頭（ここでは、最も左側）にして、検索対象となる人との親密度Ｄｉがより高い人物を基準人物とした対象画像リストＲｓｔから順に（右側に）並べて表示しているが、検索対象となる人の対象画像リストＲｓｔ１を最も右側にして、検索対象となる人との親密度Ｄｉがより高い人物を基準人物とした対象画像リストＲｓｔから順に左側に並べて表示してもよい。また、検索対象となる人の対象画像リストＲｓｔ１を最も上側にして、検索対象となる人との親密度Ｄｉがより高い人物を基準人物とした対象画像リストＲｓｔから順に下側に並べて表示してもよいし、親密度Ｄｉが高いほど関係線の幅Ｗｒを太くしてもよい。

Ｃ４．変形例４：
本実施例に係るプリンター１００は、間柄関係図ＲＭに、人物画像ＰＩと、人物画像ＰＩの外周部に形成される人物画像フレームＦｉと、人物画像ＰＩにより表されている人物の年齢情報ａｇおよび性別情報Ｓｓと、人物画像フレームＦｉ同士をつなぐ関係線Ｒｌと、を含めて作成しているが、間柄関係図ＲＭは、これらの一部がない態様であってもよい。また、本実施例では、人物情報データベースＨＣに設定されている頻度Ｆｄを用いて関係線の幅Ｗｒを決定し、また、親密度Ｄｉを用いて関係線Ｒｌの長さＬｒを決定しているが、これらは、例示であり、間柄関係図ＲＭを構成するこれら以外の要素を人物情報データベースＨＣなどの情報に基づいて変化させもよい。例えば、対象画像ＴＩに現れる頻度によって人物画像ＰＩの大きさを変える態様としてもよいし、親密度Ｄｉが高いほど関係線の幅Ｗｒを太くしてもよい。

Ｃ５．変形例５：
本実施例に係るプリンター１００は、間柄判定情報を用いて間柄を判定しているが、本実施例で示した間柄判定情報の内容は例示であり、これら以外の情報に基づいて間柄を判定してもよい。また、本実施例では、対象画像が撮影された場所ごとに設定された間柄判定情報を用いて間柄を判定しているが、対象画像が撮影された場所に関係なく１つの間柄判定情報を用いて間柄を判定する態様であってもよい。

Ｃ６．変形例６：
本実施例に係るプリンター１００は、ユーザーによる関係線Ｒｌの選択、もしくは、入力ボックスＢｏへのキーワード等の入力により、検索対象となる人物の特定をおこなっているが、検索対象となる人物の特定はこれ以外の方法におこなってもよい。例えば、プリンター１００は、ユーザーにより設定された任意の顔の画像をクエリ画像とし、このクエリ画像を用いて顔認証をおこなうことにより、クエリ画像と最も類似する人物画像ＰＩにより表される人物を検索対象となる人として設定してもよい。

Ｃ７．変形例７：
本実施例に係るプリンター１００は、画像内親密度Ｄｉｉを用いて注目画像ＯＩに表されている人同士の間柄を算出しているが、親密度Ｄｉを用いて注目画像ＯＩに表されている人同士の間柄を算出してもよい。この場合、間柄判定情報選択部２８１は、例えば、親密度Ｄｉの算出に用いた画像内親密度Ｄｉｉのうち、最も値の高い画像内親密度Ｄｉｉが算出された対象画像ＴＩの位置情報を用いて間柄判定情報を選択してもよい。

Ｃ８．変形例８：
本実施例に係るプリンター１００は、上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

Ｃ９．変形例９：
本発明は、プリンターのほか、デジタルスチルカメラ、パーソナルコンピューター、デジタルビデオカメラ等で実現することができる。また、画像処理方法および装置、親密度算出方法および装置、間柄関係表示方法および装置、これらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

１００…プリンター
１１０…ＣＰＵ
１２０…内部メモリー
１４０…操作部
１５０…表示部
１６０…印刷機構
１７０…カードインターフェース
１７２…カードスロット
２００…画像処理部
２１０…顔領域検出部
２２０…被写体距離推定部
２３０…被写体間距離推定部
２４０…親密度算出部
２５０…特徴判別部
２６０…特定情報取得部
２７０…画像検索部
２８０…間柄判定部
２８１…間柄判定情報選択部
２９０…間柄関係図作成部
３１０…表示制御部
３２０…印刷制御部
ＭＣ…メモリーカード
ＨＣ…人物情報データベース
ＲＭ…間柄関係図
Ｒｓｔ…対象画像リスト
Ｇｒｐ…対象画像グループ
ＦＡ…顔領域
ＴＡ…頭領域
ＯＩ…注目画像
ＴＩ…対象画像
Ｄｉ…親密度
Ｄｉｉ…画像内親密度

Claims (7)

1. 画像検索をおこなう画像処理装置であって、
   検索対象となる人物を特定するための特定情報を取得する特定情報取得部と、
   前記特定情報に基づいて、それぞれ複数の顔の画像を含む複数の対象画像から前記検索対象となる人物の顔の画像が含まれている対象画像を検索する画像検索部と、
   前記対象画像に表されている人物同士の親密さの程度を表す親密度を記憶する記憶部と、
   前記親密度を用いて、前記画像検索部により検索された対象画像について、前記検索対象となる人物との前記親密度がより高い人物の顔の画像を含む対象画像のグループから順に対象画像を並べた第１のリストを表示媒体に表示する表示制御部と、を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記親密度は、前記対象画像に表されている顔同士の実際の距離である被写体間距離を用いて、前記被写体間距離が小さいほど大きい値となるように、前記対象画像ごとに算出される画像内親密度を用いて算出され、
   前記表示制御部は、前記第１のリストを構成する各前記対象画像のグループにおいて、グループの対象画像に共通して含まれる前記人物と前記検索対象となる人物との前記画像内親密度が高い順に対象画像を並べて前記表示媒体に表示する画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記画像検索部は、さらに、複数の顔の画像を含む複数の対象画像から前記検索対象となる人物と所定の親密度を有する人物の顔の画像が含まれている対象画像を検索し、
   前記表示制御部は、前記画像検索部により検索された対象画像について、前記親密度を用いて、前記所定の親密度を有する人物との前記親密度がより高い人物の顔の画像を含む対象画像のグループから順に対象画像を並べた第２のリストを表示媒体に表示する画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記表示制御部は、前記第１のリストおよび前記第２のリストに含まれる対象画像をそれぞれ第１の方向に一列に並べるとともに、前記第１のリストおよび前記第２のリストを前記第１の方向と直交する第２の方向に並べて表示する画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記表示制御部は、複数の第２のリストを、前記検索対象となる人物との親密度がより高い人物の前記第２のリストから順に第２の方向に並べて表示する画像処理装置。
6. 請求項２ないし請求項５のいずれかに記載の画像処理装置はさらに、
   前記対象画像から顔の画像を含む画像領域である顔領域をそれぞれ検出する顔領域検出部と、
   前記顔領域に表されている顔から撮影装置までの距離である被写体距離をそれぞれ推定する被写体距離推定部と、
   前記被写体距離を用いて、前記被写体間距離を推定する被写体間距離推定部と、
   推定された前記被写体間距離を用いて、前記画像内親密度を算出する親密度算出部と、を備える画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記被写体距離推定部は、前記対象画像の大きさに対する前記顔領域の大きさに基づいて前記被写体距離を推定する画像処理装置。

Images