JP2014229178A - 電子機器および表示制御方法、プログラム - Google Patents

Abstract

【課題】所望の人物の画像を容易に取得できる電子機器を実現する。
【解決手段】実施形態によれば、電子機器は、検出手段、分類手段および表示手段を具備する。検出手段は、複数の画像から複数の顔画像を検出する。分類手段は、前記複数の顔画像に基づいて、第１顔に対応する１以上の画像を第１グループとし、第２顔に対応する１以上の画像を第２グループとする。表示手段は、前記第１グループに分類された画像の数がしきい値以上であり、前記第２グループに分類された画像の数が前記しきい値未満である場合、前記第１グループに関連づけられる代表画像を、前記第２グループに関連づけられる代表画像と区別可能に画面に表示する。
【選択図】図７

Description

本発明の実施形態は、画像の管理を支援する電子機器、および該機器に適用される表示制御方法、プログラムに関する。

カメラ機能を有する各種の電子機器の普及や、記憶メディアの容量の増大によって、一般のユーザであっても、多数の画像ファイル（写真ファイル）を扱う機会が増えている。

そのため、ユーザが多数の画像ファイルから所望の画像ファイルを探し出すことを支援する各種の画像管理ソフトウェアが提案されている。このような画像管理ソフトウェアでは、例えば、複数の画像を、画像が生成された日付に基づく順序で表示することができる。ユーザは、日付を手掛かりにして、表示された複数の画像から所望の画像を探し出すことができる。

特開２０１２−６９０９７号公報

ところで、このような複数の画像は、各画像に含まれる顔画像に基づいて表示されることがある。例えば、複数の画像は、類似する顔画像（すなわち、同一の人物の顔画像）を含む画像群毎にまとめて表示される。ユーザは、顔画像（人物）を手掛かりにして、所望の人物の画像を探し出すことができる。

しかし、管理対象の多数の画像から多数の人物の顔画像が検出される場合には、それら多数の人物の顔画像から、手掛かりとなる顔画像を探し出すことが困難である可能性がある。

本発明の一形態は、所望の人物の画像を容易に取得できる電子機器および表示制御方法、プログラムを提供することを目的とする。

実施形態によれば、電子機器は、検出手段、分類手段および表示手段を具備する。検出手段は、複数の画像から複数の顔画像を検出する。分類手段は、前記複数の顔画像に基づいて、第１顔に対応する１以上の画像を第１グループとし、第２顔に対応する１以上の画像を第２グループとする。表示手段は、前記第１グループに分類された画像の数がしきい値以上であり、前記第２グループに分類された画像の数が前記しきい値未満である場合、前記第１グループに関連づけられる代表画像を、前記第２グループに関連づけられる代表画像と区別可能に画面に表示する。

実施形態に係る電子機器の外観を示す斜視図。 同実施形態の電子機器のシステム構成を示すブロック図。 顔画像に基づいて画像がグループに分類される例を示す図。 図３のグループに基づく代表画像の一覧を表示する例を示す図。 同実施形態の電子機器によって表示される、図３のグループに基づく代表画像の一覧の例を示す図。 同実施形態の電子機器によって表示される、下位層の代表画像の一覧の例を示す図。 同実施形態の電子機器によって実行される画像管理プログラムの機能構成の例を示すブロック図。 同実施形態の電子機器によって用いられるグループデータの一構成例を示す図。 同実施形態の電子機器によって用いられる顔画像データの一構成例を示す図。 同実施形態の電子機器によって表示される、図３のグループに基づく代表画像の一覧の別の例を示す図。 同実施形態の電子機器によって実行される顔クラスタリング処理の手順の例を示すフローチャート。 同実施形態の電子機器によって実行される表示制御処理の手順の例を示すフローチャート。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ、またはデジタルカメラのような各種電子機器に内蔵される組み込みシステムとして実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはスレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。
また、本体１１には、本体１１の背面側から画像（写真）を撮影するためのカメラモジュールが設けられている。

図２は、タブレットコンピュータ１０のシステム構成の例を示す図である。
タブレットコンピュータ１０は、図２に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８、カメラモジュール１０９、カードコントローラ１１０、等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、画像管理プログラム２０２が含まれている。この画像管理プログラム２０２は、例えば、カメラモジュール１０９を用いて撮影された画像（画像ファイル）、不揮発性メモリ１０６に格納された画像、外部記憶媒体や外部記憶装置から取り込まれた画像（インポートされた画像）等を管理する機能を有する。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂが配置されている。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されたデバイスである。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

カメラモジュール１０９は、例えば、ユーザが、タッチスクリーンディスプレイ１７の画面上に表示されたボタン（グラフィカルオブジェクト）をタッチ（タップ）したことに応じて、画像を撮影する。

カードコントローラ１１０は、カードスロット２５に挿入された記録メディア２５Ａとの通信を実行する。カードコントローラ１１０は、例えば、記録メディア２５ＡであるＳＤカードに格納された画像ファイルを読み出して不揮発性メモリ１０６に格納する際の通信等を実行する。

上述したように、タブレットコンピュータ１０によって実行される画像管理プログラム２０２は、複数の画像（画像ファイル）を管理する機能を有する。画像管理プログラム２０２は、例えば、複数の画像を人物に基づいて分類することができる。

例えば、図３に示すように、複数の画像の各々に含まれる顔画像を用いて、同一の人物の顔であると推定される顔画像を含む画像が、同一のグループ（クラスタ）に分類される。グループ３１に属する複数の画像は、代表画像３１Ａの人物の顔であると推定される顔画像を含む画像である。グループ３２に属する複数の画像は、代表画像３２Ａの人物の顔であると推定される顔画像を含む画像である。また、グループ３３に属する複数の画像は、代表画像３３Ａの人物の顔であると推定される顔画像を含む画像である。同様に、グループ３４，３５，３６に属する画像は、代表画像３４Ａ，３５Ａ，３６Ａの人物の顔であると推定される顔画像を含む画像である。

図４に示すように、図３の分類結果に基づいて、画像が分類されたグループ毎の代表画像（人物）のリスト４１を画面に表示することもできる。この代表画像のリスト４１は、複数の画像が分類された複数のグループ３１〜３６に関連付けられる複数の代表画像（例えば、顔画像）３１Ａ〜３６Ａを含む。

しかし、多数の画像から検出された人物の代表画像３１Ａ〜３３Ａと、他の人物に比べて極端に少ない数の画像（例えば、１枚だけ）から検出された人物の代表画像３４Ａ〜３６Ａとが、区別されずにリスト４１に表示されている場合、複数の画像を人物（顔画像）に基づいて分類したにも関わらず、煩雑な内容のリスト４１が表示されてしまう可能性がある。例えば、リスト４１に多数の人物（例えば、１００人）の代表画像が含まれる場合には、リスト４１から所望の人物の代表画像を探し出すことは、ユーザにとって非常に煩わしい作業となり得る。

そのため本実施形態では、図５に示すように、複数の画像が分類された複数のグループ３１〜３６に関連付けられる複数の代表画像３１Ａ〜３６Ａを、各グループに分類された画像の数に基づいて表示する。例えば、複数のグループ３１〜３６に関連付けられる複数の代表画像３１Ａ〜３６Ａが、複数のグループ３１〜３６の内、分類された画像の数がしきい値以上であるグループ（第１グループ）と、分類された画像の数が当該しきい値未満であるグループ（第２グループ）とで、ユーザが識別できるように表示される。

図５に示すリスト４２では、分類された画像の数が２枚以上であるグループ３１〜３３と、分類された画像の数が２枚未満（すなわち、１枚）であるグループ３４〜３６とが識別可能に表示されている。より具体的には、分類された画像の数が２枚以上であるグループ３１〜３３に関連付けられる代表画像３１Ａ〜３３Ａは、第１階層（上位層）に表示されている。そして、分類された画像の数が２枚未満であるグループ３４〜３６に関連付けられる代表画像３４Ａ〜３６Ａは第１階層には表示されず、その代わりに、グループ３４〜３６をまとめて表す「その他」の代表画像３９が第１階層に表示されている。

さらに、分類された画像の数が５枚以上であるグループ３１，３２に関連付けられる代表画像３１Ａ，３２Ａは、分類された画像の数が５枚未満であるグループ３３に関連付けられる代表画像３３Ａ、およびグループ３４，３５，３６をまとめて表す「その他」の代表画像３９よりも大きく表示されている。

リスト４２に含まれる代表画像３１Ａ，３２Ａ，３３Ａの内の一つが選択されたことに応じて、画面には、選択された代表画像に関連付けられるグループに属する画像の一覧が表示される。

また、図６に示すように、「その他」を示す代表画像３９が選択されたことに応じて、画面には、当該代表画像３９に対応するグループ３４，３５，３６（すなわち、代表画像３９にまとめられたグループ３４，３５，３６）に関連付けられる代表画像３４Ａ，３５Ａ，３６Ａを含む第２階層（下位層）のリスト４３が表示される。つまり、グループ３４，３５，３６に関連付けられる代表画像３４Ａ，３５Ａ，３６Ａは、「その他」を示す代表画像３９の下位層に含まれている。そして、リスト４３に含まれる代表画像３４Ａ，３５Ａ，３６Ａの内の一つが選択されたことに応じて、画面には、選択された代表画像に関連付けられるグループに属する画像が表示される。

分類された画像の数が多いグループは、ユーザ自身の画像を含むグループや、ユーザにとって身近な（重要な）人物のグループ（例えば、家族や友人のグループ）であることが想定される。また、分類された画像の数が少ないグループは、ユーザとの関連性が低い人物のグループ（例えば、たまたま写り込んだ人のグループ）であることが想定される。そのため、上述したように、グループに分類された画像の数に基づいて、ユーザが探し出す可能性が高い人物（グループ）の代表画像を、そうでないグループ（人物）の代表画像よりも目立つように表示する。これにより、ユーザは、所望の人物の画像を容易に取得することができる。

図７は、本タブレットコンピュータ１０によって実行される画像管理プログラム２０２の機能構成の例を示す。画像管理プログラム２０２は、例えば、顔検出部５１、特徴量算出部５２、クラスタリング部５３、評価値算出部５４、表示形態決定部５５、および表示制御部５６を備える。画像管理プログラム２０２は、コンピュータ１０に内蔵または外部接続される記憶装置や記憶メディア、コンピュータ１０にネットワークを介して接続される別のコンピュータ内の記憶装置、等に格納される複数の画像（写真）を管理対象とすることができる。

顔検出部５１は、管理対象の複数の画像（写真）から複数の顔画像を検出する。顔画像は、１つの画像に複数含まれ得、また１つの画像に１つも含まれないこともある。顔検出部５１は、例えば、画像に含まれる複数の画素の画素値を用いて、当該画像内の、顔画像が含まれると推定される領域（顔画像領域）を検出する。この顔画像領域は、例えば、顔画像に外接する矩形領域である。

顔検出部５１は、検出された顔画像領域を示すデータを特徴量算出部５２に出力する。この顔画像領域を示すデータは、例えば、その顔画像領域の、画像（写真）上での位置やサイズを含む。

特徴量算出部５２は、検出された顔画像領域に含まれる画素の画素値を用いて、当該顔画像の特徴量（例えば、顔画像領域内の物体の色や形状を表す特徴量）を算出する。顔検出部５１によって複数の画像から複数の顔画像が検出されている場合、特徴量算出部５２は、それら複数の顔画像に対応する複数の特徴量を算出する。

また、特徴量算出部５２は、算出された特徴量を用いて、顔画像の正面度と鮮明度とを算出する。顔画像の正面度は、顔画像が正面を向いている度合いを示し、例えば、真正面を向いている顔画像では高い値が設定され、横向きの顔画像では低い値が設定される。顔画像の鮮明度は、顔画像の鮮明さを示し、例えば、焦点が合っている顔画像では高い値が設定され、焦点が合っていない顔画像（いわゆる、ピンボケの顔画像）では低い値が設定される。

クラスタリング部５３は、検出された複数の顔画像に基づいて、それら複数の顔画像を含む複数の画像（写真）を複数のグループ（クラスタ）３１〜３６に分類する。より具体的には、クラスタリング部５３は、特徴量算出部５２によって算出された顔画像の特徴量に基づいて、各々が顔画像を含む複数の画像（写真）をクラスタリングする。クラスタリング部５３は、複数の顔画像を類似する顔画像毎に分類することによって、その顔画像を含む画像（写真）をグループ３１〜３６に分類する。つまり、クラスタリング部５３は、同一の人物の顔であると推定される顔画像含む画像（写真）を同一のグループに分類する。例えば、クラスタリング部５３は、検出された複数の顔画像に基づいて、第１顔（第１の人物の顔）に対応する１以上の画像を第１グループとし、第２顔（第２の人物の顔）に対応する１以上の画像を第２グループとし、……第ｎ顔（第ｎの人物の顔）に対応する１以上の画像を第ｎグループとする。

なお、複数の顔画像を含む１つの画像は、複数のグループに分類され得る。クラスタリング部５３は、例えば、複数の画像の内の第１画像（写真）から、第１顔に対応する画像と第２顔に対応する画像とが検出された場合、この第１画像（写真）を、第１グループと、第２グループとの双方に分類する。また、クラスタリング部５３は、複数の画像の内の第２画像（写真）から、第１顔に対応する画像、または第２顔に対応する画像の少なくとも一方が検出された場合であっても、第１顔に対応する画像、または第２顔に対応する画像の撮影状態によっては、第１グループ、または第２グループに分類しなくてもよい。この第１顔に対応する画像、または第２顔に対応する画像の撮影状態とは、第１顔に対応する画像、または第２顔に対応する画像の位置、またはフォーカス（例えば、顔に焦点が合っていて、鮮明であるかどうか）の少なくとも一方である。この撮影状態は、例えば、後述する評価値算出部５４によって算出される顔画像の評価値に基づいて判定されてもよい。クラスタリング部５３は、例えば、第１顔に対応する画像の評価値がしきい値未満である場合に、第２画像を第１グループに分類せず、また第２顔に対応する画像の評価値がしきい値未満である場合に、第２画像を第２グループに分類しない。

クラスタリング部５３は、分類結果に基づき、各グループに対応するグループデータのエントリを生成する。なお、クラスタリング部５３は、予め用意された人物毎の顔画像の特徴量を用いて、各グループに対応する人物を認識してしてもよい。

図８は、グループデータ（クラスタデータとも称する）の一構成例を示す。グループデータは、複数のグループ（クラスタ）に対応する複数のエントリを含む。複数のグループのそれぞれには、例えば、同一の人物であると推定された顔画像を含む、１以上の画像（写真）が分類されている。したがって、あるグループには、ある人物が関連付けられているとも云える。

各エントリは、例えば、グループ番号、名前、画像数、等を含む。あるグループに対応するエントリにおいて、「グループ番号」は、そのグループに付与された番号（識別情報）を示す。「名前」は、そのグループに付与された名前、例えば、当該グループに関連付けられる人物の名前を示す。「画像数」は、そのグループに分類された画像の数を示す。

なお、顔画像の検出および分類（クラスタリング）の方法は、上述した方法に限らず、あらゆる方法を利用することができる。

次いで、評価値算出部５４は、顔画像の評価値（以下、顔画像評価値とも称する）とグループの評価値（以下、グループ評価値とも称する）とを算出する。より具体的には、評価値算出部５４は、顔画像の位置、サイズ、正面度、鮮明度、等を用いて、顔画像評価値を算出する。顔画像評価値は、例えば、画像（写真）内での顔画像の重要性（例えば、中央付近に写っているか、大きなサイズで写っているか）や、顔画像の質（例えば、正面を向いているか、鮮明に写っているか）に基づく値である。したがって、例えば、画像上での位置が中央（中心）付近である顔画像、画像上でのサイズが大きい顔画像（所定サイズ以上の顔画像）、正面度が高い顔画像、鮮明度が高い顔画像、等には、高い顔画像評価値が設定される。

また、評価値算出部５４は、グループに属する画像の枚数と、当該グループに属する画像内の顔画像の顔画像評価値とを用いて、グループ評価値を算出する。グループ評価値は、画像を管理しているユーザにとってのグループの重要性や、グループに属する画像の質を表す。したがって、グループ評価値には、例えば、グループに分類された画像の数が多く、またそのグループに属する画像内の顔画像の顔画像評価値が高いほど、高い値が設定される。なお、グループに含まれる画像内に複数の顔画像が含まれる場合には、それら複数の顔画像の内、そのグループに対応する顔画像（そのグループに対応する人物の顔画像）の顔画像評価値が用いられる。また、算出されたグループ評価値は、上述したグループデータ内の対応するエントリに含まれてもよい。

特徴量算出部５４とクラスタリング部５３と評価値算出部５４とは、上述した処理結果を用いて顔画像データのエントリを生成する。

図９は、顔画像データの一構成例を示す。顔画像データは、複数の顔画像に対応する複数のエントリを含む。各エントリは、例えば、顔画像ＩＤ、画像ＩＤ、グループ番号、位置、サイズ、正面度、鮮明度、評価値、等を含む。ある顔画像に対応するエントリにおいて、「顔画像ＩＤ」は、その顔画像に付与された識別情報を示す。「画像ＩＤ」は、その顔画像を含む画像の識別情報を示す。「グループ番号」は、その顔画像を含む画像が分類されたグループの番号（識別情報）を示す。

「位置」は、その顔画像の画像上での位置（例えば、Ｘ座標とＹ座標）を示す。「サイズ」は、その顔画像の画像上でのサイズを示す。この「サイズ」は、例えば、顔画像を含む矩形（顔画像を内包する矩形）のサイズを示す。「正面度」は、顔画像が正面を向いている度合いを示す。「鮮明度」は、その顔画像の鮮明さを示す。「鮮明度」には、例えば、フォーカス（焦点）が合っている度合い、ノイズが生じている度合い、コントラスト、等のような画質に関する種々の値に基づく値が設定される。「評価値」は、その顔画像の評価値を示す。「評価値」には、例えば、「位置」、「サイズ」、「正面度」、「鮮明度」に示される値等に基づいて算出された顔画像評価値が設定される。

表示形態決定部５５は、複数の画像が分類された複数のグループ３１〜３６に関連付けられる複数の代表画像の表示形態を、グループデータと顔画像データの少なくとも一方を用いて決定する。グループに関連付けられる代表画像は、例えば、そのグループに属する複数の画像に含まれる複数の顔画像の内の一つの顔画像である。また、この代表画像は、グループ毎に予め決定された画像であってもよい。表示形態決定部５５は、例えば、複数の画像が分類された複数のグループ３１〜３６に関連付けられる複数の代表画像の表示形態を、各グループに分類された画像の数と、各グループのグループ評価値の少なくとも一方に基づいて決定する。

表示形態決定部５５は、図５を参照して上述したように、例えば、複数のグループ３１〜３６に関連付けられる複数の代表画像３１Ａ〜３６Ａが、複数のグループ３１〜３６の内、分類された画像の数がしきい値以上である第１グループと、分類された画像の数が当該しきい値未満である第２グループとで識別可能である表示形態を決定する。つまり、表示形態決定部５５は、第１グループに分類された画像の数がしきい値以上であり、第２グループに分類された画像の数がしきい値未満である場合、第１グループに関連づけられる代表画像が、第２グループに関連づけられる代表画像と区別可能に画面に表示される表示形態を決定する。

より具体的には、表示形態決定部５５は、例えば、分類された画像の数が第１しきい値（図５の例では、２枚）以上であるグループ３１〜３３に関連付けられる代表画像３１Ａ〜３３Ａが、第１階層（上位層）に表示されることを決定する。そして、表示形態決定部５５は、分類された画像の数が当該第１しきい値（２枚）未満であるグループ３４〜３６に関連付けられる代表画像３４Ａ〜３６Ａが、第１階層に表示されず、この第１階層よりも下位の第２階層（下位層）に表示されることを決定し、また、グループ３４〜３６をまとめて表す「その他」の画像３９が第１階層に表示されることを決定する。

さらに、表示形態決定部５５は、分類された画像の数が第２しきい値（図５の例では、５枚）以上であるグループ３１，３２に関連付けられる代表画像３１Ａ，３２Ａが、分類された画像の数が第２しきい値（５枚）未満であるグループ３３に関連付けられる代表画像３３Ａ、およびグループ３４〜３６をまとめて表す「その他」の画像３９よりも大きく表示されることを決定する。

なお、表示形態決定部５５は、グループに分類された画像の数ではなく、評価値算出部５４によって算出されたグループ評価値を用いて、グループに関連付けられる代表画像の表示形態を決定してもよい。表示形態決定部５５は、例えば、複数のグループ３１〜３６に関連付けられる複数の代表画像３１Ａ〜３６Ａが、複数のグループ３１〜３６の内、グループ評価値がしきい値以上である第１グループと、グループ評価値が当該しきい値未満である第２グループとで識別可能である表示形態を決定する。つまり、表示形態決定部５５は、第１グループのグループ評価値がしきい値以上であり、第２グループのグループ評価値がしきい値未満である場合、第１グループに関連づけられる代表画像が、第２グループに関連づけられる代表画像と区別可能に画面に表示される表示形態を決定する。

より具体的には、表示形態決定部５５は、例えば、グループ評価値が第１しきい値以上であるグループ３１〜３３に関連付けられる代表画像３１Ａ〜３３Ａが、第１階層（上位層）に表示されることを決定する。そして、表示形態決定部５５は、グループ評価値が当該第１しきい値未満であるグループ３４〜３６に関連付けられる代表画像３４Ａ〜３６Ａが第２階層（下位層）に表示されることを決定し、また、グループ３４〜３６をまとめて表す「その他」の画像３９が第１階層に表示されることを決定する。

さらに、表示形態決定部５５は、グループ評価値が第２しきい値以上であるグループ３１，３２に関連付けられる代表画像３１Ａ，３２Ａが、グループ評価値が第２しきい値（５枚）未満であるグループ３３に関連付けられる代表画像３３Ａ、およびグループ３４〜３６をまとめて表す「その他」の画像３９よりも大きく表示されることを決定する。

表示制御部５６は、表示形態決定部５５によって決定された表示形態に基づいて、各グループに関連付けられる代表画像（代表顔画像）のリストを表示する。表示制御部５６は、例えば、表示形態決定部５５によって決定された階層およびサイズに基づき、各グループに関連付けられる代表画像の少なくとも一部を含む、第１階層のリスト４２を表示する。

なお、グループ３１〜３６に関連付けられる代表画像３１Ａ〜３６Ａの一覧は、グループ評価値がしきい値以上である第１グループと、グループ評価値が当該しきい値未満である第２グループとが識別できれば、どのような表示形態で表示されもよい。また、このグループ評価値には、各グループに属する画像の数が用いられてもよい。

第１グループと第２グループとを識別するための表示形態には、例えば、第１グループの代表画像が第２グループの代表画像よりも目立つように、第１グループの代表画像を上位層に表示し、第２グループの代表画像を下位層に表示すること、第１グループの代表画像を第１サイズで表示し、第２グループの代表画像を第１サイズよりも小さい第２サイズで表示すること、第１グループの代表画像上に所定のマークや枠を描画すること、第１グループの代表画像にエフェクトを施すこと、第１グループの代表画像だけを表示し、第２グループの代表画像を表示しないこと、第１グループの代表画像を含むリストと第２グループの代表画像を含むリストとを分離して表示すること、等が含まれる。表示形態決定部５５は、代表画像３１Ａ〜３６Ａを表示するために、このような表示形態の少なくとも一つを用いることを決定する。

さらに、図１０に示すように、表示形態決定部５５と表示制御部５６とは、グループ評価値がしきい値以上であるグループ３１，３２（第１グループ）に関連付けられる代表画像３１Ａ，３２Ａを、画面４５（ＬＣＤ１７Ａの画面に表示されるウィンドウ）の中心を含む第１領域内に表示し、グループ評価値が当該しきい値未満である３３〜３６（第２グループ）に関連付けられる代表画像３３Ａ〜３６Ａを、その第１領域を除く領域に表示してもよい。表示形態決定部５５と表示制御部５６とは、例えば、グループ評価値がしきい値以上であるグループ３１，３２に関連付けられる代表画像３１Ａ，３２Ａを、画面４５の中心付近に大きく表示し、グループ評価値が当該しきい値未満である３３〜３６に関連付けられる代表画像３３Ａ〜３６Ａを、グループ評価値が小さいほど画面４５の中心から離れた位置に表示する。代表画像３３Ａ〜３６Ａはさらに、グループ評価値が小さいほど小さなサイズで表示されてもよい。

また、特徴量算出部５２は、１つの画像（写真）から複数の顔画像が検出される場合に、１つの画像から検出される顔画像（人物）の組合せを検出してもよい。表示形態決定部５５と表示制御部５６とは、上記の画面４５において、１つの画像から検出される頻度が高い顔画像の組合せ（すなわち、１つの画像内での共起確率が高い顔画像の組合せ）に基づいて、その組合せの顔画像に対応するグループに関連付けられる代表画像を、画面４５上の近い位置（例えば、隣り合う位置）に表示することができる。
これにより、グループ間の関係、すなわち、グループに対応する人物間の関係を考慮して、代表画像が画面４５に表示されることにより、所望の人物をより探し出しやすくなるので、その所望の人物の画像を容易に取得することができる。

次いで、図１１のフローチャートを参照して、タブレットコンピュータ１０によって実行される顔クラスタリング処理の手順の例を説明する。

まず、顔検出部５１は、複数の画像（複数の写真）の各々に含まれている顔画像を検出する（ブロックＢ１１）。特徴量算出部５２は、検出された顔画像に含まれる画素の画素値を用いて、当該顔画像の特徴量を算出する（ブロックＢ１２）。特徴量算出部５２は、顔検出部５１によって複数の画像から複数の顔画像が検出されている場合、それら複数の顔画像に対応する複数の特徴量を算出する。

そして、クラスタリング部５３は、算出された特徴量に基づいて、複数の顔画像をクラスタリングする（ブロックＢ１３）。クラスタリング部５３は、複数の顔画像を、類似する顔画像毎のクラスタ（グループ）に分類する、つまり、同一の人物の顔であると推定される顔画像を同一のクラスタに分類する。

また、図１２のフローチャートを参照して、タブレットコンピュータ１０によって実行される表示制御処理の手順の例を説明する。ここでは、各クラスタ（グループ）に、１枚以上の画像が分類されていることを想定する。

まず、表示形態決定部５５は、処理対象のクラスタ（グループ）の番号を示す変数ｎに０を設定する（ブロックＢ２１）。つまり、表示形態決定部５５は、第ｎ（＝０）クラスタを処理対象のクラスタに決定する。

そして、表示形態決定部５５は、第ｎクラスタに含まれる顔画像が１枚であるか否かを判定する（ブロックＢ２２）。第ｎクラスタに含まれる顔画像が１枚である場合（ブロックＢ２２のＹＥＳ）、表示形態決定部５５は、第ｎクラスタを、第２階層（下位層）に表示されるアイテムに追加する（ブロックＢ２３）。つまり、表示形態決定部５５は、第ｎクラスタに関連付けられる代表画像を、第２階層に表示することを決定する。

一方、第ｎクラスタに含まれる顔画像が１枚でない場合（ブロックＢ２２のＮＯ）、表示形態決定部５５は、第ｎクラスタに含まれる画像の枚数がしきい値よりも多いか否かを判定する（ブロックＢ２４）。

第ｎクラスタに含まれる画像の枚数がしきい値よりも多い場合（ブロックＢ２４のＹＥＳ）、表示形態決定部５５は、第ｎクラスタを、第１サイズで第１階層に表示されるアイテムに追加する（ブロックＢ２５）。つまり、表示形態決定部５５は、第ｎクラスタに関連付けられる代表画像を、第１サイズで第１階層に表示することを決定する。

第ｎクラスタに含まれる画像の枚数がしきい値以下である場合（ブロックＢ２４のＮＯ）、表示形態決定部５５は、第ｎクラスタを、第１サイズよりも小さい第２サイズで、第１階層に表示されるアイテムに追加する（ブロックＢ２６）。つまり、表示形態決定部５５は、第ｎクラスタに関連付けられる代表画像を、第２サイズで第１階層に表示することを決定する。

次いで、表示形態決定部５５は、ｎに１を加算し（ブロックＢ２７）、このｎがクラスタの総数未満であるか否かを判定する（ブロックＢ２８）。ｎがクラスタの総数未満である場合（ブロックＢ２７のＹＥＳ）、ブロックＢ２２に戻り、新たな第ｎクラスタを処理する。

一方、ｎがクラスタの総数以上である場合（ブロックＢ２８のＮＯ）、すなわち、全てのクラスタの処理が完了している場合、表示制御部５６は、決定された階層およびサイズに基づいて、各クラスタに関連付けられる代表画像（顔画像）のリストを表示する（ブロックＢ２９）。

以上説明したように、本実施形態によれば、所望の人物の画像を容易に取得することができる。分類された画像の数が多いグループ（またはグループ評価値が高いグループ）は、ユーザ自身の画像を含むグループや、ユーザにとって身近な（重要な）人物のグループ（例えば、家族や友人のグループ）であることが想定される。また、分類された画像の数が少ないグループは、ユーザとの関連性が低い人物のグループ（例えば、たまたま写り込んだ人のグループ）であることが想定される。

本実施形態の顔検出部５１は、複数の画像から複数の顔画像を検出する。クラスタリング部５３は、検出された複数の顔画像に基づいて、複数の画像を複数のグループに分類する。そして、表示形態決定部５５および表示制御部５６は、複数のグループの内、分類された画像の数がしきい値以上である第１グループと、分類された画像の数が前記しきい値未満である第２グループとが区別されるように、複数のグループに関連付けられる複数の代表画像を画面に表示する。

このように、本実施形態では、各グループに分類された画像の数に基づいて、対応する代表画像が区別できるように、例えば、ユーザが探し出す可能性が高い人物（第１グループ）の代表画像を、そうでない人物（第２グループ）の代表画像よりも目立つように表示する。これにより、ユーザは、所望の人物の画像を容易に取得することができる。

なお、図１１および図１２のフローチャートで説明した本実施形態の処理手順は全てソフトウェアによって実行することができる。このため、この処理手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

２０２…画像管理プログラム、５１…顔検出部、５２…特徴量算出部、５３…クラスタリング部、５４…評価値算出部、５５…表示形態決定部、５６…表示制御部。

Claims (15)

1. 複数の画像から複数の顔画像を検出し、
   前記複数の顔画像に基づいて、第１顔に対応する１以上の画像を第１グループとし、第２顔に対応する１以上の画像を第２グループとし、
   前記第１グループに分類された画像の数がしきい値以上であり、前記第２グループに分類された画像の数が前記しきい値未満である場合、前記第１グループに関連づけられる代表画像を、前記第２グループに関連づけられる代表画像と区別可能に画面に表示する表示制御方法。
2. 前記第１グループに関連づけられる代表画像を、前記第２グループに関連づけられる代表画像よりも大きく表示する請求項１記載の表示制御方法。
3. 前記第２グループに関連づけられる代表画像を前記画面に表示しない請求項１記載の表示制御方法。
4. 前記第１グループに関連づけられる代表画像を第１階層に表示し、前記第２グループに関連づけられる代表画像を、前記第１階層よりも下位の第２階層に表示する請求項１記載の表示制御方法。
5. 前記複数の画像の内の第１画像から、前記第１顔に対応する画像と前記第２顔に対応する画像とが検出された場合、当該第１画像を、前記第１グループと、前記第２グループとの双方に分類することを含む請求項１記載の表示制御方法。
6. 前記複数の画像の内の第２画像から、前記第１顔に対応する画像、または前記第２顔に対応する画像の少なくとも一方が検出された場合であっても、前記第１顔に対応する画像、または前記第２顔に対応する画像の撮影状態によっては、前記第１グループ、または前記第２グループに分類しない請求項１記載の表示制御方法。
7. 前記第１顔に対応する画像、または前記第２顔に対応する画像の撮影状態とは、前記第１顔に対応する画像、または前記第２顔に対応する画像の位置、またはフォーカスの少なくとも一方である請求項６記載の表示制御方法。
8. 複数の画像から複数の顔画像を検出する検出手段と、
   前記複数の顔画像に基づいて、第１顔に対応する１以上の画像を第１グループとし、第２顔に対応する１以上の画像を第２グループとする分類手段と、
   前記第１グループに分類された画像の数がしきい値以上であり、前記第２グループに分類された画像の数が前記しきい値未満である場合、前記第１グループに関連づけられる代表画像を、前記第２グループに関連づけられる代表画像と区別可能に画面に表示する表示制御手段とを具備する電子機器。
9. 前記表示制御手段は、前記第１グループに関連づけられる代表画像を、前記第２グループに関連づけられる代表画像よりも大きく表示する請求項８記載の電子機器。
10. 前記表示制御手段は、前記第２グループに関連づけられる代表画像を前記画面に表示しない請求項８記載の電子機器。
11. 前記表示制御手段は、前記第１グループに関連づけられる代表画像を第１階層に表示し、前記第２グループに関連づけられる代表画像を、前記第１階層よりも下位の第２階層に表示する請求項８記載の電子機器。
12. コンピュータにより実行されるプログラムであって、前記プログラムは、
    複数の画像から複数の顔画像を検出する手順と、
    前記複数の顔画像に基づいて、第１顔に対応する１以上の画像を第１グループとし、第２顔に対応する１以上の画像を第２グループとする手順と、
    前記第１グループに分類された画像の数がしきい値以上であり、前記第２グループに分類された画像の数が前記しきい値未満である場合、前記第１グループに関連づけられる代表画像を、前記第２グループに関連づけられる代表画像と区別可能に画面に表示する手順とを、前記コンピュータに実行させるプログラム。
13. 前記表示する手順は、前記第１グループに関連づけられる代表画像を、前記第２グループに関連づけられる代表画像よりも大きく表示する請求項１２記載のプログラム。
14. 前記表示する手順は、前記第２グループに関連づけられる代表画像を前記画面に表示しない請求項１２記載のプログラム。
15. 前記表示する手順は、前記第１グループに関連づけられる代表画像を第１階層に表示し、前記第２グループに関連づけられる代表画像を、前記第１階層よりも下位の第２階層に表示する請求項１２記載のプログラム。

Images