JP2006079457A - 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム - Google Patents

Abstract

【課題】画像の鑑賞者が所望する画像を、精度よく自動的に選択して表示する。
【解決手段】電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムであって、複数の画像を格納している画像格納部と、画像に含まれる複数の人物を認識する人物認識部と、認識結果に基づいて、画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、鑑賞者との間のアルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、選択された画像を表示する画像表示部とを備える電子アルバム表示システムを提供する。
【選択図】図２

Description

本発明は、電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラムに関する。特に本発明は、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム、並びに、複数の画像を分類する画像分類装置、画像分類方法、及び画像分類プログラムに関する。

従来、複数の画像を表示する表示方法として、複数の画像のそれぞれを、当該画像の関連情報に基づいて複数のグループに分類すると共に、それぞれのグループから選択した代表画像を表示する表示方法が提案されている（例えば、特許文献１参照。）。
特開２００４−１３５７５

複数の画像を表示する表示方法において、すべての画像を表示するのではなく、一部の画像のみを選択して表示する場合に、鑑賞者が所望する画像を自動的に選択することは容易ではない。例えば、特許文献１に記載の表示方法のように、画像を分類したグループのそれぞれから当該グループを代表する代表画像を選択して表示する場合、複数の画像全体における大凡の内容を効率よく把握することができるという効果はあるものの、鑑賞者が所望する画像を精度よく選択することは困難であった。

そこで本発明は、上記の課題を解決することができる電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムであって、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像のそれぞれについての人物認識部による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、複数の画像のうち、鑑賞者との間のアルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、画像選択部により選択された画像を表示する画像表示部とを備える。

画像内親密度算出部は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像に含まれる顔画像の間の距離が小さい程、より高い値として算出してもよい。画像内親密度算出部は、複数の画像のそれぞれについて、当該画像に含まれる人物のそれぞれを示す画像の間の距離が予め定められた基準値以上である場合には、当該人物の間の画像内親密度を、予め定められた標準値として算出してもよい。

画像格納部は、電子アルバムの所有者が含まれる画像を格納しており、画像選択部は、所有者と鑑賞者とが異なる場合に、所有者と鑑賞者との間のアルバム内親密度に基づいて画像を選択してもよい。画像選択部は、所有者との間のアルバム内親密度が、所有者と鑑賞者との間のアルバム内親密度より低い人物が含まれる画像を選択してもよい。当該電子アルバム表示システムは、鑑賞者の顔画像を撮像する撮像部と、撮像部により撮像された顔画像に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物から、鑑賞者である人物を識別する鑑賞者識別部とを更に備え、画像選択部は、鑑賞者識別部により識別された鑑賞者である人物との間のアルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択してもよい。

また、本発明の第２の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示方法であって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、複数の画像のそれぞれについての人物認識段階における認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出段階と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出段階と、複数の画像のうち、鑑賞者との間のアルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択段階と、画像選択段階において選択された画像を表示する画像表示段階とを備える。

また、本発明の第３の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムとしてコンピュータを機能させる電子アルバム表示プログラムであって、当該コンピュータを、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像のそれぞれについての人物認識部による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、複数の画像のうち、鑑賞者との間のアルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、画像選択部により選択された画像を表示する画像表示部とを備える電子アルバム表示システムとして機能させる。

また、本発明の第４の形態においては、複数の画像を分類する画像分類装置であって、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像のそれぞれについての人物認識部による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、アルバム内親密度算出部により算出されたアルバム内親密度に基づいて、複数の画像のそれぞれを複数のグループに分類する画像分類部とを備える。

画像内親密度算出部は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像に含まれる顔画像の間の距離が小さい程、より高い値として算出してもよい。画像分類部は、複数の画像のそれぞれを、当該画像に含まれる人物の、複数の画像のうち少なくとも一部の画像に含まれる一の人物に対するアルバム内親密度の範囲毎のグループに分類してもよい。

また、本発明の第５の形態においては、複数の画像を分類する画像分類方法であって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、複数の画像のそれぞれについての人物認識段階における認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出段階と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出段階と、アルバム内親密度算出段階により算出されたアルバム内親密度に基づいて、複数の画像のそれぞれを複数のグループに分類する画像分類段階とを備える。

また、本発明の第６の形態においては、複数の画像を分類する画像分類装置としてコンピュータを機能させる画像分類プログラムであって、コンピュータを、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像のそれぞれについての人物認識部による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、アルバム内親密度算出部により算出されたアルバム内親密度に基づいて、複数の画像のそれぞれを複数のグループに分類する画像分類部とを備える画像分類装置として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、画像の鑑賞者が所望する画像を、精度よく自動的に選択して表示することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の第１の実施形態に係る電子アルバム表示システム１０の一例を示す。電子アルバム表示システム１０は、電子アルバム再生部２０、及び画像表示部３０を備え、電子アルバムに含まれる複数の画像を表示して、鑑賞者４０に鑑賞させる。例えば、電子アルバム表示システム１０は、当該複数の画像を、所謂スライドショーとして、予め定められた時間間隔で切り替えつつ順次表示してよい。

電子アルバム再生部２０は、電子アルバムに含まれる複数の画像を格納している。ここで、画像とは、静止画像及び動画像の何れであってもよい。そして、電子アルバム再生部２０は、当該複数の画像の中から、表示すべき画像を選択し、選択した画像を画像信号として再生して画像表示部３０に出力する。なお、電子アルバム再生部２０は、例えば、静止画像または動画像を再生可能であるＤＶＤプレイヤー等の映像再生機器であってもよい。画像表示部３０は、例えばテレビ受像機であってよく、電子アルバム再生部２０により選択された画像を示す画像信号を受け取って表示する。

本発明の第１の実施形態に係る電子アルバム表示システム１０は、電子アルバムに含まれるすべての画像を表示するのではなく、一部の画像のみを選択して表示する場合において、画像に含まれるそれぞれの人物の間の距離に基づいて算出した人物間の親密度に従って画像を選択することにより、鑑賞者４０が鑑賞したいと所望する画像を、精度よく自動的に選択して表示することを目的とする。
また、本発明の第１の実施形態に係る電子アルバム表示システム１０は、電子アルバムの所有者４５と、鑑賞者４０とが異なる場合に、所有者４５と鑑賞者４０との間の親密度に基づいて画像を選択することにより、所有者４５が鑑賞者４０に鑑賞させたいと所望する画像を、精度よく自動的に選択して表示することを目的とする。

図２は、本発明の第１の実施形態に係る電子アルバム表示システム１０の機能構成の一例を示すブロック図である。電子アルバム再生部２０は、画像格納部２００、顔画像データベース２１０、人物認識部２２０、画像内親密度算出部２３０、アルバム内親密度算出部２４０、撮像部２５０、鑑賞者識別部２６０、画像選択部２７０、及び画像処理部２８０を有する。

画像格納部２００は、電子アルバムに含まれる複数の画像を格納している。顔画像データベース２１０は、複数の人物の顔画像を格納している。人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する。そして、人物認識部２２０は、それぞれの画像における人物の認識結果を、画像内親密度算出部２３０、アルバム内親密度算出部２４０、及び画像選択部２７０に出力する。

画像内親密度算出部２３０は、電子アルバムに含まれる複数の画像のそれぞれについての人物認識部２２０による認識結果に基づいて、当該画像に含まれる人物のそれぞれを示す画像の間の距離を算出する。そして、画像内親密度算出部２３０は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離に基づいて算出する。具体的には、画像内親密度算出部２３０は、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する。そして、画像内親密度算出部２３０は、算出したそれぞれの画像における、それぞれの人物の間の画像内親密度をアルバム内親密度算出部２４０に出力する。アルバム内親密度算出部２４０は、電子アルバムに含まれる複数の画像のそれぞれについて画像内親密度算出部２３０により算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出する。そして、アルバム内親密度算出部２４０は、算出したアルバム内親密度を画像選択部２７０に出力する。

撮像部２５０は、例えば電子アルバム再生部２０に設けられたデジタルカメラであり、鑑賞者４０の顔画像を撮像する。そして、撮像部２５０は、撮像した鑑賞者４０の顔画像を、鑑賞者識別部２６０に出力する。鑑賞者識別部２６０は、撮像部２５０により撮像された鑑賞者４０の顔画像と、顔画像データベース２１０に格納されている複数の人物の顔画像とに基づいて、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物から、鑑賞者４０である人物を識別する。そして、鑑賞者識別部２６０は、鑑賞者４０である人物の識別結果を、画像選択部２７０に出力する。

画像選択部２７０は、画像格納部２００に格納されている複数の画像のそれぞれに含まれる複数の人物の認識結果を、人物認識部２２０から受け取る。また、画像選択部２７０は、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間におけるアルバム内親密度を、アルバム内親密度算出部２４０から受け取る。そして、画像選択部２７０は、人物の認識結果と人物のそれぞれの間におけるアルバム内親密度とに基づいて、画像格納部２００に格納されている複数の画像のうち、鑑賞者４０との間のアルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択する。ここで、画像選択部２７０は、鑑賞者識別部２６０から受け取った識別結果に基づいて、鑑賞者４０が、当該複数の画像のそれぞれに含まれる人物のうち、何れの人物であるかを認識してよい。そして、画像選択部２７０は、選択した画像を画像処理部２８０に出力する。また、画像選択部２７０は、アルバム内親密度のみならず、それぞれの画像に付与されているタグ情報（例えば、Ｅｘｉｆ：Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅフォーマット等によるタグ情報）に基づいて、画像を選択してもよく、更に、複数の画像を選択する場合には、当該複数の画像の再生順序を決定してもよい。例えば、画像選択部２７０は、アルバム内親密度が基準値以上である画像の中で、更に、撮像日時や撮像地点が、例えば鑑賞者４０等によって指定された範囲に含まれる画像を選択してよい。また、例えば、画像選択部２７０は、複数の画像を選択する場合において、当該複数の画像の再生順序を、親密度が大きい順や、撮像日時の順、或いは撮像地点が互いに近接している順等として決定してよい。更に、画像選択部２７０は、決定した複数の画像の再生順序を示す情報をファイル等に記述することにより出力してよい。これにより、例えばデジタルスチルカメラ等の、画像選択部２７０を有さない装置であっても、当該再生順序に従って、当該複数の画像をスライドショーとして再生することができる。

画像処理部２８０は、画像選択部２７０によって選択された画像に対して画像処理を行う。ここで、画像処理とは、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の伸張処理や、ＮＴＳＣまたはＰＡＬ等の映像信号への変換処理等であってよい。そして、画像処理部２８０は、画像処理を行った画像を、画像表示部３０に出力する。また、画像処理部２８０は、画像選択部２７０により複数の画像が選択されると共に、当該複数の画像の再生順序が決定されている場合には、画像処理を行った当該複数の画像を、当該再生順序に従って画像表示部３０に順次出力してよい。そして、画像表示部３０は、画像処理部２８０から受け取った画像を表示して、鑑賞者４０に鑑賞させる。

二人の人物が非常に親密である場合、当該二人の人物が近接した状態で画像が撮像されることが多い。一方、二人の人物があまり親密ではない場合、当該二人の人物が近接した状態で画像が撮像されることは多くない。このように、画像を撮像する場合における人物間の距離は、それぞれの人物の間における親密さと関連していると言える。ここで、本発明の第１の実施形態に係る電子アルバム表示システム１０によれば、画像に含まれる人物間の距離に基づいて、当該画像に含まれる人物間の親密度である画像内親密度を算出することができると共に、電子アルバムに含まれる画像のそれぞれにおける画像内親密度に基づいて、電子アルバムに含まれる画像全体における人物間の親密度であるアルバム内親密度を算出することができる。そして、鑑賞者４０との間のアルバム内親密度が基準値以上である人物を含む画像を選択して表示することができる。即ち、鑑賞者４０は、画像に含まれる人物との間の親密さに関する情報を電子アルバム表示システム１０に入力しなくとも、自分自身にとって親密度が高い人物を含む画像を自動的に選択させて、表示させることができる。

また、電子アルバム表示システム１０によれば、鑑賞者４０の顔画像を撮像して、電子アルバムにおける画像のそれぞれに含まれる複数の人物のうち、何れの人物が鑑賞者４０であるかを認識することができる。これにより、鑑賞者４０は、電子アルバム表示システム１０に対して、自分自身の情報を登録したり、ログイン手続きを行ったりしなくとも、所望する画像を容易に鑑賞することができる。

図３は、本発明の第１の実施形態に係る画像格納部２００の一例を示す。画像格納部２００は、電子アルバムに含まれる複数の画像のそれぞれについて、当該画像を識別する画像識別子と、当該画像を示す画像データとを対応付けて格納している。ここで、画像識別子とは、画像格納部２００が画像を格納する場合に、それぞれの画像について一意となるべく定められた値であってよい。なお、本図において、画像識別子は数値として示されているが、これに代えて、画像識別子は、例えば画像データを示すファイルに割り当てられたファイル名等の文字列であってもよい。

図４は、本発明の第１の実施形態に係る顔画像データベース２１０の一例を示す。顔画像データベース２１０は、複数の人物のそれぞれについて、当該人物を識別する人物識別子と、当該人物の顔画像とを対応付けて格納している。ここで、人物識別子は、例えば、顔画像データベース２１０に顔画像が格納される場合に、それぞれの顔画像について一意となるべく定められた値であってよい。また、顔画像データベース２１０は、人物認識部２２０から顔画像を受け取って格納してよい。具体的には、人物認識部２２０は、画像格納部２００に格納されている画像に含まれる人物を認識する場合において、当該画像から抽出した人物の顔画像が、顔画像データベース２１０に格納されている何れの顔画像に対しても予め定められた基準値以上の類似度を示さない場合に、当該画像から抽出した人物の顔画像を、新たな顔画像として顔画像データベース２１０に格納させてよい。これにより、顔画像データベース２１０は、画像格納部２００に格納されている複数の画像の少なくとも一部の画像に含まれる人物の顔画像を格納することができる。

図５は、本発明の第１の実施形態に係る人物認識部２２０による人物の認識結果の一例を示す。例えば、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、輪郭抽出処理や色分布分析処理等の公知の画像処理を行うことにより、当該画像に含まれる複数の被写体を検出する。そして、人物認識部２２０は、検出したそれぞれの被写体を示す画像から、人物の顔に固有の特徴量を検出することにより、当該被写体が人物である場合に、当該被写体を示す画像から人物の顔を示す部分画像を検出する。そして、人物認識部２２０は、検出した人物の顔を示す部分画像を、図４に示した顔画像データベース２１０に格納されている複数の顔画像のそれぞれと比較することにより、画像格納部２００に格納されているそれぞれの画像に含まれる複数の人物のそれぞれを識別する。そして、人物認識部２２０は、図５に示すように、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を示す複数の人物識別子を検出し、画像内親密度算出部２３０、アルバム内親密度算出部２４０、及び画像選択部２７０に出力する。また、人物認識部２２０は、複数の画像のそれぞれについて、当該画像において検出した人物または当該人物の顔を示す部分画像の、当該画像内における位置を示す位置情報を、画像内親密度算出部２３０に出力する。ここで、位置情報とは、例えば、それぞれの画像内における、人物または当該人物の顔を示す部分画像の、左上隅及び右下隅の画素の座標値を含んでいてよい。

図６は、本発明の第１の実施形態に係る画像内親密度算出部２３０による画像内親密度の算出結果の一例を示す。画像内親密度算出部２３０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する。具体的には、画像内親密度算出部２３０は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出してよい。例えば、画像内親密度算出部２３０は、それぞれの画像に含まれる人物の間の画像内親密度が、当該人物のそれぞれを示す画像の間の距離に反比例するべく、画像内親密度を算出してよい。また、画像内親密度算出部２３０は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像に含まれる顔画像の間の距離が小さい程、より高い値として算出してもよい。なお、画像内親密度算出部２３０は、人物のそれぞれを示す画像の間の距離、または人物のそれぞれを示す画像に含まれる顔画像の間の距離を、人物認識部２２０から受け取った、複数の画像のそれぞれにおける人物または当該人物の顔を示す部分画像の、当該画像内における位置を示す位置情報や、当該画像内における大きさを表す面積情報に基づいて算出してよい。

二人の人物の顔が近接して画像が撮像されている場合、当該二人の人物は非常に親しい場合が多い。一方、二人の人物があまり親密ではない場合、当該二人の人物の顔が近接した状態で画像が撮像されることは多くない。ここで、本発明の第１の実施形態に係る電子アルバム表示システム１０によれば、画像に含まれる人物の顔画像の間の距離に基づいて画像内親密度を算出することができるので、電子アルバムに含まれる画像全体における人物間の親密度であるアルバム内親密度を高い精度で算出することができる。

また、画像内親密度算出部２３０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる人物のそれぞれを示す画像の間の距離が予め定められた基準値以上である場合には、当該人物の間の画像内親密度を、予め定められた標準値として算出してよい。ここで、予め定められた基準値及び予め定められた標準値とは、例えば鑑賞者４０や所有者４５等によって予め指定された値であってよい。

二人の人物の間の距離と、当該二人の人物の間の親密度とは関連するが、何れの距離においても、常に、距離がより近い程、親密度がより高いとは限らない。例えば、二人の人物が１０メートル離れている場合と、１５メートル離れている場合とでは、当該二人の人物の間の親密度に差はないと見なせる場合がある。ここで、本発明の第１の実施形態に係る電子アルバム表示システム１０によれば、人物の間の距離が予め定められた基準値以上である場合には、当該人物の間の画像内親密度を予め定められた標準的な親密度として算出することができるので、電子アルバムに含まれる画像全体における人物間の親密度であるアルバム内親密度を高い精度で算出することができる。

図７は、本発明の第１の実施形態に係るアルバム内親密度算出部２４０によるアルバム内親密度の算出結果の一例を示す。アルバム内親密度算出部２４０は、画像格納部２００に格納されている複数の画像のそれぞれについて算出された、当該画像内に含まれるそれぞれの人物の間の画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出する。例えば、アルバム内親密度算出部２４０は、本図に示すように、人物識別子が０である人物と、人物識別子が１である人物との間のアルバム内親密度を、９．８として算出する。ここで、アルバム内親密度算出部２４０は、当該複数の画像の中の、少なくとも一部の画像に含まれる第１の人物と第２の人物との間のアルバム内親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方が含まれる画像の数がより多い程、より高く算出してよい。例えば、アルバム内親密度算出部２４０は、当該第１の人物と当該第２の人物との間のアルバム内親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方が含まれる画像のそれぞれについて算出された、当該１の人物と当該第２の人物との間の画像内親密度のそれぞれを合計することにより算出してよい。

二人の人物のそれぞれが同一の画像に含まれる頻度が高い程、当該二人の人物の間の関係はより親密である場合が多い。従って、画像内親密度を合計してアルバム内親密度を算出することにより、電子アルバム内の画像に含まれる人物の間の親密度を、高い精度で算出することができる。

そして、画像選択部２７０は、鑑賞者識別部２６０から受け取った、鑑賞者４０である人物を示す人物識別子と、本図に示したようなアルバム内親密度の算出結果とに基づいて、鑑賞者４０との間のアルバム内親密度が予め定められた基準値以上である人物の人物識別子を検出する。そして、画像選択部２７０は、人物認識部２２０による、画像格納部２００に格納されている複数の画像のそれぞれに含まれる人物の認識結果に基づいて、検出した人物識別子が含まれる画像を選択する。

また、アルバム内親密度算出部２４０は、画像格納部２００が、それぞれの画像に対応付けて、当該画像の撮像日時を格納している場合に、画像格納部２００が格納している複数の画像のそれぞれにおける撮像日時に基づいて、アルバム内親密度の時間変化を更に算出してもよい。具体的には、アルバム内親密度算出部２４０は、例えば１年や１ヶ月等の予め定められた単位期間毎に、当該単位期間内に撮像されている複数の画像のそれぞれについて算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間におけるアルバム内親密度を算出する。そして、アルバム内親密度算出部２４０は、それぞれの単位期間毎に算出した、それぞれの人物の間のアルバム内親密度における時間変化を算出する。ここで、時間変化は、例えば、隣接する単位期間のそれぞれについて算出されたアルバム内親密度における変化の割合、具体的には「１０％の上昇」や「５０％の低下」等として算出されてよい。

そして、画像選択部２７０は、鑑賞者４０との間のアルバム内親密度が予め定められた基準値以上である人物のうち、鑑賞者４０との間のアルバム内親密度における最近の時間変化が、予め定められた閾値以上の低下率を示す人物を除く、他の人物が含まれる画像を選択してよい。ここで、最近の時間変化とは、アルバム内親密度算出部２４０によってアルバム内親密度が算出された複数の単位期間のうち、鑑賞者４０等によって予め定められた数の、最も遅い複数の単位期間において算出された時間変化であってよい。これにより、鑑賞者４０と他の人物とが、以前は親密であったにも関わらず、現在は親密でなくなっている場合に、当該他の人物が含まれる画像は選択せず、現在も親密である人物が含まれる画像を優先的に選択することができるので、鑑賞者４０が鑑賞したいと所望する画像を、精度よく選択して表示することができる。

なお、電子アルバム再生部２０は、前述したように、画像選択部２７０によって決定された、複数の画像の再生順序を示す情報をファイルに記述しておいてもよく、また、画像格納部２００に格納されている複数の画像のそれぞれにおける、当該画像に含まれる人物の認識結果や、当該画像に含まれる人物の間の画像内親密度、或いは当該画像に含まれる人物のそれぞれと鑑賞者４０との間のアルバム内親密度等を、Ｅｘｉｆフォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに格納してもよい。これにより、それぞれの画像に対して、当該画像に含まれる人物を認識したり、親密度を算出したりする処理を再度実行する場合において、処理に要する時間を短縮することができる。

また、電子アルバム表示システム１０は、図１から図７において説明した電子アルバム再生部２０における処理のそれぞれを、異なる複数の装置において行ってもよい。具体的には、電子アルバム表示システム１０は、人物認識部２２０による人物の認識処理をデジタルスチルカメラにおいて行うと共に、画像内親密度算出部２３０による画像内親密度の算出処理、及びアルバム内親密度算出部２４０によるアルバム内親密度の算出処理を、パーソナルコンピュータ（ＰＣ）において行ってよい。この場合、当該デジタルスチルカメラは、撮像した画像についての人物認識部２２０による人物の認識結果を、ＧＰＳ情報や色空間情報、露出時間、フラッシュの有無、シャッター速度等の撮像情報と共に、Ｅｘｉｆフォーマット等のタグ情報として、当該画像に対応付けて記録媒体に記録してよい。そして、当該ＰＣは、当該記録媒体に記録されている情報を読み出すことにより、画像内親密度及びアルバム内親密度の算出、表示する画像の選択、並びに画像の再生順序の決定等を行ってよい。そして、当該ＰＣは、選択した画像や画像の再生順序を示す情報を、当該記録媒体に記録して当該デジタルスチルカメラに入力させることにより、当該デジタルスチルカメラに、当該再生順序に従って、選択した画像を順次再生させることができる。なお、当該デジタルスチルカメラは、人物の認識処理だけでなく、更に、画像内親密度やアルバム内親密度の算出を行ってもよい。この場合、当該デジタルスチルカメラは、算出した画像内親密度やアルバム内親密度を、タグ情報として画像に更に対応付けて記録してよい。

図８は、本発明の第１の実施形態に係る電子アルバム表示システム１０における処理の流れの一例を示すフローチャートである。本例において、画像格納部２００は、鑑賞者４０とは異なる、電子アルバムの所有者４５が含まれる画像を格納している。まず、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する（Ｓ１０００）。続いて、画像内親密度算出部２３０は、複数の画像のそれぞれについての人物認識部２２０による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する（Ｓ１０１０）。続いて、アルバム内親密度算出部２４０は、複数の画像のそれぞれについて算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出する（Ｓ１０２０）。

続いて、撮像部２５０が鑑賞者４０の顔画像を撮像すると共に、鑑賞者識別部２６０が、撮像された鑑賞者４０の顔画像と、顔画像データベース２１０に格納されている複数の人物の顔画像とに基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物から、鑑賞者４０である人物を識別する（Ｓ１０３０）。ここで、電子アルバム表示システム１０は、鑑賞者識別部２６０が、鑑賞者４０である人物を識別したか否かを判定する（Ｓ１０４０）。そして、鑑賞者４０である人物が識別された場合に（Ｓ１０４０：Ｙｅｓ）、撮像部２５０が更に所有者４５の顔画像を撮像すると共に、鑑賞者識別部２６０が、更に、撮像された所有者４５の顔画像と、顔画像データベース２１０に格納されている複数の人物の顔画像とに基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物から、所有者４５である人物を識別する（Ｓ１０５０）。ここで、電子アルバム表示システム１０は、鑑賞者識別部２６０が、所有者４５である人物を識別したか否かを判定する（Ｓ１０６０）。

そして、所有者４５である人物が識別された場合に（Ｓ１０６０：Ｙｅｓ）、 画像選択部２７０は、画像格納部２００に格納されている複数の画像の中から、画像表示部３０によって表示されるべき画像を選択する（Ｓ１０７０）。例えば、画像選択部２７０は、画像格納部２００に格納されている複数の画像のうち、鑑賞者４０との間のアルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択してよい。ここで、予め定められた基準値とは、例えば、鑑賞者４０によって指定された値であってよく、また、標準的な値として、何れの鑑賞者４０に対しても共通に定められた値であってもよく、もしくは、鑑賞者４０が指定した、鑑賞したい画像の枚数に応じて算出された値であってもよい。また、例えば、画像選択部２７０は、画像格納部２００に格納されている複数の画像のうち、鑑賞者４０との間における親密度が、予め定められた範囲に含まれる人物を含む画像を選択してよい。ここで、予め定められた範囲とは、例えば、鑑賞者４０によって予め入力された範囲であってよい。

また、画像選択部２７０は、所有者４５と鑑賞者４０との間のアルバム内親密度に基づいて、表示されるべき画像を選択してもよい。具体的には、画像選択部２７０は、所有者４５との間のアルバム内親密度が、所有者４５と鑑賞者４０との間のアルバム内親密度より低い人物が含まれる画像を選択してよい。もしくは、画像選択部２７０は、所有者４５との間のアルバム内親密度が、所有者４５と鑑賞者４０との間のアルバム内親密度より低い人物のみが含まれる画像を選択してよい。ここで、画像選択部２７０は、鑑賞者識別部２６０から受け取った識別結果に基づいて、当該複数の画像のそれぞれに含まれる人物のうち、何れの人物が所有者４５であるかを認識してよい。続いて、電子アルバム表示システム１０は、表示されるべき画像が選択されたか否かを判定する（Ｓ１０８０）。そして、画像が選択された場合に（Ｓ１０８０：Ｙｅｓ）、画像表示部３０は、選択された画像を表示する（Ｓ１０９０）。

例えば、所有者４５が、友人に電子アルバムを鑑賞させる場合のように、所有者４５と鑑賞者４０とが異なる人物である場合において、所有者４５は、電子アルバムに含まれるすべての画像を鑑賞者４０に見せてもよいと考えるとは限らない。例えば、所有者４５は、鑑賞者４０が自分自身にとってあまり親密な人物ではない場合には、自分にとって非常に親密な人物が含まれる画像、言い換えれば、プライベートな画像を、鑑賞者４０には見せたくないと考える場合がある。つまり、所有者４５と鑑賞者４０との間の親密度に応じて、所有者４５が鑑賞者４０に見せてもよいと考える画像が変化する場合がある。ここで、本発明の第１の実施形態に係る電子アルバム表示システム１０によれば、所有者４５と鑑賞者４０との間の親密度より低い人物が含まれる画像を選択する等、電子アルバムに含まれる画像から算出された、所有者４５と鑑賞者４０との間の親密度に基づいて、表示する画像を自動的に選択することができる。これにより、所有者４５は、鑑賞者４０に見せてもよい画像を、電子アルバムに含まれる多数の中から手動で選択したりすることなく、所望の画像を鑑賞者４０に鑑賞させることができる。

図９は、本発明の第２の実施形態に係る画像分類装置５０の機能構成の一例を示すブロック図である。画像分類装置５０は、画像格納部２００、顔画像データベース２１０、人物認識部２２０、画像内親密度算出部２３０、アルバム内親密度算出部２４０、人物選択部５００、画像分類部５１０、及び分類格納部５２０を備える。画像分類装置５０は、画像格納部２００に格納されている複数の画像を分類して、分類格納部５２０に格納する。なお、本図に示した画像分類装置５０が備える部材のうち、図２に示した電子アルバム表示システム１０が備える部材と同一の符号を付した部材は、図１から図８において説明した対応する部材と略同一の機能及び構成を有するので、相違点を除き、説明を省略する。

本発明の第２の実施形態に係る画像分類装置５０は、複数の画像のそれぞれを複数のグループに分類する場合に、画像に含まれるそれぞれの人物の間の距離に基づいて人物間の親密度を算出すると共に、算出した人物間の親密度に基づいて画像を分類することを目的とする。

人物選択部５００は、画像格納部２００に格納されている複数の画像のうち少なくとも一部の画像に含まれる人物のそれぞれから、一の人物を選択する。具体的には、人物選択部５００は、顔画像データベース２１０に格納されている複数の顔画像から、一の顔画像を選択することにより、当該一の顔画像に対応付けて顔画像データベース２１０に格納されている人物識別子を抽出する。そして、人物選択部５００は、選択した一の人物を示す情報、即ち抽出した人物識別子を、画像分類部５１０に出力する。画像分類部５１０は、画像格納部２００に格納されている複数の画像のそれぞれに含まれる複数の人物の認識結果を、人物認識部２２０から受け取る。また、画像分類部５１０は、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間におけるアルバム内親密度を、アルバム内親密度算出部２４０から受け取る。そして、画像分類部５１０は、人物の認識結果と人物のそれぞれの間におけるアルバム内親密度とに基づいて、画像格納部２００に格納されている複数の画像のそれぞれを複数のグループに分類する。具体的には、画像分類部５１０は、複数の画像のそれぞれを、当該画像に含まれる人物の、人物選択部５００によって選択された人物に対するアルバム内親密度の範囲毎のグループに分類する。そして、画像分類部５１０は、分類した画像のそれぞれを、分類格納部５２０に格納させる。分類格納部５２０は、画像格納部２００に格納されている画像のそれぞれを、画像分類部５１０による分類結果に従って格納している。

本発明の第２の実施形態に係る画像分類装置５０によれば、画像に含まれる人物の間の距離に基づいて、当該画像に含まれる人物間の親密度である画像内親密度を算出することができると共に、電子アルバムに含まれる画像のそれぞれにおける画像内親密度に基づいて、電子アルバムに含まれる画像全体における人物間の親密度であるアルバム内親密度を算出することができる。そして、算出したアルバム内親密度に基づいて、複数の画像を複数のグループに分類することができる。これにより、従来の、撮像日時や撮像地点等の画像情報のみに基づいて画像を分類する場合に比べて、画像の内容や、画像を鑑賞する人物にとっての重要度等に基づく、より実用的な画像の分類を行うことができる。

また、画像分類装置５０によれば、複数の画像を、例えば電子アルバムの所有者等の、人物選択部５００によって選択された人物に対するアルバム内親密度の範囲毎のグループに分類することができる。これにより、所有者に対する親密度が高い人物が含まれる画像のような、所有者にとって重要度のより高い画像を抽出してＤＶＤ−Ｖｉｄｅｏ等に加工したり、また、重要度のより低い画像を削除して電子アルバムを整理したりする作業を、効率よく行うことができる。

図１０は、本発明の第２の実施形態に係る分類格納部５２０の一例を示す。分類格納部５２０は、複数の画像のそれぞれを、画像分類部５１０による分類に従って、複数のグループ（６００、６１０、・・・）に分類して格納している。具体的には、分類格納部５２０は、それぞれのグループに対応付けて、アルバム内親密度の範囲を示す情報を格納しており、人物選択部５００により選択された人物との間のアルバム内親密度が当該範囲に含まれる人物を含む画像を、当該グループに分類して格納している。また、分類格納部５２０は、それぞれのグループに対応付けて、画像を示す情報を複数格納している。ここで、画像を示す情報とは、例えば、当該画像を識別する画像識別子と、当該画像を示す画像データとを含んでいてよい。

なお、分類格納部５２０は、一の画像を、複数のグループのそれぞれに重複して分類していてもよい。また、分類格納部５２０は、それぞれの画像における、当該画像に含まれる人物の認識結果や、当該画像に含まれる人物の間の画像内親密度、或いは当該画像に含まれる人物の間のアルバム内親密度等を、Ｅｘｉｆフォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに格納していてもよい。これにより、それぞれの画像に対して、当該画像に含まれる人物を認識したり、親密度を算出したりする処理を再度実行する場合において、処理に要する時間を短縮することができる。

図１１は、本発明の第２の実施形態に係る画像分類装置５０における処理の流れの一例を示すフローチャートである。まず、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する（Ｓ１１００）。続いて、画像内親密度算出部２３０は、複数の画像のそれぞれについての人物認識部２２０による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する（Ｓ１０１０）。また、画像内親密度算出部２３０は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像に含まれる顔画像の間の距離が小さい程、より高い値として算出してもよい。これにより、画像内における人物の間の親密度を、精度よく算出することができる。

続いて、アルバム内親密度算出部２４０は、複数の画像のそれぞれについて算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出する（Ｓ１１２０）。続いて、人物選択部５００は、画像格納部２００に格納されている複数の画像のうち少なくとも一部の画像に含まれる人物のそれぞれから、一の人物を選択する（Ｓ１１３０）。ここで、人物選択部５００は、例えば、顔画像データベース２１０に格納されている複数の顔画像が、画像分類装置５０に設けられた表示デバイスに一覧して表示されている場合に、利用者が選択した顔画像に対応する人物を選択してよい。また、例えば、人物選択部５００は、画像分類装置５０に設けられたデジタルカメラ等により撮像された利用者の顔画像と、顔画像データベース２１０に格納されている顔画像のそれぞれとに基づいて、複数の画像のうち少なくとも一部の画像に含まれる人物の中から、利用者である人物を検出して、当該検出した人物を選択してもよい。続いて、画像分類部５１０は、人物の認識結果と人物のそれぞれの間におけるアルバム内親密度とに基づいて、画像格納部２００に格納されている複数の画像のそれぞれを複数のグループに分類して、分類格納部５２０に格納させる（Ｓ１１４０）。

図１２は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される電子アルバム表示プログラムまたは画像分類プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。電子アルバム表示プログラムまたは画像分類プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してコンピュータ１５００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。コンピュータ１５００にインストールされて実行される電子アルバム表示プログラムまたは画像分類プログラムは、ＣＰＵ１５０５等に働きかけて、コンピュータ１５００を、図１から図１１にかけて説明した電子アルバム表示システム１０、電子アルバム再生部２０、または画像分類装置５０として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本発明の第１の実施形態に係る電子アルバム表示システム１０の一例を示す図である。 本発明の第１の実施形態に係る電子アルバム表示システム１０の機能構成の一例を示すブロック図である。 本発明の第１の実施形態に係る画像格納部２００の一例を示す図である。 本発明の第１の実施形態に係る顔画像データベース２１０の一例を示す図である。 本発明の第１の実施形態に係る人物認識部２２０による人物の認識結果の一例を示す図である。 本発明の第１の実施形態に係る画像内親密度算出部２３０による画像内親密度の算出結果の一例を示す図である。 本発明の第１の実施形態に係るアルバム内親密度算出部２４０によるアルバム内親密度の算出結果の一例を示す図である。 本発明の第１の実施形態に係る電子アルバム表示システム１０における処理の流れの一例を示すフローチャートである。 本発明の第２の実施形態に係る画像分類装置５０の機能構成の一例を示すブロック図である。 本発明の第２の実施形態に係る分類格納部５２０の一例を示す図である。 本発明の第２の実施形態に係る画像分類装置５０における処理の流れの一例を示すフローチャートである。 本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。

符号の説明

１０ 電子アルバム表示システム、２０ 電子アルバム再生部、３０ 画像表示部、４０ 鑑賞者、４５ 所有者、５０ 画像分類装置、２００ 画像格納部、２１０ 顔画像データベース、２２０ 人物認識部、２３０ 画像内親密度算出部、２４０ アルバム内親密度算出部、２５０ 撮像部、２６０ 鑑賞者識別部、２７０ 画像選択部、２８０ 画像処理部、５００ 人物選択部、５１０ 画像分類部、５２０ 分類格納部

Claims (13)

1. 電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムであって、
   前記複数の画像を格納している画像格納部と、
   前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
   前記複数の画像のそれぞれについての前記人物認識部による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、
   前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、
   前記複数の画像のうち、鑑賞者との間の前記アルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、
   前記画像選択部により選択された画像を表示する画像表示部と
   を備える電子アルバム表示システム。
2. 前記画像内親密度算出部は、前記複数の画像のそれぞれについて、当該画像に含まれる人物の間の前記画像内親密度を、当該人物のそれぞれを示す画像に含まれる顔画像の間の距離が小さい程、より高い値として算出する請求項１に記載の電子アルバム表示システム。
3. 前記画像内親密度算出部は、前記複数の画像のそれぞれについて、当該画像に含まれる人物のそれぞれを示す画像の間の距離が予め定められた基準値以上である場合には、当該人物の間の前記画像内親密度を、予め定められた標準値として算出する請求項１に記載の電子アルバム表示システム。
4. 前記画像格納部は、前記電子アルバムの所有者が含まれる画像を格納しており、
   前記画像選択部は、前記所有者と前記鑑賞者とが異なる場合に、前記所有者と前記鑑賞者との間の前記アルバム内親密度に基づいて画像を選択する
   請求項１に記載の電子アルバム表示システム。
5. 前記画像選択部は、前記所有者との間の前記アルバム内親密度が、前記所有者と前記鑑賞者との間の前記アルバム内親密度より低い人物が含まれる画像を選択する請求項４に記載の電子アルバム表示システム。
6. 前記鑑賞者の顔画像を撮像する撮像部と、
   前記撮像部により撮像された顔画像に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物から、前記鑑賞者である人物を識別する鑑賞者識別部と
   を更に備え、
   前記画像選択部は、前記鑑賞者識別部により識別された前記鑑賞者である人物との間の前記アルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択する
   請求項１に記載の電子アルバム表示システム。
7. 電子アルバムに含まれる複数の画像を表示する電子アルバム表示方法であって、
   前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、
   前記複数の画像のそれぞれについての前記人物認識段階における認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出段階と、
   前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出段階と、
   前記複数の画像のうち、鑑賞者との間の前記アルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択段階と、
   前記画像選択段階において選択された画像を表示する画像表示段階と
   を備える電子アルバム表示方法。
8. 電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムとしてコンピュータを機能させる電子アルバム表示プログラムであって、
   当該コンピュータを、
   前記複数の画像を格納している画像格納部と、
   前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
   前記複数の画像のそれぞれについての前記人物認識部による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、
   前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、
   前記複数の画像のうち、鑑賞者との間の前記アルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、
   前記画像選択部により選択された画像を表示する画像表示部と
   を備える電子アルバム表示システムとして機能させる電子アルバム表示プログラム。
9. 複数の画像を分類する画像分類装置であって、
   前記複数の画像を格納している画像格納部と、
   前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
   前記複数の画像のそれぞれについての前記人物認識部による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、
   前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、
   前記アルバム内親密度算出部により算出された前記アルバム内親密度に基づいて、前記複数の画像のそれぞれを複数のグループに分類する画像分類部と
   を備える画像分類装置。
10. 前記画像内親密度算出部は、前記複数の画像のそれぞれについて、当該画像に含まれる人物の間の前記画像内親密度を、当該人物のそれぞれを示す画像に含まれる顔画像の間の距離が小さい程、より高い値として算出する
    請求項９に記載の画像分類装置。
11. 前記画像分類部は、前記複数の画像のそれぞれを、当該画像に含まれる人物の、前記複数の画像のうち少なくとも一部の画像に含まれる一の人物に対する前記アルバム内親密度の範囲毎の前記グループに分類する
    請求項９に記載の画像分類装置。
12. 複数の画像を分類する画像分類方法であって、
    前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、
    前記複数の画像のそれぞれについての前記人物認識段階における認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出段階と、
    前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出段階と、
    前記アルバム内親密度算出段階により算出された前記アルバム内親密度に基づいて、前記複数の画像のそれぞれを複数のグループに分類する画像分類段階と
    を備える画像分類方法。
13. 複数の画像を分類する画像分類装置としてコンピュータを機能させる画像分類プログラムであって、
    前記コンピュータを、
    前記複数の画像を格納している画像格納部と、
    前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
    前記複数の画像のそれぞれについての前記人物認識部による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、
    前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、
    前記アルバム内親密度算出部により算出された前記アルバム内親密度に基づいて、前記複数の画像のそれぞれを複数のグループに分類する画像分類部と
    を備える画像分類装置として機能させる画像分類プログラム。

Images