JP2006236218A - 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム - Google Patents

Abstract

【課題】鑑賞者が所望する画像を自動的に選択して表示する。
【解決手段】複数の画像を表示する電子アルバム表示システムであって、画像を複数のグループに分類して格納している画像格納部と、画像に含まれる人物を認識する人物認識部と、グループのそれぞれについて、分類されている画像に含まれる人物の組み合わせを検出するグループ検出部と、鑑賞者である人物を検出する鑑賞者検出部と、グループ検出部により検出された人物の組み合わせ、及び鑑賞者検出部により検出された人物に基づいて、表示されるべき画像が分類されているグループを選択するグループ選択部と、選択されたグループに分類されている画像のそれぞれについての人物の認識結果、及び鑑賞者検出部により検出された人物に基づいて、表示されるべき画像を選択する画像選択部と、選択された画像を表示する画像表示部とを備える電子アルバム表示システムを提供する。
【選択図】図２

Description

本発明は、電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラムに関する。特に本発明は、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラムに関する。

従来、複数の画像を表示する表示方法として、複数の画像のそれぞれを、当該画像の関連情報に基づいて複数のグループに分類すると共に、それぞれのグループから選択した代表画像を表示する表示方法が提案されている（例えば、特許文献１参照。）。
特開２００４−１３５７５

複数の画像を表示する表示方法において、すべての画像を表示するのではなく、一部の画像のみを選択して表示する場合に、鑑賞者が所望する画像を自動的に選択することは容易ではない。例えば、特許文献１に記載の表示方法のように、画像を分類したグループのそれぞれから当該グループを代表する代表画像を選択して表示する場合、複数の画像全体における大凡の内容を効率よく把握することができるという効果はあるものの、鑑賞者が所望する画像を精度よく選択することは困難であった。

そこで本発明は、上記の課題を解決することができる電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムであって、複数の画像のそれぞれを、複数のグループに分類して格納している画像格納部と、複数の画像のそれぞれに含まれる複数の人物を認識する人物認識部と、複数のグループのそれぞれについて、当該グループに分類されている画像の少なくとも一部に含まれる人物の組み合わせを検出するグループ検出部と、表示される画像の鑑賞者である人物を検出する鑑賞者検出部と、グループ検出部により検出された人物の組み合わせ、及び鑑賞者検出部により検出された人物に基づいて、複数のグループの中から、表示されるべき画像が分類されているグループを選択するグループ選択部と、グループ選択部により選択されたグループに分類されている画像のそれぞれについての人物認識部による人物の認識結果、及び鑑賞者検出部により検出された人物に基づいて、当該グループに分類されている画像の中から、表示されるべき画像を選択する画像選択部と、画像選択部により選択された画像を表示する画像表示部とを備える。

鑑賞者検出部は、表示される画像の鑑賞者である複数の人物における人物の組み合わせを検出し、グループ選択部は、グループ検出部により検出された人物の組み合わせ、及び鑑賞者検出部により検出された人物の組み合わせに基づいて、複数のグループの中から、表示されるべき画像が分類されているグループを選択し、画像選択部は、グループ選択部により選択されたグループに分類されている画像のそれぞれについての人物認識部による人物の認識結果、及び鑑賞者検出部により検出された人物の組み合わせに基づいて、当該グループに分類されている画像の中から、表示されるべき画像を選択してもよい。

グループ選択部は、複数のグループの中から、グループ検出部により検出された人物の組み合わせが、鑑賞者検出部により検出された組み合わせに含まれるすべての人物を含むグループを、表示されるべき画像が分類されているグループとして選択してもよい。画像選択部は、グループ選択部により選択されたグループに分類されている画像の中から、画像に含まれるすべての人物が、鑑賞者検出部により検出された人物の組み合わせに含まれている画像を、表示されるべき画像として選択してもよい。画像選択部は、グループ選択部により選択されたグループに分類されている画像の中から、人物が含まれていない画像を、表示されるべき画像として選択してもよい。

グループ選択部は、複数のグループの中から、グループ検出部により検出された人物の組み合わせが、鑑賞者検出部により検出された組み合わせに含まれる人物をより多く含むグループを、表示されるべき画像が分類されているグループとして、より高い優先度で選択してもよい。画像選択部は、グループ選択部により選択されたグループに分類されている画像の中から、鑑賞者検出部により検出された組み合わせに含まれる人物をより多く含む画像を、表示されるべき画像として、より高い優先度で選択してもよい。

グループ検出部は、複数のグループのそれぞれについて、当該グループに分類されている画像の少なくとも一部に含まれる人物から、予め定められた基準枚数より少ない枚数の画像にのみ含まれている人物を除いた人物の組み合わせを検出してもよい。画像格納部は、複数の画像のそれぞれを、当該画像の撮像日時に基づいて、複数のグループに分類して格納していてもよい。画像格納部は、複数の画像のそれぞれを、当該画像の撮像地点に基づいて、複数のグループに分類して格納していてもよい。当該電子アルバム表示システムは、鑑賞者である人物のそれぞれの顔画像を撮像する撮像部と、撮像部により撮像された顔画像に基づいて、複数の画像の少なくとも一部に含まれる人物から、鑑賞者である人物のそれぞれを識別する鑑賞者識別部とを更に備え、鑑賞者検出部は、鑑賞者識別部による識別結果に基づいて、鑑賞者である人物の組み合わせを検出してもよい。

また、本発明の第２の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示方法であって、画像格納部は、複数の画像のそれぞれを、複数のグループに分類して格納しており、当該電子アルバム表示方法は、複数の画像のそれぞれに含まれる複数の人物を認識する人物認識段階と、複数のグループのそれぞれについて、当該グループに分類されている画像の少なくとも一部に含まれる人物の組み合わせを検出するグループ検出段階と、表示される画像の鑑賞者である人物を検出する鑑賞者検出段階と、グループ検出段階において検出された人物の組み合わせ、及び鑑賞者検出段階において検出された人物に基づいて、複数のグループの中から、表示されるべき画像が分類されているグループを選択するグループ選択段階と、グループ選択段階において選択されたグループに分類されている画像のそれぞれについての人物認識段階における人物の認識結果、及び鑑賞者検出段階において検出された人物に基づいて、当該グループに分類されている画像の中から、表示されるべき画像を選択する画像選択段階と、画像選択段階において選択された画像を表示する画像表示段階とを備える。

鑑賞者検出段階は、表示される画像の鑑賞者である複数の人物における人物の組み合わせを検出し、グループ選択段階は、グループ検出段階において検出された人物の組み合わせ、及び鑑賞者検出段階において検出された人物の組み合わせに基づいて、複数のグループの中から、表示されるべき画像が分類されているグループを選択し、画像選択段階は、グループ選択段階において選択されたグループに分類されている画像のそれぞれについての人物認識段階における人物の認識結果、及び鑑賞者検出段階において検出された人物の組み合わせに基づいて、当該グループに分類されている画像の中から、表示されるべき画像を選択してもよい。

また、本発明の第３の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムとしてコンピュータを機能させる電子アルバム表示プログラムであって、コンピュータを、複数の画像のそれぞれを、複数のグループに分類して格納している画像格納部と、複数の画像のそれぞれに含まれる複数の人物を認識する人物認識部と、複数のグループのそれぞれについて、当該グループに分類されている画像の少なくとも一部に含まれる人物の組み合わせを検出するグループ検出部と、表示される画像の鑑賞者である人物を検出する鑑賞者検出部と、グループ検出部により検出された人物の組み合わせ、及び鑑賞者検出部により検出された人物に基づいて、複数のグループの中から、表示されるべき画像が分類されているグループを選択するグループ選択部と、グループ選択部により選択されたグループに分類されている画像のそれぞれについての人物認識部による人物の認識結果、及び鑑賞者検出部により検出された人物に基づいて、当該グループに分類されている画像の中から、表示されるべき画像を選択する画像選択部と、画像選択部により選択された画像を表示する画像表示部とを備える電子アルバム表示システムとして機能させる。

鑑賞者検出部は、表示される画像の鑑賞者である複数の人物における人物の組み合わせを検出し、グループ選択部は、グループ検出部により検出された人物の組み合わせ、及び鑑賞者検出部により検出された人物の組み合わせに基づいて、複数のグループの中から、表示されるべき画像が分類されているグループを選択し、画像選択部は、グループ選択部により選択されたグループに分類されている画像のそれぞれについての人物認識部による人物の認識結果、及び鑑賞者検出部により検出された人物の組み合わせに基づいて、当該グループに分類されている画像の中から、表示されるべき画像を選択してもよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、画像の鑑賞者である人物または人物の組み合わせに基づいて、鑑賞者が所望する画像を自動的に選択して、表示することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の実施形態に係る電子アルバム表示システム１０の一例を示す。電子アルバム表示システム１０は、電子アルバム再生部２０、及び画像表示部３０を備え、電子アルバムに含まれる複数の画像を表示して、鑑賞者（４０ａ、４０ｂ、・・・。以下４０と表記）に鑑賞させる。例えば、電子アルバム表示システム１０は、当該複数の画像を、所謂スライドショーとして、予め定められた時間間隔で切り替えつつ順次表示してよい。

電子アルバム再生部２０は、電子アルバムに含まれる複数の画像を格納している。ここで、画像とは、静止画像及び動画像の何れであってもよい。そして、電子アルバム再生部２０は、当該複数の画像の中から、表示されるべき画像を選択し、選択した画像を画像信号として再生して画像表示部３０に出力する。なお、電子アルバム再生部２０は、例えば、静止画像または動画像を再生可能であるＤＶＤプレイヤー等の映像再生機器であってよい。画像表示部３０は、例えばテレビ受像機であってよく、電子アルバム再生部２０により選択された画像を示す画像信号を受け取って表示する。

なお、電子アルバム表示システム１０は、例えば、パーソナルコンピュータ（ＰＣ）や、デジタルカメラ、或いはデジタルカメラを有する携帯電話端末等であってもよい。また、電子アルバム表示システム１０は、例えば、電子アルバム再生部２０がＰＣであると共に、画像表示部３０がデジタルカメラであるというように、互いに異なる機器の組み合わせを含んでいてもよい。また、鑑賞者４０は、本図に示すように複数の人物であってよく、また、１人の人物であってもよい。

本発明の実施形態に係る電子アルバム表示システム１０は、鑑賞者４０である人物或いは人物の組み合わせに基づいて、電子アルバム再生部２０が格納している複数の画像の中から、鑑賞者４０が鑑賞したいと所望する画像を、精度よく自動的に選択して、スライドショーとして表示することを目的とする。

図２は、本発明の実施形態に係る電子アルバム表示システム１０の機能構成の一例を示すブロック図である。電子アルバム再生部２０は、画像格納部２００、顔画像データベース２１０、人物認識部２２０、グループ検出部２３０、撮像部２４０、鑑賞者識別部２５０、鑑賞者検出部２６０、グループ選択部２７０、画像選択部２８０、及び画像処理部２９０を有する。画像格納部２００は、例えば磁気記録媒体や半導体記録媒体等を用いた記憶装置であってよく、電子アルバムに含まれる複数の画像のそれぞれを、複数のグループに分類して格納している。顔画像データベース２１０は、複数の人物の顔画像を格納している。人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれに含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する。そして、人物認識部２２０は、それぞれの画像における人物の認識結果を、グループ検出部２３０及び画像選択部２８０に出力する。

グループ検出部２３０は、人物認識部２２０による、画像格納部２００に格納されている複数の画像のそれぞれに含まれる人物の認識結果に基づき、当該複数の画像が分類されている複数のグループのそれぞれについて、当該グループに分類されている画像の少なくとも一部に含まれる人物の組み合わせを検出する。そして、グループ検出部２３０は、それぞれのグループについて検出した人物の組み合わせを示す情報を、グループ選択部２７０に出力する。

撮像部２４０は、例えば電子アルバム再生部２０に設けられたデジタルカメラであり、鑑賞者４０の顔画像を撮像する。そして、撮像部２４０は、撮像した鑑賞者４０の顔画像を、鑑賞者識別部２５０に出力する。鑑賞者識別部２５０は、撮像部２４０により撮像された鑑賞者４０の顔画像と、顔画像データベース２１０に格納されている複数の人物の顔画像とに基づいて、画像格納部２００に格納されている複数の画像の少なくとも一部に含まれる人物から、鑑賞者４０である人物のそれぞれを識別する。そして、鑑賞者識別部２５０は、鑑賞者４０である人物のそれぞれについての識別結果を、鑑賞者検出部２６０に出力する。鑑賞者検出部２６０は、表示される画像の鑑賞者４０である複数の人物における人物の組み合わせを検出する。具体的には、鑑賞者検出部２６０は、鑑賞者識別部２５０による識別結果に基づいて、鑑賞者４０である人物の組み合わせを検出してよい。

グループ選択部２７０は、グループ検出部２３０により検出された、画像格納部２００が複数の画像を分類している複数のグループのそれぞれにおける人物の組み合わせと、鑑賞者検出部２６０により検出された、鑑賞者４０である人物の組み合わせとに基づいて、当該複数のグループの中から、画像表示部３０によって表示されるべき画像が分類されているグループを選択する。そして、グループ選択部２７０は、選択したグループを示す情報を、画像選択部２８０に出力する。

画像選択部２８０は、グループ選択部２７０から、選択されたグループを示す情報を受け取る。また、画像選択部２８０は、人物認識部２２０から、画像格納部２００に格納されている複数の画像のそれぞれに含まれる人物の認識結果を受け取る。また、画像選択部２８０は、鑑賞者検出部２６０から、鑑賞者４０である人物の組み合わせを示す情報を受け取る。そして、画像選択部２８０は、グループ選択部２７０により選択されたグループに分類されている画像のそれぞれについての、人物認識部２２０による人物の認識結果、即ちそれぞれの画像に含まれる人物と、鑑賞者４０である人物の組み合わせとに基づいて、当該グループに分類されている画像の中から、画像表示部３０によって表示されるべき画像を選択する。そして、画像選択部２８０は、選択した画像を示す情報を、画像処理部２９０に出力する。

画像処理部２９０は、画像選択部２８０から、選択された画像を示す情報を受け取り、当該選択された画像を画像格納部２００から読み出す。そして、画像処理部２９０は、読み出した画像に対して画像処理を行う。ここで、画像処理とは、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の伸張処理や、ＮＴＳＣまたはＰＡＬ等の映像信号への変換処理等であってよい。そして、画像処理部２９０は、画像処理を行った画像を、画像表示部３０に出力する。そして、画像表示部３０は、画像処理部２９０から受け取った画像を表示して、鑑賞者４０に鑑賞させる。

本発明の実施形態に係る電子アルバム表示システム１０によれば、複数の画像が、例えば画像の内容や撮像状況等に基づいて複数のグループに分類されている場合に、グループに分類されている画像に含まれる人物の組み合わせと、鑑賞者４０である人物の組み合わせとに基づいて、グループを選択することができる。これにより、鑑賞者４０に関連する人物を含む画像が分類されているグループ、即ち鑑賞者４０が鑑賞したいと所望する画像が分類されているグループを、表示すべき画像が分類されているグループとして選択することができる。また、電子アルバム表示システム１０によれば、選択したグループに分類されている画像のそれぞれに含まれる人物と、鑑賞者４０である人物の組み合わせとに基づいて、画像を選択することができる。これにより、鑑賞者４０に関連する人物を含む画像、即ち鑑賞者４０が鑑賞したいと所望する画像を、表示すべき画像として選択することができる。従って、電子アルバム表示システム１０によれば、複数の画像の中から、鑑賞者４０が鑑賞したいと所望する画像を、精度よく自動的に選択して、スライドショーとして表示することができる。

また、電子アルバム表示システム１０によれば、鑑賞者４０である人物のそれぞれにおける顔画像を撮像して、鑑賞者４０である人物のそれぞれが、画像格納部２００に格納されている複数の画像のそれぞれに含まれる複数の人物のうち、何れの人物であるかを識別することができる。これにより、鑑賞者４０は、電子アルバム表示システム１０に対して、自分自身の情報を登録したり、ログイン手続きを行ったりしなくとも、所望する画像を容易に鑑賞することができる。

なお、以上の説明において、鑑賞者４０は、複数の人物であるとしているが、これに代えて、鑑賞者４０は、１人の人物であってもよい。この場合、鑑賞者検出部２６０は、鑑賞者識別部２５０による識別結果等に基づいて、表示される画像の鑑賞者である人物を検出してよい。そして、グループ選択部２７０は、グループ検出部２３０により検出された、画像格納部２００が複数の画像を分類している複数のグループのそれぞれにおける人物の組み合わせと、鑑賞者検出部２６０により検出された人物とに基づいて、当該複数のグループの中から、画像表示部３０によって表示されるべき画像が分類されているグループを選択してよい。そして、画像選択部２８０は、グループ選択部２７０により選択されたグループに分類されている画像のそれぞれについての、人物認識部２２０による人物の認識結果と、鑑賞者検出部２６０により検出された、鑑賞者４０である人物とに基づいて、当該グループに分類されている画像の中から、画像表示部３０により表示されるべき画像を選択してよい。このように、本発明の実施形態に係る電子アルバム表示システム１０によれば、鑑賞者が１人であっても、画像格納部２００が格納している複数の画像の中から、鑑賞者４０が鑑賞したいと所望する画像を、精度よく自動的に選択して、スライドショーとして表示することができる。

なお、画像選択部２８０は、複数の画像を１枚ずつ順次選択することにより、複数の画像を含むスライドショーを画像表示部３０に表示させてよい。また、これに代えて、画像選択部２８０は、複数の画像を同時に選択することにより、複数の画像を含むスライドショーを画像表示部３０に表示させてもよい。

また、画像処理部２９０は、画像選択部２８０により選択された画像を画像格納部２００から読み出して、画像信号として画像表示部３０に出力する代わりに、画像のそれぞれを識別する画像識別子を、所謂プレイリストとして画像表示部３０に出力してもよい。例えば、電子アルバム再生部２０がＰＣであり、画像表示部３０がデジタルカメラや携帯電話端末である場合において、ＰＣが、デジタルカメラ等から受け取ったメモリカードに格納されている画像に対して、人物の認識処理やグループ毎の人物の組み合わせの検出処理を行った後で、スライドショーとして表示されるべき複数の画像を選択すると共に、選択結果をスライドショーのプレイリストとしてデジタルカメラに出力することができる。これにより、当該デジタルカメラは、人物の認識処理等を行わなくとも、鑑賞者４０が所望する画像を含む、満足度の高いスライドショーを表示することができる。

図３は、本発明の実施形態に係る画像格納部２００の一例を示す。画像格納部２００は、電子アルバムに含まれる複数の画像のそれぞれを、複数のグループに分類して格納している。例えば、画像格納部２００は、複数のグループのそれぞれを識別するグループ識別子に対応付けて、複数の画像のうち、当該グループに分類する画像のそれぞれを格納している。ここで、グループ識別子とは、画像格納部２００において複数のグループが定義された際に、それぞれのグループについて一意となるべく定められた値であってよい。

なお、画像格納部２００は、例えば、複数の画像のそれぞれを、当該画像の撮像日時に基づいて、複数のグループに分類して格納していてよい。具体的には、画像格納部２００は、複数のグループのそれぞれに、鑑賞者４０等によって予め定められた期間を対応付けていてよい。そして、画像格納部２００は、複数のグループのそれぞれについて、当該グループに対応する期間に撮像日時が含まれる画像を、当該グループに分類して格納していてよい。

本発明の実施形態に係る電子アルバム表示システム１０によれば、例えば、旅行中に撮像された一連の画像や、同一のイベント中に撮像された一連の画像等を、同一のグループに分類することができるので、グループ選択部２７０によって選択されたグループに分類されている画像から、画像表示部３０によって表示されるべき画像を選択して表示することにより、鑑賞者４０に対して、内容についてまとまりのある、満足度の高いスライドショーを提供することができる。

また、画像格納部２００は、例えば、複数の画像のそれぞれを、当該画像の撮像地点に基づいて、複数のグループに分類して格納してもよい。具体的には、画像格納部２００は、複数のグループのそれぞれに、鑑賞者４０等によって予め定められた地域を対応付けていてよい。そして、画像格納部２００は、複数のグループのそれぞれについて、当該グループに対応する地域に撮像地点が含まれる画像を、当該グループに分類して格納していてよい。

本発明の実施形態に係る電子アルバム表示システム１０によれば、例えば、自宅内で撮像された画像群や、同一の旅行先で撮像された画像群等を、同一のグループに分類することができるので、グループ選択部２７０によって選択されたグループに分類されている画像から、画像表示部３０によって表示されるべき画像を選択して表示することにより、鑑賞者４０に対して、内容についてまとまりのある、満足度の高いスライドショーを提供することができる。

なお、画像格納部２００は、例えば、撮像日時と撮像方法との双方に基づいて、複数の画像を複数のグループに分類して格納していてもよく、また、撮像日時や撮像地点とは異なる、それぞれの画像に関連する他の情報に基づいて、複数の画像を複数のグループに分類して格納していてもよい。

また、画像格納部２００は、複数のグループのそれぞれに分類している画像のそれぞれについて、当該画像を識別する画像識別子と、当該画像を示す画像データとを対応付けて格納している。ここで、画像識別子とは、画像格納部２００が画像を格納する場合に、それぞれの画像について一意となるべく定められた値であってよい。なお、本図において、画像識別子は数値として示されているが、これに代えて、画像識別子は、例えば画像データを示すファイルに割り当てられたファイル名等の文字列であってもよい。また、画像格納部２００は、それぞれの画像を識別する画像識別子に対応付けて、更に、当該画像の撮像日時及び撮像地点を示す情報を格納していてもよい。ここで、撮像地点を示す情報とは、例えば、画像の撮像時に、当該画像を撮像したデジタルカメラ等に設けられたＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）装置等によって取得された、撮像地点の緯度及び経度を含んでいてよい。

図４は、本発明の実施形態に係る顔画像データベース２１０の一例を示す。顔画像データベース２１０は、複数の人物のそれぞれについて、当該人物を識別する人物識別子と、当該人物の顔画像とを対応付けて格納している。ここで、人物識別子とは、例えば、顔画像データベース２１０に顔画像が格納される場合に、それぞれの顔画像について一意となるべく定められた値であってよい。また、顔画像データベース２１０は、人物の顔画像そのものに代えて、公知の画像処理技術を用いて顔画像から抽出した特徴量を格納していてもよい。ここで、特徴量とは、例えば、顔の輪郭形状、或いは、眼や鼻、口といった、顔における特徴的な部位の形状、それぞれの部位の顔全体における位置、またはそれぞれの部位の間の位置関係等であってよい。

図５は、本発明の実施形態に係る人物認識部２２０による人物の認識結果の一例を示す。人物認識部２２０は、画像格納部２００によって、複数のグループに分類して格納されている、複数の画像のそれぞれに含まれる複数の人物を認識する。例えば、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、輪郭抽出処理や色分布分析処理等の公知の画像処理を行うことにより、当該画像に含まれる複数の被写体を検出する。そして、人物認識部２２０は、検出したそれぞれの被写体を示す画像から、人物の顔に固有の特徴量を検出することにより、当該被写体が人物である場合に、当該被写体を示す画像から人物の顔を示す部分画像を検出する。そして、人物認識部２２０は、検出した人物の顔を示す部分画像を、図４に示した顔画像データベース２１０に格納されている複数の顔画像のそれぞれと比較する。そして、人物認識部２２０は、検出した人物の顔を示す部分画像が、顔画像データベース２１０に格納されている顔画像に対して、予め定められた基準値以上の類似度で類似している場合に、検出した被写体が、顔画像データベース２１０において当該顔画像に対応付けられている人物であると認識し、当該人物を示す人物識別子を検出する。このようにして、人物認識部２２０は、図５に示すように、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を示す複数の人物識別子を検出する。

なお、顔画像データベース２１０は、人物認識部２２０から顔画像を受け取って格納してよい。具体的には、人物認識部２２０は、画像格納部２００に格納されている画像に含まれる人物を認識する場合において、当該画像から抽出した人物の顔画像が、顔画像データベース２１０に格納されている何れの顔画像に対しても予め定められた基準値以上の類似度を示さない場合に、当該画像から抽出した人物の顔画像を、新たな顔画像として顔画像データベース２１０に格納させてよい。これにより、顔画像データベース２１０は、画像格納部２００に格納されている複数の画像の中の少なくとも一部の画像に含まれる人物の顔画像を格納することができる。

また、電子アルバム再生部２０は、人物認識部２２０による、複数の画像のそれぞれに含まれる人物の認識結果を、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ）フォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに記録してもよい。これにより、それぞれの画像に対して、当該画像に含まれる人物を認識する処理を再度実行する場合において、処理に要する時間を短縮することができる。

図６は、本発明の実施形態に係るグループ検出部２３０による人物の組み合わせの検出結果の一例を示す。グループ検出部２３０は、図５に示したような、画像格納部２００に格納されている複数の画像のそれぞれに含まれる人物の認識結果に基づいて、当該複数の画像が分類されている複数のグループのそれぞれについて、当該グループに分類されている画像の少なくとも一部に含まれる人物の組み合わせを検出する。具体的には、グループ検出部２３０は、それぞれのグループについて、当該グループに分類されている画像の少なくとも一部に含まれている人物を示す人物識別子の集合を検出する。

図７は、本発明の実施形態に係る電子アルバム表示システム１０を用いた電子アルバム表示方法における処理の流れの一例を示すフローチャートである。まず、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれに含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する（Ｓ１０００）。

続いて、グループ検出部２３０は、複数の画像のそれぞれに含まれる人物の認識結果に基づき、複数の画像が分類されている複数のグループのそれぞれについて、当該グループに分類されている画像の少なくとも一部に含まれる人物の組み合わせを検出する（Ｓ１０１０）。ここで、グループ検出部２３０は、複数のグループのそれぞれについて、当該グループに分類されている画像の少なくとも一部に含まれる人物から、予め定められた基準枚数より少ない枚数の画像にのみ含まれている人物を除いた人物の組み合わせを検出してもよい。なお、予め定められた基準枚数とは、例えば、単なる通行者といった、画像の撮像時に、偶然、撮像領域内に存在していた人物等の、画像の撮像者が被写体として意識していなかった人物、或いは鑑賞者４０として画像を鑑賞する可能性が極めて低い人物のそれぞれにおける、当該人物が含まれるグループ内の画像の枚数の典型値より多くなるべく定められた枚数であってよく、鑑賞者４０等により、例えば３枚等として予め定められていてよい。

このように、画像の撮像者が、撮像時に被写体として認識していなかった人物や、鑑賞者４０として画像を鑑賞する可能性が極めて低い人物等を、グループ毎に検出する人物の組み合わせから除外して、画像に対して関連性の高い人物のみの組み合わせを検出することができる。これにより、グループにおける人物の組み合わせに基づいて、表示すべき画像を選択した場合に、より高い精度で、鑑賞者４０が鑑賞したいと所望する画像を表示することができる。

続いて、撮像部２４０が鑑賞者４０の顔画像を撮像した後で、鑑賞者識別部２５０は、撮像された鑑賞者４０の顔画像と、顔画像データベース２１０に格納されている複数の人物の顔画像とに基づいて、複数の画像の少なくとも一部に含まれる人物から、鑑賞者４０である人物のそれぞれを識別する（Ｓ１０２０）。続いて、鑑賞者検出部２６０は、鑑賞者識別部２５０が、鑑賞者４０である人物のそれぞれを識別したか否かを判定する（Ｓ１０３０）。そして、鑑賞者４０である人物のそれぞれが識別されたと判定した場合（Ｓ１０３０：Ｙｅｓ）、鑑賞者検出部２６０は、鑑賞者４０である人物の組み合わせを検出する（Ｓ１０４０）。具体的には、鑑賞者検出部２６０は、鑑賞者４０である人物の組み合わせを、例えば（０、１、３）等のように、人物識別子の組み合わせとして検出してよい。

続いて、グループ選択部２７０は、複数のグループのそれぞれについて検出された人物の組み合わせと、鑑賞者４０である人物の組み合わせとに基づいて、当該複数のグループの中から、画像表示部３０によって表示されるべき画像が分類されているグループを選択する（Ｓ１０５０）。例えば、グループ選択部２７０は、複数のグループの中から、グループ検出部２３０により検出された人物の組み合わせが、鑑賞者検出部２６０により検出された組み合わせに含まれるすべての人物を含むグループを、表示されるべき画像が分類されているグループとして選択してよい。これにより、表示すべき画像が分類されているグループとして、鑑賞者４０であるすべての人物が含まれる組み合わせが検出されたグループを選択することができるので、鑑賞者４０の何れもが満足できるスライドショーを表示することができる。

また、これに代えて、グループ選択部２７０は、複数のグループの中から、グループ検出部２３０により検出された人物の組み合わせが、鑑賞者検出部２６０により検出された組み合わせに含まれる人物をより多く含むグループを、表示されるべき画像が分類されているグループとして、より高い優先度で選択してもよい。これにより、表示すべき画像が分類されているグループとして、鑑賞者４０である人物がより多く含まれる組み合わせが検出されたグループを選択することができるので、鑑賞者４０にとって、より満足度の高いスライドショーを表示することができる。

続いて、画像選択部２８０は、グループ選択部２７０が、表示されるべき画像が分類されているグループを選択したか否かを判定する（Ｓ１０６０）。そして、表示されるべき画像が分類されているグループが選択されたと判定した場合に（Ｓ１０６０：Ｙｅｓ）、画像選択部２８０は、選択されたグループに分類されている画像のそれぞれに含まれる人物の認識結果と、鑑賞者４０である人物の組み合わせとに基づいて、当該グループに分類されている画像の中から、表示されるべき画像を選択する（Ｓ１０７０）。

例えば、画像選択部２８０は、選択されたグループに分類されている画像の中から、画像に含まれるすべての人物が、鑑賞者検出部２６０により検出された、鑑賞者４０である人物の組み合わせに含まれている画像を、表示されるべき画像として選択してよい。つまり、電子アルバム表示システム１０によれば、鑑賞者４０である人物の組み合わせには含まれていない人物を含む画像を除外して、表示すべき画像を選択することができる。これにより、例えば、恋人同士で撮像した画像といった、画像に含まれる人物間の関係がよりプライベートである画像を、画像に含まれる人物のうち少なくとも一部の人物が鑑賞者４０に含まれていない場合には、表示すべき画像として選択することなく、スライドショーを表示することができる。従って、電子アルバム表示システム１０によれば、鑑賞者４０のプライバシーに配慮した、鑑賞者４０にとって、より満足度の高いスライドショーを表示することができる。

また、画像選択部２８０は、グループ選択部２７０により選択されたグループに分類されている画像の中から、人物が含まれていない画像を、表示されるべき画像として選択してもよい。これにより、例えば、旅行中に撮像した一連の画像が分類されているグループから、風景画像を選択して、表示することができる。従って、単に、鑑賞者４０である人物が含まれる画像のみを表示する場合に比べて、内容にまとまりのある一連の画像でありながら、より多様な画像が含まれるスライドショーを表示することができる。

また、画像選択部２８０は、グループ選択部２７０により選択されたグループに分類されている画像の中から、鑑賞者検出部２６０により検出された組み合わせに含まれる人物をより多く含む画像を、表示されるべき画像として、より高い優先度で選択してもよい。これにより、表示すべき画像として、鑑賞者４０である人物がより多く含まれる画像を選択することができるので、鑑賞者４０にとってより満足度の高いスライドショーを表示することができる。

なお、画像選択部２８０は、前述した何れの方法を用いる場合であっても、選択されたグループに分類されている画像のそれぞれに含まれる人物から、当該グループに分類されている画像のうち、予め定められた基準枚数より少ない枚数の画像にのみ含まれている人物を除いた人物の組み合わせに基づいて、表示されるべき画像を選択してよい。これにより、画像の撮像者が、撮像時に被写体として認識しなかった人物や、鑑賞者４０として画像を鑑賞する可能性が極めて低い人物を除外して、画像を選択することができるので、鑑賞者４０である人物に関連する人物を含む画像を、より高い精度で選択して、スライドショーとして表示することができる。

続いて、画像処理部２９０は、画像選択部２８０が、表示されるべき画像を選択したか否かを判定する（Ｓ１０８０）。そして、表示されるべき画像が選択されたと判定した場合に（Ｓ１０８０：Ｙｅｓ）、画像処理部２９０は、選択された画像に対して画像処理を行う（Ｓ１０９０）。続いて、画像表示部３０は、選択された画像をスライドショーとして表示して、鑑賞者４０に鑑賞させる（Ｓ１１００）。

図８は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホストコントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィックコントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホストコントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスクドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホストコントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィックコントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレームバッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィックコントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレームバッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホストコントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスクドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブートプログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスクドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスクドライブ１５５０や、例えばパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される電子アルバム表示プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。電子アルバム表示プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してコンピュータ１５００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。コンピュータ１５００にインストールされて実行される電子アルバム表示プログラムは、ＣＰＵ１５０５等に働きかけて、コンピュータ１５００を、図１から図７にかけて説明した電子アルバム表示システム１０として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本発明の実施形態に係る電子アルバム表示システム１０の一例を示す図である。 本発明の実施形態に係る電子アルバム表示システム１０の機能構成の一例を示すブロック図である。 本発明の実施形態に係る画像格納部２００の一例を示す図である。 本発明の実施形態に係る顔画像データベース２１０の一例を示す図である。 本発明の実施形態に係る人物認識部２２０による人物の認識結果の一例を示す図である。 本発明の実施形態に係るグループ検出部２３０による人物の組み合わせの検出結果の一例を示す図である。 本発明の実施形態に係る電子アルバム表示システム１０を用いた電子アルバム表示方法における処理の流れの一例を示すフローチャートである。 本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。

符号の説明

１０ 電子アルバム表示システム、２０ 電子アルバム再生部、３０ 画像表示部、４０ａ、ｂ 鑑賞者、２００ 画像格納部、２１０ 顔画像データベース、２２０ 人物認識部、２３０ グループ検出部、２４０ 撮像部、２５０ 鑑賞者識別部、２６０ 鑑賞者検出部、２７０ グループ選択部、２８０ 画像選択部、２９０ 画像処理部

Claims (15)

1. 電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムであって、
   前記複数の画像のそれぞれを、複数のグループに分類して格納している画像格納部と、
   前記複数の画像のそれぞれに含まれる複数の人物を認識する人物認識部と、
   前記複数のグループのそれぞれについて、当該グループに分類されている画像の少なくとも一部に含まれる人物の組み合わせを検出するグループ検出部と、
   表示される画像の鑑賞者である人物を検出する鑑賞者検出部と、
   前記グループ検出部により検出された人物の組み合わせ、及び前記鑑賞者検出部により検出された人物に基づいて、前記複数のグループの中から、表示されるべき画像が分類されている前記グループを選択するグループ選択部と、
   前記グループ選択部により選択された前記グループに分類されている画像のそれぞれについての前記人物認識部による人物の認識結果、及び前記鑑賞者検出部により検出された人物に基づいて、当該グループに分類されている画像の中から、表示されるべき画像を選択する画像選択部と、
   前記画像選択部により選択された画像を表示する画像表示部と
   を備える電子アルバム表示システム。
2. 前記鑑賞者検出部は、表示される画像の鑑賞者である複数の人物における人物の組み合わせを検出し、
   前記グループ選択部は、前記グループ検出部により検出された人物の組み合わせ、及び前記鑑賞者検出部により検出された人物の組み合わせに基づいて、前記複数のグループの中から、表示されるべき画像が分類されている前記グループを選択し、
   前記画像選択部は、前記グループ選択部により選択された前記グループに分類されている画像のそれぞれについての前記人物認識部による人物の認識結果、及び前記鑑賞者検出部により検出された人物の組み合わせに基づいて、当該グループに分類されている画像の中から、表示されるべき画像を選択する
   請求項１に記載の電子アルバム表示システム。
3. 前記グループ選択部は、前記複数のグループの中から、前記グループ検出部により検出された人物の組み合わせが、前記鑑賞者検出部により検出された組み合わせに含まれるすべての人物を含む前記グループを、表示されるべき画像が分類されている前記グループとして選択する請求項２に記載の電子アルバム表示システム。
4. 前記画像選択部は、前記グループ選択部により選択された前記グループに分類されている画像の中から、画像に含まれるすべての人物が、前記鑑賞者検出部により検出された人物の組み合わせに含まれている画像を、表示されるべき画像として選択する請求項３に記載の電子アルバム表示システム。
5. 前記画像選択部は、前記グループ選択部により選択された前記グループに分類されている画像の中から、人物が含まれていない画像を、表示されるべき画像として選択する請求項４に記載の電子アルバム表示システム。
6. 前記グループ選択部は、前記複数のグループの中から、前記グループ検出部により検出された人物の組み合わせが、前記鑑賞者検出部により検出された組み合わせに含まれる人物をより多く含む前記グループを、表示されるべき画像が分類されている前記グループとして、より高い優先度で選択する請求項２に記載の電子アルバム表示システム。
7. 前記画像選択部は、前記グループ選択部により選択された前記グループに分類されている画像の中から、前記鑑賞者検出部により検出された組み合わせに含まれる人物をより多く含む画像を、表示されるべき画像として、より高い優先度で選択する請求項６に記載の電子アルバム表示システム。
8. 前記グループ検出部は、前記複数のグループのそれぞれについて、当該グループに分類されている画像の少なくとも一部に含まれる人物から、予め定められた基準枚数より少ない枚数の画像にのみ含まれている人物を除いた人物の組み合わせを検出する請求項５に記載の電子アルバム表示システム。
9. 前記画像格納部は、前記複数の画像のそれぞれを、当該画像の撮像日時に基づいて、前記複数のグループに分類して格納している請求項８に記載の電子アルバム表示システム。
10. 前記画像格納部は、前記複数の画像のそれぞれを、当該画像の撮像地点に基づいて、前記複数のグループに分類して格納している請求項８に記載の電子アルバム表示システム。
11. 前記鑑賞者である人物のそれぞれの顔画像を撮像する撮像部と、
    前記撮像部により撮像された顔画像に基づいて、前記複数の画像の少なくとも一部に含まれる人物から、前記鑑賞者である人物のそれぞれを識別する鑑賞者識別部と
    を更に備え、
    前記鑑賞者検出部は、前記鑑賞者識別部による識別結果に基づいて、前記鑑賞者である人物の組み合わせを検出する
    請求項９に記載の電子アルバム表示システム。
12. 電子アルバムに含まれる複数の画像を表示する電子アルバム表示方法であって、
    画像格納部は、前記複数の画像のそれぞれを、複数のグループに分類して格納しており、
    当該電子アルバム表示方法は、
    前記複数の画像のそれぞれに含まれる複数の人物を認識する人物認識段階と、
    前記複数のグループのそれぞれについて、当該グループに分類されている画像の少なくとも一部に含まれる人物の組み合わせを検出するグループ検出段階と、
    表示される画像の鑑賞者である人物を検出する鑑賞者検出段階と、
    前記グループ検出段階において検出された人物の組み合わせ、及び前記鑑賞者検出段階において検出された人物に基づいて、前記複数のグループの中から、表示されるべき画像が分類されている前記グループを選択するグループ選択段階と、
    前記グループ選択段階において選択された前記グループに分類されている画像のそれぞれについての前記人物認識段階における人物の認識結果、及び前記鑑賞者検出段階において検出された人物に基づいて、当該グループに分類されている画像の中から、表示されるべき画像を選択する画像選択段階と、
    前記画像選択段階において選択された画像を表示する画像表示段階と
    を備える電子アルバム表示方法。
13. 前記鑑賞者検出段階は、表示される画像の鑑賞者である複数の人物における人物の組み合わせを検出し、
    前記グループ選択段階は、前記グループ検出段階において検出された人物の組み合わせ、及び前記鑑賞者検出段階において検出された人物の組み合わせに基づいて、前記複数のグループの中から、表示されるべき画像が分類されている前記グループを選択し、
    前記画像選択段階は、前記グループ選択段階において選択された前記グループに分類されている画像のそれぞれについての前記人物認識段階における人物の認識結果、及び前記鑑賞者検出段階において検出された人物の組み合わせに基づいて、当該グループに分類されている画像の中から、表示されるべき画像を選択する
    請求項１２に記載の電子アルバム表示方法。
14. 電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムとしてコンピュータを機能させる電子アルバム表示プログラムであって、
    前記コンピュータを、
    前記複数の画像のそれぞれを、複数のグループに分類して格納している画像格納部と、
    前記複数の画像のそれぞれに含まれる複数の人物を認識する人物認識部と、
    前記複数のグループのそれぞれについて、当該グループに分類されている画像の少なくとも一部に含まれる人物の組み合わせを検出するグループ検出部と、
    表示される画像の鑑賞者である人物を検出する鑑賞者検出部と、
    前記グループ検出部により検出された人物の組み合わせ、及び前記鑑賞者検出部により検出された人物に基づいて、前記複数のグループの中から、表示されるべき画像が分類されている前記グループを選択するグループ選択部と、
    前記グループ選択部により選択された前記グループに分類されている画像のそれぞれについての前記人物認識部による人物の認識結果、及び前記鑑賞者検出部により検出された人物に基づいて、当該グループに分類されている画像の中から、表示されるべき画像を選択する画像選択部と、
    前記画像選択部により選択された画像を表示する画像表示部と
    を備える電子アルバム表示システムとして機能させる電子アルバム表示プログラム。
15. 前記鑑賞者検出部は、表示される画像の鑑賞者である複数の人物における人物の組み合わせを検出し、
    前記グループ選択部は、前記グループ検出部により検出された人物の組み合わせ、及び前記鑑賞者検出部により検出された人物の組み合わせに基づいて、前記複数のグループの中から、表示されるべき画像が分類されている前記グループを選択し、
    前記画像選択部は、前記グループ選択部により選択された前記グループに分類されている画像のそれぞれについての前記人物認識部による人物の認識結果、及び前記鑑賞者検出部により検出された人物の組み合わせに基づいて、当該グループに分類されている画像の中から、表示されるべき画像を選択する
    請求項１４に記載の電子アルバム表示プログラム。

Images