JP2007287014A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】ユーザの所望する対象物が被写体として含まれている画像の数を簡易に比較可能とする。
【解決手段】画像処理装置は、画像ファイルにより表される画像に含まれる対象人物の顔を認識し、各対象人物について、対象人物が被写体として表現されている画像の数を集計し、集計結果を集計結果画面４５０に表示する。集計結果画面４５０の集計結果４６０には、対象人物ごとに、対象人物が表されている画像の数がスケジュール別に表示されている。例えば、集計結果画面４５０は、対象人物「姉」が、「２００５．７．８ 姉の誕生日」に撮影された画像ファイルにより表される画像のうちの５０枚の画像に含まれており、「２００５．１０．１０ 姉の運動会」に撮影された画像ファイルにより表される画像のうちの２０枚の画像に含まれていることを表している。こうすれば、ユーザは、各対象人物の行事ごとの画像数を容易に視認できる。
【選択図】図１４

Description

本発明は、画像処理の技術に関し、特に、対象物が被写体として表現されている画像の数を算出するための技術に関する。

デジタルスチルカメラの普及にともない、デジタルカメラによって生成された画像ファイルを整理・編集して表示する電子アルバムが利用されている。このような電子アルバムは、例えば、画像ファイルの生成日時と行事の日付とを利用して、自動的に画像ファイルを分類し、行事ごとにアルバムを作成することにより、ユーザのアルバム作成の手間を軽減している。

特開平７−１８２３６６号公報 特開２００２−３７３２３３号公報

しかしながら、従来の電子アルバムは、画像ファイルにより表される画像に含まれる被写体がユーザの所望する対象物であるかを特定する機能を有していない。そのため、ユーザは、ある行事の際に撮影された画像ファイルにより表される画像のうち所望する対象物が被写体として含まれる画像の数を対象物別に比較するためには、画像を１つずつ視認して画像に含まれる被写体を順次確認し、所望する対象物が被写体として含まれる画像の数を算出する必要があった。

上述の課題は、行事ごとに撮影された画像ファイルについて、所望する対象物が被写体として含まれている画像の数を行事別に比較する場合に限ったものではなく、種々の分類項目に基づいて分類された画像ファイル、例えば、画像が撮影された場所に基づいて分類された画像ファイルに、所望する対象物が被写体として含まれている画像の数を場所別に比較する場合にも同様に生じる課題である。

本発明は、上述の課題に鑑みてなされたものであり、ユーザの所望する対象物が被写体として含まれている画像の数を簡易に比較可能とする技術に関する。

上述した課題の少なくとも一部を解決するために、本発明は、対象物と分類項目とを連動させて解析を行う画像処理装置を提供する。
本発明の画像処理装置は、
表示部と、
被写体を含む画像ファイルを複数取得する取得手段と、
対象物に関する情報を表す対象物情報を複数記憶する対象物情報記憶手段と、
前記複数の画像ファイルを分類するための分類項目を含む分類情報を記憶する分類情報記憶手段と、
前記対象物情報を用いて、前記各画像ファイルにより表現される画像に含まれる被写体に一致する前記対象物を特定する特定手段と、
前記特定の結果および前記分類情報に基づき、前記複数の画像ファイルを分類する分類手段と、
前記分類の結果を、前記分類項目別に比較可能に前記表示部に表示する表示制御手段と、を備えることを要旨とする。

本発明の画像処理装置によれば、複数の画像ファイルについて、画像に被写体として含まれる対象物と分類項目との両観点から画像ファイルを分類し、分類結果を分類項目別に比較可能に表示できる。従って、ユーザは、本発明の画像処理装置を利用することにより、分類結果を簡易に比較できるため、ユーザの利便性を向上できる。

本発明の画像処理装置において、
前記画像ファイルには、前記画像ファイルの生成に関する生成情報が関連付けられており、
前記分類手段は、
前記生成情報および前記分類情報を参照して、前記複数の画像ファイルを前記各分類項目別にグループに分けるグループ分け手段と、
前記グループ分けの結果および前記特定の結果に基づき、前記特定された各対象物が被写体として含まれる画像を表現する画像ファイルを前記分類項目別に分類する画像ファイル分類手段と、を備えてもよい。

本発明の画像処理装置によれば、画像ファイルに関連付けられている生成情報と分類情報とを利用することにより、画像ファイルを簡易にグループ分けできる。従って、画像処理装置の処理負荷を軽減できる。

本発明の画像処理装置において、
前記生成情報は、前記画像ファイルの生成日時を表す生成日時情報を含み、
前記分類情報は、行事の日付を表す日付情報を含む行事に関する行事情報を複数含み、
前記グループ分け手段は、前記生成日時情報および前記行事情報を参照して、前記各日付情報と同一の前記生成日時を有する前記画像ファイルを同じ前記グループに分けてもよい。

本発明の画像処理装置によれば、画像ファイルの生成日時情報と行事の日付を表す日付情報とを参照して、行事別に画像ファイルをグループ分けできる。従って、ユーザは、本発明の画像処理装置を利用することにより、画像ファイルの分類結果を、行事別に、容易に比較できる。

本発明の画像処理装置において、
前記生成情報は、前記画像ファイルの生成日時を表す生成日時情報を含み、
前記分類情報は、一定期間を表す期間情報を複数含み、
前記グループ分け手段は、前記生成日時情報および前記期間情報を参照して、前記生成日時が同じ前記一定期間に含まれる画像ファイルを同じ前記グループに分けてもよい。

本発明の画像処理装置によれば、画像ファイルの生成日時情報と期間情報とを参照して、一定期間別に画像ファイルをグループ分けできる。従って、ユーザは、本発明の画像処理装置を利用することにより、画像ファイルの分類結果を、一定期間別に、容易に比較できる。

本発明の画像処理装置において、
前記生成情報は、前記画像ファイルが生成された生成位置を表す生成位置情報を含み、
前記分類情報は、所定の場所の位置を表す位置情報を有する場所情報を複数含み、
前記グループ分け手段は、前記生成位置情報および前記位置情報を参照して、前記生成位置が前記位置情報に近似する画像ファイルを同じ前記グループに分けてもよい。

本発明の画像処理装置によれば、画像ファイルの生成位置情報と所定の場所の位置を表す位置情報とを参照して、場所別に画像ファイルをグループ分けできる。従って、ユーザは、本発明の画像処理装置を利用することにより、画像ファイルの分類結果を、場所別に、容易に比較できる。

本発明の画像処理装置において、
前記分類情報は、前記対象物の組合せを表す組合せ情報を複数含み、
前記分類手段は、前記組合せ情報および前記特定の結果を参照して、前記各組合せに含まれる全ての前記対象物が被写体として表現されている画像ファイルを、前記組合せ別に分類してもよい。

本発明の画像処理装置によれば、画像に含まれる対象物の組合せ情報および特定の結果を参照して画像ファイルを分類できる。従って、ユーザは、本発明の画像処理装置を利用することにより、対象物の組合せ別に画像ファイルを分類するとともに、分類結果を、組合せ別に容易に比較できる。

本発明の画像処理装置において、
前記表示制御手段は、
前記各対象物について、前記分類項目別に、前記分類された画像ファイルの数を算出する算出手段と、
前記算出された画像ファイルの数を、前記各対象物について前記分類項目別に表示する表示手段と、を備えてもよい。

本発明の画像処理装置によれば、各対象物について、分類された画像ファイルの数を分類項目別に表示できるため、ユーザは、各対象物について、分類結果を数値で確認することができる。

本発明の画像処理装置において、
前記表示制御手段は、前記分類された画像ファイルの数を前記分類項目別に表示してもよい。

本発明の画像処理装置によれば、分類された画像ファイルの数を分類項目別に表示できるため、ユーザは、分類結果を数値で確認することができる。

本発明の画像処理装置において、更に、
前記画像ファイルにより表される画像に含まれる被写体に関する被写体情報を取得する被写体情報取得手段と、
前記被写体情報に基づき、前記被写体を前記特定手段による前記特定の対象とするかを決定する決定手段と、を備え
前記特定手段は、前記分類の対象に決定された前記被写体に対して前記特定を行ってもよい。

本発明の画像処理装置によれば、画像に含まれる被写体の被写体情報に基づき決定された特定対象の画像ファイルに対してのみ、特定を行うことができるため、画像処理装置の処理負荷を軽減できるとともに、全体的な処理時間を短縮できる。

本発明の画像処理装置において、
前記対象物は人物であり、
前記被写体情報は、前記画像ファイルに表されている人物の顔の大きさに関するサイズ情報を含み、
前記決定手段は、前記被写体の顔の大きさが予め設定されている閾値よりも大きい被写体を、前記特定の対象としてもよい。

被写体の顔の大きさが予め定められている閾値以下である場合、その人物は、適切に表現されていない、例えば、通りすがりに画像に写り込んでしまった等と考えられる。従って、本発明の画像処理装置は、適切に表現されている被写体を特定の対象とできる。

本発明の画像処理装置において、
前記被写体情報は、前記被写体の前記画像ファイルにより表される画像における位置に関する被写体位置情報を含み、
前記決定手段は、前記被写体位置情報により表される位置が前記画像において予め設定されている特定領域に含まれる被写体を、前記特定の対象としてもよい。

対象物を表す被写体の位置が、予め決められた領域に含まれていない場合も、その対象物は、適切に表現されていない、例えば、背景の一部として写り込んでしまった等と考えられる。従って、本発明の画像処理装置は、適切な位置に表現されている被写体を特定の対象とすることができる。

本発明において、上述した種々の態様は、適宜、組み合わせたり、一部を省略したりして適用することができる。また、本発明は、上述した画像処理装置としての構成の他に、画像処理装置による画像処理方法、画像処理装置に画像ファイルを処理させるためのコンピュータプログラム、かかるコンピュータプログラムをコンピュータ読み取り可能に記録した記録媒体等としても構成できる。いずれの構成においても、上述した各態様を適宜適用可能である。コンピュータが読み取り可能な記録媒体としては、例えば、フレキシブルディスクや、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ハードディスク等種々の媒体を利用することが可能である。

以下、本発明の実施の形態について、実施例に基づき、適宜図面を参照しながら説明する。

Ａ．第１実施例：
Ａ．機能ブロック：
図１は、第１実施例における画像処理装置１０の機能ブロックを例示する説明図である。第１実施例の画像処理装置１０は、ＣＰＵ、メモリを備える一般的なパーソナルコンピュータである。画像処理装置１０は、ＣＰＵ１００、ディスプレイ１０２，インターフェース１０３，対象物情報データベース１０５、イベントデータベース１０６，画像ファイルデータベース１０７およびメモリ１２０を備える。メモリ１２０は、画像ファイル取得モジュール１２１、人物認識モジュール１２２，分類モジュール１２３，集計モジュール１２４，集計結果表示モジュール１２５および編集モジュール１２６を備える。各モジュールはＣＰＵ１００により制御され実行される。

インターフェース１０３は、キーボード３０、マウス３１等の入力機器からの入力受付、および、デジタルカメラ３２等の外部機器とのデータ通信を行う。例えば、デジタルカメラ３２は撮影した画像ファイルを画像処理装置１０に提供する。デジタルカメラ３２から提供された画像ファイルは、画像ファイルデータベース１０７に保存される。

対象物情報データベース１０５は、ユーザが所望する対象物の特徴量および対象物の識別情報を記憶する。第１実施例では、対象物とは人物を示し、対象物の識別情報とは、例えば「父」、「母」、「姉」といった、人物を識別するための情報である。以降、第１実施例では、対象物として記憶されている人物を対象人物と呼ぶ。

イベントデータベース１０６は、行事、例えば誕生日や運動会、クリスマス、入学式などの行事名称と行事の日付とを関連付けて記憶する。

画像ファイル取得モジュール１２１は、画像ファイルデータベース１０７に保存されている画像ファイルを取得し、取得した画像ファイルにより表される画像２００の縮小画像の一覧をディスプレイ１０２に表示する。また、ユーザから、後述する集計表示処理の指示を受け付けて、取得した画像ファイルを人物認識モジュール１２２に転送する。

人物認識モジュール１２２は、画像ファイル取得モジュール１２１から転送された画像ファイルを解析し、画像ファイルによって表現される画像に含まれる被写体に一致する対象人物を特定する。

分類モジュール１２３は、画像ファイル取得モジュール１２１が取得した画像ファイルを分類項目に従って複数のグループに分類する。第１実施例では、分類項目とは、イベントデータベース１０６に格納されている行事日付である。

集計モジュール１２４は、人物認識モジュール１２２による特定結果と分類モジュール１２３による分類結果を用いて、各対象物について、画像ファイルによって表される画像に対象物が被写体として表現されている画像の数を分類項目別に集計する。

集計結果表示モジュール１２５は、集計モジュール１２４による集計結果をディスプレイ１０２に表示する。

編集モジュール１２６は、キーボード３０、マウス３１を介したユーザからの指示に応じて、対象物情報データベース１０５に登録されている対象物情報追加、変更、削除、および、イベントデータベース１０６に登録されている行事情報の追加、変更、削除を行う。

Ａ２．集計表示処理：
Ａ２―１．対象人物認識処理：
対象人物が画像ファイルによって表される画像に含まれる被写体として含まれているかを認識する人物認識処理について、図２〜図７を用いて説明する。図２は、画像ファイルにより表される画像に含まれる被写体の抽出について説明する説明図である。図３は、第１実施例における画像データの解析対象領域について説明する説明図である。図４は、第１実施例における解析対象とする被写体について説明する説明図である。図５は、第１実施例における対象物情報データベース１０５の内容を例示する対象物情報テーブルである。図６は、第１実施例における画像ファイルごとの対象人物認識結果を例示する説明図である。図７は、第１実施例における対象人物認識処理を説明するフローチャートである。対象人物認識処理は、ＣＰＵ１００が、人物認識モジュール１２２を実行することにより行われる。ここでは、説明を明瞭とするために、人物認識モジュール１２２が実行するものとして説明する。

人物認識モジュール１２２は、画像ファイルを解析し、画像ファイルにより表される画像に含まれる被写体から人物を表す被写体を抽出する。人物を表す被写体の抽出は、画像ファイルを構成するデータのうち、画像２００を表す画像データについて解析し、肌色領域（図２（ａ）にハッチングで示す）を検出することにより行われる。検出した肌色領域を構成する肌色画素数が、予め決められた画素閾値Ｐ_thピクセルより多い場合、その肌色領域を有する人物被写体を人物認識の対象から除外する。

図２（ｂ）は、第１実施例における肌色画素数テーブル３００を例示する説明図である。図２（ｂ）に示すように、肌色画素数テーブル３００には、画像２００に含まれる被写体と各被写体の肌色画素数が含まれる。例えば、被写体Ａの肌色領域を構成する肌色画素数は「１２０，０００ピクセル」である。また、被写体Ｂの肌色画素数は「９８，０００ピクセル」であり、被写体Ｃの肌色画素数は「３２，０００」ピクセルである。また、第１実施例における画素閾値Ｐ_thピクセルは「５０，０００ピクセル」であるため、被写体Ａ、被写体Ｂは人物認識の対象とされ、被写体Ｃは、人物認識の対象から除外される。

なお、画素閾値Ｐ_thピクセルは、画像ファイルの全体の画素数に応じて個別に設定されており、画素閾値Ｐ_thピクセルは、画像ファイルの画素数に対して充分に小さい。画素閾値Ｐ_thピクセルは、ユーザにより任意に設定可能であってもよい。画素閾値Ｐ_thピクセル以下の肌色領域を有する被写体は、画像ファイルにおいて重要でない被写体、例えば、通りすがりに写り込んでしまった被写体であると考えられる。よって、このように画素閾値Ｐ_thピクセル以下の画素数の肌色領域を人物認識の対象から除外することにより、画像処理装置１０の処理負荷を軽減でき、処理時間を短縮できる。

更に、画像に含まれる被写体は、肌色領域の画像２００における位置に応じて、人物認識の対象とされるか否か決定される。図３の画像データ２１０は、画像２００を表現する画像データである。図３に示すように、画像データ２１０は、縦横に３×３に分割された９つのブロック（ブロックＢ１〜Ｂ９）を有する。四隅のブロックＢ１，Ｂ３，Ｂ７，Ｂ９には、ユーザが所望する対象物が被写体として表現される可能性は低く、他のブロックＢ２，Ｂ４〜Ｂ６，およびＢ８には、ユーザが所望する対象物が被写体として表現される可能性が高いため、第１実施例では、四隅のブロックＢ１，Ｂ３，Ｂ７，Ｂ９を除くブロックＢ２，Ｂ４〜Ｂ６，およびＢ８に肌色領域の重心が含まれる被写体が、人物認識の対象とされる。

図４に示すように、被写体Ａの重心の位置Ｐ１は、ブロックＢ４に含まれており、被写体Ｂの重心の位置Ｐ２はブロックＢ５に含まれているため、被写体ＡおよびＢは人物認識の対象とされる。なお、第１実施例では、被写体Ｃは、上述のように、人物認識の対象から除外されているため、重心の位置を用いて、人物認識の対象とするか否かの判断を行わない。

人物認識モジュール１２２は、以上のようにして人物認識の対象に決定した被写体ＡおよびＢについて、その被写体が誰であるかを認識する人物認識を実行する。具体的には、人物認識モジュール１２２は、被写体Ａ、Ｂの肌色領域を解析し、対象物情報データベース１０５に登録されている人物の特徴量と、解析結果とに基づいて、被写体Ａ，Ｂが、対象物情報データベース１０５に登録されているいずれの人物であるかを特定する、もしくは、被写体Ａ、Ｂは対象物情報データベース１０５に登録されているいずれの人物でもないことを判断する。

図５に示すように、対象物情報テーブル３５０には、対象人物、および、各対象人物の人物情報が登録されている。対象物情報テーブル３５０に登録されている対象人物や人物情報は、予めユーザによって登録されている。人物認識モジュール１２２は、各対象人物の特徴量と被写体を解析した解析結果とを比較し、画像データに、対象物情報テーブル３５０に登録されている対象人物が表されているかを判断する。第１実施例において、対象物情報テーブル３５０の特徴量には、顔領域に含まれる各部位、例えば、目、鼻、口の形状や部位間の距離の比率、各部位の顔領域における配置が含まれる。

人物認識モジュール１２２には、以上説明した処理を実行し、画像ファイルにより表現される画像に、いずれの対象人物が含まれているかを示す対象人物認識結果テーブル（図６）を作成する。図６に示すように、対象人物認識結果テーブル３６０には、画像ファイルのファイル名と認識結果とが関連付けられている。認識結果において、「○」は画像ファイルにより表現される画像に対象人物が含まれていることを示し、「×」は画像ファイルにより表現される画像に対象人物が含まれていないことを示す。例えば、ファイル名「ｆｉｌｅ０２．ｊｐｇ」の画像ファイルにより表現される画像には、対象人物「父」と「姉」とが含まれることを示す。

人物認識モジュール１２２が実行する人物認識処理の流れについて、図７を参照してフローチャートにより説明する。人物認識モジュール１２２は、画像ファイル取得モジュール１２１から受け取った画像ファイルを解析する（ステップＳ２０）。人物認識モジュール１２２は、解析結果に基づき、画像ファイルにより表現される画像に含まれる人物被写体の顔領域を抽出し（ステップＳ２１）、抽出した顔領域の重心の位置を表す被写体位置情報を取得する（ステップＳ２２）。

人物認識モジュール１２２は、被写体位置情報を利用して、顔領域の重心が画像データの解析対象領域に含まれているかを判断する（ステップＳ２３）。人物認識モジュール１２２は、顔領域の重心が解析対象領域に含まれている場合（ステップＳ２３：ＹＥＳ）、顔領域を構成する肌色画素数を取得し（ステップＳ２４）、顔領域の肌色画素数が画素閾値Ｐ_thピクセルより多いかを判断する（ステップＳ２５）。人物認識モジュール１２２は、顔領域の肌色画素数が画素閾値Ｐｔｈピクセルよりも多い場合（ステップＳ２５：ＹＥＳ）、その顔領域を有する人物被写体を、人物認識の対象とする（ステップＳ２６）。

人物認識モジュール１２２は、顔領域の重心が解析対象領域に含まれていない場合（ステップＳ２３：ＮＯ）、もしくは、顔領域の肌色画素数が画素閾値Ｐｔｈピクセル以下の場合（ステップＳ２５：ＮＯ）、その顔領域を有する人物被写体を人物認識の対象から除外する（ステップＳ２７）。

人物認識モジュール１２２は、人物認識の対象とされた人物被写体の顔認識処理を行い（ステップＳ２８）、画像ファイルにより表現される画像に被写体として含まれる対象人物を特定する（ステップＳ２９）。人物認識モジュール１２２は、特定結果に基づき対象人物認識結果テーブル３６０を作成し、ＲＡＭ１１０に記憶する（ステップＳ３０）。

Ａ２−２．分類処理：
次に、画像処理装置１０が行う画像ファイルの分類処理について、図８〜図１０を参照して説明する。図８は、第１実施例におけるイベントデータベース１０６の内容を例示するイベントテーブル３７０である。図９は、第１実施例における画像ファイルに付帯するＥｘｉｆ情報４８０を例示する説明図である。図１０は、第１実施例における分類結果テーブルを例示する説明図である。分類処理は、ＣＰＵ１００が分類モジュール１２３を制御して実行される。以下では、説明を明瞭とするため、分類モジュール１２３が実行するものとして説明する。

図８に示すように、イベントテーブル３７０には、行事の日付を表す行事日付、行事の内容を表す行事内容および行事に関係する人物を表す関係人物情報が関連付けて登録されている。例えば、行事の日付「２００５．７．８」は「誕生日」であり、関係する人物は「姉」である。すなわち、「２００５．７．８は、姉の誕生日」であることを表している。関係人物情報は、必ずしも登録されている必要はなく、空白でもかまわない。空白の場合、対象物情報テーブル３５０に登録されている全ての人物に関連するか、もしくは、対象物情報テーブル３５０に登録されている全ての人物に関連しないことを示す。

一方、画像ファイルは、図９に示すＥｘｉｆ情報４８０を含んでいる。Ｅｘｉｆ情報４８０は、デジタルカメラによって画像ファイルに含まれる。Ｅｘｉｆ情報４８０には、デジタルカメラが被写体を撮影する際の撮影条件や撮影日時が記述されている。例えば、Ｅｘｉｆ情報４８０には、「画像ファイル名」、「撮影日時」などの画像ファイルに関する情報とともに、画像ファイル２０の撮影時の種々の撮影条件、例えば「色空間情報」、「ＧＰＳ情報」、「ＩＳＯ感度」が含まれる。例えば、撮影日時、すなわち、画像ファイルの生成日時は「２００４／６／１０ １０：２５：３０」であり、撮影時のＩＳＯ感度は「１００」である。

分類モジュール１２３は、イベントテーブル３７０の「行事日付」と画像ファイルの撮影日時を参照して、行事日付と同じ日付を表す撮影日時を有する画像ファイルを同じグループに分類し、分類結果を表す分類結果テーブル３８０を作成する。

図１０を参照して分類結果テーブル３８０について説明する。分類結果テーブル３８０には、「分類項目」と「画像ファイル名」とを含む。「分類項目」は、イベントテーブル３７０に含まれる行事日付を示し、「画像ファイル名」は、各行事日付に別に分類された画像ファイルの画像ファイル名を示す。図１０に示すように、例えば、分類結果テーブル３８０は、「２００５．１０．１０」に撮影された画像ファイルは「ｆｉｌｅ１１０、ｆｉｌｅ１１２、…ｆｉｌｅ１８９」であることを表す。

Ａ２−３．集計処理：
集計モジュール１２４は、ＲＡＭ１１０に記憶されている対象人物認識結果テーブル３６０および分類結果テーブル３８０を参照し、各対象人物について、各対象人物が含まれる画像を表す画像ファイルの数を分類項目別に集計する。

集計モジュール１２４の集計結果を表す集計結果テーブル３９０について、図１１を参照して説明する。図１１は、第１実施例における集計結果テーブルを例示する説明図である。図１１に示すように、集計結果テーブル３９０は、各対象人物について、各対象人物が含まれる画像を表す画像ファイルの数が、分類項目である行事の日付別に分類されている。例えば、集計結果テーブル３９０は、行事「２００５．１０．１０」に撮影された画像ファイルに、対象人物「姉」が表されている画像ファイルの数は「２０」であることを表す。

以上のように取得される集計結果を、集計結果表示モジュール１２５は、ユーザが分類項目別に比較可能にディスプレイ１０２に表示する。

Ａ３．集計表示処理：
第１実施例において、画像処理装置１０によって実行される集計表示処理について、図１２〜図１４を参照して説明する。集計表示処理は、ＣＰＵ１００が各モジュールを制御して実行する。図１２は、第１実施例におけるアルバム画面を例示する説明図である。図１３は、第１実施例における集計表示処理について説明するフローチャートである。図１４は、第１実施例における集計結果画面を例示する説明図である。

集計表示処理に先立ち、ＣＰＵ１００は、画像ファイルデータベース１０７から画像ファイルを取得し、取得した画像ファイルの一覧を表すアルバム画面をディスプレイ１０２に表示する。

アルバム画面について、図１２を参照して説明する。図１２に示すように、ＣＰＵ１００は、画像ファイルデータベース１０７から画像ファイルを取得し、アルバム画面４００をディスプレイに表示する。アルバム画面４００には、画像表示部４１０、個別アルバム表示ボタン４２０〜４２３、および、集計ボタン４３０が含まれる。画像表示部４１０には、取得された画像ファイルにより表される画像の縮小画像の一覧が表示される。画像表示部４１０には、画像ファイルデータベース１０７から取得された全ての画像ファイルの縮小画像が表示されている。

個別アルバム表示ボタン４２０〜４２３の各ボタンには、イベントデータベース１０６に登録されている日付およびスケジュールが関連付けられている。ＣＰＵ１００は、ユーザにより押下されたボタンに関連付けられている行事の日付と同じ日付の撮影日時を有する画像ファイルのみを画像表示部４１０に表示する。例えば、個別アルバム表示ボタン４２０がユーザにより押下された場合、ＣＰＵ１００は、取得した画像ファイルの撮影日時を参照して、「２００５．７．８」に撮影された画像ファイルを検索し、検索された画像ファイルにより表される画像の縮小画像の一覧を画像表示部４１０に表示する。

集計ボタン４３０は、集計表示処理の実行を指示するためのボタンである。ＣＰＵ１００は、集計ボタン４３０が押下されると、集計表示処理を実行する。

集計表示処理の処理フローについて図１３を参照して説明する。ＣＰＵ１００は、集計ボタン４３０の押下を検出すると（ステップＳ１０４）、既述の人物認識処理（ステップＳ１０６）、分類処理（ステップ１０８）を実行する。ＣＰＵ１００は、人物認識処理において作成した対象人物認識結果テーブル３６０および分類処理において作成した集計結果テーブル３９０を参照して、対象人物ごとに、対象人物が含まれる画像を表す画像ファイルの数を集計し（ステップＳ１１０）、集計結果を表す集計結果画面をディスプレイに表示する（ステップＳ１１２）。

集計結果画面４５０について、図１４を用いて説明する。図１４に示すように、集計結果画面４５０には、集計結果４６０と、ユーザへの案内を表示するメッセージ表示部４７０とが含まれる。集計結果４６０には、対象人物ごとに、対象人物が表されている画像の数がスケジュール別に表示されている。例えば、集計結果画面４５０は、対象人物「姉」が、「２００５．７．８ 姉の誕生日」に撮影された画像ファイルにより表される画像のうちの５０枚の画像に含まれており、「２００５．１０．１０ 姉の運動会」に撮影された画像ファイルにより表される画像のうちの２０枚の画像に含まれていることを表している。

メッセージ表示部４７０には、集計表示処理を行った時点から直近の未来のスケジュールにおける撮影についてのアドバイスを表示する。例えば、集計表示処理を行った時点から直近の未来のスケジュールは、図８に示すように、「２００６．２．１０ 弟の誕生日」であるため、同じ種類の行事である「姉の誕生日」に撮影された画像の数を参照して、「姉の誕生日には姉を５０枚撮りました。もうすぐ弟の誕生日です。弟の誕生日にもたくさん弟を撮ってね」というメッセージを表示する。

以上説明した第１実施例の画像処理装置１０によれば、画像ファイルにより表される画像に含まれる対象人物の顔を認識し、各対象人物について、対象人物が被写体として表現されている画像の数を行事別に比較可能に表示できる。従って、ユーザにとって、各対象人物の行事ごとの画像数を容易に視認できるため、未来の行事においてどのような画像を撮影したらよいか（例えば、画像数が少ない対象人物が多く含まれるように撮影する）を考慮する際に有用であり、ユーザの利便性を向上できる。

また、第１実施例の画像処理装置１０によれば、集計結果とともに未来のスケジュールにおける撮影についてのアドバイスを表示でき、対象人物を平等に撮影することができるとともに、撮り忘れを抑制できる。

また、第１実施例の画像処理装置１０によれば、イベントデータベース１０６に関係人物情報が含まれているため、その行事において中心的に撮影すべき対象人物をユーザにアドバイスできる。

Ｂ．第２実施例：
第１実施例では、取得した画像ファイルを撮影日付でグループに分類し、分類された各グループと行事日付とを対応付けている。第２実施例の画像処理装置１０は、Ｅｘｉｆ情報に含まれるＧＰＳ情報を利用して画像ファイルをグループに分類し、分類された画像ファイルと撮影場所とを対応付け、各対象人物の場所ごとの画像の数を比較可能に表示する。第２実施例の画像処理装置１０の構成は、第１実施例と同様である。ただし、画像処理装置１０には、イベントテーブル３７０に代えて、所定の場所の位置を表す位置情報が登録されている。

Ｂ１．位置情報テーブル：
図１５を参照して、位置情報テーブル５００について説明する。図１５は、第２実施例における位置情報テーブル５００を表す。位置情報テーブル５００には、場所名称と、緯度を表す緯度情報および経度を表す経度情報を有する位置情報が含まれる。緯度情報の「Ｎ」は、「北緯」を示し、経度情報の「Ｅ」は「東経」を表している。例えば、「○×動物園」の位置は、「北緯 ２５度 １４８．８７分、東経 １２１度 ３３２．８分」であることを表す。

Ｂ２．分類処理：
画像ファイルは、第１実施例において説明したようにＥｘｉｆ情報４８０（図９）を含んでいる。図９に示すように、Ｅｘｉｆ情報４８０は、デジタルカメラが被写体を撮影した際の位置を表すＧＰＳ情報を含んでいる。ＧＰＳ情報には、位置情報テーブルと同様に、緯度を表す緯度情報および経度を表す経度情報が含まれている。

分類モジュール１２３は、位置情報テーブル５００の位置情報と画像ファイルのＥｘｉｆ情報のＧＰＳ情報とを参照し、位置情報に近似する緯度情報および経度情報を含むＧＰＳ情報を有する画像ファイルを同じグループに分類し、分類結果を表す分類結果テーブルを作成する。

Ｂ３．集計結果表示処理：
第２実施例における集計結果表示処理について説明する。集計モジュール１２４は、作成した分類結果テーブルと対象人物認識結果テーブル３６０とを用いて、各対象人物について、対象人物が被写体として表現されている画像の枚数を場所別に集計し、集計結果テーブルを作成する。

集計結果表示モジュール１２５は、集計結果表示モジュール１２５により生成された集計結果テーブルを用いて、集計結果画面をディスプレイに表示する。

集計結果画面４５０ａについて、図１６を参照して説明する。図１６は、第２実施例における集計結果画面を例示する説明図である。図１６に示すように、集計結果画面４５０ａには、集計結果４６０ａが含まれる。集計結果４６０ａには、対象人物ごとに、対象人物が被写体として表されている画像の数が場所別に表示されている。例えば、集計結果画面４５０ａに示すように、対象人物「姉」は、「○×動物園」で撮影された画像ファイルにより表される画像のうちの１００枚の画像に含まれており、「▲▲遊園地」で撮影された画像ファイルにより表される画像のうちの２０枚の画像に含まれていることを表している。

以上説明した第２実施例の画像処理装置１０によれば、対象人物が被写体として含まれている画像の数を、場所ごとに表示できる。従って、第２実施例の画像処理装置１０を利用することにより、ユーザは、対象人物ごとに、対象人物が被写体として含まれている画像の数を場所別に簡易に比較できる。

また、第２実施例では、集計結果画面４５０ａに示すように、対象物情報テーブル３５０に含まれる一部の対象人物について集計結果をディスプレイに表示している。こうすることにより、ユーザが所望する対象人物に対してのみ、集計結果表示処理を実行でき、画像処理装置１０の処理負荷の軽減および処理時間の短縮を図ることができる。また、ユーザの所望する対象人物についてのみ集計結果を表示できるため、ユーザは不要な情報を省略できるため、ユーザの利便性を向上できる。

第２実施例の集計結果画面４５０ａに、第１実施例の集計結果画面４５０と同様に、メッセージ表示部４７０が含まれていても良い。例えば、集計結果４６０ａに示すように、「○×動物園」で撮影された画像には、対象人物「弟」が被写体として表されている画像の数が、対象人物「姉」が被写体として表されている画像の数より少ないため、メッセージ表示部４７０に、「今度、○×動物園に行ったときには、弟をたくさん撮ってね」といったメッセージを表示してもよい。

Ｃ．第３実施例：
第１実施例では、取得した画像ファイルを撮影日付でグループに分類し、分類された各グループと行事日付とを対応付けている。第３実施例では、取得した画像ファイルの撮影日付を用いて、撮影日時が同じ期間に含まれる画像ファイルを同じグループに分類し、かかる分類結果を用いて集計結果を表示する。第３実施例におけるシステム構成は第１実施例と同様である。

Ｃ１．集計結果グラフ：
第３実施例において、画像処理装置１０の分類モジュール１２３は、画像ファイルのＥｘｉｆ情報を参照し、撮影日時の西暦で画像ファイルを分類する。

図１７を参照して、一定期間を表す期間情報を複数含む期間情報テーブル５０５について説明する。図１７は、第３実施例における期間情報テーブル５０５を例示する説明図である。期間情報テーブル５０５は、一定の期間を表す「期間」とかかる一定の期間を個別に表す「期間情報」とを含む。例えば、期間情報「２００３」が表す一定期間は「２００３．１．１〜２００３１２．３１」である。

分類モジュール１２３は、期間情報テーブル５０５と対象人物認識結果テーブル３６０とを参照して画像ファイルを分類する。集計モジュール１２４は、かかる分類結果と対象人物認識結果テーブル３６０とを用いて、対象人物ごとに、対象人物が被写体として含まれている画像の数を西暦別に集計する。集計結果表示モジュール１２５は、グラフを用いて集計結果を表示する。

集計結果を表す集計結果グラフについて説明する。図１８は、第３実施例における集計結果グラフ５１０を表す説明図である。集計結果グラフ５１０の縦軸は画像の数を示し、横軸は、西暦を示す。図１８に示すように、集計結果グラフ５１０は、折れ線グラフを用いて、対象人物ごとに、対象人物が被写体として含まれている画像の数を西暦別に集計した集計結果を表している。例えば、図１８に示すように、期間情報「２００４」が表す一定期間には、「姉」が含まれる画像を表す画像ファイルが約４００、「弟」が含まれる画像を表す画像ファイルが約３００撮影されたことを表している。

第３実施例の画像処理装置１０によれば、対象人物が被写体として含まれている画像の数を一定の期間ごとに集計し、集計結果を表示できる。従って、ユーザは、一定の期間ごとに、対象物が被写体として含まれている画像の数を簡易に比較できる。

また、本発明の画像処理装置１０によれば、グラフを用いて集計結果を表示できるため、ユーザは集計結果を簡易に確認できる。

Ｄ．第４実施例：
第４実施例では、対象人物の組合せを考慮して、対象人物の組合せごとに、画像の数を集計し、集計結果をディスプレイ１０２に表示する。第４実施例の分類モジュール１２３は、対象物情報データベース１０５に登録されている対象人物の組合せを表す組合せテーブルを生成する。

Ｄ１．組合せテーブル：
図１９を参照して、組合せテーブル５２０について説明する。図１９は、第４実施例における組合せテーブル５２０を例示する説明図である。図１９に示すように、組合せテーブル５２０には、対象人物の組合せ、例えば、対象人物「父」と「母」との組合せを表す「父母」や、対象人物「姉」と「弟」と組合せを表す「姉弟」が含まれる。

分類モジュール１２３は、作成した組合せテーブル５２０と対象人物認識結果テーブル３６０とを用いて、組合せテーブル５２０に含まれる組合せ別に画像ファイルを分類する。具体的には、例えば、対象人物認識結果テーブル３６０を参照して、画像ファイルにより表される画像に、対象人物「父」および「母」のみが含まれる画像ファイルを同じグループに分類する。

集計モジュール１２４は、各グループに含まれる画像ファイルの数を数え、集計結果テーブルを作成する。集計結果表示モジュール１２５は、集計結果テーブルを用いて、集計結果を表す集計結果グラフをディスプレイに表示する。

集計結果グラフ５２１について、図２０を参照して説明する。図２０は、第４実施例における集計結果グラフを例示する説明図である。集計結果グラフ５２１の横軸は組合せごとの画像ファイルの数を示す。図２０に示すように、集計結果グラフ５２１は、横棒グラフを用いて、組合せごとに、その組合せのみが被写体として含まれている画像の数を集計した集計結果を表している。集計結果グラフ５２１に示すように、例えば、組合せ「母姉」、すなわち、対象人物「母」と「姉」が被写体として含まれている画像ファイルの数は約１６０であり、組合せ「母弟」、すなわち、対象人物「母」と「弟」が被写体として含まれている画像ファイルの数は、約９０である。

以上説明した第４実施例の画像処理装置によれば、画像に含まれる対象物の組合せ別に、その組合せが被写体として表現されている画像ファイルの数を表示できる。従って、ユーザは、本発明の画像処理装置を利用することにより、対象物の組合せ別に画像の数を簡易に比較でき、各組合せを構成する対象人物が一緒に被写体として表現されている画像ファイルの数が平等となるように撮影することができる。

第４実施例において、画像処理装置１０は、集計結果グラフ５２１に代えて、図２１に示す集計結果グラフ５２２をディスプレイ１０２に表示してもよい。図２１は、第４実施例における集計結果グラフの別の表示例を示す説明図である。集計結果グラフ５２１は、対象人物の顔を切り出した顔画像６００〜６０３と、顔画像間を結ぶ直線（以降、第４実施例では、組合せ直線と呼ぶ）とを含んでいる。なお、顔画像６０１は対象人物「父」を、顔画像６０１は対象人物「母」を、顔画像６０２は対象人物「姉」を、顔画像６０３は対象人物「弟」を表している。

組合せ直線は、対象人物の組合せのパターンを表しており、組合せ直線の太さは各組合せが写体として含まれている画像ファイルの数に応じて異なる。例えば、組合せ直線には４種類の太さの直線が含まれており、組合せに含まれる全対象人物が被写体として表現されている画像ファイルの数が多いほど、太い組合せ直線が表示される。集計結果グラフ５２２に示すように、顔画像６００と顔画像６０１を結ぶ組合せ直線は最も細く、組合せ「父母」に含まれる全対象人物「父」および「母」が被写体として表現されている画像ファイルの数が少ない（例えば、３０枚以下）ことを表している。

こうすれば、各組合せを構成する対象人物が一緒に被写体として表現されている画像ファイルの多少を容易に視認できる。

Ｅ．変形例：
（１）上述の第１実施例〜第４実施例では、対象物情報データベース１０５には、対象物として人物が登録されているが、人物以外、例えば、犬猫等のペットなど、ユーザ自身が良く撮影するものを対象物に含んでも良い。

（２）上述の第１実施例では、パーソナルコンピュータである画像処理装置１０が集計表示処理を実行しているが、例えば、サーバとクライアントとをネットワークを介して接続し、サーバとクライアントとの間で情報の授受を行い、クライアントのディスプレイに集計結果を表示することで、ユーザに集計結果を提示しても良い。例えば、サーバが人物認識処理、分類処理、および集計処理を行い、集計結果をクライアントに通知し、クライアントは、通知された結果を表示してもよい。こうすれば、クライアントの処理負荷を軽減できる。また、例えば、サーバとクライアント間の通信をＨＴＴＰプロトコルで行い、ＷＥＢ上で集計結果表示処理を実行可能に提供しても良い。

（３）第１実施例では、集計ボタン４３０が押下されたことを契機として集計表示処理を実行しているが、集計ボタン４３０の押下に関係なく、例えば、デジタルカメラ３２から画像処理装置１０への画像ファイルの提供時、一定の間隔ごとに、または、未来の行事の日付が近づいてきたときなど、どのようなタイミングで実行されてもよい。また、未来の行事の日付が近づいてきた際に、自動的に、メッセージ表示部４７０に表示される内容と同様の内容のメッセージをユーザの携帯電話に送信してもよい。こうすることで、ユーザの撮影忘れ抑制できる。また、ユーザの携帯電話へのメッセージの送信に限らず、種々の方法でユーザにメッセージを報知してもよい。

（４）また、第１実施例〜第４実施例では、それぞれに予め定められた分類項目を用いて分類しているが、例えば、複数種類の分類項目を準備し、分類項目をユーザにより選択可能としてもよい。例えば、画像処理装置１０は、集計ボタン４３０の押下検出時に分類項目を選択可能な選択画面を表示し、ユーザにより選択された分類項目で分類してもよい。こうすれば、ユーザは、分類項目を柔軟に選択できるため、ユーザの利便性を向上できる。

以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成をとることができることは言うまでもない。

第１実施例における画像処理装置の機能ブロックを例示する説明図。 第１実施例における被写体の抽出について模式的に説明する説明図。 第１実施例における画像データの解析対象領域について説明する説明図。 第１実施例における解析対象とする被写体について説明する説明図。 第１実施例における対象物情報テーブルの内容を例示する説明図。 第１実施例における対象人物認識結果を例示する説明図。 第１実施例における対象人物認識処理を説明するフローチャート。 第１実施例におけるイベントテーブルを例示する説明図。 第１実施例におけるＥｘｉｆ情報を例示する説明図。 第１実施例における分類結果テーブルを例示する説明図。 第１実施例における集計結果テーブルを例示する説明図。 第１実施例におけるアルバム画面を例示する説明図。 第１実施例における集計表示処理について説明するフローチャート。 第１実施例における集計結果画面を例示する説明図。 第２実施例における位置情報テーブルを例示する説明図。 第２実施例における集計結果画面を例示する説明図。 第３実施例における期間情報テーブルを例示する説明図。 第３実施例における集計結果グラフを例示する説明図。 第４実施例における組合せテーブルを例示する説明図。 第４実施例における集計結果グラフを例示する説明図。 第４実施例における集計結果画面を例示する説明図。

符号の説明

１０…画像処理装置
２０…画像ファイル
３０…キーボード
３１…マウス
３２…デジタルカメラ
１００…ＣＰＵ
１０２…ディスプレイ
１０３…インターフェース
１０５…対象物情報データベース
１０６…イベントデータベース
１０７…画像ファイルデータベース
１０８…ステップ
１１０…ＲＡＭ
１２０…メモリ
１２１…画像ファイル取得モジュール
１２２…人物認識モジュール
１２３…分類モジュール
１２４…集計モジュール
１２５…集計結果表示モジュール
１２６…編集モジュール
２００…画像
２１０…画像データ
３００…肌色画素数テーブル
３５０…対象物情報テーブル
３６０…対象人物認識結果テーブル
３７０…イベントテーブル
３７０…ベントテーブル
３８０…分類結果テーブル
３９０…集計結果テーブル
４００…アルバム画面
４１０…画像表示部
４２０…個別アルバム表示ボタン
４３０…集計ボタン
４５０…集計結果画面
４５０ａ…集計結果画面
４６０…集計結果
４６０ａ…集計結果
４７０…メッセージ表示部
４８０…Ｅｘｉｆ情報
５００…位置情報テーブル
５０５…期間情報テーブル
５１０…集計結果グラフ
５２０…組合せテーブル
５２１…集計結果グラフ
５２２…集計結果グラフ
６００〜６０３…顔画像

Claims (12)

1. 画像処理装置であって、
   表示部と、
   被写体を含む画像ファイルを複数取得する取得手段と、
   対象物に関する情報を表す対象物情報を複数記憶する対象物情報記憶手段と、
   前記複数の画像ファイルを分類するための分類項目を含む分類情報を記憶する分類情報記憶手段と、
   前記対象物情報を用いて、前記各画像ファイルにより表現される画像に含まれる被写体に一致する前記対象物を特定する特定手段と、
   前記特定の結果および前記分類情報に基づき、前記複数の画像ファイルを分類する分類手段と、
   前記分類の結果を、前記分類項目別に比較可能に前記表示部に表示する表示制御手段と、を備える画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記画像ファイルには、前記画像ファイルの生成に関する生成情報が関連付けられており、
   前記分類手段は、
   前記生成情報および前記分類情報を参照して、前記複数の画像ファイルを前記各分類項目別にグループに分けるグループ分け手段と、
   前記グループ分けの結果および前記特定の結果に基づき、前記特定された各対象物が被写体として含まれる画像を表現する画像ファイルを前記分類項目別に分類する画像ファイル分類手段と、を備える、画像処理装置。
3. 請求項２記載の画像処理装置であって、
   前記生成情報は、前記画像ファイルの生成日時を表す生成日時情報を含み、
   前記分類情報は、行事の日付を表す日付情報を含む行事に関する行事情報を複数含み、
   前記グループ分け手段は、前記生成日時情報および前記行事情報を参照して、前記各日付情報と同一の前記生成日時を有する前記画像ファイルを同じ前記グループに分ける、画像処理装置。
4. 請求項２記載の画像処理装置であって、
   前記生成情報は、前記画像ファイルの生成日時を表す生成日時情報を含み、
   前記分類情報は、一定期間を表す期間情報を複数含み、
   前記グループ分け手段は、前記生成日時情報および前記期間情報を参照して、前記生成日時が同じ前記一定期間に含まれる画像ファイルを同じ前記グループに分ける、画像処理装置。
5. 請求項２記載の画像処理装置であって、
   前記生成情報は、前記画像ファイルが生成された生成位置を表す生成位置情報を含み、
   前記分類情報は、所定の場所の位置を表す位置情報を有する場所情報を複数含み、
   前記グループ分け手段は、前記生成位置情報および前記位置情報を参照して、前記生成位置が前記位置情報に近似する画像ファイルを同じ前記グループに分ける、画像処理装置。
6. 請求項１記載の画像処理装置であって、更に、
   前記分類情報は、前記対象物の組合せを表す組合せ情報を複数含み、
   前記分類手段は、前記組合せ情報および前記特定の結果を参照して、前記各組合せに含まれる全ての前記対象物が被写体として表現されている画像ファイルを、前記組合せ別に分類する、画像処理装置。
7. 請求項２ないし請求項５いずれか記載の画像処理装置であって、
   前記表示制御手段は、
   前記各対象物について、前記分類項目別に、前記分類された画像ファイルの数を算出する算出手段と、
   前記算出された画像ファイルの数を、前記各対象物について前記分類項目別に表示する表示手段と、を備える画像処理装置。
8. 請求項６記載の画像処理装置であって、
   前記表示制御手段は、前記分類された画像ファイルの数を前記分類項目別に表示する、画像処理装置。
9. 請求項１ないし請求項８いずれか記載の画像処理装置であって、更に、
   前記画像ファイルにより表される画像に含まれる被写体に関する被写体情報を取得する被写体情報取得手段と、
   前記被写体情報に基づき、前記被写体を前記特定手段による前記特定の対象とするかを決定する決定手段と、を備え
   前記特定手段は、前記分類の対象に決定された前記被写体に対して前記特定を行う、画像処理装置。
10. 請求項９記載の画像処理装置であって、
    前記対象物は人物であり、
    前記被写体情報は、前記画像ファイルに表されている人物の顔の大きさに関するサイズ情報を含み、
    前記決定手段は、前記被写体の顔の大きさが予め設定されている閾値よりも大きい被写体を、前記特定の対象とする、画像処理装置。
11. 請求項９記載の画像処理装置であって、
    前記被写体情報は、前記被写体の前記画像ファイルにより表される画像における位置に関する被写体位置情報を含み、
    前記決定手段は、前記被写体位置情報により表される位置が前記画像において予め設定されている特定領域に含まれる被写体を、前記特定の対象とする、画像処理装置。
12. 画像処理装置により実行される画像処理方法であって、
    被写体を含む画像ファイルを複数取得し、
    対象物に関する情報を表す対象物情報を複数記憶し、
    前記複数の画像ファイルを分類するための分類項目を含む分類情報を記憶し、
    前記対象物情報を用いて、前記各画像ファイルにより表現される画像に含まれる被写体に一致する前記対象物を特定し、
    前記特定の結果および前記分類情報に基づき、前記複数の画像ファイルを分類し、
    前記分類の結果を、前記分類項目別に比較可能に前記表示部に表示する、画像処理方法。

Images