JP2005049968A - 画像管理装置 - Google Patents

Abstract

【課題】複数の画像から、煩雑な操作を必要とすることなく代表的な画像を抽出する。
【解決手段】画像管理装置は、複数の画像から閲覧対象として所定枚数以下の代表画像を抽出する。画像管理装置は、予め設定された抽出条件を参照し、ユーザから、分類された画像が格納されているフォルダ内の任意の画像に表示されている人物のうち、抽出対象となる人物の指定を受け付け、テンプレートを作成する。次に、フォルダ内の画像を解析し、テンプレートによるパターンマッチングを行い代表画像の候補となる画像を抽出する。候補画像をパターンマッチングにより類似度を判定し、類似する画像ごとのグループに分け（ステップＳ５４）、かかるグループごとに画質を判定し（ステップＳ５５）、最も高画質の画像を代表画像として決定する（ステップＳ５６）。代表画像を代表画像フォルダへ格納する（ステップＳ５７）。
【選択図】 図９

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のファイルを分類・整理する技術に関する。
【０００２】
【従来の技術】
近年、デジタルカメラやコンピュータ技術、ネットワーク技術の発達に伴い、多数の画像ファイルがコンピュータ上に保存されている。ユーザが印刷、閲覧対象となる画像を効率的に選択できるように、これら多数の画像を分類、整理等行い管理しておくことが望まれる。
【０００３】
かかる多数の画像を分類する技術として、例えば、画像を撮影した日付、時刻、位置などの属性情報に基づいて分類する技術が挙げられる。また、画像撮影時に、ユーザにより設定された分類に必要な情報に基づき分類する、撮影時に音声を併せて記録し、かかる音声データをテキストデータに変換した属性情報に基づき分類する、画像の色調、風景などを解析し解析結果を属性情報として、この属性情報に基づき分類する等、種々の方法により分類を行っている。ユーザは、分類された画像を確認しながら、所望する画像を選択する。
【０００４】
また、多数の画像から所望の画像を検索する技術として、撮影時の撮影条件と、画像ファイルに対して行われた履歴情報とに基づき、多数のファイルから所望のファイルを検索する技術も存在する（特許文献１参照）。
【０００５】
【特許文献１】
特開平１１−２３４６０５号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上述の技術では、ユーザが、分類に必要な情報や属性情報を設定する必要があり、非常に煩雑であった。また、特許文献１に記載する技術では、検索された画像と所望する画像とが、必ずしも一致しないという問題もあった。
【０００７】
本発明は、上述の課題に鑑みてなされたものであり、煩雑な操作を必要とすることなく、多数の画像を分類・整理することを目的とする。
【０００８】
【課題を解決するための手段およびその作用・効果】
上述した課題の少なくとも一部を解決するために、本発明は以下の構成をとることとした。すなわち、
複数の画像を管理する画像管理装置において、
前記複数の画像を入力する画像入力部と、
前記複数の画像から、閲覧対象として所定枚数以下の代表画像を抽出するための抽出条件を、予め保持する抽出条件保持部と、
前記抽出条件に基づき、前記代表画像を抽出する抽出部とを備えることを要旨とする。
【０００９】
こうすることにより、オペレータの操作を必要とすることなく、複数の画像から代表的な画像を簡易に抽出することができ、利便性の向上を図ることができる。例えば、代表画像は、１枚であってもよいし複数であってもよい。入力する複数の画像の枚数により、抽出する代表画像の枚数を設定することとしてもよい。かかる抽出処理は、画像の入力時に即座に行うこととしてもよいし、ユーザからの指示をトリガとして行うこととしてもよい。
【００１０】
本発明の画像管理装置において、
更に、前記画像を、所定の基準で解析する画像解析部を備え、
前記抽出部は、前記解析結果を前記抽出条件として、前記抽出を行うこととしてもよい。
【００１１】
所定の基準とは、例えば、画像に表示されている人物や建築物、画像の属性情報などとすることができる。画像を解析する手法としては、色認識や、人物認識、特徴抽出による物体認識など種々の手法が挙げられる。こうすることにより、画像に対して、抽出処理を行うための設定を施すことなく、画像が有する情報に基づき代表的な画像を抽出することができ、好適である。
【００１２】
また、所定の基準とは、前記複数の画像の類似度、および、画質の少なくとも一方に基づき設定される基準であることとしてもよい。画像の類似度は、例えば、パターンマッチング法などにより、特定することとしてもよい。類似する画像のうち、１枚を代表画像とすることとしてもよい。また、例えば、画像撮影時における手ブレなど撮影条件による画質の低下の少ない高画質の画像を代表画像とすることとしてもよい。類似する画像のうち、高画質の画像を代表画像としてもよい。一般に、デジタルカメラなどにより撮影した画像は、類似する風景を連写したり、カメラ用三脚などに固定せず気軽に撮影したりするため、撮影される画像は類似画像や高画質・低画質の画像が混在することが多い。本発明によれば、かかる画像のなかから有用な画像を抽出することができ、利便性が向上する。
【００１３】
また、所定の基準とは、前記画像が生成された日時、位置を特定可能な位置情報、出所情報、前記画像生成時の条件のうち少なくとも１つに基づき設定される基準であることとしてもよい。こうすれば、容易に解析が行え、好適である。
【００１４】
画像が生成された日時は、例えば、デジタルカメラにより撮影された日時、画像処理ソフトにより作成された日時などとしてもよい。日時は、日付、時刻を別々に取り扱うこととしてもよい。また、位置情報とは、例えば、デジタルカメラ等に内蔵されているＧＰＳ機能により、画像を撮影した位置を、緯度／経度を使用して表すこととしてもよい。
【００１５】
出所情報とは、例えば、インターネット上からダウンロードした画像などに付与されるＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）等としてもよい。また、画像生成時の条件とは、例えば、「人物」「風景」「ビジネスシーン」などの画像のテーマとすることとしてもよい。かかるテーマは、撮影時によりユーザが任意に設定することができる項目の一つとしてもよい。テーマを「人物」として抽出する場合には、例えば、一日の間で、表示されている人物が均等に入るように設定することとしてもよいし、最も多く表示されている人物を抽出対象の人物として設定することとしてもよい。
【００１６】
上述した種々の所定の基準は、適宜組み合わせて使用し、抽出を行うこととしてもよい。こうすることにより、画像が有する簡易な情報を解析することにより、煩雑な設定を必要とせず、代表画像を抽出することができ、利便性が向上する。
【００１７】
また、本発明の画像管理装置において、
前記抽出に先立ち、前記複数の画像を、所定の分類基準に基づき分類する分類処理部とを備えることとしてもよい。
【００１８】
所定の分類基準とは、例えば、画像の属性情報、画像の撮影条件などとすることとしてもよい。分類した画像は、例えば、異なるフォルダに格納することとしてもよいし、フォルダ分けを行うことなく、別途分類結果の一覧表を内部的に保持することとしてもよい。属性情報に、分類結果を特定可能なフラグを付与することとしてもよい。
【００１９】
こうすることにより、画像を簡易に整理・保存することができる。また、分類した画像から、代表画像を抽出するため、分類処理を行う前の抽出処理に比べ、ユーザが所望する画像の抽出精度向上、パターンマッチングなどの処理時間の短縮を図ることができ、利便性が向上する。
【００２０】
本発明の画像管理装置において、前記分類処理部は、前記画像が生成された日時、位置を特定可能な位置情報、前記画像の出所情報のうち少なくとも１つを、前記分類基準として前記分類を行うこととしてもよい。こうすることにより、整理・保存に望ましい形態で、簡易に分類を行うことができ、好ましい。
【００２１】
また、本発明の画像管理装置において、
前記分類処理部は、ユーザにより設定される前記画像の属性情報を、前記分類基準として前記分類を行うこととしてもよい。
【００２２】
ユーザにより設定される属性情報とは、画像が生成された日時等のように自動的に設定される情報とは異なり、例えば、ユーザにより任意に、もしくは、選択により入力される「人物」「○○さん」「景色」「富士山」「プリンタ」「取引」など種々のキーワードとしてもよい。かかるキーワードは、画像生成時に設定することとしてもよいし、後から設定することとしてもよい。こうすることにより、分類基準を柔軟に設定することができ利便性の向上を図ることができる。
【００２３】
本発明の画像管理装置において、前記代表画像と、該代表画像以外の画像とを、異なる表示形態とする表示制御部を備えることとしてもよい。異なる表示形態とは、例えば、代表画像と、代表画像以外の画像とを同一フォルダに格納し、代表画像を可視とし、それ以外の画像を非表示とすることとしてもよい。かかる場合には、例えば、非表示とする画像に「非表示フラグ」を付与することで容易に実現可能である。また、例えば、代表画像と、それ以外の画像との表示サイズを異なるようにすることとしてもよい。こうすれば、簡易な構成で、どの画像が代表画像であるかを明瞭に表示することができ、利便性が向上する。
【００２４】
また、本発明の画像管理装置において、
更に、前記代表画像を格納する代表画像格納領域を設定する領域設定部を備え、
前記抽出部は、前記代表画像を、その他の画像とは別に、前記代表画像格納領域に格納することとしてもよい。
【００２５】
代表画像格納領域とは、例えば、代表画像を、代表画像以外の画像と異なるフォルダであるとしてもよい。複数のフォルダに分類された画像のうち、代表画像のみを、まとめて別のフォルダに格納することとしてもよい。また、代表画像格納領域は、例えば、フォルダに分けることなく、所定のアドレス領域を割り当てられていることとしてもよい。こうすることにより、代表画像を、他の画像と切り分けて管理することができる。代表画像以外の画像を削除することとしてもよい。
【００２６】
本発明は、上述の画像管理装置構成の他、入力された画像を管理する画像管理方法の発明として構成することもできる。また、上述の画像管理を実現するコンピュータプログラム、およびそのプログラムを記録した記録媒体、そのプログラムを含み搬送波内に具現化されたデータ信号など種々の態様で実現することが可能である。各態様において先に示した種々の付加的要素を適用することが可能である。
【００２７】
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、画像管理装置を制御するプログラム全体として構成するものとしても良いし、本発明の機能を果たす部分のみを構成するものとしても良い。また、記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態について、以下の項目に分けて説明する。
Ａ．実施例：
Ａ１．システム概要：
Ａ２．データ構成：
Ａ３．代表画像抽出処理：
Ａ４．分類処理：
Ａ４−１．分類詳細処理：
Ａ４−２．時刻による分類処理：
Ａ５．抽出詳細処理：
Ａ６．人物認識概要：
Ａ７．表示画面：
Ｂ．変形例：
【００２９】
Ａ．実施例：
Ａ１．システム概要：
図１は、本発明の実施例におけるシステム概要の一例を示す概略図である。デジタルカメラＤＣは、５００枚の画像を保持している。クライアント１０００は、デジタルカメラＤＣから入力された画像を５０枚ずつのフォルダに分類し、分類された画像から、更に２０枚を抽出し、かかる２０枚の画像をプリンタＰＲＴに送出する。プリンタＰＲＴは、受け取った画像を印刷し写真ＰＣＴを出力する。クライアント１０００には、画像の分類・抽出などを行う画像管理システムが構築されているため、以降、クライアント１０００を画像管理装置１０００と呼ぶこととする。
【００３０】
図１に、併せて、画像管理装置１０００の機能ブロックを示した。画像管理装置１０００は、主制御部１００と、画像入力部１０１と、分類処理部１０２と、分類条件１０３と、解析部１０４と、印刷処理部１０５と、抽出部１０６と、抽出条件１０７と、画像ＤＢ１０８とから構成される。分類条件１０３は分類処理部１０２の一部として、また、抽出条件１０７は抽出部１０６の一部として構成されている。
【００３１】
主制御部１００は、他の機能ブロックの制御、外部との情報の授受を行う機能を奏する。画像入力部１０１は、デジタルカメラＤＣから画像を受信し、画像ＤＢ１０８に格納する。分類処理部１０２は、画像ＤＢ１０８に格納されている画像を、分類条件１０３に従い、画像の属性情報を参照して、１フォルダ内の枚数が５０枚程度となるよう分類する。
【００３２】
解析部１０４は、画像を解析し、画像の特徴量抽出による色認識、人物認識、類似度、画質の判定などを行う機能を奏する。色認識は、色の濃淡やＲＧＢ値などから画像に含まれる色を認識する。色認識により、人物の顔の位置や大きさなどを特定する。人物認識は、両目、鼻孔、口端などの特徴点を見つけ出し、その間隔や場所といった幾何学的な関係情報からその人物のテンプレートファイルを作成し、テンプレートファイルと画像をマッチングさせて行うパターンマッチングという手法を使用する。類似度の判定においても、パターンマッチングを使用する。
【００３３】
抽出部１０６は、抽出条件１０７と、解析部１０４の解析結果とから、フォルダに分類された画像から抽出条件に適合する２０枚程度の画像を抽出する。本実施例では、抽出条件として「同一人物」が設定されており、ユーザから人物の指定を受け付けて、かかる人物が表示されている画像のうち、高画質の画像を抽出することとした。
【００３４】
印刷処理部１０５は、抽出部１０６により抽出された２０枚の画像を順に展開し、プリンタＰＲＴへ送出する処理を行う。
【００３５】
図２（ａ）に、分類条件１０３を示した。分類条件１０３には、優先順位の高い順に分類条件が設定されている。１回目の分類処理で、優先順位が最も高い「Ｎｏ．１：日付」という分類条件で分類処理を行う。すなわち、画像の属性情報に含まれる画像の生成日時を参照し、日付が同一である画像をまとめて一つのフォルダに格納する。かかるフォルダ内に、５０枚以上の画像が格納される場合には、次に優先順位の高い「Ｎｏ．２：位置情報」という分類条件で分類する。この処理を繰り返し、１フォルダ内の画像枚数が５０枚程度となるまで分類処理を行う。
【００３６】
図２（ｂ）には、抽出条件１０７を示した。抽出条件１０７は、図示するように、抽出条件として、大きく３つのカテゴリーに分けられる。抽出条件は、共通条件とカテゴリー別条件とから構成されている。共通条件には、「類似度」、「画質」が挙げられる。「類似度」とは、画像全体の濃淡の度合いやエッジなどによる全体的な類似度を示し、「画質」とは、画像のボケや雑音の度合いを示す。カテゴリー別条件には、「人物」と「風景」と「ビジネス」等が挙げられる。一例として、「人物」の抽出条件を説明する。
【００３７】
カテゴリーが「人物」である抽出条件としては、「Ｎｏ１：人物の大きさ」、「Ｎｏ．２：同一人物」、「Ｎｏ．３：人数」等が挙げられる。「Ｎｏ１：人物の大きさ」を抽出条件とする場合には、抽出部１０６は、画像に表示されている人物の大きさに基づき、代表画像として抽出するか否かを判断する。「Ｎｏ．２：同一人物」を抽出条件とする場合には、抽出部１０６は、ユーザにより指定された人物と同一人物が表示されている画像を代表画像として抽出する。「Ｎｏ．３：人数」を抽出条件とする場合には、抽出部１０６は、複数人表示されている画像、一人のみ表示されている画像など、表示されている人数に基づき、代表画像として抽出するか否かを判断する。人物の重複がないように、人物ごとに代表画像を抽出することとしてもよい。
【００３８】
カテゴリーが「風景」である抽出条件としては、「Ｎｏ１：同一場所」、「Ｎｏ．２：人物の存在」、「Ｎｏ．３：色」等が挙げられる。「Ｎｏ１：同一場所」を抽出条件とする場合には、抽出部１０６は、同一もしくは類似する画像を同一場所と判断し、それらを代表画像として抽出する。「Ｎｏ２：人物の存在」を抽出条件とする場合には、抽出部１０６は、人物が表示されていない画像を風景の代表画像として抽出する。「Ｎｏ．３：色」を抽出条件とする場合には、抽出部１０６は、ユーザが指定する色の成分を多く含む画像を代表画像として抽出する。
【００３９】
カテゴリーが「ビジネス」である抽出条件としては、「Ｎｏ１：商品」、「Ｎｏ．２：商品（レーザープリンタ）」「Ｎｏ．３：商品（インクジェットプリンタ）」等が挙げられる。「Ｎｏ１：商品」を抽出条件とする場合には、抽出部１０６は、プリンタ、プロジェクタなどの商品として扱われるものが表示されている画像を、代表画像として抽出する。「Ｎｏ２：商品（レーザープリンタ）」を抽出条件とする場合には、抽出部１０６は、レーザープリンタが表示されている画像を代表画像として抽出する。「Ｎｏ．３：商品（インクジェットプリンタ）」を抽出条件とする場合には、抽出部１０６は、インクジェットプリンタが表示されている画像を代表画像として抽出する。レーザープリンタとインクジェットプリンタとの区別は、予めテンプレートファイルを準備しておくこととが好ましい。
【００４０】
Ａ２．データ構成：
図３は、本実施例において使用される画像のデータ構成の一例を示す説明図である。図３（ａ）は、画像１０を表している。画像１０は、デジタルカメラＤＣで撮影された画像であり、図示するように、山の前に人物が一人のみ表示されている。かかる画像１０のデータ構成を図３（ｂ）に示した。
【００４１】
画像１０は、画像の作成日時などの情報が含まれる属性情報１１と、画像データ１２とから構成される。属性情報１１は、図示するように、ファイル名「ｐｉｃ００１．ｊｐｇ」、サイズ「５００ＫＢ」、作成日時「２００３年２月６日 １３：５６」、位置情報「緯度：３６．４５ 経度１６５．７４」、キーワード「人物」という情報を有する。ファイル名は、画像の名前を示しており撮影時に自動的に付与される。サイズは、画像のサイズを示しており、作成日時は、画像１０が作成された、つまり、撮影された日時を示している。デジタルカメラＤＣは、ＧＰＳ機能を備えており、位置情報は、かかるＧＰＳ機能により、撮影した場所を緯度／経度により示している。キーワードは、ユーザが任意に入力し設定する付加情報である。本実施例では、分類処理時にこれらの情報を参照して分類を行う。
【００４２】
Ａ３．代表画像抽出処理：
図４は、本実施例における代表画像を抽出する処理を説明するフローチャートである。かかる処理は、主制御部１００が他の機能ブロックを制御して行う処理であり、画像管理装置１０００が、デジタルカメラＤＣからの画像の入力を受け付けることにより開始される。
【００４３】
画像管理装置１０００は、デジタルカメラＤＣから画像の入力を受け付ける（ステップＳ１０）と、分類条件に従い、画像を１フォルダ５０枚程度となるよう分類する（ステップＳ１１）。分類処理に関しては後述する。
【００４４】
次に、画像管理装置１０００は、抽出条件を参照して、代表画像を抽出し（ステップＳ１２）、代表画像を可視に、代表画像以外の画像を不可視に表示する（ステップＳ１３）。抽出処理時に、代表画像を識別するためのフラグを付与したり、フォルダ分けをしたりすることとすれば、表示処理を簡易に行うことができ、好適である。
【００４５】
画像管理装置１０００は、ユーザからの印刷指示を受け、かかる代表画像をプリンタＰＲＴに送出し、印刷を行う（ステップＳ１４）。ユーザからの印刷指示なしに、そのまま印刷を行うこととしてもよい。印刷処理は省略することとしてもよい。本実施例では、ステップＳ１２における抽出処理の抽出条件は、カテゴリーが「人物」の「Ｎｏ．２：同一人物」とする。
【００４６】
このようにして、画像管理装置１０００は、デジタルカメラＤＣにより撮影した画像を分類し、必要な画像を抽出して印刷を行う。以降では、分類処理、抽出処理について詳細な処理を説明する。
【００４７】
Ａ４．分類処理：
図５は、本実施例における分類処理を説明するフローチャートである。図４におけるステップＳ１１に示す処理である。
【００４８】
画像管理装置１０００は、分類条件１０３を参照し（ステップＳ２０）、優先順位の上位から順に分類条件を選択する（ステップＳ２１）。本実施例では、図示するように、優先順位は、高い順に「Ｎｏ．１：日付」「Ｎｏ．２：位置情報」「Ｎｏ．３：時刻」・・・であるため、最初に、日付を分類条件として選択する。次に、画像の属性情報に含まれる画像の作成日時を参照して、各画像を日付で分類し、フォルダに格納する（ステップＳ２２）。図示するように、画像の作成された日付が「２００３年４月１２日」である画像を一つのフォルダ「２００３０４１２」にまとめて格納する。他の画像も同様に分類する。
【００４９】
画像管理装置１０００は、選択した分類条件で全ての画像を分類し終えると、各フォルダ内の画像の枚数が、５０枚以下であるか否かを確認する。（ステップＳ２３）。５０枚以下である場合には、分類処理を終了し代表画像の抽出処理を行い、５０枚以下でない場合には、ステップＳ２１へ戻り、次に優先順位の高い「Ｎｏ．２：位置情報」を分類条件として選択し分類処理を行う。かかる場合の分類処理は、１フォルダ内に格納されている画像を、更に、複数のフォルダに分類することにより、１フォルダ内の画像の枚数を少なくすることとしている。日付による分類結果を、更に位置情報により分類しても、いまだ１フォルダに格納されている画像の枚数が５０枚以下とならない場合には、更に、「Ｎｏ．３：時刻」を分類条件として選択し、同様の分類処理を行い、１フォルダに格納される画像の枚数が５０枚以下となるまで繰り返す。
【００５０】
Ａ４−１．位置情報による分類処理：
図６は、本実施例における位置情報による分類処理を説明するフローチャートである。日付で分類しても、１フォルダ内の枚数が５０枚以下とならない場合に行う処理である。
【００５１】
画像管理装置１０００は、分類条件として位置情報を選択すると、分類されたフォルダ毎に、格納されている画像の属性情報に含まれる位置情報を参照し、図示するように、かかる位置情報が示す緯度／経度を、グラフにプロットする（ステップＳ３０）。グラフにおける「ＬＡＴ」とは、緯度を示しており、「ＬＯＮ」は経度を示している。
【００５２】
次に、画像管理装置１０００は、プロットされた結果に基づき、近傍に存在する点同士をグループ化する（ステップＳ３１）。図示するように、左上周辺に集中する点をグループＡとし、右上周辺に集中する点をグループＢとし、下方に集中する点をグループＣとする。グループ化された結果に基づき、グループ毎に異なるフォルダへ格納することにより分類を行う（ステップＳ３２）。本実施例では、プロットされた結果を画像として取り扱い、膨張処理を施して、ラベリングによるグループ化を行うこととした。膨張処理とは、ある画素の８近傍に一つでも「０」でない画素が存在する場合に、その画素を「１」とする処理であり、画素間を連結させ近傍に存在する画素同士を一つの領域として形成する処理である。ラベリングとは、連結された画素同士に、例えば数字などの同じラベルを付与することにより、グループ化を行う処理である。こうすれば、孤立した画素により示される画像においても、膨張処理により連結領域を形成しラベリングすることで分類するグループを決定することができる。
【００５３】
Ａ４−２．時刻による分類処理：
図７は、本実施例における時刻による分類処理を説明するフローチャートである。日付および位置情報による分類を行っても、１フォルダ内の画像の枚数が５０枚以下とならない場合に行う処理である。
【００５４】
画像管理装置１０００は、分類条件として時刻を選択すると、分類されたフォルダ毎に、格納されている画像の属性情報に含まれる時刻を参照する。かかる時刻情報に基づき、時刻をキーとして画像を昇順に並び替える（ステップＳ４０）。併せて、昇順に並び替えた画像を、時間間隔に沿って時間軸に配置した図を模式的に示した。並び替え後の画像を、説明の便宜上、時刻の早い画像、すなわち、図の最左の画像を「画像Ｐ１」とし、以降、順にＰ２、Ｐ３・・Ｐｎとする（ｎは１以上の整数）。
【００５５】
画像管理装置１０００は、次に、並び替えた画像に対して、任意の画像と、その直前の画像との時間間隔を算出する（ステップＳ４１）。算出結果をグラフにプロットした図を併せて示した。「ｄｎ」は、「画像Ｐｎ」と「画像Ｐｎ＋１」との時間間隔を示しており、例えば、「ｄ１」は画像Ｐ１とＰ２との時間間隔であり、図示するように「４分」であることを示している。同様に、ｄ２は６分、ｄ３は５分・・と示している。
【００５６】
次に、かかる時間間隔ｄｎと、時間間隔の平均値との差分を抽出し、画像を分類するための区切り位置を判定する（ステップＳ４２）。区切り位置の判定としては、平均値との差分が、「平均値＊５未満」である場合には、時間間隔が短い、すなわち関連性の高い画像であると判断して、区切り位置でないと判定する。平均値との差分が、「平均値＊５以上」である場合には、時間間隔が長い、すなわち関連性が低い画像であると判断して区切り位置と判定する。本実施例では、判定に「平均値＊５」という値を使用したが、かかる値は任意に設定可能である。図に、時間間隔、平均値、差分、区切り位置判定結果をリストに表した。
【００５７】
リストの作成順序を図中（１）〜（５）に示した。まず、ｄ１は「４」であり、この時点で平均値はｄ１と同じ「４」である（１）。よって平均値とｄ１との差分は「０」となり判定は「０」となる（２）。次に、矢印に示すように、平均値「４」と、ｄ２である「６」との差分を算出する（３）。差分は「２」であり、『平均値＊５』すなわち「４＊５＝２０」未満であるため、判定は「０」となる（４）。そして、この平均値「４」と、差分ｄ２とから、平均値を更新する（５）。更新した結果は「５」であり、（３）〜（５）を繰り返して平均値を更新しつつ区切り位置を判定する。平均値を更新することにより、より精度の高い差分を算出することができ、より精密な分類処理を行うことができる。
【００５８】
判定結果が「１」である場合には、次の区切り位置を判定するため、平均値を初期化し、（１）からの処理を行う。すなわち、図示するように、ｄ７における判定結果が「１」であるため、（１）からの計算をｄ８から行う。
【００５９】
画像管理装置１０００は、時間間隔「ｄ７」における判定結果が「１」であることから、画像Ｐ７とＰ８の間が、分類の区切りであると特定する（ステップＳ４３）。かかる区切り位置までの画像をひとまとまりとしてフォルダに分けて分類処理を行う（ステップＳ４４）。
【００６０】
Ａ５．抽出詳細処理：
図８および図９は、本実施例における抽出処理を説明するフローチャートである。図４のステップＳ１２における処理である。
【００６１】
画像管理装置１０００は、抽出条件を参照し、カテゴリーが「人物」であり、「Ｎｏ．２：同一人物」という抽出条件を得る（ステップＳ５０）。次に、ユーザから、任意の画像に表示されている人物のうち、抽出対象となる人物の指定を受け付ける（ステップＳ５１）。図示するように、「ｐｉｃ００４．ｊｐｇ」には、Ａ、Ｂ、Ｃの３人の人物が表示されており、ユーザは、太矢印で示すように、Ａの人物を抽出対象として指定する。画像管理装置１０００は、かかる指定を受けて、人物Ａのテンプレートファイルを作成する。
【００６２】
画像管理装置１０００は、かかる指定を受けると、分類された画像が格納されているフォルダ内の画像を解析し、各画像の特徴量を抽出する（ステップＳ５２）。図に、フォルダ内の画像を模式的に示した。分類された画像として「ｐｉｃ００１．ｊｐｇ」〜「ｐｉｃ００６．ｊｐｇ」が格納されている。各画像の特徴量とは、画像に含まれる色や、表示されている物の形状などが挙げられる。色認識により、画像内の肌色領域から人物の顔位置を特定したり、形状認識により背景に映っている山や建物などを特定したりする。そして、人物の顔の、目、鼻、口などの部品が固有に持つ特徴量とテンプレートファイルとから、人物認識を行う。
【００６３】
次に、画像管理装置１０００は、人物認識の結果を受けて、代表画像の候補となる画像を抽出する（ステップＳ５３）。図示するように、「ｐｉｃ００１．ｊｐｇ」〜「ｐｉｃ００５．ｊｐｇ」には、指定された人物「Ａ」が含まれているため、「Ａｖａｉｌａｂｌｅ」、すなわち、候補画像であるとされ、「ｐｉｃ００６．ｊｐｇ」には、人物「Ａ」が含まれていないため、「Ｎ．Ａ（Ｎｏｔ Ａｖａｉｌａｂｌｅ」とされる。
【００６４】
次に、画像管理装置１０００は、「ａｖａｉｌａｂｌｅ」と判断された画像に対して、各画像の特徴量に基づきパターンマッチングを行い、類似する画像をグループ化する（ステップＳ５４）。図示するように、グループＡには、人物「Ａ」が一人で表示された類似画像である「ｐｉｃ００１．ｊｐｇ」、「ｐｉｃ００２．ｊｐｇ」、「ｐｉｃ００３．ｊｐｇ」が含まれる。グループＢには、人物が３人表示された類似画像である「ｐｉｃ００４．ｊｐｇ」、「ｐｉｃ００５．ｊｐｇ」が含まれる。
【００６５】
次に、画像管理装置１０００は、類似画像をまとめた各グループから、画質を判定する（ステップＳ５５）。本実施例では、類似する画像をまとめたグループから、最も画質の良い画像と、そうでない画像とを区別することとした。画質の判定は、画像のエッジ抽出度合いと、濃淡度合いなどから判定する。図示するように、グループＡでは、「ｐｉｃ００１．ｊｐｇ」が「ｇｏｏｄ」と判定されており、「ｐｉｃ００２．ｊｐｇ」、「ｐｉｃ００３．ｊｐｇ」が「ｎｏ ｇｏｏｄ」と判定されている。すなわち、グループＡにおいて、「ｐｉｃ００１．ｊｐｇ」が最も画質が良いことを表している。グループＢに関しても同様である。
【００６６】
かかる画質判定を受けて、画像管理装置１０００は、判定が「ｇｏｏｄ」である画像を代表画像として決定する（ステップＳ５６）。図に併せて、各画像について、代表画像とするか否かを判定したリストを示した。判定が「０」である場合には、その画像は、代表画像ではないと決定され、「１」である場合には、代表画像であると決定される。すなわち、「ｐｉｃ００１．ｊｐｇ」「ｐｉｃ００５．ｊｐｇ」が代表画像であることを示している。
【００６７】
画像管理装置１０００は、代表画像を決定すると、かかる代表画像の格納場所を、分類処理時に分類したフォルダから、代表画像を格納する代表画像フォルダへ変更する（ステップＳ５７）。
【００６８】
ステップＳ５１において、ユーザによる人物の指定を省略することとしても良い。この場合には、例えば、「Ａ」「Ｂ」「Ｃ」それぞれの人物を抽出対象とし、人物ごとに代表画像を抽出することも可能である。
【００６９】
Ａ６．人物認識概要：
図１０は、本実施例における人物認識処理を模式的に示す説明図である。パターンマッチングを使用して人物認識を行うためには、その人物のテンプレートファイルを作成する必要がある。本実施例では、以下のような情報に基づきテンプレートファイルを作成することとした。
【００７０】
画像２０は、人物の顔部分を切り出した画像である。顔の中心点Ｑからの目、鼻など各顔部品への距離や、点線で示す顔の縦横比、また、矢印２４に示す左右の目の間の間隔などを検出し、かかる情報をテンプレートファイルに含めることとした。更に、顔中心より上部に存在する略楕円形状の領域は目である、と判断でき、図示するように、目２１を切り出して傾きや大きさ、形状を抽出する。左右の目で異なる特徴量を持つため、それぞれ別個に特徴量を抽出することにより、認識精度が向上する。また、中心部分の略三角形状の領域は、鼻領域であると判断し、鼻２２として切り出して、目２１と同様に特徴量を抽出する。また、中心部分から下部に存在し、赤色成分が強い領域は、口領域であると判断し、同様に特徴量を抽出する。これらの情報に基づき、特定の人物のテンプレートファイルを作成し、かかるテンプレートファイルと比較しながらパターンマッチングを行うことにより人物認識を行う。
【００７１】
Ａ７．表示画面：
図１１は、本実施例における代表画像を表示する画面例を示す説明図である。画面３０には、抽出処理により抽出された代表画像「ｐｉｃ００１．ｊｐｇ」「ｐｉｃ００５．ｊｐｇ」が表示されている。代表画像は、代表画像フォルダに格納されているため、かかるフォルダの内容をそのまま表示した態様となる。
【００７２】
以上説明した第１実施例の画像管理装置によれば、煩雑な設定を必要とすることなく、多数の画像の中から代表的な画像を抽出することができ、利便性が向上する。また、本発明によれば、抽出条件を簡易に設定できるため、ユーザが必要とする画像に近い画像を抽出することができる。
【００７３】
上述した実施例では、カテゴリーが「人物」である画像を抽出することとしたが、抽出条件のカテゴリーは、他に「風景」「ビジネス」が挙げられる。図１３に、カテゴリーが「風景」であり、抽出条件「Ｎｏ．２：人物の存在」を選択した場合の抽出処理を説明するフローチャートを示した。図８におけるステップＳ５２〜Ｓ５３に対応する処理である。画像管理装置１０００は、抽出条件が「Ｎｏ．２：人物の存在」である場合には、人物が表示されていない画像を抽出する。
【００７４】
画像管理装置１０００は、任意のフォルダ内の画像を解析し、各画像の特徴量を抽出する（ステップＳ６０）。図示するように、フォルダ内には、「ｐｉｃ１０１．ｊｐｇ」〜「ｐｉｃ１０６．ｊｐｇ」という画像が存在しており、各画像における色分布や形状認識から画像の特徴量を抽出する。
【００７５】
次に、画像管理装置１０００は、かかる特徴量に基づき、人物が表示されているか否かを判断し、人物が表示されていない画像を候補画像として抽出する（ステップＳ６１）。図示するように、「ｐｉｃ１０２．ｊｐｇ」、「ｐｉｃ１０５．ｊｐｇ」には、人物が表示されているため、候補画像として抽出される画像は、「ｐｉｃ１０１．ｊｐｇ」「ｐｉｃ１０３．ｊｐｇ」「ｐｉｃ１０４．ｊｐｇ」「ｐｉｃ１０６．ｊｐｇ」である。そして、画像管理装置１０００は、図８のステップＳ５４に移行し、処理を続行する。
【００７６】
また、図１３には、カテゴリーが「ビジネス」であり、抽出条件「Ｎｏ．２：商品（レーザープリンタ）」を選択した場合の抽出処理を説明するフローチャートを示した。図８におけるステップＳ５２〜Ｓ５３に対応する処理である。画像管理装置１０００は、抽出条件が「Ｎｏ．２：商品（レーザープリンタ）」である場合には、レーザープリンタが表示された画像を抽出する。
【００７７】
画像管理装置１０００は、任意のフォルダ内の画像を解析し、各画像の特徴量を抽出する（ステップＳ７０）。図示するように、フォルダ内には、「ｐｉｃ２０１．ｊｐｇ」〜「ｐｉｃ２０６．ｊｐｇ」という画像が存在しており、各画像における色分布や形状認識から画像の特徴量を抽出する。
【００７８】
画像管理装置１０００は、図示するように、レーザープリンタが表示されている「ｐｉｃ２０１．ｊｐｇ」および「ｐｉｃ２０４．ｊｐｇ」を候補画像として抽出し（ステップＳ７１）、図８のステップＳ５４に移行し、処理を続行する。レーザープリンタとして認識するためには、予め、レーザープリンタのテンプレートファイルを画像管理装置１０００内に準備しておくこととしても良いし、ユーザがテンプレートファイルとなる画像を指定することとしてもよい。
【００７９】
Ｂ．変形例：
Ｂ１．変形例１：
上述した実施例では、 代表画像は、代表画像フォルダに格納することとしたがこれに限られず、同一フォルダ内に格納することとしてもよい。かかる場合には、代表画像とそれ以外の画像とを区別するために、代表画像と決定された画像に、代表フラグを付加することで簡易に実現可能である。図１５に、上述した実施例における代表画像の画面表示の変形例を示した。
【００８０】
図１５（ａ）は、代表画像を可視とし、代表画像でない画像を不可視として表示した画面例である。画面４０には、代表フラグがオンとされている画像を可視としそれ以外の画像を不可視として処理している。図示するように、実線で示す画像「ｐｉｃ００１．ｊｐｇ」、「ｐｉｃ００４．ｊｐｇ」が代表画像であり、可視である。それ以外の破線で示す画像は、不可視である。こうすれば、ユーザは、他の画像を削除することなく代表画像を容易に認識でき、好適である。分類された状態で保存できるため、管理上の観点からも好ましい。また、代表画像フォルダに、複製した画像を格納することに比較して、使用容量を節約することができる。
【００８１】
図に示した表示ボタン４１は、かかるボタンを押下することにより、代表フラグがオフであり不可視と処理されている画像を可視に切り換える。こうすれば、簡易な構成で他の画像を確認でき利便性が向上する。かかるボタンは、押下するたびに代表フラグがオフの画像の「表示」「非表示」を繰り返すこととしてもよい。
【００８２】
図１５（ｂ）は、代表画像を、それ以外の画像より大きいサイズで表示した画面例である。図示するように、画面５０には、代表画像「ｐｉｃ００１．ｊｐｇ」、「ｐｉｃ００４．ｊｐｇ」が、その他の画像より大きいサイズで表示されている。こうすれば、代表画像とそうでない画像とを簡易に認識することができると共に、代表画像以外の画像をも、特別な操作を行うことなく確認できる。
【００８３】
Ｂ２．変形例２：
また、本発明の別の態様として、長期間に亘り、複数のフォルダに保存されている画像を関連づけ、所定の枚数を時系列に編成することもできる。かかる処理を図１６に示した。図１６は、本実施例の変形例として、代表画像抽出処理を説明するフローチャートである。本変形例では、全てのフォルダ内に格納されている画像に表示されている人物のうち、ユーザにより指定された人物を抽出対象人物として特定し抽出する。かかる抽出処理においては、抽出対象人物の特徴量が大きくは変化しないと考えられる時間密度の画像であることが好ましい。
【００８４】
画像管理装置１０００は、既に、所定の条件で、複数のフォルダに分類されている画像を、日時の昇順に並び替える（ステップＳ８０）。次に、図７に示す分類処理により、フォルダに再分類する（ステップＳ８１）。かかる処理は省略しても構わない。
【００８５】
画像管理装置１０００は、任意のフォルダ内の画像を解析し（ステップＳ８２）、出現回数が最多の人物を、代表画像として抽出すべき対象人物と特定する（ステップＳ８３）。次に、画像管理装置１０００は、図１１に示したように、かかる対象人物のテンプレートファイルを作成する（ステップＳ８４）。
【００８６】
画像管理装置１０００は、フォルダ内の画像に対して、時系列順にパターンマッチングを行い（ステップＳ８５）、対象人物が表示されているか否かを判断する（ステップＳ８６）。対象人物が表示されている場合には、かかる画像を代表画像の候補画像として抽出し（ステップＳ８７）、現在使用しているテンプレートファイルと、かかる画像とから、テンプレートファイルを更新する（ステップＳ８９）。対象人物が表示されていない場合には、次の画像を参照し（ステップＳ８７）、ステップＳ８５へ戻り、次の画像とのパターンマッチングを行う。テンプレートファイルは、時系列に沿って随時更新されるため、長期的に撮影された画像なども煩雑な設定を行うことなくパターンマッチングを行うことができる。テンプレートファイルは、例えば、１ヶ月などの所定の期間ごとに作成し、置き換えることで更新することとしてもよいし、現在使用しているテンプレートファイルと、候補画像として抽出された画像との差分に基づき更新することとしてもよい。
【００８７】
図１６へ進み説明を続ける。画像管理装置１０００は、１枚の画像のパターンマッチングを終了する毎に、かかる画像がフォルダ内の最後の画像か否かを判断する（ステップＳ９０）。最後の画像でない場合には、次の画像を参照し（ステップＳ９１）、ステップＳ８５へ戻り、次の画像とのパターンマッチングを行う。最後の画像である場合には、処理中のフォルダが最後のフォルダか否かを判断する（ステップＳ９２）。最後のフォルダでない場合には、次のフォルダへ進み（ステップＳ９３）、ステップＳ８２からの処理を行う。最後のフォルダである場合には、図８のステップＳ５４へ戻り、処理を続行する。
【００８８】
こうすることにより、例えば、１０年間といった長期間に亘って撮影され、その都度、別々のフォルダに管理された関連性の低い膨大な枚数の画像であっても、それらを関連づけ、それらのなかからユーザが所望する画像を抽出することができ、利便性が向上する。本発明の形態は、例えば、成長記録などを作成する場合に好適である。上述のステップＳ８３では、抽出対象人物をユーザの指定により特定することとしたが、例えば、出現回数の最多の人物を対象人物として特定することとしてもよい。
【００８９】
Ｂ３．変形例３：
本実施例では、抽出条件として、画像の解析結果を使用することとしたが、これに限られない。画像の属性情報に基づき、抽出条件を設定することとしてもよい。
【００９０】
Ｂ４．変形例４：
本実施例では、分類処理を行った後に、抽出処理を行うこととしたが、分類処理を行わず、抽出処理を行うこととしてもよい。例えば、入力された画像が、同じ日付、同じ場所、時間間隔が一定などである場合には、分類処理を行っても適切な枚数に分類されない場合がある。かかる場合には、分類処理を行わずに抽出処理を行うことにより、全体的な処理時間を短縮することができる。
【００９１】
以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されずその趣旨を逸脱しない範囲で種々の構成を取ることができることはいうまでもない。
【図面の簡単な説明】
【図１】実施例におけるシステム概要の一例を示す概略図である。
【図２】実施例における分類条件、抽出条件を例示する説明図である。
【図３】実施例における画像のデータ構成の一例を示す説明図である。
【図４】実施例における代表画像を抽出する処理を説明するフローチャートである。
【図５】実施例における分類処理を説明するフローチャートである。
【図６】実施例における位置情報による分類処理を説明するフローチャートである。
【図７】実施例における時刻による分類処理を説明するフローチャートである。
【図８】実施例における抽出処理を説明するフローチャートである。
【図９】実施例における抽出処理を説明するフローチャートである。
【図１０】実施例における人物認識処理を模式的に示す説明図である。
【図１１】実施例における代表画像を表示する画面例を示す説明図である。
【図１２】実施例における抽出処理を説明するフローチャートである。
【図１３】実施例における抽出処理を説明するフローチャートである。
【図１４】実施例における代表画像の画面表示の変形例である。
【図１５】実施例の変形例として代表画像抽出処理を説明するフローチャートである。
【図１６】実施例の変形例として代表画像抽出処理を説明するフローチャートである。
【符号の説明】
１０００…画像管理装置
１０…画像
１１…属性情報
１２…画像データ
２１…目
２２…鼻
２３…口
２４…矢印
３０…画面
３６…位置情報
４０…画面
４１…表示ボタン
５０…画面
１００…主制御部
１０１…画像入力部
１０２…分類処理部
１０３…分類条件
１０４…解析部
１０５…印刷処理部
１０６…抽出部
１０７…抽出条件

Claims (11)

1. 複数の画像を管理する画像管理装置であって、
   前記複数の画像を入力する画像入力部と、
   前記複数の画像から、閲覧対象として所定枚数以下の代表画像を抽出するための抽出条件を、予め保持する抽出条件保持部と、
   前記抽出条件に基づき、前記代表画像を抽出する抽出部とを備える画像管理装置。
2. 請求項１記載の画像管理装置であって、
   更に、前記画像を、所定の基準で解析する画像解析部を備え、
   前記抽出部は、前記解析結果を前記抽出条件として、前記抽出を行う画像管理装置。
3. 請求項２記載の画像管理装置であって、
   前記所定の基準とは、前記複数の画像の類似度、および、画質の少なくとも一方に基づき設定される基準である画像管理装置。
4. 請求項２または３記載の画像管理装置であって、
   前記所定の基準とは、前記画像が生成された日時、前記画像が生成された位置を特定可能な位置情報、出所情報、前記画像生成時の条件のうち少なくとも１つに基づき設定される基準である画像管理装置。
5. 請求項１〜請求項４いずれか記載の画像管理装置であって、
   前記抽出に先立ち、前記複数の画像を、所定の分類基準に基づき分類する分類処理部とを備える画像管理装置。
6. 請求項５記載の画像管理装置であって、
   前記分類処理部は、前記画像が生成された日時、位置を特定可能な位置情報、前記画像の出所情報のうち少なくとも１つを、前記分類基準として前記分類を行う画像管理装置。
7. 請求項５記載の画像管理装置であって、
   前記分類処理部は、ユーザにより設定される前記画像の属性情報を、前記分類基準として前記分類を行う画像管理装置。
8. 請求項１〜請求項７いずれか記載の画像管理装置であって、
   前記代表画像と、該代表画像以外の画像とを、異なる表示形態とする表示制御部を備える画像管理装置。
9. 請求項１〜請求項８いずれか記載の画像管理装置であって、
   更に、前記代表画像を、その他の画像とは別に格納する代表画像格納領域を設定する領域設定部を備え、
   前記抽出部は、前記代表画像を、前記代表画像格納領域に格納する画像管理装置。
10. 複数の画像を管理する画像管理方法であって、
    コンピュータが実行する工程として、
    （１）前記複数の画像を入力する工程と、
    （２）前記複数の画像から、代表画像を抽出する抽出条件を保持する工程と、
    （３）前記抽出条件に基づき、前記代表画像を抽出する工程とを備える画像管理方法。
11. 複数の画像をコンピュータに管理させるためのコンピュータプログラムであって、
    前記複数の画像の入力を受け付ける機能と、
    前記複数の画像から、代表画像を抽出する抽出条件を保持する機能と、
    前記抽出条件に基づき、前記代表画像を抽出する機能とをコンピュータに実現させるためのコンピュータプログラム。

Images