JP2007272684A - 画像整理装置および方法ならびにプログラム - Google Patents

画像整理装置および方法ならびにプログラム Download PDF

Info

Publication number
JP2007272684A
JP2007272684A JP2006099210A JP2006099210A JP2007272684A JP 2007272684 A JP2007272684 A JP 2007272684A JP 2006099210 A JP2006099210 A JP 2006099210A JP 2006099210 A JP2006099210 A JP 2006099210A JP 2007272684 A JP2007272684 A JP 2007272684A
Authority
JP
Japan
Prior art keywords
organizing
image
condition
images
arrangement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006099210A
Other languages
English (en)
Inventor
Akira Yoda
章 依田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006099210A priority Critical patent/JP2007272684A/ja
Priority to US11/730,096 priority patent/US7920760B2/en
Publication of JP2007272684A publication Critical patent/JP2007272684A/ja
Priority to US13/039,938 priority patent/US8285084B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】ユーザが面倒な操作を行うことなく、ユーザが所望する整理の観点に合った画像の自動整理を実現する。
【解決手段】入力された複数の画像の各々の内容および／または複数の画像の各々の付帯的属性に基づいて複数の画像の整理を行う画像整理部５４を備えた画像整理装置に、画像整理部５４が行った整理の際の整理条件を、この装置のユーザを識別する顧客ＩＤと対応づけて記憶する整理条件テーブルＴ1と、顧客ＩＤの入力を受け付ける顧客ＩＤ入力部５１と、入力された顧客ＩＤと対応づけられた整理条件を整理条件テーブルＴ1から取得する整理条件取得部５３とをさらに設け、画像整理部５４が、取得された整理条件に基づいて新たな画像の整理を行うようにした。
【選択図】図４

Description

本発明は、複数の画像の一部または全部を１以上のグループに分類して整理する画像整理装置および方法、ならびに、この画像整理方法を実現するための制御をコンピュータに実行させるためのプログラムに関するものである。
銀塩カメラと比較すると、デジタルカメラでは、フィルム料金がかからない分、撮影自体のコストが下がり、その結果、より多くの画像を撮影する傾向にある。また、デジタルカメラに着脱される記録メディアの大容量化もその傾向を助長している。その結果、デジタルカメラの記録メディアや、記録メディアから読み出された画像データが保存されるパソコンのハードディスクやＣＤ−Ｒ等の記憶メディアには、非常に多くの画像がストックされ、その中には、必要な画像（写りのよい画像）と不要な画像（失敗写真や重複して撮影された画像等）が混在し、さらにそれらは未整理のままとなっていることが多い。
このような大量の画像を整理するのは大変面倒な作業となる。そこで、このような画像ストックからの必要な画像の検索・抽出や不要な画像の抽出・削除、また、画像ストック中の画像のイベントや日時、場所等の観点に基づく分類・整理をサポートする装置が提案されている。
例えば、複数の画像を時間とイベント（画像解析に基づく画像の類似性）の観点や（例えば、特許文献１）、撮影地や撮影日時の観点（例えば、特許文献２）、付帯情報（例：撮影日時）や付帯情報（例：撮影日時、ＧＰＳ情報）から得られる二次的情報（天気、国名）の観点（例えば、特許文献３）から自動分類することが提案されている。
一方、ユーザ毎に自らの所望する分類パターンを分類条件として定義してデジタルカメラに記憶させておき、そのカメラで自らが撮影したときには、撮影された画像のタグに自分の分類条件を記述しておくことにより、自分が撮影した画像は、自分用の分類条件で分類されるようにすることも提案されている（例えば、特許文献４）。
特開２０００−１１２９９７号公報 特開２００５−０３７９９２号公報 特開２００３−２７１６１７号公報 特開２００４−１１８５７３号公報
特許文献１から３に記載されている自動分類手法では、分類条件はユーザによらず一定で、一律的な整理が行われており、ユーザが所望する分類の観点と必ずしも一致するとは限らない。また、特許文献４に記載されている手法では、ユーザが所望する分類の観点による分類は可能になるが、撮影の度に画像と分類条件を対応づけるのは面倒である。
本発明は、上記事情に鑑みてなされたものであり、ユーザが面倒な操作を行うことなく、ユーザが所望する整理の観点に合った画像の自動整理を実現する装置および方法ならびにプログラムを提供することを目的とする。
本発明の画像整理方法は、入力された複数の画像の各々の内容および／または複数の画像の各々の付帯的属性に基づいて複数の画像の整理を行う際の整理条件を、ユーザ毎に記憶しておき、新たな複数の画像の整理を行う際に、記憶されている、その新たな画像の整理を行うユーザの整理条件を取得し、取得された整理条件に基づいてその新たな画像の整理を行うことを特徴とする。
本発明の画像整理装置は、上記の画像整理方法を実現するものであり、その第１の態様は、入力された複数の画像の各々の内容および／または複数の画像の各々の付帯的属性に基づいて複数の画像の整理を行う画像整理手段を備えた画像整理装置に、画像整理手段が行った整理の際の整理条件を、この装置のユーザを識別するユーザ識別情報と対応づけて記憶する整理条件記憶手段と、ユーザ識別情報の入力を受け付けるユーザ識別情報受付手段と、入力されたユーザ識別情報と対応づけられた整理条件を整理条件記憶手段から取得する整理条件取得手段とをさらに設け、画像整理手段が、取得された整理条件に基づいて新たな画像の整理を行うようにしたことを特徴とするものである。
本発明の画像整理装置の第２の形態は、入力された複数の画像の各々の内容および／または複数の画像の各々の付帯的属性に基づいて複数の画像の整理を行う画像整理手段を備えた画像整理装置に、画像整理手段が行った整理の際の整理条件を、この装置のユーザによって所持される、この装置によって読み書き可能な記憶媒体に記憶させる整理条件出力手段と、その記憶媒体から整理条件を取得する整理条件取得手段とをさらに設け、画像整理手段が、取得された整理条件に基づいて新たな画像の整理を行うようにしたことを特徴とする。
本発明の画像整理プログラムは、上記の画像整理方法をコンピュータに実行させるためのもの、言い換えると、コンピュータを上記の画像整理装置として機能させるものである。すなわち、本発明の画像整理プログラムの第１の形態は、入力された複数の画像の各々の内容および／または複数の画像の各々の付帯的属性に基づいて複数の画像の整理を行う画像整理手段としてコンピュータを機能させるプログラムにおいて、このコンピュータを、画像整理手段が行った整理の際の整理条件を、ユーザを識別するユーザ識別情報と対応づけて記憶装置に記憶させる整理条件記憶手段と、ユーザ識別情報の入力を受け付けるユーザ識別情報受付手段と、入力されたユーザ識別情報と対応づけられた整理条件を記憶装置から取得する整理条件取得手段としてさらに機能させ、画像整理手段が、取得された整理条件に基づいて新たな画像の整理を行うように機能させるようにしたことを特徴とするものである。
本発明の画像整理プログラムの第２の形態は、入力された複数の画像の各々の内容および／または複数の画像の各々の付帯的属性に基づいて複数の画像の整理を行う画像整理手段としてコンピュータを機能させる画像整理プログラムにおいて、このコンピュータを、画像整理手段が行った整理の際の整理条件を、このコンピュータのユーザによって所持される、このコンピュータによって読み書き可能な記憶媒体に記憶させる整理条件出力手段と、この記憶媒体から整理条件を取得する整理条件取得手段としてさらに機能させ、画像整理手段が、取得された整理条件に基づいて新たな画像の整理を行うように機能させることを特徴とする。
次に本発明の画像整理装置、方法、およびプログラムの詳細について説明する。
画像の「整理」には、複数の画像から一部または全部の画像を抽出する処理と、複数の画像を１以上のグループに分類する処理と、複数の画像の並べ替えをする処理の少なくとも１つが含まれうる。
したがって、「整理条件」には、画像の抽出のための抽出条件と、画像の分類のための分類条件と、画像の並べ替えのための並べ替え条件の少なくとも１つが含まれうる。この抽出条件、分類条件、および並べ替え条件は、入力された画像の各々の内容および／または付帯的属性（後述）の１種類以上を用いて定義される。
ここで、画像の「内容」には、画像解析によって得られる、画像中における人物の顔等の被写体の有無、撮影条件、画質等の情報の他、参照辞書との照合処理によって得られる、画像中の人物の名前、特定の被写体の有無等の情報が含まれうる。
画像の「付帯的属性」の具体例としては、その画像の撮影日時、撮影場所、撮像装置の機種、撮影モードやシャッタースピード、絞り、ストロボの設定等の撮影条件等の、撮影時に画像と関連づけられて記録される情報や、画像のタイトルやキーワード、撮影者名等の、主に撮影後に手入力によって画像と関連づけられて記録される情報、その画像の参照回数や参照時間等の、撮影後に画像と関連づけられて更新される画像に対するアクセス頻度を表す情報等が挙げられる。これらの情報は、例えば、Ｅｘｉｆ規格等に基づくタグとして画像データと関連づけて記録されうる。なお、撮影場所の情報は、例えば、撮像装置に設けられた、ＧＰＳ情報（緯度、経度）や移動体通信における位置情報（基地局情報等）を取得する手段によって取得されうる。
「ユーザ識別情報」の具体例としては、ユーザＩＤのような複数の文字や記号、番号の配列、ユーザの氏名、生年月日、電話番号等の属性情報、ユーザの指紋や虹彩、顔、署名等の生体情報等が挙げられる。
「ユーザ識別情報の入力」は、例えば、ユーザがキーボード等の入力装置を用いて手入力するようにしてもよいし、ユーザ識別情報がカード等の記録媒体のバーコードや磁気ストライプ、ＩＣ等に記憶されている場合にはカードリーダ等の読取装置を用いて読み取るようにしてもよいし、生体情報の入力・読取装置を用いて入力・読取りを行うようにしてもよい。
「ユーザによって所持される、（本発明の第２の形態となる画像整理）装置によって読み書き可能な記憶媒体」の具体例としては、この画像整理装置で読み書き可能なＩＣカード等が考えられる他、整理対象としてこの画像整理装置に入力される画像が記録されている、メモリカードやＣＤ−ＲＯＭ等が考えられる。
本発明は、ユーザ毎に整理条件を複数記憶可能とする態様であってもよい。すなわち、ユーザ毎に、複数の画像の整理のパターンの各々における整理条件を記憶可能としてもよい。例えば、本発明の画像整理装置の第１の形態の場合、１ユーザのユーザ識別情報に対して複数の整理条件が対応づけられて記憶され、入力されたユーザ識別情報と対応づけられた複数の整理条件を取得し、取得された複数の整理条件の各々に基づいて、複数のパターンの整理を行う。本発明の画像整理装置の第２の形態の場合、前記の記憶媒体に複数の整理パターン分の整理条件が記憶され、新たな画像の整理の際に、これらの複数の整理条件を取得し、取得された複数の整理条件の各々に基づいて、複数のパターンの整理を行う。
上記の複数パターンの整理を行う態様では、複数のパターンの整理の結果の好ましさを評価するようにすることが好ましい。ここで、「整理の結果の好ましさ」は、例えば、抽出された画像の数や、分類されたグループの数、グループ内の画像数、該画像数のグループ間での偏り度合の少なくとも１つに基づいて評価されうる。
さらに、より好ましいと評価された前記整理の結果を優先的に表示するようにすることが好ましい。ここで、「優先的に表示」とは、例えば、より好ましいと評価された整理の結果から順に表示したり、例えば、その整理結果の好ましさを表す評価値をあわせて表示することによって、より好ましいと評価された整理の結果を他の整理の結果と識別可能な態様にして表示したり、最も好ましいと評価された整理の結果のみを表示したりすることが考えられる。
本発明によれば、過去に行った画像の整理の際の整理条件を、ユーザ毎に記憶しておき、新たな画像の整理の際に、記憶されている、その整理を行うユーザの整理条件を取得し、取得された整理条件に基づいて新たな画像を整理するので、従来のように、ユーザによらず一律的な整理条件で画像の整理を行う場合に比べて、ユーザが所望する分類の観点により合致した画像の自動整理が可能になるだけでなく、撮影の度に画像と整理条件の対応づけを行う必要もなくなり、ユーザの手間もかからない自動整理が可能になる。
また、ユーザ毎に整理条件を複数記憶可能にしておき、取得された複数の整理条件の各々に基づいて、複数のパターンの画像の整理を行うようにすれば、ユーザの画像整理条件に対する様々な要求に対してより柔軟に対応することが可能になる。
さらに、複数のパターンの整理の結果の好ましさを評価するようにした場合には、ユーザは、複数のパターンによる整理の結果のどれが好ましいかをより容易に判断できるようになる。ここで、より好ましいと評価された整理の結果を優先的に表示するようにすれば、この効果はさらに顕著になる。
以下、図面を参照して本発明の実施形態について説明する。
図１は本発明の第１の実施形態となる画像整理装置を備えた写真プリントの注文受付装置の外観斜視図である。図１に示すように、本発明の第１の実施形態となる注文受付装置１は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されるものであり、プリント注文するための画像が記録された各種メモリカード２を装填し、メモリカード２から画像を読み出したり、メモリカード２に画像を記録したりするための複数種類のカードスロット４と、顧客ＩＤが記録された磁気カード３を読み取るカードリーダ５と、プリント注文のための各種表示を行う表示部６とを備えている。また、この注文受付装置１は、顧客からの注文に基づいて写真プリントを行うプリンタ８、および画像に対する画像処理やプリント注文の管理を行うためのデジタルイメージコントローラ（ＤＩＣ）１０とネットワーク経由で接続されている。なお、表示部６はタッチパネル式の入力部１８を備え、ユーザは表示部６の表示にしたがって表示部６にタッチすることにより、プリント注文や画像整理に必要な入力を行うことができる。
図２は本発明の実施形態による注文受付装置１の構成を示す概略ブロック図である。図２に示すように、注文受付装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、装置１を動作させるための基本的なプログラムおよび各種係数等が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１８と、上述した表示部６とを備える。
また、注文受付装置１は、上述したカードスロット４のメモリカード２から読み出した画像、ＣＰＵ１２が実行する、画像のプリント注文や整理を行うための各種プログラムや、整理条件等の参照データ等を記録するハードディスク２４と、システムメモリ１４、カードスロット４、カードリーダ５およびハードディスク２４を制御するメモリ制御部１６と、表示部６の表示を制御する表示制御部２６と、入力部１８による入力を制御する入力制御部２２と、装置１をプリンタ８、およびＤＩＣ１０とネットワークを介して通信するためのネットワークインターフェース３０とを備える。
なお、カードスロット４はメモリカード２の種類に応じて複数用意されているが、図２においては１つのカードスロット４のみを示している。
注文受付装置１で行われる後述の処理は、ハードディスク２４に記憶されている各種プログラムが実行されることによって実現される。なお、ハードディスク２４への各種プログラムの記憶は、この各種プログラムが記録されたＣＤ−ＲＯＭ等のコンピュータが読取可能な記録媒体からインストールすることによってなされる。また、各種プログラムは、注文受付装置１で行われる処理全体を制御するメインプログラムと、メインプログラムから必要に応じて呼び出される、注文処理や画像整理処理を行うサブプログラム等とからなる。
このような注文受付装置１におけるプリント注文は以下のようにして行われる。図３は注文受付装置１の表示部６に表示される初期画面を示す図である。この画面はメインプログラムの制御によって表示される。図３に示すように初期画面４０には、プリント注文を行うためのプリント注文ボタン４０Ａ、および後述するように画像の整理を行うための画像整理ボタン４０Ｂが表示されている。ここで、ユーザがプリント注文ボタン４０Ａを選択した場合、ＣＰＵ１２では、メインプログラムからプリント注文処理サブプログラムが呼び出され、このサブプログラムによる処理が実行される。ユーザが画面に表示される指示にしたがって複数の画像を記録したメモリカード２をカードスロット４に装填すると、装置１では、メモリカード２から複数の画像を読み出して一時的にハードディスク２４に保存し、さらに、複数の画像の一覧を表示部６に表示する
ユーザは表示部６に表示された画像の一覧からのプリント注文を行う画像の選択、注文枚数および注文サイズの設定をタッチパネル方式の入力部１６を用いて行う。そして、ユーザがプリント実行の指示を入力部１６を用いて行うと、ユーザが選択した画像、並びに注文枚数および注文サイズを表す注文情報がＤＩＣ１０に送信され、ここで画質を向上させるために必要な画像処理が画像に対して施され、注文情報に応じた注文枚数および注文サイズによりプリント注文した画像がプリンタ８からプリント出力される。
次に、本発明の実施形態における画像整理の処理について説明する。この処理は、ユーザが図３の初期画面で画像整理ボタン４０Ｂを選択することにより、メインプログラムから画像整理サブプログラムが呼び出され、実行されることによって実現される。
図４は、本発明の第１の実施形態となる画像整理処理における主なデータの流れと機能を模式的に表したブロック図である。図に示したように、顧客ＩＤを取得する顧客ＩＤ入力部５１と、画像の入力を受け付ける画像入力部５２と、画像整理条件設定モードの選択を受け付ける整理条件設定モード選択部６１と、整理条件設定モードとして「自動」が選択された場合に、顧客ＩＤ入力部５１によって取得された顧客ＩＤに対応づけられた整理条件を整理条件テーブルＴ１から取得する整理条件取得部５３と、整理条件設定モードとして「手動」が選択された場合に、整理条件の入力を受け付ける整理条件入力部６２と、取得／入力された整理条件に基づき、必要に応じて人物情報テーブルＴ２から人物の特徴量を取得し、入力された画像の整理を行う画像整理部５４と、整理の結果の好ましさを評価する整理結果評価部５５と、評価の結果に基づいて画像の整理結果を表示部６に表示させる整理結果表示部５６と、表示された整理結果の修正を受け付ける整理結果修正部６３と、整理結果の選択を受け付ける整理結果選択部５７と、選択された整理結果をメモリカード２に記録する整理結果記録部５８と、選択された整理結果に対応する整理条件を整理条件テーブルＴ１に登録する整理条件登録部５９とによって、この画像整理処理が実現される。
ここで、顧客ＩＤ入力部５１は、表示部６に「磁気カードを挿入してください」等の磁気カード３のカードリーダ５への挿入を促すメッセージを表示させ、磁気カード３がカードリーダ５に挿入されると、挿入された磁気カード３の磁気部分を読み取って顧客ＩＤを取得する。
画像入力部５２は、表示部６に「メモリカードを挿入してください」等のメモリカード２のカードスロット４への挿入を促すメッセージを表示させ、メモリカード２がカードスロット４に挿入されると、挿入されたメモリカード２から画像ファイルを読み込み、装置１のハードディスク２４に一時的に記憶させる。
整理条件設定モード選択部６１は、画像の整理条件設定モード選択画面を表示部６に表示させる。この画面には、「画像の整理条件の設定モードを選択してください」というメッセージと、「自動」「手動」の選択用ボタンが含まれ、ユーザの入力部１８の操作による「自動」「手動」の選択を受け付ける。
整理条件テーブルＴ１には、図８に示したように、顧客ＩＤ、整理のタイトル、および、画像の抽出条件、画像のグルーピング条件、画像のソート条件からなる画像整理条件が関連づけられて登録され、顧客ＩＤと連番の組合せによって１つの画像整理条件（整理パターン）を識別可能となっている。すなわち、１つの顧客ＩＤに対して、連番の値を変えることにより、複数の画像整理条件を対応づけることが可能となっている。なお、図中の顧客ＩＤ＝「ZZZ9999」は、実在する顧客と対応づけられたものではなく、この画像整理装置の既定の整理条件と対応づけられている。この整理条件テーブルＴ１に設定されている整理条件にしたがった画像整理処理の具体例については後述する。
整理条件取得部５３は、整理条件設定モード選択部６１において整理条件設定モードとして「自動」が選択された場合に、顧客ＩＤ入力部５１によって取得された顧客ＩＤを検索キーとして整理条件テーブルＴ１にランダムアクセスし、この顧客に対応づけられた整理条件を１件取得する。このとき、整理条件取得部５３は取得した位置（整理条件テーブルＴ１のレコードのアドレス）を記憶しており、整理条件テーブルＴ１にこの顧客ＩＤに対応づけられた整理条件が複数件登録されている場合、この顧客ＩＤに対応づけられた次の整理条件を読み込む際には、ランダムアクセスではなく、整理条件テーブルＴ１の現在の読込み位置からのシーケンシャルアクセスで読み込むことができる。
整理条件入力部６１は、整理条件設定モード選択部６１において、整理条件設定モードとして「手動」が選択された場合に、整理条件の設定を行う画面を表示部６に表示させ、ユーザによる整理条件の入力を受け付ける。図７は、整理条件の設定画面の一例を示したものである。図のように、整理条件設定画面４１は、抽出条件設定エリア４１Ａ、グルーピング条件設定エリア４１Ｅ、ソート条件設定エリア４１Ｋから構成される。
抽出条件設定エリア４１Ａには、抽出条件として設定可能な項目４１Ｃが列挙されており、ユーザは、チェックボックス４１Ｂをタッチすることにより、その項目を抽出条件とするかどうかを選択する。また、設定／変更ボタン４１Ｄをタッチすると、その項目の詳細な条件を設定するための画面が表示される。例えば、撮影日時についての設定／変更ボタン４１Ｄをタッチすると、整理条件入力部６１は、画像入力部５２で入力された画像ファイルの付帯情報を参照し、最も古い撮影日時と最も新しい撮影日時を特定して、入力された画像ファイルの画像の撮影期間内の撮影日時をカレンダー形式で表した詳細設定画面を表示部６に表示させ、ユーザが抽出対象となる画像の撮影期間の始期と終期をタッチすることによる、撮影日時に関する抽出条件の設定を受け付け、設定された撮影期間を整理条件設定画面４１の抽出条件設定エリア４１Ａの撮影日時の項目の位置４１Ｃに表示させる。また、人物についての設定／変更ボタン４１Ｄをタッチすると、整理条件入力部６１は、画像入力部５２で入力された画像ファイルを順次読み込み、画像中の顔領域の検出を行い、さらに、検出された顔の類似性を判定し、類似する顔の画像をグループ化し、各グループの代表的な顔の画像を決定し、代表的な顔のサムネイル画像を一覧にした詳細設定画面を表示部６に表示させ、ユーザが所望のサムネイル画像にタッチすることによる、抽出対象の画像に含まれているべき顔の画像の選択を受け付け、選択された顔のサムネイル画像を整理条件設定画面４１の抽出条件設定エリア４１Ａの人物の項目の位置４１Ｃに表示させる。ここで、顔領域の検出は、AdaBoost等のマシンラーニングによって得られた識別器を用いた方法（例えば特開２００５−１０８１９５号公報）、顔の類似性の判定は、顔領域から抽出された目、鼻、口等の特徴点の位置、形状、サイズ等を表す特徴ベクトル（特徴量）を求め、各顔画像間での特徴ベクトルの統計的距離に基づいて顔画像のグルーピングを行う方法（例えば特開平０９−２５１５３４号公報）、代表的な顔の決定は、グループ内の顔画像のエッジ成分や肌色成分等に基づいて最も好ましい画質の画像を選択する方法（例えば、特開２００５−４９９６８号公報、特開２００５−１２２７２１号公報）等の公知の技術を利用することが可能である。なお、上記の各グループの代表的な顔の画像の特徴量は、顧客ＩＤ入力部５１で取得された顧客ＩＤと関連づけられて人物情報テーブルＴ2に登録される。このとき、１つの顧客ＩＤに対して複数の顔の特徴量が関連づけられることになるので、顧客ＩＤと連番を組み合わせた人物ＩＤによって個々の顔の特徴量を識別できるようにしている。また、その顧客ＩＤと関連づけられた顔の特徴量が既に登録されている場合には、今回登録対象の顔の特徴量と既に登録されている顔の特徴量の類似性を判定し、類似と判定された場合には新たな登録を行わず、類似しないと判定された場合には、新たな登録を行う。
グルーピング条件設定エリア４１Ｅは、グルーピングのキーとすることが可能な項目４１Ｆが一覧表示されており、ユーザが各項目に対応するチェックボックス４１Ｇをタッチすることによる、グルーピングのキーの選択を受け付ける。また、ユーザが各項目に対応する「↑」ボタン４１Ｈ、または「↓」ボタン４１Ｊをタッチすることにより、グルーピングの優先順位の設定を受け付ける。
ソート条件設定エリア４１Ｋについても、グルーピング条件設定エリア４１Ｅと同様に、並べ替えのキーとすることが可能な項目４１Ｌが一覧表示されており、ユーザがチェックボックス４１Ｍをタッチすることによる並べ替えのキー項目の選択、「↑」ボタン４１Ｎ、または「↓」ボタン４１Ｐをタッチすることによる並べ替えのキー項目の優先順位の設定、および、昇順ボタン４１Ｑまたは降順ボタン４１Ｒをタッチすることによる並べ替えの昇降順の選択を受け付ける。なお、昇順ボタン４１Ｑと降順ボタン４１Ｒは、選択された方のボタンが強調表示されるようになっている。整理条件入力部６１において手動入力された整理条件は、システムメモリ１４の所定の記憶領域に記憶され、後述の画像整理部５４の整理処理で用いられる。
画像整理部５４は、取得／入力された整理条件、すなわち、抽出条件、グルーピング条件、およびソート条件に基づき、入力された画像の付帯情報や入力された画像に対する解析処理によって得られる特徴量を、画像の抽出、グルーピング、ソートのキー情報とし、必要に応じて人物情報テーブルＴ２から人物の特徴量を取得し、入力画像のうち抽出条件を満たす画像を抽出する抽出処理、入力／抽出された画像をグルーピング条件を満たすように１以上のグループに分類する処理、入力／抽出された画像またはグルーピング処理によって分類された各グループをソート条件を満たすように並べ替えるソート処理を行う。なお、グルーピング処理によって分類された各グループは、画像ファイルの論理的な格納場所、すなわち、フォルダ（ディレクトリパス）に対応づけられる。
具体的には、画像の抽出処理では、例えば、所定の期間に撮影された画像を抽出するように抽出条件が設定されている場合には、画像整理部５４は、入力された画像ファイルのＥｘｉｆタグに記録されている撮影日時を取得し、取得された撮影日時が、設定された所定期間内である画像ファイルのみを抽出する。
また、整理条件設定モード選択部６１において「手動」が選択され、図７の整理条件設定画面４１等での操作によって、特定の人物の顔を含む画像を抽出するように抽出条件が設定された場合には、画像整理部５４は、整理条件入力部６２において、整理条件設定画面４１の人物についての設定／変更ボタン４１Ｄがタッチされることによって行われた前述の顔検出、グループ化、代表顔画像の決定の各処理の結果を利用し、抽出対象の顔を代表画像とするグループに属する入力画像を、抽出条件に合致するものとして抽出する。
一方、整理条件設定モード選択部６１において「自動」が選択され、整理条件取得部５３が整理条件テーブルＴ1から取得した抽出条件が、例えば、人物ＩＤ＝「ABC0001_01」であった場合、この人物ＩＤの人物の顔の特徴量を取得するために、人物情報テーブルＴ2にアクセスする。この人物情報テーブルＴ２は、人物の氏名等の属性情報やその人物の顔画像に対する解析処理によって得られるその人物の顔の特徴量と人物ＩＤとを関連づけたものである。この人物ＩＤは、顧客ＩＤと連番の組合せによって構成される。したがって、例えば、ある顧客ＩＤの顧客本人は連番「00」、その本人の子どもは連番「01」というように、１つの顧客ＩＤに対してその顧客ＩＤの顧客が撮影する複数の人物を対応づけることが可能となっている。画像整理部５４は、抽出条件として取得した人物ＩＤ＝「ABC0001_01」を検索キーとして、人物情報テーブルＴ2を参照し、この人物ＩＤ＝「ABC0001_01」に関連づけられた顔の特徴量を取得するとともに、画像入力部５２で入力された画像ファイルを順次読み込み、画像中の顔領域の検出し、検出された顔領域から目、鼻、口等の特徴点の位置、形状、サイズ等を表す特徴量を算出する。さらに、人物情報テーブルＴ2から取得した人物ＩＤ＝「ABC0001_01」に対応する顔の特徴量と、入力画像から検出された顔の各々に対応する特徴量との統計的距離を算出し、算出された統計的距離の値が所定の閾値以下となる入力画像を抽出する。
また、ＧＰＳ情報によって特定される所定の撮影場所で撮影された画像を抽出するように抽出条件が設定されている場合には、画像整理部５４は、入力された各画像ファイルのＥｘｉｆタグに記録されている撮影場所を表すＧＰＳ情報を取得し、ＧＰＳ情報に基づいて、抽出条件である所定の場所と入力された各画像の撮影場所との距離を算出し、算出された距離が所定の閾値以下となる入力画像を抽出する。
さらに失敗写真を除外する抽出条件が設定されている場合には、例えば、入力画像中の顔等の主要被写体領域を検出し、主要被写体領域とそれ以外の背景領域における輝度のヒストグラムを各々生成し、そのプロフィールと、予め登録しておいた適正な明るさの場合のプロフィールとの比較を行い、その差が所定の閾値よりも大きい画像を明るさが不適正な画像として除外したり、画像中の主要被写体を検出し、検出された領域における高周波成分の積分値が所定の閾値よりも小さい画像をピンボケ画像として除外したり、入力画像から複数の方向のエッジを検出し、エッジ方向毎に求められたエッジ幅のヒストグラムを作成し、直交する２方向におけるエッジ幅のヒストグラムの相関値を各方向組について求め、各方向における平均エッジ幅と各方向組におけるエッジ幅のヒストグラムの相関値とに基づき、相関値が所定の閾値より小さい方向組における、平均エッジ幅がより大きい方向をぶれ方向を決定し、決定されたぶれ方向に垂直なエッジの幅をぶれの幅とし（特開2005-122721号公報参照）、得られたぶれの幅が所定の閾値よりも大きい画像を手ぶれ画像として除外したりする。
なお、この抽出処理によって、抽出されなかった画像、または除外された画像は、後述の整理処理によって分類されるフォルダとは別に作成される「未整理フォルダ」に分類される。
次に、画像のグルーピング処理では、例えば、撮影日時（年・月）毎に分類するようにグルーピング条件が設定されている場合には、画像整理部５４は、入力された画像ファイルのＥｘｉｆタグに記録されている撮影日時を取得し、入力された画像ファイルを、取得された撮影日時のうちの撮影年月の値毎のグループに分類する。なお、撮影日時による分類は、各画像の撮影日時を時間軸上に配置し、撮影日時が隣接する２つの画像についての撮影間隔の大小に応じて画像を複数のグループに分類する手法（特開２０００−１１２９９７号公報参照）、撮影日時が隣接する画像間の撮影間隔が所定の閾値よりも大きい場合にその画像の間をグループの境界とする手法（特開２００１−２２８５８２号公報）等を用いて行ってもよい。
また、グルーピング条件として「撮影年、撮影月、撮影場所」というように複数の項目が設定されている場合には、画像整理部５４は、まず、入力された画像ファイルのＥｘｉｆタグに記録されている撮影日時を取得し、入力された画像ファイルを、取得された撮影日時のうちの撮影年の値毎のグループに分類する。次に、各撮影年のグループに属する画像ファイルを、取得された撮影日時のうちの撮影月の値毎のグループに分類する。最後に、各撮影年・撮影月のグループに属する画像ファイルのＥｘｉｆタグに記録されている撮影場所を表すＧＰＳ情報（緯度・経度）を取得し、取得された各画像ファイルの緯度・経度を、縦軸を緯度、横軸を経度とする座標平面上にプロットしたものを画像（以下、プロット画像という）として捉え、プロット画像に対して膨張処理を行うことによって連結領域を形成し、連結領域に対してラベリング処理を行うことによってグループ化を行う（例えば、特開２００５−４９９６８号公報参照）。なお、ＧＰＳ情報に基づいて分類された各グループには、「撮影場所１」「撮影場所２」というようなグループ名を付してもよいし、ＧＰＳ情報と地名を対応づける参照テーブルを予め用意しておき、各グループのＧＰＳ情報に対応する地名を参照テーブルから取得し、取得された地名をグループ名としてもよい。このように、グループ化のための項目が複数設定されている場合には、画像整理部５４は、入力された画像ファイルを、まず撮影年毎に分類し、撮影年毎の各グループに属する画像ファイルを、撮影月毎に分類し、撮影年・月毎の各グループに属する画像ファイルを、撮影場所毎に分類することにより、階層的なグループ化がなされる。
人物毎に分類するようにグルーピング条件が設定されている場合には、前記の整理条件入力部６１において人物についての設定／変更ボタン４１Ｄがタッチされた際の処理と同様に、画像整理部５４は、画像入力部５２で入力された画像ファイルを順次読み込み、画像中の顔領域の検出を行い、さらに、検出された顔の類似性を判定し、類似する顔の画像をグループ化する。なお、このグループ化を行った際の各グループの代表的な顔の画像の特徴量は、顧客ＩＤ入力部５１で取得された顧客ＩＤと関連づけられて人物情報テーブルＴ2に登録される。このとき、１つの顧客ＩＤに対して複数の顔の特徴量が関連づけられることになるので、顧客ＩＤ＋連番によって個々の顔の特徴量を識別できるようにしている。また、その顧客ＩＤと関連づけられた顔の特徴量が既に登録されている場合には、今回登録対象の顔の特徴量と既に登録されている顔の特徴量の類似性を判定し、類似と判定された場合には新たな登録を行わず、類似しないと判定された場合には、新たな登録を行う。また、整理条件入力部６２において、整理条件設定画面４１の人物についての設定／変更ボタン４１Ｄがタッチされたことにより、上記と同様の顔のグループ化が行われている場合には、その処理結果を利用することができる。
画像中に表現されているイベント毎に分類するようにグルーピング条件が設定されている場合には、画像整理部５４は、例えば、入力画像に対する複数の種類の画像解析によって得られる複数の特徴量に基づいて得られる、複数の総合的な特徴量の中から、隣接画像間での総合的特徴量の変化量が撮影日時の間隔と正の高い相関を有するものを、その複数の入力画像中に表現されているイベントを最もよく表すイベント特徴量として選択し、選択されたイベント特徴量の分布に応じた分類を行う。
具体的には、まず、画像整理部５４は、入力された画像ファイルの各々について、複数の種類の画像解析を行い、複数の種類の特徴量ｇi（i=1,2,・・・,n,・・・,N）を算出する。ここで、算出される特徴量としては、例えば、画像の色、輝度、テキスチャ、奥行き、画像中のエッジ等を表すものがある。次に、例えば、下の式（１）のようにして、これら複数の特徴量ｇiと複数の係数ａi[j]，ｂi[j]，ｃi[j] （j=1,2,・・・,m,・・・,M）に基づいて、M種類の新たな複数の総合特徴量Ｅv(j)を求める。
Ev[j] = (a1[j]・g1+a2[j]・g2+...+aN[j]・gN)
+(b1[j]・g1・g2+ b2[j]・g2・g3+...+ bN-1[j]・gn-1・gn)
+(c1[j]・g1 2+ c2[j]・g2 2+...+ cN[j]・gn 2) （１）
これにより、１つの入力画像について、係数ａi[j]，ｂi[j]，ｃi[j]の値の組合せの異なるM個の総合特徴量Ｅv[j]が求まる。
さらに、入力された画像を撮影日時順に並べた際の隣接画像間の撮影時間間隔Δtと、隣接画像間の総合特徴量の差分ΔEv[j]との相関係数Ｒ[j]を、j=1,2,・・・,m,・・・,Mについて求め、 相関係数Ｒ[j]が最大となるときのjの値Jにおける総合的特徴量Ｅv[J]をイベント特徴量として決定する。
そして、入力画像を各画像のイベント特徴量Ｅv[J]の値の順に並べ替え、隣接画像間のイベント特徴量Ｅv[J]の差が所定の閾値より大きい場合に、その画像間がグループの境界となるように分類する。
例えば、ある総合的特徴量Ｅv[J1]について、縦軸を総合的特徴量、横軸を撮影順として、入力された複数の画像の各々についての総合的特徴量Ｅv[J1]の時系列的な分布を表現すると、図９（ａ）のように、連続する複数の画像毎にグループ（Ａ〜Ｅ）を形成したものとなったとすれば、この総合的特徴量Ｅv[J1]は、この入力画像を分類するのに好ましいものであると考えられる。一方、ある総合的特徴量Ｅv[J2]についても同様の時系列的な分布を表現すると、図９（ｂ）のように、ランダムな分布になったとすれば、この総合的特徴量Ｅv[J2]は、この入力画像を分類するのには好ましいものではないと考えられる。上記の分類方法では、これらの分布パターンを識別するために、「画像間の撮影間隔が空いていれば、その画像間でイベントが異なっている可能性が高い」ことを前提とし、入力画像を時系列に並べたときの隣接画像間における撮影間隔と総合的特徴量の差とが最も高い正の相関を示す総合的特徴量を、入力された複数の画像に表現されたイベント毎に分類するのに最適なイベント特徴量として選択し、選択されたイベント特徴量の分布に応じて、入力画像の分類を行っている。なお、図９（ａ）の場合、イベント特徴量Ｅv[J1]に応じた分類結果では、グループＢとＤは同一グループとなる。例えば、グループＢには去年の運動会の画像が含まれ、グループＤには今年の運動会の画像が含まれる場合、これらの２つのグループは、運動会という１つのグループに統合されて分類される。
画像のソート処理では、例えば、撮影日時の昇順に並べ替えるようにソート条件が設定されている場合には、画像整理部５４は、入力された画像ファイルのＥｘｉｆタグに記録されている撮影日時を取得し、グルーピング処理で分類されたグループ毎に、そのグループに属する画像を撮影日時の昇順に並べ替える処理を行う。また、撮影日時毎にグルーピングされている場合には、その分類されたグループの並び順も撮影日時順に並べ替える処理を行う。
以上のような画像整理部５４によって行われた整理の結果としては、抽出された画像のファイル名と、そのファイルが属するグループ名（フォルダ名）とが関連づけられ、ソート条件に基づいて並べ替えられたリスト形式のものが考えられる。
整理結果評価部５５は、画像整理部５４で行われた複数（K種類）の整理処理の結果の各々について、結果の好ましさを表す評価値Ｓc[k]（k=1,2,・・・,K）を算出する。この評価値Ｓc[k]は、各整理結果に対して、例えば、整理処理によって分類されたグループ数やグループ内の画像数、グループ間の画像数の偏り（分散）等の各評価項目についての所定の評価基準に基づく0から5までの評価スコアを決定し、各評価項目における評価スコアを合計することによって求めることができる。ここで、所定の評価基準としては、例えば、分類されたグループ数であれば、多すぎても少なすぎても適切とはいえないので、所定の値の範囲にあれば評価スコア＝5とし、その範囲から離れるにしたがって評価スコアを低くすることが考えられる。グループ内の画像数についても、多すぎても少なすぎても適切とはいえないので、グループ数と同様に、１グループ当たりの平均画像数が所定の値の範囲にあれば評価スコア＝5とし、その範囲から離れるにしたがって評価スコアを低くすることが考えられる。また、グループ間の画像数の偏りについては、偏りがないほど適切と考えられるので、グループ毎の画像数の分散を求め、その値が所定の値よりも小さければ評価スコア＝5とし、分散の値が大きくなるにしたがって評価スコアを低くすることが考えられる。
整理結果表示部５６は、整理結果評価部５５によって算出された評価値Ｓc[k]に基づき、評価値の高い順に表示の優先順位を設定し、優先順位の高い順に所定数の整理結果を表示部６に順次表示させる。図１０は、整理結果を表示した整理結果表示画面の一例である。図に示したように、整理結果表示画面４２は、整理結果の表示の優先順位と整理のタイトルとを表示するタイトル領域４２Ａと、画像整理部５４によって分類されたフォルダを表示するフォルダ領域４２Ｂと、フォルダ領域４２Ｂにおいてユーザによって選択されたフォルダ内の画像ファイルを読み込んで、サムネイル画像を表示するサムネイル画像領域４２Ｃと、前の整理結果、すなわち、優先順位のより高い整理結果を表示させる「前の整理結果」ボタン４２Ｄと、次の整理結果、すなわち、優先順位のより低い整理結果を表示させる「次の整理結果」ボタン４２Ｅと、現在表示されている整理結果に対応する整理条件を別画面に表示させる「整理条件の確認」ボタン４２Ｆと、現在表示されている整理結果のタイトルを編集するための画面を表示させる「タイトルの編集」ボタン４２Ｇと、ユーザによって選択されたフォルダによる分類を除外する「フォルダの除外」ボタン４２Ｈと、ユーザによって選択された画像をその画像が属するフォルダから除外する「ファイルの除外」ボタン４２Ｊと、各フォルダの画像から手ぶれやピンぼけ等の失敗写真を除外する「失敗写真の除外」ボタン４２Ｋと、入力画像の整理方法を現在表示されている整理結果に対応するものに確定する「この整理結果に決定」ボタン４２Ｌと、画像整理メニューでの作業を終了する「終了」ボタン４２Ｍとから構成されている。
ここで、タイトル領域４２Ａの整理結果"n"とは、優先順位がn番目、すなわち評価値Ｓc[k]がn番目に高い整理結果であることを示す。また、表示されているタイトル（「富士太郎ちゃんの成長記録（２００５年１月〜２００５年１２月）」）は、整理条件テーブルＴ1のタイトルの項目から取得されたものか、または、タイトル編集ボタン４２Ｇのタッチによって表示されるタイトル編集画面において、入力されたものである。なお、タイトルで使用される人物名（富士太郎）については、固定値として整理条件テーブルＴ1に登録せず、"NAME"という変数として登録しておくとともに、抽出条件で指定された人物ＩＤに対応する人物の氏名を人物情報テーブルＴ2から取得するようにしてもよい。年月についても、同様に、"YY/MM-1"、"YY/MM-2"という変数で登録しておき、各々、抽出処理後の画像の撮影日時の最小値と最大値を、各画像ファイルのＥｘｉｆタグから取得するようにしてもよい。
フォルダ領域４２Ｂには、整理結果のリストの各ファイルが属するフォルダ名の情報に基づいて、フォルダの分類の階層を視覚化した表示が行われる。
整理結果修正部６３は、ユーザによる「タイトルの編集」ボタン４２Ｇ、「フォルダの除外」ボタン４２Ｈ、「ファイルの除外」ボタン４２Ｊ、「失敗写真の除外」ボタン４２Ｋのタッチに応じて、整理結果の修正を行う。
具体的には、「タイトルの編集」ボタン４２Ｇに対するタッチが検出された場合には、タイトル編集画面を表示部６に表示させる。タイトル編集画面は、定型的なタイトルからの選択を行うためのユーザインターフェースと、仮名やアルファベット等の文字ボタンを用いて自由にタイトルの入力を行うためのユーザインターフェースとを備えている。この画面で選択・入力されたタイトルは、整理結果表示画面４２のタイトル領域４２Ａに表示される。さらに、タイトル編集画面は、抽出条件として設定された人物の顔画像や、グルーピング条件で人物毎のグルーピングが設定された場合の各グループに対応する人物の顔画像に対して、その人物の名前等の属性の入力を行うためのユーザインターフェースを備えている。ここで入力された人物の属性は、その人物の顔の特徴量とともに、人物ＩＤと関連づけられて、人物情報テーブルＴ2に登録される。
整理結果表示画面４２のフォルダ領域４２Ｂにおいて、ユーザが除外対象のフォルダをタッチすることによって選択し、さらに、「フォルダの除外」ボタン４２Ｈにタッチしたことが検出された場合には、整理の結果リストにおいて、選択された除外対象のフォルダと対応づけられたすべてのファイルの行を削除することによって、選択された除外対象のフォルダに属するすべての画像ファイルを未整理フォルダに移動させる。ここで行われた除外処理は、除外対象ではないフォルダに属する画像ファイルのみを抽出する処理と同じであることから、この除外処理は、抽出条件として反映される。例えば、人物毎に分類されたフォルダ（人物ＩＤ＝"DEF0001_00"〜"DEF0001_05"）のうち、人物ＩＤ＝"DEF0001_05"のフォルダを除外した場合には、人物ＩＤ＝"DEF0001_00"〜"DEF0001_04"の人物が含まれる画像を抽出したことになるので、人物ＩＤ＝"DEF0001_00"〜"DEF0001_04"という抽出条件が追加される。
整理結果表示画面４２のサムネイル画像領域４２Ｃにおいて、ユーザが除外対象の画像をタッチすることによって選択し、さらに、「ファイル除外」ボタン４２Ｊにタッチしたことが検出された場合には、選択された除外対象のファイルの行を整理結果のリストから削除することによって、選択された除外対象の画像ファイルを未整理フォルダに移動させる。
「失敗写真の除外」ボタン４２Ｋに対するタッチが検出された場合には、画像整理部５４の失敗写真の除外処理と同様の処理を行い、失敗写真と判定された画像のファイルを未整理フォルダに移動させる。
整理結果選択部５７は、整理結果表示画面４２の「この整理結果に決定」ボタン４２Ｌに対するタッチを検出し、そのタッチが行われた時に整理結果表示画面４２に表示されている整理結果と、それに対応する整理条件を特定する。
整理結果記録部５８は、整理結果選択部５７によって特定された整理結果に対応する整理結果リストをカードスロット４に装填されたメモリカード２に記録する。
整理結果登録部５９は、整理結果選択部５７によって特定された整理結果に対応する整理条件を、顧客ＩＤ入力部５１で取得された顧客ＩＤと対応づけて整理条件テーブルＴ1に登録する。このとき、その顧客ＩＤに対応する整理条件が既に登録されている場合には、同じ整理条件の登録があるかどうかをチェックし、既に登録がある場合には登録を行わない。同じ整理条件の登録がない場合には、その顧客ＩＤに対する連番の最大値に１加算した値を新たな連番として、今回の整理条件と登録する。
次に、図５および６のフローチャートと図８の整理条件テーブルＴ1の登録例を用いて、本発明の実施形態となる画像整理処理の流れの概要について説明する。
まず、第１のケースとして、図８の整理条件テーブルＴ1に顧客ＩＤ「ABC0001」と対応づけられた整理条件がまったく登録されていない状態で、この顧客ＩＤ「ABC0001」を有するユーザが、自分の子どもの画像を成長記録として整理するために、手動で整理条件を設定して、画像の整理を行わせる場合について説明する。
ユーザが図３の初期画面で画像整理ボタン４０Ｂを選択すると、顧客ＩＤ入力部５１は「磁気カードを挿入してください」とのメッセージを表示部６に表示させ、ユーザがカードリーダ５に磁気カード３を挿入すると、顧客ＩＤ入力部５３は、挿入された磁気カード３を読み取って、顧客ＩＤ「ABC0001」を取得する（ステップＳ１）。
次に、画像入力部５２が「メモリカードを装填してください」とのメッセージを表示部６に表示させ、ユーザが、メモリカード２をカードスロット４に装填すると、画像入力部５２は、装填されたメモリカード２から複数の画像の画像ファイルを読み込んでハードディスク２４に一時的に記憶させる（ステップＳ２）。
顧客ＩＤと画像の入力が完了すると、整理条件設定モード選択部６１は、画像整理条件設定モード選択画面を表示部６に表示させる。ここでは、ユーザが画像整理条件設定モード選択画面で「手動」ボタンにタッチすることにより、手動による整理条件の設定が選択される（ステップＳ３）。
この「手動」による整理条件の設定という選択を受けて（ステップＳ４；Ｎｏ）、整理条件入力部６１が、整理条件設定画面４１を表示部６に表示させる。ここで、ユーザが、抽出条件設定エリア４１Ａにおいて人物についての設定／変更ボタン４１Ｄにタッチすると、整理条件入力部６１は、画像入力部５２で入力された各画像に対して、顔検出、類似顔画像のグループ化、およびグループ毎の代表画像の決定を行い、入力画像に含まれる顔のサムネイル画像を一覧にした詳細設定画面を表示部６に表示させる。さらに、整理条件入力部６１は、グループ毎の代表画像の特徴量と、顧客ＩＤ入力部５１で取得された顧客ＩＤとを関連づけて人物情報テーブルＴ2に登録する。ユーザが、表示された顔のサムネイル画像の中から整理対象である自分の子どもの顔のサムネイル画像をタッチすることによって選択すると、整理条件入力部６１は、選択された顔のサムネイル画像を抽出条件設定エリア４１Ａの人物についての抽出条件を表示するエリアに表示させるとともに、人物についてのチェックボックスにチェックマークを表示させる。また、ユーザは、グルーピング条件設定エリア４１Ｅにおいて、撮影年と撮影月のチェックボックス４１Ｇにタッチすることによって分類のキー項目の選択を行い、矢印ボタン４１Ｈ，４１Ｊに適宜タッチすることによって、分類の階層が撮影年、撮影月の順になるように、分類のキー項目の並び順を変更する。さらに、ソート条件設定エリア４１Ｋにおいて、撮影年、撮影月、撮影日、撮影時刻のチェックボックス４１Ｍにタッチすることによって並べ替えのキー項目の選択を行い、矢印ボタン４１Ｈ，４１Ｊに適宜タッチすることによって、並べ替えのキー項目の優先順位が撮影年、撮影月、撮影日、撮影時刻の順になるように、並べ替えのキー項目の並び順を変更し、昇順ボタン４１Ｑにタッチすることによって、並べ替えの昇降順を選択する。以上のユーザの操作によって手動入力された画像の整理条件は、整理条件入力部６２によって、システムメモリ１４の所定の記憶領域に記憶される（ステップＳ２２）。
画像整理部５４は、整理条件入力部６２において入力された整理条件に基づき、入力画像から、指定されたユーザの子どもの顔が含まれる画像を抽出し、抽出された画像の各々について、どの撮影年・撮影月のフォルダに属するかを決定することによって、撮影年毎、撮影月毎に階層的に分類し、分類された各フォルダが撮影年、撮影月の昇順に並び、各撮影月のフォルダ内の各ファイルが撮影日時の昇順に並ぶように、整理結果リストの画像ファイルの並び順を決定する（ステップＳ２３）。
整理結果表示部５６は、画像整理部５４による整理結果を表した整理結果表示画面４２（図１０参照）を表示部６に表示させる（ステップＳ１４）。
ここでは、ユーザは、表示された整理結果を確認するとともに、「タイトル編集」ボタン４２Ｇにタッチする（ステップＳ１５；あり）。この「タイトル編集」ボタン４２Ｇのタッチに応じて、整理結果修正部６３は、タイトル編集画面を表示部６に表示させる。ユーザは、定型的なタイトルの中から「（NAME）ちゃんの成長記録（（YY/MM-1）〜（YY/MM-2））」を選択するとともに、抽出条件として選択された自分の子どもの顔画像に対応する人物名（富士太郎）を入力する（ステップＳ２１）。これにより、図１０に示したように、整理結果表示画面４２のタイトル領域４２Ａには、「富士太郎ちゃんの成長記録（２００５年１月〜２００６年２月）」という整理のタイトルが表示される。（ステップＳ１４）。なお、このとき入力された「富士太郎」という人物名は、抽出条件として選択された自分の子どもの顔画像の特徴量と同じ人物ＩＤと対応づけられて、人物情報テーブルＴ2に登録される。
タイトルの編集および整理結果の修正が完了し（ステップＳ１５；なし）、ユーザが整理結果表示画面４２の「この整理結果に決定」ボタン４２Ｌにタッチすると（ステップＳ１６；あり）、整理結果選択部５７は、これに応じて、整理結果表示画面４２に表示されている表示結果と、それに対応する整理条件を特定する。
整理結果記録部５８は、特定された整理結果のリストをカードスロット４に装填されたメモリカード２に記録する（ステップＳ１７）。
整理条件登録部５９は、整理条件テーブルＴ1から、顧客ＩＤ入力部５１で入力された顧客ＩＤ「ABC0001」に対応する、既に登録済みの整理条件を取得し（ステップＳ１８）、現在特定された整理条件と重複するかどうか判定する（ステップＳ１９）。ここでは、整理条件テーブルＴ1に顧客ＩＤ「ABC0001」と対応づけられた整理条件が登録されていないことを前提としているので、整理条件の重複はないと判定し（ステップＳ１９；なし）、現在の整理条件を、顧客ＩＤ「ABC0001」と連番「01」に対応づけて、整理条件テーブルＴ1に登録する（ステップＳ２０）。図８に例示される整理条件テーブルＴ1の顧客ＩＤ「ABC0001」かつ連番「01」と対応づけられた整理のタイトルと抽出条件、グルーピング条件、ソート条件は、以上のようにして登録されたものである。
なお、ユーザが、整理結果表示画面４２において「終了」ボタン４２Ｍにタッチした場合には（ステップＳ１６；なし）、整理結果の記録や整理条件の登録は行わずに、初期画面４０に戻る。
次に、第２のケースとして、上記の処理により整理条件テーブルＴ1に顧客ＩＤ「ABC0001」かつ連番「01」と対応づけられた整理条件の登録がされた後に、この顧客ＩＤ「ABC0001」のユーザが、新たに撮影して得た画像について、前回と同様に、自分の子どもの成長記録として整理を行う場合について説明する。
上記と同様にして、画像整理ボタン４０Ｂの選択、磁気カード３の挿入・顧客ＩＤの取得（ステップＳ１）、メモリカード２の装填・画像の入力（ステップＳ２）が行われた後、整理条件設定モード選択部６１は、画像整理条件設定モード選択画面を表示部６に表示させ、ユーザが画像整理条件設定モード選択画面で「自動」ボタンにタッチすることにより、自動による整理条件の設定が選択される（ステップＳ３）。
この「自動」による整理条件の設定という選択を受けて（ステップＳ４；Ｙｅｓ）、整理条件取得部５３は、顧客ＩＤ入力部５１で入力された顧客ＩＤと連番「01」を検索キーとして整理条件テーブルＴ１を参照し（ステップＳ５）、整理条件テーブルＴ1から顧客ＩＤ「ABC0001」に対応する整理条件の１件目（連番「01」）を取得する（ステップＳ６；あり）。
画像整理部５４は、取得された抽出条件「人物ＩＤ＝"ABC0001_01"」に基づき、画像入力部５２で入力された画像から顔領域を検出し、顔の特徴量を求めるとともに、人物情報テーブルＴ2から人物ＩＤ「ABC0001_01」に対応する特徴量を取得し、両特徴量の統計的距離を算出し、算出された統計的距離が所定の閾値以下となる入力画像を抽出し、グルーピング条件「撮影日時(YY)、撮影日時(MM)」に基づき、抽出された画像に付帯する撮影日時に基づいて、撮影年、撮影月毎に階層的に分類し、ソート条件「撮影日時、昇順）に基づき、撮影日時順に画像を並べ替える（ステップＳ７）。
このようにして１件目の整理条件に基づく画像整理処理が完了したら、整理条件取得部５３は、連番の値を１加算して「02」とし、顧客ＩＤ「ABC0001」に対応する２件目の整理条件の取得を試みる（ステップＳ８）。ここでは、顧客ＩＤ「ABC0001」に対応する整理条件は１件しか登録されていないので、２件目は該当なしとなり（ステップＳ９；なし）、引き続いて、装置既定の整理条件による画像の整理を行うかどうかを選択させるユーザインターフェースを表示部６に表示させる（ステップＳ１０）。
ここでは、ユーザが既定の整理条件による画像の整理を行わない方を選択して、既定の整理条件による画像整理処理をスキップした後（ステップＳ１０；しない）、行われた整理処理が１パターンのみかどうかの判定が行われる（ステップＳ１２）。ここでは、顧客ＩＤ「ABC0001」かつ連番「01」の整理条件の１パターンのみしか行っていないので（ステップＳ１２；Ｙｅｓ）、整理結果表示部５６が、その整理条件による整理結果を表した整理結果表示画面４２（図１０参照）を表示部６に表示させる（ステップＳ１４）。なお、整理結果表示画面４２のタイトル領域４２Ａの「富士太郎」という名前は、抽出条件にある人物ＩＤ「ABC0001_01」と対応づけられて人物情報テーブルＴ2に登録されているものを整理結果表示部５６が取得している。
その後、上記と同様に、必要に応じて整理結果の修正を行い（ステップＳ１５、Ｓ２１）、ユーザが整理結果表示画面４２の「この整理結果に決定」ボタン４２Ｌにタッチすると（ステップＳ１６；あり）、整理結果選択部５７が整理結果表示画面４２に表示されている表示結果とそれに対応する整理条件を特定し、整理結果記録部５８は、特定された整理結果のリストをメモリカード２に記録する（ステップＳ１７）。
整理条件登録部５９は、整理条件テーブルＴ1から、顧客ＩＤ入力部５１で入力された顧客ＩＤ「ABC0001」に対応する、既に登録済みの整理条件を取得し（ステップＳ１８）、現在特定された整理条件と重複するかどうか判定する（ステップＳ１９）。ここでは、整理条件テーブルＴ1に既に登録されている顧客ＩＤ「ABC0001」かつ連番「01」の整理条件が取得され、現在の整理条件との比較が行われる。ユーザが整理条件に影響するような整理結果の修正を行っていなければ、整理条件が重複していると判断され（ステップＳ１９；あり）、今回の整理条件の登録は行われない。整理結果の修正によって整理条件が変更され、整理条件の重複はないと判定された場合には（ステップＳ１９；なし）、現在の整理条件が、顧客ＩＤ「ABC0001」と連番「02」に対応づけられて、整理条件テーブルＴ1に登録される（ステップＳ２０）。
さらに、第３のケースとして、上記第１のケースの処理により整理条件テーブルＴ1に顧客ＩＤ「ABC0001」かつ連番「01」と対応づけられた整理条件のみが登録された状態で、この顧客ＩＤ「ABC0001」のユーザが、別のメモリカード２に記憶されている画像について、何をいつ撮影したものかを失念してしまったので、自ら整理条件を設定せずに、装置１によって自動的に設定される整理条件に基づいて整理を行わせる場合について説明する。
上記と同様にして、画像整理ボタン４０Ｂの選択、磁気カード３の挿入・顧客ＩＤの取得（ステップＳ１）、メモリカード２の装填・画像の入力（ステップＳ２）が行われた後、整理条件設定モード選択部６１は、画像整理条件設定モード選択画面を表示部６に表示させ、ユーザが画像整理条件設定モード選択画面で「自動」ボタンにタッチすることにより、自動による整理条件の設定が選択される（ステップＳ３）。
この「自動」による整理条件の設定という選択を受けて（ステップＳ４；Ｙｅｓ）、整理条件取得部５３は、顧客ＩＤ入力部５１で入力された顧客ＩＤと連番「01」を検索キーとして整理条件テーブルＴ１を参照し（ステップＳ５）、整理条件テーブルＴ1から顧客ＩＤ「ABC0001」に対応する整理条件の１件目（連番「01」）を取得する（ステップＳ６；あり）。
画像整理部５４は、取得された整理条件に基づいて画像整理処理を行う（ステップＳ７）。ここでは、ｎ番目に行われた画像整理処理の結果を第ｎの整理結果とする。したがって、この顧客ＩＤ「ABC0001」かつ連番「01」に対応する整理条件による整理結果を第１の整理結果となる。
１件目の整理条件に基づく画像整理処理が完了したら、整理条件取得部５３は、連番の値を１加算して「02」とし、顧客ＩＤ「ABC0001」に対応する２件目の整理条件の取得を試みる（ステップＳ８）。ここでは、顧客ＩＤ「ABC0001」に対応する整理条件は１件しか登録されていないので、２件目は該当なしとなり（ステップＳ９；なし）、引き続いて、装置既定の整理条件による画像の整理を行うかどうかを選択させるユーザインターフェースを表示部６に表示させる（ステップＳ１０）。
ここで、ユーザは既定の整理条件による画像の整理を行う方を選択し（ステップＳ１０；する）、整理条件取得部５３と画像整理部５４は、既定の整理条件による画像の整理処理を行う（ステップＳ１１）。具体的には、整理条件取得部５３は、顧客ＩＤを既定の整理条件用の予約値「ZZZ9999」に設定し、連番を「01」として、整理条件テーブルＴ１を参照し、整理条件テーブルＴ1から既定の整理条件の１件目を取得し、画像整理部５４が、取得した既定の整理条件に基づく画像整理処理を行う。以下、整理条件取得部５３は、連番を１ずつ加算しながら、次の既定の整理条件を取得し、画像整理部５４は、取得された既定の整理条件に基づく画像整理処理を行うことを繰り返す。
以上の画像整理処理により、図８の整理条件テーブルＴ1（ただし、この時点では、顧客ＩＤ「ABC0001」かつ連番「02」の整理条件は未登録である）の場合には、顧客ＩＤ「ABC0001」かつ連番「01」の整理条件に基づく第１の整理結果と、および、顧客ＩＤ「ZZZ9999」かつ連番「01」の整理条件に基づいて、人物ＩＤ、撮影年、撮影月毎に階層的に分類され、撮影日時の昇順に並べ替えられた第２の整理結果と、顧客ＩＤ「ZZZ9999」かつ連番「02」の整理条件に基づいて、撮影年、撮影月、撮影場所毎に階層的に分類され、撮影日時の昇順に並べ替えられた第３の整理結果と、顧客ＩＤ「ZZZ9999」かつ連番「03」の整理条件に基づいて、イベント特徴量の分布にしたがって分類され、撮影日時の昇順に並べ替えられた第４の整理結果の合計４パターンの画像整理結果が得られる。なお、第２の整理結果における人物ＩＤは、前述のとおり、入力画像から検出された顔画像をその類似性によってグループ化することを示しており、このグループ化を行ったときの各グループの代表顔画像の特徴量は、人物ＩＤと対応づけられて人物情報テーブルＴ2に登録される。
このように、このケースでは整理処理が複数パターン行われているので（ステップＳ１２；Ｎｏ）、整理結果評価部５５が、整理結果の各々について、グループ数やグループ内の画像数、グループ間の画像数の偏り（分散）等をポイント化することによって、各整理結果の好ましさを表す評価値Ｓc[1]からＳc[4]を算出する（ステップＳ１３）。
整理結果表示部５６は、評価値Ｓc[1]からＳc[4]を値の降順に並べ替えて表示の優先順位とし、最も評価値の大きい（優先順位の高い）整理結果を整理結果１として整理結果表示画面４２を表示部６に表示させる（ステップＳ１４）。なお、ユーザが整理結果表示画面４２の「次の整理結果」ボタン４２Ｅにタッチすると、整理結果表示部５６は、評価値の値が次に大きい整理結果を整理結果２として整理結果表示画面４２を表示部６に表示させる。以下同様にして、整理結果３および４を表示させることができる。また、ユーザが整理結果表示画面４２の「前の整理結果」ボタン４２Ｄにタッチすると、整理結果表示部５６は、現在表示されている整理結果より１つ優先順位が高い整理結果を表す整理結果表示画面４２を表示部６に表示させる。
その後、上記と同様に、必要に応じて整理結果の修正を行い（ステップＳ１５、Ｓ２１）、ユーザによって最も好ましいと判断された整理結果（ここでは第４の整理結果とする）が整理結果表示画面４２に表示されている状態で、ユーザが「この整理結果に決定」ボタン４２Ｌにタッチすると（ステップＳ１６；あり）、整理結果選択部５７が整理結果表示画面４２に表示されている表示結果とそれに対応する整理条件を特定し、整理結果記録部５８は、特定された整理結果のリストをメモリカード２に記録する（ステップＳ１７）。
整理条件登録部５９は、整理条件テーブルＴ1から、顧客ＩＤ入力部５１で入力された顧客ＩＤ「ABC0001」に対応する、既に登録済みの整理条件を取得し（ステップＳ１８）、現在特定された整理条件と重複するかどうか判定する（ステップＳ１９）。ここでは、整理条件テーブルＴ1に既に登録されている顧客ＩＤ「ABC0001」かつ連番「01」の整理条件と、ユーザによって選択された整理条件、すなわち顧客ＩＤ「ZZZ9999」かつ連番「03」の、イベント特徴量による分類かつ撮影日時の昇順の並べ替えという条件とは異なるものであるから、整理条件の重複はないと判定され（ステップＳ１９；なし）、選択された整理条件が、顧客ＩＤ「ABC0001」と連番「02」に対応づけられて、整理条件テーブルＴ1に登録される（ステップＳ２０）。なお、図８の顧客ＩＤ「ABC0001」かつ連番「02」と関連づけられた登録例は、整理結果表示画面４２で「タイトルの編集」ボタン４２Ｇがタッチされ、タイトル「運動会」が入力された場合を示している（ステップＳ１５、Ｓ２１；整理結果修正部６３）。
同様に、第４のケースとして、この顧客ＩＤ「ABC0001」のユーザが、さらに新たな画像に対して自動的に設定された整理条件による整理を行わせる場合には、上記のステップＳ５からＳ９の整理条件取得部５３と画像整理部５４での処理により、整理条件テーブルＴ1に既に登録されている顧客ＩＤ「ABC0001」に対応づけられた２件の整理条件に基づく２つの整理結果が得られ、ここで、ユーザが既定の整理条件での整理を行わない旨の選択をした場合には（ステップＳ１０；しない）、整理結果評価部５５が、これら２つの整理結果の各々についての評価値Ｓc[1]、Ｓc[2]を算出し（ステップＳ１３）、整理結果表示部５６は、評価値の高い順に整理結果１，２として、整理結果表示画面４２を表示部６に表示させる（ステップＳ１４）。このように、整理条件テーブルＴ1に顧客ＩＤと対応づけられた整理条件が複数登録されている場合にも、第３のケースと同様に、これらの整理条件に基づく整理結果の評価、整理結果の表示を行うことができる。
ここで、整理結果の修正内容を整理条件に反映する処理について補足する。例えば、顧客ＩＤ「DEF0001」のユーザが、整理条件テーブルＴ1にこの顧客ＩＤと関連づけられた整理条件が登録されていない状態で、新たな画像に対して、自動的に整理条件を設定させて整理を行わせる場合、ステップＳ１０で既定の整理条件で整理を行うことを選択し、整理条件取得部５３が整理条件テーブルＴ1から順次取得した顧客ＩＤ「ZZZ9999」の３つの整理条件の各々に基づいて、画像整理部５４が画像整理処理を行って３つの整理結果を取得し（ステップＳ１１）、整理結果評価部５５が、各整理結果についての評価値Ｓc[1]からＳc[3]を算出し（ステップＳ１３）、整理結果表示部５６が、評価値の高い順に整理結果１、２、３として、整理結果表示画面４２を表示部６に表示させる（ステップＳ１４）。ここで、顧客ＩＤ「ZZZ9999」かつ連番「01」の整理条件に基づく画像整理処理の結果、人物ＩＤ「DEF0001_00」〜「DEF0001_05」の６つのフォルダに画像が分類されていた場合に、ユーザが、フォルダ領域４２Ｂの人物ＩＤ「DEF0001_05」のフォルダにタッチしてフォルダの選択を行い、「フォルダ除外」ボタン４２Ｈにタッチすると、人物ＩＤ「DEF0001_05」のフォルダは未整理フォルダに移動され、結果表示画面４２上からはこのフォルダは消去される。さらに、「失敗写真の除外」ボタン４２Ｋにタッチすると、各フォルダに分類された画像から前述の処理で失敗写真と判定された画像が未整理フォルダに移動され、整理結果表示画面４２上からはこの画像は消去される。ここで、ユーザがこの整理結果に満足して「この整理結果に決定」ボタン４２Ｌにタッチすると（ステップＳ１６；あり）、整理結果選択部５７が整理結果表示画面４２に表示されている表示結果とそれに対応する整理条件を特定し、整理結果記録部５８は、特定された整理結果のリストをメモリカード２に記録するとともに（ステップＳ１７）、整理条件登録部５９が、既登録整理条件との重複チェックを行った上で（ステップＳ１８，Ｓ１９）、整理条件の整理条件テーブルＴ1への登録を行う（ステップＳ２０）。ここで、図８に示された整理条件テーブルＴ1において、登録された顧客ＩＤ「DEF0001」かつ連番「01」に対応づけられた整理条件と、この整理条件による整理結果のもととなった顧客ＩＤ「ZZZ9999」かつ連番「01」の既定の整理条件とを比較すると、登録された整理条件には、人物ＩＤ＝「DEF0001_00」〜「DEF0001_04」という抽出条件と、「失敗写真除外」という抽出（除外）条件が追加されていることがわかる。これらは、整理結果表示画面４２におけるユーザの操作によって行った整理結果の修正が、整理結果選択部５７によって特定され、整理条件に反映されていることを示している。
以上のように、本発明の第１の実施形態となる画像整理処理では、過去に行った画像の整理条件を、ユーザの顧客ＩＤ毎に整理条件テーブルＴ1に記憶させておき、整理条件設定モード選択部６１において、ユーザが整理条件の自動設定を選択した場合には、整理条件取得部５３が、顧客ＩＤ入力部５１で入力された顧客ＩＤと対応づけられた整理条件を整理条件テーブルＴ1から取得し、画像整理部５４が、取得された整理条件に基づいて、画像入力部５２から入力された新たな画像の整理を行うので、従来のように、ユーザによらず一律的な整理条件で画像の整理を行う場合に比べて、ユーザが所望する整理の観点に合致した、より好ましい画像の自動整理が可能になるだけでなく、撮影の度に画像と整理条件の対応づけを行う必要もなくなり、ユーザの手間もかからない自動整理が可能になる。
また、整理条件テーブルＴ1において、顧客ＩＤと連番を組合せで個々の整理条件を識別することによって、１ユーザ（１つの顧客ＩＤ）毎に整理条件を複数記憶可能にしておき、整理条件取得部５３によって順次取得された複数の整理条件の各々に基づいて、画像整理部５４が、複数のパターンの画像の整理を行うので、ユーザの画像整理条件に対する様々な要求に対してより柔軟に対応することが可能になる。
さらに、整理結果評価部５５が、複数のパターンの整理の結果の各々について整理結果の好ましさを表す評価値Ｓc[k]を算出し、整理結果表示部５６が、より好ましいと評価された整理の結果を優先的に表示させるようにしたので、ユーザは、複数のパターンによる整理の結果のどれが好ましいかをより容易に判断できるようになる。
次に、本発明の第２の実施形態となる画像整理処理について説明する。第２の実施形態では、ユーザ毎の整理条件や人物情報を注文受付装置１のハードディスク等の記憶装置に記憶させておかず、ユーザが所持するＩＣカードに記憶させておく点において、第１の実施形態と異なる。なお、ハードウェア構成については、図１、図２に示した第１の実施形態のものとほぼ同様であるが、磁気カード３は、より記憶容量が大きいＩＣカード３’に、カードリーダ５は、ＩＣカードのメモリに対する読み書きが可能なカードリーダ・ライタ５’に置換した構成となっている。
図１１は、本発明の実施形態による注文受付装置１の構成を示す概略ブロック図である。図１１に示したように、顧客ＩＤ入力部５１がない代わりに、整理条件を読み込む整理条件読込部７１と、人物ＩＤ毎の属性および特徴量からなる人物情報を読み込む人物情報読込部７２とをさらに備えた点で第１の実施形態とは異なる。
ここで、整理条件読込部７１と人物情報読込部７２は、表示部６に「ＩＣカードを挿入してください」等のＩＣカード３’のカードリーダ・ライタ５’への挿入を促すメッセージを表示させ、ＩＣカード３’がカードリーダ・ライタ５’に挿入されると、挿入されたＩＣカード３’のメモリから、各々、整理条件、および人物情報を取得する。
この整理条件は、このＩＣカード３’を所持しているユーザが過去に行った画像整理の際の整理条件である。整理条件読込部７１によって読み込まれた整理条件は、注文受付装置１のシステムメモリ１４の所定の記憶領域（ユーザ整理条件メモリ）に一時的に記憶される。これらのユーザ独自の整理条件と装置の既定の整理条件は、第１の実施形態と同様に、整理条件取得部５３によって参照されるが、ユーザ整理条件メモリには、そのユーザの整理条件しか記憶されていないため、顧客ＩＤは不要であり、整理条件取得部５３は、ユーザ整理条件メモリに記憶されている先頭の整理条件から順に読み込み、整理条件を取得する。一方、装置の既定の整理条件は、画像整理処理を行うサブプログラムの起動時に、ハードディスク２４から読み込まれ、システムメモリ１４の所定の記憶領域（既定整理条件メモリ）に記憶される。この既定の整理条件についても、ユーザ独自の整理条件とは別に記憶されているので、特別な顧客ＩＤ等によって識別する必要がなく、整理条件取得部５３は、既定整理条件メモリに記憶されている先頭の整理条件から順に読み込み、整理条件を取得する。
整理条件登録部５９が新たな整理条件を登録する際には、カードリーダ・ライタ５’経由で、ＩＣカード３’のメモリに書き込みを行う。
また、人物情報は、このＩＣカード３’を所持している顧客ＩＤのユーザが過去に行った画像整理の際に得られたものである。人物情報読込部７２によって読み込まれた人物情報は、注文受付装置１のシステムメモリ１４の所定の記憶領域（人物情報メモリ）に一時的に記憶される。記憶された人物情報は、第１の実施形態と同様に、画像整理部５４によって、必要に応じて参照される。また、新たに人物情報を書き込む際には、人物情報メモリに一旦書込みを行い、整理条件登録部５８がカードリーダ・ライタ５’経由でＩＣカード３’への書込みを行う際に、同時に、人物情報メモリの内容を書き込む。
この第２の実施形態での処理の流れは、図５および６の第１の実施形態のフローチャートにおいて、顧客ＩＤの入力受付（ステップＳ１）を行わないようにし、ステップＳ５の整理条件取得の際に、ＩＣカード３’のメモリからユーザ独自の整理条件と人物情報を読み込み、取得するようにしたものとなり、それ以外については、第１の実施形態と同様である。
以上のように、本発明の第２の実施形態となる画像整理処理では、ユーザ独自の整理条件や人物情報を注文受付装置１側で管理せずに、ユーザが所持するＩＣカード３’で管理するようにしたので、注文受付装置１側の管理が容易になるとともに、個人情報の保護も強化される。なお、第１の実施形態で得られた効果については、この実施形態でも同様に得られる。
本発明の第１の実施形態による画像整理装置を適用した注文受付装置の外観斜視図 本発明の第１の実施形態による注文受付装置の構成を示す概略ブロック図 初期画面を示す図 本発明の第１の実施形態による画像整理処理における主なデータの流れと機能ブロックを模式的に表した図 本発明の第１の実施形態による画像整理処理の流れを示すフローチャート 本発明の第１の実施形態による画像整理処理の流れを示すフローチャート（続き） 整理条件設定画面の一例を示す図 整理条件テーブルの一例を示す図 総合的特徴量の性質を示す図 整理結果表示画面の一例を示す図 本発明の第２の実施形態による画像整理処理における主なデータの流れと機能ブロックを模式的に表した図
符号の説明
１ 注文受付装置
２ メモリカード
３ 磁気カード
３’ ＩＣカード
４ カードスロット
５ カードリーダ
５’ カードリーダ・ライタ
６ 表示部
８ プリンタ
１０ ＤＩＣ
１２ ＣＰＵ
１４ システムメモリ
１６ メモリ制御部
１８ 入力部
２２ 入力制御部
２４ ハードディスク
２６ 表示制御部
３０ ネットワークインターフェース
４０ 初期画面
４１ 整理条件設定画面
４２ 整理結果表示画面
５１ 顧客ＩＤ入力部
５２ 画像入力部
５３ 整理条件取得部
５４ 画像整理部
５５ 整理結果評価部
５６ 整理結果表示部
５７ 整理結果選択部
５８ 整理結果記録部
５９ 整理条件登録部
６１ 整理条件設定モード選択部
６２ 整理条件入力部
６３ 整理結果修正部
７１ 整理条件読込部
７２ 人物情報読込部

Claims (8)

  1. 入力された複数の画像の各々の内容および／または該複数の画像の各々の付帯的属性に基づいて該複数の画像の整理を行う画像整理手段を備えた画像整理装置において、
    前記画像整理手段が行った整理の際の整理条件を、前記装置のユーザを識別するユーザ識別情報と対応づけて記憶する整理条件記憶手段と、
    前記ユーザ識別情報の入力を受け付けるユーザ識別情報受付手段と、
    入力された前記ユーザ識別情報と対応づけられた前記整理条件を前記整理条件記憶手段から取得する整理条件取得手段とをさらに備え、
    前記画像整理手段が、取得された前記整理条件に基づいて新たな画像の整理を行うものであることを特徴とする画像整理装置。
  2. 入力された複数の画像の各々の内容および／または該複数の画像の各々の付帯的属性に基づいて該複数の画像の整理を行う画像整理手段を備えた画像整理装置において、
    前記画像整理手段が行った整理の際の整理条件を、前記装置のユーザによって所持される、前記装置によって読み書き可能な記憶媒体に記憶させる整理条件出力手段と、
    前記整理条件を前記記憶媒体から取得する整理条件取得手段とをさらに備え、
    前記画像整理手段が、取得された前記整理条件に基づいて新たな画像の整理を行うものであることを特徴とする画像整理装置。
  3. 前記ユーザ毎の前記整理条件は、複数記憶されうるものであり、
    前記整理条件取得手段が、前記整理条件を複数取得した場合に、
    前記画像整理手段が、取得された前記複数の整理条件の各々に基づいて、複数のパターンの前記整理を行うものであるとともに、
    該複数のパターンの整理の結果の好ましさを評価する整理結果評価手段をさらに備えたことを特徴とする請求項１または２記載の画像分類装置。
  4. 前記整理結果評価手段によってより好ましいと評価された前記整理の結果を優先的に表示する整理結果表示手段をさらに備えたことを特徴とする請求項３記載の画像分類装置。
  5. 前記整理結果評価手段が、分類されたグループの数、グループ内の画像数、該画像数のグループ間での偏り度合の少なくとも１つに基づいて前記評価を行うものであることを特徴とする請求項３または４記載の画像分類装置。
  6. 入力された複数の画像の各々の内容および／または該複数の画像の各々の付帯的属性に基づいて該複数の画像の整理を行う際の整理条件を、ユーザ毎に記憶しておき、
    新たな複数の画像の整理を行う際に、
    記憶されている、該整理を行うユーザの前記整理条件を取得し、
    取得された前記整理条件に基づいて前記新たな画像の整理を行うことを特徴とする画像整理方法。
  7. 入力された複数の画像の各々の内容および／または該複数の画像の各々の付帯的属性に基づいて該複数の画像の整理を行う画像整理手段としてコンピュータを機能させる画像整理プログラムにおいて、前記コンピュータを、
    前記画像整理手段が行った整理の際の整理条件を、ユーザを識別するユーザ識別情報と対応づけて記憶装置に記憶させる整理条件記憶手段と、
    前記ユーザ識別情報の入力を受け付けるユーザ識別情報受付手段と、
    入力された前記ユーザ識別情報と対応づけられた前記整理条件を前記記憶装置から取得する整理条件取得手段としてさらに機能させ、
    前記画像整理手段が、取得された前記整理条件に基づいて新たな画像の整理を行うように機能させることを特徴とする画像整理プログラム。
  8. 入力された複数の画像の各々の内容および／または該複数の画像の各々の付帯的属性に基づいて該複数の画像の整理を行う画像整理手段としてコンピュータを機能させる画像整理プログラムにおいて、前記コンピュータを、
    前記画像整理手段が行った整理の際の整理条件を、前記コンピュータのユーザによって所持される、前記コンピュータによって読み書き可能な記憶媒体に記憶させる整理条件出力手段と、
    前記整理条件を前記記憶媒体から取得する整理条件取得手段としてさらに機能させ、
    前記画像整理手段が、取得された前記整理条件に基づいて新たな画像の整理を行うように機能させることを特徴とする画像整理プログラム。
JP2006099210A 2006-03-31 2006-03-31 画像整理装置および方法ならびにプログラム Pending JP2007272684A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006099210A JP2007272684A (ja) 2006-03-31 2006-03-31 画像整理装置および方法ならびにプログラム
US11/730,096 US7920760B2 (en) 2006-03-31 2007-03-29 Image organizing device and method, and computer-readable recording medium storing image organizing program
US13/039,938 US8285084B2 (en) 2006-03-31 2011-03-03 Image organizing device and method, and computer-readable recording medium storing image organizing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006099210A JP2007272684A (ja) 2006-03-31 2006-03-31 画像整理装置および方法ならびにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011277615A Division JP5485254B2 (ja) 2011-12-19 2011-12-19 画像整理装置および方法ならびにプログラム

Publications (1)

Publication Number Publication Date
JP2007272684A true JP2007272684A (ja) 2007-10-18

Family

ID=38574901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006099210A Pending JP2007272684A (ja) 2006-03-31 2006-03-31 画像整理装置および方法ならびにプログラム

Country Status (2)

Country Link
US (2) US7920760B2 (ja)
JP (1) JP2007272684A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169936A (ja) * 2007-12-21 2009-07-30 Canon Inc 情報処理装置及び情報処理方法
JP2013161394A (ja) * 2012-02-08 2013-08-19 Mitsubishi Electric Corp イベント写真注文システムおよびイベント写真注文方法
JP2013196514A (ja) * 2012-03-21 2013-09-30 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2014059773A (ja) * 2012-09-18 2014-04-03 Canon Inc 画像表示装置及びその制御方法、プログラム、並びに記憶媒体
JP2017021844A (ja) * 2016-09-29 2017-01-26 富士フイルム株式会社 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム
JP2017054555A (ja) * 2016-12-20 2017-03-16 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2019159539A (ja) * 2018-03-09 2019-09-19 オムロン株式会社 メタデータ評価装置、メタデータ評価方法、およびメタデータ評価プログラム
JP2020052700A (ja) * 2018-09-26 2020-04-02 株式会社リコー 情報処理装置、情報処理システム、ファイル一覧表示方法及びプログラム

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7813560B2 (en) * 2007-02-28 2010-10-12 Eastman Kodak Company Classifying complete and incomplete date-time information
KR100869947B1 (ko) * 2007-05-29 2008-11-24 삼성전자주식회사 휴대 단말기의 영상 생성 방법 및 장치
WO2009005744A1 (en) 2007-06-29 2009-01-08 Allvoices, Inc. Processing a content item with regard to an event and a location
WO2009057447A1 (ja) * 2007-10-29 2009-05-07 Nec Corporation 携帯端末、携帯端末システム、携帯端末の制御方法、プログラム、及び記録媒体
US8699857B2 (en) * 2007-12-06 2014-04-15 Olympus Imaging Corp. Reproducer, digital camera, slide show reproduction method, program, image display apparatus, image display method, image reproduction method, and image display program
JP5194826B2 (ja) * 2008-01-18 2013-05-08 株式会社リコー 情報検索装置、情報検索方法及び制御プログラム
US8126858B1 (en) 2008-01-23 2012-02-28 A9.Com, Inc. System and method for delivering content to a communication device in a content delivery system
JP4525785B2 (ja) * 2008-03-31 2010-08-18 ブラザー工業株式会社 情報処理装置及びコンピュータプログラム
US8089548B2 (en) * 2008-04-11 2012-01-03 Panasonic Corporation Image processing device, method, and storage medium
US20090297045A1 (en) * 2008-05-29 2009-12-03 Poetker Robert B Evaluating subject interests from digital image records
JP4670907B2 (ja) * 2008-06-13 2011-04-13 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理システム、および画像処理装置の制御プログラム
US8164441B2 (en) * 2008-06-25 2012-04-24 Symbol Technologies, Inc. Geographically agnostic wireless data communication system having wireless devices
JP5288961B2 (ja) * 2008-09-17 2013-09-11 キヤノン株式会社 画像処理装置および画像処理方法
TWI552608B (zh) * 2008-12-19 2016-10-01 湯姆生特許公司 旨在保護存取於儲存機構上所記錄視聽文件之顯示裝置及方法
JP2011009976A (ja) * 2009-06-25 2011-01-13 Hitachi Ltd 画像再生装置
US8837576B2 (en) * 2009-11-06 2014-09-16 Qualcomm Incorporated Camera parameter-assisted video encoding
US10178406B2 (en) * 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters
JP5137981B2 (ja) * 2010-02-01 2013-02-06 株式会社ビートソニック 車載用監視カメラ
US8655893B2 (en) * 2010-07-16 2014-02-18 Shutterfly, Inc. Organizing images captured by multiple image capture devices
US8990199B1 (en) 2010-09-30 2015-03-24 Amazon Technologies, Inc. Content search with category-aware visual similarity
US8422782B1 (en) 2010-09-30 2013-04-16 A9.Com, Inc. Contour detection and image classification
US8463036B1 (en) 2010-09-30 2013-06-11 A9.Com, Inc. Shape-based search of a collection of content
US9286643B2 (en) 2011-03-01 2016-03-15 Applaud, Llc Personalized memory compilation for members of a group and collaborative method to build a memory compilation
US20190266223A1 (en) * 2011-03-01 2019-08-29 Applaud, Llc Personalized memory compilation for members of a group and collaborative method to build a memory compilation
US11580155B2 (en) * 2011-03-28 2023-02-14 Kodak Alaris Inc. Display device for displaying related digital images
US20120275714A1 (en) * 2011-04-27 2012-11-01 Yuli Gao Determination of an image selection representative of a storyline
JP5747678B2 (ja) * 2011-06-17 2015-07-15 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9432564B2 (en) * 2011-06-30 2016-08-30 Nokia Corporation Method and apparatus for tagging information based on contextual criteria
WO2013145546A1 (ja) * 2012-03-28 2013-10-03 パナソニック株式会社 画像処理装置、およびコンピュータプログラム
US9424280B2 (en) * 2012-12-28 2016-08-23 Animoto Inc. Organizing media items based on metadata similarities
JP5807026B2 (ja) * 2013-01-11 2015-11-10 株式会社沖データ データ処理装置
JP6064618B2 (ja) * 2013-01-23 2017-01-25 富士ゼロックス株式会社 情報処理装置及びプログラム
US9230191B2 (en) 2013-03-15 2016-01-05 Dropbox, Inc. Presentation and organization of content
JP2014230002A (ja) * 2013-05-20 2014-12-08 キヤノン株式会社 画像表示装置、画像表示装置の制御方法およびプログラム
JP5899179B2 (ja) * 2013-09-30 2016-04-06 富士フイルム株式会社 人物認識装置、人物認識方法、人物認識プログラムおよびその記録媒体
CN103699619A (zh) * 2013-12-18 2014-04-02 北京百度网讯科技有限公司 一种用于提供搜索结果的方法及装置
JP6117131B2 (ja) * 2014-02-28 2017-04-19 京セラドキュメントソリューションズ株式会社 画像形成装置
KR20170013555A (ko) 2015-07-28 2017-02-07 엘지전자 주식회사 이동단말기 및 그 제어방법
US10366433B2 (en) 2015-08-17 2019-07-30 Adobe Inc. Methods and systems for usage based content search results
US11048779B2 (en) 2015-08-17 2021-06-29 Adobe Inc. Content creation, fingerprints, and watermarks
US10592548B2 (en) 2015-08-17 2020-03-17 Adobe Inc. Image search persona techniques and systems
US10878021B2 (en) 2015-08-17 2020-12-29 Adobe Inc. Content search and geographical considerations
US10475098B2 (en) 2015-08-17 2019-11-12 Adobe Inc. Content creation suggestions using keywords, similarity, and social networks
US9715714B2 (en) 2015-08-17 2017-07-25 Adobe Systems Incorporated Content creation and licensing control
US11100544B1 (en) 2015-12-28 2021-08-24 Amazon Technologies, Inc. Image-based item reviews
US10853983B2 (en) 2019-04-22 2020-12-01 Adobe Inc. Suggestions to enrich digital artwork

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004015403A (ja) * 2002-06-06 2004-01-15 Seiko Epson Corp 印刷装置及びその方法
JP2004229070A (ja) * 2003-01-24 2004-08-12 Konica Minolta Holdings Inc ファイル分類装置、ファイル分類プログラム、デジタルカメラ及びファイル分類システム
JP2006078805A (ja) * 2004-09-09 2006-03-23 Omron Entertainment Kk 写真プリント変更システム、写真撮影プリント装置、携帯情報端末、および写真プリント変更システムにおける制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2666755B2 (ja) * 1995-01-11 1997-10-22 日本電気株式会社 ワークフローシステム
US6606411B1 (en) 1998-09-30 2003-08-12 Eastman Kodak Company Method for automatically classifying images into events
JP4240896B2 (ja) 2002-03-15 2009-03-18 コニカミノルタホールディングス株式会社 画像分類システム
US7375730B2 (en) * 2002-07-29 2008-05-20 Motorola, Inc. Graphic entries for interactive directory
US7148990B2 (en) * 2002-08-15 2006-12-12 Hewlett-Packard Development Company, L.P. System and method for producing a photobook
JP2004118573A (ja) 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 画像整理装置およびプログラム
US7286723B2 (en) * 2003-06-27 2007-10-23 Hewlett-Packard Development Company, L.P. System and method for organizing images
JP2005033712A (ja) 2003-07-11 2005-02-03 Sony Corp 情報処理装置および方法、並びにプログラム
JP2005037992A (ja) 2003-07-15 2005-02-10 Seiko Epson Corp 画像ファイルの分類
JP4239090B2 (ja) * 2004-01-08 2009-03-18 富士フイルム株式会社 ファイル管理プログラム
US20060120686A1 (en) * 2004-12-03 2006-06-08 Frank Liebenow Method, apparatus and system for storage and retrieval of images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004015403A (ja) * 2002-06-06 2004-01-15 Seiko Epson Corp 印刷装置及びその方法
JP2004229070A (ja) * 2003-01-24 2004-08-12 Konica Minolta Holdings Inc ファイル分類装置、ファイル分類プログラム、デジタルカメラ及びファイル分類システム
JP2006078805A (ja) * 2004-09-09 2006-03-23 Omron Entertainment Kk 写真プリント変更システム、写真撮影プリント装置、携帯情報端末、および写真プリント変更システムにおける制御方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009169936A (ja) * 2007-12-21 2009-07-30 Canon Inc 情報処理装置及び情報処理方法
JP2013161394A (ja) * 2012-02-08 2013-08-19 Mitsubishi Electric Corp イベント写真注文システムおよびイベント写真注文方法
JP2013196514A (ja) * 2012-03-21 2013-09-30 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2014059773A (ja) * 2012-09-18 2014-04-03 Canon Inc 画像表示装置及びその制御方法、プログラム、並びに記憶媒体
JP2017021844A (ja) * 2016-09-29 2017-01-26 富士フイルム株式会社 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム
JP2017054555A (ja) * 2016-12-20 2017-03-16 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2019159539A (ja) * 2018-03-09 2019-09-19 オムロン株式会社 メタデータ評価装置、メタデータ評価方法、およびメタデータ評価プログラム
JP7143599B2 (ja) 2018-03-09 2022-09-29 オムロン株式会社 メタデータ評価装置、メタデータ評価方法、およびメタデータ評価プログラム
JP2020052700A (ja) * 2018-09-26 2020-04-02 株式会社リコー 情報処理装置、情報処理システム、ファイル一覧表示方法及びプログラム
JP7196502B2 (ja) 2018-09-26 2022-12-27 株式会社リコー 情報処理装置、情報処理システム、ファイル一覧表示方法及びプログラム

Also Published As

Publication number Publication date
US7920760B2 (en) 2011-04-05
US20110150366A1 (en) 2011-06-23
US20070236729A1 (en) 2007-10-11
US8285084B2 (en) 2012-10-09

Similar Documents

Publication Publication Date Title
JP2007272684A (ja) 画像整理装置および方法ならびにプログラム
JP5485254B2 (ja) 画像整理装置および方法ならびにプログラム
US8385606B2 (en) Image processing apparatus and method, and program
JP4305079B2 (ja) 画像管理装置
US8917943B2 (en) Determining image-based product from digital image collection
US9972113B2 (en) Computer-readable recording medium having stored therein album producing program, album producing method, and album producing device for generating an album using captured images
JP7111632B2 (ja) 画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
US7716157B1 (en) Searching images with extracted objects
US20130050747A1 (en) Automated photo-product specification method
US11450045B2 (en) Apparatus, method and medium
CN106454064A (zh) 图像处理装置以及图像处理方法
JP2020140577A (ja) 装置、方法、及びプログラム
US20200279423A1 (en) Apparatus, method and medium
JP6080409B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US8831360B2 (en) Making image-based product from digital image collection
JP7336211B2 (ja) 画像処理装置、制御方法、及びプログラム
JP2010057073A (ja) アルバム作成装置及びアルバム作成プログラム
JP7336209B2 (ja) 画像処理装置、制御方法、及びプログラム
JP2008090698A (ja) 画像分類装置および方法ならびにプログラム
US20130050745A1 (en) Automated photo-product specification method
US20130050744A1 (en) Automated photo-product specification method
JP2007094518A (ja) 携帯情報端末装置、情報処理装置、及び、画像整理方法
JP7336212B2 (ja) 画像処理装置、制御方法、及びプログラム
JP7336210B2 (ja) 画像処理装置、制御方法、及びプログラム
US11887214B2 (en) Storage medium storing program for generating album data, image processing method for generating album data, and image processing apparatus for generating album data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120619