JP2008090698A - 画像分類装置および方法ならびにプログラム - Google Patents

Abstract

【課題】画像を累積的に記録していく際にも、画像の適切な分類が維持できるようにする。
【解決手段】入力された複数の画像を所定の分類方法に基づいて１以上のグループに分類して画像データベース５５等の記録媒体に蓄積的に記録する画像分類・記録部５３と、画像分類・記録部５３によって記録された画像が所定の再分類実行条件に該当する場合に、少なくともその画像を所定の再分類方法に基づいて１以上のグループに再分類する画像再分類部５５とを設ける。
【選択図】図４

Description

本発明は、複数の画像を１以上のグループに分類する画像分類装置および方法、ならびに、この画像分類方法を実現するための制御をコンピュータに実行させるためのプログラムに関するものである。

銀塩カメラと比較すると、デジタルカメラでは、フィルム料金がかからない分、撮影自体のコストが下がり、その結果、より多くの画像を撮影する傾向にある。また、デジタルカメラに着脱される記録メディアの大容量化もその傾向を助長している。その結果、デジタルカメラの記録メディアや、記録メディアから読み出された画像データが保存されるパソコンのハードディスクやＣＤ−Ｒ等の記憶媒体には、非常に多くの画像がストックされ、その中には、必要な画像（写りのよい画像）と不要な画像（失敗写真や重複して撮影された画像等）が混在し、さらにそれらは未整理のままとなっていることが多い。

このような大量の画像を整理するのは大変面倒な作業となる。そこで、このような画像ストックからの必要な画像の検索・抽出や不要な画像の抽出・削除、さらに、画像ストック中の画像のイベントや日時、場所等の観点に基づく分類をサポートする装置が提案されている。

例えば、複数の画像を時間と内容的特徴（画像解析に基づく画像の類似性）の観点や（例えば、特許文献１）、撮影地や撮影日時の観点（例えば、特許文献２）、付帯情報（例：撮影日時）や付帯情報（例：撮影日時、ＧＰＳ情報）から得られる二次的情報（天気、国名）の観点（例えば、特許文献３）から自動分類することが提案されている。

また、古い画像と新しい画像ではアクセスに対する要求の性質が異なることから、新しい画像に対するアクセスの迅速性を重視するという観点に基づき、整理対象の画像を、その画像に付帯する撮影日時情報の前後関係に基づいて新しい画像グループと古い画像部グループに分け、古い画像グループの画像はより深い階層構造を有するグループにさらに分類し、新しい画像グループはより浅い階層を有するグループにさらに分類する手法が提案されている（例えば、特許文献４）
特開２０００−１１２９９７号公報 特開２００５−０３７９９２号公報 特開２００３−２７１６１７号公報 特開２００４−１２０４２０号公報

しかしながら、例えば、デジタルカメラの記録メディアの記録容量の限度近くまで撮影する度に、その記録メディアに記録された画像を入力として画像の分類を行い、インターネット等のネットワークに接続された画像サーバのハードディスク等に蓄積・記録していく場合のように、１つの記録媒体に複数の画像を蓄積的に記録していく場合、上記の分類手法ではいくつかの不都合が生じる。

例えば、家族構成の変化や趣味の増加等のカメラのユーザ側の状況の変化に伴い、ユーザの撮影対象は変化することから、分類対象の画像の内容的特徴は変化していく。したがって、特許文献１に記載されたような画像を内容的特徴の観点で分類しながら画像を蓄積していくと、以前に分類した特定のグループに画像が集中したり、以前に分類した他の特定のグループにはもはや画像が分類されなくなったり、新たなグループが増えすぎて収拾がつかなくなったりすることが考えられる。

また、画像の蓄積のタイミングによって、蓄積対象の画像の撮影日時の範囲は異なる可能性が高いことから、画像の累積的な記録の際に特許文献４に記載されたような画像の新古によって異なる分類手法を適用すると、分類・累積の度に、新しい画像のグループと古い画像のグループの境界となる撮影日時が変化していき、その結果、同じ撮影日時の画像であっても、分類を行うタイミングの違いによって、新しい画像として分類が行われたり古い画像として分類が行われたりし、分類後の画像グループの階層構成に不整合が生じる可能性が高い。

本発明は、上記事情に鑑みてなされたものであり、画像を累積的に記録していく際にも、画像の適切な分類が維持される画像分類装置および方法ならびにプログラムを提供することを目的とする。

本発明の画像分類方法は、入力された複数の画像を所定の分類方法に基づいて１以上のグループに分類して記録媒体に蓄積的に記録するステップと、記録された画像が所定の再分類実行条件に該当する場合に、少なくともその画像を所定の再分類方法に基づいて１以上のグループに再分類するステップとを有することを特徴とするものである。

本発明の画像分類装置は、入力された複数の画像を所定の分類方法に基づいて１以上のグループに分類して記録媒体に蓄積的に記録する分類・記録手段と、分類・記録手段によって記録された画像が所定の再分類実行条件に該当する場合に、少なくともその画像を所定の再分類方法に基づいて１以上のグループに再分類する再分類手段とを設けたことを特徴とするものである。

本発明の画像分類プログラムは、コンピュータを上記の画像分類装置として機能させるためのものである。すなわち、コンピュータに、入力された複数の画像を所定の分類方法に基づいて１以上のグループに分類して記録媒体に記録するステップと、記録された画像が所定の再分類実行条件に該当する場合に、少なくともその画像を所定の再分類方法に基づいて１以上のグループに再分類するステップとを実行させることを特徴とする。

次に本発明の画像分類方法、装置、およびプログラムの詳細について説明する。

「（画像を）記録媒体に蓄積的に記録」とは、同じ記録媒体に対する画像の記録を複数回にわたって逐次行うことによって、その記録媒体に画像を蓄積することを意味する。例えば、デジタルカメラの記録メディアの記録容量の限度近くまで撮影する度に、その記録メディアに記録された画像を、インターネット等のネットワークに接続された画像サーバのハードディスクに記録することによって、画像を蓄積することが考えられる。

「記録媒体」の具体例としては、ＣＤやＤＶＤ等の記録メディアやＰＣのハードディスク、インターネット等のネットワークに接続された画像サーバのハードディスク等が挙げられる。

「所定の分類方法」や「所定の再分類方法」とは、入力された複数の画像をその画像の内容的特徴や付加的特徴に基づいて自動分類する方法を意味し、公知の分類方法を適用することができる。

ここで、「内容的特徴」の具体例としては、画像解析によって得られる、画像中における人物の顔等の被写体の有無、空や海等の背景の特徴、撮影条件、画質等の情報の他、参照辞書との照合処理によって得られる、画像中の人物の名前、特定の被写体の有無等の情報が挙げられ、内容的特徴に基づく自動分類の具体的な方法としては、これらの情報を特徴量として、公知のクラスタリング処理等によって分類する方法が挙げられる。また、撮影者等によって付帯的情報として入力された画像のタイトルやキーワード等の情報を、内容的特徴を表す情報として利用し、入力された情報の共通性に基づいて分類を行うこともできる。

また、「付加的特徴」の具体例としては、その画像の撮影日時、撮影場所、撮像装置の機種、撮影モードやシャッタースピード、絞り、ストロボの設定等の撮影条件等の、撮影時に画像と関連づけられて記録される情報や、撮影者名等の、主に撮影後に手入力によって画像と関連づけられて記録される情報、その画像の参照回数や参照時間等の、撮影後に画像と関連づけられて更新される画像に対するアクセス頻度を表す情報、さらに、撮影日時と撮影場所に基づいて得られる天気や、撮影場所に基づいて得られる国名等の、前記の情報から得られる二次的情報等が挙げられる。なお、撮影場所の情報は、例えば、撮像装置に設けられた、ＧＰＳ情報（緯度、経度）や移動体通信における位置情報（基地局情報等）を取得する手段によって取得されうる。これらの付加的情報に基づく自動分類の具体的方法としては、撮影年等の撮影時期毎、撮影場所毎等のように、付加的特徴を表す情報の値に基づいて固定的に分類する方法や、付加的特徴を表す情報の値を特徴として捉え、公知のクラスタリング処理等によって分類を行う方法等が挙げられる。

これらの内容的特徴や付加的特徴を表す情報は、例えば、Ｅｘｉｆ規格等に基づくタグとして画像データと関連づけて付帯的情報として記録されうる。

また、これらの内容的特徴や付加的特徴を表す情報のうち、分類処理で用いられた情報や、その後の再分類実行条件の判定で用いられうる情報、再分類処理で用いられうる情報は、記録媒体への記録の際に、記録対象の画像と対応づけて記録しておくことが好ましい。

「分類方法」や「再分類方法」は、１つの方法を固定的に用いてもよいし、複数の方法を選択的に用いてもよい。後者の具体例としては、画像の撮影日時に基づいて撮影日時の新しい画像グループと撮影日時の古い画像グループに分類し、撮影日時の新しい画像グループの画像は、その画像の内容的特徴に基づいてさらに分類を行い、撮影日時の古い画像グループの画像は、その画像の撮影日時に基づいてさらに分類を行うようにする方法が挙げられる。この場合、例えば、所定の撮影日時を境界にして新しい画像グループと古い画像グループに分けてもよいし、撮影日時の新しいものから順に所定の数の画像を新しい画像グループとし、残りの画像を古い画像グループとしてもよい。また、後者の他の具体例としては、所定の判定基準に基づいて入力された複数の画像が撮影された期間の長短を判定し、撮影期間が長いと判定された場合には複数の画像をその画像の撮影日時に基づいて分類し、撮影期間が短いと判定された場合には複数の画像をその画像の内容的特徴に基づいて分類するようにしたりしてもよい。この場合、所定の期間を閾値として、その値との比較により撮影期間の長短を判定することが考えられる。

「再分類実行条件」の具体例としては、画像が属するグループの画像数が所定の値を超えているという条件が挙げられる。この条件に該当する場合には、このグループを２以上のグループに分割する再分類方法が好ましい。

また、他の具体例としては、画像が分類・蓄積の際にいずれのグループにも分類されなかった画像であるという条件が挙げられる。この条件に該当する画像としては、画像を内容的特徴に基づいて分類した場合に、他のいずれのグループの画像とも類似しなかった画像や、類似する画像が極めて少数であった画像等が挙げられる。また、これらの画像を分類不能画像グループ、未分類画像グループとして分類し、再分類実行条件を、画像が分類不能画像グループ、未分類画像グループに属することという条件にしてもよい。

さらに他の具体例としては、画像が所定の時間的基準を満たす撮影日時が古い画像であるという条件や、画像の分類を行った日時から所定の期間が経過しているという条件が挙げられる。

再分類実行条件は、画像グループ毎に異なる条件であってもよいし、全画像に共通の条件であってもよいし、両者の組合せであってもよい。

また、再分類実行条件の判定は、記録されている画像毎に行ってもよいし、グループ毎、すなわち、そのグループの属性、分類条件に対して行ってもよい。例えば、撮影時期が所定の時期より古いという再分類実行条件の場合、あるグループの属性、分類条件が、撮影時期が２００６年１０月のものという情報が得られれば、グループ内の画像毎に撮影日時を判定せずに、そのグループの属性、分類条件に基づいて、そのグループに属する画像を一括に判定することができる。

再分類の対象となる画像は、再分類実行条件を満たす画像のみであってもよいし、再分類実行条件を満たす画像が属するグループのすべての画像であってもよいし、記録媒体に蓄積されているすべての画像であってもよい。

本発明によれば、分類・記録された画像が所定の再分類実行条件に該当する場合に、少なくともその画像を所定の再分類方法に基づいて１以上のグループに再分類するので、画像を累積的に記録していく際にも、画像が適切に分類された状態を維持することが可能になり、ユーザは、常にわかりやすく整理された状態の画像にアクセスすることができるようになる。

特に、再分類実行条件を、画像が属するグループの画像数が所定の値を超えているという条件とし、再分類方法を、そのグループを２以上のグループに分割する方法とした場合には、画像の蓄積によって生じうるグループ間での画像数の偏りが是正される。

また、再分類実行条件を、画像がいずれのグループにも分類されなかった画像であるという条件にした場合には、画像の蓄積によってこのような画像が増加した際に、再分類によって、これらの画像が新たなグループに適切に分類されうるので、例えば、家族構成や趣味等のユーザの状況の変化に伴う画像の内容的変化に柔軟に対応した分類が実現されうる。

さらに、再分類実行条件を、画像が所定の時間的基準を満たす撮影日時が古い画像であるという条件や、画像の分類が行われてから長期間経過している画像であるいう条件とした場合には、これらの画像は、撮影日時の新しい画像や分類が行われてからさほど時間が経過していない画像とはアクセス頻度や要求の性質が異なるので、再分類によってこれらの画像を分離すること可能になり、ユーザにとって直感的にわかりやすい分類を維持することが可能になる。

また、最初の蓄積時の分類の際に、分類対象の画像の撮影日時の新しさや撮影された期間の長短に応じて異なる分類方法を用いた場合には、画像の蓄積に伴い、同じ撮影日時の画像が、分類・蓄積を行うタイミングの違いによって、異なる分類方法で分類されてしまい、その結果、分類状態に不整合が生じる可能性があるが、この場合であっても、再分類処理を行うことによって、分類状態の不整合が解消され、画像の適切な分類状態が常に維持されうる。

以下、図面を参照して本発明の実施形態について説明する。

図１は本発明の実施形態となる画像分類装置を備えた写真プリントの注文受付装置の外観斜視図である。図１に示すように、本発明の実施形態となる注文受付装置１は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されるものであり、プリント注文するための画像が記録された各種メモリカード２を装填し、メモリカード２から画像を読み出すための複数種類のカードスロット４と、顧客ＩＤが記録された磁気カード３を読み取るカードリーダ５と、プリント注文のための各種表示を行う表示部６とを備えている。また、この注文受付装置１は、顧客からの注文に基づいて写真プリントを行うプリンタ８、および画像に対する画像処理やプリント注文の管理を行うためのデジタルイメージコントローラ（ＤＩＣ）１０とネットワーク経由で接続されている。なお、表示部６はタッチパネル式の入力部１８を備え、ユーザは表示部６の表示にしたがって表示部６にタッチすることにより、プリント注文や画像分類に必要な入力を行うことができる。

図２は本発明の実施形態による注文受付装置１の構成を示す概略ブロック図である。図２に示すように、注文受付装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、装置１を動作させるための基本的なプログラムおよび各種係数等が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１８と、上述した表示部６とを備える。

また、注文受付装置１は、上述したカードスロット４のメモリカード２から読み出した画像データや、過去に分類済みの画像データと分類結果情報が蓄積された画像データベース、画像のプリント注文や分類を行うための各種プログラム等を記録するハードディスク２４と、システムメモリ１４、カードスロット４、カードリーダ５およびハードディスク２４を制御するメモリ制御部１６と、表示部６の表示を制御する表示制御部２６と、入力部１８による入力を制御する入力制御部２２と、装置１をプリンタ８、およびＤＩＣ１０とネットワークを介して通信するためのネットワークインターフェース３０とを備える。

なお、カードスロット４は、デジタルカメラやパソコンで使用されるメモリカード２の種類に応じて複数用意されているが、図２においては１つのカードスロット４のみを示している。また、ＣＤやＤＶＤ等の記録メディアからの画像の入力を受け付けられるようにしてもよい。

注文受付装置１で行われる後述の処理は、ハードディスク２４に記憶されている各種プログラムが実行されることによって実現される。なお、ハードディスク２４への各種プログラムの記憶は、これらの各種プログラムが記録されたＣＤ−ＲＯＭ等のコンピュータが読取可能な記録媒体からインストールすることによってなされるか、あるいは、この注文受付装置がインターネット等のネットワークに接続されている場合には、他のサイトからネットワーク経由でこれらの各種プログラムがダウンロード、インストールされることによってなされる。また、各種プログラムは、注文受付装置１で行われる処理全体を制御するメインプログラムと、メインプログラムから必要に応じて呼び出される、注文処理や画像分類処理を行うサブプログラム等からなる。

このような注文受付装置１におけるプリント注文は以下のようにして行われる。図３は注文受付装置１の表示部６に表示される初期画面を示す図である。この画面はメインプログラムの制御によって表示される。図３に示すように初期画面４０には、プリント注文を行うためのプリント注文ボタン４０Ａ、および後述するように画像の分類を行うための画像分類ボタン４０Ｂが表示されている。ここで、ユーザがプリント注文ボタン４０Ａを選択した場合、ＣＰＵ１２では、メインプログラムからプリント注文処理サブプログラムが呼び出され、このサブプログラムによる処理が実行される。ユーザが画面に表示される指示にしたがって複数の画像を記録したメモリカード２をカードスロット４に装填すると、装置１では、メモリカード２から複数の画像を読み出して一時的にハードディスク２４に保存し、さらに、複数の画像の一覧を表示部６に表示する。また、ユーザが、磁気カード３をカードリーダ５に挿入した場合には、顧客ＩＤが磁気カード３から読み取られ、その顧客ＩＤと関連づけられた画像が、過去に行われた分類処理の結果に基づいて、表示部６に表示される（図５参照）。

ユーザは、タッチパネル方式の入力部１６を用いて、表示部６に表示された画像の一覧からのプリント注文を行う画像の選択を行い、この操作に応じて表示されるプリント注文の詳細設定画面で注文枚数および注文サイズの設定を行う。そして、ユーザがプリント実行の指示を入力部１６を用いて行うと、ユーザが選択した画像、並びに注文枚数および注文サイズを表す注文情報がＤＩＣ１０に送信され、ここで画質を向上させるために必要な画像処理が画像に対して施され、注文情報に応じた注文枚数および注文サイズによりプリント注文した画像がプリンタ８からプリント出力される。

次に、本発明の実施形態における画像分類の処理について説明する。この処理は、ユーザが図３の初期画面で画像分類ボタン４０Ｂを選択することにより、メインプログラムから画像分類サブプログラムが呼び出され、実行されることによって実現される。

図４は、この注文受付装置１の一部を構成する本発明の実施形態となる画像分類装置の構成を模式的に表したブロック図である。図に示したように、この画像分類装置は、顧客ＩＤを取得する顧客ＩＤ入力部５１と、画像の入力を受け付ける画像入力部５２と、入力された複数の画像を所定の分類方法に基づいて１以上のグループに分類し、分類結果と顧客ＩＤ、画像を関連づけて蓄積的に記録する画像分類・記録部５３と、入力された画像や分類結果が蓄積的に記録される画像データベース５５と、画像データベース５５に記録されている画像が所定の再分類実行条件に該当する場合に、少なくともその画像を所定の再分類方法に基づいて１以上のグループに再分類する画像再分類部５４と、分類結果を表示部６に一覧表示する画面を生成する分類結果画面生成部５６とから構成される。

ここで、顧客ＩＤ入力部５１は、表示部６に「磁気カードを挿入してください」等の磁気カード３のカードリーダ５への挿入を促すメッセージを表示させ、磁気カード３がカードリーダ５に挿入されると、挿入された磁気カード３の磁気部分を読み取って顧客ＩＤを取得する。

画像入力部５２は、表示部６に「メモリカードを挿入してください」等のメモリカード２のカードスロット４への挿入を促すメッセージを表示させ、メモリカード２がカードスロット４に挿入されると、挿入されたメモリカード２から画像ファイルを読み込み、装置１のハードディスク２４に一時的に記憶させる。

画像分類・記録部５３は、画像分類装置に予め設定された分類条件に基づき、必要に応じて、画像入力部５２で入力された画像データに対して所定の画像解析処理を行ったり、画像データのＥｘｉｆタグ領域を参照して付帯情報を取得したりし、これらの処理によって得られた情報に基づいて、入力された画像を１以上のグループに分類し、分類結果として、顧客ＩＤと画像ファイル名、分類のためのキーとなる情報、分類グループを識別するグループＩＤ、そのグループの属性、分類条件等を画像データベース５５に登録する。分類処理の具体例については後述する。

画像データベース５５は、画像データと分類結果とを蓄積するためのものであり、画像データ自体が蓄積されるだけでなく、各画像の所属グループや分類のキーとなる情報を管理する画像情報テーブルや、各分類グループの属性や分類条件を管理するグループ情報テーブルも備えており、分類結果がこれらのテーブルに登録される。また、顧客毎に異なる登録が必要な情報については、顧客ＩＤ毎に登録できるように構成されている。なお、これらのテーブルの構成の具体例については後述する。

画像再分類部５４は、画像データベース５５の画像情報テーブルやグループ情報テーブルを参照し、画像分類装置に予め設定された再分類実行条件に該当するかどうかをグループ毎または画像毎に判定し、再分類実行条件に該当する場合には、少なくともその画像を所定の再分類方法に基づいて１以上のグループに再分類し、画像情報テーブルやグループ情報テーブルの更新や情報の追加登録を行うことによって、再分類結果を反映する。この再分類処理は、画像分類装置に予め設定された所定のタイミングで行うようにしてもよいし、ユーザからの再分類処理実行の指示の入力を受け付ける画面インターフェースを入力部１８と表示部６に設け、ユーザの指示にしたがって任意のタイミングで行うようにしてもよい。また、画像分類・記録部５３による画像分類処理が行われる毎に再分類処理を行う場合等、特定の顧客の画像のみを再分類する場合には顧客ＩＤ入力部５１で入力された顧客ＩＤを取得する。なお、再分類実行条件や再分類方法、再分類処理のタイミングの具体例については後述する。

分類結果画面生成部５６は、画像データベース５５を参照して、顧客ＩＤ入力部５１で入力された顧客ＩＤと関連づけられた画像の画像データやその画像の所属グループの情報を取得し、その顧客の画像の分類結果を階層化されたフォルダとして表示したり、グループ毎のサムネイル画像を一覧表示したりする画面を生成する。図５は、分類結果画面生成部５６によって生成される画像一覧表示画面４２の表示例である。図に示したように、画面上部のタイトル領域４２Ａには、画面のタイトルや、顧客ＩＤ入力部５１で入力された顧客ＩＤが表示されるとともに、画像分類結果の表示の場合には、画像の出力元の欄に「画像データベース」と表示される。なお、初期画面４０でプリント注文を選択した場合等には、画像入力部５２でメモリカード２から入力された画像が一覧表示されるので、出力元の欄には「メモリカード」と表示される。フォルダ領域４２Ｂには、画像分類・記録部５３や画像再分類部５４による分類結果が階層化されたフォルダとして表示される。サムネイル画像領域４２Ｃには、フォルダ領域４２Ｂにおいてユーザによって選択されたフォルダに属する画像の画像ファイルが読み込まれ、サムネイル画像が表示される。フォルダ領域４２Ｂやサムネイル画像領域４２Ｃには、表示内容に応じて、必要に応じてスクロールバーが表示される。出力元切替ボタン４２Ｄは、画像データベース５５に蓄積されている画像をフォルダに分類した状態で一覧表示するか、画像入力部５２でメモリカード２から入力され、ハードディスク２４に一時的に記録されている画像を未分類のまま一覧表示するかを切り替えるためのボタンである。プリント注文ボタン４２Ｅは、サムネイル画像領域４２Ｃで選択された画像のプリント注文を行うためのボタンであり、このボタンにタッチ（押下）すると、別のプリント注文詳細設定画面が表示され、プリント枚数やサイズ等のプリント注文の詳細を設定することができる。画像表示切替画面２Ｆは、サムネイル画像領域４２Ｃで選択された画像の拡大表示を行うためのボタンである。このボタンにタッチ（押下）すると、サムネイル画像領域４２Ｃの表示が、選択された画像の拡大表示に切り替わる。終了ボタン４２Ｇは、画像の一覧表示を終了し、初期画面４０に戻るためのボタンである。

このような注文受付装置１の一部を構成する画像分類装置による画像分類処理は、以下のようにして行われる。まず、ユーザが、図３の初期画面４０で、画像分類ボタン４０Ｂを選択することにより、ＣＰＵ１２では、メインプログラムから画像分類サブプログラムが呼び出され、このサブプログラムによる処理が実行される。ユーザが画面に表示される指示にしたがって磁気カード３をカードスロット５に挿入すると、顧客ＩＤ入力部５１が、磁気カード３から顧客ＩＤを読み取り、読み取った顧客ＩＤをシステムメモリ１４に記憶させる。一方、ユーザが画面に表示される指示にしたがって複数の画像を記録したメモリカード２をカードスロット４に装填すると、画像入力部５２が、メモリカード２から複数の画像を読み出して一時的にハードディスク２４に保存する。次に、画像分類・記録部５３が、ハードディスク２４に一時的に記録された複数の画像を、予め設定された分類条件に基づいて分類し、画像データ（画像ファイル）を画像データベースに蓄積・記録するとともに、画像毎の分類されたグループの情報等を画像情報テーブルに登録し、グループ毎の分類条件等をグループ情報テーブルに登録する。ここで、画像分類・記録部５３で処理が行われる度に画像の再分類を行うように予め設定されている場合には、画像再分類部５４が、顧客ＩＤ入力部５１で入力された顧客ＩＤと関連づけられた画像のみを対象として、予め設定された画像再分類実行条件に基づいて、各グループまたは各画像が再分類対象かどうかを判定し、再分類対象の画像の再分類を行い、画像情報テーブルやグループ情報テーブルの更新や追加登録を行う。次に、分類結果画面生成部５６が、画像データベースを検索し、顧客ＩＤ入力部５１で入力された顧客ＩＤと関連づけられた画像のみを対象として、分類結果を表示する分類結果画面を生成し、表示制御部２６を経由して、表示部６にこの画面を表示する。

次に、本発明による画像分類装置による画像の分類・再分類処理の具体的実施形態について説明する。

本発明の第１の実施形態では、画像分類・記録部５３は、入力された画像の撮影日時に基づき、画像を四半期（３ヶ月）毎のグループに分類する処理（以下、四半期分類処理）を行い、画像再分類部５４は、画像分類・記録部５３による処理とは独立したタイミングで、撮影から２年を超える画像のみからなるグループを半期（半年）毎のグループに統合する処理（以下、アーカイブ処理）を行うとともに、画像数が１００枚を超えるグループを月毎のグループに分割する処理（以下、分割処理）を行う。なお、再分類のタイミングは、毎月末のような定期的なタイミングや不定期なタイミングのいずれであってもよい。

図６は、上記の分類・再分類処理を実現するための画像情報テーブルとグループ情報テーブルの構成の一例である。図に示したように、画像情報テーブルは、画像毎の所属グループと分類の基準となる値を管理するものであり、具体的には、顧客を識別する顧客ＩＤと画像を識別する画像ファイル名の組合せ毎に、グループを識別するグループＩＤと画像の撮影日時を登録できるようになっている。一方、グループ情報テーブルは、グループ毎にそのグループの属性と分類条件を管理するものであり、具体的には、グループＩＤ毎にグループ属性と分類条件が登録できるようになっている。ここで、グループ属性の値には「H」(Half)、「Q」(Quarter)、「M」(Month)があり、各々、そのグループが半期（半年）単位、四半期（３ヶ月）単位、月単位であることを意味する。なお、ここでは、１月から３月までを第１四半期（Q1=1st Quarter）、４月から６月まで第２四半期（Q2=2nd Quarter）、７月から９月までを第３四半期（Q3=3rd Quarter）、１０月から１２月までを第４四半期（Q4=4th Quarter）としており、１月から６月までを上半期(H1=1st Half)、７月から１２月を下半期H2=2nd Half)としているが、四半期等の区切り方は他の方法でもよい。分類条件には、そのグループに属しうる画像の最も古い撮影日時を定義する撮影日時範囲(from)と、そのグループに属しうる画像の最も新しい撮影日時を定義する撮影日時範囲(from)とがある。例えば、２００６年第１四半期の画像が分類されるグループの場合、グループＩＤ＝「2006/Q1」（「/」はグループの階層を表す）、グループ属性＝「Q」、撮影日時範囲(from)＝「2006/01/01 00:00:00」、撮影日時範囲(to)＝「2006/03/31 23:59:59」と登録され、２００６年の下半期の画像が分類されるグループの場合、グループＩＤ＝「2006/H2」、グループ属性＝「H」、撮影日時範囲(from)＝「2006/07/01 00:00:00」、撮影日時範囲(to)＝「2006/12/31 23:59:59」と登録され、２００７年１月の画像が分類されるグループの場合には、グループＩＤ＝「2007/01」、グループ属性＝「M」、撮影日時
範囲(from)＝「2007/01/01 00:00:00」、撮影日時範囲(to)＝「2007/01/31 23:59:59」と登録される。一方、例えば、画像情報テーブルには、顧客ＩＤ＝「012345」、画像ファイル名＝「DSCF0001.jpg」、グループＩＤ＝「2006/Q1」、撮影日時＝「2006/01/03 10:23:45」というように登録される。

画像分類・記録部５３は、画像入力部５２で入力され、ハードディスク２４に一時的に格納されている画像ファイルの各々について、画像ファイルのＥｘｉｆタグ領域に記録されている撮影日時を読み取り、撮影年からグループＩＤの年部分を決定し、撮影月からグループＩＤの四半期部分を決定する。さらに、顧客ＩＤ入力部５１で入力され、システムメモリ１４に記憶されている顧客ＩＤと、画像ファイル名、決定されたグループＩＤ，撮影日時を画像情報テーブルに登録するとともに、決定されたグループＩＤがグループ情報テーブルに登録されていない場合には、決定されたグループＩＤ、グループの属性「Q」、撮影日時範囲(from)、撮影日時範囲(to)をグループ情報テーブルに登録する。

次に、画像再分類部５４が行うアーカイブ処理について説明する。図７は、この処理の流れを表すフローチャートである。画像再分類部５４は、まず、グループ情報テーブルから１件目のグループ情報を取得し(#1)、再分類対象グループであるかどうかを判定する(#2)。具体的には、イベント属性の値が「H」以外で、撮影日時範囲(to)の値に２年加算した値が現在日時よりも小さければ再分類対象グループであると判定する。なお、現在日時は、注文受付装置１が保持しているものを取得する。再分類対象グループであると判定した場合には(#2,YES)、そのグループのグループＩＤが設定されている画像情報をすべて抽出し、グループＩＤを半期単位の値に一括して更新する(#3)。具体的には、グループＩＤの四半期部分の値が、「Q1」「Q2」のものは「H1」、「Q3」「Q4」のものは「H2」に更新する。グループＩＤの年部分の値は変更しない。さらに、更新後のグループＩＤの値を検索キーとしてグループ情報テーブルを検索し、そのグループＩＤが登録済みかどうかをチェックする(#4)。未登録の場合には(#4,NO)、そのグループＩＤについてのグループ情報の登録を行う(#5)。登録済みの場合には(#4,YES)、ステップ#5の処理をスキップする。また、ステップ#2の判定で、再分類対象グループではないと判定された場合には(#2,NO)、上記のステップ#3から#5までの処理をスキップする。以上で１件目のグループ情報に対する処理は終了し、２件目以降のグループ情報を順次取得し(#6)、同様の処理(#7,NO、#2から#5)を繰り返し行う。ステップ#6において取得すべきグループ情報がなくなったら(#7,YES)、この処理を終了する。

次に、画像再分類部５４が行う分割処理について説明する。図８は、この処理の流れを表すフローチャートである。画像再分類部５４は、まず、画像情報テーブルとグループ情報テーブルを結合した集計処理を行い、グループ属性が「Q」のグループＩＤの画像について、顧客ＩＤ・グループＩＤ別の画像数の集計を行う(#11)。以下、集計結果の各行、すなわち特定の顧客ＩＤ・特定のグループＩＤと関連づけられた画像の数を表す各行を集計レコードと呼ぶ。画像再分類部５４は、次に、１件目の集計レコードを取得し(#12)、画像数が所定の閾値（ここでは100）を超えているかどうかを判定する(#13)。画像数が１００を超えている場合には(#13,YES)、その集計レコードと同じ顧客ＩＤ、グループＩＤを検索キーとして画像情報テーブルを検索し、該当する画像情報の１件目を取得する(#14)。次に、その画像情報の撮影日時の月の値に基づいて、その画像情報のグループＩＤを月単位のグループＩＤに更新する(#15)。例えば、画像情報の撮影日時が「2006/09/24 12:12:20」だった場合、その画像情報のグループＩＤを「2006/Q3」から「2006/09」に更新する。ここで、更新後のグループＩＤの値を検索キーとしてグループ情報テーブルを検索し、そのグループＩＤが登録済みかどうかをチェックする(#16)。未登録の場合には(#16,NO)、そのグループＩＤについてのグループ情報の登録を行う(#17)。登録済みの場合には(#16,YES)、ステップ#17の処理をスキップする。さらに、ステップ#13の条件を満たす２件目以降の画像情報を順次取得し(#18)、ステップ#15から#17の処理を繰り返し行う(#19,NO)。ステップ#18において取得すべき画像情報がなくなったら(#19,YES)、１件目の集計レコードについての処理を終了する。なお、ステップ#13において画像数が２００以下の場合には(#13,NO)、上記のステップ#14から#19までの処理はスキップする。同様にして、２件目以降の集計レコードについても順次取得し(#20)、ステップ#13から#19までの処理を繰り返し行い(#21,NO)、取得すべき集計レコードがなくなったら(#21,YES)、この処理を終了する。

図９は、本発明の第１の実施形態となる画像分類処理を行った結果の一例である。図中、２００４年Ｑ１から２００７年Ｑ１、２００４年Ｈ１、Ｈ２、２００５年７月から９月の各フォルダは、２００５年１２月１日と２００７年１月１０日の分類処理、および２００７年１月３１日の再分類処理によって適宜分類されたグループのグループＩＤであり、括弧付きの数字は、各分類・再分類処理によってそのグループに分類された画像の数を表している。すなわち、２００５年１２月１日に行われた分類処理により、２００４年Ｑ１から２００５年Ｑ４までの各グループに、各々、５０，４０，６０，７０，４０，３０，７５，２０の画像が分類され、２００７年１月１０日に行われた分類処理において、新たな画像が入力され、２００５年Ｑ１から２００７年Ｑ１までの各グループに、各々、１０，３５，５５，６０，５０，４０，６０，７０，５０の画像が分類されている。ここで、２００７年１月３１日の再分類処理において、アーカイブ処理により、撮影から２年を越えた画像のみが含まれるグループ、すなわち、撮影日時が２００５年１月３１日以前の画像のみからなるグループの統合処理が行われる。具体的には、各々、２００４年Ｑ１とＱ２のグループは２００５年Ｈ１のグループに統合され、２００４年Ｑ３とＱ４のグループは２００４年Ｈ２のグループに統合される。また、分割処理により、画像数が１００を超えるグループ、具体的には、２００５年Ｑ３のグループが、２００５年７月、８月、９月の３グループに分割される。

以上のように、本発明の第１の実施形態となる画像分類・再分類処理では、画像分類・記録部５３によって撮影日時に基づいて四半期毎に分類された画像グループに対して、差画像再分類部５４が、撮影から２年を超えた古い画像を半期毎の画像グループに再分類するアーカイブ処理を行うので、アクセス頻度が下がる可能性が高い古い画像をまとめてしまうことによって、分類グループが増えすぎてユーザにとってわかりにくい分類結果となることが回避され、ユーザにとって直感的でわかりやすい分類を維持することが可能になる。

また、画像再分類部５４は、四半期毎の画像グループのうち画像数が１００を超えるものを月毎の画像グループに分割する分割処理を行うので、画像の蓄積に伴うグループ間での画像数の偏りが是正され、１グループあたりの画像数が適正化され、ユーザにとって分類結果がよりわかりやすい状態が維持される。

このように、画像を累積的に記録していく際にも、画像が適切に分類された状態を維持することが可能になり、ユーザは、常にわかりやすく整理された状態の画像にアクセスすることができるようになる。

さらに、画像再分類部５４は、アーカイブ処理の際、グループ情報テーブルの情報のみをチェックすることによって再分類対象のグループを決定し、再分類対象グループの画像のグループＩＤを一括して更新するので、グループ内の個別の画像の撮影日時を取得して判定する必要がなくなり、処理効率が向上する。

また、アーカイブ処理の後で分割処理を行うことにより、分割処理の判定対象となるグループが減少し、処理効率が向上する。

本発明の第２の実施形態では、画像分類・記録部５３は、入力された画像の撮影日時に基づき、撮影から１年未満の新しい画像グループと撮影から１年以上経過した古い画像グループに分類し、新しい画像グループの画像は、画像の内容的特徴を表すイベント特徴量に基づいてさらに分類を行い（以下、イベント分類処理）、古い画像グループの画像は、四半期毎のグループにさらに分類する処理（四半期分類処理）を行う。画像再分類部５４は、画像分類・記録部５３による処理が行われる度に、顧客ＩＤ入力部５１で入力された顧客ＩＤと関連づけられた画像のみを対象に、初回の分類時にはイベント特徴量に基づいて分類されたが、その後、撮影から１年以上経過した画像を四半期毎のグループに再分類する処理（以下、イベント・アーカイブ処理）を行うとともに、イベント特徴量に基づく分類の際にグループ化できなかった画像に対してイベント特徴量に基づく再分類を試みる処理（以下、イベント再分類処理）を行う。

図１０は、上記の分類・再分類処理を実現するための画像情報テーブルとグループ情報テーブルの構成の一例である。図に示したように、画像情報テーブルは、顧客を識別する顧客ＩＤと画像を識別する画像ファイル名の組合せ毎に、グループを識別するグループＩＤと画像の撮影日時、各種総合的特徴量を登録できるようになっている。なお、総合的特徴量については後述する。一方、グループ情報テーブルは、グループＩＤ毎にグループ属性とイベント特徴量ＩＤ、撮影日時範囲(from)、撮影日時範囲(to)が登録できるようになっている。ここで、グループ属性の値には、「Q」(Quarter、四半期)と、「E」(Event、イベント特徴量)がある。分類条件は、イベント特徴量ＩＤ、撮影日時範囲(from)、撮影日時範囲(to)によって表され、撮影日時範囲(from)、撮影日時範囲(to)は第１の実施形態と同様である。イベント特徴量ＩＤについては後述する。その他、第１の実施形態と同一の項目については、第１の実施形態と同様の設定がなされうる。

画像分類・記録部５３は、画像入力部５２で入力され、ハードディスク２４に格納されている画像ファイルの各々について、画像ファイルのＥｘｉｆタグ領域に記録されている撮影日時を読み取るとともに、注文受付装置１が保持している現在日時を取得し、その画像が撮影から１年未満のものであるかどうかを判定する。撮影から１年以上経過した画像の場合には、画像分類・記録部５３は、第１の実施形態と同様の方法で、画像を四半期毎に分類する。一方、撮影から１年未満の画像の場合には、入力画像に対する複数の種類の画像解析によって得られる複数の特徴量に基づいて得られる、複数の総合的な特徴量の中から、隣接画像間での総合的特徴量の変化量が撮影日時の間隔と正の高い相関を有するものを、その複数の入力画像中に表現されているイベントを最もよく表すイベント特徴量として選択し、選択されたイベント特徴量の分布に応じた分類を行う。

具体的には、まず、画像分類部５３は、入力された画像ファイルの各々について、複数の種類の画像解析を行い、複数の種類の特徴量ｇ_i（i=1,2,・・・,m,・・・,M）を算出する。ここで、算出される特徴量としては、例えば、画像の色、輝度、テキスチャ、奥行き、画像中のエッジ等を表すものがある。次に、例えば、下の式（１）のようにして、これら複数の特徴量ｇ_iと複数の係数ａ_i[j]，ｂ_i[j]，ｃ_i[j] （j=1,2,・・・,n,・・・,N）に基づいて、N種類の新たな複数の総合特徴量Ｅv(j)を求める。
Ev[j] = (a₁[j]・g₁+a₂[j]・g₂+...+a_M[j]・g_M)
+(b₁[j]・g₁・g₂+ b₂[j]・g₂・g₃+...+ b_M-1[j]・g_M-1・g_M)
+(c₁[j]・g₁ ²+ c₂[j]・g₂ ²+...+ c_M[j]・g_M ²) （１）
これにより、１つの入力画像について、係数ａ_i[j]，ｂ_i[j]，ｃ_i[j]の値の組合せの異なるN個の総合特徴量Ｅv[j]が求まる。

さらに、入力された画像を撮影日時順に並べた際の隣接画像間の撮影時間間隔Δtと、隣接画像間の総合特徴量の差分ΔEv[j]との相関係数Ｒ[j]を、j=1,2,・・・,n,・・・,Nについて求め、 相関係数Ｒ[j]が最大となるときのjの値Jにおける総合的特徴量Ｅv[J]をイベント特徴量として決定する。

そして、入力画像を各画像のイベント特徴量Ｅv[J]の値の順に並べ替え、隣接画像間のイベント特徴量Ｅv[J]の差が所定の閾値より大きい場合に、その画像間がグループの境界となるように分類する。

例えば、ある総合的特徴量Ｅv[J₁]について、縦軸を総合的特徴量、横軸を撮影順として、入力された複数の画像の各々についての総合的特徴量Ｅv[J₁]の時系列的な分布を表現すると、図１１（ａ）のように、連続する複数の画像毎にグループ（Ａ〜Ｅ）を形成したものとなったとすれば、この総合的特徴量Ｅv[J₁]は、この入力画像を分類するのに好ましいものであると考えられる。一方、ある総合的特徴量Ｅv[J₂]についても同様の時系列的な分布を表現すると、図１１（ｂ）のように、ランダムな分布になったとすれば、この総合的特徴量Ｅv[J₂]は、この入力画像を分類するのには好ましいものではないと考えられる。上記の分類方法では、これらの分布パターンを識別するために、「画像間の撮影間隔が空いていれば、その画像間でイベントが異なっている可能性が高い」ことを前提とし、入力画像を時系列に並べたときの隣接画像間における撮影間隔と総合的特徴量の差とが最も高い正の相関を示す総合的特徴量を、入力された複数の画像に表現されたイベント毎に分類するのに最適なイベント特徴量として選択し、選択されたイベント特徴量の分布に応じて、入力画像の分類を行っている。なお、図１１（ａ）の場合、イベント特徴量Ｅv[J₁]に応じた分類結果では、グループＢとＤは同一グループとなる。例えば、グループＢには去年の運動会の画像が含まれ、グループＤには今年の運動会の画像が含まれる場合、これらの２つのグループは、運動会という１つのグループに統合されて分類される。

画像分類・記録部５３は、以上の処理を行った後、イベント特徴量に基づいて分類された各グループの画像数を判定し、画像数が１０未満のグループの画像については、グループとして独立させず、「その他」の画像としてまとめて分類する。そして、イベント特徴量によるグループについては、グループＩＤ＝「Ｅｖ[Ｊ]/ｇ_k」（ｇ_kはそのイベント特徴量によって分類される各グループを識別するＩＤ、k=1,2,...）、グループ属性＝「E」、イベント特徴量ＩＤ＝「J」としてグループ情報テーブルへの登録を行い、各画像について、第１の実施形態と同様にして顧客ＩＤ、画像ファイル名を設定するとともに、グループＩＤ＝「Ｅｖ[Ｊ]/ｇ_k」、総合的特徴量n＝（Ev[n]の値、n=1,2,...,N）として、画像情報テーブルへの登録を行う。「その他」の画像については、グループＩＤ＝「その他」、グループ属性＝「E」、イベント特徴量ＩＤ＝「なし」としてグループ情報テーブルへの登録を行い、各画像について、第１の実施形態と同様に顧客ＩＤ、画像ファイル名を設定するとともに、グループＩＤ＝「その他」、総合的特徴量n＝（Ev[n]の値、n=1,2,...,N）として、画像情報テーブルへの登録を行う。

次に、画像再分類部５４が行うイベント・アーカイブ処理について説明する。図１２は、この処理の流れを表すフローチャートである。画像再分類部５４は、まず、画像情報テーブルとグループ情報テーブルを結合した検索を行い、その顧客の、イベント特徴量に基づいて分類されたグループの画像情報を再分類対象グループの画像情報として抽出する(#1)。具体的には、顧客ＩＤ入力部５１で入力された顧客ＩＤと、グループ情報テーブルのグループ属性が「E」のグループＩＤが設定された画像情報を抽出する。次に、再分類対象画像情報の１件目を取得し(#32)、撮影日時の値が現在日時の１年前を表す値より大きいかどうか、すなわち、撮影から１年未満かどうかを判定する(#33)。撮影から１年未満でない場合、すなわち撮影から１年以上経過している場合には(#33,NO)、画像情報の撮影日時の値に基づいて、撮影年からグループＩＤの年部分を決定し、撮影月からグループＩＤの四半期部分を決定し、画像情報のグループＩＤの値を、決定されたグループＩＤの値に更新する(#34)。ここで、更新後のグループＩＤの値を検索キーとしてグループ情報テーブルを検索し、そのグループＩＤが登録済みかどうかをチェックする(#35)。未登録の場合には(#35,NO)、そのグループＩＤについてのグループ情報の登録を行う(#36)。登録済みの場合には(#35,YES)、ステップ#36の処理をスキップする。また、ステップ#33で撮影から１年未満と判定された場合には(#33,YES)、ステップ#34から#36までの処理をスキップする。さらに、再分類対象の２件目以降の画像情報を順次取得し(#37)、ステップ#33から#36の処理を繰り返し行う(#38,NO)。ステップ#18において取得すべき画像情報がなくなったら(#38,YES)、処理を終了する。

一方、イベント再分類処理では、画像再分類部５４は、顧客ＩＤが顧客ＩＤ入力部５１で入力された顧客ＩＤと同一で、かつ、グループＩＤが「その他」の画像情報を抽出し、抽出された画像情報の総合的特徴量1（Ｅv[1]）から総合的特徴量N（Ｅv[N]）に設定された値に基づいて、上記のイベント分類処理と同様にして、隣接画像間の撮影時間間隔Δtと、隣接画像間の総合特徴量の差分ΔEv[j]との相関係数Ｒ[j]が最大となるときの総合的特徴量をイベント特徴量として決定し、隣接画像間のイベント特徴量の差が所定の閾値より大きい場合に、その画像間がグループの境界となるように分類し、画像数が１０未満のグループの画像については、グループとして独立させず、その他の画像としてまとめて分類する。このとき、グループ情報テーブルに登録されていないグループＩＤの場合には、グループ情報の登録も上記のイベント分類処理と同様にして行う。

図１３は、本発明の第２の実施形態となる画像分類処理を行った結果の一例である。図中、２００５年Ｑ１から２００６年Ｑ２、イベント特徴量Ｅv[1]/ｇ₁からＥv[1]/ｇ₃、Ｅv[2]/ｇ₁からＥv[2]/ｇ₂、Ｅv[3]/ｇ₁からＥv[3]/ｇ₃、その他の各フォルダは、２００６年１２月２０日と２００７年６月３日の分類・再分類処理によって適宜分類されたグループのグループＩＤであり、括弧付きの数字は、各分類・再分類処理によってそのグループに分類された画像の数を表している。まず、２００６年１２月２０日に行われた分類処理により、この時点で撮影から１年以上経過した画像は、２００５年Ｑ１からＱ４の各グループに、各々、２０，３０，４０，２０というように分類され、撮影から１年未満（2005/12/21〜2006/12/20）の画像は、イベント特徴量Ｅv[1]/ｇ₁からＥv[1]/ｇ₃、その他の各グループに、２０，５０，１５，４５というように分類されている。次に、引き続いて行われる再分類処理において、イベント再分類処理により、「その他」に分類されていた４５の画像が、分類処理の際とは異なるイベント特徴量Ｅv[2]に基づき、Ｅv[2]/ｇ₁、Ｅv[2]/ｇ₂、その他の各グループに、１２，１３，２０というように分類される。ここでは、イベント・アーカイブ処理では、対象画像（撮影日時が２００５年１２月２０日以前の画像）が当然に存在しないので、実際の再分類は行われない。さらに、２００７年６月３日に行われた分類処理により、この時点で撮影から１年以上経過した画像は、２００５年Ｑ４から２００６年Ｑ２の各グループに、各々、１０，１５，３５というように分類され、撮影から１年未満（2006/6/4〜2007/6/3）の画像のうちは、イベント特徴量Ｅv[1]/ｇ₁からＥv[1]/ｇ₃、その他の各グループに、１５，３０，２０，３０というように分類されている。この時点で撮影日時が２００５年１２月２１日から２００６年６月３日の画像のうち、２００６年１２月２０日に分類・再分類が行われたものについてはイベント特徴量によって分類された各グループに分類されており、２００７年６月３日に分類が行われたものについては、２００５年Ｑ４から２００６年Ｑ２までの各グループに分類されており、同じ撮影日時範囲の画像が異なる分類方法によって異なるグループに分類された状態となっている。そこで、引き続いて行われる再分類処理において、イベント・アーカイブ処理により、イベント特徴量に基づいて分類された各グループから、この時点で撮影から１年以上経過した画像、すなわち、撮影日時が２００６年６月３日以前の画像が抽出され、各画像の撮影日時に基づいて四半期毎のグループに再分類される。例えば、Ｅv[1]/ｇ₁から抽出された画像は、２００５年Ｑ４，２００６年Ｑ１，Ｑ２の各グループに５ずつ再分類され、抽出されなかった５の画像がＥv[1]/ｇ₁に残る。Ｅv[1]/ｇ₂から抽出された画像は、２００５年Ｑ４，２００６年Ｑ１，Ｑ２の各グループに５，１５，１０というように再分類され、抽出されなかった２０の画像がＥv[1]/ｇ₂に残る。Ｅv[1]/ｇ₃から抽出された画像は、２００５年Ｑ４，２００６年Ｑ１，Ｑ２の各グループに０，０，５というように再分類され、抽出されなかった１０の画像がＥv[1]/ｇ₃に残る。以下、図には示していないが、Ｅv[2]/ｇ₁、Ｅv[2]/ｇ₂、Ｅv[3]/ｇ₁、Ｅv[3]/ｇ₂、Ｅv[3]/ｇ₃、その他の各グループの画像についても同様の再分類処理が行われる。その後、イベント再分類処理により、その他に分類されていた５０（２００６年１２月２０日の再分類処理後の２０＋２００７年６月３日の分類処理による３０）の画像が、イベント特徴量Ｅv[3]に基づき、Ｅv[3]/ｇ₁、Ｅv[3]/ｇ₂、Ｅv[3]/ｇ₃、その他の各グループに、２５，１０，１０，５というように分類される。

以上のように、本発明の第２の実施形態となる画像分類・再分類処理は、撮影日時の新しい画像に対するアクセスを、ユーザにとってより直感的でわかりやすくするために、画像分類・記録部５３が、撮影から１年未満の新しい画像グループの画像は、画像の内容的特徴を表すイベント特徴量に基づいて分類を行い、撮影から１年以上経過した古い画像グループの画像は、四半期毎のグループに分類する処理を行う。この場合、画像分類・記録部５３による画像の蓄積に伴い、同じ撮影日時の画像が、分類・蓄積を行うタイミングの違いによって、異なる分類方法で分類されてしまい、その結果、分類状態に不整合が生じる可能性がある。そこで、画像再分類部５４が、イベント・アーカイブ処理として、初回の分類時にはイベント特徴量に基づいて分類されたが、その後、撮影から１年以上経過した画像を四半期毎のグループに再分類する処理を行うようにしたので、上記の不整合が解消され、ユーザにとってわかりやすい、画像の適切な分類状態が常に維持される。

また、画像を内容的特徴に基づいて分類する場合、分類対象の画像の母集団としての特性によって分類結果が異なる傾向にある。本実施形態においては、画像の母集団としての特性によって、どの総合的特徴量がイベント特徴量として選ばれるか、そのイベント特徴量によってどのように分類されるかが異なってくる。そこで、画像再分類部５４が、イベント再分類処理として、画像分類・記録部５３によるイベント特徴量に基づく分類の際にグループ化できなかった「その他」グループの画像に対して、イベント特徴量に基づく再分類を試みる処理を行うので、「その他」グループの画像が、画像分類・記録部５３による分類の際とは異なるイベント特徴量によって分類されうるので、ユーザにとってよりわかりやすい分類状態が得られうる（図１３の２００６年１２月２０日付けのイベント再分類処理参照）。

さらに、ユーザの家族構成や趣味の変化に伴い、そのユーザによって撮影される画像の内容も変化する可能性が高いことから、この「その他」グループに分類される画像も、画像分類・記録部５３による画像の蓄積に伴い、増加する可能性が高く、これにより、「その他」グループの画像の母集団としての特性が変化する可能性がある。そこで、画像再分類部５４が、画像分類・記録部５３による画像の蓄積の度にこのような「その他」グループの画像に対してイベント再分類処理を行うことにより、「その他」グループの画像がイベント特徴量による新たなグループに再分類されうるので、ユーザにとってよりわかりやすい分類状態が得られうる（図１３の２００７年６月３日付けのイベント再分類処理参照）。

また、画像再分類部５４は、顧客ＩＤ入力部５１で入力された顧客ＩＤと関連づけられた画像を対象のみを対象にして再分類処理を行うので、処理対象の画像が絞り込まれ、処理効率が向上する。

さらに、画像分類・記録部５３が算出した各種総合的特徴量を画像情報テーブルに登録しておくことにより、画像再分類部５４によるイベント再分類処理の際には、総合的特徴量を再度計算する必要がなくなり、処理効率が向上する。

本発明の第３の実施形態では、画像分類・記録部５３は、入力された複数の画像の撮影期間が６ヶ月未満の短期撮影グループと撮影期間が６ヶ月以上の長期撮影画像グループに分類し、短期撮影画像グループの画像は、画像の内容的特徴を表すイベント特徴量に基づいてさらに分類を行い（イベント分類処理）、長期撮影画像グループの画像は、四半期毎のグループにさらに分類する処理（四半期分類処理）を行う。画像再分類部５４は、画像分類・記録部５３による処理が行われる度に、顧客ＩＤ入力部５１で入力された顧客ＩＤと関連づけられた画像を対象に、初回の分類時にはイベント特徴量に基づいて分類されたが、その後、初回の分類から１年以上経過した画像を四半期毎のグループに再分類する処理（イベント・アーカイブ処理）を行う。

図１４は、上記の分類・再分類処理を実現するための画像情報テーブルとグループ情報テーブルの構成の一例である。図に示したように、画像情報テーブルは、第１の実施形態と同様に、顧客を識別する顧客ＩＤと画像を識別する画像ファイル名の組合せ毎に、グループを識別するグループＩＤと画像の撮影日時を登録できるようになっている。一方、グループ情報テーブルは、顧客ＩＤ・グループＩＤ毎にグループ属性と、初回分類日時、イベント特徴量ＩＤ、撮影日時範囲(from)、撮影日時範囲(to)が登録できるようになっている。なお、第１、第２の実施形態と同一の項目については、各実施形態と同様の設定がなされうる。

画像分類・記録部５３は、画像入力部５２で入力され、ハードディスク２４に格納されている画像ファイルの各々について、画像ファイルのＥｘｉｆタグ領域に記録されている撮影日時を読み取り、各画像の撮影日時の最大値と最小値の差を撮影期間として求める。撮影期間が６ヶ月以上に及ぶ画像の場合には、画像分類・記録部５３は、第１の実施形態と同様の方法で、画像を四半期毎に分類する。一方、撮影期間が６ヶ月未満の画像の場合には、第２の実施形態と同様の方法で、イベント特徴量に基づく分類を行う。

画像再分類部５４が行うイベント・アーカイブ処理の流れは、図１２のフローチャートで示したものと同様であるが、ステップ＃３１において再分類対象グループの画像情報を抽出する際には、顧客ＩＤが顧客ＩＤ入力部５１で入力された顧客ＩＤの値と同じで、グループ属性が「E」で、初回分類日時が注文受付装置１から取得した現在日時より１年以上前であるグループＩＤをグループ情報テーブルから取得し、そのグループＩＤが設定された画像情報を抽出する点のみが異なる。

図１５は、本発明の第３の実施形態となる画像分類処理を行った結果の一例である。図中、２００５年Ｑ１から２００７年Ｑ１、イベント特徴量Ｅv[1]/ｇ₁からＥv[1]/ｇ₃の各フォルダは、２００６年１月１５日と２００６年３月３０日、２００７年４月１０日の分類・再分類処理によって適宜分類されたグループのグループＩＤであり、括弧付きの数字は、各分類・再分類処理によってそのグループに分類された画像の数を表している。まず、２００６年１月１５日に行われた分類処理では、入力された画像の撮影範囲が６ヶ月以上に及んでいたため、四半期分類処理が行われ、入力された画像は、２００５年Ｑ１からＱ４の各グループに、各々、２０，１５，３５，６５というように分類される。このとき行われる再分類処理では、再分類対象画像がないため、実際の再分類は行われない。次に、２００６年３月３０日に行われた分類処理では、入力された画像の撮影範囲（２００６年１月１日〜２００６年３月１５日）が６ヶ月未満のため、イベント分類処理が行われ、入力された画像は、イベント特徴量Ｅv[1]/ｇ₁からＥv[1]/ｇ₃の各グループに、２０，１０，５というように分類される。ここでも、再分類処理では、再分類対象画像がないため、実際の再分類は行われない。さらに、２００７年４月１０日に行われた分類処理では、入力された画像の撮影範囲が６ヶ月以上に及んでいたため、四半期分類処理が行われ、入力された画像は、２００６年Ｑ１から２００７年Ｑ１の各グループに、各々、５，２０，３０，２０，４０というように分類される。この時点で、撮影日時が２００６年１月１日から２００６年３月１５日の画像のうち、２００６年３月３０日に分類されたものについてはイベント特徴量によって分類されたグループに分類され、２００７年４月１０日に分類が行われたものについては、２００６年Ｑ１のグループに分類されており、同じ撮影日時範囲の画像が異なる分類方法によって異なるグループに分類された状態となっている。そこで、引き続いて行われる再分類処理において、イベント・アーカイブ処理により、イベント特徴量に基づいて分類された各グループから、初回の分類から１年以上経過した画像、すなわち、撮影日時が２００６年４月１０日以前の画像が抽出され、各画像の撮影日時に基づいて四半期毎のグループに再分類される。この例では、２００７年４月１０日に分類が行われた画像は、初回の分類から１年以上経過しているため、その撮影日時の範囲（２００６年１月１日〜２００６年３月１５日）に基づいて、２００６年Ｑ１のグループに再分類される。

以上のように、本発明の第３の実施形態となる画像分類・再分類処理は、分類が行われてから日が浅い画像に対するアクセスを、ユーザにとってより直感的でわかりやすくするために、画像分類・記録部５３が、入力された複数の画像の撮影期間が６ヶ月未満の短期撮影グループと撮影期間が６ヶ月以上の長期撮影画像グループに分類し、短期撮影画像グループの画像は、画像の内容的特徴を表すイベント特徴量に基づいてさらに分類を行い、長期撮影画像グループの画像は、四半期毎のグループにさらに分類する処理を行う。この場合、画像分類・記録部５３による画像の蓄積に伴い、同じ撮影日時の画像が、分類・蓄積を行うタイミングの違いや、分類の際に入力した画像の撮影日時の範囲の違いによって、異なる分類方法で分類されてしまい、その結果、分類状態に不整合が生じる可能性がある。そこで、画像再分類部５４が、イベント・アーカイブ処理として、初回の分類時にはイベント特徴量に基づいて分類されたが、その後、分類から１年以上経過した画像を四半期毎のグループに再分類する処理を行うようにしたので、上記の不整合が解消され、ユーザにとってわかりやすい、画像の適切な分類状態が常に維持される。

また、グループ情報テーブルに顧客ＩＤや初回分類日時が登録されるようにしたので、画像再分類部５４が再分類対象の画像を絞り込む際に、画像情報テーブルよりも件数が少ないグループ情報テーブルを用いることが可能になり、処理効率が向上する。

また、画像再分類部５４が、顧客ＩＤ入力部５１で入力された顧客ＩＤと関連づけられた画像を対象のみを対象にして再分類処理を行うので、処理対象の画像が絞り込まれ、処理効率が向上する。

以上の実施形態では、画像再分類部５４の処理のタイミングを画像分類装置に予め設定されたタイミングとしているが、ユーザからの指示に従って任意のタイミングで行う場合、例えば、図５の画像一覧表示画面に再分類ボタンを設け、ユーザが再分類ボタンを押下（タッチ）した場合に画像再分類部５４が実行するようにしてもよい。また、再分類処理の種類によって実行のタイミングを変えてもよいし、画像分類装置に予め設定されたタイミングとユーザが指示したタイミングの両方で再分類処理を実行するようにしてもよい。

上記の実施形態では、画像分類装置がプリント注文受付装置に組み込まれたものとして説明を行っているが、他の装置やシステムに組み込んだ構成も考えられる。例えば、本発明の画像分類装置をインターネット等のネットワーク経由でのユーザのＰＣからのアクセスが可能な画像サーバに実装し、ユーザが、自らのＰＣを用いて、ネットワーク経由で、画像サーバに対するユーザＩＤ等の認証を行った後、画像データを送信し、画像サーバが、画像データを受信し、上記の画像分類・記録・再分類処理を行うようにしてもよい。また、画像分類装置をユーザのＰＣに実装し、入力された画像の分類・記録・再分類を行うようにしてもよい。この場合には、１人のユーザのみによる使用を想定して、上記の顧客ＩＤ毎の管理を行わないようにすることも可能である。

本発明の実施形態による画像分類装置を適用した注文受付装置の外観斜視図 本発明の実施形態による注文受付装置の構成を示す概略ブロック図 初期画面を示す図 本発明の実施形態による画像分類装置の構成を模式的に表した図 画像分類結果を表示する画面の一例を示す図 本発明の第１の実施形態となる画像データベースの管理情報の構成を示す図 本発明の第１の実施形態による画像再分類処理（アーカイブ処理）の流れを示すフローチャート 本発明の第１の実施形態による画像再分類処理（分割処理）の流れを示すフローチャート 本発明の第１の実施形態による画像分類・再分類処理の実施結果を示す図 本発明の第２の実施形態となる画像データベースの管理情報の構成を示す図 総合的特徴量の性質を示す図 本発明の第１の実施形態による画像再分類処理（イベント・アーカイブ処理）の流れを示すフローチャート 本発明の第２の実施形態による画像分類・再分類処理の実施結果を示す図 本発明の第３の実施形態となる画像データベースの管理情報の構成を示す図 本発明の第３の実施形態による画像分類・再分類処理の実施結果を示す図

符号の説明

１ 注文受付装置
２ メモリカード
３ 磁気カード
４ カードスロット
５ カードリーダ
６ 表示部
８ プリンタ
１０ ＤＩＣ
１２ ＣＰＵ
１４ システムメモリ
１６ メモリ制御部
１８ 入力部
２２ 入力制御部
２４ ハードディスク
２６ 表示制御部
３０ ネットワークインターフェース
４０ 初期画面
４２ 画像一覧表示画面
５１ 顧客ＩＤ入力部
５２ 画像入力部
５３ 画像分類・記録部
５４ 画像再分類部
５５ 画像データベース
５６ 分類結果画面生成部

Claims (8)

1. 入力された複数の画像を所定の分類方法に基づいて１以上のグループに分類して記録媒体に蓄積的に記録する分類・記録手段と、
   該分類・記録手段によって記録された画像が所定の再分類実行条件に該当する場合に、少なくとも該画像を所定の再分類方法に基づいて１以上のグループに再分類する再分類手段とを備えたことを特徴とする画像分類装置。
2. 前記再分類実行条件が、前記画像が属する前記グループの画像数が所定の値を超えているという条件であり、
   前記再分類方法が、該グループを２以上のグループに分割するものであることを特徴とする請求項１記載の画像分類装置。
3. 前記再分類実行条件が、前記画像が前記分類・記録手段によっていずれのグループにも分類されなかった画像であるという条件であることを特徴とする請求項１記載の画像分類装置。
4. 前記入力された複数の画像が、該画像の撮影日時と対応づけられたものであり、
   前記分類・記録手段が、前記複数の画像のうちの少なくとも一部を撮影日時に基づいて分類し、前記複数の画像と該画像の撮影日時とを対応づけて記録するものであり、
   前記再分類実行条件が、撮影日時に基づいて分類された２以上のグループの画像のうちの少なくとも一部が所定の時間的基準を満たす撮影日時が古い画像であるという条件であり、
   前記再分類方法が、前記再分類実行条件に該当する画像が属するグループを、より少ない数のグループに統合するものであることを特徴とする請求項１に記載の画像分類装置。
5. 前記入力された複数の画像が、該画像の撮影日時と対応づけられたものであり、
   前記分類・記録手段が、前記画像の撮影日時に基づいて撮影日時の新しい画像グループと撮影日時の古い画像グループに分類し、前記撮影日時の新しい画像グループの画像は、該画像の内容的特徴に基づいてさらに分類を行い、前記撮影日時の古い画像グループの画像は、該画像の撮影日時に基づいてさらに分類を行い、前記複数の画像と該画像の撮影日時とを対応づけて記録するものであり、
   前記再分類実行条件は、前記画像が該画像の内容的特徴に基づいて分類されたものであり、かつ、該画像が所定の時間的基準を満たす撮影日時の古い画像であるという条件であり、
   前記再分類方法が、前記再分類実行条件に該当する画像を該画像の撮影日時に基づいて分類するものであることを特徴とする請求項１記載の画像分類装置。
6. 前記入力された複数の画像が、該画像の撮影日時と対応づけられたものであり、
   前記分類・記録手段が、所定の判定基準に基づいて前記入力された複数の画像が撮影された期間の長短を判定し、該撮影期間が長いと判定された場合には前記複数の画像を撮影日時に基づいて分類し、該撮影期間が短いと判定された場合には前記複数の画像を該画像の内容的特徴に基づいて分類し、前記複数の画像と、該画像の撮影日時および該画像の分類を行った日時とを対応づけて記録するものであり、
   前記再分類実行条件は、前記画像が該画像の内容的特徴に基づいて分類されたものであり、かつ、該画像の分類を行った日時から所定の期間が経過しているという条件であり、
   前記再分類方法が、前記再分類実行条件に該当する画像を該画像の撮影日時に基づいて分類するものであることを特徴とする請求項１記載の画像分類装置。
7. 入力された複数の画像を所定の分類方法に基づいて１以上のグループに分類して記録媒体に蓄積的に記録するステップと、
   記録された画像が所定の再分類実行条件に該当する場合に、少なくとも該画像を所定の再分類方法に基づいて１以上のグループに再分類するステップと備えたことを特徴とする画像分類方法。
8. コンピュータに、
   入力された複数の画像を所定の分類方法に基づいて１以上のグループに分類して記録媒体に記録するステップと、
   記録された画像が所定の再分類実行条件に該当する場合に、少なくとも該画像を所定の再分類方法に基づいて１以上のグループに再分類するステップとを実行させることを特徴とする画像分類プログラム。

Images