JP2008033705A - 画像分類装置および方法並びにプログラム - Google Patents

Abstract

【課題】複数の画像を分類する際に、面倒な操作を行うことなく、ユーザが所望する整理の観点に合った画像の自動整理を実現する。
【解決手段】特徴量取得部５２が、複数のグループに分類される画像のサンプルとなる、複数の画像から選択された複数のサンプル画像のそれぞれから複数種類の特徴量を取得する。分類特徴量決定部５３が、複数のサンプル画像のそれぞれについての複数種類の特徴量のうち、他のサンプル画像の特徴量と大きく異なる特徴量を分類特徴量に決定する。画像分類部５４が、分類特徴量および複数の画像のそれぞれについての分類特徴量に対応する特徴量に基づいて、複数の画像を複数のサンプル画像にそれぞれ対応する複数のグループに分類する。
【選択図】図４

Description

本発明は、複数の画像を複数のグループに分類する画像分類装置および方法、並びに画像分類方法をコンピュータに実行させるためのプログラムに関するものである。

銀塩カメラと比較すると、デジタルカメラでは、フィルム料金がかからない分、撮影自体のコストが下がり、その結果、より多くの画像を撮影する傾向にある。また、デジタルカメラに着脱される記録メディアの大容量化もその傾向を助長している。その結果、デジタルカメラの記録メディアや、記録メディアから読み出された画像データが保存されるパソコンのハードディスクやＣＤ−Ｒ等の記憶メディアには、非常に多くの画像がストックされ、その中には、必要な画像（写りのよい画像）と不要な画像（失敗写真や重複して撮影された画像等）が混在し、さらにそれらは未整理のままとなっていることが多い。

このような大量の画像を整理するのは大変面倒な作業となる。そこで、このような画像ストックからの必要な画像の検索・抽出や不要な画像の抽出・削除、また、画像ストック中の画像のイベントや日時、場所等の観点に基づく分類・整理をサポートする装置が提案されている。

例えば、複数の画像を時間とイベント（画像解析に基づく画像の類似性）の観点や（例えば、特許文献１）、撮影地や撮影日時の観点（例えば、特許文献２）、付帯情報（例：撮影日時）や付帯情報（例：撮影日時、ＧＰＳ情報）から得られる二次的情報（天気、国名）の観点（例えば、特許文献３）から自動分類することが提案されている。
特開２０００−１１２９９７号公報 特開２００５−０３７９９２号公報 特開２００３−２７１６１７号公報

しかしながら、特許文献１から３に記載されている自動分類手法では、分類条件はユーザによらず一定で、一律的な整理が行われており、ユーザが所望する分類の観点と必ずしも一致するとは限らない。

本発明は、上記事情に鑑みてなされたものであり、ユーザが面倒な操作を行うことなく、ユーザが所望する整理の観点に合った画像の自動整理を実現することを目的とする。

本発明による画像分類装置は、複数の画像を複数のグループに分類する画像分類装置において、
前記複数のグループに分類される画像のサンプルとなる、前記複数の画像から選択された複数のサンプル画像のそれぞれから複数種類の特徴量を取得する特徴量取得手段と、
前記複数種類の特徴量を前記複数のサンプル画像間において比較し、前記複数のサンプル画像のそれぞれについての複数種類の特徴量のうち、他のサンプル画像の特徴量と大きく異なる特徴量を、前記複数の画像を前記各サンプル画像に対応するグループに分類する際に用いる分類特徴量に決定する分類特徴量決定手段と、
前記分類特徴量および前記複数の画像のそれぞれについての該分類特徴量に対応する特徴量に基づいて、前記複数の画像を前記複数のグループに分類する分類手段とを備えたことを特徴とするものである。

なお、本発明による画像分類装置においては、前記複数のグループに分類された画像の一覧を表示する表示手段であって、異なる複数のグループに跨って分類された画像については、各グループ毎に表示態様が異なるように表示する表示手段をさらに備えるようにしてもよい。

本発明による画像分類方法は、複数の画像を複数のグループに分類する画像分類方法において、
前記複数のグループに分類される画像のサンプルとなる、前記複数の画像から選択された複数のサンプル画像のそれぞれから複数種類の特徴量を取得し、
前記複数種類の特徴量を前記複数のサンプル画像間において比較し、前記複数のサンプル画像のそれぞれについての複数種類の特徴量のうち、他のサンプル画像の特徴量と大きく異なる特徴量を、前記複数の画像を前記各サンプル画像に対応するグループに分類する際に用いる分類特徴量に決定し、
前記分類特徴量および前記複数の画像のそれぞれについての該分類特徴量に対応する特徴量に基づいて、前記複数の画像を前記複数のグループに分類することを特徴とするものである。

なお、本発明による画像分類方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、複数のグループに分類される画像のサンプルとなる、複数の画像から選択された複数のサンプル画像のそれぞれから複数種類の特徴量が取得され、複数種類の特徴量が複数のサンプル画像間において比較され、複数のサンプル画像のそれぞれについての複数種類の特徴量のうち、他のサンプル画像の特徴量と大きく異なる特徴量が、複数の画像を各サンプル画像に対応するグループに分類する際に用いる分類特徴量に決定され、分類特徴量および複数の画像のそれぞれについての分類特徴量に対応する特徴量に基づいて、複数の画像が複数のグループに分類される。このため、ユーザが選択したサンプル画像の特徴に応じて複数の画像を複数のグループに分類することができ、これにより、ユーザが所望するように複数の画像を分類することが可能となる。

また、異なる複数のグループに跨って分類された画像については、各グループ毎に表示態様を異なるものとすることにより、各グループに対応するサンプル画像の特徴を反映させて、分類された画像を表示することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像分類装置を備えた写真プリントの注文受付装置の外観斜視図である。図１に示すように、本発明の実施形態となる注文受付装置１は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されるものであり、プリント注文するための画像が記録された各種メモリカード２を装填し、メモリカード２から画像を読み出したり、メモリカード２に画像を記録したりするための複数種類のカードスロット４と、プリント注文のための各種表示を行う表示部６とを備えている。また、この注文受付装置１は、ユーザからの注文に基づいて写真プリントを行うプリンタ８、および画像に対する画像処理やプリント注文の管理を行うためのデジタルイメージコントローラ（ＤＩＣ）１０とネットワーク経由で接続されている。なお、表示部６はタッチパネル式の入力部を備え、ユーザは表示部６の表示にしたがって表示部６にタッチすることにより、プリント注文や画像分類に必要な入力を行うことができる。

図２は本発明の実施形態による注文受付装置１の構成を示す概略ブロック図である。図２に示すように、注文受付装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、装置１を動作させるための基本的なプログラムおよび各種係数等が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１８と、上述した表示部６とを備える。

また、注文受付装置１は、上述したカードスロット４のメモリカード２から読み出した画像、ＣＰＵ１２が実行する、画像のプリント注文や分類を行うための各種プログラムや、分類条件等の参照データ等を記録するハードディスク２４と、システムメモリ１４、カードスロット４およびハードディスク２４を制御するメモリ制御部１６と、表示部６の表示を制御する表示制御部２６と、入力部１８による入力を制御する入力制御部２２と、装置１をプリンタ８、およびＤＩＣ１０とネットワークを介して通信するためのネットワークインターフェース３０とを備える。

なお、カードスロット４はメモリカード２の種類に応じて複数用意されているが、図２においては１つのカードスロット４のみを示している。

注文受付装置１で行われる後述の処理は、ハードディスク２４に記憶されている各種プログラムが実行されることによって実現される。なお、ハードディスク２４への各種プログラムの記憶は、この各種プログラムが記録されたＣＤ−ＲＯＭ等のコンピュータが読取り可能な記録媒体からインストールすることによってなされる。また、各種プログラムは、注文受付装置１で行われる処理全体を制御するメインプログラムと、メインプログラムから必要に応じて呼び出される、注文処理や画像分類処理を行うサブプログラム等とからなる。

このような注文受付装置１におけるプリント注文は以下のようにして行われる。図３は注文受付装置１の表示部６に表示される初期画面を示す図である。この画面はメインプログラムの制御によって表示される。図３に示すように初期画面４０には、プリント注文を行うためのプリント注文ボタン４０Ａ、および後述するように画像の分類を行うための画像分類ボタン４０Ｂが表示されている。ここで、ユーザがプリント注文ボタン４０Ａを選択した場合、ＣＰＵ１２では、メインプログラムからプリント注文処理サブプログラムが呼び出され、このサブプログラムによる処理が実行される。ユーザが画面に表示される指示にしたがって複数の画像を記録したメモリカード２をカードスロット４に装填すると、装置１はメモリカード２から複数の画像を読み出して一時的にハードディスク２４に保存し、さらに、複数の画像の一覧を表示部６に表示する
ユーザは表示部６に表示された画像の一覧からのプリント注文を行う画像の選択、注文枚数および注文サイズの設定をタッチパネル方式の入力部１６を用いて行う。そして、ユーザがプリント実行の指示を入力部１６を用いて行うと、ユーザが選択した画像、並びに注文枚数および注文サイズを表す注文情報がＤＩＣ１０に送信され、ここで画質を向上させるために必要な画像処理が画像に対して施され、注文情報に応じた注文枚数および注文サイズによりプリント注文した画像がプリンタ８からプリント出力される。

次いで、本発明の実施形態における画像分類の処理について説明する。この処理は、ユーザが図３の初期画面で画像整理ボタン４０Ｂを選択することにより、メインプログラムから画像分類サブプログラムが呼び出され、実行されることによって実現される。

図４は本発明の実施形態となる画像分類処理における主なデータの流れと機能を模式的に表したブロック図である。図４に示すように、分類する複数の画像の入力を受け付ける画像入力部５１と、複数の画像、および複数の画像に含まれる、複数のグループにそれぞれ分類される画像のサンプルとなる、複数の画像から選択された複数のサンプル画像のそれぞれから複数種類の特徴量を取得する特徴量取得部５２と、複数種類の特徴量を複数のサンプル画像間において比較し、複数のサンプル画像のそれぞれについての複数種類の特徴量のうち、他のサンプル画像の特徴量と大きく異なる特徴量を、複数の画像を各サンプル画像に対応するグループに分類する際に用いる分類特徴量に決定する分類特徴量決定部５３と、分類特徴量および複数の画像のそれぞれについての分類特徴量に対応する特徴量に基づいて、複数の画像を複数のグループに分類する画像分類部５４と、分類結果を表示部６に表示させる分類結果表示部５５とによって、この画像分類処理が実現される。

画像入力部５１は、表示部６に「メモリカードを挿入してください」等のメモリカード２のカードスロット４への挿入を促すメッセージを表示させ、メモリカード２がカードスロット４に挿入されると、挿入されたメモリカード２から画像ファイルを読み込み、装置１のハードディスク２４に一時的に記憶させる。

特徴量取得部５２は、画像入力部５１に入力される複数の画像のうち、ユーザが指定した複数のサンプル画像のそれぞれから複数の特徴量を取得する。ここで、サンプル画像はユーザがデジタルカメラにおいて取得した複数の画像の内容を確認しながら選択したものであってもよく、撮影時にサンプル画像として撮影する旨を指定して撮影を行うことにより取得したものであってもよい。なお、サンプル画像であることは、撮影により取得した画像のタグに記述される。特徴量取得部５２は画像のタグを参照することにより、複数の画像に含まれるサンプル画像を識別することができる。

ここで、サンプル画像とは、複数の画像を複数のグループに分類するために必要な特徴を含むものであり、例えば、ユーザが特定のシーン毎に画像を分類したい場合には、分類したいシーンの画像をサンプル画像として選択すればよい。具体的には、朝焼け、夕焼け、夜景および水中等のシーン毎に画像を分類したい場合には、それぞれ朝焼け、夕焼け、夜景および水中の画像等をサンプル画像として選択すればよい。

また、特定の被写体毎に画像を分類したい場合には、分類した被写体の画像をサンプル画像として選択すればよい。具体的には、花、特定の人物および自動車等の被写体毎に画像を分類したい場合には、それぞれ花、特定の人物および自動車等の画像等をサンプル画像として選択すればよい。

なお、シーン毎に画像を分類するためのサンプル画像としては、特徴量算出のための情報量を多くするために、通常の撮影よりも画角を広げて撮影することが好ましい。例えば、パノラマ撮影により複数の画像を取得し、取得した複数の画像を横に繋げるパノラマ合成を行うことによりサンプル画像を取得してもよく、画像のアスペクト比を通常の４：３から１６：９に切り替えて画像を取得してもよい。また、魚眼レンズをデジタルカメラに装着して撮影を行うことによりサンプル画像を取得してもよい。

また、被写体毎に画像を分類するためのサンプル画像としては、被写体の特徴がより多く画像に含まれるように、マクロ撮影等により被写体に近接した撮影を行うことにより取得することが好ましい。

また、サンプル画像を選択する際には、画像からトリミングした特定の領域の画像をサンプル画像としてもよい。例えば、あるシーンに含まれる特定の被写体をサンプル画像としたい場合には、そのシーンの画像における特定の被写体の部分の領域をトリミングしてサンプル画像として選択すればよい。

以下、特徴量の取得について説明する。図５は特徴量取得部５２の構成を示す概略ブロック図である。図５に示すように特徴量取得部５２は、複数の画像Ｐ[n]（n=1,2,...,Nとし、これが撮影順を表すものとする。また、画像Ｐ[n]はサンプル画像も含む）の各々に対してＭ種類の画像解析処理を行い、画像毎にＭ種類の特徴量ｇ_m[n]（m=1,2,...,M）を取得する第１〜第Ｍ画像処理部５２Ａ−１〜５２Ａ−Mを備える。

第ｍ画像解析部５２Ａ−mは、Ｎ枚の画像Ｐ[1]、Ｐ[2]、・・・、Ｐ[N]の各々に対して、所定の画像解析処理を行い、特徴量ｇ_m[1]、ｇ_m[2]、・・・、ｇ_m[N]を算出する。第１から第Ｍまでの各画像解析部５２Ａ−１から５２Ａ−Mは、画像解析の種類が異なるものの、上記と同様の処理を行う。したがって、ある画像Ｐ[n]に対して、第１から第Ｍまでの各画像解析部５２Ａ−１から５２Ａ−Mによって、Ｍ種類の画像解析処理が行われ、ｇ₁[n]、ｇ₂[n]、・・・、ｇ_M[n]のＭ種類の特徴量が得られる。すなわち、Ｎ枚の画像Ｐ[1]、Ｐ[2]、・・・、Ｐ[N]からは、ｇ₁[1]、ｇ₂[1]、・・・、ｇ_M[1]、ｇ₁[2]、ｇ₂[2]、・・・、ｇ_M[2]、・・・、ｇ₁[N]、ｇ₂[N]、・・・、ｇ_M[N]の、Ｍ（種類）×Ｎ（画像）個の特徴量が算出される。

ここで、特徴量としては、色、輝度、テキスチャ、奥行きおよびエッジ等が用いられる。以下、各画像解析部で行われる、色、輝度、テキスチャ、奥行きおよびエッジ等の特徴量を求める処理の具体例について説明する。

まず、色の特徴量の具体例としては、代表色、ユニーク色、最明色、平均色バランスおよび色分散等が挙げられる。

代表色とは、各画像Ｐ[n]中で最も出現頻度の高い色であり、３次元ヒストグラム等から求めることができ、Ｒ，Ｇ，Ｂの信号値で表現することができる。代表色は、最も一般的な色の特徴量の１つであり、例えば、赤いじゅうたんが敷かれた会議室、緑色の壁のコンサート会場、および黄色いドレスの主人公（主被写体）等のイベントを表しうる。

ユニーク色とは、分類対象の画像群との相対的な関係において、その画像に特有の色であり、例えば、各画像Ｐ[n]中での出現頻度が所定のレベル以上（例えば、画像内で１００番以内の出現頻度）で、すべての画像Ｐ[1]、Ｐ[2]、・・・、Ｐ[N]中での出現頻度が所定のレベル以下（例えば、全画像中で１０００番以下の出現頻度）の色と定義することができ、代表色と同様に、３次元ヒストグラム等から求めることができ、Ｒ，Ｇ，Ｂの信号値で表現することができる。このユニーク色は、前記の代表色に比べて、分類上、より特徴的なイベントを表しうる。

最明色とは、各画像Ｐ[n]中で最も輝度の高い画素または画像領域の色であり、Ｒ、Ｇ、Ｂの信号値で表すことができる。これは光源の色に対応し、例えば、夕焼けの野球場やタングステン電球の食堂等のイベントを表しうる。

平均色バランスとは、各画像Ｐ[n]中でのＲ、Ｇ、Ｂのチャンネル毎の信号値の平均であり、最明色と同様に、光源の色を反映しうる。

色分散とは、Ｒ、Ｇ、Ｂのチャンネル毎に求めた信号値の平均からの偏差である。これは、画像中の色の多様さを表すことから、例えば、モノトーンで地味なイベント（曇天の雪景色での雪合戦）と派手な色が多いイベント（カラフルなウエアが多いゲレンデでのスキー）とを識別しうる。

次に、輝度の特徴量の具体例としては、輝度分散、最大輝度値、最小輝度値および輝度レンジ等が挙げられる。

輝度分散とは、各画像Ｐ[n]中の各画素の輝度値の平均からの偏差であり、明るさの多様さを表す。最大／最小輝度値とは各画像Ｐ[n]中の各画素の輝度の最大／最小値で、輝度レンジとは最大輝度値と最小輝度値の差であり、これらは、輝度分布を表す。これらの輝度の特徴量は、画像のコントラストに関係し、一般的に、晴天の屋外（値が大きい）、曇天の屋外や室内（値が小さい）等のイベントを表しうる。

次に、テキスチャの特徴量の具体例としては、ピーク周波数、ピーク周波数スペクトル強度、高周波成分比率、中周波成分比率等が挙げられる。

ピーク周波数は、各画像Ｐ[n]の画像データをフーリエ変換等によって空間周波数領域に変換した後、特定のピーク成分を検出することによって求められる。これは画像中の特徴的なパターンに対応し、例えば、縞模様からシマウマの縞が写りこんだ動物園見学の画像をグループ化したり、格子パターンからビルの窓格子が写りこんだ東京都庁訪問の画像をグループ化したり、レンガブロックのパターンから皇居前でのジョギングの様子が撮影された画像をグループ化したり、波のパターンから湘南海岸でのサーフィンの様子が撮影された画像をグループ化したりすることができる。なお、ピーク周波数スペクトル強度は、上記のピーク周波数のスペクトル強度であり、ピーク周波数に対する補助的な特徴量として利用することができる。

高／中周波成分比率とは、各画像Ｐ[n]の画像データを空間周波数領域に変換した後の、特定の高／中周波成分の比率であり、例えば、高周波成分の比率が高くなる木の枝や葉の構造が写りこんだジャングル探検の画像をグループ化したり、高周波成分の比率が低く、中低周波成分の比率が高くなる波・雲等が写りこんだ海水浴の画像をグループ化したりすることができる。

次に、奥行きの特徴量の具体例としては、画像中の複数の放射状構造線のなす角度や相似形オブジェクトの長さの比等が挙げられる。

複数の放射状構造線のなす角度とは、各画像Ｐ[n]から道路のラインや建物の辺等の消失点に向かう直線を複数検出し、２つの直線のなす角度を求めたものであり、例えば、道路が消失点に向かって遠くに延びる自動車でのドライブを撮影した画像と、放射状の構造線が存在しない室内を撮影した画像とを分類しうる。

相似形オブジェクトの長さの比とは、各画像Ｐ[n]から人や立ち木等の複数の相似形オブジェクトを検出し、その長さの比を求めたものであり、遠景が写りこんだ画像（長さの比が大きい）と近景のみの画像（長さの比が小さい）とを分類しうる。

次に、エッジの特徴量の具体例としては、各画像Ｐ[n]から検出された連続エッジ（曲線、直線）の形状特徴量が挙げられる。

この形状特徴量は、例えば、曲線にフィッティングする関数（ベジェ曲線等）を求め、その係数を特徴量とすることにより、球体を検出することができるので、ガスタンクが写りこんだ画像や運動会の大玉送りの玉が写りこんだ画像をグループ化することができる。

また、画像の背景領域の特徴量を求める処理として、画像の周辺部の所定の範囲の領域のみに対して前記の特徴量を求める処理や、画像中においてエッジ成分が検出されない所定の面積以上の領域に対して前記の特徴量を求める処理も行ってもよい。

また、特徴量としては、画像の撮影日時、撮影場所、並びに画像に人物が含まれる場合の顔領域から抽出された目、鼻、口等の特徴点の位置、形状、サイズ等を用いることができる。

分類特徴量決定部５３は、特徴量取得部５２が取得したＭ種類の特徴量のうち、とくに色、輝度、テキスチャ、奥行きおよびエッジ等の数値として算出した特徴量について、他のサンプル画像の特徴量と大きく異なる特徴量を、分類に用いる分類特徴量に決定する。以下、分類特徴量の決定について説明する。なお、本実施形態においては、複数の画像にｒ個のサンプル画像Ｓｐｋ(k=1,2,...,r）が含まれているものとする。

まず、すべてのサンプル画像Ｓｐｋについて、種類毎にすべての特徴量ｇ_mの値を比較し、あるサンプル画像Ｓｐｋについて、ある特徴量が他のサンプル画像の同様の特徴量と比較して値が大きく異なる場合に、その特徴量をそのサンプル画像に対応するグループへの画像の分類に使用する分類特徴量に決定する。

図６は分類特徴量の決定を説明するための図である。なお、図６においては４つのサンプル画像Ｓｐ１〜Ｓｐ４が選択されており、簡便のため２つの特徴量ｇ１，ｇ７を用いて説明する。図６に示すように４つのサンプル画像Ｓｐ１〜Ｓｐ４の特徴量ｇ１を比較すると、サンプル画像Ｓｐ２の特徴量ｇ１の値が他のサンプル画像Ｓｐ１，Ｓｐ３，Ｓｐ４と比較して大きく異なっている。したがって、特徴量ｇ１については、サンプル画像Ｓｐ２に対応するグループへの画像の分類に使用する分類特徴量に決定する。一方、４つのサンプル画像Ｓｐ１〜Ｓｐ４の特徴量ｇ７を比較すると、サンプル画像Ｓｐ３の特徴量ｇ７の値が他のサンプル画像Ｓｐ１，Ｓｐ２，Ｓｐ４と比較して大きく異なっている。したがって、特徴量ｇ７については、サンプル画像Ｓｐ３に対応するグループへの画像の分類に使用する分類特徴量に決定する。

なお、具体的には、すべてのサンプル画像Ｓｐｋについて特徴量の平均値を算出し、平均値から最も大きく離れた特徴量を、その特徴量を得たサンプル画像についての分類特徴量に決定すればよい。

画像分類部５４は、サンプル画像を用いて、サンプル画像に対応する複数のグループに複数の画像Ｐ[n]を分類する。具体的には、分類に使用するサンプル画像について決定された分類特徴量に対応する、複数の画像の特徴量を数直線上に配置し、隣接する２つの画像についての特徴量の大小に応じて画像をそのサンプル画像に対応するグループに分類する。具体的には、この数直線上での隣接画像間での特徴量の差が所定の閾値よりも大きい場合に、その隣接画像間にグループの境界を設けるようにして分類を行う。

分類結果表示部５５は、後述するように分類結果を表示する。

次いで、本実施形態において行われる処理について説明する。図７は本実施形態において行われる処理を示すフローチャートである。

ユーザが図３の初期画面で画像分類ボタン４０Ｂを選択すると、画像入力部５１が「メモリカードを装填してください」とのメッセージを表示部６に表示させ、ユーザが、メモリカード２をカードスロット４に装填すると、画像入力部５１は、装填されたメモリカード２から複数の画像を読み込んでハードディスク２４に一時的に記憶させる（ステップＳＴ１）。

次に、特徴量取得部５２が、複数の画像から特徴量を取得し（ステップＳＴ２）、さらに分類特徴量決定部５３が、複数の画像の分類に用いる分類特徴量を決定する（ステップＳＴ３）。そして、画像分類部５４が、分類特徴量に基づいて、複数の画像をサンプル画像に対応する複数のグループに分類する（ステップＳＴ４）。そして、分類結果を表示部６に表示し（ステップＳＴ５）、処理を終了する。

図８は分類結果表示画面を示す図である。図８に示すように、分類結果表示画面６１は、各グループに分類された画像を格納するフォルダを表示するフォルダ領域６１Ａと、フォルダ領域６１Ａにおいてユーザによって選択されたフォルダ内の画像ファイルを読み込んで、サムネイル画像を表示するサムネイル画像領域６１Ｂと、現在表示されている分類結果のタイトルを編集するための画面を表示させる「タイトルの編集」ボタン６１Ｃと、フォルダ領域６１Ａにおいてユーザによって選択されたフォルダの名前を編集するための画面を表示させる「フォルダ名の編集」ボタン６１Ｄと、入力画像の分類方法を現在表示されている分類結果に対応するものに確定する「この分類結果に決定」ボタン６１Ｅと、画像分類メニューでの作業を終了する「終了」ボタン６１Ｆとから構成されている。

ここで、フォルダ領域６１Ａには、分類結果のリストの各ファイルが属するフォルダ名の情報に基づいて、フォルダの分類の階層を視覚化した表示が行われる。なお、図８においては、フォルダ名は「グループ１から４」が用いられている。また、サムネイル画像領域６１Ｂにおいてはグループ１のフォルダが選択された状態を示している。

「タイトルの編集」ボタン６１Ｃに対するタッチが検出された場合には、タイトル編集画面が表示部６に表示される。タイトル編集画面は、定型的なタイトルからの選択を行うためのユーザインターフェースと、仮名やアルファベット等の文字ボタンを用いて自由にタイトルの入力を行うためのユーザインターフェースとを備えている。この画面で選択・入力されたタイトルは、分類結果表示画面６１の所定の領域に表示される。

ユーザがフォルダ領域６１Ａに表示されているフォルダから、フォルダ名を変更したいフォルダを選択してタッチした後、「フォルダ名の編集」ボタン６１Ｄにタッチした場合には、フォルダ名編集画面を表示部６が表示される。フォルダ名編集画面は、定型的なフォルダ名からの選択を行うためのユーザインターフェースと、仮名やアルファベット等の文字ボタンを用いて自由にフォルダ名の入力を行うためのユーザインターフェースとを備えている。この画面で選択・入力されたフォルダ名は、分類結果表示画面６１のフォルダ領域６１Ａやサムネイル画像表示領域６１Ｂのフォルダ名の部分に反映される。

分類結果表示画面６１の「この分類結果に決定」ボタン６１Ｅに対するタッチが検出された場合には、そのタッチが行われた時に分類結果表示画面６１に表示されている分類結果と、それに対応する分類条件を特定する。そして、分類結果に対応する分類結果リストをカードスロット４に装填されたメモリカード２に記録する。このとき、前記のタイトルの編集やフォルダ名の編集の内容も反映される。

このように、本実施形態においては、複数のサンプル画像のそれぞれから複数種類の特徴量を取得し、複数のサンプル画像のそれぞれの複数種類の特徴量のうち、他のサンプル画像の特徴量と大きく異なる特徴量を、複数の画像を各サンプル画像に対応するグループに分類する際に用いる分類特徴量に決定し、分類特徴量および複数の画像の分類特徴量に対応する特徴量に基づいて、複数の画像を複数のグループに分類するようにしたものである。このため、ユーザが選択したサンプル画像の特徴に応じて複数の画像を複数のグループに分類することができ、これにより、ユーザが所望するように複数の画像を分類することが可能となる。

なお、上記実施形態において、１つの画像が異なる複数のグループに跨って分類される場合がある。この場合、分類結果表示画面６１において、同一の画像であっても選択したフォルダに応じてサムネイル画像の表示の態様を変更してもよい。例えばあるサンプル画像Ｓｐ１が人物を含む風景の画像であり、他のサンプル画像Ｓｐ２が花の画像である場合においては、図９に示すような人物および花を含む風景の画像は、サンプル画像Ｓｐ１，Ｓｐ２に対応する２つのグループの双方に跨って分類されることとなる。この場合、サンプル画像Ｓｐ１のグループを選択した場合には画像の全体を表示し、サンプル画像Ｓｐ２のグループを選択した場合には、図９（ｂ）に示すように花の部分をトリミングして表示することが好ましい。

本発明の実施形態による画像分類装置を適用した注文受付装置の外観斜視図 本発明の実施形態による注文受付装置の構成を示す概略ブロック図 初期画面を示す図 本発明の実施形態による画像分類処理全体における主なデータの流れと機能ブロックを模式的に表した図 特徴量取得部の構成を示す概略ブロック図 分類特徴量の決定を説明するための図 本実施形態において行われる処理を示すフローチャート 分類結果表示画面を示す図 １つの画像が複数のグループに跨る場合の表示態様を説明するための図

符号の説明

１ 注文受付装置
２ メモリカード
４ カードスロット
６ 表示部
８ プリンタ
１０ ＤＩＣ
１２ ＣＰＵ
１４ システムメモリ
１６ メモリ制御部
１８ 入力部
２２ 入力制御部
２４ ハードディスク
２６ 表示制御部
３０ ネットワークインターフェース
４０ 初期画面
５１ 画像入力部
５２ 特徴量取得部
５３ 分類特徴量決定部
５４ 画像分類部
５５ 分類結果表示部
６１ 分類結果表示画面

Claims (4)

1. 複数の画像を複数のグループに分類する画像分類装置において、
   前記複数のグループに分類される画像のサンプルとなる、前記複数の画像から選択された複数のサンプル画像のそれぞれから複数種類の特徴量を取得する特徴量取得手段と、
   前記複数種類の特徴量を前記複数のサンプル画像間において比較し、前記複数のサンプル画像のそれぞれについての複数種類の特徴量のうち、他のサンプル画像の特徴量と大きく異なる特徴量を、前記複数の画像を前記各サンプル画像に対応するグループに分類する際に用いる分類特徴量に決定する分類特徴量決定手段と、
   前記分類特徴量および前記複数の画像のそれぞれについての該分類特徴量に対応する特徴量に基づいて、前記複数の画像を前記複数のグループに分類する分類手段とを備えたことを特徴とする画像分類装置。
2. 前記複数のグループに分類された画像の一覧を表示する表示手段であって、異なる複数のグループに跨って分類された画像については、各グループ毎に表示態様が異なるように表示する表示手段をさらに備えたことを特徴とする請求項１記載の画像分類装置。
3. 複数の画像を複数のグループに分類する画像分類方法において、
   前記複数のグループに分類される画像のサンプルとなる、前記複数の画像から選択された複数のサンプル画像のそれぞれから複数種類の特徴量を取得し、
   前記複数種類の特徴量を前記複数のサンプル画像間において比較し、前記複数のサンプル画像のそれぞれについての複数種類の特徴量のうち、他のサンプル画像の特徴量と大きく異なる特徴量を、前記複数の画像を前記各サンプル画像に対応するグループに分類する際に用いる分類特徴量に決定し、
   前記分類特徴量および前記複数の画像のそれぞれについての該分類特徴量に対応する特徴量に基づいて、前記複数の画像を前記複数のグループに分類することを特徴とする画像分類方法。
4. 複数の画像を複数のグループに分類する画像分類方法をコンピュータに実行させるためのプログラムにおいて、
   前記複数のグループに分類される画像のサンプルとなる、前記複数の画像から選択された複数のサンプル画像のそれぞれから複数種類の特徴量を取得する手順と、
   前記複数種類の特徴量を前記複数のサンプル画像間において比較し、前記複数のサンプル画像のそれぞれについての複数種類の特徴量のうち、他のサンプル画像の特徴量と大きく異なる特徴量を、前記複数の画像を前記各サンプル画像に対応するグループに分類する際に用いる分類特徴量に決定する手順と、
   前記分類特徴量および前記複数の画像のそれぞれについての該分類特徴量に対応する特徴量に基づいて、前記複数の画像を前記複数のグループに分類する手順とを有することを特徴とするプログラム。

Images