JP2005235175A - コンテンツエンジンのためのｅｘｉｆに基づく画像の特徴セット - Google Patents

Abstract

【課題】高速で信頼性の高い検索結果を可能にする特徴セットを利用すると共に、小さいサムネイル画像を活用する、画像の検索アルゴリズムを提供する。
【解決手段】改良された特徴セットおよび付随する画像コンテンツに基づく管理／検索の方法／アルゴリズムは、特定の画像または画像グループを特定するために、複数のデジタルカラー画像の集合を高速で効果的に検索することを可能にする。特徴セットは、ＥＸＩＦ形式のサムネイルカラー画像のために設計されており、検索画像の個別の色成分の複数の選択変換（例えばＤＣＴ）係数から導かれる。特徴セットは、複数のカラー特徴と、複数のエッジ特徴と、テクスチャタイプ、テクスチャスケール、テクスチャエネルギを含む複数のテクスチャ特徴と、を含む。クエリ画像の特徴セットは、すべての類似画像を特定するために、関連する検索範囲内の複数の画像の特徴セットと比較される。
【選択図】図１

Description

本発明は、特別にフォーマットされたタイプのサムネイル画像用に設計された特徴セットと、画像集合を管理および検索するツールとして特徴セットを利用する画像コンテンツに基づいた方法／アルゴリズムと、に関する。本発明の方法／アルゴリズムは、コンピュータ等の装置において、あるいは、機械読み取り可能な媒体に実装された命令のプログラム（例えばソフトウェア）として、実現される。

デジタルカメラ、スキャナ、カメラ付き携帯電話などのデジタル写真／画像取得デバイスが普及するにつれて、ユーザは、より多くのデジタル写真および画像を蓄積および格納するようになっている。ユーザの写真／画像の集合（collection）のサイズが大きくなると、特定の項目を管理および発見することは、より困難になる。問題の一部は、個々のファイル名は、通常、写真／画像のコンテンツまたは撮影時の状況について、多くの情報を提供しないことである。そのため、写真／画像の集合を管理する多くのアプローチでは、例示による照会法に重点が置かれてきた。この方法では、例示画像が比較の目的で提示され、複数の画像を含むフォルダ（群）で、類似するビジュアルコンテンツを有する画像が検索される。このようなアルゴリズムでは、検索規準として、特徴抽出および類似性測定が使用される。現在の高度な特徴抽出アルゴリズムでも、１画像について１秒を超える時間を要し得る。しかしながら、ユーザは、さらに短時間での結果を欲する。例えば、ユーザが新たに約１０００枚の写真／画像のセットをアップロードするとき、ユーザは、結果のために２０分以上も待たされることを望まない。

現在、最新式のデジタルカメラでは、ＥＸＩＦ（Exchangeable Image File Format）として知られる標準フォーマットを用いて、カメラの設定および写真撮影条件に関する情報が画像内に保存されている。ＩＳＯは、現在、ディレクトリ構造、ファイル命名方法、文字セット、ファイル形式などを含むデジタルカメラのファイルシステム全体を定義する、国際規格ＤＣＦ（Design rule for Camera File system）の作成に取り組んでいる。ＤＣＦのファイル形式は、ＥＸＩＦ２．１規格に基づいており、該規格は、写真が撮影された正確な時刻、フラッシュ設定、シャッタ速度、絞りなどの情報を含む。最も重要なことは、１６０×１２０のサイズのサムネイル画像が、ＪＰＥＧストリームとしてＥＸＩＦヘッダに含まれる。

このような発展は、より高速で信頼性の高い検索結果を可能にする特徴セットを利用すると共に、より小さいサムネイル画像サイズを活用する、改良された画像コンテンツに基づく検索アルゴリズムに対する関心と必要性とを生じさせた。

したがって、本発明の目的は、このようなアルゴリズムを提供することである。本発明の別の目的は、より高速の写真／画像検索アルゴリズムを生成するために、特別にフォーマットされたタイプのサムネイル画像用に設計された圧縮領域の特徴セットを提供することである。

本発明の一態様では、複数のデジタルカラー画像の集合を管理する方法が提供される。方法は、集合内の複数のデジタルカラー画像を解析する工程を含む。解析される各デジタル画像毎に、方法は、そのデジタルカラー画像を複数の変換係数をそれぞれが含む複数のブロックに区分する工程と、そのデジタル画像の複数の変換係数から導出された特徴セットを抽出する工程であって、特徴セットは複数のカラー特徴と、複数のエッジ特徴と、テクスチャタイプとテクスチャスケールとテクスチャエネルギとを含む複数のテクスチャ特徴と、を含む、工程と、を備える。

解析される複数のデジタルカラー画像は、特別にフォーマットされたサムネイルカラー画像であることが好ましい。

区分工程は、解析対象のデジタルカラー画像の各主要色成分を区分する工程を備えることが好ましい。複数のカラー特徴と複数のエッジ特徴とは、そのデジタルカラー画像の各主要色毎に別個のカラー特徴と別個のエッジ特徴とを含むことが好ましい。複数の別個のカラー特徴は、各主要色毎に１つの別個のヒストグラムによって表現されてもよい。複数の別個のエッジ特徴は、同様に表現されてもよい。また、テクスチャタイプ特徴とテクスチャスケール特徴とテクスチャエネルギ特徴とは、それぞれのヒストグラムによって表現されてもよい。

方法は、クエリ画像に類似する複数の画像を検索するために使用可能であり、クエリ画像は、新しい画像であってもよいし、既に集合内に存在する画像であってもよい。前者の場合、方法は、さらに、クエリ画像として使用される新しいデジタルカラー画像に区分工程と抽出工程とを適用する工程と、クエリ画像の特徴セットを集合の少なくとも１つのサブセット内の各デジタルカラー画像の特徴セットと比較する工程と、クエリ画像の特徴セットに類似する特徴セットを有する、集合内の各デジタルカラー画像を特定する工程と、を備えていてもよい。

既に解析され、特徴セットが抽出された画像がクエリ画像として使用される場合には、集合内の特定のデジタルカラー画像が、クエリ画像として選択される。次に、選択されたクエリ画像の特徴セットが、集合の少なくとも１つのサブセット内の各デジタルカラー画像の特徴セットと比較され、選択されたクエリ画像の特徴セットに類似する特徴セットを有する集合内の各デジタルカラー画像が特定される。

別の態様において、本発明は、複数のデジタル画像の集合を管理するアルゴリズムを実行するための装置を含む。装置は、方法に関して説明した処理を実行する１以上のモジュールを備える。各モジュールは、ソフトウェアまたはハードウェアの形態で実現され得る。ハードウェアに基づくモジュールは、以下の１以上を含む：命令に基づくプロセッサ（例えば中央演算処理装置（ＣＰＵ））、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号処理回路、これらの組み合わせ。任意の実施において、必要に応じて、複数のモジュールが組み合わされてもよい。

装置自体は、パーソナルコンピュータ（例えば、デスクトップ、ラップトップなど）、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話などを含む、プロセッサ制御デバイスを備えていてもよい。

本発明の更なる態様では、上記の方法またはその任意の工程は、実行のためにコンピュータなどのプロセッサ制御デバイスに格納または搬送され得る命令のプログラム（例えばソフトウェア）で具現化される。あるいは、方法またはその任意の工程は、機能的に同等のハードウェア（例えば、ＡＳＩＣ、デジタル信号処理回路など）、あるいは、ソフトウェアとハードウェアとの組み合わせを用いて実施され得る。

他の目的および達成事項は、本発明のより完全な理解と共に、以下の説明および特許請求の範囲を添付の図面を併せて参照することによって、明らかになり、理解される。

本発明は、特定の画像または画像グループのために、複数のデジタル画像（デジタル写真であってもよいし、デジタル写真を含んでいてもよい）を迅速に検索するように設計された、画像コンテンツに基づく管理／検索の方法／アルゴリズムに組み込まれる改良された特徴セットを提供する。検索される各デジタル画像および検索クエリ画像からは、その画像に関する特定の情報を含む特徴セットが抽出される。そして、クエリ画像の特徴セットは、クエリ画像に「類似」するすべての画像を特定するために、関連する記憶領域（群）内の複数の画像の複数の特徴セットと比較される。

好適な実施形態において、画像は、ＥＸＩＦ形式のサムネイルカラー画像であり、特徴セットは、この形式に基づく圧縮領域の特徴セットである。特徴セットは、ヒストグラムまたはモーメントに基づくものである。ヒストグラムに基づく好適な実施形態において、特徴セットは、特定のＥＸＩＦサムネイルカラー画像の離散コサイン変換（ＤＣＴ）の複数の係数から導かれたいくつかの統計値のヒストグラムを含む。特徴セットは、その画像を定義する（ｉ）複数のカラー特徴と、（ｉｉ）複数のエッジ特徴と、（ｉｉｉ）複数のテクスチャ特徴（テクスチャタイプ、テクスチャスケール、テクスチャエネルギの３つがある）と、を含む。特徴セット抽出プロセスの詳細について説明する。

カラー画像の個別の色平面は、それぞれ、複数のブロックに区分される。各ブロックは、複数の変換係数を含む。そして、複数の変換係数から、統計情報が導出される。この処理の好適な実施形態は、図１に示されている。立方体１１は、ＹＣｒＣｂ色空間を規定し、処理対象ＥＸＩＦサムネイルカラー画像はＹＣｒＣｂ色空間で表現される。なお、検索されるフォルダ（群）内の任意のカラー画像であって、ＹＣｒＣｂ色空間で表現されていないものは、その画像からの特徴セットの抽出が開始される前に、適切な公知の変換を使用して、現行の３色表現（例えば、ＲＧＢカラー）からＹＣｒＣｂに変換される。

処理対象サムネイルカラー画像から分離された個別のＹ，Ｃｒ，Ｃｂ色平面は、それぞれ参照番号１２，１３，１４で特定されている。各色平面は、図１に示すように、複数のブロックに区分される。ＥＸＩＦサムネイルカラー画像は、一般に、１６０×１２０または１２０×１６０のサイズを有している。この場合には、各色平面は、２０×１５個または１５×２０個のブロックに区分されることが好ましい。なお、図１では、各色空間は１６個のブロックのみに区分されているが、単なる例示である。各ブロックは、複数の変換係数（例えばＤＣＴ係数）を含む。好適な実施形態において、各ブロックは、図２に示すように、８×８のサイズであり、６４個のＤＣＴ係数を含む。他の直交変換で使用される異なる数の複数の変換係数を有する他のブロックサイズは、適切な修正により対応可能である。

特徴セットの情報は、個別の色平面における複数のブロックの複数の選択変換係数（例えばＤＣＴ係数）から導出される。好適な実施形態では、図１に概略的に示すように、Ｙ色平面における複数の選択変換係数からの情報を用いて、処理対象サムネイル画像に関するカラー、エッジ、テクスチャ情報が導出される。一方、ＣｒおよびＣｂ色平面のそれぞれにおける複数の選択変換係数からの情報を用いて、そのような画像に関するカラーおよびエッジ情報が導出される。

カラー特徴情報は、好適な実施形態において、３つの独立したヒストグラムに包含されている。１つのヒストグラムは、サムネイル画像の３つの色成分（Ｙ，Ｃｒ，Ｃｂ）のそれぞれに関する。例えば、Ｙ成分のカラーヒストグラムは、その色成分の複数のＤＣＴブロックに含まれる複数のＤＣ（直流）係数から導かれる。同様に、ＣｒカラーヒストグラムおよびＣｂカラーヒストグラムは、それぞれ、その色成分の複数のＤＣＴブロックに含まれる複数のＤＣ（直流）係数から導かれる。なお、各ＤＣＴブロックには、１つのＤＣ（直流）係数が存在し、それは、図２の左上の係数Ｆ［０，０］である。数学的には、各カラーヒストグラムは、次のように定義される。

（Ｙ，Ｃｒ，ＣｂチャネルそれぞれのＤＣ係数に基づく）カラーヒストグラム

ここで、ｍは、整数であり、ｈ_c ［ｍ］は、値ｍに応じた頻度を示す。ｉ，ｊは、それぞれ各色平面におけるブロックの行，列番号を示す。height，width は、それぞれブロックの行，列番号の最大値を示す。すなわち、ｉ，ｊによって各ブロックが特定される。Ｆ_ij［０，０］は、位置（ｉ，ｊ）のブロック内の位置（０，０）の変換係数の値を示す。Ｑ（Ｆ_ij［０，０］）は、量子化を行う演算式であり、Ｆ_ij［０，０］の値を所定の値で割って得られる商（整数部分）を示す。

３つの色成分のそれぞれに関して、各ＤＣＴブロックの値が決定され、値の範囲は、重複しない複数のサブ範囲すなわちビンに区分される。一実施形態において、範囲は、９個の等しいサブ範囲に区分される。したがって、各ブロックは、対応するサブ範囲、ビンに割り当てられ、各ヒストグラムは、頻度（すなわちブロック数／ビン）と個別のビンまたはサブ範囲との関係を表す。

エッジ特徴情報は、好適な実施形態において、複数の配向性ヒストグラムに包含されている。１つのヒストグラムは、サムネイル画像の３つの色成分（Ｙ，Ｃｒ，Ｃｂ）のそれぞれに関する。特定のヒストグラムを計算するために、対応する色平面の各ブロックにおける変換係数Ｆ［０，１］，Ｆ［１，０］（図２参照）を調べる。これらの係数は、有意なエッジを示す。次に、｜Ｆ［０，１］｜＋｜Ｆ［１，０］｜が、その色平面のための好適な閾値よりも大きいか否かを判断する。一実施形態において、Ｙ，Ｃｒ，Ｃｂ色平面のそれぞれについて、閾値として１６０，４０，４０が選択される。そして、各有意エッジに関し、値Ｆ［０，１］，Ｆ［１，０］によって、配向性が定義される。一実施形態では、図３に示すように、８個の領域が定義される。より具体的には、各配向性ヒストグラムは、次のように定義される。

（Ｙ，Ｃｒ，ＣｂチャネルそれぞれのＤＣＴ係数Ｆ［０，１］，Ｆ［１，０］に基づく）配向性ヒストグラム

ここで、ｈ_o ［ｍ］は、値ｍに応じた頻度を示す。配向性（Ｆ［０，１］，Ｆ［１，０］）は、下記のテーブル１において定義される。

テーブル１：配向性のビン割り当て

テクスチャ特徴情報は、好適な実施形態において、サムネイル画像のＹ成分の複数の選択ＤＣＴ係数から導出されたタイプ、スケール、エネルギのヒストグラムに包含されている。

テクスチャタイプヒストグラムは、ＤＣＴブロック内の複数の選択係数のうちの支配的な係数（図４参照）が所定の閾値より大きいときに、その支配的な係数によって定義される。一実施形態では、閾値として１０が選択される。より具体的には、テクスチャタイプヒストグラムは、次のように定義される。

（ＹチャネルのＤＣＴ係数Ｆ［０，２］，Ｆ［１，１］，Ｆ［２，０］，Ｆ［０，３］，Ｆ［１，２］，Ｆ［２，１］，Ｆ［３，０］に基づく）テクスチャタイプヒストグラム

ここで、ｈ_t ［ｍ］は、値ｍに応じた頻度を示す。ａｒｇｍａｘ_k（Ｆ_ij［Ｔｙｐｅ（ｋ）］）は、Ｆ_ij［Ｔｙｐｅ（ｋ）］が最大になるときの値ｋを求める演算式である。ｔｙｐｅ（ｋ）は、下記のテーブル２において定義される。

テーブル２：テクスチャタイプのビン割り当て

テクスチャスケール特徴は、ＤＣＴブロック内の複数の係数の支配的なスケールによって定義される。図５は、テクスチャスケールの定義を示す。一実施形態では、閾値として２００が選択される。より具体的には、テクスチャスケールヒストグラムは、次のように定義される。

（Ｙチャネルの複数のＤＣＴ係数に基づく）テクスチャスケールヒストグラム

ここで、ａ，ｂは、それぞれ各ブロック内の係数の行，列番号を示す。すなわち、ａ，ｂによって位置（ｉ，ｊ）のブロック内の各変換係数が特定される。Ｓ_ij（ｋ）は、位置（ｉ，ｊ）のブロックに含まれるすべての変換係数のうち、ａ，ｂの和が値ｋとなる位置（ａ，ｂ）の変換係数の和を示す。ｈ_s ［ｍ］は、値ｍに応じた頻度を示す。ａｒｇｍａｘ_k Ｓ_ij（ｋ）は、Ｓ_ij（ｋ）が最大になるときの値ｋを求める演算式である。

テクスチャエネルギ特徴は、各ＤＣＴブロックの合計エネルギによって定義される。より具体的には、テクスチャエネルギヒストグラムは、次のように定義される。

（ＹチャネルのＤＣＴ係数に基づく）テクスチャエネルギヒストグラム

ここで、Ｅ_ijは、位置（ｉ，ｊ）のブロックに含まれるすべての変換係数の絶対値の和を示す。ｈ_e ［ｍ］は、値ｍに応じた頻度を示す。Ｑ（Ｅ_ij）は、量子化を行う演算式であり、Ｅ_ijの値を所定の値で割って得られる商（整数部分）を示す。

既に明らかになったように、凸距離関数（convax distance function）を使用することによって、全体的な非類似性尺度に関する有用な下界が定式化できる。良好な下界を用いることにより、大きな画像集合に関するマッチングプロセスを高速化する多数の検索アルゴリズムを適用できる。この目的から、Ｌ_pノルムを使用できる。クエリ画像とターゲット画像との間の距離は、対応するヒストグラムの各ペアのＬ₁ノルムの合計として定義される。

処理対象サムネイル画像に関するカラー、エッジ、テクスチャ情報が包含される種々のヒストグラムを決定する際の詳細についての説明を終了し、この情報が利用される画像コンテンツに基づく管理／検索の方法／アルゴリズムの動作について、図６〜図８のフローチャートを参照して説明する。

図６は、コンピュータシステムまたは同様のデバイスにおける全てのまたは選択された記憶領域に現在格納されているサムネイル画像の集合に適用される管理／検索の方法／アルゴリズムの処理を示すフローチャートである。解析プロセスは、記憶領域（群）内の第１のサムネイルカラー画像が取得されることによって、開始される（ステップ６１）。その画像の各主要色成分（例えばＹ，Ｃｒ，Ｃｂ）は、前述したように、複数の変換係数包含ブロックに区分される（ステップ６２）。その画像のブロック区分済み色成分のそれぞれのＤＣ変換係数から、対応するカラーヒストグラムが導出される（ステップ６３）。すなわち、その画像の各主要色成分毎に、１つのカラーヒストグラムが取得される。

ヒストグラムの形態における追加的な統計情報は、ステップ６４，６５で取得される。ステップ６４では、現行画像の各ブロック区分済み色成分の各ブロックに含まれる複数の選択変換係数を使用して、前述したように、対応する配向性ヒストグラムが導出される。ステップ６５では、現行画像のブロック区分済みＹ色成分の各ブロックに含まれる選択変換係数を使用して、テクスチャタイプ、テクスチャスケール、テクスチャエネルギのヒストグラムが導出される。

このような現行画像に関する統計情報のヒストグラムが取得された後、現行サムネイル画像について、この統計情報を具現化する特徴セットが抽出される（ステップ６６）。特徴セットは、その後、格納される（ステップ６７）。次に、考慮すべきサムネイル画像がさらに存在するか否かを判断する（ステップ６８）。存在する場合には、アルゴリズムは、再びステップ６１に戻り、次のサムネイル画像が取得される。記憶領域（群）内の全画像が考慮された後（ステップ６８の判断結果が「ｎｏ」）、アルゴリズムは終了する。

図７は、以前に格納され複数のサムネイルカラー画像を検索するために、新しいサムネイルカラー画像が検索クエリとして使用されるときの管理／検索の方法／アルゴリズムの処理を示すフローチャートである。図６に示す処理が記憶領域（群）内に現在含まれる複数の画像に対して既に実行された場合には、方法／アルゴリズムは、新しいサムネイル画像の特徴セットを抽出し、関連する記憶領域（群）で類似画像を検索し、ユーザに提示するだけでよい。ユーザがコンピュータの２以上の領域に画像を格納している場合には、検索は、そのような全ての領域で実行可能である。あるいは、検索範囲は、選択された記憶領域に限定可能である。検索範囲は、例えば、ユーザのデバイスの画面上に現れるコントロールパネルを介して、検索対象となるドライブ、ファイルフォルダなどのデータ編成構造を特定することによって制限されてもよい。方法／アルゴリズムは、異なる検索範囲が指定されない限り、すべての格納済みのサムネイルカラー画像が検索されるように構成され得る。新しいサムネイルカラー画像がアップロードされ、検索範囲が設定されると（ステップ７１）、ステップ６２〜６５の処理が、対応するステップ７２〜７５において、新しい画像に対して実行される。新しい画像の特徴セットは、ステップ７６において抽出される。その特徴セットは、ステップ７７において、記憶領域（群）において類似画像を特定するために使用される。すなわち、新しい画像の特徴セットにおいて具現化される統計情報は、前述した基準を使用して、類似する特徴セットを有する画像を特定するために使用される。その後、ステップ７８において、記憶領域（群）で発見されたそのような全ての類似画像がユーザに提示される。

なお、「類似する」画像の特定の前に、関連する記憶領域（群）内のすべての画像が解析されるまで待つ必要はない。ステップ７７，７８は、「迅速に（on-the-fly）」実行可能であり、すなわち、類似画像は、ステップ７７において特定され次第、ステップ７８においてユーザに提示される。いかなる場合でも、検索および解析工程の終了後、類似するとして特定されたすべての画像がユーザに提示される。

図８のフローチャートは、特徴セットが既に抽出されて格納された格納済みサムネイルカラー画像が検索クエリとして使用される状況を示す。既に格納済みの特定の注目画像は、例えば、クリック等の任意の公知の手法で、ユーザによって特定される（ステップ８１）。検索クエリとして用いられる注目画像が特定され、検索範囲が設定されると、ステップ８２において、検索が実行されるコンピュータまたは同様のデバイスは、検索クエリ画像の特徴セットを、関連する記憶領域（群）内の他のサムネイル画像のそれぞれの特徴セットと比較する。類似画像は、ステップ８３において、ユーザに提示される。図７に関して前述したように、比較工程および提示工程は、「迅速に（on-the-fly）」実行可能である。

上記のように、管理／検索アルゴリズムは、図９に示すタイプのコンピュータシステム９０で実行されるソフトウェアの形態で都合よく実施され得る。図１０に示すように、システムは、デスクトップコンピュータ１０１や、ラップトップ１０２、携帯電話およびパーソナルデジタルアシスタント（ＰＤＡ）等のハンドヘルドデバイス１０３などを含む種々の適切なデバイスのいずれかにおいて実現され得る。

再び図９を参照すると、図示されたシステムは、コンピューティングリソースを提供してシステムを制御する中央演算処理装置（ＣＰＵ）９１を含む。ＣＰＵ９１は、マイクロプロセッサなどによって実現され、数学的な計算等の特定のタイプの処理を扱う１以上の補助チップを含んでいてもよい。システム９０は、さらに、ランダムアクセスメモリ（ＲＡＭ）およびリードオンリメモリ（ＲＯＭ）の形態を採り得るシステムメモリ９２を含む。このようなシステム９０は、通常、図９に示すように、多数のコントローラと関連コンポーネントとを含む。

図示された実施形態において、入力コントローラ（群）９３は、キーボード、マウス、スタイラスなどの１以上の入力デバイス９４とインタフェースする。もちろん、入力コントローラ（群）９３の特定の構成および対応する入力デバイス（群）９４は、システム９０の具体的な実装に依存する。

ストレージコントローラ（群）９５は、１以上のストレージデバイス９６とインタフェースする。各ストレージデバイス９６は、磁気テープや、ディスク、光学媒体などの記憶媒体を含み、記憶媒体は、オペレーティングシステムとユーティリティとアプリケーションに対する命令のプログラムを記録するために使用され、命令のプログラムは、本発明のアルゴリズムや種々の態様を実装するプログラムの統合体を含み得る。ストレージデバイス（群）９６は、サムネイル画像の集合を包含するフォルダ８８によって概略的に示されるように、本発明に従って検索／解析される画像が格納される１以上の記憶領域（群）を含んでいてもよい。ディスプレイコントローラ（群）９７は、ディスプレイデバイス（群）９８とインタフェースし、ディスプレイデバイス（群）は、システム９０が具現化される具体的なデバイスに最適な任意のタイプである。

例示したシステムにおいて、すべての主要なシステムコンポーネントは、２以上の物理バスを表すバス９９に接続する。

格納および解析／検索される画像は、種々の手法によってシステム９０にアップロードされる。例えば、該画像は、デジタルカメラから直接アップロードされたり、スキャナからアップロードされたり、インターネットなどのネットワークから取得されたりる。この目的のために、システム９０は、画像の有線または無線のアップロードを可能にする適切な通信コントローラ／インタフェースを有することが好ましい。

さらに、本発明の具体的な適用に応じて、検索対象の記憶領域（群）および／または検索アルゴリズムを実施するプログラムは、ネットワークを介して遠隔位置（例えばサーバ）からアクセスされてもよい。このようなデータおよび命令の転送は、ネットワーク信号や、赤外線信号を含む任意の適切な電磁搬送信号を含む任意の最適な手段を介して搬送されてもよい。

システムは、検索によって取得された１以上の画像を印刷するプリンタとインタフェースするためのプリンタコントローラを有していてもよい。

本発明のアルゴリズムは、前述した適切なデバイス上で実行されるソフトウェアを用いて都合よく実施され得るが、アルゴリズムのハードウェアによる実施、または、ハードウェア／ソフトウェアの複合による実施も可能である。ハードウェアによる実施は、例えば、ＡＳＩＣ（群）、デジタル信号処理回路などを使用して、実現され得る。「機械読み取り可能な媒体」という請求項の用語は、ソフトウェア搬送媒体だけでなく、必要な処理を実行する命令が物理的に組み込まれたハードウェアと、ハードウェアおよびソフトウェアの組み合わせと、を含む。同様に、「命令のプログラム」という請求項の用語は、ソフトウェアと、ハードウェアに組み込まれた命令と、の双方を含む。さらに、請求項において使用される「モジュール」という用語は、命令に基づくプロセッサ（例えば、ＣＰＵ）や、ＡＳＩＣ、デジタル信号処理回路、これらの組み合わせなどの適切に構成された任意の処理デバイスを包含する。こうした実施の代替物を考慮すると、図および付随する説明は、当業者が、プログラムコード（すなわちソフトウェア）を書き、または回路（すなわち、ハードウェア）を作成して、必要な処理を実行するために要求する、機能的な情報を提供すると理解される。

以上説明したように、本発明は、大きな集合内で選択画像／写真を見つけるための画像コンテンツに基づく管理／検索アルゴリズムにおいて利用可能な、サムネイル画像形式（好ましくは、ＥＸＩＦサムネイル画像形式）のために設計された特徴セットを提供する。本発明について、いくつかの具体的な実施形態に関連して説明したが、前述の説明を考慮すれば、さらに数多くの代替、修正、変更、応用が当業者に明らかになる。したがって、本明細書で説明された本発明は、請求項の趣旨および範囲内のすべての代替、修正、変更、応用を包含する。

本発明の特徴セット抽出処理を示す概念図。 本発明の実施形態に従った解析済みのデジタル画像の８×８ブロックの複数の変換係数を示す図。 本発明の実施形態に従ったエッジ配向性のビン割り当てを示す図。 本発明の実施形態に従ったテクスチャタイプを示す図。 本発明の実施形態に従ったテクスチャスケールを示す図。 本発明の実施形態に従った各特徴セットを取得するために格納済み画像に適用される管理／検索の方法／アルゴリズムの処理を示すフローチャート。 本発明の実施形態に従った検索クエリとして使用される新しい画像がアップロードされるときに適用される管理／検索の方法／アルゴリズムの処理を示すフローチャート。 本発明の実施形態に従った格納済み画像が検索クエリとして使用されるときに適用される管理／検索の方法／アルゴリズムの処理を示すフローチャート。 本発明の方法／アルゴリズムの実施形態を実施するために使用され得るシステムの例を示すブロック図。 図９のシステムが具現化されるいくつかのデバイスを示す図。

符号の説明

８８…フォルダ
９０…コンピュータシステム
９１…ＣＰＵ
９２…システムメモリ
９３…入力コントローラ
９４…入力デバイス
９５…ストレージコントローラ
９６…ストレージデバイス
９７…ディスプレイコントローラ
９８…ディスプレイデバイス
９９…バス
１０１…デスクトップコンピュータ
１０２…ラップトップ
１０３…ハンドヘルドデバイス

Claims (28)

1. 複数のデジタルカラー画像を含む集合を管理するための方法であって、
   前記集合内の前記複数のデジタルカラー画像を解析する工程を備え、
   前記解析工程は、解析される各デジタルカラー画像毎に、
   前記デジタルカラー画像を、複数の変換係数をそれぞれが含む複数のブロックに区分する工程と、
   前記デジタルカラー画像の前記複数の変換係数から導出された特徴セットを抽出する工程であって、前記特徴セットは、複数のカラー特徴と、複数のエッジ特徴と、テクスチャタイプとテクスチャスケールとテクスチャエネルギとを含む複数のテクスチャ特徴と、を含む、前記工程と、
   を備える方法。
2. 請求項１記載の方法であって、
   解析される前記複数のデジタルカラー画像は、特別にフォーマットされたサムネイルカラー画像である、方法。
3. 請求項１または２記載の方法であって、
   前記区分工程は、
   解析対象の前記デジタルカラー画像の各主要色成分を区分する工程を備え、
   前記複数のカラー特徴は、前記デジタルカラー画像の各主要色毎に別個のカラー特徴を含む、方法。
4. 請求項３記載の方法であって、
   前記複数の別個のカラー特徴は、各主要色毎に１つの別個のヒストグラムによって表現される、方法。
5. 請求項１ないし４のいずれかに記載の方法であって、
   前記区分工程は、
   解析対象の前記デジタルカラー画像の各主要色成分を区分する工程を備え、
   前記複数のエッジ特徴は、前記デジタルカラー画像の各主要色毎に別個のエッジ特徴を含む、方法。
6. 請求項５記載の方法であって、
   前記複数の別個のエッジ特徴は、各主要色毎に１つの別個のヒストグラムによって表現される、方法。
7. 請求項１ないし６のいずれかに記載の方法であって、
   前記テクスチャタイプ特徴と前記テクスチャスケール特徴と前記テクスチャエネルギ特徴とは、それぞれのヒストグラムによって表現される、方法。
8. 請求項１ないし７のいずれかに記載の方法であって、さらに、
   クエリ画像として使用される新しいデジタルカラー画像に対して前記区分工程と前記抽出工程とを適用する工程と、
   前記クエリ画像の前記特徴セットを、前記集合の少なくとも１つのサブセット内の各デジタルカラー画像の前記特徴セットと比較する工程と、
   前記クエリ画像の前記特徴セットに類似する特徴セットを有する、前記集合内の各デジタルカラー画像を特定する工程と、
   を備える、方法。
9. 請求項１ないし７のいずれかに記載の方法であって、さらに、
   前記集合内の特定のデジタルカラー画像をクエリ画像として選択する工程と、
   前記選択されたクエリ画像の前記特徴セットを、前記集合の少なくとも１つのサブセット内の各デジタルカラー画像の前記特徴セットと比較する工程と、
   前記選択されたクエリ画像の前記特徴セットに類似する特徴セットを有する、前記集合内の各デジタルカラー画像を特定する工程と、
   を備える、方法。
10. 複数のデジタルカラー画像を含む集合を管理するためのアルゴリズムを実行するための装置であって、
    解析対象の各デジタルカラー画像を、複数の変換係数をそれぞれが含む複数のブロックに区分するように構成された区分モジュールと、
    前記デジタルカラー画像の前記複数の変換係数から導出された特徴セットを抽出するように構成された抽出モジュールであって、前記特徴セットは、複数のカラー特徴と、複数のエッジ特徴と、テクスチャタイプとテクスチャスケールとテクスチャエネルギとを含む複数のテクスチャ特徴と、を含む、前記抽出モジュールと、
    を備える装置。
11. 請求項１０記載の装置であって、
    解析される前記複数のデジタルカラー画像は、特別にフォーマットされたサムネイルカラー画像である、装置。
12. 請求項１０または１１記載の装置であって、
    前記区分モジュールは、解析対象の前記デジタルカラー画像の各主要色成分を区分するように構成されており、
    前記複数のカラー特徴は、前記デジタルカラー画像の各主要色毎に別個のカラー特徴を含む、装置。
13. 請求項１２記載の装置であって、
    前記複数の別個のカラー特徴は、各主要色毎に１つの別個のヒストグラムによって表現される、装置。
14. 請求項１０ないし１３のいずれかに記載の装置であって、
    前記区分モジュールは、
    解析対象の前記デジタルカラー画像の各主要色成分を区分するように構成されており、
    前記複数のエッジ特徴は、前記デジタルカラー画像の各主要色毎に別個のエッジ特徴を含む、装置。
15. 請求項１４記載の装置であって、
    前記複数の別個のエッジ特徴は、各主要色毎に１つの別個のヒストグラムによって表現される、装置。
16. 請求項１０ないし１５のいずれかに記載の装置であって、
    前記テクスチャタイプ特徴と前記テクスチャスケール特徴と前記テクスチャエネルギ特徴とは、それぞれのヒストグラムによって表現される、装置。
17. 請求項１０ないし１６のいずれかに記載の装置であって、さらに、
    デジタルカラー画像をクエリ画像として選択するように構成された選択モジュールと、
    前記選択されたクエリ画像の前記特徴セットを、前記集合の少なくとも１つのサブセット内の各デジタルカラー画像の前記特徴セットと比較するように構成された比較モジュールと、
    前記選択されたクエリ画像の前記特徴セットに類似する特徴セットを有する、前記集合内の各デジタルカラー画像を特定するように構成された特定モジュールと、
    を備える、装置。
18. 請求項１０ないし１７のいずれかに記載の装置であって、さらに、
    プロセッサ制御デバイスを備える、装置。
19. 請求項１８記載の装置であって、
    前記プロセッサ制御デバイスは、パーソナルコンピュータと、パーソナルデジタルアシスタントと、携帯電話と、のうちのいずれかを含む、装置。
20. 複数のデジタルカラー画像を含む集合を管理するためのアルゴリズムを機械に実行させるための命令のプログラムを格納した機械読み取り可能な媒体であって、
    前記命令のプログラムは、
    前記集合内の前記複数のデジタルカラー画像を解析する命令を備え、
    前記解析命令は、解析される各デジタルカラー画像毎に、
    前記デジタルカラー画像を、複数の変換係数をそれぞれが含む複数のブロックに区分する命令と、
    前記デジタルカラー画像の前記複数の変換係数から導出された特徴セットを抽出する命令であって、前記特徴セットは、複数のカラー特徴と、複数のエッジ特徴と、テクスチャタイプとテクスチャスケールとテクスチャエネルギとを含む複数のテクスチャ特徴と、を含む、前記命令と、
    を備える機械読み取り可能な媒体。
21. 請求項２０記載の機械読み取り可能な媒体であって、
    解析される前記複数のデジタルカラー画像は、特別にフォーマットされたサムネイルカラー画像である、機械読み取り可能な媒体。
22. 請求項２０または２１記載の機械読み取り可能な媒体であって、
    前記区分命令は、
    解析対象の前記デジタルカラー画像の各主要色成分を区分する命令を備え、
    前記複数のカラー特徴は、前記デジタルカラー画像の各主要色毎に別個のカラー特徴を含む、機械読み取り可能な媒体。
23. 請求項２２記載の機械読み取り可能な媒体であって、
    前記複数の別個のカラー特徴は、各主要色毎に１つの別個のヒストグラムによって表現される、機械読み取り可能な媒体。
24. 請求項２０ないし２３のいずれかに記載の機械読み取り可能な媒体であって、
    前記区分命令は、
    解析対象の前記デジタルカラー画像の各主要色成分を区分する命令を備え、
    前記複数のエッジ特徴は、前記デジタルカラー画像の各主要色毎に別個のエッジ特徴を含む、機械読み取り可能な媒体。
25. 請求項２４記載の機械読み取り可能な媒体であって、
    前記複数の別個のエッジ特徴は、各主要色毎に１つの別個のヒストグラムによって表現される、機械読み取り可能な媒体。
26. 請求項２０ないし２５のいずれかに記載の機械読み取り可能な媒体であって、
    前記テクスチャタイプ特徴と前記テクスチャスケール特徴と前記テクスチャエネルギ特徴とは、それぞれのヒストグラムによって表現される、機械読み取り可能な媒体。
27. 請求項２０ないし２６のいずれかに記載の機械読み取り可能な媒体であって、
    前記命令のプログラムは、さらに、
    クエリ画像として使用される新しいデジタルカラー画像に対して前記区分工程と抽出工程とを適用する命令と、
    前記クエリ画像の前記特徴セットを、前記集合の少なくとも１つのサブセット内の各デジタルカラー画像の前記特徴セットと比較する命令と、
    前記クエリ画像の前記特徴セットに類似する特徴セットを有する、前記集合内の各デジタルカラー画像を特定する命令と、
    を備える、機械読み取り可能な媒体。
28. 請求項２０ないし２６のいずれかに記載の機械読み取り可能な媒体であって、
    前記命令のプログラムは、さらに、
    前記集合内の特定のデジタルカラー画像をクエリ画像として選択する命令と、
    前記選択されたクエリ画像の前記特徴セットを、前記集合の少なくとも１つのサブセット内の各デジタルカラー画像の前記特徴セットと比較する命令と、
    前記選択されたクエリ画像の前記特徴セットに類似する特徴セットを有する、前記集合内の各デジタルカラー画像を特定する命令と、
    を含む、機械読み取り可能な媒体。

Images