JP2010504593A - 分類手法を用いて画像からドミナントカラーを抽出する方法 - Google Patents

Abstract

画像のドミナントカラーを検出する検出器を生成する方法及びシステムが提供される。
ドミナントカラーシステムは、検出器をトレーニングして画像のドミナントカラーである色を分類する。ドミナントカラーシステムは、トレーニング画像の集合を用いて検出器をトレーニングする。検出器をトレーニングするために、ドミナントカラーシステムは、最初にトレーニング画像の候補ドミナントカラーを特定する。次に、ドミナントカラーシステムは、候補ドミナントカラーの特徴を抽出する。ドミナントカラーシステムはまた、候補ドミナントカラーのそれぞれのドミナンス指標を入力する。次に、ドミナントカラーシステムは、トレーニングデータとして候補ドミナントカラーの抽出された特徴及びドミナンス指標を用いて画像のドミナントカラーを検出するために検出器をトレーニングする。

Description

グーグルやオーバーチュアなどの多くの検索エンジンサービスは、インターネットを介してアクセス可能な情報検索を提供する。これらの検索エンジンサービスは、ウェブページなどの、ユーザが興味をもちそうなページを表示する検索をユーザが行えるようにする。ユーザが検索語を含む検索要求（即ち、クエリ）を発行した後に、検索エンジンサービスは、それらの検索語に関係していると思われるウェブページを特定する。関連ウェブページを素早く特定するために、検索エンジンサービスは、ウェブページへのキーワードのマッピングを維持することができる。このマッピングを、ウェブ（即ち、ワールドワイドウェブ）を「クロールする」ことにより生成して、各ウェブページのキーワードを特定することができる。ウェブをクロールするために、検索エンジンサービスは、ルートウェブページのリストを用いて、全てのウェブページを特定することができる。全てのウェブページは、それらのルートウェブページを介してアクセス可能である。特定のウェブページのキーワードは、例えば見出しの語、ウェブページのメタデータ中に与えられた語、強調されている語、その他を特定することなどの、様々な周知の情報検索技術を用いて特定され得る。検索エンジンサービスは、ウェブページのキーワードがどの程度クエリの語にマッチするかに基づいて、検索要求に関係するであろうウェブページを特定する。次に、検索エンジンサービスは、ランキングに基づく順番で、特定されたウェブページへのリンクをユーザに表示する。ランキングは、クエリ、人気、重要性、及び／またはいくつかの他の尺度との特定されたウェブページの関連性で決定されてもよい。

インターネットは、画像（例えば写真）を検索しかつ表示するためにますます用いられている。この使用をサポートするために、商用検索エンジンサービスは、２００５年以降、１０億以上の画像を配置し、インデックスを付けている。概して、ウェブページの画像にインデックスを付ける技術は、ウェブページにインデックスを付けるのと類似した方法で働く。一旦検索エンジンサービスが画像を特定すると、検索エンジンサービスは、画像を含むウェブページ上で画像の周辺のテキストから、または画像を含むウェブページを参照する他のウェブページ上でリンクの周辺のテキストから、その画像に関連するキーワードを特定しようとする。次に、検索エンジンサービスは、それらのキーワードから該画像へのマッピングを作成する。ユーザは、画像を検索するときに、テキストのクエリを発行することができる。例えば、虎に関する画像を検索することに興味があるユーザは、クエリ「虎 動物」を発行することができる。検索エンジンサービスは、キーワード「虎」及び「動物」に対するキーワードインデックスを検索して関連する画像を見つけることができる。検索エンジンサービスは、検索結果として各関連画像のサムネイルを表示する。

画像検索の改善を助けるために、コンテンツベースの画像検索技術が用いられてきた。コンテンツベースの画像検索技術には、画像を表すために、色、テクスチャ、及び鮮明さのような低レベルの特徴を用いるものがある。しかしながら、かかる低レベルの特徴は、画像の意味を効果的に表さない。コンテンツベースの画像検索技術には、ドミナントカラー及び画像のタイプ（例えば、写真またはグラフィック）などの中間レベルの特徴を用いて画像を表すものがある。これらの中間レベルの特徴は、低レベルの特徴より多くの意味情報を提供する傾向があり、よって画像を検索するときにより役立つ。

画像のドミナントカラーは、さまざまな方法で検索エンジンサービスに利用されて検索経験を改善することができる。例えば、検索エンジンサービスは、所望の画像の意味を表すキーワードとともに所望の画像の視覚的特徴としてドミナントカラーを入力することをユーザができるようにする。よって、クエリは、キーワード「タイガー・ウッズ」及びドミナントカラー「緑色」から成ることができる。別の例として、検索エンジンサービスは、クエリのキーワードにマッチする画像を特定し、次に特定された画像をそれらのドミナントカラーに基づいてクラスタリングすることができる。ドミナントカラーの使用を容易にするために、検索エンジンサービスは、画像のドミナントカラーに基づいてその画像にインデックスを付けることができる。

画像のドミナントカラーは、また、検索以外にアプリケーションにおいて用いられ得る。コンピュータディスプレイまたはテレビに画像を表示するシステムは、各画像を囲むマット(matte)を自動的に生成することができる。かかるシステムは、ドミナントカラーに基づいてマットの色を選択することができる。例えば、マットに選択される色は、画像のドミナントカラーの補色であってもよい。他のシステムは、画像またはビデオが表示されている間、アンビエント照明(ambient light)を生成する。かかるシステムは、画像のドミナントカラーまたはそのとき表示されているビデオのフレームに基づくアンビエント照明のための色を選択することができる。

マ・Ｙ．Ｆ．・チャン、Ｈ．Ｊ．「ファジィ成長によるコントラストに基づく画像注目分析（Ｃｏｎｔｒａｓｔ−Ｂａｓｅｄ Ｉｍａｇｅ Ａｔｔｅｎｔｉｏｎ Ａｎａｌｙｓｉｓ ｂｙ Ｕｓｉｎｇ Ｆｕｚｚｙ Ｇｒｏｗｉｎｇ）」ＡＣＭマルチメディア２００３、バークレー、ＣＡ、ＵＳＡ、第３７４乃至３８１頁 ｈｔｔｐ：／／ｒｅｓｅａｒｃｈ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／〜ｊｐｌａｔｔ／ｓｍｏ．ｈｔｍｌ．「Ｓｅｑｕｅｎｔｉａｌ Ｍｉｎｉｍａｌ Ｏｐｔｉｍｉｚａｔｉｏｎ」

画像のドミナントカラーを特定する最新技術は、通常、画像において最もしばしば現れる色を選択するかまたはある統計的アルゴリズムを適用する。しかしながら、該最新技術は、必ずしも適当な色をドミナントカラーとして特定しない。例えば、ある画像が、１色でそのピクセルの２５パーセントと複数の同系色で７５パーセント（第１の色と大変異なっている）とを有するが、同系色のいずれの１つも５パーセントを上回っていない場合、該最新技術は、ドミナントカラーとしてピクセルの２５パーセントの色を誤って選択するかもしれない。

画像のドミナントカラーを検出する検出器を生成する方法及びシステムが提供される。ドミナントカラーシステムは、検出器をトレーニングし、画像のドミナントカラーとして色を分類する。ドミナントカラーシステムは、トレーニング画像の集合を用いて検出器をトレーニングする。検出器をトレーニングするために、ドミナントカラーシステムは、最初にトレーニング画像の候補ドミナントカラーを特定する。次に、ドミナントカラーシステムは、候補ドミナントカラーの特徴を抽出する。候補ドミナントカラーの抽出された特徴のいくつかは、候補ドミナントカラーと画像の特定の領域中の色との間の差に基づいていてもよい。ドミナントカラーシステムはまた、候補ドミナントカラーの各々についてのドミナンス指標を入力する。次に、ドミナントカラーシステムは、検出器をトレーニングし、トレーニングデータとして候補ドミナントカラーの抽出された特徴及びドミナンス指標を用いて画像のドミナントカラーを検出する。ドミナントカラーシステムは、様々な分類技術に基づいて検出器をトレーニングすることができる。一旦検出器がトレーニングされると、検出器は様々なアプリケーションで用いられてターゲット画像のドミナントカラーを特定することができる。ドミナントカラーを特定するために、アプリケーションは、トレーニング画像の候補ドミナントカラーを特定するのと同じ技術を用いてターゲット画像の候補ドミナントカラーを特定する。次にアプリケーションは、トレーニング画像の候補ドミナントカラーの特徴を抽出するのと同じ技術を再び用いて候補ドミナントカラーについての特徴を抽出する。次に、アプリケーションは、各候補ドミナントカラーについての抽出された特徴に対して検出器を用いて、ターゲット画像についての候補ドミナントカラーのドミナンスを示すスコアを生成する。次に、アプリケーションは、ターゲット画像についてのドミナントカラーとして、最高スコアを有する候補ドミナントカラーを選択することができる。

この概要は、詳細な説明で更に後述する、単純化された形式の概念の選択を導くために提供される。この概要は、請求された発明の重要な特徴または基本的特徴を特定することを意図していないし、請求された発明の範囲を決定する際の助けとして用いられることを意図していない。

１つの実施形態におけるドミナントカラーシステムのコンポーネントを示すブロック図である。 １つの実施形態におけるドミナントカラーシステムの検出器生成コンポーネントの処理を示すフローチャートである。 １つの実施形態におけるドミナントカラーシステムの候補ドミナントカラー特定コンポーネントの処理を示すフローチャートである。 １つの実施形態におけるドミナントカラーシステムの色空間変換コンポーネントの処理を示すフローチャートである。 １つの実施形態におけるドミナントカラーシステムのビンへの色量子化コンポーネントの処理を示すフローチャートである。 １つの実施形態におけるドミナントカラーシステムの平均色算出コンポーネントの処理を示すフローチャートである。 １つの実施形態におけるドミナントカラーシステムの重み算出コンポーネントの処理を示すフローチャートである。 １つの実施形態におけるドミナントカラーシステムの色クラスタリングコンポーネントの処理を示すフローチャートである。 １つの実施形態におけるドミナントカラーシステムの色フィルタリングコンポーネントの処理を示すフローチャートである。 １つの実施形態におけるドミナントカラーシステムの候補ドミナントカラー特徴抽出コンポーネントの処理を示すフローチャートである。 １つの実施形態におけるドミナントカラーシステムの画像の差分布算出コンポーネントの処理を示すフローチャートである。 １つの実施形態におけるドミナントカラーシステムの周辺色との差算出コンポーネントの処理を示すフローチャートである。 １つの実施形態におけるドミナントカラーシステムのドミナントカラー特定コンポーネントの処理を示すフローチャートである。

画像のドミナントカラーを検出する検出器を生成する方法及びシステムが提供される。１つの実施形態において、ドミナントカラーシステムは、画像のドミナントカラーである色を分類する検出器をトレーニングする。ドミナントカラーシステムは、トレーニング画像の集合を用いて検出器をトレーニングする。例えば、トレーニング画像は、検索エンジンサービスによってインデックスを付けられた画像の一部であってもよい。検出器をトレーニングするために、ドミナントカラーシステムは、トレーニング画像の候補ドミナントカラーを最初に特定する。ドミナントカラーシステムは、最も高い周波数を有する色を選択することなどの候補ドミナントカラーを特定する従来の技術を用いてもよいし、または後述するクラスタリング技術を用いてもよい。次に、ドミナントカラーシステムは、候補ドミナントカラーの特徴を抽出する。候補ドミナントカラーの抽出された特徴のいくつかは、候補ドミナントカラーと画像の特定の領域内の色との間の差に基づいていてもよい。例えば、１つの抽出された特徴は、候補ドミナントカラーと画像内の注目領域に用いられる色との間の差に基づいていてもよい。ドミナントカラーシステムはまた、候補ドミナントカラーの各々のドミナンス指標を入力する。指標は、バイナリ値（即ち、ドミナントであるかまたはドミナントでない）、他の離散的な値（例えば、極度、高い、通常、低い）、または連続的な値（例えば、０と１との間の実際の値）であってもよい。ドミナンス指標は、トレーニング画像を精査する人々から入力されて、候補ドミナントカラーのドミナンスについてのその人々の意見を提供してもよい。次に、ドミナントカラーシステムは、検出器をトレーニングして、抽出された特徴及び候補ドミナントカラーのドミナンス指標をトレーニングデータとして用いて画像のドミナントカラーを検出する。ドミナントカラーシステムは、サポートベクトルマシン（「ＳＶＭ」）、アダブースト（Adaptive boosting）、及びニューラルネットワークなどの様々な分類技術に基づいて検出器をトレーニングすることができる。一旦検出器がトレーニングされると、検出器は様々なアプリケーションに用いられてターゲット画像のドミナントカラーを特定することができる。ドミナントカラーを特定するために、アプリケーションは、トレーニング画像の候補ドミナントカラーを特定するのと同じ技術を用いてターゲット画像の候補ドミナントカラーを特定する。次に、アプリケーションは、トレーニング画像の候補ドミナントカラーの特徴を抽出するのと同じ技術を再び用いて候補ドミナントカラーについての特徴を抽出する。次に、アプリケーションは、各候補ドミナントカラーについての抽出された特徴に検出器を適用して、ターゲット画像についての候補ドミナントカラーのドミナンスを示すスコアを生成する。次に、アプリケーションは、ターゲット画像についてのドミナントカラーとして、最高スコアを有する候補ドミナントカラーを選択することができる。このようにして、画像のドミナントカラーは、候補ドミナントカラーのどの特徴が色のドミナンスを最も示すかについてのトレーニングデータからの学習に基づいて特定され得る。

１つの実施形態において、ドミナントカラーシステムは、画像の色をビンに量子化し、ビンの代表色を算出し、ビンについての重みを算出し、重みを考慮して代表色をクラスタリングし、重みが低すぎる代表色をフィルタリングすることによって、画像の候補ドミナントカラーを特定する。ドミナントカラーシステムは、フィルタリングした後に残っている代表色を画像の候補ドミナントカラーであるとみなす。ドミナントカラーシステムは、画像の色を知覚的にほぼ均一である色空間に最初に変換することができ、色同士の間の類似性は色空間内のユークリッド距離に基づいていてもよい。例えば、ドミナントカラーシステムは、ＣＩＥ Ｌ＊ａ＊ｂ色空間内の色を表すことができる。かかる場合、画像の色がＲＧＢなどの別の色空間にある場合、ドミナントカラーシステムは、本技術分野で周知の技術を用いてＣＩＥ Ｌ＊ａ＊ｂ色空間に画像の色を変換する。ドミナントカラーシステムは、以下の式で表されるように、ユークリッド距離メトリックを用いて色同士の間の差を表すことができる。

ここでＬ、ａ、及びｂはＣＩＥ Ｌ＊ａ＊ｂ空間における色の要素を表す。

１つの実施形態において、ドミナントカラーシステムは、画像の色をビンに量子化して、候補ドミナントカラーを特定する計算の複雑さを少なくする。ドミナントカラーシステムは、色要素の量子化に基づいてビンを特定する。ドミナントカラーシステムは、以下の表に従ってビンを画定することができる。

よって、ドミナントカラーシステムは、３９９０ビン（即ち、１０×１９×２１）を画定する。当業者は、異なった数のビン及び異なった閾値が用いられてもよいということを理解するだろう。例えば、ビン閾値は、およそ８倍の数のビンが得られる５つおき（例えば、５、１０、及び１５）であってもよいし、または約８分の１の数のビンが得られる２０おき（例えば、２０、４０及び６０）であってもよい。ドミナントカラーシステムは、画像の各ピクセルの各色を適当なビンに加える。例えば、ドミナントカラーシステムは、色（２１、１０１、３９）を閾値２０、１００、及び−３０で表されるビンに加える。次に、ドミナントカラーシステムは、ビンの色に基づいて各ビンについての代表色を算出する。ドミナントカラーシステムは、ビンについての代表色として、ビンの範囲内の色の平均を選択することができる。ドミナントカラーシステムはまた、各代表色についての重みを生成し、重みはビンに存在する色の総数の割合に最初に設定されてもよい。例えば、画像が１６０×１６０ピクセルを有しかつ１つのビンが２５６ピクセルを有する場合、そのビンの代表色についての重みは、.０１（即ち２５６/(１６０×１６０)）であってもよい。

１つの実施形態において、ドミナントカラーシステムは、代表色をクラスタリングし、クラスタリングされた代表色を候補ドミナントカラーとして選択する。ドミナントカラーシステムは、最初に、各代表色を１つの代表色のクラスタであると見なす。ドミナントカラーシステムは、式１の差メトリックで示されるように最も類似している一対の代表色を連続して特定する。次に、ドミナントカラーシステムは、代表色を混合して代表色の重みを考慮した単一の混合代表色にし、次にそれらの重みを組み合わせて単一の組み合わせ重みにする。ドミナントカラーシステムは、代表色を混合し、線形または非線形の重み付け技術を用いて重み付けしてもよい。例えば、ドミナントカラーシステムは、以下の式に基づいて代表色を線形混合してもよい。

ここで、Ｃ_iは、ｉ番目の代表色の色要素を表し、Ｗ_iは、ｉ番目の代表色の重みを表す。ドミナントカラーシステムは、以下の式に基づいて重みを線形結合することができる。

ドミナントカラーシステムは、代表色同士の間の類似性が閾値未満である限り、最も類似している代表色をクラスタリングする処理を続ける。次に、ドミナントカラーシステムは、その重みが閾値未満である代表色をフィルタリングして、ほんのわずかの数のピクセルだけから生成される代表色が候補ドミナントカラーとして選択されないようにすることができる。ドミナントカラーシステムは、一定の閾値（例えば、.０５未満の重み）または動的閾値（例えば、低い重みを有する代表色の８０パーセントをフィルタリングするかまたは最も高い重みの一定の割合に満たない重みを有する代表色をフィルタリングする）を用いることができる。

ドミナントカラーシステムは、候補ドミナントカラーの様々な特徴を抽出して色特性を表す。１つの実施形態では、ドミナントカラーシステムは、２７要素の特徴ベクトルを用いて候補ドミナントカラーを表す。ドミナントカラーシステムは、４つの６次元特徴要素及び１つの３次元特徴要素（即ち、色の色要素）を生成する。ドミナントカラーシステムは、候補ドミナントカラーと画像の特定領域内の色との間の差に基づいて、特徴要素を特定する。画像の領域は、画像全体、画像の中心領域、及び画像の注目領域を含むことができる。これらの領域に対応している６次元特徴要素は、差から生成されるヒストグラムである。画像全体についてのヒストグラムを生成する場合に、ドミナントカラーシステムは、候補ドミナントカラーと画像の各色との間の差を算出する。ドミナントカラーシステムは、差に基づいて適当なヒストグラムビンをインクリメントする。ヒストグラムビンは、０と色空間における最大差との間で均等分布されてもよいし、または非線形に分布されてもよい。画像の各色についてのビンをインクリメントした後に、ドミナントカラーシステムは、各ビンに対してそのビンの範囲内にある画像のピクセルの総数の割合を算出し、６次元ヒストグラムの値として該割合を用いる。ドミナントカラーシステムは、同様の方法で注目領域及び中心領域についてのヒストグラムを生成する。中心領域は、画像の中心に近い画像のピクセルの２５パーセントを含むことができる。注目領域は、周知の注目領域（例えば、関心領域）特定技術を用いて特定される領域であってもよい。例えば、非特許文献１を参照されたい。ドミナントカラーシステムは、これらの技術によって、最高スコアを与えられた注目領域を選択することができる。

ドミナントカラーシステムはまた、候補ドミナントカラーの類似色とそれらの類似色の隣接色との間の差に基づいて６次元特徴要素を抽出する。ドミナントカラーシステムは、候補ドミナントカラーに類似している画像の色を特定する。次に、ドミナントカラーシステムは、その類似色と画像の隣接類似色との間の差を算出する。１つの実施形態では、ドミナントカラーシステムは、隣接色を、類似色のピクセルの５×５領域内のピクセルの色であると定義する。ドミナントカラーシステムは、類似色とその隣接色との間の差に基づいて、各類似色についての６次元ヒストグラムを生成する。ドミナントカラーシステムは、ヒストグラムを割合(percentages)に変換する。ドミナントカラーシステムは各類似色についての割合ヒストグラムを生成した後に、全ての類似色の平均割合ヒストグラムを生成し、候補ドミナントカラーについての特徴コンポーネントとしてその平均割合ヒストグラムを用いる。

１つの実施形態において、ドミナントカラーシステムは、上記したようにコレクション画像についての候補ドミナントカラーを特定して候補ドミナントカラーについての特徴を抽出することにより検出器をトレーニングするトレーニングデータを生成する。次に、ドミナントカラーシステムは、各ドミナントカラーに対して、その画像についてのその色のドミナンス指標を入力する。抽出された特徴及びそれらのドミナンス指標は、トレーニングデータを表す。次に、ドミナントカラーシステムは、検出器をトレーニングし、トレーニングデータを用いて画像のドミナントカラーを検出する。ドミナントカラーシステムは、分類器をトレーニングする様々な技術を用いて検出器をトレーニングすることができる。検出器は、アダブースト技術、サポートベクトルマシン技術、ニューラルネットワーク技術等を用いてトレーニングされてもよい。ドミナントカラーシステムは分類器を生成した後に、アプリケーションで用いられて上記のように画像のドミナントカラーを特定することができる。

アダブーストは、例題を有するトレーニングデータの集合に多くのテストを実施する反復プロセスである。アダブーストは、弱い学習アルゴリズム（偶然より僅かに良いだけのレベルで実行するアルゴリズム）を強い学習アルゴリズム（低い誤り率を示すアルゴリズム）に変換する。弱い学習アルゴリズムは、トレーニングデータの異なるサブセットで実行することができる。アルゴリズムは、その先行オペレーションが誤りを示しがちな例題にますます集中する。アルゴリズムは、先行の弱い学習アルゴリズムが犯した誤りを修正する。アルゴリズムは、その先行オペレーションの誤り率に対応するので適応的である。アダブーストは、おおまかでやや不正確な経験則を組み合わせて高性能なアルゴリズムを生成する。アダブーストは、各々別個に実行されたテストの結果を単一の非常に正確な分類器またはランキング機能にまとめる。

サポートベクトルマシンは、可能な入力空間で超平面(hyper surface)を見つけることにより動作する。超平面は、超平面に最も近い肯定例と最も近い否定例との間の距離を最大にすることにより、肯定例題（例えば、データ表用特徴ベクトル）を否定例題（例えば、レイアウト表用特徴ベクトル）と分けようとする。このことは、トレーニングデータと類似であるが同一でないデータの正しい分類を可能にする。様々な技術を、サポートベクトルマシンをトレーニングするために用いることができる。ある技術は、逐次最小最適化アルゴリズムを用いて、大きい二次計画問題を分析的に解決することができる一連の小さい二次計画問題に分解する。（非特許文献２を参照されたし。）

ニューラルネットワークは、３つの主要コンポーネントを有する。即ち、アーキテクチャ、費用関数、及び、検索アルゴリズムである。アーキテクチャは、（ネットワークトポロジ、ユニット接続性、及び、活性化関数の観点から）入力と出力とを関係付ける関数を定義する。重み空間において目的関数を最小にする一組の重みを探索することは、トレーニング過程である。ニューラルネットワークは、探索技術として放射基底関数（「ＲＢＦ」）ネットワーク及び標準傾斜降下を用いることができる。

図１は、１つの実施形態におけるドミナントカラーシステムのコンポーネントを示すブロック図である。ドミナントカラーシステム１００は、画像ストア１１０、検出器１２０、検出器トレーニングコンポーネント１３０、ドミナントカラー特定コンポーネント１４０、及び検出器生成コンポーネント１５０を含む。画像ストアは、トレーニング画像を含み、ドミナントカラーシステムはトレーニング画像からトレーニングデータを生成する。検出器は、検出器生成コンポーネントにより生成されたトレーニングデータを用いて、検出器トレーニングコンポーネントにより生成される。ドミナントカラー特定コンポーネントは、アプリケーションに用いられて画像のドミナントカラーを特定する。検出器生成コンポーネントは、ドミナントカラー特定コンポーネント１６０、候補ドミナントカラー特徴抽出コンポーネント１７０、及びドミナンス指標入力コンポーネント１８０を用いてトレーニングデータを生成する。候補ドミナントカラー特定コンポーネントは、色空間変換コンポーネント１６１、ビンへの色量子化コンポーネント１６２、平均色算出コンポーネント１６３、重み算出コンポーネント１６４、色クラスタリングコンポーネント１６５、及び色フィルタリングコンポーネント１６６を用いて候補ドミナントカラーを特定する。これらの詳細は後述する。候補ドミナントカラーの特徴抽出コンポーネントは、画像の差分布算出コンポーネント１７１、注目領域の差分布算出コンポーネント１７２、中心領域の差分布算出コンポーネント１７３、周囲色との差算出コンポーネント１７４、及び、色コンポーネント選択コンポーネント１７５を用いて特徴を抽出する。これらの詳細は後述する。

ドミナントカラーシステムを実行することができるコンピュータデバイスは、中央処理装置、メモリ、入力装置（例えば、キーボード及びポインティングデバイス）、出力装置（例えば、ディスプレイデバイス）、及び記憶装置（例えば、ディスクドライブ）を含んでいてもよい。メモリ及び記憶装置は、ドミナントカラーシステムを実行する命令及びデータ構造を含むことができるコンピュータ可読媒体である。更に、ドミナントカラーシステムの命令、データ構造、及びモジュールは、通信リンク上の信号などのデータ伝送媒体を介して記憶されてもよいしまたは送信されてもよい。様々な通信リンクを用いて、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、ポイントツーポイントダイヤルアップ接続、携帯電話ネットワーク、その他、などのシステムのコンポーネントを接続することができる。

ドミナントカラーシステムの実施形態は、パーソナルコンピュータ、サーバコンピュータ、マルチプロセッサシステム、マイクロプロセッサベースのシステム、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたは装置のいずれかを含む分散コンピューティング環境、その他を含む様々な動作環境において実行されてもよい。

ドミナントカラーシステムは、１つまたは複数のコンピュータまたは他のデバイスにより実行される、プログラムモジュールなどのコンピュータ実行可能命令の一般的なコンテクストで記述されてもよい。通常、プログラムモジュールは、特定のタスクを実行するかまたは特定の抽象データ型を実行するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、その他を含む。一般的に、プログラムモジュールの機能は、様々な実施形態において、所望のように結合されるかまたは分散されてもよい。例えば、ドミナントカラー特定コンポーネントは、検出器生成コンポーネントを実行するコンピュータシステムと別のコンピュータシステムで実行されてもよい。

図２は、１つの実施形態におけるドミナントカラーシステムの検出器生成コンポーネントの処理を示すフローチャートである。当該コンポーネントは、トレーニング画像を渡されて、画像からトレーニングデータを生成し、検出器をトレーニングして画像のドミナントカラーを検出する。ブロック２０１-２０５において、当該コンポーネントは、ループして各トレーニング画像についてのトレーニングデータを生成する。ブロック２０１において、当該コンポーネントは次のトレーニング画像を選択する。判断ブロック２０２において、全てのトレーニング画像が選択済みである場合、当該コンポーネントはブロック２０６に続き、そうでなければ、当該コンポーネントはブロック２０３に続く。ブロック２０３において、当該コンポーネントは、候補ドミナントカラー特定コンポーネントを呼び出し、選択された画像についての候補ドミナントカラーを特定する。ブロック２０４において、当該コンポーネントは、候補ドミナントカラー特徴抽出コンポーネントを呼び出し、選択された画像の候補ドミナントカラーの特徴を抽出する。ブロック２０５において、当該コンポーネントは、選択された画像の候補ドミナントカラーのドミナンス指標を入力し、次にブロック２０１にループして次のトレーニング画像を選択する。ブロック２０６において、当該コンポーネントは、抽出された特徴及びドミナンス指標を用いて検出器をトレーニングして、終了する。

図３は、１つの実施形態におけるドミナントカラーシステムの候補ドミナントカラー特定コンポーネントの処理を示すフローチャートである。当該コンポーネントは、画像を渡されて、画像の候補ドミナントカラーを特定する。ブロック３０１において、当該コンポーネントは、色空間変換コンポーネントを呼び出して渡された画像の色を適当な色空間に変換する。当業者は、これが任意のステップであるということを理解するだろう。ドミナントカラーシステムは、差が知覚的な差を表すように任意の色空間及びその色空間についての適当な差メトリックを用いることができる。ブロック３０２において、当該コンポーネントは、ビンへの色量子化コンポーネントを呼び出して、渡された画像の色をビンに量子化する。ブロック３０３において、当該コンポーネントは、平均色算出コンポーネントを呼び出して、各ビンについての代表色を算出する。ブロック３０４において、当該コンポーネントは、重み算出コンポーネントを呼び出して、各ビンまたは代表色についての重みを算出する。ブロック３０５において、当該コンポーネントは、色クラスタリングコンポーネントを呼び出して、代表色をクラスタリングする。ブロック３０６において、当該コンポーネントは、色フィルタリングコンポーネントを呼び出して、その重みが低すぎる代表色をフィルタリングする。次に、当該コンポーネントは、候補ドミナントカラーとしてろ過されなかった代表色に戻る。

図４は、１つの実施形態におけるドミナントカラーシステムの色空間変換コンポーネントの処理を示すフローチャートである。当該コンポーネントは、ＲＧＢ色空間の色を有する画像を渡されて、色をＣＩＥ Ｌ＊ａ＊ｂ色空間に変換する。ブロック４０１において、当該コンポーネントは、渡された画像の次のピクセルを選択する。判断ブロック４０２において、全てのピクセルが選択済みの場合、当該コンポーネントは戻り、そうでなければ、当該コンポーネントはブロック４０３に続く。ブロック４０３において、当該コンポーネントは、ＲＧＢ色の要素をＣＩＥ Ｌ＊ａ＊ｂ色の対応する要素に変換する。次に、コンポーネントは、ブロック４０１にループして渡された画像の次のピクセルを選択する。

図５は、１つの実施形態におけるドミナントカラーシステムのビンへの色量子化コンポーネントの処理を示すフローチャートである。当該コンポーネントは、画像を渡されて、画像の色を含むビンに戻る。ブロック５０１において、当該コンポーネントは渡された画像の次のピクセルを選択する。判断ブロック５０２において、渡された画像の全てのピクセルが選択済みの場合、当該コンポーネントはビンに戻り、そうでなければ、当該コンポーネントはブロック５０３に続く。ブロック５０３-５０５において、当該コンポーネントは、ビンの閾値に基づいて選択されたピクセルの色の要素を量子化する。ブロック５０６において、当該コンポーネントは、量子化された要素によって特定されるビンに、選択されたピクセルの色を加える。次に、当該コンポーネントは、ブロック５０１にループして、渡された画像の次のピクセルを選択する。

図６は、１つの実施形態におけるドミナントカラーシステムの平均色算出コンポーネントの処理を示すフローチャートである。当該コンポーネントは、ループして画像の色を含んでいるビンを渡される。当該コンポーネントは、各ビンの平均色及び各ビンの色数のカウントを算出する。ブロック６０１において、当該コンポーネントは次のビンを選択する。判断ブロック６０２において、全てのビンが選択済みの場合、当該コンポーネントは代表色として平均色に戻り、そうでなければ、当該コンポーネントはブロック６０３に続く。ブロック６０３において、当該コンポーネントは、選択されたビンについての色の各要素についての現在の総数を初期化する。ブロック６０７において、当該コンポーネントは、選択されたビンの色数のカウントを初期化する。ブロック６０８-６１３において、当該コンポーネントは、選択されたビン内の各要素についての値の合計を累積する。ブロック６０８において、当該コンポーネントは、選択されたビンの次の色を選択する。判断ブロック６０９において、選択されたビンの全ての色が選択済みの場合、当該コンポーネントはブロック６１４に続き、そうでなければ、当該コンポーネントはブロック６１０に続く。ブロック６１０-６１２において、当該コンポーネントは、選択された色の要素値によって、要素値の合計をインクリメントする。ブロック６１３において、当該コンポーネントは、選択されたビンの色数のカウントをインクリメントし、次にブロック６０８にループして選択されたビンの次の色を選択する。ブロック６１４-６１６において、当該コンポーネントは、選択されたビンの平均色の各要素の平均値を算出する。次に、当該コンポーネントは、ブロック６０１にループして次のビンを選択する。

図７は、１つの実施形態におけるドミナントカラーシステムの重み算出コンポーネントの処理を示すフローチャートである。当該コンポーネントは、ビンを渡されて、ピクセルの総数に対するそのビン内の色の割合としてビンの重みを算出する。ブロック７０１において、当該コンポーネントは次のビンを選択する。判断ブロック７０２において、全てのビンが選択済みの場合、当該コンポーネントは戻り、そうでなければ当該コンポーネントはブロック７０３に続く。ブロック７０３において、当該コンポーネントは、選択されたビンについての重みを算出し、ブロック７０１にループして次のビンを選択する。

図８は、１つの実施形態おけるドミナントカラーシステムの色クラスタリングコンポーネントの処理を示すフローチャートである。当該コンポーネントは、代表色及び代表色の重みを渡されて、混合色及び組み合わせ重みによって表される類似色のクラスタを生成する。ブロック８０１において、当該コンポーネントは、各代表色についての最初のクラスタを生成し、色の重みにクラスタの重みを設定する。ブロック８０２において、当該コンポーネントは、最小差を有するクラスタの代表色を選択する。判断ブロック８０３において、最小差が閾値より大きい場合、当該コンポーネントは、候補ドミナントカラーと特定された、クラスタの代表色に戻り、そうでなければ、当該コンポーネントはブロック８０４に続く。ブロック８０４において、当該コンポーネントは選択された色を混合する。ブロック８０５において、当該コンポーネントは選択された色の重みを組み合わせる。ブロック８０６において、当該コンポーネントは、クラスタとして選択された色を放棄して、混合色及び重みを有する新しいクラスタを生成する。次に、コンポーネントは、ブロック８０２にループして、次の色を選択する。

図９は、１つの実施形態におけるドミナントカラーシステムの色フィルタリングコンポーネントの処理を示すフローチャートである。当該コンポーネントは、候補ドミナントカラーを渡され、重みが低すぎる候補ドミナントカラーをフィルタリングする。ブロック９０１において、当該コンポーネントは次の候補ドミナントカラーを選択する。判断ブロック９０２において、全ての候補ドミナントカラーが選択済みの場合、当該コンポーネントは戻り、そうでなければ、当該コンポーネントはブロック９０３に続く。判断ブロック９０３において、選択された候補カラーの重みが閾値未満の場合、当該コンポーネントはブロック９０４に続き、そうでなければ、当該コンポーネントはブロック９０１に戻って次の候補ドミナントカラーを選択する。ブロック９０４において、当該コンポーネントは、選択された候補ドミナントカラーを破棄して、ブロック９０１にループして次の候補ドミナントカラーを選択する。

図１０は、１つの実施形態におけるドミナントカラーシステムの候補ドミナントカラー特徴抽出コンポーネントの処理を示すフローチャートである。当該コンポーネントは画像及び候補ドミナントカラーを渡され、候補ドミナントカラーについての２７要素の特徴ベクトルを生成する。２７要素の特徴ベクトルは、４つの６次元ヒストグラム及び３つの色の要素を含む。ブロック１００１において、当該コンポーネントは、画像の差分布算出コンポーネントを呼び出し、候補ドミナントカラーと渡された画像全体の色との間の差に基づいてヒストグラムを生成する。ブロック１００２において、当該コンポーネントは、注目領域の差分布算出コンポーネントを呼び出し、候補ドミナントカラーと渡された画像の注目領域の色との間の差に基づいてヒストグラムを生成する。ブロック１００３において、当該コンポーネントは、中心領域の差分布算出コンポーネントを呼び出し、候補ドミナントカラーと渡された画像の中心領域の色との間の差に基づいてヒストグラムを生成する。ブロック１００４において、当該コンポーネントは、周囲色との差算出コンポーネントを呼び出し、候補ドミナントカラーに類似する色と隣接色との間の差を表すヒストグラムを生成する。ブロック１００５において、当該コンポーネントは、特徴要素として各色要素を選択する。次に、当該コンポーネントは、特徴ベクトルに戻る。

図１１は、１つの実施形態におけるドミナントカラーシステムの画像の差分布算出コンポーネントの処理を示すフローチャートである。当該コンポーネントは、画像及び候補ドミナントカラーを渡され、渡された画像全体の色と渡された候補ドミナントカラーとの間の差分布に基づいてヒストグラムを生成する。ブロック１１０１において、当該コンポーネントは渡された画像の次のピクセルを選択する。判断ブロック１１０２において、全てのピクセルが選択済みの場合、当該コンポーネントはブロック１１０５に続き、そうでなければ、当該コンポーネントはブロック１１０３に続く。ブロック１１０３において、当該コンポーネントは、選択されたピクセルの色と渡された候補ドミナントカラーとの間の差を算出する。ブロック１１０４において、当該コンポーネントは、算出された差に付随するヒストグラムビンをインクリメントし、次にブロック１１０１に戻って、渡された画像の次のピクセルを選択する。ブロック１１０５において、当該コンポーネントは、ヒストグラムビンの各々についての割合を算出する。次に、当該コンポーネントは、生成されたヒストグラムとして割合に戻る。注目領域の差分布算出コンポーネントと中心領域の差分布算出コンポーネントとは、分けて示されていないが、それらが注目領域及び中心領域を特定し、全体の画像よりはむしろそれらの領域に基づいてヒストグラムを生成するということを除いては、同様の方法で動作する。

図１２は、１つの実施形態におけるドミナントカラーシステムの周辺色との差算出コンポーネントの処理を示すフローチャートである。当該コンポーネントは、画像及び候補ドミナントカラーを渡されて、その色についてのヒストグラムを生成する。ブロック１２０１において、当該コンポーネントは、渡された画像の次のピクセルを選択する。判断ブロック１２０２において、全てのピクセルが選択済みの場合、当該コンポーネントはブロック１２１０に続き、そうでなければ、当該コンポーネントはブロック１２０３に続く。ブロック１２０３において、当該コンポーネントは、選択されたピクセルの色と渡された候補ドミナントカラーとの間の色差を算出する。判断ブロック１２０４において、差が閾値に満たない場合、色は渡された候補ドミナントカラーと類似しておらず、当該コンポーネントはブロック１２０１にループして次のピクセルを選択する。そうでなければ、当該コンポーネントはブロック１２０５に続く。ブロック１２０５-１２０８において、当該コンポーネントは、ループして選択されたピクセルの色と隣接ピクセルの色との間の差についてのヒストグラムビン内のカウントを生成する。ブロック１２０５において、当該コンポーネントは次の隣接ピクセルを選択する。判断ブロック１２０６において、全ての隣接ピクセルが選択済みの場合、当該コンポーネントはブロック１２０９に続き、そうでなければ、当該コンポーネントはブロック１２０７に続く。ブロック１２０７において、当該コンポーネントは、選択されたピクセルの色と選択された隣接ピクセルの色との間の差を算出する。ブロック１２０８において、当該コンポーネントは、算出された差に基づいてヒストグラムの適当なビンをインクリメントする。次に、当該コンポーネントは、ブロック１２０５にループして選択されたピクセルの次の隣接ピクセルを選択する。ブロック１２０９において、当該コンポーネントは、ヒストグラムビンについての割合を算出し、次に、ブロック１２０１にループして渡された画像の次のピクセルを選択する。ブロック１２１０において、当該コンポーネントは、類似するピクセルの各々に対して生成されたヒストグラムビンの割合の平均を算出する。次に、当該コンポーネントは、平均ヒストグラムビンに戻る。

図１３は、１つの実施形態におけるドミナントカラーシステムのドミナントカラー特定コンポーネントの処理を示すフローチャートである。このコンポーネントは、アプリケーションによって呼び出されて画像のドミナントカラーを決定する。当該コンポーネントは、ターゲット画像を渡されて、ドミナントカラーに戻る。ブロック１３０１において、当該コンポーネントは、候補ドミナントカラー特定コンポーネントを呼び出し、ターゲット画像の候補ドミナントカラーを特定する。ブロック１３０２において、当該コンポーネントは、候補ドミナントカラー特徴抽出コンポーネントを呼び出して、各候補ドミナントカラーについての特徴を抽出する。ブロック１３０３において、当該コンポーネントは、各候補ドミナントカラーに対してドミナントカラーシステムによって生成された検出器を呼び出す。当該コンポーネントは、各候補ドミナントカラーの特徴を渡して、代わりに候補ドミナントカラーのドミナンスを示すスコアを受け取る。ブロック１３０４において、当該コンポーネントは、最高スコアを有する候補ドミナントカラーを選択して、渡されたターゲット画像のドミナントカラーとしてその色に戻る。

本発明は、構造上の特徴及び／または方法論的動作に特有の言語で説明されてきたが、添付の請求の範囲において画定される発明は、必ずしも上記した特定の特徴または動作に限定されるわけではないと理解されなければならない。むしろ、上記した特定の特徴及び動作は、請求の範囲を実施する例の形で開示されている。ドミナントカラーシステムは、映像フレームまたは一連の映像フレームから、写真から、コンピュータグラフィックス等から求められる画像のドミナントカラーを特定するために用いられ得る。従って、本発明は、請求の範囲以外によっては限定されない。

Claims (20)

1. コンピュータシステムにおいて画像のドミナントカラーを検出する検出器を生成する方法であって、
   トレーニング画像の集合を準備するステップ（１１０）と、
   各トレーニング画像に対して、前記トレーニング画像の候補ドミナントカラーを特定するステップ（１６０）と、
   各トレーニング画像に対して、前記トレーニング画像の前記候補ドミナントカラーの特徴を抽出するステップ（１７０）と、
   前記候補ドミナントカラーについてのドミナンス指標を前記トレーニング画像に入力するステップ（１８０）と、
   前記候補ドミナントカラーの前記抽出された特徴及び前記ドミナンス指標を用いて前記画像のドミナントカラーを検出する検出器をトレーニングするステップ（１３０）と、
   を含むことを特徴とする方法。
2. ターゲット画像の候補ドミナントカラーを特定するステップと、
   前記ターゲット画像の前記候補ドミナントカラーの特徴を抽出するステップと、
   前記ターゲット画像の前記抽出された特徴に対して前記検出器を適用することによって前記ターゲット画像のドミナントカラーを検出するステップと、
   を含むことを特徴とする請求項１に記載の方法。
3. 前記トレーニング画像の候補ドミナントカラーを特定するステップは、
   前記トレーニング画像の前記色をビンに量子化するステップと、
   前記ビンの平均色を算出するステップと、
   前記ビンの重みを算出するステップと、
   前記ビンの重みを考慮した前記ビンの前記平均色をクラスタリングするステップであって、前記クラスタリングされた平均色は前記候補ドミナントカラーを表すステップと、
   を含むことを特徴とする請求項１に記載の方法。
4. 前記クラスタリングされた平均色をそれらの重みに基づいてフィルタリングするステップを含むことを特徴とする請求項３に記載の方法。
5. 前記クラスタリングするステップは、その差が最も小さい一対の色に対して混合色を逐次生成するステップを含むことを特徴とする請求項３に記載の方法。
6. 前記混合色は、前記一対の色の重み付けされた混合色であり、前記一対の色の前記重みから求められた組み合わせ重みを有することを特徴とする請求項５に記載の方法。
7. 前記トレーニング画像の前記候補ドミナントカラーの特徴を抽出するステップは、候補ドミナントカラーと前記トレーニング画像の色との間の差に基づいて特徴を抽出するステップを含むことを特徴とする請求項１に記載の方法。
8. 前記差は、領域全体、中心領域、及び注目領域からなるグループから選択される、前記トレーニング画像のうちの１つの領域に基づいていることを特徴とする請求項７に記載の方法。
9. 前記トレーニング画像の前記候補ドミナントカラーの特徴を抽出するステップは、候補ドミナントカラーに類似している前記トレーニング画像の類似色と前記類似色を有するピクセルの隣接ピクセルの色との間の差に基づいて特徴を抽出するステップを含むことを特徴とする請求項１に記載の方法。
10. 前記トレーニング画像の候補ドミナントカラーを特定するステップは、
    前記トレーニング画像の前記色をビンに量子化するステップと、
    前記ビンの平均色を算出するステップと、
    前記ビンの重みを算出するステップと、
    前記ビンの前記重みを考慮した前記ビンの前記平均色をクラスタリングするステップであって、前記クラスタリングした平均色は前記候補ドミナントカラーを表すステップと、
    を含み、
    前記トレーニング画像の前記候補ドミナントカラーの特徴を抽出するステップは、候補ドミナントカラーと前記トレーニング画像の色との間の差に基づいて特徴を抽出するステップを含む請求項１に記載の方法であって、
    さらに、
    ターゲット画像の候補ドミナントカラーを特定するステップと、
    前記ターゲット画像の特徴を抽出するステップと、
    前記ターゲット画像の前記抽出された特徴に対して前記検出器を適用することによって前記ターゲット画像のドミナントカラーを検出するステップと、
    を含むことを特徴とする方法。
11. 画像のドミナントカラーを検出する検出器を生成するコンピュータシステムであって、
    画像の候補ドミナントカラーを特定する候補ドミナントカラー特定コンポーネント（１６０）と、
    画像の候補ドミナントカラーの特徴を抽出する候補ドミナントカラー特徴抽出コンポーネント（１７０）と、
    特定された候補ドミナントカラーのドミナンス指標を入力するドミナンス指標入力コンポーネント（１８０）と、
    トレーニング画像の候補ドミナントカラーに対する抽出された特徴及び前記トレーニング画像の前記候補ドミナントカラーのドミナンス指標を用いて画像のドミナントカラーを検出する検出器をトレーニングするトレーニングコンポーネント（１３０）と、
    を備えるコンピュータシステム。
12. 前記トレーニングコンポーネントは、前記トレーニング画像の候補ドミナントカラーを特定する前記候補ドミナントカラー特定コンポーネントと、前記トレーニング画像の前記候補ドミナントカラーの特徴を抽出する前記候補ドミナントカラー特徴抽出コンポーネントと、前記トレーニング画像の前記候補ドミナントカラーの前記ドミナンス指標を入力する前記ドミナンス指標入力コンポーネントと、を用いることを特徴とする請求項１１に記載のコンピュータシステム。
13. ターゲット画像の前記抽出された特徴に前記検出器を適用してすることによってターゲット画像のドミナントカラーを特定するドミナントカラー特定コンポーネントを含むことを特徴とする請求項１１に記載のコンピュータシステム。
14. 前記ターゲット画像の候補ドミナントカラーを特定する候補ドミナントカラー特定コンポーネントと、
    前記ターゲット画像の候補ドミナントカラーの特徴を抽出する候補ドミナントカラー特徴抽出コンポーネントと、
    前記ターゲット画像の前記候補ドミナントカラーの抽出された前記特徴を用いて前記ターゲット画像のドミナントカラーを検出する前記検出器と、
    を用いてターゲット画像のドミナントカラーを特定するドミナントカラー特定コンポーネント、
    を含むことを特徴とする請求項１１に記載のコンピュータシステム。
15. 前記候補ドミナントカラー特定コンポーネントは、
    前記トレーニング画像の前記色をビンに量子化し、
    前記ビンの平均色を算出し、
    前記ビンの前記平均色をクラスタリングし、
    前記クラスタリングされた平均色は前記候補ドミナントカラーを表す、
    ことを特徴とする請求項１１に記載のコンピュータシステム。
16. 前記候補ドミナントカラー抽出コンポーネントは、前記候補ドミナントカラーと前記トレーニング画像の色との間の差に基づいて特徴を抽出することを特徴とする請求項１１に記載のコンピュータシステム。
17. 前記差は、領域全体、中心領域、及び注目領域からなるグループから選択される、前記トレーニング画像のうちの１つの領域に基づいていることを特徴とする請求項１１に記載のコンピュータシステム。
18. 下記の方法を用いてターゲット画像のドミナントカラーを特定するコンピュータシステムを制御する命令を含むコンピュータ可読媒体であって、
    前記方法は、
    前記ターゲット画像の候補ドミナントカラーを特定するステップ（１６０）と、
    前記ターゲット画像の前記候補ドミナントカラーの特徴を抽出するステップ（１７０）と、
    前記候補ドミナントカラーの前記抽出された特徴に対して前記検出器を適用することによって前記ターゲット画像のドミナントカラーを検出するステップ（１２０）と、
    を含み、
    前記検出器は、
    トレーニング画像の候補ドミナントカラーを特定するステップと、
    前記トレーニング画像の前記候補ドミナントカラーの特徴を抽出するステップと、
    前記トレーニング画像の前記候補ドミナントカラーのドミナンス指標を受け取るステップと、
    前記トレーニング画像の前記抽出された特徴及び前記候補ドミナントカラーのドミナンス指標を用いて画像のドミナントカラーを検出する前記検出器をトレーニングするステップと、によって生成される、
    ことを特徴とするコンピュータ可読媒体。
19. 前記候補ドミナントカラーを特定するステップは、画像の類似色をクラスタリングするステップを含むことを特徴とする請求項１８記載のコンピュータ可読媒体。
20. 前記候補ドミナントカラーの前記特徴を抽出するステップは、候補ドミナントカラーと画像の色との間の差に基づいて特徴を抽出するステップを含むことを特徴とする請求項１９記載のコンピュータ可読媒体。

Images