JP2006244462A - 有用画像を検出して有用度順に画像をランク付けする方法、システム、装置および画像をランク付けするプログラム - Google Patents

Abstract

【課題】有用画像を検出して有用度順に画像をランク付けする方法、システム、装置および画像をランク付けするプログラムを提供する。
【解決手段】本発明は、有用画像を検出して有用度順に画像をランク付けする方法、システム、装置および画像をランク付けするプログラムである。本発明は、所与のセットの画像において画像ごとにヴィネットスコアを演算し、ヴィネットスコアは、無特徴または非強調の背景によって囲まれた中心オブジェクトに画像がどの位近く類似しているかを示す。
【選択図】図２

Description

本発明は、自動メディア解析の分野において、画像を編成しランク付けするシステム及び方法に係り、より詳細には、有用な画像を検出し、「ヴィネット」すなわち無特徴または重視されない背景によって囲まれた中心オブジェクトまたは画像にそれぞれどの程度近く類似しているかに基づいた有用度順に、これらの画像を、ランク付けするシステム及び方法に関する。一つのアプリケーションは、画像、ビデオまたは動画データに作用するコンピュータインターフェースまたはプログラムである。本発明は、さらに詳細には、有用画像を検出して有用度順に画像をランク付けする方法、有用画像を検出して有用度順に画像をランク付けするシステム、有用画像を検出して有用度順に画像をランク付けする装置および画像をランク付けするプログラムに関する。

インターネット検索、ドキュメント検索などを介して得られるテキストの処理に関する技術は急速に発達してきた。任意の所望されるテキストストリングを見つけるためにキーストロークをタッチしたりボタンを押したりすることによって、テキストを容易に検索できる。一つの検索分野に基づく優先順にソートされるテキストは、次に、第２の検索によって再ソートされ、以下同様にソートされる。ソートの可能性は事実上無制限である。

画像のソート及び画像のランク付けに関する技術は急速といえるほどには進歩していない。これは、英数字ベースのテキストストリングと画像との基本的な差によって、及びテキストベースコンピュータによるテキストストリングに関する適切な検索戦略の考案がより容易であることによって、理解可能な部分もある。それでもなお、特定のタスクには相当な障害が課される。初期の技術は、特定のテキストストリングによって記述された画像を検出するためにサーチエンジンの使用を可能にすべく開発された。しかしながら、このような検索によって結果的に所望されない画像が検出され得ることはよくある。所望されない画像は、さまざまな理由により所望されない。一つの基準的アイテムに焦点を合わせたい時、これらの所望されない画像には、他の目障りなエレメントがあまりにも多く含まれているかもしれない。目視者にとって視認の妨げとなるほど、前景と背景とのコントラストがたいへん低いかもしれない。これらの所望されない画像は十分明確でないかもしれないし、十分情報を提供しないかもしれない。

コンピュータヴィジョンに関する文献は存在するが、大部分の研究は、低レベルの特徴（エッジ、テクスチャ境界など）の検出または高レベルのセマンティクス（意味論）（顔、前景及び／または背景など）の検出に焦点を合わせている。本願発明は、画像分類統計モデルによるビデオセグメンテーション、分類、検索について記載する特許文献１、ビデオのキーフレームベースユーザインタフェースについて記載する非特許文献１、変換係数によるビデオ分類について記載する非特許文献２などに関連する。
米国特許第６７５１３５４ Ｂ２号明細書 Ａ．ギルゲンゾーン(A. Girgensohn)、Ｊ．ボレッキー(J. Boreczky)、Ｌ．ウィルコックス(L. Wilcox)、「ディジタルビデオのキーフレームベースユーザインタフェース(Keyframe-based user interfaces for digital video)」、ＩＥＥＥコンピュータ(IEEE Computer)、２００１年９月、頁６１〜６７ Ａ．ギルゲンゾーン(A. Girgensohn)、Ｊ．フーテ(J. Foote)、「変換係数によるビデオ分類(Video classification using transform coefficients)」、音響・音声・信号処理国際会議予稿集(Proc. of the International Conference of Acoustics, Speech, and Signal Processing)、（アリゾナ州フェニックス）、１９９９年、第６巻、頁３０４５〜３０４８

上記課題に鑑み、有用画像を検出して有用度順に画像をランク付けするシステム及び方法を開発することが望ましい。

本発明の実施の形態は、有用な画像を検出し、ヴィネットスコアに基づいた有用度順にこれらの画像をランク付けするシステム及び方法を提供する。ヴィネットスコアは、ヴィネット画像に、すなわち、中心オブジェクトやブランクまたは低コントラストの背景の中心に置かれた画像に、各画像がどの程度近く類似しているかを表現する。「ヴィネット」画像は、少なくともある状況においては、ノンヴィネットより有用であり、より「アイコン」的であるとみなされる。本発明の実施の形態は、このクラスの有用な画像を検出し、ヴィネットに（各メンバが）どの程度近く類似しているかに基づいて（各メンバが）どのくらい有用かを評価するヴィネットスコアに応じて画像のグループの各メンバをランク付けする方法を提供する。所望されれば、ヴィネットスコアは、スケーリングされ、正規化され、及び／または、閾値処理され得る。しかしながら、任意の所与のアプリケーションにおいて、スコアは、主として、他のヴィネットに相対するそれらのスコアに応じて画像をランク付けするために使用されるので、ヴィネットスコアのスケーリング、正規化、及び／または、閾値処理は必要ではない。所与の方法及び所与のセットの画像について、ヴィネットスコアの順番は、スケーリング、正規化、及び／又は閾値処理によって変化しない。

画像のヴィネットスコアを決定するいくつかの方法が例として開示されている。これらの方法は、三つの主要なクラス、すなわち、分散比解析、統計モデル解析、及び空間周波数解析に分けられる。

分散比解析は、画像のエッジ領域と全体画像との間の分散比の計算を伴う。分散比は、高スコアを有する画像がヴィネットとなる傾向が高くなるように、ヴィネットスコアによって画像をランク付けするために使用され得る。ヴィネットスコアは、中心により近い領域から外部領域までの画像の重み付けされた分散比を計算することによって演算され得る。ここで、重み付けは、境界からの距離に基づいて行われる。以下に二つの実験について説明される。

統計モデル解析は、ヴィネットとして定義付けられる画像及びノンヴィネットとして定義付けられる画像からなる予め入力されたトレーニングデータに基づいて各画像クラスの統計モデルを決定することが可能な統計分類子を生成することを伴う。ヴィネットＶとノンヴィネットＮＶとのモデルとしてそれぞれ作用するこれらの統計分類子によれば、未知の画像が各モデルによって生成される尤度が決定され、次に、尤度比がヴィネットスコアの他の推定値として作用する。統計分類子の例として、ガウス混合モデル、線形分類子、及びサポートベクトルマシン（ＳＶＭ）が挙げられる。これらは、以下の実施に関するセクションでより詳細に説明される。

ガウスモデルは未知のデータを分類する有用な手段である。この方法において、ガウスモデルは、このクラスのトレーニングデータセットから、平均値と共分散値とを計算することによって、識別すべきクラスごとに決定される。クラスが所与のデータポイントを生成した確率が計算されてもよく、最も高い尤度を有する未知のデータポイントを生成したクラスモデルが、未知のデータのクラスであるとして指定される。平均値、共分散値、及び周知の期待値最大化（ＥＭ）アルゴリズムによって求められた混合重みによって、いくつかのガウス関数の重み付けされた和としての各クラスの尤度をモデリングすることによって、単一のガウスモデルは、ガウス混合モデルに拡張され得る。ガウス混合モデルは、マルチモード分散、即ち、一つ以上のピーク値を有するデータのモデリングに、より適している。ガウス混合モデルは、単一混合重み１を有する上記のような単一ガウスモデルを含む。ガウス混合モデルは、２クラスのデータを有し、どのクラスにアイテムが当てはまりそうかを判断したい場合にとられることができる有用な分類策である。各クラスのデータの分散は、適切な平均値、共分散値、及び混合重みによってガウス分散の混合としてモデリングされる。

線形分類子は、異なるクラスメンバーシップを有する２セットのデータを分離することが可能な決定ハイパープレーンを作成する。決定ハイパープレーンは、異なるクラスメンバーシップを有する２セットのデータを分離するものである。しかしながら、大部分の分類タスクはあまりシンプルではなく、最適な分離を行うためにはより複雑な構造が必要とされる場合が多い。

線形分類子がパワー不足であるようなより複雑なケースでは、サポートベクトルマシン（ＳＶＭ）を利用することができる。ＳＶＭは、決定ハイパープレーンを使用して境界のいずれの側に画像が存在するかを容易に判断することができる高次元空間に、データを投影する。これによって、ＳＶＭは、関心を有する複数のグループ（この場合、Ｖ及びＮＶ）にデータセットを分割することができる。

更に他のアプローチは異なる空間周波数においてエネルギを試験する。離散コサイン変換（ＤＣＴ）または同様の線形離散変換（例えば、離散フーリエ変換またはアダマール変換またはウェーブレット変換又は他の線形離散変換）を実行することによって、異なる空間周波数でのエネルギは任意の特定の領域において推定可能である。一つの実施の形態において、異なる空間周波数のエネルギは、中心領域、エッジ領域、及び全体画像において推測される。ヴィネットスコアは、エッジ領域の中間周波数エネルギの全体画像の中間周波数に対する比率として計算される。これには、（例えば、ソフトフォーカス水平ラインによる）低周波数による分散及び（テクスチャ、量子化又は他のノイズ処理からの）高周波数による分散を無視することができ、これによって、より信頼度の高いヴィネット測定が得られるという利点がある。

中間周波数エネルギは、画像を完全に再構築することを必要とせずに、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）符号化画像から効率的に計算され得る。ＪＰＥＧ画像は、マクロブロック、すなわち、８×８または１６×１６のノンオーバーラップ領域として符号化される。各マクロブロックの主要な周波数成分がＤＣＴ解析により決定され、その後、符号化される。マクロブロックの周期は、マクロブロックの大きさである。マクロブロックの周期より低い周波数におけるエネルギは、明示的に符号化されない。あるエリアのマクロブロックに対する中間周波数のＪＰＥＧ係数の平均化によって、そのエリアの中間周波数エネルギの推定値が得られる。これは、中心領域と全体画像内のマクロブロックに対して容易に行われ、その比率がヴィネットスコアとして作用する。大きな画像集合の場合において、この方法は、各画像を完全に再構築し分散比を計算するより効率的である。

空間周波数解析を実施するために必要とされることは、いくつかの簡単なステップである。画像は、おそらくは四角いブロックを用いることによって、エッジと中央領域とにさらに分割される。線形離散変換は、ＤＣＴ、離散フーリエ変換、アダマール変換、ウェーブレット変換、または他の線形の離散変換を用いて各ブロック上で実行される。結果として、本質的にブロックごとの周波数係数である変換係数のアレイが得られる。次のステップとしては、中間周波数バンドのエネルギが中間バンドの周波数係数の振幅または振幅の二乗（エネルギ）を合計することによってブロックごとに推定される。得られた振幅は、エッジ領域と全体画像とのそれぞれが別個に合計され、それらの関連エリアに応じて正規化される。次に、エッジ領域の中間周波数エネルギの全体画像の中間周波数エネルギに対する比率に基づいて、ヴィネットスコアを計算することができる。周波数成分がＪＰＥＧコード化されたマクロブロックから得られた場合は、周波数ドメインから空間ドメインに戻す変換をすることなく、ヴィネットスコア計算を実行することができる。

本発明の第１の態様は、有用画像を検出して有用度順に画像をランク付けする方法であって、ａ）所与のセットの画像において画像ごとにヴィネットスコアを演算するステップ、を含み、ヴィネットスコアは、無特徴または非強調の背景によって囲まれた中心オブジェクトに画像がどの位近く類似しているかを示す。

本発明の第２の態様は、第１の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、ｂ）各画像のヴィネットスコアに応じた数値評定によって前記画像をランク付けするステップをさらに含む。

本発明の第３の態様は、第１の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、ａ）が、所与のセットの静止画像において静止画像ごとにヴィネットスコアを演算することを含む。

本発明の第４の態様は、第１の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、ａ）が、所与のセットのビデオフレームにおいてビデオフレームごとにヴィネットスコアを演算することを含む。

本発明の第５の態様は、第４の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、当該方法が、ビデオデータベースに含まれるビデオフレームに適用される。

本発明の第６の態様は、第１の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、ａ）が、所与のセットの動画フレーム中の動画フレームごとにヴィネットスコアを演算することを含む。

本発明の第７の態様は、第１の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、ｃ）各画像の数値評定に基づいて一以上の最も代表的な画像として一以上の画像を選択するステップをさらに含む。

本発明の第８の態様は、第７の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、ａ）が、所与のセットのビデオフレームにおいてビデオフレームごとにヴィネットスコアを演算することを含む。

本発明の第９の態様は、第７の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、ａ）が、所与のセットの動画フレームにおいて動画フレームごとにヴィネットスコアを演算することを含む。

本発明の第１０の態様は、第１の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、ａ）が、所与のセットの画像においてインターネット検索で得られた画像ごとにヴィネットスコアを演算することを含み、前記画像のセットにおける各画像が、１）インターネット検索で得られるか、または、２）ストック画像の集合から選択される。

本発明の第１１の態様は、第１の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、当該方法がメディアオーガナイザまたはビデオデータベースに含まれる画像に適用される。

本発明の第１２の態様は、第１の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、各画像に対する前記ヴィネットスコアが、画像のエッジ領域と全体画像との間の分散比率を求めることによって演算される。

本発明の第１３の態様は、第１の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、各画像に対するヴィネットスコアが、中心近傍領域から外部領域への画像の分散の重み付け比を計算することによって演算され、前記重み付けが、境界からの距離に基づいて行われる。

本発明の第１４の態様は、第１の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、各画像に対する前記ヴィネットスコアが、ヴィネットとして定義付けられた画像とノンヴィネットとして定義付けられた画像とを含む予め入力されているトレーニングデータに基づいて各画像クラスの統計モデルを決定することが可能な、統計分類子を用いることによって演算される。

本発明の第１５の態様は、第１４の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、前記統計分類子がガウス混合モデルである。

本発明の第１６の態様は、第１４の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、前記統計分類子がサポートベクトルマシンである。

本発明の第１７の態様は、第１の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、空間周波数解析を実行し、エッジ領域の中間周波数エネルギと全体画像の中間周波数との比率を計算することによって、各画像に対するヴィネットスコアが演算される。

本発明の第１８の態様は、第１７の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、前記空間周波数解析が、ＪＰＥＧ係数を用いた直接演算を含む。

本発明の第１９の態様は、第１７の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、実行される空間周波数解析が線形離散変換である。

本発明の第２０の態様は、第１９の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、前記線形離散変換が、離散コサイン変換（ＤＣＴ）、離散フーリエ変換、アダマール変換、及びウェーブレット変換のいずれか一である。

本発明の第２１の態様は、有用画像を検出して有用度順に画像をランク付けする方法であって、ａ）所与のセットの画像において画像ごとにヴィネットスコアを演算するステップと、ｂ）各画像のヴィネットスコアに応じた数値評定によって前記画像をランク付けするステップと、ｃ）各画像の数値評定に基づいて一以上の最も代表的な画像として一以上の画像を選択するステップと、を含み、ヴィネットスコアは、無特徴または非強調の背景によって囲まれた中心オブジェクトに画像がどの位近く類似しているかを示す。

本発明の第２２の態様は、第２１の態様の有用画像を検出して有用度順に画像をランク付けする方法であって、ｄ）一以上の前記最も代表的な画像を含むアイコンを作成するステップをさらに含む。

本発明の第２３の態様は、有用画像を検出して有用度順に画像をランク付けするシステムであって、ａ）所与のセットの画像において画像ごとにヴィネットスコアを演算することができ、各画像のヴィネットスコアに応じて画像を数値的にランク付けすることができる、一以上のプロセッサと、ｂ）一以上の前記プロセッサによって処理される時、所与のセットの画像において画像ごとにヴィネットスコアを演算するステップと、各画像のヴィネットスコアに応じて画像を数値的にランク付けするステップと、をシステムに実行させるオペレーションを記憶する機械可読媒体と、を備え、前記ヴィネットスコアは、無特徴または非強調の背景によって囲まれた中心オブジェクトに画像がどの位近く類似しているかを示す。

本発明の第２４の態様は、有用画像を検出して有用度順に画像をランク付けする方法であって、ａ）ランク付けすべき一以上の画像のセットをユーザに選択させるステップと、ｂ）前記セットの画像において画像ごとにヴィネットスコアを演算するステップと、ｃ）各画像のヴィネットスコアに応じて数値評定によって前記画像をランク付けするステップと、を含み、ヴィネットスコアは、無特徴または非強調背景によって囲まれた中心オブジェクトに画像がどの位近く類似しているかを示す。

本発明の第２５の態様は、画像をランク付けするプログラムであって、一以上のプロセッサによって処理される場合に、ａ）画像の所与のセットにおいて画像ごとにヴィネットスコアを演算するステップと、ｂ）各画像のヴィネットスコアに応じて数値評定によって前記画像をランク付けするステップと、をシステムに実行させる、インストラクションを含むプログラムであって、ヴィネットスコアは無特徴または非強調背景によって囲まれた中心オブジェクトに画像がどの位近く類似しているかを示す。

本発明の第２６の態様は、有用画像を検出して有用度順に画像をランク付けするシステムであって、ａ）所与のセットの画像において画像ごとにヴィネットスコアを演算する手段と、ｂ）各画像のヴィネットスコアに応じて数値的に前記画像をランク付けする手段と、を含み、ヴィネットスコアは無特徴または非強調の背景によって囲まれた中心オブジェクトに画像がどの位近く類似しているかを示す。

本発明の第２７の態様は、有用画像を検出して有用度順に画像をランク付けする装置であって、ａ）所与のセットの画像において画像ごとにヴィネットスコアを演算する手段と、ｂ）各画像のヴィネットスコアに応じて数値的に前記画像をランク付けする手段と、を含み、ヴィネットスコアは無特徴または非強調の背景によって囲まれた中心オブジェクトに画像がどの位近く類似しているかを示す。

本発明は、画像ごとにヴィネットスコアを演算するようにしているので、有用画像を検出して有用度順に画像をランク付けすることができる。ヴィネットスコアは、無特徴または非強調の背景によって囲まれた中心オブジェクトに画像がどの位近く類似しているかを示す。

本発明の好ましい実施の形態は図面に基づいて詳細に説明される。

一般に、本発明の実施の形態は、有用画像を検出し、ヴィネットスコアに基づいた有用度順にこれらの画像をランク付けするシステム及び方法を提供する。ヴィネットスコアは、ヴィネット画像、すなわち、中心オブジェクト、または、空白（ブランク）や低コントラスト背景の中心に位置付けられた画像に各画像がどの位近く類似しているかを表現する。いくつかのケースにおいて、本発明は、「ヴィネット」画像が、ヴィネット的な質を持たない画像より有用であり得ることを前提にした上で効果を発揮する。説明の便宜上、第１のクラスを「Ｖ」画像として、第２のクラスを「ＮＶ」画像として、ラベル付けする。Ｖ画像の例には、無特徴背景をバックに撮影された人物、焦点ずれ背景をバックに撮影された花、中心のカップルを強調するように陰影付けされた結婚式の写真が含まれる。ＮＶ画像の例には、混雑した都会の歩道、スーパーマーケットの品物の陳列、及び結婚披露宴の招待客の集団が含まれる。ユーザが、人物、花、または新婚カップルのアイコン的な画像を得たいとする場合、Ｖカテゴリからの画像がより適切であり、少なくとも、ある用途にはより良好である。一方、ＮＶ画像は、一般に、一瞥しただけではわかりづらく、過度に込み入り、情報が伝わりにくく、また、明瞭さに欠ける。図１は、異なる画像検索クエリ１２０の結果としてリターンされる可能性のあるＶ画像１００とＮＶ画像１１０との例を示す。クエリ１２１は、Ｖ画像１０１とＮＶ画像１１１をリターンした。クエリ１２２は、Ｖ画像１０２とＮＶ画像１１２とをリターンした。クエリ１２３は、Ｖ画像１０３とＮＶ画像１１３とをリターンした。明らかにＶ画像の方が好ましい。

撮影者や画像編集者は、基準的アイテムを、これらがヴィネット（背景又は周辺をぼかしにしたり、対象を簡潔に描写したりする）とされるように、即ち、低コントラストあるいは平坦な背景をバックに中心に据えることによって強調されるように、撮影する場合が多い。これを行うために、撮影者は、目障りなオブジェクトを隠すために布で覆うことから、画像背景が焦点に入らないことを確実とするために被写界深度を制限するなどの一般的なプラクティスに至るまで、さまざまな技術を駆使する。同様に、撮影者または編集者は、種々の技術を用いて撮影後に中心オブジェクトを強調することができる。これらには、小窓を用いて写真プリントの中心を選択的に露光したり、画像の目障りなエッジを物理的に除去したりする従来のやり方、これらの技術をシミュレートするかまたはこれらの技術を超越するディジタルツールを用いた方法などが含まれる。

ヴィネット画像は中心領域を主とし、基準的、例示的、かつ有用な表現を含む可能性が高い。このように、ヴィネット画像は、背景に邪魔されることなく、中心オブジェクトを簡明に描写し、描写されたオブジェクトを識別する努力を目視者にあまり要求しないため、ヴィネット画像は、画像集合またはビデオの代表的な画像として使用するには最適な候補である。本方法は、このクラスの有用な画像を検出し、その画像がヴィネットにどの位近く類似しているかに基づいてその画像がどの位有用であるかを要約する、ヴィネットスコア（ＶＳ）に応じて画像グループの各メンバをランク付けする。画像の特徴を分類することによって、所与の画像がヴィネットとされる度合を自動的に決定する方法を提示する。

低域通過フィルタによって外側領域をフィルタリングすることによってガウスぼかし（Ｇａｕｓｓｉａｎ ｂｌｕｒ）を適用することにより、多くの画像のヴィネットスコアを高くすることができる。基本的に、ある画素を中心とする近傍との近接性に応じてガウス曲線（Ｇａｕｓｓｉａｎ ｃｕｒｖｅ）によって重み付けされた近傍画素の平均値によって各画素を置換することによって画像にぼかしが生じる。このプロセスによって高周波数が除かれ、画像のエッジがソフトになる。

「一般的な用途」
図２は、本発明による方法を実施するのに好適な汎用コンピュータシステム２００（情報処理装置）を示すブロック図である。汎用コンピュータシステム２００は、一以上のプロセッサ２０２を有する。カーソルコントロールデバイス２０５は、マウス、ジョイスティック、一連のボタン、または、ユーザにディスプレイモニタ２０４（表示装置）上でカーソルやポインタの位置をコントロールさせる任意の他の入力装置として、実施される。汎用コンピュータは、ランダムアクセスメモリ２０７、外部記憶装置２０３、ＲＯＭメモリ２０８、キーボード２０６、ネットワーク接続２１０（通信装置）、およびグラフィックコプロセッサ２０９を含んでいてもよい。カーソルコントロールデバイス２０５および／またはキーボード２０６は、本発明によるユーザ入力を受け取ることが可能なユーザインターフェースである。汎用コンピュータシステム２００のエレメントの全ては、種々のエレメント間にデータを伝送する共通バス２０１によって接続されてもよい。一般的に、バス２０１は、データ、アドレス、及び制御信号を含む。図２に示された汎用コンピュータシステム２００は、該汎用コンピュータシステム２００のエレメント全てを接続する単一データバス２０１を有するが、汎用コンピュータシステム２００のさまざまなエレメントを接続する単一通信バス２０１は必要とされない。例えば、一以上のプロセッサ２０２、ＲＡＭ２０７、ＲＯＭ２０８、及びグラフィックコプロセッサ２０９は、データバスに交互に接続され、ハードディスク２０３、ネットワーク接続２１０、キーボード２０６、ディスプレイモニタ２０４、及びカーソルコントロールデバイス２０５が（図示しない）第２のデータバスに接続される。この場合、第１のデータバスと（図示しない）第２のデータバスとは、（図示しない）双方向バスインターフェースによって接続される。あるいは、一以上のプロセッサ２０２及びグラフィックコプロセッサ２０９などのエレメントのいくつかは、第１のデータバス２０１と（図示しない）第２のデータバスとの両方に接続され、第１のデータバスと第２のデータバスとの通信は、一以上のプロセッサ２０２とグラフィックコプロセッサ２０９とを介して行われる。このように、本発明の方法は、図２に参照番号２００で示されたような任意の汎用コンピュータシステムで実行可能であるが、このコンピュータシステムが本発明の方法を実行することができる唯一のコンピュータシステムであるという制限は明らかにない。

多くの場合、多数の画像が、本発明を用いて選択される単一または低減された数の画像によって代表されたり特徴付けられたりする。例えば、一つの実施の形態において、画像の集合を最もよく表現するものとして、本発明の方法を用いて選択された画像（複数の画像）を含むアイコンによって、多数の画像を含むフォルダまたはディレクトリを表現することができる。他の実施の形態において、ビデオセグメントの画像を最もよく表現するものとして、本発明によって決定される一つ以上のフレームによってビデオクリップにおける画像シーケンスを表現することができる。例えば、多くのオペレーティングシステムのファイルビューインターフェースにおいて、ビデオファイルの第１フレームは、このデータを表現するために使用される。

更なる実施の形態において、サーチエンジンが、クエリに応答して多数の画像をリターンすることもある。これらの画像には、ユーザの情報ニーズを充分に満たす画像もあるが、あまり妥当ではない画像もある。この実施の形態は、最も有用な画像を検出しランク付けするための方法を提供する。ストック画像の集合に適用される他の実施の形態において、ユーザは、迅速に、多数の利用可能な画像に目を通す必要がある。この実施の形態は、所望される用途に適用される可能性の高い画像を検出しランク付けする方法を提供する。ユーザの情報ニーズは、ヴィネット画像を検出しランク付けする本発明の機能によって達成される。

画像のヴィネットスコアを決定するいくつかの方法が例として開示されている。多くの他のアプローチが可能であるが、該方法の三つの主なクラスは、分散比解析、（実施の形態の二つのサブクラスとしてガウス混合モデル及びサポートベクトルマシンを含む）統計モデル解析、及び空間周波数解析である。空間周波数解析は、実施の形態の５つのサブクラスとして、ＤＣＴ、離散フーリエ変換、アダマール（Ｈａｄａｍａｒｄ）変換、ウェーブレット変換（これらの全てが線形離散変換の例である）、及び画像がＪＰＥＧフォーマットに符号化される場合のＪＰＥＧ係数の直接的な適用を含む。
「分散比解析」

分散比解析は、画像のエッジ領域と全体画像との間の分散比計算を伴う。ヴィネット画像では、エッジに最も近い画素は小さな分散を有するが、ＮＶ画像では、中心領域の分散とあまり異ならないエッジ分散を有する。分散比は、それらのヴィネットスコアによって画像をランク付けするために使用される。高いスコアを有する画像は、ヴィネットである可能性が高く、少なくともいくつかのアプリケーションにおいて好ましい。一つの実施の形態において、ヴィネットスコアは、中心近傍の領域から外側領域までの画像の重み付けされた分散比を計算することによって演算され、この計算において、重み付けは、境界からの距離に基づいて行われる。本発明の実施の形態が実施された分散比解析を用いた実験が以下に示される。
「統計モデル解析」

統計モデル解析は、ヴィネットとして定義付けられる画像とノンヴィネットとして定義付けられる画像とからなる予め入力されたトレーニングデータに基づいて、各画像クラスの統計モデルを決定することが可能な統計分類子を生成することを伴う。それぞれがヴィネットＶとノンヴィネットＮＶとのモデルとして作用するこれらの統計分類子が与えられると、各モデルによって未知の画像が生成される尤度が決定され、次に、尤度比が、ヴィネットスコアの他の推定値として作用する。統計分類子の例としては、ガウス混合モデル、線形分類子、及びサポートベクトルマシン（ＳＶＭ）が挙げられる。これらは、以下の実施の記載部分でより詳細に説明される。

未知の画像をｉとすると、比率Ｐ（Ｖｉ）／Ｐ（ＮＶｉ）の計算が実行される。この比率は、ヴィネットに類似する画像に対して相対的に大きく、ヴィネットにあまり類似していない画像に対して相対的に小さい。従って、この比率は、ヴィネットスコアとして直接作用することができる。的確な実施の形態によれば、この比率は、ヴィネットスコアＶＳを直接示す場合もあり、または、所望があれば、ＶＳへ変換されるように、スケーリングされ正規化されてもよい。しかしながら、一般的なアプリケーションにおいて、スコアは他の画像に相対するそれらの画像のスコアに応じて画像をランク付けするために主として使用されることから、ヴィネットスコアのスケーリング及び／または正規化は必ずしも必要ではない。所与の方法及び所与の画像セットの場合、スケーリング及び/または正規化によってヴィネットスコアの順番は変更されない。

ガウスモデルは、未知のデータを分類する有用な手段である。この方法では、このクラスのトレーニングデータセットから平均値と共分散値を計算することによって識別すべきクラスごとにガウスモデルが決定される。クラスが所与のデータポイントを生成した確率が計算されてもよく、最高尤度を有する未知のデータポイントを生成したクラスモデルが該未知データのクラスとして指定される。単一ガウスモデルは、いくつかのガウス関数の重み付けされた合計としての各クラスの尤度を、平均値、共分散値、及び周知の期待値最大化（ＥＭ）アルゴリズムによって求められた混合重みによってモデリングすることによって、ガウス混合モデルに拡張され得る。ガウス混合モデルは、マルチモード分散を有する、すなわち、一つ以上のピーク値を有する、データをモデリングするのにより適している。ガウス混合モデルは、単一混合重み１を有する上記のような単一ガウスモデルを含む。ガウス混合モデルは、二クラスのデータを有し、どのクラスにアイテムが当てはまるかを判断したい場合に用いられることができる有用な分類方法である。各クラスのデータの分散は、適切な平均値、共分散値、及び混合重み付けによってガウス分散の混合としてモデリングされる。

線形分類子は、異なるクラスメンバーシップを有する２セットのデータを分離することが可能な決定ハイパープレーンを作成する。決定ハイパープレーンは、異なるクラスのメンバーシップを有する２セットのデータを分離するものである。しかしながら、大部分の分類タスクはあまりシンプルではなく、最適な分離を行うためにはもっと複雑な構造が必要とされる場合が多い。

線形分類子がパワー不足であるもっと複雑なケースでは、サポートベクトルマシン（ＳＶＭ）が利用可能である。ＳＶＭは、決定ハイパープレーンを使用して境界のいずれの側に画像が存在するかを容易に判断することができる高次元空間にデータを投影する。これによって、ＳＶＭは、関心を有するグループ（この場合、Ｖ及びＮＶ）にデータセットを分割することができる。

ＳＶＭは、オリジナルデータセットをマッピングするために、カーネルとして知られている数学的な関数のセットを使用する。マッピングされたデータは線形分離可能であり、これにより、複雑な曲線を構成する代わりに、ＳＶＭ投影処理が完了した時、ＶデータとＮＶデータとを分離することができるハイパープレーンを見つけるだけでよい。
「空間周波数解析」

上記の統計分類子は、画像を示す低次元特徴を必要とする。次元縮小は、異なる空間周波数においてエネルギを推定することによって周波数ドメイン内で一般に達成される。空間周波数解析の異なる可能な実施の形態は、異なる空間周波数においてエネルギを推定するための異なる技術を伴う。一つの実施の形態は、ＤＣＴの実行を必要とする。他の実施の形態では、離散フーリエ変換が実行される。第３の実施の形態は、アダマール変換の実行を伴う。第４の実施の形態は、ウェーブレット変換の実行を伴う。

このアプローチは、画像を２次元正弦波の合計になるように分解し、その後、特徴空間の次元が低マグニチュード成分を捨てることによって縮小される。画像の全体クラスは、画素数がマグニチュードの２０番目くらいであったとしても１０個のパラメータのみで粗に表すことができる。図３は、トレーニングフレームを示すフレームセット、本発明による該トレーニングフレームから得られた平均特徴ベクトルの逆離散コサイン変換、及びトレーニングフレームから得られた平均特徴ベクトルの逆アダマール変換を示す。このように、トレーニングフレーム３０１乃至３０８は、ビデオ画像クラスに関する一連のトレーニング画像を示す。トレーニングフレーム３０１乃至３０８によって示される画像クラスは、「speaker standing in front of podium（演壇に立って話す人）」のように英語で記述される。フレーム３１０は、トレーニングフレーム３０１乃至３０８を例とするトレーニングフレームから抽出される複数の特徴ベクトルから計算される平均特徴ベクトルに対応する逆離散コサイン変換を示す。フレーム３１０において、ビデオ分類に対する特徴のセットは、１０エントリ特徴セットである。これにより、各フレームからの１０個の変換係数のみが各トレーニングフレームに関連する特徴ベクトルを構成する。フレーム３１１は、トレーニングフレーム３０１乃至３０８の各々から抽出された１００エントリ特徴ベクトルから計算された平均特徴ベクトルの逆離散コサイン変換を示す。フレーム３１２は、１０００エントリ平均特徴ベクトルの逆離散コサイン変換である。逆離散コサイン変換に使用される係数が増えているので、フレーム３１２は、フレーム３１０より詳細なフレーム３１１より詳細である。

フレーム３２０は、トレーニング画像から得られた平均特徴ベクトルの逆アダマール変換を示す。フレーム３２１は、１００エントリ平均特徴ベクトルに対応する逆アダマール変換を示す。フレーム３２２は、１０００エントリ平均特徴ベクトルに対応する逆アダマール変換を示す。

１／２秒間隔で採られるＭＰＥＧフレーム画像は、復号され、６４×６４のグレースケール輝度のサブ画像に低減される。フレーム画像は、離散コサイン変換およびアダマール変換で符号化される。高い分散（ランク）を有する係数と最も重要な基本成分がともに特徴として選択された。ガウス混合モデルは、１から１０００までの変数を用いたトレーニングセット上でトレーニングされる。図３は、特徴カテゴリの一つのサンプルを示す。このカテゴリは、より明るい（白い）背景をバックにした人物のクローズアップからなる。このクラスの画像が、カメラアングル、照明、位置において、如何に分散性が高いか（おそらく、一般的なニュース解説者の画像より分散性が高い）に注目されたい。平均値と共分散値が、最高分散の離散コサイン変換とアダマール変換係数を用いてトレーニングされた。各モデルは、廃棄された係数をゼロにセットし、平均値を逆変換することによって画像形成された。共分散値は示されてないが、平均値が、トレーニングデータから、主要特徴−暗い（黒っぽい）中心人物をキャプチャすることが明らかである。図３は、係数が少ない場合でさえも、トレーニングデータにおける主要形状は、逆変換されても、まだ認識可能であることを示す。これらの技術は、隣接画素間の高度な相関関係を利用する。
「システムの実施」

一般的な実施において、オペレータは、コンピュータディスプレイ、及び、例えば、ユニックスウィンドウズ（登録商標）環境、Ｍａｃ ＯＳ（マッキントッシュオペレーティングシステム）、またはマイクロソフトウィンドウズ（登録商標）環境を実行するグラフィカルインターフェースのある形態、または、他のあるグラフィカルアプリケーション環境を含むコンピュータシステムを使用する。本発明の実施の形態が他の形態のグラフィカルユーザインターフェース（ＧＵＩ）によっても同等に使用可能であることは当業者にとっては明らかである。

ソフトウェア技術における当業者に明らかであるように、適切なソフトウェアのコーディングは、本発明の開示の教示に基づいて熟練したプログラマーによって容易に作成し得る。本発明の実施の形態は、当業者に明らかであるように、特殊用途向け集積回路の製造、または、従来のコンポーネント回路の適切なネットワークの相互接続によっても実施可能である。

本発明の実施の形態は、命令を記憶した記憶媒体（複数の場合もある）であり、本発明のプロセスのいずれかを実行するためにコンピュータをプログラムするために使用され得る、コンピュータ・プログラム・プロダクトを含む。記憶媒体は、任意タイプのディスク（フロッピー（登録商標）・ディスク、光学ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロ・ドライブ及び磁気光学ディスク）、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュ・メモリ・デバイス、磁気的または光学的カード、ナノシステム（分子メモリＩＣを含む）、またはインストラクション及び／またはデータの記憶に適する任意のタイプの媒体またはデバイスを含むことができるが、本発明はこれに限定されるものではない。

本発明の実施の形態は、コンピュータ可読媒体（複数の媒体の場合もある）の任意の一つに記憶された、汎用及び／又は専用コンピュータまたはマイクロプロセッサの両ハードウェアをコントロールするための、及び本発明の結果を利用してコンピュータまたはマイクロプロセッサがオペレータまたは他のメカニズムとインタラクションすることができるようにするためのソフトウェアを含む。このようなソフトウェアは、デバイスドライバ、オペレーティングシステム、ユーザアプリケーションを含むことができるが、本発明はこれらに限定されるものではない。最終的に、上記のように、このようなコンピュータ可読媒体は本発明の実施形態を実行するためのソフトウェアを更に含む。

コンピュータ可読媒体のいずれか一つに記憶されるので、本発明の実施形態は、汎用／専用コンピュータまたはマイクロプロセッサの両方のハードウェアをコントロールするとともに、本発明の実施形態の結果を活用して、コンピュータまたはマイクロプロセッサがユーザまたは他のメカニズムとインタラクションすることができるようにするためのソフトウェアを含む。このようなソフトウェアは、デバイスドライバ、オペレーティングシステム、ユーザアプリケーションを含むことができるが、本発明はこれらに限定されるものではない。最終的に、上記のように、このようなコンピュータ可読媒体は本発明の実施形態を実行するためのソフトウェアを更に含む。

本発明の教示を実施するためのソフトウェアモジュールは、汎用／専用コンピュータまたはプロセッサのソフトウェアに含まれ、有用画像を検出すること、検出された画像がそれぞれどの位近く「ヴィネット」に類似しているかに基づいた有用度順に画像をランク付けすること、及び本発明の実施の形態のプロセスに応じた結果の伝達を含む。しかしながら、本発明はこれらに限定されない。

本発明の実施の形態は、コンピュータ技術の当業者に明らかなように、本発明の開示の教示に応じてプログラムされた従来の汎用のまたは専用のディジタルコンピュータまたはプロセッサを用いて適切に実施され得る。

一実施の形態において、本発明は、メディアオーガナイザに適用される。メディアオーガナイザは、しばしば、画像を表示し、任意の所望される構成になるようにこれらを再構成し、所望に応じて任意のまたはすべての画像をプリントし、重複画像や不要画像を削除し、所望に応じて任意のまたはすべての画像をアップロードまたはダウンロードする機能を提供するライトボックス状のインターフェースを介して、ディジタル写真を編成する手段を提供する。本発明の種々の実施の形態は、ヴィネットスコアに基づいた有用度順に数値ランクによって画像をランク付けする機能を提供し、これによって、メディアオーガナイザの他の機能が補足される。

一実施の形態において、本発明は、ビデオデータベースに用いられる。ビデオデータベースは、ディジタルビデオコンテンツに対する媒体オブジェクトオーガナイザと略同等である。フレームを使用することによって、ビデオデータベースは、しばしば、フレームを表示し、任意の所望される構成になるようにフレームを再構成し、所望に応じて任意のまたはすべてのフレームをプリントし、重複ビデオや不要ビデオを削除し、所望に応じて任意のまたはすべてのビデオ及び/または任意のまたはすべてのフレームをアップロードまたはダウンロードする機能を提供するライトボックス状のインターフェースを介して、フレームによって記述されるビデオコンテンツを編成する手段を提供する。本発明の実施の形態は、フレームをランク付けする機能を提供する。したがって、ビデオはヴィネットスコアに基づいた有用度順に数値ランクによって示され、これによって、ビデオデータベースの他の機能も補足される。

ディジタルビデオに関する他の実施の形態において、本発明は、種々のフレームにヴィネットスコアを使用する機能を提供し、これによって所与のビデオセグメントを最もよく代表するフレームを選択する。

一つの実施の形態において、本発明は、インターネット検索で得られた画像セットに適用される。
「分散比解析の実施」

分散比方法を実施しその効果をテストするとともにパラメータ空間を探索するために二つの別個の流れの実験が実行された。対処すべきであった一つの特定の設計選択は、中心領域として定義付けられる画像の部分の定義であった。図４は、分散比解析における実験に用いられた設定を示す図である。図４は、長さＮ、幅Ｍの画像４００を示す。図４に示されるように、実験は矩形中心領域４０２を使用した。矩形中心領域４０２の長さはλ_cＮ、幅はλ_cＭであり、これらは、画像４００の長さＮ及び幅Ｍの同一の特定部分スケーリング比λ_c（０( λ_c( １）により、それぞれ、定義付けられる。この実施において、小数λ_cは、幅と高さについて同一であり、正規化された画像寸法の部分として表される。このように、中心領域４０２は、Ｎ×Ｍの画素画像に関して画像の中心に置かれた、寸法がλ_cＮ×λ_cＭ画素の矩形である。これにより、中心領域４０２は、一般性λ_cを失わずに、オリジナル画像と同じ縦横比を有し、幅、高さまたは任意の他の異なる方向で定義され得る。エッジ領域４０４は、中央部分以外の全ての画素として定義付けられる。

実験の際、さまざまなキーワードを用いてグーグル（Ｇｏｏｇｌｅ）の画像検索エンジンから、５９個のヴィネット画像と５７個のノンヴィネット画像とのセットを得た。Ｖ画像の三つの例とＮＶ画像の三つの例を図１に示す。これらの画像は、上述の特定の実施の形態における分散比方法を用いてランク付けされた。ＶとＮＶとのテスト画像をもっともよく区別するλ_cの値を求めるために分散比のいくつかの予備的なテストが実行された後、λ_cに対する値が選択された。画像は、ヴィネットまたはノンヴィネットであるかのように分類された。次に、ヴィネットスコアが、小セットの画像ごとに、及び０．５と１との値の間で変化させたλ_cのいくつかの値ごとに、計算された。λ_cを変化させることによって、十分に予測可能に、λ_cの異なる値ごとに受け取られる正確なヴィネットスコア分類のパーセンテージで分散へ導かれた。λ_cが小さすぎると、画像の大部分がエッジになる効果があり、λ_cが大きすぎると、画像の大部分が中心になる効果がある。図５は、実験行程の一つについて正確に分類されたヴィネット画像の部分をλ_cの関数として示すグラフを提示する。図から分かるように、λ_c＝０．７の近辺の値から最も正確なヴィネットスコアが得られる可能性が高い。

最もヴィネットであるらしい画像は低い分散の背景を有することから、低分散比は、より高いヴィネットスコアに対応する。同様に、高い分散比によって低いヴィネットスコアが生じる。図６は、数値ＶＳスコアを有しＶＳスコアランクが１から１２までの１２の上位ランクの画像を示す、画像セットである。図７は、数値ＶＳスコアを有しＶＳスコアランクが８１から７０までの１２の下位ランクの画像を示す、画像セットである。一般に、上位ランクの画像はよりヴィネットであるらしく、検索アプリケーションに好適であることが明確である。一般に、下位ランクの画像は混雑しており、中心焦点があまり明確ではない。

しかしながら、第１の実験には、一つの興味が持たれる教示的な例外が存在する。画像８１（この画像は、最低のヴィネットスコアを有する画像である）は、実際にはヴィネットであると考えられる。当該画像がノンヴィネットであることを示唆するスコアに達した理由は、明確な黒と白とのボーダーの高い分散に起因するからである。このボーダーは、ミスリーディングスコアに達するようにこの特定の計算方法を有効に錯覚（トリッキング）させた。先行トレーニングが充分な数の画像を用いて行われることを前提として、上記の空間周波数方法の一以上を使用することによって、または、統計モデルを使用することによって、この問題は回避され得る。

矩形Ｒ_cの試行的な選択は任意である。多くの他の形状も使用可能である。図８は、円形の中心領域８０２を用い周囲エッジ領域８０４を有する実施の形態を描写する図である。図９は、楕円形の中心領域９０２を用い、周囲エッジ領域Ｒ_e９０４を有する実施の形態を示す図である。二つの領域の間で明確な境界を設ける必要がない。その代わり、エッジまたは中心におけるメンバーシップの分類は、例えば、境界からの距離によって重み付けされ得る。
「統計モデル解析の実施」

統計分類子の例には、ガウス混合モデル、線形分類子、及びサポートベクトルマシン（ＳＶＭ）が挙げられる。ガウス混合モデルは、２クラスのデータを有しアイテムがどのクラスに当てはまる可能性が高いかを判断したい場合に用いられることができる有用な分類方式である。各クラスのデータの分布は、適切な平均値、共分散値、及び混合重みを備えたガウス分布の混合としてモデリングされる。

ガウス分布データセットに属する任意のアイテムは、ガウス分布がその時点でより大きな値を有するクラスに属する可能性が高い。代表的な例には、異なる平均値と分散値を有する二つの単次元ガウス分布が含まれる。分布Ａは、平均値μ_Aを有し、分布Ｂは平均値μ_Bを有する。分布Ａまたは分布Ｂから生成されている特定の値の確率はそのポイントにおける軸に相対する分布の垂直位置である。このポイントは、所与のポイントにおいて軸に相対してより高い垂直位置を有する分布による可能性が最も高い。

所与の特徴データによって、ビデオセグメントは統計的にモデリングされる。シンプルな統計モデルは多次元ガウス分布である。一フレームに対する特徴をベクトルｘで表すと、フレームが単一ガウスモデルｃによって生成される確率は、
Ｐ（ｘ）＝
（（２λ）^-d/2｜λ_c｜^-1/2）ｅｘｐ（−１／２（ｘ−μ_c）’λ_c ^-1（ｘ−μ_c））
である。μ_cは平均特徴ベクトルであり、λ_cはモデルｃに関連付けられたｄ次元特徴の共分散マトリックスである。式（ｘ−μ_c）’は、差ベクトルの変換である。実施上、対角共分散マトリックス、すなわち、λ_cの非対角エレメントがゼロであると仮定することが一般的である。これにはいくつかの利点がある。最も重要な点は、ｄ（ｄ−１）／２からｄまで自由パラメータ（マトリックスエレメント）の数を低減することである。これは、問題において高次元ｄの場合に重要である（「ｄ」は１００のオーダーである）。共分散マトリックスが少数のトレーニングサンプルから計算される時に不良調和である場合が多いため、逆マトリックスを計算する方がよりシンプルで、よりロバストであることを、これは意味する。このように、ガウス混合モデルを用いた画像を分類するには、所望されるクラスごとの例示的なトレーニング画像セットが組み立てられ、パラメータベクトルμ_c及びλ_cが計算される。未知の画像ｘの場合、各画像クラスの確率が計算され、画像は最大尤度モデルによって分類される。対数の尤度それ自体は、特定のクラス（トレーニングセット）との類似性の有用な測定値であり、本発明の実施の形態によるビデオブラウザなどのアプリケーションに直接使用される。複数のパラメータ及び混合重みを推定するために期待値最大化アルゴリズムが付与された場合、もっと洗練されたモデルがガウス混合値を使用できる。更なる代替としては、ニューラルネットワークまたは他のタイプの分類子が用いられる。ガウス混合モデルは、１の単一混合重みを有する単一ガウスモデルを含む。単一ガウスについての、μ_cとλ_cとの計算は演算上簡単であり、迅速に行われる。単一画像からのトレーニングモデルの場合、平均ベクトルは画像特徴にセットされ、分散ベクトル（対角共分散マトリックス）は全ての画像をわたるグローバル分散のある比率にセットされる。未知のフレームといくつかのモデルとが付与された場合、未知のフレームは、どのモデルが最大の確率をもってそれを生成するかによって分類される。

ヴィネット及びノンヴィネットの本発明のケースの場合、特徴がＶとＮＶとのテスト画像から抽出される。モデルはヴィネットである画像に対して構成され、他のモデルはノンヴィネットである画像に対して構成される。特徴が良好に選択された場合、二つのガウス分布は、実質的に異なるロケーションにおいてピークを有する。

上記のように、可能な場合には、線形分類子が異なるクラスのメンバーシップを有する２セットのデータを分離することが可能な決定ハイパープレーンを作成するために使用可能である。あいにく、最適な分離を行うためには多くの分類タスクがより複雑な構造を必要とする。

もっと一般的な状況は、ＶとＮＶとのデータの最適な分離を行うためにサポートベクトルマシンなどのより複雑な構造を必要とする。ＶとＮＶとのデータの完全分離は（直線より複雑な）曲線を必要とする場合が多い。ＳＶＭは、このようなタスクを処理するために特に適している。

サポートベクトルマシン（ＳＶＭ）は境界のいずれの側に画像があるかを容易に決定するために決定ハイパープレーンを使用することができる高次元空間にデータを投影する。この場合、境界は、ＶとＮＶとの領域を画定する。データがクラスＶまたはＮＶのいずれかに属している場合、分離線は、境界の一方の側では全てのデータがＶであり、当該境界の他方の側では全てのデータがＮＶである境界を画定する。境界のいずれの側に当てはまるかによって任意の新しいオブジェクトは、ＶとしてまたはＮＶとしてラベル付け、すなわち、分類される。

ＳＶＭの一般的なアプリケーションにおいて、入力空間は 多数のオリジナルデータを有する。現行のアプリケーションにおけるオリジナルデータは、オリジナルＶデータとオリジナルＮＶデータとを含む。オリジナルＶデータとオリジナルＮＶデータとを分離するために複雑な曲線が形成される。各オリジナルオブジェクトは、核（ｋｅｒｎｅｌ）として知られる数学関数セットを用いて、個別にマッピング、即ち、再構成され、マッピングされたデータを生成する。このデータを再構成するプロセスは、マッピングまたは変換として知られている。マッピングされたデータは線形に分離可能であり、従って、複雑な曲線を構成する代わりにすべきことは、ＶデータとＮＶデータとを分離することができる最適なラインを見つけるだけである。ＳＶＭは、この場合、ＶとＮＶとの異なるクラスラベルのケースを分離する多次元空間において、ハイパープレーンを構成することによって、分離タスクを実行する。
「空間周波数解析の実施」

空間周波数解析を実施するために必要とされることは、矩形のブロックを用いることにより可能とされるいくつかの簡単なステップである。線形の離散変換は、ＤＣＴ、離散フーリエ変換、アダマール変換、ウェーブレット変換、他の線形の離散変換のいずれかを用いて各ブロック上で実行される。結果として得られるのは、本来、ブロックごとの周波数係数である変換係数のアレイである。これらの例によれば、結果として得られるのは、本来、ブロックごとの周波数係数である変換係数のアレイである。

次のステップでは、中間周波数帯域におけるエネルギが、中間バンドの周波数係数の振幅または振幅の二乗（エネルギ）を合計することによってブロックごとに推定される。得られる振幅は、エッジ領域及び画像全体に対して別個に合計され、それらの関連エリアに応じて正規化される。次に、ヴィネットスコアが、エッジ領域の中間周波数エネルギの画像全体の中間周波数エネルギに対する比率に基づいて計算され得る。周波数成分がＪＰＥＧ符号化マクロブロックから得られた場合、この計算は周波数ドメインから空間ドメインへ戻す変換を必要とせずに行われる。

上述された本発明の好ましい実施の形態について説明は、例示及び説明のみを目的として成されているのであって、これらに本発明のすべてを網羅すること、あるいは、本明細書中に開示された通りの形態に本発明を限定することを意図するものではない。多数の変更及び変形が可能であることは当業者に明確である。詳細には、画像を検出し、ヴィネットスコアに基づく有用度順に数値ランクにより画像をランク付けする、という上記された特徴は、上記記載以外に他の種類のソフトウェアアプリケーションに組み込まれてもよいことは明らかである。上記実施の形態は、本発明の原則とその実践的な応用を最も良好に説明するために選択され記述されたものであり、他の当業者がこれによって考案される特別な用途に適した種々の変更を行いつつ、種々の実施の形態による本発明を理解することを可能とする。本発明の範囲は、特許請求の範囲及びそれらと同等のものによって定義付けられることを意図する。

なお、本明細書の開示内容の一部には、著作権保護を受けるべき事柄が含まれる。特許庁の特許ファイルや記録における特許文献や特許開示のいずれかが何人かによってファクシミリ複写されたとしても、著作権所有者はこれに異議を唱えない。しかしながら、これらの場合以外は、すべての著作権を保持する。

画像捜索の結果としてリターンされたヴィネット（Ｖ）画像とノンヴィネット（ＮＶ）画像とのいくつかの可能な例を示す画像のセットを示す図である。 本発明の方法を実行するために好適な汎用コンピュータのアーキテクチャを示すブロック図である。 トレーニングフレーム、本発明によって該トレーニングフレームから得られる平均特徴ベクトルの逆離散コサイン変換、及び該トレーニングフレームから得られる平均特徴ベクトルの逆アダマール変換を示す、フレームセットを示す図である。 分散比解析における実験に用いられる設定を示す図であり、矩形の中心領域を用いた実施の形態を示す。 実験における正確に分類されたヴィネット画像の部分を、スケーリング比λ_cの関数として示すグラフである。 最低の分散比と、該分散比による最高のヴィネットスコアと、を受け取った第１の分散比解析実験における画像を示す画像セットを示す図である。 最高の分散比と、該分散比による最低のヴィネットスコアと、を受け取った第１の分散比解析実験における画像を示す画像セットを示す図である。 円形の中心領域を用いた分散比解析の実施の形態を示す図である。 楕円形の中心領域を用いた分散比解析の実施の形態を示す図である。

符号の説明

２０２ プロセッサ
２０３ ハードディスク
２０４ ディスプレイモニタ
２０６ キーボード

Claims (26)

1. 有用画像を検出して有用度順に画像をランク付けする方法であって、
   ａ）所与のセットの画像において画像ごとにヴィネットスコアを演算するステップ、
   を含み、
   ヴィネットスコアは、無特徴または非強調の背景によって囲まれた中心オブジェクトに画像がどの位近く類似しているかを示す、
   有用画像を検出して有用度順に画像をランク付けする方法。
2. ｂ）各画像のヴィネットスコアに応じた数値評定によって前記画像をランク付けするステップをさらに含む、請求項1に記載の有用画像を検出して有用度順に画像をランク付けする方法。
3. ａ）が、所与のセットの静止画像において静止画像ごとにヴィネットスコアを演算することを含む、請求項1に記載の有用画像を検出して有用度順に画像をランク付けする方法。
4. ａ）が、所与のセットのビデオフレームにおいてビデオフレームごとにヴィネットスコアを演算することを含む、請求項1に記載の有用画像を検出して有用度順に画像をランク付けする方法。
5. 当該方法が、ビデオデータベースに含まれるビデオフレームに適用される、請求項４に記載の有用画像を検出して有用度順に画像をランク付けする方法。
6. ａ）が、所与のセットの動画フレーム中の動画フレームごとにヴィネットスコアを演算することを含む、請求項1に記載の有用画像を検出して有用度順に画像をランク付けする方法。
7. ｃ）各画像の数値評定に基づいて一以上の最も代表的な画像として一以上の画像を選択するステップをさらに含む、請求項1に記載の有用画像を検出して有用度順に画像をランク付けする方法。
8. ａ）が、所与のセットのビデオフレームにおいてビデオフレームごとにヴィネットスコアを演算することを含む、請求項７に記載の有用画像を検出して有用度順に画像をランク付けする方法。
9. ａ）が、所与のセットの動画フレームにおいて動画フレームごとにヴィネットスコアを演算することを含む、請求項７に記載の有用画像を検出して有用度順に画像をランク付けする方法。
10. ａ）が、所与のセットの画像においてインターネット検索で得られた画像ごとにヴィネットスコアを演算することを含み、
    前記画像のセットにおける各画像が、１）インターネット検索で得られるか、または、２）ストック画像の集合から選択される、請求項１に記載の有用画像を検出して有用度順に画像をランク付けする方法。
11. 当該方法がメディアオーガナイザまたはビデオデータベースに含まれる画像に適用される、請求項1に記載の有用画像を検出して有用度順に画像をランク付けする方法。
12. 各画像に対する前記ヴィネットスコアが、画像のエッジ領域と全体画像との間の分散比率を求めることによって演算される、請求項1に記載の有用画像を検出して有用度順に画像をランク付けする方法。
13. 各画像に対するヴィネットスコアが、中心近傍領域から外部領域への画像の分散の重み付け比を計算することによって演算され、
    前記重み付けが、境界からの距離に基づいて行われる、
    請求項1に記載の有用画像を検出して有用度順に画像をランク付けする方法。
14. 各画像に対する前記ヴィネットスコアが、ヴィネットとして定義付けられた画像とノンヴィネットとして定義付けられた画像とを含む予め入力されているトレーニングデータに基づいて各画像クラスの統計モデルを決定することが可能な、統計分類子を用いることによって演算される、請求項1に記載の有用画像を検出して有用度順に画像をランク付けする方法。
15. 前記統計分類子がガウス混合モデルである、請求項1４に記載の有用画像を検出して有用度順に画像をランク付けする方法。
16. 前記統計分類子がサポートベクトルマシンである、請求項1４に記載の有用画像を検出して有用度順に画像をランク付けする方法。
17. 空間周波数解析を実行し、エッジ領域の中間周波数エネルギと全体画像の中間周波数との比率を計算することによって、各画像に対するヴィネットスコアが演算される、請求項1に記載の有用画像を検出して有用度順に画像をランク付けする方法。
18. 前記空間周波数解析が、ＪＰＥＧ係数を用いた直接演算を含む、請求項１７に記載の有用画像を検出して有用度順に画像をランク付けする方法。
19. 実行される空間周波数解析が線形離散変換である、請求項１７に記載の有用画像を検出して有用度順に画像をランク付けする方法。
20. 前記線形離散変換が、離散コサイン変換（ＤＣＴ）、離散フーリエ変換、アダマール変換、及びウェーブレット変換のいずれか一である、請求項１９に記載の有用画像を検出して有用度順に画像をランク付けする方法。
21. 有用画像を検出して有用度順に画像をランク付けする方法であって、
    ａ）所与のセットの画像において画像ごとにヴィネットスコアを演算するステップと、
    ｂ）各画像のヴィネットスコアに応じた数値評定によって前記画像をランク付けするステップと、
    ｃ）各画像の数値評定に基づいて一以上の最も代表的な画像として一以上の画像を選択するステップと、
    を含み、
    ヴィネットスコアは、無特徴または非強調の背景によって囲まれた中心オブジェクトに画像がどの位近く類似しているかを示す、
    有用画像を検出して有用度順に画像をランク付けする方法。
22. ｄ）一以上の前記最も代表的な画像を含むアイコンを作成するステップをさらに含む、請求項２１に記載の有用画像を検出して有用度順に画像をランク付けする方法。
23. 有用画像を検出して有用度順に画像をランク付けするシステムであって、
    ａ）所与のセットの画像において画像ごとにヴィネットスコアを演算することができ、各画像のヴィネットスコアに応じて画像を数値的にランク付けすることができる、一以上のプロセッサと、
    ｂ）一以上の前記プロセッサによって処理される時、所与のセットの画像において画像ごとにヴィネットスコアを演算するステップと、各画像のヴィネットスコアに応じて画像を数値的にランク付けするステップと、をシステムに実行させるオペレーションを記憶する機械可読媒体と、
    を備え、
    前記ヴィネットスコアは、無特徴または非強調の背景によって囲まれた中心オブジェクトに画像がどの位近く類似しているかを示す、
    有用画像を検出して有用度順に画像をランク付けするシステム。
24. 有用画像を検出して有用度順に画像をランク付けする方法であって、
    ａ）ランク付けすべき一以上の画像のセットをユーザに選択させるステップと、
    ｂ）前記セットの画像において画像ごとにヴィネットスコアを演算するステップと、
    ｃ）各画像のヴィネットスコアに応じて数値評定によって前記画像をランク付けするステップと、
    を含み、
    ヴィネットスコアは、無特徴または非強調背景によって囲まれた中心オブジェクトに画像がどの位近く類似しているかを示す、
    有用画像を検出して有用度順に画像をランク付けする方法。
25. 一以上のプロセッサによって処理される場合に、
    ａ）画像の所与のセットにおいて画像ごとにヴィネットスコアを演算するステップと、
    ｂ）各画像のヴィネットスコアに応じて数値評定によって前記画像をランク付けするステップと、
    をシステムに実行させる、インストラクションを含むプログラムであって、
    ヴィネットスコアは無特徴または非強調背景によって囲まれた中心オブジェクトに画像がどの位近く類似しているかを示す、
    画像をランク付けするプログラム。
26. 有用画像を検出して有用度順に画像をランク付けする装置であって、
    ａ）所与のセットの画像において画像ごとにヴィネットスコアを演算する手段と、
    ｂ）各画像のヴィネットスコアに応じて数値的に前記画像をランク付けする手段と、
    を含み、
    ヴィネットスコアは無特徴または非強調の背景によって囲まれた中心オブジェクトに画像がどの位近く類似しているかを示す、
    有用画像を検出して有用度順に画像をランク付けする装置。