JP2011192316A - カラー画像を探索する方法、カラー画像を探索する装置、制御装置、画像を探索するシステム、機械読取り可能媒体、カラー画像を表現する方法、コンピュータシステム、コンピュータプログラム、並びにコンピュータ読取り可能媒体 - Google Patents

カラー画像を探索する方法、カラー画像を探索する装置、制御装置、画像を探索するシステム、機械読取り可能媒体、カラー画像を表現する方法、コンピュータシステム、コンピュータプログラム、並びにコンピュータ読取り可能媒体 Download PDF

Info

Publication number
JP2011192316A
JP2011192316A JP2011151067A JP2011151067A JP2011192316A JP 2011192316 A JP2011192316 A JP 2011192316A JP 2011151067 A JP2011151067 A JP 2011151067A JP 2011151067 A JP2011151067 A JP 2011151067A JP 2011192316 A JP2011192316 A JP 2011192316A
Authority
JP
Japan
Prior art keywords
color
image
descriptor
dominant
colors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011151067A
Other languages
English (en)
Other versions
JP5236785B2 (ja
Inventor
Leszek Cieplinski
チェプリンスキー、レスゼク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric R&D Centre Europe BV Netherlands
Original Assignee
Mitsubishi Electric R&D Centre Europe BV Netherlands
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric R&D Centre Europe BV Netherlands filed Critical Mitsubishi Electric R&D Centre Europe BV Netherlands
Publication of JP2011192316A publication Critical patent/JP2011192316A/ja
Application granted granted Critical
Publication of JP5236785B2 publication Critical patent/JP5236785B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/463Colour matching
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99936Pattern matching access
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99944Object-oriented database structure
    • Y10S707/99945Object-oriented database structure processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】柔軟性に富むカラー画像を表現する方法を得る。
【解決手段】カラー画像を表現する方法は、前記カラー画像あるいは前記カラー画像の領域のための代表的な色として2つ以上の色を選択するステップと、2つ以上の代表的な色を有する前記カラー画像あるいは前記カラー画像の領域のための代表的な色のそれぞれとの関連で色分散と関係があるパラメータを、各代表的な色について、計算するステップと、前記カラー画像あるいは前記カラー画像の領域における代表的な色に対応する画素の数に基づいて、前記カラー画像あるいは前記カラー画像の領域における代表的な色の相対的な有意性を表す重みパラメータを、各代表的な色について、計算するステップと、前記パラメータ及び重みパラメータを用いて、前記カラー画像あるいは前記カラー画像の領域のための、対応する色分散と関係があるパラメータ及び重みパラメータを含む記述子を導出するステップとを含む。
【選択図】図1

Description

本発明は、探索する目的のためにカラー画像あるいは画像のある領域を表現するための方法および装置、ならびにカラー画像あるいは画像領域を探索するための方法および装置に関する。
例えば、マルチメディアデータベースから静止画像および映像を検索するために、画像内容に基づいて探索を行う技術が知られている。そのような技術のために、色、テクスチャ、エッジ情報、形状および動きのような様々な画像の特徴が用いられている。そのような技術の応用形態には、インターネットサーチエンジン、双方向TV、遠隔医療およびテレショッピングがある。
画像データベースから画像を検索する目的のために、画像あるいは画像の領域が、画像内の色に基づく記述子を含む、記述子によって表現される。画像領域の平均色、画像領域内の色分散に基づく統計的な積率(モーメント:moment)、画像領域内の最も大きな面積を覆う色のような代表的な色、および1組の所定の色それぞれの領域内の画素の数をカウントすることにより1つの画像領域に対して導出される色ヒストグラムを含む、多種多様なタイプの色による記述子が知られている。
既知の内容による画像検索システムは、QBIC(画像内容による照会(クエリ:query))(米国特許第5,579,471号、MPEG仕様書M4582/P165:IBM Almaden Research CenterによるMPEG−7のための色記述子を参照されたい)。そのシステムの動作モードのうちの1つでは、データベース内の各画像がブロックに分割される。各ブロックは、類似の色のサブセットにグループ化され、そのようなサブセットのうちの最も大きなサブセットが選択される。選択されたサブセットの平均色が、個々のブロックの代表的な色として選択される。その画像のための代表的な色に関する情報はデータベースに格納される。照会画像を選択することにより、データベース内の照会を行うことができる。その照会画像のための代表的な色に関する情報は、上記のようにして導出される。その後、照会情報は、最も近いもの同士の位置を特定するためのアルゴリズムを用いて、データベース内に格納された画像のための情報と比較される。
MPEG仕様書M4582/P437および米国特許第5,586,197号は類似のアプローチを開示するが、画像をブロックに分割することに関してさらに柔軟な方法と、画像を比較することに関する種々の方法とを用いる。MPEG仕様書M4582/P576、視認物体のための色表現に記載される別の変形例では、領域当たり2つの代表的な色それぞれに対して1つの値が用いられる。
MPEG仕様書M4582/P76、MPEG−7のための色記述子、Variable−Bin色ヒストグラムのような、色ヒストグラムに基づいて画像を表現するためのいくつかの技術が開発されている。他の技術は、画像領域内の色分布に関する統計的な記述子を用いる。例えば、MPEG仕様書M4582/P549、映像シーケンス内の小領域の画像情報測定を用いることによる色記述子は、画像が高および低エントロピー領域に分割され、色分布の特徴が各タイプの領域について計算される技術を開示する。MPEG仕様書M4582/P319、MPEG−7色記述子提案書は、画像領域のための記述子として平均および共分散値を用いることを記載する。
上記の全てのアプローチは、重大な欠点を有する。そのうちのいくつか、特に色ヒストグラム技術は、精度は高いが、比較的大量の記憶量と長い処理時間とを必要とする。1つあるいは2つの代表的な色を用いる技術のような他の方法は、記憶および計算効率に優れているが、精度が不十分である。統計的な記述子は、これらの2つのタイプの技術の中間に位置するが、特に画素の色が領域内で広く変動する場合には、柔軟性に欠けるという問題が生じるようになる。
本発明は、画像領域の記述子を導出するために、画像領域内の代表的な色にそれぞれ対応する、多数の成分分布を用いて色分布を近似することにより画像を表現する方法を提供する。
また、本発明は、そのような記述子を用いて画像を探索する方法を提供する。
さらに、本発明は、その方法を実施するためのコンピュータプログラムと、そのようなコンピュータプログラムを格納するコンピュータ読取り可能媒体とを提供する。コンピュータ読取り可能媒体には、フロッピィディスクまたはCD−ROM、あるいはRAMのようなメモリなどの個別の媒体を用いることができる。
本発明の一実施形態によるシステムのブロック図である。 第1の探索方法のフローチャートである。 第2の探索方法のフローチャートである。
本発明の実施形態は、添付の図面を参照して記載されるであろう。
本発明の一実施形態によるシステムが図1に示される。そのシステムは、システムの動作を制御するためのコンピュータのような制御ユニット2と、制御ユニット2に接続され、画像および文字を含む出力を表示するためのモニタのような表示ユニット4と、制御ユニット2に命令を入力するためのマウスのようなポインティング装置6とを備える。またそのシステムは、複数のデジタル画像を格納する画像データベース8と、以下にさらに詳細に記載される、画像データベース8に格納される各画像のための記述子情報を格納する記述子データベース10とを備える。画像データベース8および記述子データベース10はそれぞれ、制御ユニット2に接続される。またそのシステムは、制御ユニット2の制御下にあるコンピュータプログラムであり、記述子データベース10上で動作するサーチエンジン12も備える。
この実施形態では、システムの構成要素は、画像ライブラリのような1つのサイト上に設けられ、そのシステムの構成要素は永続的にリンクされる。
記述子データベース10は、画像データベース内に格納される全ての画像の記述子を格納する。より具体的には、この実施形態では、記述子データベース10は、各画像の複数の領域それぞれのための記述子を含む。その記述子は以下のように導出される。
画像データベース8内の各画像は、多数の重複しない、画素の矩形のブロックに分割される。各ブロックの場合に、その後、所定の数の色を選択し、各色のブロック内の画素の数をカウントすることにより、色ヒストグラムが導出される。
そのようにして得られた色ヒストグラムは、ブロック内の画素の色分布を示す。一般に、その領域は、1つあるいは複数の支配的な色を有し、そのヒストグラムは、その色に対応するピークを有するであろう。
そのブロックのための記述子は、ヒストグラムから特定されるような支配的な色に基づく。各ブロックのための記述子は以下の要素を有する。
(1)その記述子の次数と呼ばれる、支配的な色の数n。ただし、n≧1である。
各支配的な色の場合に、
(2)(a)ブロック内の各支配的な色の相対的な有意性を表す重み。ここでは、その重みは、ブロック内の全画素数に対する、関連する色のブロック内の画素の数の比である。
(b)平均値
Figure 2011192316
ただし、x、yおよびzは、色成分、RGB色空間内の色の赤色、緑色および青色成分の添え字等を表す。ここで、平均値は、各支配的な色の色成分に対応する。
(c)共分散行列
Figure 2011192316
ただし、cjiは色成分iの分散を表し、cijは成分iとjとの間の共分散を表す。共分散行列は対称性を有しており(cij=cji)、6つの数だけが格納される必要がある。
上記のような記述子を得る際に、色分布はn個の異なる下位分布として処理される。ただし、nは支配的な色の数であり、各下位分布は、平均値として各支配的な色のまわりに集中する。当業者には理解されるように、下位分布の範囲は都合よく重複させることができ、適当なアルゴリズムを用いて、重み、平均および共分散行列を計算するための各分布の範囲が画定される。記述子成分を推定する1つの方法は、実際のヒストグラムカウントと、ガウス関数の混合物から推定される値との間の差を最小にすることにより、ヒストグラムピークを中心とするガウス関数をそのヒストグラムに適合させることである。
記述子データベース10は、画像データベース8内に格納された各画像の各ブロックのための、上記のような記述子を格納する。上記の記述子構造を用いる、各ブロック内の色分布の表現は、大量の記述情報を含むが、例えば、ヒストグラム情報全体より少ない記憶空間しか必要としない。
例として、特定のブロックのための色ヒストグラムは、3つの支配的な色に対応する3つのピークを示す場合がある。そのヒストグラム色分布は、3つの色下位分布として解析され、その結果、記述子は、支配的な色の数を示す数3と、3つの重みと、3つのピークのための色ベクトルに対応する3つの平均ベクトルと、3つの対応する共分散行列とを含むようになる。
そのシステムは、記述子データベースに格納された記述子を用いて、画像データベース内の画像を探索するために用いられる。本実施形態は、2つの探索方法、すなわち1つの色による探索と、領域による探索とを提供する。
1つの色による探索は、図2に示されるフローチャートを参照して記載される。
1つの色による探索では、ユーザは、ポインティング装置6と、表示ユニット4上に表示されるカラーホイールあるいはパレットのようなメニューとを用いて、探索されることになる色を選択することにより照会を入力する(ステップ102)。その後、制御ユニット2が、照会色のための個々の色成分である成分、すなわち赤色、緑色および青色成分を有する、照会色のための対応する色ベクトルを取得する(ステップ104)。
その後、制御ユニット2は、サーチエンジン12を用いて、照会色を含む画像データベース8内の画像を探索する。サーチエンジン12は、照会色の色ベクトルと、記述子データベース10内の画像ブロックのための記述子とを用いて突合せ(matching)手順を実行する(ステップ106)。
突合せ手順は、突合せ値Mを計算するために以下の式を用いて実行される。
Figure 2011192316
ただし、qは照会色の色ベクトルである。突合せ値は、そのブロックのための記述子内のmおよびCの各値を用いて、各ブロック内の各支配的な色に対して計算される。したがって、次数nの記述子の場合、n個の突合せ値が得られる。
突合せ値は、確率密度関数をガウス関数としてモデル化して、照会色の色値によって画定される点におけるブロック内の各色の下位分布に対応する確率密度関数の値と見なすことができる。
所与の記述子の場合、突合せ値Mが大きいほど、対応するブロックが選択された色を有するものに近くなる。
突合せ値が記述子データベース10内の各記述子に対して計算されたとき、サーチエンジン12は、1より大きい次数の任意の記述子のためのMのうちの最も大きな値のみを考慮に入れ、Mの最も大きな値で開始して、Mのサイズによって、その結果に順序を付ける(ステップ108)。
制御ユニット2はサーチエンジン12から突合せ手順の結果を取り出し、画像データベースから、MのうちのK個の最も高い値に対応する、最も近いもの同士である所定の数K個の画像を検索する。その後、その画像は、表示ユニット4上に表示される(ステップ110)。制御ユニット2の設定によって、最も近いもの同士のうちの何個が表示ユニット上に表示されることになるかが決定される。その数はユーザによって変更することができる。
上記の説明からわかるように、1つの色による探索は、ユーザによって最初に選択された色と同じか、あるいはそれに近い支配的な色を有するブロックを含む画像を画像データベース8から検索する。
領域による探索は、図3に示されるフローチャートを参照して記載されるであろう。
領域による探索では、制御ユニット2は、画像データベース8からの画像である所定の1組の探索画像を、表示ユニット4上に表示するように動作する(ステップ202)。探索画像は全体として、制御ユニットの設定によって決定されるか、あるいはユーザによって入力される他の要件による場合がある。例えば、キーワードによる探索に対応する、より大きなシステムでは、ユーザは、言葉「葉(leaves)」を入力し、その結果、葉を示す所定の1組の画像が色による探索のための画像として示されるであろう。
探索画像はそれぞれ、記述子が導出されたブロックに対応して、画像をブロックに分割するグリッドで示される。その後、ユーザは、ポインティング装置6を用いて、対象の色分布を示す画像のうちの1つのブロックを選択する(ステップ204)。
その後、制御ユニット2は記述子データベース10から、選択された画像ブロックのための記述子を検索し、それを照会記述子として用いる(ステップ206)。探索画像が画像データベース8から取り出されているので、その記述子は既に利用可能である。その後、サーチエンジンは、突合せ関数(matching function)を用いて、その照会記述子を記述子データベース内に格納される他の記述子と比較して探索を実行する(ステップ208)。
平均値maと共分散行列Caとを有する、支配的な色のうちの1つのための照会記述子、および平均値mbと共分散行列Cbとを有する、支配的な色のうちの1つのための別の照会記述子の場合、突合せ関数は以下のように定義される。
Figure 2011192316
ただし、qは色ベクトルに類似の3−d(3次元)ベクトルであり、積分は(0,0,0)〜(255,255,255)の範囲にわたって計算され、255は色成分の最大値である。他の実施形態における積分の範囲は、用いられる色座標系および表現に基づくであろう。
これは、画像ブロックのための対応する色の下位分布をガウス関数の形の確率質量関数としてモデル化し、それらが重複する度合いを判定すること、あるいは言い換えると、それらの間の類似性を判定することに等価である。上記の計算結果が大きくなると、対応する色分布は近くなる。この場合、その関数は、照会画像ブロック内の色の下位分布と、格納される画像内の色の下位分布とが重複する度合いを判定する。
1つの記述子を別の記述子と一致させるための完全な突合せ関数は以下のように定義される。
Figure 2011192316
ただし、vおよびwは下位分布のための重みであり、その合計は両方の領域内の全下位分布である。
したがって、照会画像ブロックの記述子内に記述される各支配的な色の場合、突合せ値は、記述子データベース10からの記述子内の各支配的な色に対して計算される。結果的な突合せ値は重み付けされ、その後加算されて、mfに対応する最終的な突合せ値が与えられる。
完全な突合せ値は、照会記述子に関する、データベース内の全記述子に対して上記のように計算される。1つの色による探索の場合のように、その結果には順序が付けられ(ステップ210)、最も近いもの同士を示す、最も高い突合せ値を有するK個の画像が、ユーザのための表示ユニット上に表示される(ステップ212)。
以前の探索時に見いだされた画像内の画像領域を選択することにより、探索をさらに繰り返して実行することができる。
上記の測定とは異なる他の類似性測定を用いて、突合せを行うことができる。以下にさらに別の例を示す。
2つの領域のための一対の記述子F1およびF2の場合、類似性測定Dは、以下のように定義される。
Figure 2011192316
ただし、
Figure 2011192316
および
Figure 2011192316
である。ここで、iおよびjは代表的な色の添え字を表し、
xおよびyは記述子の添え字を表し、
1は第1の記述子内の代表的な色の数であり、
2は第2の記述子内の代表的な色の数であり、
1iは第1の記述子内のi番目の重みであり、
2jは第2の記述子内のj番目の重みであり、
l、uおよびvは、その特定の例では、赤色、緑色および青色成分のような色成分を表し、
cおよびvはそれぞれ支配的な色値(平均値)および色分散であり、cxilはx番目の記述子のi番目の代表的な色値のl番目の成分であり、vxilはx番目の記述子のi番目の代表的な色の分散のl番目の成分であり、それ以外も同様である。
上記の突合せ関数とは対照的に、記述子F1およびF2の場合、Dの値が小さいほど、記述子F1およびF2に対応する領域間のもの同士が近くなる。したがって、上記のような探索手順から生じる値Dは、Dの最も小さい値で開始して、サイズが大きくなるような順序を付けられる。ほかの点では、探索および突合せ手順は、概ね上記のように実行されることができ、適当な変更形態は種々の類似性測定を考慮に入れることである。この類似性測定は分散を使用し、共分散行列を使用しないことに留意されたい。したがって、ある領域のための記述子は分散を含むが、共分散行列を含む必要はない。それゆえ、記憶要件は、上記の記述子と比べて低減される。
本発明によるシステムは、たとえば、画像ライブラリ内に設けられる場合がある。別法では、そのデータベースは、システムの制御ユニットから遠く離れて配置され、電話線のような一時的なリンクあるいはインターネットのようなネットワークによって制御ユニットに接続される場合がある。画像および記述子データベースは、たとえば、永続記憶装置内に、あるいはCD−ROMあるいはDVDのようなポータブルデータ記憶媒体上に設けられる場合がある。
上記の説明では、色表現は、赤色、緑色および青色成分に関して記載されてきた。当然、色相、彩度および輝度を用いる表現、YUV座標系による表現、あるいは任意の色空間内の色成分のサブセット、たとえばHSIの色相および彩度のみを用いる表現のような他の表現を用いることもできる。
上記の本発明の実施形態は、画像の矩形のブロックに対して導出された記述子を用いる。記述子の根拠として、画像の他の小領域を用いることもできる。たとえば、種々の形状およびサイズからなる領域を用いることもできる。別法では、記述子は、物体、たとえば車、家あるいは人に対応する画像の領域に対して導出される場合もある。いずれの場合でも、記述子は、画像の全てあるいは画像の一部のみに対して導出されることができる。
その探索手順では、1つの色の照会を入力する代わりに、あるいは1つの画像ブロックを選択する代わりに、ユーザはたとえば、ポインティング装置を用いて、たとえばある画像のある領域を取り囲むことにより、その領域を記述することができ、その場合、制御ユニットがその領域のための記述子を導出し、それを用いて、上記のようにして探索を実行する。また、探索を開始するために画像データベースに既に格納されている画像を用いる代わりに、たとえば、イメージスキャナあるいはデジタルカメラを用いて、システムに画像を入力することもできる。そのような状況において探索を実行するために、再び、そのシステムは最初に、自動的に、あるいはユーザによって決定されるように、画像あるいは画像の領域に対する記述子を導出する。
本発明の適切な態様は、ハードウエアあるいはソフトウエアを用いて実装することができる。
上記の実施形態では、各代表的な色のための成分の下位分布は、ガウス関数を用いて近似され、その関数の平均および共分散が記述子値として用いられる。しかしながら、他の関数あるいはパラメータを用いて、たとえば、正弦あるいは余弦関数のような基底関数を用いて、記述子をその関数に基づいて導出することにより、成分分布を近似することができる。

Claims (24)

  1. データ記憶手段に格納されるカラー画像を探索する方法であって、
    画像の色に関する照会を入力するステップと、
    突合せ関数を使用して、前記照会と、格納される画像のための記述子とを比較するステップと、
    前記突合せ関数が前記照会と前記画像の少なくとも一部との間の近いものを指示する少なくとも1つの画像を選択するステップとを含み、
    前記格納される画像のための記述子は、前記画像の2以上の支配的な色の色空間値、及び前記画像の至る所の色分散のそれぞれの値を含む
    カラー画像を探索する方法。
  2. 前記格納される画像のための記述子は、
    前記画像の支配的な色として、2以上の色を選択し、
    各支配的な色について、前記支配的な色に関係する色空間における画像の色分布の分散を計算し、
    かつ、各支配的な色の前記色空間値、及び色分散のそれぞれの値に関して画像を表現することによって、導出される
    請求項1の方法。
  3. 照会を入力するステップは、
    照会画像を選択又は入力するステップと、
    前記画像の支配的な色として、2以上の色を選択することによって、前記画像の記述子を取得するステップと、
    各支配的な色について、前記支配的な色に関係する色空間における画像の色分布の分散を計算するステップと、
    各支配的な色の前記色空間値、及び色分散のそれぞれの値に関して画像を表現するステップとを含む
    請求項1記載の方法。
  4. 格納される画像又は照会画像のいずれか一方の支配的な色を選択するステップは、
    領域のための色ヒストグラムを導出するステップを含む
    請求項2又は3記載の方法。
  5. 前記支配的な色を選択するステップは、
    前記色ヒストグラム内の局所的なピークを特定するステップと、
    前記支配的な色として対応する色を選択するステップとを含む
    請求項4記載の方法。
  6. 前記画像の領域を選択するステップを含み、
    前記支配的な色及び分散は、前記領域について選択され、かつ計算される
    請求項2から請求項5までのいずれかに記載の方法。
  7. 前記画像領域は、物体に対応する
    請求項6記載の方法。
  8. 前記色空間値は、複数の色成分に関して表現され、
    各色成分について色分散を計算するステップを含む
    請求項1から請求項7までのいずれかに記載の方法。
  9. 1組の色成分について色分散を計算するステップを含む
    請求項8記載の方法。
  10. 画像領域における支配的な色の相対的な有意性を表す、各支配的な色の重みを計算するステップを含む
    請求項1から請求項9までのいずれかに記載の方法。
  11. 前記突合せ関数は、
    Figure 2011192316
    に基づき、
    ここで、qは、照会に対応する色ベクトルであり、mおよびCは、代表的な色のための色分布の第1および第2の中心積率を表す記述子値である
    請求項1から請求項10までのいずれかに記載の方法。
  12. 前記突合せ関数は、
    Figure 2011192316
    に基づき、
    ここで、
    Figure 2011192316
    であり、mおよびCは、代表的な色のための色分布の第1および第2の中心積率を表す記述子値であり、vおよびwは、重みであり、i、j、aおよびbは、比較されるべき記述子の下位分布の添え字である
    請求項1から請求項10までのいずれかに記載の方法。
  13. 前記突合せ関数は、
    Figure 2011192316
    に基づき、
    ここで、
    Figure 2011192316
    および、
    Figure 2011192316
    であり、
    Dは類似性測定値であり、
    1は第1の記述子であり、
    2は第2の記述子であり、
    iおよびjは代表的な色の添え字を表し、
    xおよびyは記述子の添え字を表し、
    1は第1の記述子内の代表的な色の数であり、
    2は第2の記述子内の代表的な色の数であり、
    1iは第1の記述子内のi番目の重みであり、
    2jは第2の記述子内のj番目の重みであり、
    l、uおよびvは色成分を表し、
    cおよびvはそれぞれ支配的な色値(平均値)および色分散である
    請求項1から請求項10までのいずれかに記載の方法。
  14. 照会を入力するステップは、
    1つの色値を選択するステップを含む
    請求項1から請求項13までのいずれかに記載の方法。
  15. 照会は、色空間の成分のいくつかのみを用いて入力される
    請求項1から請求項13までのいずれかに記載の方法。
  16. 請求項1から15までのいずれかによる方法を実施するのに適する
    カラー画像を探索する装置。
  17. 請求項1から15までのいずれかに記載された方法を実行するようにプログラミングされる
    制御装置。
  18. 請求項17に記載された制御装置を備える
    カラー画像を探索する装置。
  19. 少なくとも1つの画像を入力する入力装置と、
    入力画像又は前記入力画像の領域の少なくとも2つの支配的な色を求めるディテクタと、
    前記画像又は画像領域内の画素に基づき色記述子を生成するように各支配的な色に関する色分散を求めるコントローラと、
    前記入力画像の色記述子を、メモリに格納された画像の色記述子と比較して、少なくとも1つの実質上一致する画像を探索するコンパレータと
    を備える、画像を探索するシステム。
  20. 少なくとも1つの画像を含む入力を得る命令と、
    入力画像又は前記入力画像の領域の少なくとも2つの支配的な色を求める命令と、
    前記画像又は画像領域内の画素に基づき色記述子を生成するように各支配的な色に関する色分散を求める命令と、
    前記入力画像の色記述子を、メモリに格納された画像の色記述子と比較して、少なくとも1つの実質上一致する画像を探索する命令と、
    前記少なくとも1つの実質上一致する画像を表示する命令と
    を含む、複数の実行可能命令が格納される機械読取り可能媒体。
  21. カラー画像の領域を選択するステップと、
    前記領域のための代表的な色として1つあるいは複数の色を選択するステップと、
    2つ以上の代表的な色を有する領域の場合、個々の代表的な色に関連する色分布に関する少なくとも2つのパラメータを各代表的な色の場合に計算するステップと、
    前記パラメータを用いて前記画像領域のための記述子を導出するステップと
    を含むカラー画像を表現する方法。
  22. 請求項1から15までのいずれかに記載された方法を実施するのに適する
    コンピュータシステム。
  23. 請求項1から15までのいずれかの方法を実行するための、コンピュータプログラム又はコンピュータプログラムを格納するコンピュータ読取り可能媒体。
  24. 添付の図面を参照して記載されるような
    コンピュータシステム。
JP2011151067A 1999-04-29 2011-07-07 カラー画像を探索する方法、カラー画像を探索する装置、カラー画像を探索するシステム、並びにコンピュータによる実行可能命令からなるプログラム Expired - Lifetime JP5236785B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9909961A GB2349460B (en) 1999-04-29 1999-04-29 Method of representing colour images
GB9909961.6 1999-04-29

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000615968A Division JP2002543539A (ja) 1999-04-29 2000-04-28 カラー画像を表現する方法、カラー画像を探索する方法、カラー画像を表現及び探索する装置、コンピュータシステム、コンピュータプログラム並びにコンピュータ読取り可能媒体

Publications (2)

Publication Number Publication Date
JP2011192316A true JP2011192316A (ja) 2011-09-29
JP5236785B2 JP5236785B2 (ja) 2013-07-17

Family

ID=10852533

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2000125633A Pending JP2000348179A (ja) 1999-04-29 2000-04-26 カラー画像を表現する方法およびカラー画像を探索する方法
JP2000615968A Pending JP2002543539A (ja) 1999-04-29 2000-04-28 カラー画像を表現する方法、カラー画像を探索する方法、カラー画像を表現及び探索する装置、コンピュータシステム、コンピュータプログラム並びにコンピュータ読取り可能媒体
JP2010166072A Expired - Fee Related JP5123998B2 (ja) 1999-04-29 2010-07-23 カラー画像を表現する方法、カラー画像を表現する装置、制御装置、画像を表現するシステム、機械読取り可能媒体、コンピュータシステム、コンピュータプログラム、及びコンピュータ読取り可能媒体
JP2011103533A Expired - Fee Related JP5121972B2 (ja) 1999-04-29 2011-05-06 カラー画像を表現する方法、カラー画像を表現する装置、カラー画像を表現するシステム、コンピュータによる実行可能命令からなるプログラム、及びコンピュータ読取り可能媒体
JP2011151067A Expired - Lifetime JP5236785B2 (ja) 1999-04-29 2011-07-07 カラー画像を探索する方法、カラー画像を探索する装置、カラー画像を探索するシステム、並びにコンピュータによる実行可能命令からなるプログラム

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2000125633A Pending JP2000348179A (ja) 1999-04-29 2000-04-26 カラー画像を表現する方法およびカラー画像を探索する方法
JP2000615968A Pending JP2002543539A (ja) 1999-04-29 2000-04-28 カラー画像を表現する方法、カラー画像を探索する方法、カラー画像を表現及び探索する装置、コンピュータシステム、コンピュータプログラム並びにコンピュータ読取り可能媒体
JP2010166072A Expired - Fee Related JP5123998B2 (ja) 1999-04-29 2010-07-23 カラー画像を表現する方法、カラー画像を表現する装置、制御装置、画像を表現するシステム、機械読取り可能媒体、コンピュータシステム、コンピュータプログラム、及びコンピュータ読取り可能媒体
JP2011103533A Expired - Fee Related JP5121972B2 (ja) 1999-04-29 2011-05-06 カラー画像を表現する方法、カラー画像を表現する装置、カラー画像を表現するシステム、コンピュータによる実行可能命令からなるプログラム、及びコンピュータ読取り可能媒体

Country Status (9)

Country Link
US (3) US6801657B1 (ja)
EP (3) EP1445733A3 (ja)
JP (5) JP2000348179A (ja)
KR (3) KR100860902B1 (ja)
CN (3) CN100573526C (ja)
AU (1) AU4767100A (ja)
DE (1) DE60011603T2 (ja)
GB (1) GB2349460B (ja)
WO (1) WO2000067203A1 (ja)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7417640B1 (en) * 1999-01-29 2008-08-26 Lg Electronics Inc. Method for dominant color setting of video region and data structure and method of confidence measure extraction
GB2349460B (en) 1999-04-29 2002-11-27 Mitsubishi Electric Inf Tech Method of representing colour images
US7212667B1 (en) * 1999-05-17 2007-05-01 Samsung Electronics Co., Ltd. Color image processing method for indexing an image using a lattice structure
JP2001338284A (ja) * 2000-05-25 2001-12-07 Matsushita Electric Ind Co Ltd 画像処理方法、画像処理装置及び画像処理システム
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US7565008B2 (en) 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
US8224078B2 (en) 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
KR100788643B1 (ko) * 2001-01-09 2007-12-26 삼성전자주식회사 색과 질감의 조합을 기반으로 하는 영상 검색 방법
GB0103965D0 (en) * 2001-02-17 2001-04-04 Univ Nottingham Image and image content processing,representation and analysis for image matching,indexing or retrieval and database management
KR100451649B1 (ko) * 2001-03-26 2004-10-08 엘지전자 주식회사 이미지 검색방법과 장치
EP1302865A1 (en) * 2001-10-10 2003-04-16 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for searching for and retrieving colour images
FR2842979B1 (fr) * 2002-07-24 2004-10-08 Thomson Licensing Sa Procede et dispositif de traitement de donnees numeriques
EP1418546A1 (en) * 2002-11-07 2004-05-12 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for representing moving objects in a sequence of images
US7292365B2 (en) * 2003-01-15 2007-11-06 Xerox Corporation Methods and systems for determining distribution mean level without histogram measurement
US7263220B2 (en) * 2003-02-28 2007-08-28 Eastman Kodak Company Method for detecting color objects in digital images
US20040179735A1 (en) * 2003-03-13 2004-09-16 Aruna Kumar Method and apparatus for characterizing objects within an image
US7184577B2 (en) * 2003-03-14 2007-02-27 Intelitrac, Inc. Image indexing search system and method
EP2164044B1 (en) 2003-07-04 2012-04-18 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for representing a group of images
US7624123B2 (en) * 2004-02-26 2009-11-24 Ati Technologies, Inc. Image processing system and method
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
GB2418555A (en) * 2004-09-23 2006-03-29 Mitsubishi Electric Inf Tech Representing an image using descriptors based on colour information
US7840081B2 (en) 2004-09-23 2010-11-23 Mitsubishi Denki Kabushiki Kaisha Methods of representing and analysing images
US7813552B2 (en) 2004-09-23 2010-10-12 Mitsubishi Denki Kabushiki Kaisha Methods of representing and analysing images
GB2418556A (en) * 2004-09-23 2006-03-29 Mitsubishi Electric Inf Tech Representing an image using descriptors based on colour information
GB0428406D0 (en) * 2004-12-24 2005-02-02 Oxford Instr Superconductivity Cryostat assembly
US8176414B1 (en) 2005-09-30 2012-05-08 Google Inc. Document division method and system
GB2431797B (en) * 2005-10-31 2011-02-23 Sony Uk Ltd Image processing
US20080002855A1 (en) * 2006-07-03 2008-01-03 Barinder Singh Rai Recognizing An Unidentified Object Using Average Frame Color
WO2008038214A2 (en) 2006-09-28 2008-04-03 Koninklijke Philips Electronics N.V. Content detection of an image comprising pixels
CN101523414A (zh) * 2006-09-28 2009-09-02 皇家飞利浦电子股份有限公司 图像的部分的内容检测
ATE495501T1 (de) * 2006-10-19 2011-01-15 Koninkl Philips Electronics Nv Deskriptoren für dominierende farben
CN101334780A (zh) * 2007-06-25 2008-12-31 英特维数位科技股份有限公司 人物影像的搜寻方法、系统及存储影像元数据的记录媒体
KR100925913B1 (ko) 2007-08-28 2009-11-09 현대자동차주식회사 음이온 고정화 물질이 코팅된 무가습 고분자 전해질 막 및 이를 포함하는 연료전지
EP2245595A1 (en) * 2008-01-17 2010-11-03 Koninklijke Philips Electronics N.V. Extracting colors
US20090232355A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data using eigenanalysis
US20090231327A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Method for visualization of point cloud data
WO2009141770A1 (en) * 2008-05-21 2009-11-26 Koninklijke Philips Electronics N.V. Image resolution enhancement
US8290252B2 (en) * 2008-08-28 2012-10-16 Microsoft Corporation Image-based backgrounds for images
US8155452B2 (en) 2008-10-08 2012-04-10 Harris Corporation Image registration using rotation tolerant correlation method
CN101777064A (zh) * 2009-01-12 2010-07-14 鸿富锦精密工业(深圳)有限公司 图片搜索系统及方法
US20100208981A1 (en) * 2009-02-13 2010-08-19 Harris Corporation Method for visualization of point cloud data based on scene content
US8290305B2 (en) * 2009-02-13 2012-10-16 Harris Corporation Registration of 3D point cloud data to 2D electro-optical image data
US8179393B2 (en) * 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
CN101877137B (zh) * 2009-04-30 2013-01-02 国际商业机器公司 突出显示主题元素的方法及其系统
US8630489B2 (en) * 2009-05-05 2014-01-14 Microsoft Corporation Efficient image matching
US20110115812A1 (en) * 2009-11-13 2011-05-19 Harris Corporation Method for colorization of point cloud data based on radiometric imagery
US20110200249A1 (en) * 2010-02-17 2011-08-18 Harris Corporation Surface detection in images based on spatial data
JP2011221606A (ja) * 2010-04-05 2011-11-04 Sony Corp 情報処理方法及びグラフィカルユーザインタフェース
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
CN102129693B (zh) * 2011-03-15 2012-07-25 清华大学 基于色彩直方图和全局对比度的图像视觉显著性计算方法
KR101767269B1 (ko) * 2011-04-25 2017-08-10 한국전자통신연구원 영상 검색 장치 및 방법
CN102819582B (zh) * 2012-07-26 2014-10-08 华数传媒网络有限公司 一种海量图片快速检索方法
KR101370718B1 (ko) * 2012-10-26 2014-03-06 한국과학기술원 파노라마 이미지를 이용한 2d에서 3d로의 변환 방법 및 장치
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
US9158988B2 (en) * 2013-06-12 2015-10-13 Symbol Technclogies, LLC Method for detecting a plurality of instances of an object
US9305368B2 (en) * 2013-06-21 2016-04-05 Intel Corporation Compression and decompression of graphics data using pixel region bit values
US9465995B2 (en) * 2013-10-23 2016-10-11 Gracenote, Inc. Identifying video content via color-based fingerprint matching
WO2015069377A1 (en) * 2013-11-07 2015-05-14 A.T. Still University Color matching for health management
CN103593458A (zh) * 2013-11-21 2014-02-19 电子科技大学 一种基于颜色特征与倒排索引的海量图像检索系统
CN106157334B (zh) * 2015-04-14 2019-11-15 北京智谷睿拓技术服务有限公司 信息处理方法和设备
US10387991B2 (en) 2016-07-01 2019-08-20 Intel Corporation Method and apparatus for frame buffer compression
US10916333B1 (en) * 2017-06-26 2021-02-09 Amazon Technologies, Inc. Artificial intelligence system for enhancing data sets used for training machine learning-based classifiers
US11216505B2 (en) * 2019-09-05 2022-01-04 Adobe Inc. Multi-resolution color-based image search
US11341759B2 (en) * 2020-03-31 2022-05-24 Capital One Services, Llc Image classification using color profiles
US11887217B2 (en) 2020-10-26 2024-01-30 Adobe Inc. Text editing of digital images
CN112699259B (zh) * 2021-03-25 2021-07-13 北京达佳互联信息技术有限公司 信息显示方法、装置、电子设备、计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06318256A (ja) * 1993-05-06 1994-11-15 Matsushita Electric Ind Co Ltd 画像検索装置
JPH0729007A (ja) * 1993-07-07 1995-01-31 Nippon Telegr & Teleph Corp <Ntt> 映像特徴処理方法
JPH1115979A (ja) * 1997-04-30 1999-01-22 Ritsumeikan 顔検出及び顔追跡方法並びにその装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
JP3444924B2 (ja) * 1993-06-29 2003-09-08 株式会社東芝 空きエリア検出装置
JP3234064B2 (ja) * 1993-09-02 2001-12-04 キヤノン株式会社 画像検索方法並びにその装置
DE59403478D1 (de) * 1993-09-27 1997-08-28 Siemens Ag Verfahren zur segmentation von digitalen farbbildern
JPH07146871A (ja) * 1993-11-24 1995-06-06 Hitachi Ltd 静止画検索装置および静止画検索方法
US6246804B1 (en) * 1994-11-15 2001-06-12 Canon Kabushiki Kaisha Image retrieval method and apparatus using a compound image formed from a plurality of detected regions
JP3703164B2 (ja) * 1995-05-10 2005-10-05 キヤノン株式会社 パターン認識方法及びその装置
JPH0981591A (ja) * 1995-09-14 1997-03-28 Dainippon Screen Mfg Co Ltd 画像データベースの検索キー登録方法
JPH09106458A (ja) * 1995-10-12 1997-04-22 Dainippon Printing Co Ltd 画像処理方法
US5641596A (en) * 1995-12-05 1997-06-24 Eastman Kodak Company Adjusting film grain properties in digital images
US5873080A (en) * 1996-09-20 1999-02-16 International Business Machines Corporation Using multiple search engines to search multimedia data
US5819288A (en) * 1996-10-16 1998-10-06 Microsoft Corporation Statistically based image group descriptor particularly suited for use in an image classification and retrieval system
US5852823A (en) * 1996-10-16 1998-12-22 Microsoft Image classification and retrieval system using a query-by-example paradigm
US5899999A (en) * 1996-10-16 1999-05-04 Microsoft Corporation Iterative convolution filter particularly suited for use in an image classification and retrieval system
JP3198980B2 (ja) * 1996-10-22 2001-08-13 松下電器産業株式会社 画像表示装置及び動画像検索システム
US6081276A (en) * 1996-11-14 2000-06-27 International Business Machines Corporation Method and apparatus for creating a color name dictionary and for querying an image by color name
JPH10149441A (ja) * 1996-11-20 1998-06-02 Casio Comput Co Ltd 画像処理方法、及びその装置
KR100295225B1 (ko) * 1997-07-31 2001-07-12 윤종용 컴퓨터에서 영상정보 검색장치 및 방법
JP3747589B2 (ja) * 1997-09-17 2006-02-22 コニカミノルタビジネステクノロジーズ株式会社 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体
WO1999017250A1 (en) * 1997-10-01 1999-04-08 Island Graphics Corporation Image comparing system
US5949904A (en) * 1997-11-06 1999-09-07 International Business Machines Corporation Method, apparatus and computer program product for querying by image colors using JPEG image format
US6026411A (en) * 1997-11-06 2000-02-15 International Business Machines Corporation Method, apparatus, and computer program product for generating an image index and for internet searching and querying by image colors
US6163622A (en) * 1997-12-18 2000-12-19 U.S. Philips Corporation Image retrieval system
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
US6584223B1 (en) * 1998-04-02 2003-06-24 Canon Kabushiki Kaisha Image search apparatus and method
US6345274B1 (en) * 1998-06-29 2002-02-05 Eastman Kodak Company Method and computer program product for subjective image content similarity-based retrieval
US6516100B1 (en) 1998-10-29 2003-02-04 Sharp Laboratories Of America, Inc. Method for image characterization using color and texture statistics with embedded spatial information
US6411953B1 (en) * 1999-01-25 2002-06-25 Lucent Technologies Inc. Retrieval and matching of color patterns based on a predetermined vocabulary and grammar
US6373979B1 (en) * 1999-01-29 2002-04-16 Lg Electronics, Inc. System and method for determining a level of similarity among more than one image and a segmented data structure for enabling such determination
US6593936B1 (en) * 1999-02-01 2003-07-15 At&T Corp. Synthetic audiovisual description scheme, method and system for MPEG-7
US6774917B1 (en) * 1999-03-11 2004-08-10 Fuji Xerox Co., Ltd. Methods and apparatuses for interactive similarity searching, retrieval, and browsing of video
US6526169B1 (en) * 1999-03-15 2003-02-25 Grass Valley (Us), Inc. Histogram-based segmentation of objects from a video signal via color moments
GB2349460B (en) * 1999-04-29 2002-11-27 Mitsubishi Electric Inf Tech Method of representing colour images
US6477272B1 (en) * 1999-06-18 2002-11-05 Microsoft Corporation Object recognition with co-occurrence histograms and false alarm probability analysis for choosing optimal object recognition process parameters

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06318256A (ja) * 1993-05-06 1994-11-15 Matsushita Electric Ind Co Ltd 画像検索装置
JPH0729007A (ja) * 1993-07-07 1995-01-31 Nippon Telegr & Teleph Corp <Ntt> 映像特徴処理方法
JPH1115979A (ja) * 1997-04-30 1999-01-22 Ritsumeikan 顔検出及び顔追跡方法並びにその装置

Also Published As

Publication number Publication date
WO2000067203A1 (en) 2000-11-09
KR20010113903A (ko) 2001-12-28
US6801657B1 (en) 2004-10-05
JP5123998B2 (ja) 2013-01-23
KR100863631B1 (ko) 2008-10-15
JP2000348179A (ja) 2000-12-15
JP2011146078A (ja) 2011-07-28
EP1496473A3 (en) 2007-03-07
CN100573525C (zh) 2009-12-23
EP1445733A2 (en) 2004-08-11
JP5236785B2 (ja) 2013-07-17
EP1445733A3 (en) 2007-03-07
GB2349460A (en) 2000-11-01
KR100809798B1 (ko) 2008-03-04
US20060072829A1 (en) 2006-04-06
KR20070008729A (ko) 2007-01-17
GB2349460B (en) 2002-11-27
JP2002543539A (ja) 2002-12-17
CN101042708A (zh) 2007-09-26
CN1358296A (zh) 2002-07-10
EP1496473A2 (en) 2005-01-12
JP5121972B2 (ja) 2013-01-16
DE60011603T2 (de) 2005-07-14
US7015931B1 (en) 2006-03-21
CN100573526C (zh) 2009-12-23
JP2010262673A (ja) 2010-11-18
CN1322457C (zh) 2007-06-20
EP1173827A1 (en) 2002-01-23
EP1173827B1 (en) 2004-06-16
KR100860902B1 (ko) 2008-09-29
GB9909961D0 (en) 1999-06-30
DE60011603D1 (de) 2004-07-22
AU4767100A (en) 2000-11-17
KR20070086677A (ko) 2007-08-27
CN101038595A (zh) 2007-09-19
US7636094B2 (en) 2009-12-22

Similar Documents

Publication Publication Date Title
JP5236785B2 (ja) カラー画像を探索する方法、カラー画像を探索する装置、カラー画像を探索するシステム、並びにコンピュータによる実行可能命令からなるプログラム
JP4990383B2 (ja) 画像グループの表現方法、画像グループの探索方法、装置、コンピュータ読み取り可能な記憶媒体およびコンピュータシステム
JP5463415B2 (ja) 準複製画像検索のための方法およびシステム
JP3447705B2 (ja) 内容をベースとしたマルチメディアデータ検索システム及びその方法
CN101551823B (zh) 一种综合多特征图像检索方法
JP5121086B2 (ja) 物体を表現する方法、物体を探索する方法
JP2003208618A (ja) 画像探索方法および装置、並びにそのコンピュータプログラムおよびコンピュータ読取り可能媒体
Sethi et al. Color-WISE: A system for image similarity retrieval using color
EP1026601A2 (en) Method and apparatus for retrieving multimedia data using shape information
JPH08180176A (ja) 画像蓄積・管理装置、画像インデックス生成方法及び画像インデックス生成装置
Erkut et al. HSV color histogram based image retrieval with background elimination
Saad et al. Image retrieval based on integration between YC b C r color histogram and shape feature
CN112561976A (zh) 一种图像主颜色特征提取方法、图像检索方法、存储介质及设备
JP2003216948A (ja) 代表色抽出装置及び代表色抽出プログラム
JPH08137908A (ja) 画像検索方法及び装置
JPH08263522A (ja) 画像検索方法
JP2006221525A (ja) オブジェクト検索システムおよび方法
Aparna Retrieval of digital images based on multi-feature similarity using genetic algorithm
Al-Oraiqat et al. A modified image comparison algorithm using histogram features
Chiang et al. Image retrieval based on the wavelet features of interest
Tauheed Photo collage and image similarity quantification

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120613

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120618

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120713

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130327

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350