JP2003507793A - 色ベースセグメンテーションを用いて領域ベース画像検索を実行するシステム及び方法 - Google Patents

色ベースセグメンテーションを用いて領域ベース画像検索を実行するシステム及び方法

Info

Publication number
JP2003507793A
JP2003507793A JP2001517289A JP2001517289A JP2003507793A JP 2003507793 A JP2003507793 A JP 2003507793A JP 2001517289 A JP2001517289 A JP 2001517289A JP 2001517289 A JP2001517289 A JP 2001517289A JP 2003507793 A JP2003507793 A JP 2003507793A
Authority
JP
Japan
Prior art keywords
image
pixels
area
color
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001517289A
Other languages
English (en)
Inventor
エイ カロン セドリック
ヤン ヨン
チャッラパリ キラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2003507793A publication Critical patent/JP2003507793A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

(57)【要約】 第１カラーモデルフォーマットの画像を分析し、該画像から選択した画像部分を検索する画像検索システムを開示する。この画像検索システムは、画像内の複数の画素を第１カラーモデルフォーマットから（Ｙ，ｒ，θ）カラーモデルフォーマットに変換することができるイメージプロセッサを具える。ここで、Ｙは各画素の光の総量を示す強度成分、ｒは各画素の色と混合されている白色光の量を示す彩度成分、θは各画素の色を示す色相成分である。このイメージプロセッサは空間的に隣接する画素を隣接画素の色相成分に基づいて複数の画像領域にグループ化し、統合処理を実行する。この統合処理では、第１の画像領域と、該第１画像領域に近似する第２の画像領域を、第１及び第２の画像領域間の色相差が所定の色相差しきい値より小さい場合に、複合領域に統合する。この処理を連続的に繰り返して類似する色相の領域を統合し、この処理をこれ以上統合が実行し得なくなるまで続ける。

Description

【発明の詳細な説明】
【０００１】 (発明の技術分野) 本発明は、一般に、画像検索システム、特には色ベースセグメンテーションを
用いて領域ベース画像検索を実行する画像検索システムに関するものである。
【０００２】 (発明の背景) ディジタルテレビジョン（ＤＴＶ）の出現、インターネットの人気の増大、及
びコンパクトディスク（ＣＤ）プレーヤやディジタルビデオディスク（ＤＶＤ）
プレーヤのような大衆マルチメディア電子機器の普及が膨大な量のマルチメディ
ア情報を一般消費者に利用可能にしている。ビデオやアニメーショングラフィッ
クスコンテンツが容易に利用可能になるとともにこれにアクセスする製品が一般
消費市場にでまわるにつれて、多量のマルチメディアデータの探索、索引付け及
び識別が益々難しくなるとともに重要になっている。
【０００３】 ここでは、「ビジュアルアニメーションデータ」は、合成２Ｄ又は３Ｄワール
ドやビデオとグラフィックスの合成のみならず自然ビデオも意味する。ビデオク
リップのようなビジュアルアニメーションデータのコンテンツの探索及び索引付
けには種々の基準が使用されている。ビジュアルアニメーションデータのフレー
ムを探索してフレーム内の特定の形状または色の物体を検出し識別しラベル付け
する、又はフレーム内のサブタイトル、広告文書のようなテキストや道路標識や
「ホテル」標識のような背景画像テキストを検出する画像検索システムとして動
作するビデオ処理装置が開発されている。
【０００４】 多くの既存の画像検索システムはテンプレート画像に類似する全ての画像を探
索するためにテンプレート画像を必要とする。多くのアプリケーションに対して
は、部分画像マッチング又は物体形状マッチングの方がフル画像マッチングより
望ましいかもしれない。例えば、ユーザは画像のアーカイブから赤色の自動車の
画像を検索したいが原画像の他の部分は検索したくないことがある。又、ユーザ
は特定の形状又は形状の組合わせを含む全画像の検索に特に興味を有することが
ある。このタイプの画像検索は「領域ベース画像検索」として既知である。
【０００５】 画像領域を自動的に直接的に抽出することは極めて困難な仕事である。画像セ
グメンテーション技術が３０年以上に亘り研究されているが、現実世界シーン内
のカラー画像の領域分割は依然として特にコンピュータビジョンアプリケーショ
ンに対し難しい。これは、主として影やハイライトや強いコントラストのような
画像内の照明変化のせいである。例えば、不均等な照明は慣例の画像セグメンテ
ーション技術においてＲＧＢ及びＹＵＶ色空間内の画素の値に不均等を発生する
。
【０００６】 従って、領域ベース画像検索を実行し得る改善されたビデオ処理装置が必要と
されている。特に、照明状態に敏感でない色ベースセグメンテーション（色ベー
ス領域分割）を実行し得る改善された領域ベース画像検索システムが必要とされ
ている。
【０００７】 (発明の概要) 上述した従来技術の欠点を解決するために、本発明の主目的は、第１カラーモ
デルフォーマットの複数の画素を具える画像を分析し得る画像検索システムに使
用され、前記画像から選択した画像部分を検出し取り出すことができる画像処理
装置を提供することにある。この画像処理装置は、画像内の複数の画素を第１カ
ラーモデルフォーマットから（Ｙ，ｒ，θ）カラーモデルフォーマットに変換す
ることができるイメージプロセッサを具える。ここで、前記複数の画素の各々に
ついて、Ｙは各画素の光の総量を示す強度成分、ｒは各画素の色と混合されてい
る白色光の量を示す彩度成分、θは各画素の色を示す色相成分である。このイメ
ージプロセッサは前記複数の画素のうち空間的に隣接する画素を隣接画素の色相
成分に基づいて複数の画像領域にグループ化し、統合処理を実行することができ
る。この統合処理では、第１画像領域と、該第１画像領域に近似する第２画像領
域を、第１及び第２画像領域間の色相差が所定の色相差しきい値より小さい場合
に、複合領域に統合する。
【０００８】 本発明の模範的実施例では、前記イメージプロセッサは画像内の画素の色相成
分のヒストグラムを決定することができることを特徴とする。このヒストグラム
は画像内の類似の色相を有する画素の数を示す。本発明の一実施例では、前記イ
メージプロセッサはヒストグラムにピーク検出アルゴリズムを実行して画像内の
主色相を決定することができることを特徴とする。
【０００９】 本発明の他の実施例では、前記イメージプロセッサは前記複数の画像領域のう
ち所定の最少数より少数の画素を有する画像領域を決定してマーキングし、統合
処理時に前記マーキングされた画像領域を無視することができることを特徴とす
る。
【００１０】 本発明の更に他の実施例では、前記イメージプロセッサは前記複数の画像領域
のうち所定の最少数より少数の画素を有する無彩色の画像領域を決定してマーキ
ングし、統合処理時に前記マーキングされた無彩色の画像領域を無視することが
できることを特徴とする。
【００１１】 本発明の更に他の実施例では、前記第１及び第２の画像領域を、第１の画像領
域内の画素数及び第２の画像領域内の画素数が所定の画像領域サイズしきい値よ
り大きい場合に統合することを特徴とする。
【００１２】 本発明の別の実施例では、前記イメージプロセッサは、前記第１の画像領域に
隣接する複数の領域を決定し、これらの複数の隣接領域のメリット値を計算する
ことができることを特徴とする。ここで、第１の選択隣接領域のメリット値は第
１の画像領域と第１の選択隣接領域の共通周囲長対第１の選択隣接領域の総周囲
長との比である。
【００１３】 本発明の更に別の実施例では、前記イメージプロセッサは第１の画像領域と統
合すべき第２の画像領域を第２の画像領域のメリット値に基づいて選択すること
を特徴とする。
【００１４】 以上、本発明の特徴及び技術的利点を概略説明したので、当業者は以下の詳細
な説明を良く理解できるはずである。本発明の請求の範囲の要旨を構成する本発
明の追加の特徴及び利点も以下に記載する。当業者は、以下に記載する本発明の
思想及び特定の実施例に基づいて本発明の同一の目的を実施する構成を変更した
り、他の構成を設計することが容易にできること明かである。当業者は、本発明
の最も広い精神及び範囲から逸脱することなくこのような等価な構成を実現する
こともできる。
【００１５】 詳細説明の前に、本明細書で使用する所定の語句の定義について説明するのが
有益である。「含む」及び「具える」並びにそれらの派生語は、無制限の包含を
意味し、「又は」は「及び／又は」の意味も含み、「〜と関連する」並びにその
派生語は「〜を含む」、「〜内に含める」、「〜と相互接続する」、「〜内に含
まれる」、「〜に（と）接続する」、「〜と通信し得る」、「〜と協動する」、
「〜とインターリーブする」、「〜とへ位置する」、「〜に近接する」、「〜に
（と）隣接する」、「〜を有する」、「〜の特性を有する」等を意味し、「プロ
セッサ」又は「コントローラ」は少なくとも１つの処理を制御する任意の装置、
システム又はその一部分を意味し、このような装置はハードウエア、ファームウ
エア、又はソフトウエア、又はこれらの少なくとも２つの任意の組合わせで実現
することができる。任意の特定のコントローラと関連する機能は中央に集中させ
るコトガでき、又局部的に又は遠隔的に分散させることができる。本明細書中の
所定の語句を定義したが、たいていの場合にはこの定義はこのように定義された
語句の以前の使用及び将来の使用にも適用される点に注意されたい。
【００１６】 本発明及びその利点のもっと完全な理解のためには、添付図面と関連する以下
の説明を参照されたい。各図において同一の番号は同一の部分を示す。 以下に検討する図１〜図４及び本発明の原理を説明するために使用する種々の
実施例は単なる例示であり、本発明の範囲を限定するものではない。当業者であ
れば、本発明の原理は適切に構成された任意の画像検索システムに実現すること
ができる。
【００１７】 （詳細説明） 図１は本発明の一実施例に従う模範的な画像検索システムを示す。画像検索シ
ステム１００は画像処理システム１１０と、外部データベース１８０と、モニタ
１８５と、ユーザ装置１９０とを具える。画像処理システム１１０は選択した画
像ファイル内から領域ベース画像を検索する手段を提供する。
【００１８】 外部データベース１８０は、要求に応じ、システムで使用するディジタル化ビ
ジュアル画像や他の情報の検索用ソースを提供する。これらのデータベースはロ
ーカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インター
ネットでアクセスし得るもの及び／又はテープ装置やディスク装置やその他の蓄
積装置のような外部装置により直接アクセスし得るデータのような他のソースと
することができる。
【００１９】 モニタ１８５は検索した画像の可視表示手段を提供する。ユーザ装置１９０は
画像検索システム１００のユーザが操作してシステムにユーザ入力を供給する１
以上の周辺装置を表わす。典型的な周辺ユーザ入力装置は検索画像の全部又は一
部分を含むデータを入力、選択、及び操作するのに選択的に使用し得るコンピュ
ータマウスや、キーボードや、ジョイスティックや、タッチテーブル−スタイラ
スや、その他の任意の装置である。ユーザ装置１９０は特定の検索又は変更画像
を記録保存するのに使用し得るカラープリンタのような出力装置を含むこともで
きる。
【００２０】 画像処理システム１１０は、イメージプロセッサ１２０と、ランダムアクセス
メモリ（ＲＡＭ）１３０と、ディスク記憶装置１４０と、ユーザ入力／出力（Ｉ
／Ｏ）カード１５０と、ビデオカード１６０と、Ｉ／Ｏインタフェース１７０と
、プロセッサバス１７５とを具える。ＲＡＭ１３０は更にセグメンテーション作
業域１３２と画像検索コントローラ１３４を具える。プロセッサバス１７５は画
像処理システム１１０の全ての構成要素の間でデータを転送する。イメージプロ
セッサ１２０は画像処理システム１１０に対する全制御を提供するとともに本発
明の画像セグメンテーションを実現するのに必要な画像処理並びに画像検索及び
編集システムに対する他の要求を実行する。これは、本発明の原理に従うカラー
画像の処理、画像編集機能の処理、モニタ１８５へ転送するため又はディスク記
憶装置１４０に格納するためのディジタル化ビデオ画像の処理、及び画像処理シ
ステムの種々の要素間のデータ転送の制御を含む。イメージプロセッサ１２０に
対する要求及び能力は当該技術分野において公知であり、本発明に必要とされる
こと以外については詳細に記載する必要はないものと思料する。
【００２１】 ＲＡＭ１３０は、画像処理システム１１０により発生されるデータの一時記憶
用のランダムアクセスメモリを提供し、さもなければこれはシステム内の要素に
より与えられない。ＲＡＭ１３０はセグメンテーション作業域１３２用のメモリ
、画像検索コントローラ１３４用のメモリ並びにイメージプロセッサ１２０及び
関連装置により要求される他のメモリを含む。セグメンテーション作業域１３２
は、色セグメンテーションプロセス中に初期ビデオ画像及び任意の変更領域ベー
ス画像を一時的に記憶するＲＡＭ１３０の専用部分を表わす。セグメンテーショ
ン作業域１３２は、画像領域を決定するとともに、外部的に又は内部的に供給さ
れる原ビジュアル画像から同一の色の画像、形状及び領域を、原データに影響を
与えることなく、原データ及び画像を要求に応じ復元し得るように分割する手段
を提供する。画像検索コントローラ１３４は、アプリケーションプログラムを記
憶するＲＡＭ１３０の専用部分を表わし、このプログラムはイメージプロセッサ
１２０により実行され、本発明のカラーベースセグメンテーションを用いて領域
ベース画像検索を実行する。画像検索コントローラ１３４は平滑化や画像間の境
界検出のような公知の編集技術のみならず、本発明と関連する新規な画像分離技
術も実行することができる。画像検索コントローラ１３４は、ディスク記憶装置
１４０の取外し自在のディスクポート内にロードし得る、又は他の場所、例えば
外部データベース１８０内にロードし得るＣＤ−ＲＯＭや、コンピュータディス
ケットや、その他の記憶媒体上のプログラムとして具体化することもできる。
【００２２】 ディスク記憶装置１４０は、プログラムや他のデータ（所要のビジュアルデー
タ及び画像検索コントローラ１３４のプログラム命令）の永久記憶用の１以上の
ディスクシステムを具え、取外し可能なディスクを含んでいる。システム要件に
依存して、ディスク記憶装置１４０は１以上の双方向バスとインタフェースして
外部データベース１８０及びシステムの残部への及びからのビジュアルデータの
転送を行なうように構成することができる。イメージプロセッサ１２０の特定の
アプリケーション及び能力に依存して、ディスク記憶装置１４０は多数のカラー
画像を格納する能力を提供するよう構成することができる。
【００２３】 ユーザＩ／Ｏカード１５０は、ユーザ装置１９０を画像処理システム１００の
残部にインタフェースする手段を提供する。ユーザＩ／Ｏカード１５０はユーザ
装置１９０から受信したデータをインタフェースバス１７５のフォーマットに変
換してイメージプロセッサ１２０に転送する、又はイメージプロセッサ１２０に
よる次のアクセスのためにＲＡＭ１３０に転送する。ユーザＩ／Ｏカード１５０
はデータをプリンタのようなユーザ出力装置にも転送する。ビデオカード１６０
はデータバス１７５を介してモニタ１８５と画像処理システム１１０の残部との
間のインタフェースを提供する。
【００２４】 Ｉ／Ｏインタフェース１７０はデータバス１７５を介して外部データベース１
８０と画像処理システム１００の残部との間のインタフェースを提供する。先に
検討したように、外部データベース１８０はＩ／Ｏインタフェース１７０とのイ
ンタフェース用に少なくとも１つの双方向バスを有する。画像処理システム１１
０の内部において、Ｉ／Ｏインタフェース１７０は外部データベース１８０から
受信したデータを永久記憶のためにディスク記憶装置１４０へ転送するとともに
、セグメンテーション及びモニタ表示目的のためにＲＡＭ１３０へ転送して一時
的記憶を提供する。
【００２５】 図２は図１の画像処理システムのセグメンテーション作業域１３２内の模範的
な原画像ファイル２１０及び変換された画像ファイル２２０を示す。原画像ファ
イル２１０は外部データベース１８０から受信された、例えばＲＧＢフォーマッ
トの原画像と関連する各画素（ラベル１〜ｎ）の記憶域を提供する。各画素の記
憶領域は特定の実現に対し必要とされるカラー値の最大ビット数並びにカラー画
像方式に主として使用される情報の他のビット数に対応する大きさにする。慣例
のＲＧＢベースカラー画像方式は８ビット／画素〜２４ビット／画素の範囲をカ
バーするが、もっと大きな方式にはもっと大きなメモリを用立てることができる
。被変換画像ファイル２２０は本発明の（Ｙｒθ）フォーマットの画素に対する
ｎ個の記憶位置を提供する。
【００２６】 図３は、本願発明の一実施例に従って（ＲＧＢ）フォーマット又は（ＹＵＶ）
フォーマットの画像ファイルを（Ｙｒθ）フォーマットに変換するために使用す
る模範的な色空間３００を示す。色空間３００は、各色を光の総量を示す強度（
Ｙ）と、その色と混合されている白色光の量を示す彩度成分（ｒ）と、その色の
種類を示す色相成分（θ）で表わす。イメージプロセッサ１２０は、以下の方程
式： Ｖ＝Ｒ−Ｙ Ｕ＝Ｂ−Ｙ θ＝arctan(Ｖ/Ｕ) ｒ＝(Ｕ２＋Ｖ２)２ Ｙ＝Ｙ の一つ以上を用いて、各画素を原画像ファイル内の例えば（ＲＧＢ）フォーマッ
ト又は（ＹＵＶ）フォーマットから（Ｙｒθ）フォーマットへ変換する。 同様に、イメージプロセッサ１２０は他の色空間フォーマットの画素を（Ｙｒ
θ）フォーマットに変換することもできる。
【００２７】 図４は本発明の一実施例に従う画像検索システム１００の動作を説明する流れ
図４００を示す。最初に、外部データベース１８０から受信したＲＧＢフォーマ
ットの記憶画像ファイルを変換方程式を用いて（Ｙｒθ）フォーマットに変換し
、被変換画像ファイル１３２に記憶する(処理ステップ４０５)。次に、イメージ
プロセッサ１２０は（Ｙｒθ）フォーマット内のｎ個の画素を用いて各被変換画
素ごとに色相（θ）の一次元（１−Ｄ）ヒストグラムを生成する（処理ステップ
４１０）。このヒストグラムはｒ＞５及びＹ＞４０の画素に制限する。これは、
ｒの小さい値ではθが不安定であり、且つＹが低いときはθは無意味である（低
レベルの光では色は黒又は無彩色になる）ためである。ヒストグラムは実際には
画素の蓄積表現であるが、各棒が関連する画素の色相（θ）の大きさを示す１〜
ｎの棒を有する棒グラフとして可視化することができる。
【００２８】 次に、主色ｄ(θ)をヒストグラムから、ピーク検出アルゴリズムを用いて決定
する（処理ステップ４１５）。ヒストグラムを検査し、画素を色がある（有彩）
か色がない(無彩)かについて識別する。主色と有彩又は無彩情報を後の使用のた
めにＲＡＭ１３０のセグメンテーション作業域１３２に記憶する。
【００２９】 次に、イメージプロセッサ１２０は被変換画像の画素を検査し、これらの画素
を色と位置に基づいてグループ化する。同一の色ラベル（Ｙｒθ記述）を有する
画素を検査して色グループ内の他の画素に近接するか決定する。同一の色ラベル
を有する空間的に隣接する画素を画像領域としてグループ化する（処理ステップ
４２０）。
【００３０】 所定の最小しきい画素数（例えば１０画素）以下の有彩色画像領域と、所定の
最小しきい画素数（例えば２０画素）以下の無彩色領域を後処理のためにマーク
する。所定の最大しきい画素数（例えば２０画素）以上の無彩色領域も他の領域
と同化しないようにマークする。更に、残りの有彩色画像領域をサイズと色度に
より初期統合のための基準としてグループ化する。本発明の一実施例では、例え
ば２００画素より大きい比較的大きな画像領域を有力な統合候補として識別する
（処理ステップ４２５）。
【００３１】 次に、イメージプロセッサ１２０は比較的大きな画像領域を検査して色（θ）
の類似度及び他の適当な領域との共通境界（共有周囲）の量を決定する。本発明
の一実施例では、個々の領域の周囲の和に対する共有境界又は周囲の割合を決定
するメリット関数： メリット関数＝共有周囲／（周囲１＋周囲２） を用いる。 このメリット関数を用いて、２つの隣接する画像領域を画像統合用の初期候補
として選択する（処理ステップ４３０）。
【００３２】 選択した画像領域の色を検査して類似度を決定する。色の差が予め決められた
しきい差（例えば１０Ｂ）以下の場合には、これらの領域を統合し、セグメンテ
ーション作業域においてこれらの統合領域を大きな合成領域と置き替え、処理を
続ける。隣接領域間の色の差がしきい値より大きい場合には、これらの領域は統
合せず、もはや統合ができなくなるまで処理を続ける（処理ステップ４３５）。
【００３３】 全ての大きな領域を同等又は類似の色空間の領域と統合したら、イメージプロ
セッサ１２０は後処理のために予め識別した小さい領域を検査して統合領域との
共有周囲及び類似色標識を決定する。次に、これらの小さい領域を共有周囲と類
似のθを有する大きな領域と統合し、その結果をセグメンテーション作業域に記
憶する（処理ステップ４４０）。この時点で、統合画像領域が領域分割された画
像ファイルとして記憶され、このときこの画像ファイルはユーザ装置のユーザ操
作による制御を介してイメージプロセッサ１２０により使用可能となる。次いで
この領域分割された画像ファイルは後の検索及び使用のためにディスク記憶装置
１４０に格納ことができる。
【００３４】 本発明を詳細に説明したが、当業者であれば本発明の精神及び範囲から逸脱す
ることなく種々の変形、置換及び変更が可能である。
【図面の簡単な説明】
【図１】 本発明の一実施例に従う模範的な画像検索システムを示す。
【図２】 図１の画像検索システムのセグメンテーション作業域内の模範的な原
画像ファイル及び被変換画像ファイルを示す。
【図３】 本発明の一実施例に従う画像ファイル変換用の模範的色空間を示す。
【図４】 本発明の一実施例に従う画像検索システムの動作を示す流れ図である
。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ヨン ヤン オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ (72)発明者 キラン チャッラパリ オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ Ｆターム(参考） 5B050 BA06 DA04 EA04 EA09 EA18 FA02 5C077 LL15 MP08 PP32 PP35 PP37 PQ12 PQ19 PQ20 5C079 HB01 HB06 HB11 LA03 MA11 NA11 PA00 5L096 AA02 AA06 BA20 FA15 FA37 FA54 GA41 GA51 KA09

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】 第１カラーモデルフォーマットの複数の画素を具える画像を分析
    し得る画像検索システムに使用され、前記画像から選択した画像部分を検出し取
    り出すことができる画像処理装置であって、前記画像内の前記複数の画素を前記
    第１カラーモデルフォーマットから（Ｙ，ｒ，θ）カラーモデルフォーマットに
    変換することができるイメージプロセッサを具え（ここで、前記複数の画素の各
    画素に関して、Ｙは光の総量を示す強度成分、ｒは各画素の色と混合されている
    白色光の量を示す彩度成分、θは各画素の色を示す色相成分である）、前記イメ
    ージプロセッサは、前記複数の画素のうち空間的に隣接する画素を隣接画素の色
    相成分に基づいて複数の画像領域にグループ化し、第１の画像領域と、該第１の
    画像領域に近接する第２の画像領域を、第１及び第２の画像領域間の色相差が所
    定の色相差しきい値より小さい場合に、合成領域に統合する統合処理を実行する
    ことができることを特徴とする画像処理装置。
  2. 【請求項２】 前記イメージプロセッサは、前記画像内の前記複数の画素の色相
    成分のヒストグラムを決定することができることを特徴とする請求項１記載の画
    像処理装置。
  3. 【請求項３】 前記イメージプロセッサは、前記ヒストグラムにピーク検出アル
    ゴリズムを実行して主色を決定することができることを特徴とする請求項２記載
    の画像処理装置。
  4. 【請求項４】 前記イメージプロセッサは、前記複数の画像領域のなかで所定の
    最小数より少数の画素を有する領域を決定してマーキングし、前記統合処理中前
    記マーキングした画像領域を無視することができることを特徴とする請求項１記
    載の画像処理装置。
  5. 【請求項５】 前記イメージプロセッサは、前記複数の画像領域のなかで所定の
    最小数より少数の画素を有する無彩色領域を決定してマーキングし、前記統合処
    理中前記マーキングした無彩色画像領域を無視することができることを特徴とす
    る請求項１記載の画像処理装置。
  6. 【請求項６】 前記イメージプロセッサは、前記第１の画像領域内の画素数及び
    前記第２の画像領域内の画素数が所定の画像領域サイズしきい値より大きい場合
    に、前記第１及び第２の画像領域を統合することができることを特徴とする請求
    項１記載の画像処理装置。
  7. 【請求項７】 前記イメージプロセッサは、前記第１の画像領域に隣接する複数
    の領域を決定し、前記複数の隣接領域についてメリット値を計算することができ
    、ここで、第１の選択隣接領域のメリット値は第１の画像領域と第１の選択隣接
    領域の共通周囲長対第１の選択隣接領域の総周囲長の比であることを特徴とする
    請求項１記載の画像処理装置。
  8. 【請求項８】 前記イメージプロセッサは、第１の画像領域と統合すべき第２の
    画像領域を前記第２の画像領域のメリット値に基づいて選択することを特徴とす
    る請求項７記載の画像処理装置。
  9. 【請求項９】 第１カラーモデルフォーマットの複数の画素を具える画像を分析
    することができる画像検索システムであって、 前記画像から選択した画像部分を検出し取り出すことができる画像処理装置を
    具え、該画像処理装置が、 前記画像内の前記複数の画素を前記第１カラーモデルフォーマットから（Ｙ，
    ｒ，θ）カラーモデルフォーマットに変換し（ここで、前記複数の画素の各画素
    に関して、Ｙは光の総量を示す強度成分、ｒは各画素の色と混合されている白色
    光の量を示す彩度成分、θは各画素の色を示す色相成分である）、前記複数のう
    ち画素の空間的に隣接する画素を隣接画素の色相成分に基づいて複数の画像領域
    にグループ化し、第１の画像領域と、該第１の画像領域に近接する第２の画像領
    域を、第１及び第２の画像領域間の色相差が所定の色相差しきい値より小さい場
    合に、合成領域に統合する統合処理を実行することができるイメージプロセッサ
    と、 前記合成領域を表示する表示モニタと、 前記統合処理を制御し得るユーザコマンドを受信するユーザ装置と、 を具えることを特徴とする画像検索システム。
  10. 【請求項１０】 第１カラーモデルフォーマットの複数の画素を具える画像を分
    析し得る画像検索システムに使用され、前記画像から選択した画像部分を検出し
    取り出す方法であって、 前記画像内の前記複数の画素を前記第１カラーモデルフォーマットから（Ｙ，
    ｒ，θ）カラーモデルフォーマットに変換し（ここで、前記複数の画素の各画素
    に関して、Ｙは光の総量を示す強度成分、ｒは各画素の色と混合されている白色
    光の量を示す彩度成分、θは各画素の色を示す色相成分である）、 前記複数のうち画素の空間的に隣接する画素を隣接画素の色相成分に基づいて
    複数の画像領域にグループ化し、第１の画像領域と、該第１の画像領域に近接す
    る第２の画像領域を、第１及び第２の画像領域間の色相差が所定の色相差しきい
    値より小さい場合に、合成領域に統合する統合処理を実行すること、 を特徴とする画像検索方法。
  11. 【請求項１１】 第１カラーモデルフォーマットの複数の画素を具える画像を分
    析し得る画像検索システムに使用され、且つコンピュータ読取り可能記憶媒体に
    記憶された、前記画像から選択した画像部分を検出し取り出すコンピュータ実行
    可能処理ステップであって、 前記画像内の前記複数の画素を前記第１カラーモデルフォーマットから（Ｙ，
    ｒ，θ）カラーモデルフォーマットに変換する処理ステップ（ここで、前記複数
    の画素の各画素に関して、Ｙは光の総量を示す強度成分、ｒは各画素の色と混合
    されている白色光の量を示す彩度成分、θは各画素の色を示す色相成分である）
    、及び 前記複数のうち画素の空間的に隣接する画素を隣接画素の色相成分に基づいて
    複数の画像領域にグループ化し、第１の画像領域と、該第１の画像領域に近接す
    る第２の画像領域を、第１及び第２の画像領域間の色相差が所定の色相差しきい
    値より小さい場合に、合成領域に統合する統合処理を実行する処理ステップ、 を具えることを特徴とするコンピュータ実行可能処理ステップ。
  12. 【請求項１２】 前記複数の画像領域のなかで所定の最少数より少数の画素を有
    する領域を決定してマーキングする処理ステップ、及び 前記変号処理ステップ中前記マーキングした画像領域を無視する処理ステップ
    、 を更に具えることを特徴とする請求項１１記載のコンピュータ読取り可能記憶媒
    体に記憶されたコンピュータ実行可能処理ステップ。
JP2001517289A 1999-08-17 2000-07-31 色ベースセグメンテーションを用いて領域ベース画像検索を実行するシステム及び方法 Pending JP2003507793A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/375,951 US6577759B1 (en) 1999-08-17 1999-08-17 System and method for performing region-based image retrieval using color-based segmentation
US09/375,951 1999-08-17
PCT/EP2000/007393 WO2001013263A2 (en) 1999-08-17 2000-07-31 System and method for performing region-based image retrieval using color-based segmentation.

Publications (1)

Publication Number Publication Date
JP2003507793A true JP2003507793A (ja) 2003-02-25

Family

ID=23483044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001517289A Pending JP2003507793A (ja) 1999-08-17 2000-07-31 色ベースセグメンテーションを用いて領域ベース画像検索を実行するシステム及び方法

Country Status (5)

Country Link
US (2) US6577759B1 (ja)
EP (1) EP1145148A2 (ja)
JP (1) JP2003507793A (ja)
CN (1) CN1244074C (ja)
WO (1) WO2001013263A2 (ja)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801576B1 (en) * 1999-08-06 2004-10-05 Loudeye Corp. System for accessing, distributing and maintaining video content over public and private internet protocol networks
JP3501031B2 (ja) * 1999-08-24 2004-02-23 日本電気株式会社 画像領域判定装置、画像領域判定方法及びそのプログラムを記憶した記憶媒体
US6903782B2 (en) * 2001-03-28 2005-06-07 Koninklijke Philips Electronics N.V. System and method for performing segmentation-based enhancements of a video image
KR20020095350A (ko) * 2001-06-14 2002-12-26 엘지전자 주식회사 패턴 적응형 오차확산 장치
EP1302865A1 (en) * 2001-10-10 2003-04-16 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for searching for and retrieving colour images
KR100499130B1 (ko) 2001-11-27 2005-07-04 삼성전자주식회사 조명 변화에 강건한 영상 검색 방법 및 장치
US7728048B2 (en) 2002-12-20 2010-06-01 L-1 Secure Credentialing, Inc. Increasing thermal conductivity of host polymer used with laser engraving methods and compositions
JP4324859B2 (ja) * 2002-01-09 2009-09-02 ソニー株式会社 画像読み取り装置および方法、記憶媒体、並びにプログラム
US7190394B2 (en) * 2002-06-04 2007-03-13 Micron Technology, Inc. Method for statistical analysis of images for automatic white balance of color channel gains for image sensors
US7466856B2 (en) 2002-09-26 2008-12-16 Samsung Electronics Co., Ltd. Image retrieval method and apparatus independent of illumination change
EP1614064B1 (en) 2003-04-16 2010-12-08 L-1 Secure Credentialing, Inc. Three dimensional data storage
EP1632091A4 (en) * 2003-05-12 2006-07-26 Gtech Corp METHOD AND SYSTEM FOR AUTHENTICATION
EP2293250B1 (en) 2003-07-04 2012-05-09 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for representing a group of images
US8127137B2 (en) 2004-03-18 2012-02-28 Digimarc Corporation Watermark payload encryption for media including multiple watermarks
US7308137B2 (en) * 2004-06-08 2007-12-11 Benq Corporation Method of determining color composition of an image
CN101194290B (zh) * 2005-06-07 2010-06-09 索尼株式会社 信息处理装置和信息处理方法、图像处理装置和图像处理方法
JP4393489B2 (ja) * 2006-09-06 2010-01-06 キヤノン株式会社 画像処理装置およびその方法
CN100433016C (zh) * 2006-09-08 2008-11-12 北京工业大学 基于信息突变的图像检索方法
US8290203B1 (en) 2007-01-11 2012-10-16 Proofpoint, Inc. Apparatus and method for detecting images within spam
US8290311B1 (en) * 2007-01-11 2012-10-16 Proofpoint, Inc. Apparatus and method for detecting images within spam
US7940280B2 (en) * 2007-12-06 2011-05-10 Seiko Epson Corporation System and method for color format conversion in a graphics environment
CN101425182B (zh) * 2008-11-28 2011-07-20 华中科技大学 一种图像对象分割方法
CN101930593B (zh) * 2009-06-26 2012-11-21 鸿富锦精密工业（深圳）有限公司 单一物体影像萃取系统及方法
US8335374B2 (en) * 2009-08-12 2012-12-18 Genetix Corporation Image segmentation
US20120254790A1 (en) * 2011-03-31 2012-10-04 Xerox Corporation Direct, feature-based and multi-touch dynamic search and manipulation of image sets
US8804819B1 (en) 2011-04-19 2014-08-12 Google Inc. Method and apparatus for encoding video using data frequency
US8705620B1 (en) * 2011-04-28 2014-04-22 Google Inc. Method and apparatus for encoding anchor frame by encoding features using layers
US9749638B1 (en) 2011-04-28 2017-08-29 Google Inc. Method and apparatus for encoding video with dynamic quality improvement
CN102253989B (zh) * 2011-07-04 2013-10-09 厦门市美亚柏科信息股份有限公司 图像处理方法、装置及图像检索方法、系统
CN102509099B (zh) * 2011-10-21 2013-02-27 清华大学深圳研究生院 一种图像显著区域检测方法
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9225979B1 (en) 2013-01-30 2015-12-29 Google Inc. Remote access encoding
US9247251B1 (en) 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction
US10346465B2 (en) 2013-12-20 2019-07-09 Qualcomm Incorporated Systems, methods, and apparatus for digital composition and/or retrieval
US9727983B2 (en) 2014-06-26 2017-08-08 Amazon Technologies, Inc. Automatic color palette based recommendations
US10073860B2 (en) 2014-06-26 2018-09-11 Amazon Technologies, Inc. Generating visualizations from keyword searches of color palettes
US10235389B2 (en) 2014-06-26 2019-03-19 Amazon Technologies, Inc. Identifying data from keyword searches of color palettes
US9659032B1 (en) 2014-06-26 2017-05-23 Amazon Technologies, Inc. Building a palette of colors from a plurality of colors based on human color preferences
US9514543B2 (en) 2014-06-26 2016-12-06 Amazon Technologies, Inc. Color name generation from images and color palettes
US9679532B2 (en) 2014-06-26 2017-06-13 Amazon Technologies, Inc. Automatic image-based recommendations using a color palette
US9401032B1 (en) 2014-06-26 2016-07-26 Amazon Technologies, Inc. Image-based color palette generation
US10255295B2 (en) 2014-06-26 2019-04-09 Amazon Technologies, Inc. Automatic color validation of image metadata
US9792303B2 (en) 2014-06-26 2017-10-17 Amazon Technologies, Inc. Identifying data from keyword searches of color palettes and keyword trends
US9916613B1 (en) 2014-06-26 2018-03-13 Amazon Technologies, Inc. Automatic color palette based recommendations for affiliated colors
US10223427B1 (en) 2014-06-26 2019-03-05 Amazon Technologies, Inc. Building a palette of colors based on human color preferences
US9898487B2 (en) 2014-06-26 2018-02-20 Amazon Technologies, Inc. Determining color names from keyword searches of color palettes
US10169803B2 (en) 2014-06-26 2019-01-01 Amazon Technologies, Inc. Color based social networking recommendations
US10120880B2 (en) 2014-06-26 2018-11-06 Amazon Technologies, Inc. Automatic image-based recommendations using a color palette
US9697573B1 (en) 2014-06-26 2017-07-04 Amazon Technologies, Inc. Color-related social networking recommendations using affiliated colors
US9177391B1 (en) 2014-06-26 2015-11-03 Amazon Technologies, Inc. Image-based color palette generation
US9524563B2 (en) 2014-06-26 2016-12-20 Amazon Technologies, Inc. Automatic image-based recommendations using a color palette
US9996579B2 (en) 2014-06-26 2018-06-12 Amazon Technologies, Inc. Fast color searching
US9542704B2 (en) 2014-06-26 2017-01-10 Amazon Technologies Inc. Automatic image-based recommendations using a color palette
US9652868B2 (en) 2014-06-26 2017-05-16 Amazon Technologies, Inc. Automatic color palette based recommendations
US9245350B1 (en) 2014-06-26 2016-01-26 Amazon Technologies, Inc. Image-based color palette generation
US9922050B2 (en) 2014-06-26 2018-03-20 Amazon Technologies, Inc. Identifying data from keyword searches of color palettes and color palette trends
US10691744B2 (en) 2014-06-26 2020-06-23 Amazon Technologies, Inc. Determining affiliated colors from keyword searches of color palettes
US10430857B1 (en) 2014-08-01 2019-10-01 Amazon Technologies, Inc. Color name based search
US9785649B1 (en) 2014-09-02 2017-10-10 Amazon Technologies, Inc. Hue-based color naming for an image
US9633448B1 (en) * 2014-09-02 2017-04-25 Amazon Technologies, Inc. Hue-based color naming for an image
CN105183755B (zh) * 2015-07-17 2018-10-12 小米科技有限责任公司 一种图片的显示方法及装置
JP2017054337A (ja) * 2015-09-10 2017-03-16 ソニー株式会社 画像処理装置および方法
CN106610987B (zh) * 2015-10-22 2020-02-21 杭州海康威视数字技术股份有限公司 视频图像检索方法、装置及系统
CN108108494A (zh) * 2018-01-18 2018-06-01 厦门理工学院 一种图片分类智能终端
CN108170849B (zh) * 2018-01-18 2021-02-19 厦门理工学院 一种分区扩散的图片分类标记方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4819077A (en) * 1986-05-14 1989-04-04 Kabushiki Kaisha Toshiba Color image processing system
JPH05242165A (ja) 1992-02-28 1993-09-21 Mitsubishi Electric Corp 画像データベースシステム
US5533628A (en) * 1992-03-06 1996-07-09 Agri Tech Incorporated Method and apparatus for sorting objects by color including stable color transformation
DE4310727C2 (de) * 1992-04-06 1996-07-11 Hell Ag Linotype Verfahren und Einrichtung zur Analyse von Bildvorlagen
US5557688A (en) * 1992-11-18 1996-09-17 Fuji Photo Film Co., Ltd. Method of extracting characteristic image data and color data conversion device for image processing apparatus
EP0705027B1 (en) * 1994-09-30 2000-11-22 SANYO ELECTRIC Co., Ltd. Image communication system and method for data compression of colour images using colour tables and region-based processing
JP3534128B2 (ja) * 1995-01-24 2004-06-07 オムロン株式会社 書類の上下方向検知方法及び装置
JP3461626B2 (ja) * 1995-07-28 2003-10-27 シャープ株式会社 特定画像領域抽出方法及び特定画像領域抽出装置
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image

Also Published As

Publication number Publication date
US6577759B1 (en) 2003-06-10
WO2001013263A2 (en) 2001-02-22
WO2001013263A3 (en) 2001-08-30
CN1340178A (zh) 2002-03-13
CN1244074C (zh) 2006-03-01
US20030215135A1 (en) 2003-11-20
EP1145148A2 (en) 2001-10-17

Similar Documents

Publication Publication Date Title
JP2003507793A (ja) 色ベースセグメンテーションを用いて領域ベース画像検索を実行するシステム及び方法
JP2776295B2 (ja) 画像インデックス生成方法及び画像インデックス生成装置
RU2429540C2 (ru) Устройство для обработки изображений, способ обработки изображений и считываемый компьютером носитель информации
JP2994177B2 (ja) ビデオ・セグメント間の境界部の位置を特定するためのシステム及び方法
JP3740065B2 (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
Gagaudakis et al. Incorporating shape into histograms for CBIR
US8094935B2 (en) Representative color extracting method and apparatus based on human color sense and data histogram distributions
JP2007128526A (ja) 標準照明色の変換方法、標準照明色の変換プログラム、標準照明色の変換プログラムを記録したコンピュータにて読取り可能な記録媒体、色情報抽出方法、色情報抽出プログラムを記録したコンピュータにて読取り可能な記録媒体、及び色情報抽出装置
CN103699532A (zh) 图像颜色检索方法和系统
KR101177626B1 (ko) 물체 검출 장치 및 방법
CN110188217A (zh) 图像查重方法、装置、设备和计算机可读储存介质
Brown Example-based color vehicle retrieval for surveillance
US7466856B2 (en) Image retrieval method and apparatus independent of illumination change
Takahashi et al. Image retrieval using spatial intensity features
JP3258924B2 (ja) シーン管理装置、シーン管理方法及び記録媒体
AU2004218694A1 (en) Systems and methods for indexing and retrieving images
JP4063486B2 (ja) 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体
JP2006079460A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
Gagaudakis et al. Shape measures for image retrieval
JP4941299B2 (ja) 画像識別システム及び方法
Pavithra et al. Retrieval of homogeneous images using appropriate color space selection
JPH05108728A (ja) 画像のフアイリングならびに検索方法
JP3199009B2 (ja) 画像蓄積・管理装置及び画像インデックス生成方法
JP2003506802A (ja) 画像中のテクスチャを回転不変に表示するシステム及び方法
KR100724512B1 (ko) 색온도를 이용한 영상 검출 방법 및 그를 수행하는 장치