JP2007505382A - グラフィック要素の索引付け及び探索方法及び装置 - Google Patents
グラフィック要素の索引付け及び探索方法及び装置 Download PDFInfo
- Publication number
- JP2007505382A JP2007505382A JP2006525910A JP2006525910A JP2007505382A JP 2007505382 A JP2007505382 A JP 2007505382A JP 2006525910 A JP2006525910 A JP 2006525910A JP 2006525910 A JP2006525910 A JP 2006525910A JP 2007505382 A JP2007505382 A JP 2007505382A
- Authority
- JP
- Japan
- Prior art keywords
- color
- indexing
- hue
- level
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】カバー画像によって識別可能な情報単位の集積の索引付け及び探索を促進する。
【解決手段】索引付け方法において、多次元色空間内に座標組を設けることによって、画像中の平均色または色の統計的分布を定める。各色の前記座標組は、当該色が第1条件を満たす場合、即ち当該色がトゥルーカラー(81)であると考えられる場合に、色相のレベルに落とされ、当該色が第2条件を満たす場合、即ち当該色がグレーカラー(82)であると考えられる場合に、明度のレベルに落とされる。画像に索引付けするための索引付けデータは、各色から生じた色相または明度のレベルを含む。前記索引付け方法は、グラフィック要素の集積を探索するための探索方法中で用いる。入力が所望色を指定する。対応する探索質問は、前記所望色がトゥルーカラーを含む場合には色相レベルに関するものであり、前記所望色がグレーカラーを含む場合には明度レベルに関するものである。
【解決手段】索引付け方法において、多次元色空間内に座標組を設けることによって、画像中の平均色または色の統計的分布を定める。各色の前記座標組は、当該色が第1条件を満たす場合、即ち当該色がトゥルーカラー(81)であると考えられる場合に、色相のレベルに落とされ、当該色が第2条件を満たす場合、即ち当該色がグレーカラー(82)であると考えられる場合に、明度のレベルに落とされる。画像に索引付けするための索引付けデータは、各色から生じた色相または明度のレベルを含む。前記索引付け方法は、グラフィック要素の集積を探索するための探索方法中で用いる。入力が所望色を指定する。対応する探索質問は、前記所望色がトゥルーカラーを含む場合には色相レベルに関するものであり、前記所望色がグレーカラーを含む場合には明度レベルに関するものである。
Description
(発明の分野)
本発明は、グラフィック(図形的)要素に索引(インデックス)付けするための索引付け方法及び装置、索引付け方法を用いた探索方法、グラフィック要素の集積、特にそれぞれの情報単位(ユニット)に属するカバー画像の集積を探索するための探索装置、及び探索装置を具えた民生用電子(コンシューマ・エレクトロニクス)製品に関するものである。
本発明は、グラフィック(図形的)要素に索引(インデックス)付けするための索引付け方法及び装置、索引付け方法を用いた探索方法、グラフィック要素の集積、特にそれぞれの情報単位(ユニット)に属するカバー画像の集積を探索するための探索装置、及び探索装置を具えた民生用電子(コンシューマ・エレクトロニクス)製品に関するものである。
カバー画像とは、情報単位特有の画像であり、この情報単位を識別する働きをする画像を称する。カバー画像を具えた情報単位は、特にディジタル・フォーマットの非常に多くの種類の商品を含み、例えば書籍、音楽アルバム、オーディオまたはビデオCD、DVD、映画ポスター、ホーム(家庭用)ビデオ、写真である。本発明は、あらゆる画像の集積の探索に適用可能である。
(発明の背景)
データへのアクセス(の容易)性は、データ記憶装置を内蔵する民生用電子製品におけるキーとなる(主要な)特徴である。一部の人々は名前よりも色の方が覚えやすい、ということが研究及び経験によって示されている。この能力を有する人々は、CDを、覚えていないことが多いアーチスト(演奏家)またはアルバム名の代わりにカバーの色で探索しがちである。今日まで、この種の探索は、多数の音楽の集積から拾い聴き(ブラウズ)するための電子ツールではあまりサポートされていなかった。
データへのアクセス(の容易)性は、データ記憶装置を内蔵する民生用電子製品におけるキーとなる(主要な)特徴である。一部の人々は名前よりも色の方が覚えやすい、ということが研究及び経験によって示されている。この能力を有する人々は、CDを、覚えていないことが多いアーチスト(演奏家)またはアルバム名の代わりにカバーの色で探索しがちである。今日まで、この種の探索は、多数の音楽の集積から拾い聴き(ブラウズ)するための電子ツールではあまりサポートされていなかった。
国際特許出願WO-A-0221530は、順序化された情報単位、例えばTV番組を再生するための装置を開示している。ビデオ番組のような順序化された情報単位から始まり、この装置は、ビデオフレームの内容の特定記述、例えば平均色を符号化する長さ表示を生成し、このビデオ番組中の内容駆動型のナビゲーション(探し見)を可能にする。ビデオ番組中では、ビデオフレームの順序は既定である。
(発明の目的及び概要)
本発明の目的は、人々がカバー画像によって識別可能な画像の集積または情報単位の集積の索引付け及び探索を促進することにある。本発明の他の目的は、人々がその色によって参照するあらゆる種類の情報内容からの拾い見/聴き(ブラウジング)を促進することにある。
本発明の目的は、人々がカバー画像によって識別可能な画像の集積または情報単位の集積の索引付け及び探索を促進することにある。本発明の他の目的は、人々がその色によって参照するあらゆる種類の情報内容からの拾い見/聴き(ブラウジング)を促進することにある。
本発明の他の目的は、グラフィック要素をその色に従って、人々が一般的に色を参照する方法に相当する方法で索引付けすることにある。
本発明の他の目的は、人々が一般的に色を参照する方法に相当する方法で質問を明確記述する探索装置を作製することにある。
本発明によれば、この目的は、グラフィック要素に索引付けする索引付け方法によって達成され、この方法は、グラフィック要素の色属性を、この色属性の少なくとも一色に対する座標組を多次元色空間内に設けることによって定めるステップと、前記少なくとも一色が第1条件を満足する場合には、前記少なくとも一色の前記座標組を色相(ヒュー)のレベルに落とすステップと、前記少なくとも一色が第2条件を満足する場合には、前記少なくとも一色の前記座標組を明度(ブライトネス、輝度)のレベルに落とすステップと、前記グラフィック要素に索引付けするための索引付けデータを記憶するステップとを具え、前記索引付けデータは、前記色属性の前記少なくとも一色から生じた色相レベル、及び/または前記色属性の前記少なくとも一色から生じた明度レベルを含む。
グラフィック要素は、少なくとも一色の指定を含むあらゆるデータを表わし、絵画データ、ディジタル化した画像または映像、ビデオフレーム、アイコン、これらの要素の1つの一部、等を含む。色属性は、グラフィック要素の、一色または複数色を参照することによって記述可能なあらゆる特徴を表わし、このグラフィック要素の平均色、このグラフィック要素中の支配的な色、このグラフィック要素中の色の統計的分布、このグラフィック要素の陰画(ネガ)の色、等である。
本発明の基本思想は、グラフィック要素の色の顕著な特徴を、索引付けデータによって表現する必要のある特徴に最も関係し、かつこうした特徴にとって最重要な種類の索引付けデータを選択することによって、少量の索引付けデータに凝縮することにある。本発明の他の基本思想は、人間の観測者の観点から、色は経験的に2つのクラスに分割することができる、ということにある。一方では、人間の観測者によって可視のスペクトルに位置づけることのできる色、即ち虹の色中の色が存在する。トゥルーカラー(真の色)と称される色が存在し、一般に、赤、オレンジ(橙)、等の名前で呼ばれる。赤色と明らかに知覚される色は明るくも暗くもなり得るが、この種の情報は、この色が赤色であるということに比べれば二次的なものと考えることができる。人間の観測者の観点から、トゥルーカラーとして知覚されるものについての最重要、あるいは最も容易に覚えられる情報は、このトゥルーカラーのスペクトル中の存在位置である。従って、この第1クラスの色についての最重要な索引付けデータは、可視スペクトル中のこの色の位置、即ち色相レベルを精度良く特徴付けるパラメータである。色相レベルは、マンセル、HSL(Hue(色相)、Saturation(彩度)、Lightness(明度))、HSB(Hue、Saturation、Brightness(明度))、等のような通常の色系中で一般にこの名前で呼ばれるパラメータを参照する。他方では、人間の観測者が可視のスペクトル中に位置づけることのできない色、即ち、赤色としても青色としても他の色としても知覚されない色が存在する。物理的な観点からは、これらの色は、人間の目がいずれの支配的な色も知覚しない複数波長の混合から生じたものか、あるいは、重要でない広きにわたる視感度から生じたものである。これらの色は白色、グレー(灰色)、黒色、及び色名のない不定色、及びグレーカラーと称される色を含む。人間の観測者の観点からは、この種の色について最重要かつ最も容易に覚えられる情報は、この色が明るいか暗いかである。従って、この第2のクラスの色についての最重要な索引付けデータは、視感度(ルミノシティ)を精度良く特徴付けるパラメータ、即ち明度(ブライトネス、輝度)のレベルである。明度レベルは、マンセル、HSL(Hue(色相)、HSB等のような通常の色系中で視感度を特徴付けるパラメータを参照し、従来技術では一般に、「明るさ(ブライトネス)」、「明度(ライトネス)」、「輝度(ルミナンス)」または「値」と称される。
従って、グラフィック要素の色属性は第1に、色属性の一色または複数色の多次元表現を用いることによって決まる。こうした多次元表現は、あらゆる可能な色または色調(ニュアンス)を精度良く特徴付け、再生することを可能にする。例えば、従来のコンピュータシステムの一部は、1600万色を処理することができる。通常の色の多次元座標表現は、従来技術において多数知られており、この初期段階で役立てることができる。既存の色表現を見れば、常に少なくとも三色のパラメータが含まれる。Adobe PhotoShop 5.5(登録商標)のような標準的な画像処理ソフトウェア・アプリケーション中で利用可能な一部の周知の色表現は、次の通りである:
色相、彩度、及び明度(HSB)
赤色(レッド)、緑色(グリーン)、及び青色(ブルー)(RGB:Red, Green, Blue)
シアン、マゼンタ、黄色(イエロー)、及び黒色(ブラック)(CMYK;Cyan, Magenta, Yellow, Black)。
色相、彩度、及び明度(HSB)
赤色(レッド)、緑色(グリーン)、及び青色(ブルー)(RGB:Red, Green, Blue)
シアン、マゼンタ、黄色(イエロー)、及び黒色(ブラック)(CMYK;Cyan, Magenta, Yellow, Black)。
HSB系が好適である、というのは、この系はわかりやすく、そのパラメータは、多くの場合に、色を見る観測者が知覚可能な特徴に対応する。色相は色スペクトル中の特定位置を表わす。彩度は、その色の深度を表わし、即ち、その色が全色であるか淡色であるかを表わす。最後に、明度はその色が明るい色か暗い色かを定める。
従って、色の省略表現を生成することができ、この表現はグラフィック要素の索引付けデータとして記憶される。この省略表現は、第1条件が満たされる場合には色相レベルであり、第2条件が満たされる場合には明度レベルである。この第1条件は、好適には上記色の第1クラスと一致すべきであり、この第2条件は、好適には上記色の第2クラスと一致すべきである。従って、色の多次元表現は単一のパラメータに変換される。前記第1及び第2条件は、色空間全体を色相軸及び明度軸上に写像(マッピング)または射影(投射、プロジェクション)するように設計することができる。好適例では、この射影は、色空間内の各点が色相及び明度の唯一のレベルに対応するように設計することができる。さらに、色相軸及び明度軸を単一の複合軸に統合して、色空間全体を単一軸上に射影することができ、この単一軸はあらゆる色についての重要な情報を表現する。こうした合成軸は、すべての色を分類して単一リストにし、これらの色を視覚的重要性に応じて順序付けするために用いることができる。
色の表現を1つの色空間から他の色空間に変換するための変換技法は従来技術において既知である。これらの技法は、色相レベルまたは明度レベルを、従来のあらゆる色空間内の座標組から計算するために用いることができる。この計算は、HSB色空間から始める際に最小となることは明らかである。結果的な索引付けデータは、短くかつ有意であるという利点を共に有し、このため、このデータはグラフィック要素を効率的に分類または検索する働きをすることができる。
請求項2に規定した方法は、色空間の所定領域を、以上で規定した第1及び第2の経験的な色クラスを、満足なレベルの精度で具体化するように設計することができる、という利点を有する。これらの経験的なクラスの、色空間内の領域上へのマッピングは、HSB色空間を用いる際には特に単純である。しかし、色自体の特性以上のこと、例えば隣接画素の色を考慮に入れるような、より複雑な条件を用いることもできる。
請求項3に規定する方法は、一般にトゥルーカラーとして知覚される色の、単純で一般に受け入れられる定義を提供する。色空間の残りの部分は、前記第2の経験的なクラスの色として考えることが有利である。
請求項4に規定する方法は、前記生成される索引付けデータが、グラフィック要素中の色の分布を凝縮フォーマットで特徴付ける。例えば、この索引付けデータは、各画素をグレーカラーまたはトゥルーカラーのいずれかとしてカウントした複合色ヒストグラムの形を採ることができる。こうしたヒストグラムは一次元で表わすことができる。
請求項5に記載の方法は、色相のスペクトル及び明度のスペクトルを、一般的な色の種類、即ち、赤色、黄色、緑色、黒色、白色、当のような通常の名前を与えられている色のグループに従って区分することができる、という利点を有する。従って、色相及び明度のスペクトルの所定の区分と組み合わせた色相及び明度から成るグループからの索引付けデータの選択は、色空間全体を単一組の一般的な言語ベースの色カテゴリ上に写像または射影することを可能にする。好適例では、色空間内の各点が唯一の一般的カテゴリ上に射影されるように、この射影を設計することができる。請求項5に従って分類した索引付けデータにより、単純かつ効率的な探索方法を実現することができ、この方法では、質問が言語の通常の用語に対応し、そして、単に適正なカテゴリをよく見ることによって、こうした質問をより複雑で抽象的なデータに変換する必要なしに、こうした質問に応答してグラフィック要素を検索する。
請求項6に規定する方法は、グラフィック要素の集積をリストまたはアレイ中に記憶して、その後のグラフィック要素の検索及びランク付けに役立てることができる、という利点を有する。例えば、前記色属性は、グラフィック要素中の平均色または支配的な色とすることができる。グラフィック要素は、単一の色に従って、行及び列を有するアレイ中に記憶することができ、各行または各列はグラフィック要素から成り、これらのグラフィック要素の索引付けデータは、色相または明度の所定区分内に入る。探索方法において索引付けデータを用いる際には、この探索の結果は索引付けデータの記憶に従って表示することができる。索引付けデータは、前記質問を入力する前に記憶することができるので、検索の時点では、実質的な計算は含まれない。この記憶は視覚的な意味を持つ、というのは、前記リスト中のグラフィック要素の順序、あるいは前記アレイ中の行の順序または列の順序は、色相または明度のレベルの増加または減少に対応するからである。従って、所望の色に基づくグラフィック要素の検索は、一致する部分集合の一致部分を選択することによって、容易かつ迅速に実行することができる。
本発明は、上述した索引付け方法を用いてグラフィック要素の集積を探索する探索方法も提供し、この探索方法は、前記集積の各グラフィック要素を前記索引付け方法で索引付けするステップと、少なくとも1つの所望色を指定する少なくとも1つの入力を受けるステップと、前記少なくとも1つの入力に対応する探索質問を決定するステップとを具え、前記探索質問は、前記少なくとも1つの所望色がトゥルーカラーを含む場合には、色相のレベルまたは範囲に関し、前記少なくとも1つの所望色がグレーカラーを含む場合には明度のレベルまたは範囲に関し、前記探索方法はさらに、前記グラフィック要素の索引付けデータを解析して、前記探索質問とほぼ一致する少なくとも1つの色相または明度のレベルを具えた索引付けデータを有するグラフィック要素を選択するステップと、前記選択したグラフィック要素を前記集積から検索するステップを具えている。
この探索方法により、タイトル(題目)、番号、または他の英数字情報ではなく、頭にある視覚情報のみを有するグラフィック要素を含むグラフィック要素または情報単位の集積を探索することができる。この探索プロセスは迅速に実行することができる、というのは、グラフィック要素の索引付けに関与する時間のかかる計算、例えばカラー画像中の色の統計的分布の評価は、探索の前に実行され、質問毎に繰り返す必要がなく、前記索引付けデータ自体は一層凝縮されるからである。さらに、前記質問は1つまたはいくつかの所望色に基づくので、質問を入力するためのユーザ・インタフェースを単純で使い勝手のよいものにすることができる。
請求項8に規定する方法は、質問の明確記述を非常に直感的に行うことができるという利点を有する、というのは、ユーザは、カラースケール(色尺度)中のカラー部分と所望画像中の色との類似性を頼りに、最も類似したカラー部分を選択することができるからである。
前記カラー部分は、一般的な色の種類、例えば緑色、青色、赤色、黄色、黒色、白色、等に対応させることができる。従って、前記ユーザ・インタフェースは非常に単純にすることができる。代案の好適例では、前記カラー部分を、グラフィック要素の索引付けデータ間における色相または明度のレベルの分布の関数として規定する。このことは、前記カラー部分の色を、索引付けしたグラフィック要素中に見出すことのできる平均色または支配的な色に非常に類似させることができる、という利点を有する。
請求項9に規定する方法は、色相または明度の所定範囲を選択するためのフィルタとしてマーカーを使用することができる、という利点を有する。少数の位置を設ける際には、索引付けデータで前処理演算を実行して、その後のグラフィック要素の検索を加速することができる。前記マーカーは、例えば前記カラースケール上に重ねた矢印または正方形のウィンドウのようなあらゆる形態にすることができる。他の特定の好適例では、前記マーカーが前記カラースケールに沿って連続的に移動することができる。このことは、前記マーカーのより円滑に移動して、前記複合カラースケール上に示されるあらゆる色を精度良く選択することを助長する。
請求項10に規定する方法により、前記複合カラースケールの設計が、複数のグラフィック要素間における、それぞれのグラフィック要素の単一の色属性の分布の概観を与える。従って、カラースケール中のあるカラー部分の長さは、当該グラフィック要素に対応する索引付けデータが当該カラー部分によって表わされる所定範囲内に入るグラフィック要素の数に比例する。このことを行うために、カラー部分に対応するそれぞれの範囲及び/またはカラー部分の長さを、グラフィック要素の集積に適応させることができる。例えば、各カラー部分を同じ長さにし、ほぼ同数のグラフィック要素が、その単一の色属性について各カラー部分に関連付けられるように、それぞれのカラー部分に対応する範囲を規定することができる。さらなる利点は、前記カラースケールが、少なくとも1つのグラフィック要素の索引付けデータと一致する明度または色相のレベルまたは範囲に対応するカラー部分のみを含む、ということにある。従って、前記複合カラースケールのすべての部分が有用であり、前記複合カラースケールのディスプレイ上でのサイズ(長さ、大きさ)が最適化される。
本発明は、グラフィック要素に索引付けする索引付け装置も提供し、この索引付け装置は、グラフィック要素の色属性を、この色属性の少なくとも一色に対する座標組を多次元色空間内に設けることによって定め、前記少なくとも一色の前記座標組を、前記少なくとも一色が第1条件を満足する場合には色相のレベルに落とし、前記少なくとも一色が第2条件を満足する場合には明度のレベルに落とす色分析器と、前記グラフィック要素に索引付けするための索引付けデータを記憶する記憶手段とを具え、前記索引付けデータは、前記色属性の前記少なくとも一色から生じる色相レベル及び/または前記色属性の前記少なくとも一色から生じる明度レベルを含む。
本発明は、グラフィック要素の集積を探索する探索装置も提供し、この探索装置は:
以上に規定した、前記集積の各グラフィック要素に索引付けする索引付け装置と、
少なくとも1つの所望色を指定する少なくとも1つの入力を受け、前記少なくとも1つの入力に対応する探索質問を決定するユーザが操作可能な入力手段とを具え、前記探索質問は、前記少なくとも1つの所望色がトゥルーカラーを含む場合には色相のレベルまたは範囲に関し、前記少なくとも1つの所望色がグレーカラーを含む場合には明度のレベルまたは範囲に関し、
前記探索装置はさらに、前記グラフィック要素の索引付けデータを解析して、前記探索質問とほぼ一致する色相または明度のレベルを少なくとも1つ含む索引付けデータを有するグラフィック要素を選択し、前記選択したグラフィック要素を前記集積から検索するグラフィック要素検索コントローラを具えている。
以上に規定した、前記集積の各グラフィック要素に索引付けする索引付け装置と、
少なくとも1つの所望色を指定する少なくとも1つの入力を受け、前記少なくとも1つの入力に対応する探索質問を決定するユーザが操作可能な入力手段とを具え、前記探索質問は、前記少なくとも1つの所望色がトゥルーカラーを含む場合には色相のレベルまたは範囲に関し、前記少なくとも1つの所望色がグレーカラーを含む場合には明度のレベルまたは範囲に関し、
前記探索装置はさらに、前記グラフィック要素の索引付けデータを解析して、前記探索質問とほぼ一致する色相または明度のレベルを少なくとも1つ含む索引付けデータを有するグラフィック要素を選択し、前記選択したグラフィック要素を前記集積から検索するグラフィック要素検索コントローラを具えている。
本発明は、データ記憶装置を内蔵し、以上に規定した探索装置を具えた民生用電子製品も提供する。例として、こうした民生用電子製品は、移動電話機、オーディオ及び/またはビデオプレーヤー、ラップトップコンピュータ、セットトップボックス、等とすることができる。
本発明のこれら及び他の態様は、以下の図面を参照した実施例の説明より明らかになる。
(実施例の詳細な説明)
図1に、本発明の索引付け及び探索方法を実現するのに適したコンピュータシステムの一実施例を示す。画像探索システム1は、ディスプレイ3と動作的に結合されたプロセッサ2、マウス等のようなポインティングデバイス(指示入力装置)4、キーボード5、マスストレージ(大容量記憶)装置6、及びアドレス指定可能なメモリ7を具えている。マスストレージ装置6は、グラフィック画像及びディジタル化した写真を含む画像を(半)永久的に記憶する。マスストレージ装置6内では、画像を情報単位データベース8中に記憶することができ、このデータベース中では情報単位を画像自体とすることも、画像を含むより複雑なオブジェクトとすることもできる。本発明の実施例では、情報単位データベース8が音楽アルバム・データベースであり、このデータベース中では、各情報単位が次のフィールドを含む:アルバムのタイトル、アーチスト(演奏家)名、オーディオトラック(あらゆる適切なオーディオファイル・フォーマット、例えばMP3)、及びカバー画像(あらゆる適切な画像ファイル・フォーマット、例えばJPEG)。カバー画像フィールドは、アルバムのカバーのディジタル画像を含む。
図1に、本発明の索引付け及び探索方法を実現するのに適したコンピュータシステムの一実施例を示す。画像探索システム1は、ディスプレイ3と動作的に結合されたプロセッサ2、マウス等のようなポインティングデバイス(指示入力装置)4、キーボード5、マスストレージ(大容量記憶)装置6、及びアドレス指定可能なメモリ7を具えている。マスストレージ装置6は、グラフィック画像及びディジタル化した写真を含む画像を(半)永久的に記憶する。マスストレージ装置6内では、画像を情報単位データベース8中に記憶することができ、このデータベース中では情報単位を画像自体とすることも、画像を含むより複雑なオブジェクトとすることもできる。本発明の実施例では、情報単位データベース8が音楽アルバム・データベースであり、このデータベース中では、各情報単位が次のフィールドを含む:アルバムのタイトル、アーチスト(演奏家)名、オーディオトラック(あらゆる適切なオーディオファイル・フォーマット、例えばMP3)、及びカバー画像(あらゆる適切な画像ファイル・フォーマット、例えばJPEG)。カバー画像フィールドは、アルバムのカバーのディジタル画像を含む。
メモリ7は、プロセッサ2を制御して、図8〜10を参照して説明する画像の索引付け方法、及び図2〜7を参照して説明する探索方法を実行するソフトウェア・アプリケーション9を記憶する。これらの画像探索方法は、ユーザがコンピュータシステムと対話して、特定の色属性を有する1つまたはいくつかの画像を検索して表示することを可能にする。画像探索ソフトウェア・アプリケーション9は、データベース8中の画像を分析して、この画像に関連する画像索引付けデータを含む画像索引付けファイル13を作成する。画像索引付けファイル13は、画像と共に記憶することも別個に記憶することもできる。ユーザ・インタフェース・コントローラ11は、ユーザ・インタフェース・スクリーンをディスプレイ3上に提供し、ポインティングデバイス4及びキーボード5からの入力を監視して、ユーザ・インタフェースにおける探索質問を作成する。この探索質問は画像検索兼表示コントローラ10に渡され、画像検索兼表示コントローラ10は、前記質問に一致する画像を検索してディスプレイ3上に表示する。ディスプレイ3は従来設計のものであり、画像検索兼表示コントローラ10によって供給される画像を表示するのに十分な空間及び色解像度を有すべきである。
ここで図8〜10を参照しながら、画像分析器12によって実現され、画像索引付けファイル13を生成する索引付け方法をいくつか説明する。
第1実施例によれば、各画像の索引付けは平均色に基づく。従って、次のステップを実行する:
a)画像中の各画素の色の、色相、彩度、及び明度の座標を計算する。この画像中の平均色相、平均彩度、及び平均明度を計算する。平均色相は、すべての画素の色相レベルを累積加算して、この総和を画素数で除算する。平均彩度及び平均明度も同様に計算することができる。
b)図8に、HSB色空間を一定の色相値で切断した断面図、及びHSB色空間80の、2つの所定領域81及び82への区分を示す。この区分は、平均色を、人間の観測者が一般に知覚して述べる方法に関して特徴付ける働きをする。図8では、領域81は一般にトゥルーカラー、即ち虹の色(電磁波の可視スペクトル)として知覚される色を含む。領域82は、色空間80の残りの部分を包含し、一般にグレーカラーとして知覚される色、即ち、虹の色と近い関係のないすべての色を含み、白色、グレー(灰色)、及び黒色を含む。
a)画像中の各画素の色の、色相、彩度、及び明度の座標を計算する。この画像中の平均色相、平均彩度、及び平均明度を計算する。平均色相は、すべての画素の色相レベルを累積加算して、この総和を画素数で除算する。平均彩度及び平均明度も同様に計算することができる。
b)図8に、HSB色空間を一定の色相値で切断した断面図、及びHSB色空間80の、2つの所定領域81及び82への区分を示す。この区分は、平均色を、人間の観測者が一般に知覚して述べる方法に関して特徴付ける働きをする。図8では、領域81は一般にトゥルーカラー、即ち虹の色(電磁波の可視スペクトル)として知覚される色を含む。領域82は、色空間80の残りの部分を包含し、一般にグレーカラーとして知覚される色、即ち、虹の色と近い関係のないすべての色を含み、白色、グレー(灰色)、及び黒色を含む。
領域81は彩度の下限境界83を有する。実際に、画像の平均彩度が非常に低い際には、平均色相は、画像を見る観測者が知覚するものにはほとんど関係しない。彩度がちょうど0である、即ち白黒画像の場合には、色相は無意味である。この場合には、画像中の平均色は人間の観測者にとってはグレーカラーであり、このため、この平均色は、色相レベルとは無関係に明度の平均レベルによって決まる。例えば、彩度の下限境界を10〜25%の間に定めることができる。図8に示す好適な実施例では、この彩度の下限境界は0〜255のスケール(尺度)上で32である。
領域81は明度の下限境界84を有する。実際に、明度が0に近いか0である際に、画像中の平均色は、色相及び彩度のレベルとは無関係にほとんど黒色か黒色として知覚される。例えば、この明度の下限境界は5〜25%の間かより低い値に選択することができる。図8に示す好適な実施例では、この明度の下限境界は0〜255のスケール上で16である。
領域81は明度の上限境界85も有する。実際に、明度が最小または最大に近い際に、画像中の平均色は、色相及び彩度のレベルとは無関係にほとんど白色か白色として知覚される。例えば、この明度の上限境界は75〜95%の間で選択することができる。図8に示す好適例では、この明度の上限境界は0〜255のスケール上で248である。
c)平均色が領域81に属する場合には、この平均色の色相レベルのみを、画像の索引付けデータとして索引付けファイル13中に記憶する。平均色が領域82に属する場合には、この平均色の明度レベルのみを、画像の索引付けデータとして索引付けファイル13中に記憶する。
c)平均色が領域81に属する場合には、この平均色の色相レベルのみを、画像の索引付けデータとして索引付けファイル13中に記憶する。平均色が領域82に属する場合には、この平均色の明度レベルのみを、画像の索引付けデータとして索引付けファイル13中に記憶する。
従って、データベース8中のすべての画像について、単一の索引付けデータが得られる。この単一の索引付けデータは、画像を視覚的重要性に応じて分類して例えば単一リストにし、画像を単純な方法で検索するために役立てることができる。
第2実施例によれば、各画像の索引付けは色の統計的分布に基づく。従って、次のステップを実行する:
a)画像の各画素の色の色相、彩度、及び明度の座標を計算する。
b)画像の画素毎に、この画素が領域81に属するか領域82に属するかを判定する。
c)図9に示すように、画像の複合ヒストグラムを生成し、このヒストグラムは、色相の全スペクトルを表わす半軸87及び明度の全スペクトルを表わす半軸88を含む。例えば、色相レベル及び明度レベルを、0〜255の1バイトの整数として表現する。領域81に属する画素は、その明度及び彩度のレベルとは無関係にカウントして、半軸87上の垂直方向のバー(棒グラフ)に積み上げる。領域82に属する画素は、その色相及び彩度のレベルとは無関係にカウントして、半軸88上の垂直方向のバーに積み上げる。
d)複合色ヒストグラム86を、前記画像の索引付けデータとして索引付けファイル13中に記憶する。複合色ヒストグラム86は、画像中のすべての色を単一の横軸上で表現するという利点を有する。複合色ヒストグラム86は、画像中における優勢の度合いに従って色を分類するために役立てることができる。半軸87及び88の分解能は、色の分布の重要なパターンをぼかさないように、過度に高くすべきでない。図9に示すヒストグラムは、純然たる例示目的で画素のカウント数の相対値を示す。
a)画像の各画素の色の色相、彩度、及び明度の座標を計算する。
b)画像の画素毎に、この画素が領域81に属するか領域82に属するかを判定する。
c)図9に示すように、画像の複合ヒストグラムを生成し、このヒストグラムは、色相の全スペクトルを表わす半軸87及び明度の全スペクトルを表わす半軸88を含む。例えば、色相レベル及び明度レベルを、0〜255の1バイトの整数として表現する。領域81に属する画素は、その明度及び彩度のレベルとは無関係にカウントして、半軸87上の垂直方向のバー(棒グラフ)に積み上げる。領域82に属する画素は、その色相及び彩度のレベルとは無関係にカウントして、半軸88上の垂直方向のバーに積み上げる。
d)複合色ヒストグラム86を、前記画像の索引付けデータとして索引付けファイル13中に記憶する。複合色ヒストグラム86は、画像中のすべての色を単一の横軸上で表現するという利点を有する。複合色ヒストグラム86は、画像中における優勢の度合いに従って色を分類するために役立てることができる。半軸87及び88の分解能は、色の分布の重要なパターンをぼかさないように、過度に高くすべきでない。図9に示すヒストグラムは、純然たる例示目的で画素のカウント数の相対値を示す。
第3実施例によれば、画像中の色の分布を、所定の一般的な色の種類に従って分類する。従って、色相のスペクトルを、所定の6つの色相のセグメントに区分し、これらのセグメントは次の一般的なトゥルーカラーの種類に対応する:赤色(レッド)、オレンジ(橙)色、黄色(イエロー)、緑色(グリーン)、青色(ブルー)、及び紫色(パープル)。これらのセグメントの定義を表1に総括する。明度のスペクトルは、所定の3つの明度のセグメントに区分し、これらのセグメントは次の一般にグレーカラーと称する種類に対応する:白色(ホワイト)、グレー(灰色)、及び黒色(ブラック)。これらのセグメントの定義を表1に総括する。表1において、Bは明度レベルを表わし、Hは色相レベルを表わす。すべてのレベルは0〜255のスケール上で測る。
第3実施例では、複合色ヒストグラムを第2実施例と同様の方法で生成する。しかし、図10に示すように、半軸87及び88の分解能は、前記所定セグメント数に一致する。従って、この複合色ヒストグラムは、色空間の領域82に属する画素については3つのカウント値(またはバー)を有し、色空間の領域81に属する画素については7つのカウント値(またはバー)を有する。なお、一般に赤色と称する種類は2本のバーを含む。変形例(図示せず)では、一般に赤色と称する種類に対応する2本のバーが併合されるように半軸87を修正する。図10に示す区分された複合色ヒストグラム89は、純然たる例示目的で画素のカウント数の相対値を示す。この区分された複合色ヒストグラムは、計算上のパラメータによって表現される色の統計的分布が、人々が色を簡単に述べるための通常のカテゴリ及び用語に一致する単一組のカテゴリ上に写像される、という利点を有する。区分された複合色ヒストグラム89は、索引付けデータとして索引付けファイル13中に記憶することができる。
本発明の索引付け方法の第4実施例によれば、区分された複合色ヒストグラム89を上述したように生成し、区分された複合色ヒストグラム89中で画素の最大カウント数を有するセグメントを選択することによって、一般的な色の種類であって支配的な色を特定する。ヒストグラム全体を索引付けファイル13中に記憶する代わりに、画像中の一般的な色の種類であって支配的な色、及びこの色に対応するセグメントに入る画素のカウント数または比率のみで画像に索引付けする。ここでも、この単純な索引付けデータを、画像を視覚的重要性に応じて分類して例えばマトリクスにし、画像を単純な方法で検索するために役立てることができる。
色を概略的にトゥルーカラーとして知覚すべき時と、色を概略的に白黒色として、即ちグレーのレベルを知覚すべき時とを区別するために、量的な限界を提案している。この区別は心理的な知覚の問題であるので、他の量的な限界を用いることもできる。さらに、マイクロソフト(登録商標)社によるソフトウェア・アプリケーションであるPowerPoint(登録商標)において使用される色空間に適用した上記量的な限界は、モニター、グラフィックカード、及び色の再生に影響を与えるコンピュータシステムのすべてのソフトウェア及びハードウェア構成要素に応じて修正及び調整することができる。一般的な種類の色を描くために提案されている量的な限界にも同じことが当てはまる。
なお、トゥルーカラーとグレーカラーとの間に明確な限界線を引くことは主観的な知覚の問題であるので、人が異なれば解決法も異なり得る。例えば、非常に淡い色は、一人の人によってはトゥルーカラーとして知覚され、他の人によっては白色として知覚される。この理由により、変形の実施例では、色が色相レベルでの索引付けの条件及び明度レベルでの索引付けの条件を共に満足する遷移領域を規定することができる。この実施例では、この遷移領域に入る画素は、前記複合色ヒストグラムの両方の部分(半軸)においてカウントする。従って、同じ色相の分布を有する2つの画像のうち、より淡い色を有するものは、このヒストグラム中のグレースケールに関係する部分中により多数の画素数を有する。例えば、前記遷移領域(図示せず)は、図8に示す境界83、84及び85を中心線としてそこから両側に張り出すU字帯の形をとる。
図2に、本発明の一般的な実施例による画像探索方法の概要を表わすフローチャートを示す。まず、画像入力ステップ20では、複数の画像を画像探索システム1に入力し、情報単位データベース8中に記憶して探索プロセス中に使用する。例えば、これらの画像を、ディジタイザでディジタル化することによって、または通常のグラフィックデザイン・アプリケーションにおいて構図にすることによって、あるいはリモートコンピュータまたはディジタルカメラのような他の装置にダウンロードすることによって、情報単位データベース8中に入力する。上述したように、これらの画像はより複雑なデータ構造、例えばディジタル化された音楽アルバムの一部とすることができる。これらの画像は、通常の圧縮技法によって圧縮して、記憶容量の要求を低減することができる。画像分析ステップ21では、画像分析器12が各画像を分析し、索引付けデータを生成して、この索引付けデータは画像索引付けファイル13中に記憶される。随意的な画像分類ステップ22では、分析器12が画像の索引付けデータを用いて、画像をその色属性の関数として分類し、これにより、その後の画像の検索が加速される。ユーザ・インタフェース・スクリーン生成ステップ23では、ユーザ・インタフェース・コントローラ11がユーザ・インタフェース・スクリーンを生成し、このスクリーンはディスプレイ3上に表示される。質問入力ステップ24では、ユーザがポインティングデバイス4またはキーボード5及び前記ユーザ・インタフェース・スクリーンによって、質問を画像探索装置に入力する。画像検索ステップ25では、画像検索兼表示コントローラ10が前記索引付けデータを用いて、前記質問にほぼ一致する画像をデータベース8から検索する。オプションとして、検索した画像の各々をランク付けするための得点を計算することができる。画像表示ステップ26では、検索した画像をディスプレイ3上に表示して、人間の観測者によるさらなる識別を行う。
以下に、前記探索方法の詳細な実施例を説明する。
第1実施例では、画像の索引付け及び探索は平均色に基づく。質問を作成し、図3に、検索した画像を可視化するためのユーザ・インタフェース・スクリーンを示す。
第1実施例では、画像の索引付け及び探索は平均色に基づく。質問を作成し、図3に、検索した画像を可視化するためのユーザ・インタフェース・スクリーンを示す。
画像分析ステップ21では、画像分析器12が各画像を、本発明の索引付け方法の第1実施例に従って分析する。画像中の平均色に関連する明度レベルまたは色相レベルを索引付けファイル13中に記憶する。
画像分類ステップ22では、画像分析器12が、前記索引付けデータに従って画像を2つの部分集合に分類し、即ち、前記索引付けデータが色相レベルである画像を第1部分集合に分類し、前記索引付けデータが明度レベルである画像を第2部分集合に分類する。各部分集合中では、画像をその索引付けデータのレベルに従ってランク付けして、例えば昇順または降順のリストにする。各部分集合の構成及び内部的順序を記述する集積指標(インデックス)を画像索引付けファイル13中に記憶する。
ユーザ・インタフェース・スクリーン生成ステップ23では、ユーザ・インタフェース・コントローラ11が、ユーザ・インタフェース・スクリーン30上に表示される複合カラー・スライダーバー31を生成する。複合カラー・スライダーバー31は、色相レベルに関する質問の入力用のトゥルーカラー・スケール32、明度レベルに関する質問の入力用のグレーカラー・スケール33、トゥルーカラー・スケール32及びグレーカラー・スケール33に沿って移動可能なカーソル34、及びそれぞれカーソル34を上向き及び下向きに移動するための制御ボタン35及び36から成る。
トゥルーカラー・スケール32は、色スペクトルを次第に変化する形で表現する直線状の帯であり、場合によってはいくつかのギャップ(間隙)を有する。トゥルーカラー・スケール32は、隣接する複数の一様なカラー部分32aから成る。各部分32aはトゥルーカラーを有し、このトゥルーカラーはそれぞれの色相レベルを有する。部分32aはその色相レベルに従って順序付けされ、例えば上向きに増加し下向きに減少する順序に、あるいは他の方法で並べられる。従って、トゥルーカラー・スケール32は虹のように見える。
第1実施例では、トゥルーカラー32を例えば次のステップにより生成する:
(a) トゥルーカラー・スケール32の、ディスプレイ3上の画素数で表わしたプリセット(事前設定)長、例えばLを、前記第1部分集合中の画像数、例えばNで割る。商R=L/Nは、画像当りの色スケールの長さを表わす。
(b) 商Rが1より大きければ、画像毎に1つのカラー部分32aを生成し、このカラー部分は、当該画像に対応する索引付けデータにおける色相レベルに等しい色相レベルを有する。
(c) 商Rが1より小さければ、各カラー部分32aは前記第1集合からのいくつかの画像に一致する。例えば、カラー部分32aは1画素分の長さに生成される。ランク付けされた画像の前記第1部分集合は実質的に、各々が[1/R]個または[1/R]+1個の画像を含むグループに区分される。1つのカラー部分32aは前記グループ毎に生成され、当該グループ内の画像の索引付けデータから生じる色相レベルを有する色を与えられる。例えば、カラー部分32aの色相レベルは、前記グループ内の画像の索引付けデータの平均値、最高値、または最低値として計算することができる。しかし、索引付けデータのみを用いるので、前記第1部分集合中の平均彩度及び平均明度は、トゥルーカラー・スケール32の生成に当たり考慮に入れられない。トゥルーカラー・スケール32の全体を通した明度及び彩度は、各カラー部分中にどの色が示されているかについてのあいまい性を回避する観点で(示されている色があいまいにならないように)設定すべきである。例えば、彩度は対応するスペクトルの上部に設定し、明度は対応するスペクトルの中央部に設定することができる。
(a) トゥルーカラー・スケール32の、ディスプレイ3上の画素数で表わしたプリセット(事前設定)長、例えばLを、前記第1部分集合中の画像数、例えばNで割る。商R=L/Nは、画像当りの色スケールの長さを表わす。
(b) 商Rが1より大きければ、画像毎に1つのカラー部分32aを生成し、このカラー部分は、当該画像に対応する索引付けデータにおける色相レベルに等しい色相レベルを有する。
(c) 商Rが1より小さければ、各カラー部分32aは前記第1集合からのいくつかの画像に一致する。例えば、カラー部分32aは1画素分の長さに生成される。ランク付けされた画像の前記第1部分集合は実質的に、各々が[1/R]個または[1/R]+1個の画像を含むグループに区分される。1つのカラー部分32aは前記グループ毎に生成され、当該グループ内の画像の索引付けデータから生じる色相レベルを有する色を与えられる。例えば、カラー部分32aの色相レベルは、前記グループ内の画像の索引付けデータの平均値、最高値、または最低値として計算することができる。しかし、索引付けデータのみを用いるので、前記第1部分集合中の平均彩度及び平均明度は、トゥルーカラー・スケール32の生成に当たり考慮に入れられない。トゥルーカラー・スケール32の全体を通した明度及び彩度は、各カラー部分中にどの色が示されているかについてのあいまい性を回避する観点で(示されている色があいまいにならないように)設定すべきである。例えば、彩度は対応するスペクトルの上部に設定し、明度は対応するスペクトルの中央部に設定することができる。
上述した方法で生成されたトゥルーカラー・スケール32は、前記第1部分集合中の画像の集積の概要を与え、画像のトゥルーカラー・スケール32に沿ったほぼ均等な分布を保証し、カーソル34をトゥルーカラー・スケール32に沿って移動させる際に、検索した画像のリストのより円滑なスクロールを可能にする。色スペクトル中の、前記第1部分集合中のどの画像とも一致しない部分は表わされない。従って、トゥルーカラー・スケール32は、色相の突発的な遷移をいくつか含む。
上述したトゥルーカラー・スケール生成方法では、各カラー部分に最小の長さを割り当てて、可能な限り精細な色の分解能を得て、ユーザが所望の色を選択するために提供する。しかし、2画素以上の長さを有するカラー部分32aも同様の方法で構成することができる。
グレーカラー・スケール33は、白色から黒色までのグレー・スペクトルを次第に変化する形で表わす直線状の帯であり、場合によってはいくつかのギャップを有する。グレーカラー・スケール33は、隣接する複数の一様なグレーのカラー部分33aから成る。各部分33aはグレーカラーを有し、このグレーカラーはそれぞれの明度レベルを有し、その彩度は0である。部分33aはその明度レベルに従って分類され、例えば上向きに増加し下向きに減少する順序に、あるいは他の方法で並べられる。グレーカラー・スケール33はトゥルーカラー・スケール32と同様の方法で生成され、従って上述したトゥルーカラー・スケールの生成の説明を参照し、説明中で前記第1部分集合の画像を前記第2部分集合の画像に置き換え、色相レベルのパラメータを明度レベルに置き換えればよい。
質問入力ステップ24では、ユーザはポインティングデバイス4またはキーボード5を用いて、カーソル34を複合カラー・スライダーバー31上の特定位置に置くことによって、質問を画像探索装置に入力する。ユーザは、カラー部分32a及び33aの外見のみに注目して、所望画像中の平均色を最良に表わすカラー部分32aまたは33aを選択すればよい。より詳細には、カーソル34をトゥルーカラー・スケール32のカラー部分32a上の位置に置けば、この部分32aの色の色相レベルを参照した色相に関する質問が作成される。カーソル34をグレーカラー・スケール33のカラー部分33a上の位置に置けば、この部分33aの色の明度レベルを参照した色相に関する質問が作成される。従って、この質問は、第1実施例では、明度レベルまたは色相レベル以外の情報は含まない。ユーザから見れば、この質問は所望のトゥルーカラーまたはグレーカラーに過ぎない。
画像検索ステップ25では、画像検索兼表示コントローラ10が、データベース8中の前記質問に最良に一致する1つ以上の画像を検索する。ステップ22において得られ索引付けファイル13中に記憶されている集積指標を用いれば、画像検索兼表示コントローラ10は、適切な前記部分集合中のランク付けされた画像のリスト中の適切な順序位置、即ち前記質問に最良に一致する画像の索引付けデータにジャンプして、対応する画像の識別コードまたはアドレス、並びに前記リスト中で隣接する特定数、例えばM個の画像の識別コードまたはアドレスを検索するだけで済む。従って、M個の画像がデータベース8から検索される。
図3に見られるように、画像表示ステップ26では、検索した画像37を、複合カラー・スライダーバー31に平行な一次元リストの形で順に表示し、画像37の平均色は、対応するトゥルーカラー・スケール32またはグレーカラー・スケール33上の色変化の向きに対応して順に変化する。カーソル34がトゥルーカラー・スケール32とグレーカラー・スケール33との間の遷移部分を移動する場合には、前記第1部分集合の端の画像を前記第2部分集合の端の画像に隣接させて表示し、これにより、カーソル34のあらゆる位置に対して連続したリストが表示される。グレーカラー・スケール33はトゥルーカラー・スケール32の上に置くことも下に置くこともできる。
図3に示す例では、M=3、即ち3つの画像37が表示される。各画像37が音楽アルバムのカバーを表現する。アルバムのタイトル及びアーチスト名も、データベース8から検索されて、対応する画像37に隣接した所38に表示される。同時に表示される画像数Mは事前設定するか、あるいはユーザ定義とすることができる。ズームイン・ボタン及びズームアウト・ボタン(図示せず)を設けて、同時に表示される画像数、即ち前記リスト中の一部分を選択することができる。
従って、トゥルーカラーの平均色を有するCDのカバーは、その彩度及び明度とは無関係に、その平均色相レベルによって順序付けされる。これらの値は、CDのカバーの色相順に並べたリスト中でも変化する。トゥルーカラーの平均色を有しないCDのカバー、即ちその平均彩度レベルが低く、かつ/あるいはその平均明度レベルが非常に高いか非常に低いCDのカバーは、その彩度及び色相の正確なレベルとは無関係に、その平均明度レベルによって順序付けされる。すべてのCD/MP3アルバムのカバーが、その平均色に基づいて順序付けされ、一次元リストの形で表示され、このリストはスライダーバー31によって探し見することができる。このスライダーバーは、カバーの色を凝縮されたフォーマットで示して、所望のCDカバーの区分への迅速なジャンプを可能にする。
画像の平均色は領域81に属するが、平均色相レベルは無意味である場合が存在することが判明している。例えば、画像が多くの異なる色を含む際、あるいは限られた一組の色が均等に分布する際にこのことが生じ得る。これらの場合には、これらの画像に、色相の代わりに明度の平均レベルで索引付けすることも賢明である。従って、画像を色相レベルで索引付けすべきか明度レベルで索引付けすべきかを決定する規則は、単なる色空間の領域に関する平均色の位置よりも複雑な条件に基づくものとすることができる。従って。これらのより複雑な条件は、画像中の色の分布を考慮に入れて、多くの異なる色、あるいは限られた一組の色の均等な分布が存在する画像を検出する。こうした条件は、ユーザの試験によって改良することができる。
以下、本発明の探索方法の第2実施例を、図4を参照しながら説明する。
第2実施例では、画像分析ステップ21を、上述した索引付け方法の第2実施例に従って実行する。第2実施例では、画像分類ステップ22は省略する。
図4に見られるように、第2実施例のユーザ・インタフェース・スクリーン40は2本の同一の複合カラー・スライダーバー44及び45を有し、これらは見かけは第1実施例の複合カラー・スライダーバー31に似ている。しかし、複合カラー・スライダーバー44及び45では、グレーカラー・スケール15は既定のスケールであり、黒色から白色までの明度スペクトル全体にわたり、画像中の色の実際の分布とは無関係である。同様に、トゥルーカラー・スケール16も既定のスケールであり、色相のスペクトル全体にわたり、画像中の色の実際の分布とは無関係である。マーカー46及び47は正方形ウィンドウ(窓)の形を有し、両方の複合カラー・スライダーバー44及び45上の色スケールの一部を占める。
質問入力ステップ24では、質問入力は2つのマーカー46及び47の位置に基づく。各マーカーはランニング・フィルタとして動作し、これについては図5を参照して説明する。
図5の上段のグラフは、図4のマーカー46及び47の位置に対応する探索質問の図式的表現である。質問は、グレーカラー・スケール15を表わす部分52及びトゥルーカラー16を表わす部分53から成る複合軸上に位置する2つのフィルタ48及び49の組として表現される。マーカー46及び47の複合カラー・スライダーバー44及び45上の位置が、それぞれフィルタ48及び49の位置を決める。フィルタ48及び49は方形(スクエア)フィルタとして表わされ、フィルタ48全体の重みはフィルタ49全体の重みより大きい。しかし、フィルタ48及び49には異なる形状、例えば急峻な形状を与えて、より高い選択性を得ることができる。
図5では、中段のグラフは画像の複合色ヒストグラム41を表わし、ヒストグラムの部分43は明度のスペクトルに関係し、部分42は色相のスペクトルに関係する。各画像に対応する同様のヒストグラムが索引付けファイル13に記憶される。質問が入力されると、索引付けされた画像毎に、フィルタ48及び49と、対応するヒストグラム41との積が計算され、その結果が2つのピーク50及び51になる。画像をランク付けした得点は、ピーク50及び51の積分(面積)の総計として得られる。図5の図式的表現では、複合色ヒストグラム41の部分42全体にわたる色相レベルは、トゥルーカラー・スケール16に沿った色相レベルと一致し、複合色ヒストグラム41の部分43全体にわたる明度レベルは、グレーカラー・スケール15に沿った明度レベルと一致するものと明らかに仮定することができる。
検索ステップ25では、画像をデータベース8から検索し、この検索は前記ランク付けの最高得点から始めて得点が下がる向きに進める。画像表示ステップ26では、図4に示すように、検索した画像37及びこれに対応するタイトル38を、前記ランク付けの得点に従って並べたリスト中に表示する。従って、質問において選択した色を最大の比率で持つ画像がリストの先頭に表示される。通常のスライダーバー54はリストを上下にスクロールする働きをする。
ユーザ・インタフェース・スクリーン30は、カーソル46及び47の長さを変化させるため、従ってフィルタ48及び49の幅を変化させるための、例えばポテンショメータ(図示せず)の形のセレクタを含むことができる。これにより、ユーザは質問の選択性のレベルを規定することができる。
別な変形例によれば、ユーザ・インタフェース・スクリーン30及び40は、二次的な複合スライダーバー45用のオン/オフ・スイッチ(図示せず)を設けることによって単一のユーザ・インタフェース・スクリーンに統合することができ、このオン/オフ・スイッチは、コンピュータシステムを、探索方法の第1実施例に相当する動作モードから探索方法の第2実施例に相当する動作モードに切り換えさせる。
上述した第2実施例では、複合カラー・スライダーバー44、45間に階層が存在する、というのは、フィルタ48にはフィルタ49よりも大きい重みが与えられているからである。代案の実施例では、等しい重みを用いて、これにより、複合カラー・スライダーバー44及び45は共に、全く同等の機能を与えられる。
理論的には、カーソル46及び47は、複合カラー・スライダーバーのグレーカラー・スケール上及びトゥルーカラー・スケール上の両方に重なるように配置することができる。これに対応する質問は、色相に関する質問と明度に関する質問とに分けて処理することができるが、こうした質問はあまり意味がない。従って、これら2つのカーソルについて、こうした重複位置を禁止して、カーソルが2つの色スケール間の境界をジャンプして、トゥルーカラー・スケール16上の端位置からグレーカラー・スケール15上の端位置に突発的に移動することが好ましいことがある。
以下、本発明の探索方法の第3実施例を、図6を参照しながら説明する。画像分析ステップ21では、画像分析器12が、索引付け方法の第4実施例に従って各画像を分析し、ここで画像の索引付けデータは、一般的な色の種類に対応する色相または明度のセグメントのうち支配的なものを規定し、この画像中の画素の最高比率に一致する。
画像分類ステップ22では、各画像を、一般的な色の種類に対応するカテゴリに分類する。
ユーザ・インタフェース・スクリーン60は、一方の側の垂直方向に区分された複合カラー・スライダーバー61、画像表示領域62、検索した画像37をスクロールするための水平スライダーバー63、及び同時に表示する行数及び列数を選択するためのビューセレクタ64を含む。
区分された複合カラー・スライダーバー61は、上述した一般的な色毎に有色キー61aを具えている。キー61aの色は、前記カテゴリが明確に識別されるように設定する。図6では、最上部から最下部までのキーの順序は表1の順序に対応する。しかし、カテゴリが空であれば、対応する有色キーをなくすことができる。
質問ステップ24では、カーソル65を垂直方向に移動させて、ビューセレクタ64の状態に応じて1つのキー61aまたは隣接する複数のキー61aを選択する。例えばポインティングデバイス4の助けを借りてカーソル65を移動させる際に、カーソル65は各キー61aに対応する離散位置のみにジャンプすることができる。検索ステップ25では、選択された各キー61aがフィルタとして動作し、これにより、対応するカテゴリに分類されている画像が検索されて行をなして表示される。各行内では、多くの方法で画像を分類することができ、例えばランダムに、あるいは前記支配的な区分に入る画素の正確な比率に従って、あるいは他のパラメータに従って分類する。例えば、ユーザが分類パラメータを選択するためのラジオボタン(選択切り替えボタンの画像表示、図示せず)をユーザ・インタフェース・スクリーン60に含めることができる。行内で画像を分類するために必要な、画像に対応する索引付けデータは、好適には画像分析ステップ21中に集めて、検索の時点では実質的な計算が必要ないようにすべきである。
ビューセレクタ64は3つのラジオボタンを有する。図6では、ボタン64cを押して、これにより3行の画像が同時に表示され、ここで画像は9つまでである。この場合には、カーソル65は3キー分の長さを有する。ボタン64aの押すことにより、コンピュータシステムは一度に1つの画像を表示する。この場合には、カーソル65は1キー分の長さにサイズ変更される。水平スライダーバー63は、ユーザが画像37の行全体をスクロールすることを可能にする。ボタン64bを押すことにより、コンピュータシステムは一度に4つまでの画像を2行に表示する。この場合には、カーソル65は2キー分の長さにサイズ変更される。前記カテゴリは既定であるので、各行は異なる数の画像を含み得る。従って、一部の行の端には空白が存在し得る。選択したカテゴリの画像は、行の代わりに列の形で表示することもできる。
以下、本発明の探索方法の第4実施例を、図7を参照しながら説明する。この第4実施例は、探索方法の第2及び第3実施例を組み合わせたものである。画像分析ステップ21は、索引付け方法の第3実施例に従って実行し、これにより、図10に示すものと同様の区分された複合色ヒストグラムが、画像毎の索引付けデータとして得られる。分類ステップ22は省略する。
ユーザ・インタフェース・スクリーン70は、第3実施例の区分された複合カラー・スライダーバー61と同様の、2本の垂直に区分された複合カラー・スライダーバー71及び73を含み:
区分された複合カラー・スライダーバー71は有色キー71a及びカーソル72を有し、これらは一度に1つのカテゴリを選択するためのサイズにし、区分されたスライダーバー73は有色キー73a及びカーソル74を有し、これらは一度に1つのカテゴリを選択するためのサイズにする。
区分された複合カラー・スライダーバー71は有色キー71a及びカーソル72を有し、これらは一度に1つのカテゴリを選択するためのサイズにし、区分されたスライダーバー73は有色キー73a及びカーソル74を有し、これらは一度に1つのカテゴリを選択するためのサイズにする。
質問ステップ24では、2つのカーソル72及び74の位置に基づいて質問が入力される。各カーソルは、探索方法の第2実施例と同様にランニング・フィルタとして動作する。各画像のランク付け得点も、この実施例と同様に計算する。これら2つの実施例の主な相違は、本実施例では、画像の複合色ヒストグラムが明度及び色相の既定の粗い区分に対応し、そしてカーソル72及び74は、この区分に対応する少数の既定の位置を有する、ということである。従って、カーソル72及び74に許容される異なる位置から生じるフィルタは既定であり、画像の区分された複合色ヒストグラムに各可能なフィルタを乗算した積は、先に計算し積分することができる。従って、与えられた質問に対応するランク付けの得点の計算は、ごくわずかな計算、即ち画像当り2つの部分得点の総計を必要とするに過ぎない。水平スライダーバー75は、検索した画像37の全体をスクロールすることを可能にする。画像37に対応するタイトル38は、当該画像37の下に表示される。
質問が同じカテゴリの二重選択から成る場合には、当該カテゴリが現実に支配的である画像に焦点を合わせるべく、この質問を特別な形に解釈する。例えば、他のカテゴリを集めても全画素の5%未満しかない画像のみを検索結果とする。
一実施例では、カバー画像37が、データベース8中の対応するオーディオまたはビデオファイルへのリンクを有し(張り)、これにより、検索した画像上でダブルクリックすれば、オーディオまたはビデオのソフトウェア・アプリケーションにたどり着き、対応するファイルが再生される。
以上の実施例の複合カラー・スライダーバーは、画像を探索するための他のツールと組み合わせることができる。例えば、ボタン動作のフィルタをユーザ・インタフェース・スクリーン中に設けて、次のことを行う:
多数の色または少数の色を有する画像のみを検索し、(実写の)写真と人工的な画像とを区別する;
テンプレートによって指定した、楽器または人間の顔のような特定物体(オブジェクト)を含む画像のみを検索する。種々の形状認識方法をこの目的のために用いることができる。上述したフィルタのリストは、決して限定的なものではない。他の探索ツールを用いる際には、各画像の索引付けデータは対応するデータ、例えば所定物体の存在を示すフラグにより完成すべきである。
多数の色または少数の色を有する画像のみを検索し、(実写の)写真と人工的な画像とを区別する;
テンプレートによって指定した、楽器または人間の顔のような特定物体(オブジェクト)を含む画像のみを検索する。種々の形状認識方法をこの目的のために用いることができる。上述したフィルタのリストは、決して限定的なものではない。他の探索ツールを用いる際には、各画像の索引付けデータは対応するデータ、例えば所定物体の存在を示すフラグにより完成すべきである。
「具える」及び「含む」という動詞、及びその活用形は、請求項に記載した以外の要素またはステップの存在を排除するものではない。さらに、各要素またはステップは特に断わりがなくても複数の存在を排除するものではない。本発明はハードウェア並びにソフトウェアによって実現することができる。いくつかの「手段」が同じハードウェアのアイテムで表現されていることがある。
Claims (14)
- グラフィック要素に索引付けする索引付け方法において、
前記グラフィック要素の色属性を、該色属性の少なくとも一色に対する座標組を多次元色空間内に設けることによって定めるステップと、
前記少なくとも一色が第1条件を満たす場合に、前記少なくとも一色の前記座標組を色相レベルに落とすステップと、
前記少なくとも一色が第2条件を満たす場合に、前記少なくとも一色の前記座標組を明度レベルに落とすステップと、
前記グラフィック要素に索引付けするための索引付けデータを記憶するステップとを具えて、前記索引付けデータが、前記色属性の前記少なくとも一色から生じた色相レベル及び/または前記色属性の前記少なくとも一色から生じた明度レベルを含む
ことを特徴とするグラフィック要素の索引付け方法。 - 色が前記色空間の第1領域に属する場合に前記第1条件が満たされ、色が前記色空間の第2領域に属する場合に前記第2条件が満たされることを特徴とする請求項1に記載の索引付け方法。
- 前記色空間の前記第1領域が、彩度の下限境界、明度の下限境界、及び明度の上限境界の少なくとも1つによって区切られることを特徴とする請求項2に記載の索引付け方法。
- 前記色属性が、前記グラフィック要素中の色の統計的分布であり、前記索引付けデータが、前記グラフィック要素中の複数の画素の各々から生じた色相レベル及び/または明度レベルを含むことを特徴とする請求項1に記載の索引付け方法。
- さらに、前記索引付けデータ中の前記色相レベルの各々を、色相のスペクトルの所定区分に従って分類し、前記索引付けデータ中の前記明度レベルの各々を、明度のスペクトルの所定区分に従って分類するステップを具えていることを特徴とする請求項1に記載の索引付け方法。
- 複数のグラフィック要素の集積に索引付けし、前記色属性が、前記集積のグラフィック要素毎に単一色を含み、前記索引付け方法がさらに、前記複数のグラフィック要素のそれぞれの索引付けデータにより集積索引を生成して、前記単一色が前記第1条件を満たすか前記第2条件を満たすかに応じて前記複数のグラフィック要素を2つの部分集合に分類し、各々の前記部分集合中の前記グラフィック要素を、前記単一色から生じた色相レベルまたは明度レベルに従って順序付けするステップを具えていることを特徴とする請求項1に記載の索引付け方法。
- グラフィック要素の集積を探索する探索方法において、
前記集積の各グラフィック要素に、請求項1に記載の索引付け方法によって索引付けするステップと、
少なくとも1つの所望色を指定する少なくとも1つの入力を受け付けるステップと、
前記少なくとも1つの入力に対応する探索質問を決定し、前記少なくとも1つの所望色がトゥルーカラーを含む場合には前記探索質問を色相のレベルまたは範囲に関するものとし、前記少なくとも1つの所望色がグレーカラーを含む場合には前記探索質問を明度のレベルまたは範囲に関するものとするステップと、
前記グラフィック要素の前記索引付けデータを分析して、当該グラフィック要素の索引付けデータが、前記探索質問と一致する少なくとも1つの色相レベルまたは明度レベルを含む前記グラフィック要素を選択するステップと、
選択した前記グラフィック要素を前記集積から検索するステップと
を具えていることを特徴とするグラフィック要素の集積の探索方法。 - それそれの色相のレベルまたは範囲に対応するトゥルーカラーを有するカラー部分に分割されたトゥルーカラー・スケール、及びそれぞれの明度のレベルまたは範囲に対応するグレーカラーを有するカラー部分に分割されたグレーカラー・スケールを含む少なくとも1つの複合カラースケールを生成し表示するステップと、
前記複合カラースケール上を移動して入力を受け付けることが可能なマーカーを生成し表示して、前記マーカーの前記複合カラースケール上の位置に応じて、対応する所望色を指定するステップと
を具えていることを特徴とする請求項7に記載の探索方法。 - 前記複合カラースケールの前記カラー部分が色相または明度の所定範囲に対応し、前記マーカーが、前記複合カラースケール上の離散位置に移動可能であり、前記離散位置は、前記離散位置毎に前記カラー部分の1つ分だけ互いに離れていることを特徴とする請求項8に記載の探索方法。
- 前記色属性が単一色を含み、前記索引付けデータが、前記集積のグラフィック要素毎の前記単一色から生じた色相または明度のレベルを含み、前記複合カラースケールの前記カラー部分が、前記一致するグラフィック要素の密度が前記複合カラースケール上の前記マーカーのすべての位置についてほぼ均等に得られるように設計されていることを特徴とする請求項8に記載の探索方法。
- グラフィック要素に索引付けする索引付け装置において、
前記グラフィック要素の色属性を、該色属性の少なくとも一色に対する座標組を多次元色空間内に設けることによって定め、前記少なくとも一色が第1条件を満たす場合に、前記少なくとも一色の前記座標組を色相レベルに落とし、前記少なくとも一色が第2条件を満たす場合に、前記少なくとも一色の前記座標組を明度レベルに落とす色分析器と、
前記グラフィック要素に索引付けするための索引付けデータを記憶する記憶手段とを具えて、前記索引付けデータが、前記色属性の前記少なくとも一色から生じた色相レベル及び/または前記色属性の前記少なくとも一色から生じた明度レベルを含む
ことを特徴とするグラフィック要素の索引付け方法。 - グラフィック要素の集積を探索する探索装置において、
前記集積の各グラフィック要素に、請求項11に記載の索引付け方法によって索引付けする索引付け装置と、
少なくとも1つの所望色を指定する少なくとも1つの入力を受け付け、前記少なくとも1つの入力に対応する探索質問を決定し、前記少なくとも1つの所望色がトゥルーカラーを含む場合には前記探索質問を色相のレベルまたは範囲に関するものとし、前記少なくとも1つの所望色がグレーカラーを含む場合には前記探索質問を明度のレベルまたは範囲に関するものとする入力手段と、
前記グラフィック要素の前記索引付けデータを分析して、当該グラフィック要素の索引付けデータが、前記探索質問と一致する少なくとも1つの色相レベルまたは明度レベルを含む前記グラフィック要素を選択するグラフィック要素検索コントローラと
を具えていることを特徴とするグラフィック要素の探索装置。 - さらに、
ディスプレイ装置上に表示可能であり、それそれの色相のレベルまたは範囲に対応するトゥルーカラーを有するカラー部分に分割されたトゥルーカラー・スケール、及びそれぞれの明度のレベルまたは範囲に対応するグレーカラーを有するカラー部分に分割されたグレーカラー・スケールを含む複合カラースケールを生成する複合カラースケール生成手段と、
ディスプレイ装置上に表示可能であり、前記複合カラースケール上を移動して入力を受け付けることが可能なマーカーを生成するマーカー生成手段とを具えて、
前記マーカーの前記複合カラースケール上の位置に応じて、対応する所望色が指定されることを特徴とする請求項12に記載の探索装置。 - データ記憶装置を内蔵し、請求項12に記載の探索装置を具えた民生用電子製品。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP03300111 | 2003-09-08 | ||
PCT/IB2004/002753 WO2005024662A2 (en) | 2003-09-08 | 2004-08-23 | Method and apparatus for indexing and searching graphic elements |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007505382A true JP2007505382A (ja) | 2007-03-08 |
Family
ID=34259303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006525910A Withdrawn JP2007505382A (ja) | 2003-09-08 | 2004-08-23 | グラフィック要素の索引付け及び探索方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20070036371A1 (ja) |
EP (1) | EP1665085A2 (ja) |
JP (1) | JP2007505382A (ja) |
KR (1) | KR20060080586A (ja) |
CN (1) | CN1849601A (ja) |
WO (1) | WO2005024662A2 (ja) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8215556B2 (en) * | 2004-06-28 | 2012-07-10 | Konica Minolta Laboratory U.S.A., Inc. | Color barcode producing, reading and/or reproducing method and apparatus |
US7533817B2 (en) * | 2004-08-09 | 2009-05-19 | Konica Minolta Systems Laboratory, Inc. | Color barcode producing method and apparatus, color barcode reading method and apparatus and color barcode reproducing method and apparatus |
US7669769B2 (en) * | 2005-03-28 | 2010-03-02 | Konica Minolta Systems Laboratory, Inc. | Systems and methods for preserving and maintaining document integrity |
US20070250499A1 (en) * | 2006-04-21 | 2007-10-25 | Simon Widdowson | Method and system for finding data objects within large data-object libraries |
JP4747024B2 (ja) * | 2006-04-28 | 2011-08-10 | 富士フイルム株式会社 | メタ情報付加装置および画像再生装置ならびにそれらの制御方法およびそれらを制御するためのプログラム |
KR100785928B1 (ko) * | 2006-07-04 | 2007-12-17 | 삼성전자주식회사 | 멀티모달 정보를 이용한 사진 검색 방법 및 사진 검색시스템 |
US20100306318A1 (en) * | 2006-09-28 | 2010-12-02 | Sfgt Inc. | Apparatuses, methods, and systems for a graphical code-serving interface |
US20080195456A1 (en) | 2006-09-28 | 2008-08-14 | Dudley Fitzpatrick | Apparatuses, Methods and Systems for Coordinating Personnel Based on Profiles |
US7766241B2 (en) * | 2006-09-29 | 2010-08-03 | Konica Minolta Systems Laboratory, Inc. | Barcode for two-way verification of a document |
US7628330B2 (en) * | 2006-09-29 | 2009-12-08 | Konica Minolta Systems Laboratory, Inc. | Barcode and decreased-resolution reproduction of a document image |
US8090222B1 (en) | 2006-11-15 | 2012-01-03 | Google Inc. | Selection of an image or images most representative of a set of images |
JP2011501578A (ja) * | 2007-10-20 | 2011-01-06 | ペナンゴ,インコーポレイテッド | セキュア通信の信頼性を示すための方法及びシステム |
EP2209066A4 (en) * | 2007-10-29 | 2012-12-12 | Nec Corp | MOBILE TERMINAL, MOBILE TERMINAL SYSTEM, MOBILE TERMINAL CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM |
US20090113328A1 (en) * | 2007-10-30 | 2009-04-30 | Penango, Inc. | Multidimensional Multistate User Interface Element |
CN101540140B (zh) * | 2008-03-21 | 2011-06-29 | 旭丽电子(广州)有限公司 | 可跟随显示装置的显示画面发出相应环境光的方法及装置 |
IL199762A0 (en) * | 2008-07-08 | 2010-04-15 | Dan Atsmon | Object search navigation method and system |
CN101556611B (zh) * | 2009-05-08 | 2014-05-28 | 白青山 | 一种基于视觉特征的图片搜索方法 |
US8209330B1 (en) | 2009-05-29 | 2012-06-26 | Google Inc. | Ordering image search results |
US8352465B1 (en) | 2009-09-03 | 2013-01-08 | Google Inc. | Grouping of image search results |
US8724910B1 (en) | 2010-08-31 | 2014-05-13 | Google Inc. | Selection of representative images |
GB201104066D0 (en) * | 2011-03-09 | 2011-04-20 | Imagination Tech Ltd | Compression of a tessellated primitive index list in a tile rendering system |
CN102981696A (zh) * | 2012-06-01 | 2013-03-20 | 中兴通讯股份有限公司 | 一种基于颜色进行选择符号的方法和装置 |
KR102087005B1 (ko) * | 2013-01-31 | 2020-03-11 | 삼성전자 주식회사 | 페이지 검색 방법 및 이를 지원하는 단말기 |
WO2015013954A1 (en) | 2013-08-01 | 2015-02-05 | Google Inc. | Near-duplicate filtering in search engine result page of an online shopping system |
CN103617533A (zh) * | 2013-09-12 | 2014-03-05 | 上海渐石网络科技有限公司 | 商品信息的展示方法与装置 |
US9196198B2 (en) | 2013-12-03 | 2015-11-24 | Pixtronix, Inc. | Hue sequential display apparatus and method |
CN103761303B (zh) * | 2014-01-22 | 2017-09-15 | 广东欧珀移动通信有限公司 | 一种图片的排列显示方法及装置 |
US9390348B2 (en) * | 2014-05-19 | 2016-07-12 | Jinling Institute Of Technology | Method for categorizing objects in image |
US9864775B2 (en) * | 2015-03-26 | 2018-01-09 | International Business Machines Corporation | Query strength indicator |
US10489681B2 (en) * | 2015-04-15 | 2019-11-26 | Stmicroelectronics S.R.L. | Method of clustering digital images, corresponding system, apparatus and computer program product |
KR102077203B1 (ko) * | 2015-05-20 | 2020-02-14 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US10345991B2 (en) * | 2015-06-16 | 2019-07-09 | International Business Machines Corporation | Adjusting appearance of icons in an electronic device |
CN106023268B (zh) * | 2016-05-30 | 2019-01-11 | 南昌大学 | 一种基于两步参数子空间优化的彩色图像灰度化方法 |
CN108446705B (zh) * | 2017-02-16 | 2021-03-23 | 华为技术有限公司 | 图像处理的方法和设备 |
US10706317B2 (en) | 2017-09-13 | 2020-07-07 | Ebay Inc. | Nuanced-color search and recommendation system |
US11341405B2 (en) | 2017-09-13 | 2022-05-24 | Ebay Inc. | Semantic signatures |
US11099862B1 (en) * | 2018-11-30 | 2021-08-24 | Snap Inc. | Interface to configure media content |
US11967128B2 (en) * | 2021-05-28 | 2024-04-23 | Adobe Inc. | Decompositional learning for color attribute prediction |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5963916A (en) * | 1990-09-13 | 1999-10-05 | Intouch Group, Inc. | Network apparatus and method for preview of music products and compilation of market data |
US5802361A (en) * | 1994-09-30 | 1998-09-01 | Apple Computer, Inc. | Method and system for searching graphic images and videos |
US6393430B1 (en) * | 1998-05-08 | 2002-05-21 | Sony Corporation | Method and system for automatically recording music data files by using the hard drive of a personal computer as an intermediate storage medium |
JP2000090239A (ja) * | 1998-09-10 | 2000-03-31 | Matsushita Electric Ind Co Ltd | 画像検索装置 |
JP3619685B2 (ja) * | 1998-09-25 | 2005-02-09 | コニカミノルタビジネステクノロジーズ株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
JP2003500712A (ja) * | 1999-05-17 | 2003-01-07 | サムスン エレクトロニクス カンパニー リミテッド | カラー映像処理方法 |
US7046842B2 (en) * | 1999-08-17 | 2006-05-16 | National Instruments Corporation | System and method for color characterization using fuzzy pixel classification with application in color matching and color match location |
KR100595064B1 (ko) * | 2000-05-19 | 2006-07-03 | 엘지전자 주식회사 | 칼라 왜곡 정보를 이용한 내용기반 멀티미디어 검색 방법 |
US20020151327A1 (en) * | 2000-12-22 | 2002-10-17 | David Levitt | Program selector and guide system and method |
EP1302865A1 (en) * | 2001-10-10 | 2003-04-16 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for searching for and retrieving colour images |
-
2004
- 2004-08-23 US US10/570,442 patent/US20070036371A1/en not_active Abandoned
- 2004-08-23 JP JP2006525910A patent/JP2007505382A/ja not_active Withdrawn
- 2004-08-23 KR KR1020067004716A patent/KR20060080586A/ko not_active Application Discontinuation
- 2004-08-23 WO PCT/IB2004/002753 patent/WO2005024662A2/en not_active Application Discontinuation
- 2004-08-23 EP EP04744321A patent/EP1665085A2/en not_active Withdrawn
- 2004-08-23 CN CNA2004800256807A patent/CN1849601A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2005024662A3 (en) | 2005-05-12 |
EP1665085A2 (en) | 2006-06-07 |
CN1849601A (zh) | 2006-10-18 |
US20070036371A1 (en) | 2007-02-15 |
KR20060080586A (ko) | 2006-07-10 |
WO2005024662A2 (en) | 2005-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007505382A (ja) | グラフィック要素の索引付け及び探索方法及び装置 | |
US9990377B1 (en) | Content based systems and methods for conducting spectrum color based image search | |
US7334195B2 (en) | System and process for presenting search results in a histogram/cluster format | |
JP5033580B2 (ja) | 画像処理装置及び画像処理方法 | |
US6519360B1 (en) | Image processing apparatus for comparing images based on color feature information and computer program product in a memory | |
US20070136286A1 (en) | Sortable Collection Browser | |
US20070242902A1 (en) | Image processing device and image processing method | |
US20090119583A1 (en) | Image displaying apparatus, image display method, and image display system | |
US20080232695A1 (en) | Information processing apparatus, image display apparatus, control methods therefor, and programs for causing computer to perform the methods | |
US20070088748A1 (en) | Image display control device | |
JP2003526144A (ja) | 検索問い合わせ及びユーザー・プロファイルを定義し、検索結果を見る方法及び装置 | |
JPH09237282A (ja) | 文書画像データベース検索方法、画像特徴ベクトル抽出方法、文書画像閲覧システム、機械読み取り可能な媒体及び画像表示方法 | |
JP2004005742A (ja) | 文書全文検索用ユーザインタフェース | |
US20090327891A1 (en) | Method, apparatus and computer program product for providing a media content selection mechanism | |
JP2001160057A (ja) | 画像の階層的分類方法、および画像の分類・検索装置、およびこの方法を実行するプログラムを記録した記録媒体 | |
JPH10154149A (ja) | 類似オブジェクト検索方法および装置 | |
JP2008097175A (ja) | 電子ファイル検索装置 | |
US7425963B2 (en) | Hierarchical image feature-based visualization | |
Ravishankar et al. | Dominant color region based indexing for cbir | |
JP2001306579A (ja) | 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2007518163A (ja) | イメージデータディスプレイ装置及びディスプレイ方法 | |
CN100472535C (zh) | 浏览内容的设备和方法 | |
JP2004192555A (ja) | 情報管理方法、情報管理装置及び情報管理プログラム | |
JP7437104B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JPH01195578A (ja) | 電子化文書検索装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060309 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070327 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070820 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20071012 |