JP2002170116A

JP2002170116A - 画像を記述する方法

Info

Publication number: JP2002170116A
Application number: JP2001352332A
Authority: JP
Inventors: Dean Messing; メッシングディーン; Beek Petrus J L Van; ジェイ．エルヴァンビークペトラス; James Errico; エリコジェームズ
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-12-01
Filing date: 2001-11-16
Publication date: 2002-06-14
Also published as: EP1211645A3; US7062084B2; EP1211645A2; US20020106122A1

Abstract

(57)【要約】【課題】記述子に十分な空間情報を埋め込み、そのコ
ンテンツに基づいて記述子を容易に識別できる画像記述
方法を提供する。【解決手段】複数の画像を含む空間構成要素を規定
し、空間構成要素に対応する複数のテスト領域６を画像
上に描写し、そのテスト領域毎に複数の色を量子化す
る。このときに、テスト領域毎の複数色の量子化ステッ
プは、個別のテスト領域毎の量子化色の各色数とは無関
係に実行する。これにより、記述子に十分な空間情報を
埋め込み、そのコンテンツに基づいて記述子を容易に識
別できる画像記述方法を提供することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の色のコンテ
ンツに基づいて画像を記述する方法に関する。

【０００２】

【従来の技術】画像の記述は、画像に予め選択された測
度を適用した結果に基づきその画像を識別記述するプロ
セスである。画像の記述は、画像の記述が画像のインデ
クシングと検索に有効であるディジタル画像ライブラリ
のような多数の用途に有効に用いられる。画像の記述が
実用的で有効であるためには、画像にその測度を適用し
た結果が、（１）異なる画像を十分に識別でき、（２）
或る特定の種類の画像変換に対し不変であり、（３）ノ
イズに不感で、（４）計算が容易で、（５）コンパク
ト、でなければならない。画像を記述する種々の方法
が、識別属性を示す画像記述子と共に使用されまた提案
されている。

【０００３】Ｓｗａｉｎ他による論文「色インデクシン
グ(COLOR INDEXING)」は、色ヒストグラムを用い画像を
記述することを記述している。画像の色ヒストグラム
は、画素すなわちピクセルの頻度分布をピクセルの色の
関数として計算することにより得る。色ヒストグラム
は、視軸を中心とした画像の回転または平行移動に対し
不変である。色ヒストグラムは、異なる特徴を有する画
像の場合、著しい差異を示すことができる。しかしなが
ら、画像中の特徴に関する全ての空間情報は、色ヒスト
グラムの作成時に破棄される。従って、２枚の画像が各
色同数の画素を有する場合、これらの画像を色ヒストグ
ラムで識別することは不可能である。これは、２枚の画
像が全く異なるサイズと形状を特徴としていたとしても
同じである。

【０００４】図２９は、異なるスケールの特徴を有する
２枚の画像を示す図である。例えば、図２９（Ａ）と図
２９（Ｂ）の２枚の画像は、２種の同色（同じ線影を付
けた）の幾何学的な特徴を有し、各特徴図形の総面積は
同じで、画素数も同一である。これら２枚の画像は、各
々の特徴はサイズと数が明らかに異なっているのに色ヒ
ストグラムでは識別できない。一方、これらの画像は、
人間の目で容易に識別できる。

【０００５】色ヒストグラムの種々の実施性能を改善す
るために幾つかの方法が提案されている。Ｓｔｒｉｃｋ
ｅｒ他は、論文「カラー画像の類似性(SIMILARITY OF C
OLOR)」において、色モーメントの使用を提案してい
る。色モーメントは、ピクセルの色の母集団分布の形状
と位置に関する統計的な測度である。特に、色モーメン
トは、平均，標準偏差及び歪度を含んでいる。色ヒスト
グラムに含まれている情報を色モーメントで表現する
と、非常にコンパクトな画像記述子が得られる。Ｆｕｎ
ｔ他は、その論文「色定数色インデクシング(COLOR CON
STANT COLOR INDEXING)」において、画像の隣接領域か
らの三原色である赤緑青（ＲＧＢ）のピクセルの割合を
用いて強度変化の効果を低減させることを提案してい
る。Ｒｕｂｎｅｒ他は論文「カラー画像の１空間のナビ
ゲーション(NAVIGATING THROUGH A SPACE OF COLOR IMA
GES)」において、ＲＧＢ色空間における類似色のクラス
タのプロットである色シグニチャを用いることを提案し
ている。色シグニチャを用いると、１画像を記述するの
に必要なデータ量を色ヒストグラムに要するデータ量と
比較して減少させることができる。これらの方法は、色
ヒストグラムより、画像記述子の実施性能を幾つかの面
において改善する。しかしながら、色ヒストグラムと同
様、空間情報が全然保存されない。

【０００６】色ヒストグラムの構成時に破棄される幾つ
かの空間情報を保存することを試みた幾つかのプロセス
が提案されている。Ｐａｓｓ他は、論文「コンテンツベ
ースによる画像検索用ヒストグラムの更新(HISTOGRAM R
EFINEMENT FOR CONTENT BASED IMAGED RETRIEVAL)」に
おいて、色ヒストグラムを色コヒーレンスベクトルで更
新することを提案している。このプロセスにおいて、画
素の色のコヒーレンスは、隣接領域中の他の画素のコヒ
ーレンスに関連して決定される。これは、各色の画素数
が同数で、従って２枚の画像の色ヒストグラムが同一で
あっても、画像中の特徴の差異により、色のコヒーレン
スである各色の画素数が変化することを意味する。色コ
ヒーレンスベクトルは、若干の空間情報を記述子に埋め
込む。残念ながら、これには、従来のヒストグラムと比
較し２倍の付加的な記憶容量を要する。

【０００７】Ｒｉｃｋｍａｎ他は、論文「色要素ヒスト
グラムを用いたコンテンツベースによる画像検索(CONTE
NT-BASED IMAGE RETRIEVAL USING COLOUR TUPLE HISTOG
RAMS)」において、無作為に位置決めした三角形色要素
の各頂点における色相ヒストグラムを構成することによ
る画像の特徴付けを提案している。三角形要素の各頂点
は離れているので、若干の空間情報は保留される。残念
ながら、色要素データから画像の優勢色を決定すること
は困難である。さらに、保持された空間情報は、通常の
解釈が困難であり、従って、画像データベースのインデ
クシングにこの情報を用いることは困難である。

【０００８】画像の記述のための“色コレログラム(Col
or correlograms)”が、Ｈｕａｎｇ他の論文「色コレロ
グラムを用いた画像インデクシング(IMAGE INDEXING US
INGCOLOR CORRELOGRAMS)」に提案されている。色コレロ
グラムは、特定色のピクセルが、画像中の特定色のピク
セルから特定の半径距離にある確率を量子化する。色コ
レログラムは、画像上の１点からの異なるスケール又は
距離における色コヒーレンスを測定する技法を提供す
る。しかしながら、コレログラムから画像の優勢色を決
定することは困難であり、通常の人間のセンスでのコレ
ログラムの解釈も困難である。

【０００９】Ｓｍｉｔｈ他は、論文「視覚的探査コンテ
ンツベースによる視覚クエリシステムを用いた色領域に
よるクエリ(QUERYING BY COLOR REGIONS USING THE VIS
UALSEEK CONTENT-BASED VISUAL QUERY SYSTEM)」におい
て、色の領域を用いる画像の特徴付け方法を提案してい
る。色データを変換し、画像の色を量子化し、次にフィ
ルタで処理し優勢色領域を強調する。“色セット”値を
抽出し、しきい値レベルを越える色セット値を保持する
ことによりヒストグラムを近似させる。この画像の特徴
付け方法は画像の分割を必要とし、プロセスが難しく、
計算量が多大である。領域表現はリジッドであり、画像
の回転又は平行移動により変化する。

【００１０】“ブロブワールド”は、Ｃａｒｓｏｎ他が
論文「領域にベースによる画像クエリー(REGION-BASED
IMAGE QUERYING)」中で提案した画像の表現方法であ
る。この方法において、画像は、“ブロブ”と呼ばれる
色とテクスチャの１セットの局部的コヒーレント領域に
分割される。画像の“ブロブワールド”表現は、分割さ
れた色ブロブの位置，サイズ及び色を記録した結果であ
る。この方法は、画像に関するかなりの空間情報を提供
するが、しかし、画像の“ブロブワールド”表現はリジ
ッドであり、画像の回転又は平行移動により変化する。
さらに、画像の分割プロセスは容易でなく、かなりの計
算機資源を要する。

【００１１】

【発明が解決しようとする課題】本発明は、色及び局部
空間情報を用いる画像記述方法、すなわち、複数の画像
を含む空間構成要素を規定して、その空間構成要素に対
応する複数のテスト領域を画像上に描写し、テスト領域
毎に量子化色の色数とは無関係に複数の色を量子化する
ようにした色及び局部空間情報を用いる画像記述方法で
あって、記述子に十分な空間情報を埋め込み、そのコン
テンツに基づいて画像を記述してその画像を容易に識別
できるようにする画像記述方法を提供することを目的と
するものである。

【００１２】

【課題を解決するための手段】第１の技術手段は、画像
を記述する方法において、ａ）複数の画素を含む空間構成要素を規定するステップ
と、ｂ）前記空間構成要素に対応する複数のテスト領域を前
記画像上に描写するステップと、ｃ）前記テスト領域毎に複数の色を量子化するステップ
とを含んで成り、前記テスト領域毎の前記複数色の量子
化ステップは、個別の前記テスト領域毎の前記量子化色
毎の各色数とは無関係であることを特徴としたものであ
る。

【００１３】第２の技術手段は、第１の技術手段におい
て、前記テスト領域毎の前記複数色の前記量子化ステッ
プは、同一量子化色を持つ前記各テスト領域内の画素数
と無関係であることを特徴としたものである。

【００１４】第３の技術手段は、第１の技術手段におい
て、前記量子化ステップは、複数の量子化色範囲に従っ
て前記複数の色を量子化し、前記各量子化色範囲が前記
画像の色空間の複数色を含んでいることを特徴としたも
のである。

【００１５】第４の技術手段は、第１の技術手段におい
て、前記画像の前記色空間を複数の量子化色範囲に量子
化し、前記テスト領域毎の前記複数色を前記量子化色範
囲に従って量子化することを特徴としたものである。

【００１６】第５の技術手段は、第４の技術手段におい
て、前記テスト領域毎の前記複数色の量子化ステップ
は、１次元ヒストグラムを提供することを特徴としたも
のである。

【００１７】第６の技術手段は、第１の技術手段におい
て、前記画像を記述する方法は、

【００１８】

【表２】

【００１９】により記述されることを特徴としたもので
ある。

【００２０】第７の技術手段は、第１の技術手段におい
て、前記空間構成要素の前記サイズは、前記画像のサイ
ズに従って選択されることを特徴としたものである。

【００２１】第８の技術手段は、画像を記述する方法に
おいて、ａ）複数の画素を含む空間構成要素を規定するステップ
と、ｂ）前記空間構成要素に対応する複数のテスト領域を前
記画像上に描写するステップと、ｃ）前記テスト領域毎に複数の色を量子化するステップ
とを含んで成り、前記テスト領域毎の前記複数色の量子
化ステップはコヒーレントな色の空間範囲への強調を弱
めて、色の空間的にインコヒーレントな範囲へ効果を強
調することを特徴としたものである。

【００２２】第９の技術手段は、第８の技術手段におい
て、前記複数色の前記量子化ステップは、前記個別テス
ト領域毎の前記量子化された各色数と無関係であること
を特徴としたものである。

【００２３】第１０の技術手段は、第８の技術手段にお
いて、前記テスト領域毎の前記複数色の前記量子化ステ
ップは、同一量子化色を持つ前記各テスト領域内の画素
数と無関係であることを特徴としたものである。

【００２４】第１１の技術手段は、第８の技術手段にお
いて、前記量子化ステップは、複数の量子化色範囲に従
って前記複数の色を量子化し、前記各量子化色範囲が前
記画像の色空間の複数色を含んでいることを特徴とした
ものである。

【００２５】第１２の技術手段は、第７の技術手段にお
いて、前記画像の前記色空間を複数の量子化色範囲に量
子化し、前記テスト領域毎の前記複数色を前記量子化色
範囲に従って量子化することを特徴としたものである。

【００２６】第１３の技術手段は、第１２の技術手段に
おいて、前記テスト領域毎の前記複数色の量子化ステッ
プは、１次元ヒストグラムを提供することを特徴とした
ものである。

【００２７】第１４の技術手段は、第８の技術手段にお
いて、前記空間構成要素の前記サイズは、前記画像のサ
イズに従って選択されることを特徴としたものである。

【００２８】第１５の技術手段は、画像を記述する方法
において、ａ）画像のサイズに従ってサイズを選択する複数の画素
を含む空間構成要素を規定するステップと、ｂ）前記空間構成要素に対応する前記画像上に複数のテ
スト領域を描写するステップと、ｃ）前記テスト領域毎に複数の色を量子化するステップ
とを含んで成ることを特徴としたものである。

【００２９】第１６の技術手段は、第１５の技術手段に
おいて、前記空間構成要素は、前記画像が第１画像サイ
ズである時に第１要素サイズであり、前記空間構成要素
は、前記画像が第２画像サイズである時に第２要素サイ
ズであり、前記第１要素サイズは前記第２要素サイズよ
り小さく、前記第１画像サイズは前記第２画像サイズよ
り小さいことを特徴としたものである。

【００３０】第１７の技術手段は、第１６の技術手段に
おいて、前記テスト領域毎の前記複数色の前記量子化ス
テップは、前記個別テスト領域毎の前記量子化の各色数
と無関係であることを特徴としたものである。

【００３１】第１８の技術手段は、第１５の技術手段に
おいて、前記テスト領域毎の前記複数色の前記量子化ス
テップは、同一量子化色を持つ前記各テスト領域内の画
素数と無関係であることを特徴としたものである。

【００３２】第１９の技術手段は、第１５の技術手段に
おいて、前記量子化ステップは複数の量子化色範囲に適
宜に前記複数の色を量子化し、前記各量子化色範囲が前
記画像の色空間の複数色を含んでいることを特徴とした
ものである。

【００３３】第２０の技術手段は、第１５の技術手段に
おいて、前記画像の前記色空間を複数の量子化色範囲に
量子化し、前記テスト領域毎の前記複数色を前記量子化
色範囲に従って量子化することを特徴としたものであ
る。

【００３４】第２１の技術手段は、第１５の技術手段に
おいて、前記テスト領域毎の前記複数色の量子化ステッ
プは１次元ヒストグラムを提供することを特徴としたも
のである。

【００３５】第２２の技術手段は、第１５の技術手段に
おいて、前記テスト領域毎の前記複数色の量子化ステッ
プはコヒーレントな色の空間範囲への強調を弱めて、色
の空間的にインコヒーレントな範囲への効果を強調する
ことを特徴としたものである。

【００３６】第２３の技術手段は、第１５の技術手段に
おいて、前記空間構成要素が８×８であることを特徴と
したものである。

【００３７】第２４の技術手段は、第２３の技術手段に
おいて、前記８×８空間構成要素が６４サンプルを含む
ことを特徴としたものである。

【００３８】第２５の技術手段は、第１５の技術手段に
おいて、前記空間構成要素を予定サイズに保持し、前記
画像をサブサンプリングして前記空間構成要素に対応す
る前記テスト領域を決定することを特徴としたものであ
る。

【００３９】第２６の技術手段は、第２５の技術手段に
おいて、前記サブサンプリングを絶対的に実行すること
を特徴としたものである。

【００４０】第２７の技術手段は、第１５の技術手段に
おいて、p=max[0,round(0.5^*log₂(width^*height)-8)]の
式において、ｗｉｄｔｈは画像の幅であり、ｈｅｉｇｈ
ｔは画像の高さであり、Ｋは前記画像に適用されるサブ
サンプリング係数であってＫ＝２^Pであり、Ｅは前記空
間構成要素の空間範囲であってＥ＝８×Ｋであることを
特徴としたものである。

【００４１】第２８の技術手段は、第１画像を第２画像
と比較する方法であって、（ａ）複数の画素を含む第１
空間構成要素を規定するステップと、（ｂ）前記第１空
間構成要素に対応する複数の第１テスト領域を前記画像
上に描写するステップと、（ｃ）前記第１テスト領域毎
に第１の複数の色を量子化するステップと、（ｄ）ステ
ップ（ｃ）の前記量子化を異なるレベルに再量子化する
ステップと、（ｅ）複数の画素を含む第２空間構成要素
を規定するステップと、（ｆ）前記第２空間構成要素に
対応する複数の第２テスト領域を前記画像上に描写する
ステップと、（ｇ）前記第２テスト領域毎の第２の複数
の色を量子化するステップと、（ｈ）ステップ（ｇ）の
前記量子化を異なる量子化レベルに再量子化するステッ
プと、（ｉ）ステップ（ｄ）の前記再量子化をステップ
（ｈ）の再量子化と比較するステップとを含んで成るこ
とを特徴としたものである。

【００４２】第２９の技術手段は、第２８の技術手段に
おいて、前記第１の複数色の前記量子化ステップは、第
１のビン数を持つ第１記述子を生じ、前記第２の複数色
の前記量子化ステップは、第２のビン数を持つ第２記述
子を生じることを特徴としたものである。

【００４３】第３０の技術手段は、第２９の技術手段に
おいて、前記第１ビン数と前記第２ビン数が等しいこと
を特徴としたものである。

【００４４】第３１の技術手段は、第２９の技術手段に
おいて、前記第１ビン数と前記異なる量子化レベルのビ
ン数が等しいことを特徴としたものである。

【００４５】第３２の技術手段は、第２９の技術手段に
おいて、前記第２ビン数と前記異なる量子化レベルのビ
ン数が等しいことを特徴としたものである。

【００４６】第３３の技術手段は、第２８の技術手段に
おいて、前記再量子化ステップは、適切な細分化を含む
ことを特徴としたものである。

【００４７】第３４の技術手段は、画像を記述する方法
であって、（ａ）複数の画素を含む空間構成要素を規定
するステップと、（ｂ）前記空間構成要素に対応する複
数のテスト領域を前記画像上に描写するステップと、
（ｃ）前記テスト領域毎に複数の色を量子化するステッ
プと、（ｄ）ステップ（ｃ）の前記量子化の結果値を非
一様に量子化するステップと、（ｅ）前記非一様量子化
値を符号値に変換するステップを含んで成ることを特徴
としたものである。

【００４８】第３５の技術手段は、第３４の技術手段に
おいて、前記符号値は６つの範囲に分割された近似的に
ほぼ０.０から１.０までの範囲を有し、第１範囲は近似
的に０とほぼゼロの間であり、第２範囲は近似的にほぼ
ゼロと０.０３７の間であり、第３範囲は近似的に０.０
３７と０.０８０の間であり、第４範囲は近似的に０.０
８０と０.１９５の間であり、第５範囲は近似的に０.１
９５と０.３２０の間であり、第６範囲は近似的に０.３
２０と１.０の間であることを特徴としたものである。

【００４９】第３６の技術手段は、第３５の技術手段に
おいて、前記第１範囲を１個の範囲に分割することを特
徴としたものである。

【００５０】第３７の技術手段は、第３５の技術手段に
おいて、前記第２範囲を２５個のほぼ等しい範囲に分割
することを特徴としたものである。

【００５１】第３８の技術手段は、第３５の技術手段に
おいて、前記第３範囲を２０個のほぼ等しい範囲に分割
することを特徴としたものである。

【００５２】第３９の技術手段は、第３５の技術手段に
おいて、前記第４範囲を３５個のほぼ等しい範囲に分割
することを特徴としたものである。

【００５３】第４０の技術手段は、第３５の技術手段に
おいて、前記第５範囲を３５個のほぼ等しい範囲に分割
することを特徴としたものである。

【００５４】第４１の技術手段は、第３５の技術手段に
おいて、前記第６範囲を１４０個のほぼ等しい範囲に分
割することを特徴としたものである。

【００５５】第４２の技術手段は、第３５の技術手段に
おいて、前記第１範囲を１個の範囲に分割し、前記第２
範囲を２５個のほぼ等しい範囲に分割し、前記第３範囲
を２０個のほぼ等しい範囲に分割し、前記第４範囲を３
５個のほぼ等しい範囲に分割し、前記第５範囲を３５個
のほぼ等しい範囲に分割し、前記第６範囲を１４０個の
ほぼ等しい範囲に分割することを特徴としたものであ
る。

【００５６】第４３の技術手段は、画像を記述する方法
であって、（ａ）複数の画素を含む空間構成要素を規定
するステップと、（ｂ）前記空間構成要素に対応する複
数のテスト領域を前記画像上に描写するステップと、
（ｃ）前記テスト領域毎に複数の色を量子化するステッ
プと、（ｄ）ステップ（ｃ）の前記量子化を異なる量子
化レベルに選択的に再量子化するステップと、（ｅ）ス
テップ（ｄ）の前記量子化の結果値を非一様に量子化す
るステップと、（ｆ）前期非一様量子化値を符号値に変
換するステップを含んで成ることを特徴としたものであ
る。

【００５７】第４４の技術手段は、第４３の技術手段に
おいて、前記選択的再量子化が選択されない場合に前記
ステップ（ｃ）の前記量子化の結果値を非一様に量子化
するステップをさらに含むことを特徴としたものであ
る。

【００５８】第４５の技術手段は、第４３の技術手段に
おいて、前記テスト領域毎の前記複数色の前記量子化ス
テップの結果生じる値が、該値と関係する量子化色を含
む前記空間構成要素の数に直線的に関係することを特徴
としたものである。

【００５９】第４６の技術手段は、第４４の技術手段に
おいて、前記非一様量子化に先立ち、前記結果値をクリ
ッピングするステップをさらに含んで成ることを特徴と
したものである。

【００６０】第４７の技術手段は、第４６の技術手段に
おいて、前記符号値を前記結果値を表わす変換値に変換
するステップをさらに含んで成ることを特徴としたもの
である。

【００６１】第４８の技術手段は、第４７の技術手段に
おいて、前記変換値を異なる量子化レベルに再量子化す
るステップをさらに含んで成ることを特徴としたもので
ある。

【００６２】第４９の技術手段は、第４８の技術手段に
おいて、前記変換値の前記再量子化を非一様に量子化す
るステップをさらに含んで成ることを特徴としたもので
ある。

【００６３】第５０の技術手段は、第４８の技術手段に
おいて、前記変換値の前記非一様量子化値を符号値に変
換するステップをさらに含んで成ることを特徴としたも
のである。

【００６４】

【発明の実施の形態】画像記述の現存するシステムにお
いては、色又はテクスチャを予め規定したサイズと形状
の複数の領域毎に量子化する。これらの領域は予め定め
た計画に従って画像上に配置するのが好ましい。画像の
これら領域の色又はテクスチャのデータ或いは本方法を
用いて得た関連統計データは、画像を記述し画像を識別
する上で有効である。得られたデータは、画像の記述子
として参照される。

【００６５】図１は、テスト領域を描いた異なる色又は
テクスチャの特徴を含む画像を示す図で第１色の三角形
特徴２と第２色の円形特徴４を持つ画像に基づく（一般
ヒストグラム記述子特徴）を用いる、一般的な画像記述
の用例を示す図である。画像の残部の色は、第３の背景
色である。まず多数の正方形テスト領域６を画像上に描
く。テスト領域６のサイズと形状は、複数の画素すなわ
ちピクセルを取り囲む予め規定された空間構成要素のサ
イズと形状に対応することが好ましい。図１２に図示さ
れたテスト領域６を規定する空間構成要素は正方形であ
るが、この要素のサイズと形状には制限は無い。矩形又
は円形のような正則形状は、無定形状すなわちブロブ形
状よりも多くの応用においてより好便である。又、テス
ト領域６は、散乱弾に似た画素（ピクセル）の散乱パタ
ーンであって良い。同様に、画像上のテスト領域６の配
置プランは図１に示した直線で囲まれたパターンに制限
されない。

【００６６】図１において多数のテスト領域６が完全に
三角形特徴２の領域内に入っている。これらのテスト領
域内の画像の色は均一な第１色である。同様に、多数の
テスト領域６が完全に円形特徴４の領域内又は背景内に
入っている。これらのテスト領域内の画像の色は均一
で、第２色又は背景色として各々量子化できる。程度は
異なるが、残りのテスト領域６は２つ以上の特徴領域に
重なり合っている。これらのテスト領域６の色は均一で
はない。

【００６７】図２は、図１の画像上により大きいスケー
ルでテスト領域６を描いた場合を示す図である。テスト
領域６の形状とテスト領域６の配置プランと同様に、テ
スト領域６のサイズはその用途において決定される。但
し、画像に関する空間情報は、データ又は画像記述子に
埋め込まれる。理由は、テスト領域６はスケールを有す
る、即ちテスト領域６は複数の画素を囲んでいるからで
ある。図１，２を比較するとわかるようにテスト領域６
を変えると各色のテスト領域数が変化する。

【００６８】図３は、８つの正方形の特徴及び８つの円
形の特徴で特徴付ける画像を示す図、図４は、１つの正
方形の特徴と１つの円形の特徴で特徴付ける画像で、各
特徴が図３における８つの同一幾何学形状の特徴と等し
い面積を有している画像を示す図である。同様に、２つ
の画像の個々の色領域のサイズが異なると、各色のテス
ト領域６の数が同様に変化する。例えば、図３の画像の
８個の正方形特徴１０と８個の円形特徴１２の総面積
は、それぞれ図４の画像の正方形特徴２０と円形特徴２
２の総面積と等しい。その結果、色の関数としての画素
の母集団分布は、２枚の画像とも等しくなる。しかしな
がら、画像の個々の色領域のサイズが異なるために、各
均一色のテスト領域６の数はテスト領域の測度が一定で
ある場合でも変化する。図４において、円形特徴２２の
色を含むテスト領域６の方が、図３の円形特徴１２で完
全に満たされているテスト領域６より多い。大きい均一
色領域又は“ブロブ”を含む画像は、小さいより分散し
た色領域を有する画像より、これらブロブの均一色を有
するテスト領域を多く生み出す。

【００６９】図１において、若干のテスト領域６は均一
色領域の中に完全に含まれているが、若干のテスト領域
６は、２つ以上の色領域に重なって含まれている。その
結果、これらの領域の色は均一でなく、画像を記述する
際に有利なように量子化されねばならない。例えば、各
赤，緑，青（ＲＧＢ）ピクセルの平均値、ＲＧＢピクセ
ル値の変換，平均色又はＲＧＢ強度値のベクトル和が、
非均一色のテスト領域の色を記述するために使用でき
る。非均一な色を持つ各テスト領域は、恐らく２つ又は
それ以上の色領域が重なっており、どの他のテスト領域
からもある程度異なっていると考えられるので、非均一
な色のテスト領域の数だけ、多数の平均色又はピクセル
強度の組み合わせが有り得る。可能な入力値をより少数
の量子化レベルにマッピングすれば色数を削減できる。
例えば、ＲＧＢ色データは、赤緑青の寄与割合が或る特
定の範囲内にあるテスト領域の母集団として表現でき
る。

【００７０】図１及び図２に見られるように、小数のテ
スト領域６のみが画像の特徴境界内に完全に含まれ、従
って真に均一の色を有している。但し、図１のように若
干の場合、テスト領域の殆ど（全部ではない）が特定の
色をもつ。均一色を持つ領域の集合に含まれるテスト領
域６の数は、その用途において、“殆ど”均一のデータ
領域に含まれる均一性のテストを含めることにより増大
させることができる。同様に、殆ど均一である画像領域
を受け入れることは、多数の均一色領域を含まない画像
の場合に必要であるかもしれない。

【００７１】例えば、均一性のテストは、テスト領域中
の画素の色の標準偏差に基づき行うことができる。テス
ト領域ε内の色チャネルｋのピクセル値の標準偏差をσ
_kとすると、均一性は次式で定義される。

【００７２】

【数１】

【００７３】式中、ｗ_kは色チャネルｋの重み係数であ
る。上記に代わる均一性テスト関数は、基本成分解析に
基づくことができる。マトリックスＡはＡ＝（Ｐ_ij）
_MXNとして定義される。ここで、Ｐ_ijはテスト領域εの
ｉ番目のピクセルのｊ番目の色成分である。Ａの特異値
は、特異値の分解によって決められる。ρ_k（ｋ＝１，
２，…）を大きさ降順のマトリックスＡの特異値である
とすると、均一性は下式で定義される。

【００７４】

【数２】

【００７５】式中、Ｗ_kは特異値Ｐ_k（ｋ＞１）に対応す
る重み係数である。画像を記述する本方法により得られ
たデータは、この分野ではよく知られている統計的表現
に組み込むことができる。“色ブロブ”のヒストグラム
を作成し、それらの色の関数としてテスト領域の母集団
の頻度分布を表すことができる。所与の画像Ｉに対し
て、色ブロブのヒストグラムは、スケールｓの全テスト
領域の母集団分布である。尚、ｓは画素中のテスト領域
サイズである。この色ブロブのヒストグラムは、集合Ｃ
に属する各量子化色ｃ（即ち、ｃ∈Ｃ）に対して１つの
要素ｈ_s,cを有する配列ｈ_sとして定義される。

【００７６】

【数３】

【００７７】式中、Ｃは全ての量子化された色の集合で
あり、Ｉ_sは画像Ｉ中のサイズｓの全ての色ブロブの集
合である。色関数としてのテスト領域の母集団分布は、
色ブロブヒストグラムの統計的モーメントである色ブロ
ブモーメントによって記述することもできる。この方法
は、色ブロブモーメントが極めてコンパクトな画像記述
子であると云う利点を提供する。所与の画像Ｉに対し
て、各色チャネルｋ内のサイズｓのテスト領域の母集団
分布の第１，第２及び第３の統計的モーメントは、次の
通りである。平均値（μ）（第１モーメント）：

【００７８】

【数４】

【００７９】標準偏差（σ）（第２モーメント）：

【００８０】

【数５】

【００８１】歪度（λ）（第３モーメント）：

【００８２】

【数６】

【００８３】式中、ｃ_k（ε）は、ｃ（ε）のｋ番目の
色成分である。図６は、本発明の第１実施例において得
られた画像データ例を示す図で、処理画像より得られる
データは、量子化された色の集合μ₀〜μ₁₀として表現
でき、その際、量子化した色の１つに一致する十分に均
一な色を有するテスト領域の数を共に示すことができ
る。言い換えれば、μ_sが赤色で、サイズがｘ１の６つ
のテスト領域が十分に均一な赤色であれば、サイズｘ＝
１９μ_sは総計６を持つ。その結果、個々のピクセルの
色の総和ではなく、各項目が十分に均一な色を有するサ
イズｘ１のテスト領域数を合計するヒストグラムが得ら
れる。異なるテスト領域サイズｓで画像を処理して追加
データを得る。多数の画像から得たデータは、画像の比
較目的に使用することができる。

【００８４】図５は、同一サイズ及び形状の特徴を有
し、その特徴が平行移動及び回転した２枚の類似画像を
示す図である。空間テスト領域を用いる画像記述は、画
像の回転と平行移動に不変となる。図５（Ａ），（Ｂ）
の２つの画像では、正方形の特徴領域１４は水平方向と
垂直方向に移動し、三角形の特徴領域１６は９０度回転
している。各特徴の均一色を有するテスト領域６の数は
不変である。等方性色領域の場合、色ブロブのヒストグ
ラムと色ブロブのモーメントが画像特徴の平行移動と回
転に対し不変であることを示すことができる。

【００８５】本システムによると、画像のテクスチャ又
は表面外観に基づく画像を記述することができる。色は
点特性であり、色ヒストグラム又は画素の色特性の他の
表現法によって記述でき、一方、テクスチャは局部的な
近傍特性であり、テクスチャ記述子は、画素の周辺領域
の特性を記述する。個別のテスト領域のテクスチャは、
異方性，指向性及びコントラストのような平均テクスチ
ャ記述子によって表現することができる。テクスチャ記
述子はテクスチャブロブのヒストグラムで統計的に記述
することができる。画像Ｉに対して、ｓ画素を含むテス
ト領域に対するテクスチャブロブのヒストグラムは、Ｔ
に含まれる各量子化テクスチャモデルｔに対し１個の要
素ｈ_s,tを有する１つの配列ｈ_sとして定義されたサイズ
ｓのテスト領域の母集団分布である。

【００８６】

【数７】

【００８７】式中、Ｔは全ての量子化テクスチャモデル
を含む集合である。所与の画像Ｉに対して、スケールｓ
のテスト領域に対するテクスチャブロブのモーメント
は、各テクスチャバンドｋにおけるサイズｓのテスト領
域の頻度分布の第１，第２及び第３の統計的モーメント
である。即ち、平均値（μ）（第１モーメント）：

【００８８】

【数８】

【００８９】標準偏差（σ）（第２モーメント）：

【００９０】

【数９】

【００９１】歪度（λ）（第３モーメント）：

【００９２】

【数１０】

【００９３】式中、ｔ_k（ε）は、ｔ（ε）のｋ番目の
成分である。上記の技法は、色又はテクスチャの標準偏
差に基づき、十分に均一なテスト領域の総数を計数す
る。残念ながら、標準偏差のためのしきい値の選択が難
しい。しきい値がゼロであれば、十分に均一なテスト領
域は無くなる。一方、しきい値が大きいと、多数のテス
ト領域があまり均一でなくても計数される。

【００９４】図７は、本発明の第２の実施例において得
られた画像データ例を示す図で、各テスト領域毎に量子
化色に関する色分布の割合の計算を含んでいる。結果と
して得られるマトリックスは、色の割合の関数として各
量子化色の発現数を持つ。図７の１００％の欄は図６に
示した先述の技法の単一欄（ｓ＝ｘ１）と同じであるこ
とに注意すべきである。

【００９５】再度図１乃至図４を参照する。便宜上、互
いに間隔を置いたテスト領域６のセットを示し、この技
法を説明する。平行移動と回転に対する不変性を高める
ために、この好ましい技法は、画像内の各ピクセルにテ
スト領域を配置することを含んでいる。

【００９６】テスト領域６のサイズは、十分に均一なテ
スト領域数に十分な影響をもつ。図３及び図４を参照す
る。使用テスト領域を、図３の正方形の特徴１０及び，
円形の特徴１２より大きく、但し、図４の正方形の特徴
２０及び円形の特徴２２より小さいように選択すると、
図３の処理では十分に均一な領域は得られないという結
果をもたらす。しかしながら、図４の処理では、幾つか
の十分に均一な領域をもたらす。このように、十分に均
一なテスト領域６の数の違いが増大し、かような測度を
用いる画像間の識別が容易になる。

【００９７】ここに記述した技法は、Ｙ／Ｃｂ／Ｃｒの
ような適当な色空間に適用できる。画像上のテスト領域
のパターンとサイズは、要望に応じ変更できまたはラン
ダムとすることができる。

【００９８】上述の均一性試験は、ステップ機能のよう
に、十分に均一か（イエス又は“１”）又は不十分か
（ノー又は“０”）の何れかの結果を提供する。かよう
な均一性試験は、標準偏差がしきい値に近似の場合、計
算値であるその標準偏差の僅かな変動が均一性試験の結
果を変えることになるので、ノイズに反応する。従っ
て、上述の均一性試験は、ノイズに反応し、均一性のさ
らに微細なグラデーションは考慮しない。図８は、非２
進しきい値技法のグラフを示す図である。均一性のしき
い値の決定は、“ソフト”なしきい値メカニズムを含む
ことができる。このしきい値メカニズムは、標準偏差の
ような或る均一性測度を参照して均一性の（例えば、Ｙ
ｅｓ／Ｎｏの２値による決定でない）浮動点測度（フロ
ーティングポイントメジャー）を提供する。このしきい
値メカニズムは、標準偏差が減少するに従って徐々に均
一性を増大させる。このように、しきい値付近の領域に
おける標準偏差の僅かな変化により、均一性の測定値に
大きな変化が生じることがなくなる。さらに、しきい値
の特別な選択により正確な結果の達成が左右されるのを
緩和する。他の非２値機能により、均一性を或る測定基
準の関数として定義することも望むならば同様に可能で
ある。

【００９９】図８の表を再び参照する。テスト領域毎の
量子化色の割合分布を、列毎に等百分率分布に基づいて
示している。しかしながら、殆どの画像は、殆どの範囲
に種々多様な色内容を含んでいる。従って、殆どの画像
の色分布は、より少ない割合の方に配分される傾向があ
る。言い換えれば、通常の画像には、ほぼ純粋で均一な
色の大きな領域は比較的少ない。比較的少ない大きな均
一色範囲の場合、より大きな割合（百分率）値のマトリ
ックス部分は、主としてゼロになる傾向があり、これ
は、空間を浪費するだけで、より細かな差異を含む実世
界の画像を識別する有効な技法は提供できない。図９
は、本発明の第３実施態様において得られた画像データ
例を示す図である。この制約を克服し、比較的簡潔なマ
トリックス（行列）を維持するために、このマトリック
スは、比率範囲をより大きな比率の方に増大させ、より
小さな比率でより小さな比率範囲を含むことができる。
これにより、埋設システムに適した小さなマトリックス
を維持すると共に、内容の類似している画像をより正確
に識別できる。“ソフト”なしきい値技法と変更マトリ
ックスに関する上記の説明は、テクスチャにも同様に適
用できる。

【０１００】本発明では、上述の技法により、図７及び
９に示すように、割合の選択を少なくとも部分的に任意
とすることを実現した。任意としたことに加え、量子化
色（μ_x）の選択の間隔を細かくすると、通常多数の可
能な量子化色を生じ、ノイズの結果生じる画像色の小さ
な変化が全体的な結果を大きく変化させる。任意の割合
と細かく量子化した色（μ_x）の影響に加え、さらに、
比率の間隔を細かくすると、色量の僅かな差が、画像記
述子に著しい差を生じさせる。よく見られるように、画
像記述子自体の差異には感じやすいので、異なるが視覚
的に類似している画像に由来する、異なる画像記述子を
正確に比較することは益々困難になる。

【０１０１】可能な量子化色と比率の細分化の試みとは
異なり、本発明では、図７及び図９に示すように、比率
の境界を取り除き、均一性試験を、テスト領域内に量子
化色のいずれかが存在するのを確かめるだけに簡素化す
れば、堅実ですぐ使用できる画像記述子が得られると推
定した。図１０は、色構成ヒストグラムの１例を示す図
である。軸線に沿って付けられたインデックス（例え
ば、０−２５５）は、選択した色空間における量子化色
を表わしており、それにより、色構成ヒストグラムを形
成する。色構成ヒストグラムを作成するために、各テス
ト領域（又は選択したテスト領域のセット）内の画像に
含まれる各々異なる色を特定する。次に、異なり特定さ
れた各色を量子化色範囲に従って量子化する。

【０１０２】二重に量子化された色は、テスト領域毎に
破棄する。言い換えれば、テスト領域毎に、画像のテス
ト範囲内の各量子化色を一回だけカウントする。得られ
た色構成ヒストグラムは、一次元ヒストグラム画像であ
り総色分布のみではなく、それ以上の包含データを示し
ている。この得られた色構成ヒストグラムに含まれてい
る追加情報は、例えば、色の頻度と各量子化色の色コヒ
ーレント（空間情報）を含んでいる。実際に、このシス
テムは、ヒストグラム内のコヒーレントな色空間範囲の
効果の強調を減じ、ヒストグラム内の空間的にインコヒ
ーレントな色範囲の効果を強調する。

【０１０３】図１１（Ａ）は、高度にコヒーレントな色
の画像を示す図であり、図１１（Ｂ）は、高度にコヒー
レントな色の画像を示す図である。この色ヒストグラム
は、所与の色が同量存在するがその色を有する画素群の
構成が異なる２つの画像を識別することができる。例え
ば、図１１（Ａ）は、ヒストグラム中の前記色につき９
０（９×１０）の値を記録する。これに対し、図１１
（Ｂ）は、ヒストグラム中の前記色につき、４５９（各
内部色につき９（９×４５）、各エッジ色に付き３（３
×４）及び各エッジより１つ離れた色につき６（７×
６））の値を記録する。従来の色ヒストグラムとこの色
構成ヒストグラムの特定実施例を比較してその利点を示
したものが、ここに参照して組み込む資料ＩＳＯ／ＩＥ
ＣＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｍ５５７２
（ハワイ州マウイ、１９９９年１２月）に記述され、本
明細書に参照として一体化されている。

【０１０４】この色構成用のＤＤＬ（データ記述言語）
表現シンタックスは次のように記述される。

【０１０５】

【表３】

【０１０６】色構成ヒストグラムの検索有効性は、従来
のヒストグラムよりも、同数の“ビン”の記述子（即
ち、量子化色数）の場合で比較してかなり高い。従来の
ヒストグラムに比し、色構成ヒストグラムは、ビンの数
が少ない記述子を比較する時、即ち、粗い色量子化の場
合に特に有効である。色構成ヒストグラムの抽出複雑度
は次の通りである。ヒストグラムの量子化色数をＫとし
構成要素中の画素数をＳとすると、複雑さの順位は、画
素当たりＯ（Ｓ＋Ｋ）であり、Ｏ（）は通常、計算の複
雑さ演算子の順位に関連し、当分野においては、所謂ビ
ッグ“Ｏ”又は“ランダウ”表示法としてよく知られて
いる。画像全体のヒストグラムを計算する複雑性は、Ｏ
（（Ｓ＋Ｋ）ｎ）であり、ここで、ｎは画像中の画素数
である。色の量子化をヒストグラムの抽出前に実行する
と仮定すると、色構成ヒストグラムを計算するために整
数のみの総和、乗算、比較及びメモリの読出し／書き込
みが必要である。

【０１０７】ヒストグラム中のビン数をｎとすると、ｌ
₁ノルム（絶対差分の和）に関するｌ₁距離を相似性の測
度として使用する場合、ヒストグラムマッチングの複雑
さの順位はＯ（ｎ）である。ｌ₁距離を用いる場合は、
整数のみの総和、比較演算及びメモリの読出し／書き込
みが２つの色構成ヒストグラムを一致させるために必要
である。

【０１０８】テスト領域をさらに考察し、その最適サイ
ズを決定することを試みた。勿論、この最適テストサイ
ズの計算は、空間情報を含む他の形式のヒストグラムに
も同様に適用できる。構成要素の場合の検索精度に関す
る最適サイズの算定は問題である。困難さの１つは、固
定サイズの構成要素は、全ての画像に対し最適ではない
ことである。異なる尺度の同一画面を表わしている２つ
の異なる画像を同一サイズのテスト領域を用いて処理し
たところ、驚いたことに、異なる画像サイズを考慮し基
準を統一して得られた色構成ヒストグラムが非常に異な
っていることが観察された。これは、従来のヒストグラ
ムでは見られないことである。この予期せぬ結果を検討
し、主たる差異源は２つの画像の異なる尺度であると推
定した。この推定と観察に基づき、テスト領域のサイズ
（又は同等の構成要素のサイズ）は、処理中の画像サイ
ズに一致して変更すべきであると決定した。従って、比
較的大きい画像は、比較的大きいテスト領域を用いるべ
きであり、小さい画像は比較的小さいテスト領域を用い
るべきである。

【０１０９】ほぼ同一サイズ（例えば、３２０×２４０
及び３５２×２８８）の画像のデータベースの分析を、
異なるサイズの構成要素（テスト領域）、異なる画素密
度及び画像内の異なる位置配列パターンを用いて実施し
た。使用した構成要素は、１×１，２×２，４×４，８
×８及び１６×１６であった。１×１の構成要素は、従
来の色ヒストグラムの抽出と同等の特別なケースであ
る。テスト結果は、検索性能が、構成要素のサイズ（所
与の画素密度と所与の配列パターンを有している）の増
加と共に改善されることを示唆している。かなりのパフ
ォーマンスの改善は、構成要素サイズが１×１（通常ヒ
ストグラム）から２×２、４×４、８×８へ増大する時
に観察できる。多くの場合、構成要素をさらに増大して
もパフォーマンスの改善は僅かになる。このパフォーマ
ンスの構成要素サイズに対する感度は比較的低い（即
ち、特定の構成要素サイズに対する明確なパフォーマン
ス“ピーク”が存在しない）。正確な構成要素サイズ
（数個の画素内で）は、クリティカルではないが、８×
８の構成要素が好適である。構成要素を２倍づつ増大さ
せた時に性能の改善が観察された。データベースの分析
により得られた検索精度を検討し、構成要素を画像に正
確に関係させる必要は無く、むしろ、直進対数指数関係
を許し、計算の複雑さを制限する２つの因子を用いれば
十分であることが判明した。

【０１１０】任意の技法を使用して構成要素の相対寸法
を変更することができるが、好適な技法について以下に
説明する。図１２は、異なる解像度の画像の構成要素を
示す図である。図１２（Ａ）の画像は３２０×２４０、
図１２（Ｂ）の画像は６４０×４８０（画像サンプルの
一部のみを示す）。図は、画像の上部左隅の当初位置に
ある構成要素を示している。構成要素は、画像上を滑動
し、図１２（Ａ）では１画素分移動し、図１２（Ｂ）で
は２画素分移動する。図１２（Ｂ）は、画像を両方向に
２だけサブサンプリングし、次に、同じ８×８構成要素
を適用することに相応する。構成要素の空間範囲は画像
サイズに依存すべきである。但し、構成要素内のサンプ
ル数は、画像と構成要素を同時にサブサンプリングする
ことにより一定に保持できる。構成要素内のサンプル数
は、８×８の配列パターンで６４個に維持するのが好ま
しく、このパターン内の２個のサンプル間の距離は、画
像サイズの増大に応じて増大する。この技法は、２の累
乗と８×８画素の構成要素を使用する画像サブサンプリ
ングに等しい。即ち、この技法は、１実施例において
は、画像を固定ベースサイズに再修正して、常に、同一
密度パケットの８×８構成要素を使用すると説明でき
る。この技法は、ソフトウェア内の“適所で”実行でき
る。即ち、画像のサブサンプリングは、色構成ヒストグ
ラムを計算しながら、処理期間中にサンプルを単純にス
キップすることにより間接的に実施できる。サブサンプ
リング係数と構成要素の幅と高さの空間範囲を同時に次
のように計算することができる。構成要素サイズの空間
範囲をＥとする。即ち、空間範囲は好ましくはＥ×Ｅで
ある。使用するサブサンプリング係数をＫとする。Ｋ＝
１はサブサンプリングをしないことを意味し、Ｋ＝２は
水平及び垂直等の方向等に２回サブサンプリングするこ
とを意味する。Ｋ及びＥは、次のように計算するのが好
ましい。 p=max[0,round(0.5^*log₂(幅^*高さ)-8)]、ここで、Ｋ＝２^p及びＥ＝８^*Ｋである。

【０１１１】例えば、サイズ３２０×２４０の画像は、
上記公式により、Ｋ＝１及びＥ＝８を生じ、この場合、
構成要素は、図１２（Ａ）に示すように、サブサンプリ
ングはされず単純に８×８である。サイズ６４０×４８
の画像は、上記公式により、Ｋ＝２及びＥ＝１６を生
じ、この場合、図１２（Ｂ）に示すように、構成要素の
空間範囲は１６×１６でサブサンプリングは２×２であ
り、サブサンプリングした画像上に８×８の空間範囲を
持つ構成要素が生じる。２５６×２５６より小さい画像
は、全ての場合にＫ＝１及びＥ＝８であるという意味
で、特殊なケースである。これにより、より小さな画像
をより大きいサイズにサンプリングするのを避けると同
時に十分良好に実行できる。

【０１１２】可変寸法テスト領域の実施例が、その利点
と共に、ここに参照により一体化する資料ISO/IEC JTC
1/SC 29WG 11/M5785 (オランダ、Noordwjekerhout, 200
0年3月)に記述されている。

【０１１３】異なる長さ、即ち、異なる“ビン”数の使
用可能な記述子をもつことが望ましい。前述したよう
に、これは、より粗く又は細かく量子化した色空間での
記述子の抽出に相当する。一般に、小さな記述子は、よ
り粗く量子化した色空間に該当する。しかしながら、こ
の色空間は、望むならば任意の非一様な方法で量子化し
てもよい。異なるサイズの記述子は、特定のシステムが
少なくとも部分的に、色構成ヒストグラムの保管に必要
な蓄積条件を選択することを可能にする。さらに、色構
成ヒストグラムの記述子サイズの選択は、システムがシ
ステムの複雑さと計算必要条件を少なくとも部分的に決
定できるようにする。例えば、画像数が制限されており
蓄積装置がほぼ制限無く使用可能な場合は、比較的多数
のビンを持つ記述子が望まれる。画像数が異常に多く、
追加の使用可能な蓄積装置に限りがあり、計算能力にも
制限がある場合、ビン数を厳しく制限した記述子が望ま
れる。蓄積スペースが厳しく制限されている埋め込みシ
ステムの場合も、ビン数を厳しく制限した記述子が望ま
れる。使用可能な記述子は、要望に応じ、例えば、２５
６，２００，１７５，１３０，９６，７５，３２及び１
２のように選択することができる。勿論、（色構成ヒス
トグラムを限定することなく）複数の記述子サイズを含
む、任意の画像記述システムと共に使用することができ
る。

【０１１４】図１３，図１４，及び図１５は、色（又は
色構成）ヒストグラム記述子の独立軸に沿って配列した
関連ビンと量子化色空間の間の関係を示しており、又、
２つの異なる色空間量子化に由来する２つのヒストグラ
ム間の関係を記述している。図１３（Ａ）は、説明のた
めにのみ図示したものであるが、２次元色空間を、各々
隣接する空間範囲を囲む少数の互いに素なサブセットに
分割している。実際には、色空間の次元数はより高く、
通常は三次元であり、その形状は任意であってよい。
又、実際には、サブセット数は、多くても少なくてもよ
く、形状も任意であり、包含空間部分は、１個以上の非
連結（離散）点より成る場合でも高度に非連結であり得
る。議論を容易にするために、これらの互いに素な色空
間のサブセットを“セル”と呼ぶことにするが、上記の
ように、形状及び形式は任意である。図１３（Ａ）は、
“Ａ”型の量子化として表示する表示色空間の特定量子
化を示している。セルに０からＮ−１（Ｎはセルの総数
であり、この場合はＮ＝１６）まで番号を付け、図１３
（Ｂ）に示すＮビンのヒストグラムにも同じ番号を付け
る。これにより、双射的（bijective）な関係がヒスト
グラムのビンと色空間セルの間に確立される。即ち、各
ビンは、１つだけのセルに対応し、反対に、各セルは、
１つだけのビンに対応している。色空間セルとヒストグ
ラムビンの両方へのＮ番号の割当は任意であるが、実際
には、図１３，図１４，図１５に示すような順序が用い
られる。色構成ヒストグラムの特定ビン内の数値、例え
ば、ｋ番目のビン内の数値を、前述したように、ｋ番目
の色空間セル内に位置する構成要素の位置番号によって
決定する。従来のヒストグラムの場合、ｋ番目のビン内
の数値は、ｋ番目セル内の色を持つ画素が画像内で発生
する回数である。

【０１１５】図１４（Ａ）は、色空間の再量子化を示し
ており、“Ｂ”型色空間量子化と表示する。再量子化に
よれば、色空間を異なるセルのセットに区分けし、必ず
しも必要ではないができれば異なるセル数とする。図１
４（Ａ）に関連するヒストグラムの独立軸を図１４
（Ｂ）に示す。図１３（Ａ）と図１４（Ａ）は、空間量
子化セル及び再量子化セル間に僅かな関係がある場合を
示している。図１３（Ｂ）のヒストグラムが与えられ、
相互操作性のために、関連画像を参照することなく、そ
れを図１４（Ｂ）のヒストグラムに変換することを望む
場合には、次の困難が発生する。どのようにして、図１
３（Ｂ）のヒストグラムビン内の値を正確に結合して図
１４（Ｂ）のビン値を得ることができるのであろうか。
ビンと色空間セルの間の双射関係により、これは、
“Ｂ”型量子化のセル内に存在する画素数に“Ａ”型量
子化のセル内に存在する色の画素数を分配する方法を求
めることと同じである。３のインデックスを持つ“Ｂ”
型量子化セルを考慮して困難さを説明する。このセル
は、図１４（Ａ）に破線で示した“Ａ”型量子化セル
４，５，７及び８の各々の部分を含んでいる。かよう
に、これらの“Ａ”型量子化セルに存在する色を持つ画
素数の或る部分が“Ｂ”型量子化に該当する図１４
（Ｂ）のヒストグラムのビン３内に値を提供すべきであ
る。しかしながら、原画像の画素を参照しないで、この
配分を決めることは困難である。

【０１１６】この配分を合理的に行うための種々の可能
なスキームをテストする実験を実施した。１つのアイデ
ィアは、所与の“Ｂ"セルに重なる所与の“Ａ"セル領域
に比例して、“Ｂ”型量子化の所与のセルに、“Ａ”型
量子化の所与のセル内の色を有する画素を割り当てるこ
とであった。記述子を再量子化するこの方法を用いるこ
とによる検索結果は貧しいものであった。理由は、この
方法は所与の“Ａ”量子化セルに画素色が元々存在して
いることを考慮しなかったからである。“Ａ”量子化か
らのセルが完全に再量子化空間のセルの内側又は外側に
ある場合にのみ、かような配分を行えることが判明し
た。その場合、所与の“Ａ”量子化セル内の画素の全て
又はゼロが、事実上、再量子化空間の所与のセル内に存
在する。

【０１１７】図１５（Ａ）は、この特性を持つ“Ａ”量
子化の色空間再量子化を示す。これを、色空間の“Ｃ"
量子化と記述する。全ての“Ａ”セルが完全に或る
“Ｃ”セルの内側又は外側にあることを観察する。同様
に、全ての“Ｃ”セルの境界線は“Ａ”セルの境界線で
ある。かような色空間の再量子化の場合、“Ａ”量子化
ヒストグラム値からの“Ｃ”量子化ヒストグラム値の導
出を継続できる。好適な導出技法は、再量子化により
“Ｃ”に結合された“Ａ”セルに対応する“Ａ”ヒスト
グラムのビンの値を加法により結合することである。図
１５（Ｂ）は、２つの“Ｃ”ヒストグラムのビン、即ち
ビン０とビン３の場合のこの技法を説明する図である。
図１５（Ｂ）のビン０は、図１５（Ａ）のセルインデッ
クス０に対応する。このセルは、図１３（Ａ）からの唯
１つの"Ａ"量子化セル、即ち、インデックス４のセルの
（自明な）結合である。従って、図１５（Ｂ）のビン０
内の値は、図１３（Ｂ）の“Ａ”ヒストグラムのビン４
内の値からのみ導出される。

【０１１８】重要な例として、図１５（Ｂ）の“Ｃ"ヒ
ストグラムのビン３を検討する。これは、“Ａ"色空間
量子化からのセル１，２，３及び１１を正確に取り囲む
図１５（Ａ）の"Ｃ"セルインデックス３に対応する。従
って、ビン１，２，３及び１１内で発見された"Ａ"ヒス
トグラムからの値は、好ましくは加法にて結合され、図
１５（Ｂ）の“Ｃ"ヒストグラムのビン３用の導出値を
得る。

【０１１９】この再量子化を達成できる方法の１例につ
いて以下に説明する。ヒストグラムの色空間量子化をＡ
で表わし、目標の再量子化をＢで表わす。Ｉ_AはＡヒス
トグラム内にある所与の色ビンのインデックスである。
ＨＳＶ（色相飽和値）の色空間において、例えば、再量
子化は、先ずＩ_Aを、Ａ型量子化用３個のＨＳＶ色成分
Ｈｑ_A，Ｓｑ_A及びＶｑ_Aにマッピングすることにより実
施する。このマッピングは、個別の量子化色インデック
スを取り、ヒストグラムビンインデックスを配達するマ
ップを逆にすることにより定義される。次に、３個の色
インデックスを、Ｈ＝（Ｈｑ_A＋０.５）／ｎＨｑ_Aに従
い逆量子化する。ここで、ｎＨｑ_Aは、浮動点数量であ
るＨが当初Ａ型に量子化されたレベル数である。同じ公
式を、適当な変更を加えてＳ及びＶに適用することがで
きる。その後、Ｈ，Ｓ及びＶを“Ｂ”型量子化の量子化
レベルに従って再量子化し、ヒストグラムビンのインデ
ックスＩ_Bを、Ｈｑ_B，Ｓｑ_B及びＶｑ_Bから再計算するこ
とにより算出する。これにより、Ｉ_AからＩ_Bまでのマッ
プが定義される。Ｉ_Aにおけるヒストグラムの振幅イン
デックスを単純にＩ_Bに加える。これは、Ｉ_AとＩ_Bにお
けるヒストグラムの振幅を加算することに等しいことを
示している。

【０１２０】再量子化は、色ヒストグラムと色構成ヒス
トグラムに適用できるが、これは、以下に述べるよう
に、画像検索のための色構成ヒストグラム記述子を用い
る場合には、最適な操作ではないことが判明した。特
に、色構成ヒストグラムを異なる量子化レベルで抽出
し、次に続けて再量子化する場合には、これは最適な操
作ではない。この挙動の主要な理由は、色構成ヒストグ
ラムの性質にあり、色構成ヒストグラムは通常、従来の
ヒストグラムより高性能である理由に密接に関係してい
る。再び、図１１（Ａ）と図１１（Ｂ）を参照する。こ
れらの図は、等色平面内に２つの異常な、但し、有効な
タイプの色構成が存在し、画素平面が同色である場合の
色構成ヒストグラムの挙動を示す。図１１（Ａ）におい
て、Ｐ色と記す同一色の画素は、矩形“ブロブ”内に群
集している。説明のために、この群塊をコヒーレンス
（干渉性）と記す。等色平面の干渉性が高ければ高いほ
ど、等色平面内の画素群はより密集して見える。反対
に、等色平面の非干渉性が高くなればなるだけ、画素
は、色構成ヒストグラムに用いられている構成要素の寸
法（ディメンション）に関して、“遠く離れる”傾向が
ある。

【０１２１】図１１（Ａ）の干渉性は、エッジ効果を無
視し、色Ｐに対応する色構成ヒストグラム（非正規化色
構成ヒストグラム）のＰビンに、（８＋２）×（７＋
２）＝９０の計数値を与える。これは、色Ｐの画素が、
構成要素の９０異なる位置の構成要素内で発見されるか
らである。一方、図１１（Ｂ）の場合の計数値は、エッ
ジ効果を無視すれば、各画素は色構成ヒストグラムビン
に合計９の計数値を与えるので、（８×７）×（３×
３）＝５０４となる。

【０１２２】対応する従来のヒストグラムは、いずれの
場合も、非正規化５６の計数値を持つ。従って、従来の
ヒストグラムは色構成のインコヒーレンスに不感である
のに反し、色構成ヒストグラムは、各色量の測定に加
え、等色平面内のインコヒーレンスに反応する。この追
加情報は、色構成ヒストグラムが従来のヒストグラムよ
り優れている主要な理由である。同様に、これが、色構
成ヒストグラムは再量子化の下では良好な動作が期待で
きない主たる要因であることが判明した。以下にその説
明をする。

【０１２３】図１６は２つの等色平面Ｐ及びＱを持つ画
像を示す図である。原色空間量子化をＡで表わし、より
粗いスケーラブルな再量子化をＢで表わす。次の３つの
特性を有する第２色Ｑを導入する。（ｉ）色構成は又非
干渉性（インコヒーレント）であり、（ｉｉ）画素は色
Ｐの画素近くの空間にあり、（ｉｉｉ）色空間中の位置
は色Ｐに十分に近く、再量子化された時にＰ，セルＰＱ
と同じ量子化ビン内に存在する。色Ｑは、又、各々改善
されたヒストグラムのビン“Ｑビン”に計数値５０４を
供給する。相当する従来のヒストグラムは、Ｑビンに
（８×７）＝５６の計数値を提供する。

【０１２４】説明のために、この色構成ヒストグラムと
従来のヒストグラムを再量子化すると仮定する。Ｐビン
とＱビンは新しいＰＱビンになる。従来のヒストグラム
の場合、ＰＱビン内の計数値は１１２であり、これはＰ
ビンとＱビン内の計数値の合計である。理由は、スケー
ラブルな再量子化の方法では、Ｂ量子化においてビン
は、Ａ量子化のビンの内容を取得するからである。これ
は、画像が最初にＢ量子化された場合、従来のヒストグ
ラムのＰＱビンに存在した数値と同じである。これは、
Ａ量子化空間において色Ｐ又は色Ｑを有していた場合及
びその場合にのみ、Ｂ空間内の画素は色ＰＱを有してい
るからである。言い換えれば、従来のヒストグラムの場
合の再量子化は、２つの色を１つに結合してから計数す
るのは、２つの色を個別に計数して結果を和算すること
と同じであるので、加法（又は、より正確には、準同形
（homomorphic））である。

【０１２５】この挙動は、色構成ヒストグラムと全く異
なっている。色構成ヒストグラムを再量子化する場合、
従来のヒストグラムの場合と同様に所与の再量子化ビン
に写像する全てのビン内の計数値を加える。これは、関
連する等色平面の構成に関する知識がなくてもできる最
良の方法である。結果は１００８を数える。しかしなが
ら、画像がＢ量子化色空間内で出発する場合、非常に異
なる結果が生じる。これは、図１５に見られるように、
異なっていた色が今は同じ色になっている。等色平面の
非干渉性が図１１（Ｂ）に比して減少していることが観
察できる。従って、再量子化は、色構成を考慮すること
ができないので、色構成ヒストグラムを再量子化して得
られた計数値より低い計数値が、色構成ヒストグラムの
ＰＱビン内に得られることが期待できる。実際に、この
計数値は、図１５の場合７３６であり、記述子は、所与
の３×３構成要素であるＢ型色量子化空間内で量子化し
た画像から抽出された。

【０１２６】結果として、再量子化色構成ヒストグラム
は、準同形ではない。Ｂ量子化画像から抽出した色構成
ヒストグラムは、ｌ₁ノームに関し、ＡからＢに再量子
化したものと十分に相違している。色構成ヒストグラム
と従来のヒストグラムの再量子化試験は、ここに参照す
ることにより組み込む資料ISO/IEC JTC 1/SC 29/WG 11/
M6018 (2000年5月，ジュネーブ)に記述されている。

【０１２７】前述したＭＰＥＧ−７のＤＤＬ（データ記
述言語）による記述子の定義中の属性名の１つである
“ｃｏｌｏｒＱｕａｎｔ（色量子化）”は、色空間と量
子化演算位置を規定し、ＤＤＬ表現シンタックスに用い
られたＣｏｌｏｒＳｔｒｕｃｔｕｒｅ（色構成）値の数
を決定する。その意味（セマンティクス）は、図１８に
示すように規定できる。変数ＣｏｌｏｒＱｕａｎｔは、
例えば、００１，０１０，０１１及び１００のような適
当な値をとることができる。数値フィールドは、ｍ∈
｛０，１，…，Ｍ−１｝の場合の８ビット整数値ｈ
（ｍ）のＭ要素配列として編成されたＣｏｌｏｒＳｔｒ
ｕｃｔｕｒｅ記述子を含んでいる。ビンの数Ｍは、許容
演算点のセット｛２５６，１２８，６４，３２｝から選
択できる。Ｍ−ビン記述子のビンは、後述するＭセル色
空間のＭ量子化色ｃ₀，ｃ₁，ｃ₂，…，ｃ_M _-1に双射的に
関連する。ｈ（ｍ）値は、非線形方式で記述され、色ｃ
_mの画素を１個以上含む画像内の構成要素の数を表わ
す。

【０１２８】勿論、望むならば、任意の色空間を使用で
きる。しかしながら、完全性を確保するために、好適な
色空間は“ＨＭＭＤ"として記述する。ＨＭＭＤ色空間
は、ＲＧＢ色空間から非線形可逆変換によって定義す
る。ＨＭＭＤ色空間内には、５つの別個の属性（成分）
がある。５つの属性の意味は次のように定義される。

【０１２９】Ｈｕｅ：Ｈｕｅ（色相）；Ｍａｘ：ｍａｘ（Ｒ，Ｇ，Ｂ）；画像が影又は黒色度
を与える黒色をどれだけ持っているかを示す。Ｍｉｎ：ｍｉｎ（Ｒ，Ｇ，Ｂ）；画像が淡色又は白色
度を与える白色をどれだけ持っているかを示す。Ｄｉｆｆ：Ｍａｘ−Ｍｉｎ；色調又は色彩度を生み出す
灰色をどれだけ画像が含んでおり、どれだけ純粋色に近
いかを示す。Ｓｕｍ：（Ｍａｘ＋Ｍｉｎ）／２；及び、色の明るさ
を示す。

【０１３０】図１９はＨＭＭＤ色空間を示す図である。
ＨＭＭＤ色空間は、黒さ、白さ、彩度及び色相より成る
２重円錐形の外観を有している。使用可能な色空間の選
択は、図２０に示すシーケンスのような任意のシーケン
スに配列することができる。使用可能な色空間は、さら
に、望むならば、図２１に示す２値表現の２進値で表現
することができる。

【０１３１】通常、画像記述子は、共通の色空間におい
て抽出され比較される。異なる色空間から導出した画像
記述子を比較することは、かなり困難である。

【０１３２】比較のために、色構成記述子を再量子化す
ることが最適ではないことを考慮し、色構成ヒストグラ
ムは、２５６のレベルのような、最も細い量子化粒度に
おいて画像から常に最初に抽出すべきであることが判明
した。図２２はビンの一様化の１例を示す図である。最
も細かい量子化レベルで抽出後、記述子は、例えば単純
な加法で適当なビンを結合することにより再量子化す
る。このようにして、１２８，６４及び３２のような他
のレベルを、画像の色コヒーレンスと無関係である統一
された一様な方法で決定する。

【０１３３】図２３は再量子化及び比較技法を示す図で
ある。色構成ヒストグラムのデータベースは、ブロック
２５０において、２５６ビンのような最高量子化レベル
において各画像を最初に量子化することにより生成す
る。ブロック２５０の結果得られた量子化画像は次に、
ブロック２５２において、１２８，６４及び３２のよう
な所望数のビンに再量子化する。探索クエリは、ブロッ
ク２６０において２５６ビンのような最高量子化レベル
で最初に量子化する。ブロック２６０の結果得られた量
子化画像は次に、ブロック２６２において、１２８，６
４及び３２のような所望のビン数に量子化する。ブロッ
ク２５０及び２６０の結果である量子化画像は、望むな
らば、再量子化する必要はない。ブロック２７０では、
問合せ記述子が特定のヒストグラム記述子と異なるレベ
ルで量子化されるかを決定する。２つの記述子が同数の
ビンを有している場合は、ブロック２７２において記述
子を比較する。２つの記述子が異なる数のビンを有して
いる場合は、比較する前に、ブロック２７４において片
方の記述子を再量子化して他方の記述子の量子化に合わ
せる。記述子は、要望に応じ、両方共同数のビンに再量
子化してもよい。同サイズになった再量子化記述子を、
ブロック２７２において比較する。同じ方法で同じサイ
ズに量子化した各色構成ヒストグラムは互いに一致し、
従って、含まれている空間情報も等しく取り扱うことが
できる。

【０１３４】空間情報を含んでいるヒストグラムをさら
に検討したが、特に、各量子化色がテスト領域毎に１回
だけ計数される場合に、かなりの数のビンが比較的少な
い数を含んでいる。ヒストグラム用に必要な蓄積条件を
さらに低減させるために、ビンの振幅を選択した符号値
のセットに量子化する。色構成ヒストグラムの場合に、
ある特定ビンの振幅がとることができる最大値は、予め
規定された数値、即ち、（Ｎ−Ｓ_x＋１）×（Ｍ−Ｓ_y＋
１）であり、ここで、Ｎは画素内構成要素の水平方向の
幅、Ｍは画素内構成要素の垂直方向の高さ、Ｓ_xは画素
内構成要素の水平方向の幅、Ｓ_yは画素内構成要素の垂
直方向の高さである。注意すべきことは、この最大値は
従来の色ヒストグラムと同じであり、ここでＳ_x＝Ｓ_y＝
１である。最大ポテンシャル値が明らかになれば、生成
ヒストグラムを良好に規定された方法で正規化すること
ができる。正規化した総画素計数と生成符号値間の相互
関係の１例を図２４に示す。従来は、画素計数を一様に
量子化しており、図２４に破線で描いた斜線のように符
号値と量子化振幅の間は直線的関係を含んでいる。

【０１３５】図２５は、正規化した画素計数が符号値と
非線形の関係を示す別の相互関係例を示す。これは、非
一様な量子化である。

【０１３６】通常の色構成ヒストグラム内の殆どのデー
タは、図１０に示すような、小さな数字プラス少数の大
きな数字である。殆どが小さい数字より成る２つのヒス
トグラムを、通常片方のヒストグラムの他方との絶対差
によって比較する時に、その結果は主としてより小さい
数字になる。小さい数値間の見掛けの差の減少は、続い
て振幅量子化を実行すれば、さらに減少する。従って、
残る少数の大きな数値が２つの色構成ヒストグラム間の
比較を左右する傾向が見られる。小さい符号値（即ち、
小さい数）が殆ど無関係になり、大きな符号値（即ち、
大きな数）が支配する傾向を補償するためには、振幅を
非一様に量子化して、振幅と符号値の間に非直線的な関
係を導入しなければならない。異なる符合値の分布例で
は、ビンの振幅範囲を６つの範囲に細分し、次に異なる
数の量子化レベルを各細分範囲内に一様に割当てる。ビ
ン振幅範囲（０.０〜１.０）を６つの小範囲に分割する
閾値は、（およそ）次の通りである。

【０１３７】Ｔｈ００.００００００００１；（又
は、０.０３７よりかなり小さいか又は、ほぼゼロに等
しい数値）Ｔｈ１０.０３７；Ｔｈ２０.０８０；Ｔｈ３０.１９５；及びＴｈ４０.３２０各分割範囲に割当てる量子化レベル（又は、符号値）数
は、（およそ）次の通りである。Ｎ０＝１０.０及びＴｈ０の間；Ｎ１＝２５Ｔｈ０及びＴｈ１の間；Ｎ２＝２０Ｔｈ１及びＴｈ２の間；Ｎ３＝３５Ｔｈ２及びＴｈ３の間；Ｎ４＝３５Ｔｈ３及びＴｈ４の間；及びＮ５＝１４０Ｔｈ４及び１.０の間。

【０１３８】しきい値の数値は、要求に応じ修正するこ
とができる。従来のビンを一様に量子化する方法とは異
なり、この改良技法は、非一様振幅量子化技法を用い
る。振幅の非一様量子化の実装については、参考資料IS
O/IEC JTC 1/SC 29/WG 11/M5218 (2000年7月、北京)に
記載され、ここに参照して一体化する。

【０１３９】図２６は、色構成ヒストグラム記述子の抽
出プロセスの実装例を示す図である。ブロック３００に
おいて、“生の”２５６ビンヒストグラムを画像から直
接集積（例えば、コンパイル）する。この時点で、ビン
の振幅はまだ量子化されておらず、“線形”ドメインに
残っており、即ち、ビンに関係する色を含む構成要素数
に線形に関係している。２５６ビンが要求されると、ブ
ロック３０２はブロック３０４に分岐し、そこで、前述
した技法を使用してビンの振幅を非一様に量子化する。
２５６ビンより少ないビンが要求されると、ブロック３
０２は３０６に分岐し、そこで、前述した技法を使用し
てビンの単一化により色空間を再量子化する。ブロック
３０６におけるビン一様化の結果は、まだ“線形”ドメ
インにある。ブロック３０６の結果をブロック３０８で
最大振幅にクリップして、制限されたビット数を使用し
ている場合に整数の“ロールオーバー”が発生するのを
避ける。ブロック３０８によるクリッピングの結果をブ
ロック３０４に提供し、そこで、ビンの振幅を非一様に
量子化する。ブロック３０４による振幅の非一様な量子
化の結果は、ビン関係色を含む構成要素の数に非線形的
に関係する符号値を供給する。かなりの分析を実施した
結果、“線形”ドメイン内のビンの一様化による再量子
化により、符号値を用いる“非線形”ドメイン内のビン
の一様化で検索パフォーマンスが増強されることを確認
した。この増強されたパフォーマンスは、主として、減
少したクリッピングの結果であることも確認された。

【０１４０】図２７はクエリ及びデータベース記述子用
の比較例を示す図である。クエリ記述子とデータベース
記述子を相似性測度の比較のために提供する場合、記述
子のサイズが一致しなければならない。サイズＭ３２０
のデータベースとサイズＮ３２２の問合せ記述子が与え
られた場合、２つの記述子のうちの大きい方を減寸して
小さい方のサイズに合わせる。減寸させる記述子の符号
値を先ずブロック３２６で（量子化）線形振幅に変換す
る。符号値の線形振幅への変換は、通常、次の特性を有
する。（ｉ）結果振幅と先に定義した［０，１］以内の
非一様量子化間隔の中央間隔値との間には線形の関係で
あり、（ｉｉ）これらの線形振幅中央間隔値は、Ｂ個の
ビットで表現される。Ｂは、好ましくは２０である。ブ
ロック３２８においてビンの一様化を行う。特に、Ｍ＞
Ｎであると仮定した場合、Ｍ−ビン記述子内ビンのＮビ
ン記述子内ビンへのマッピングは、Ｍビン記述子の各ビ
ンにより表現される色をＮセル色空間に再量子化し、各
再量子化色を表わすビンインデックスを計算することに
より定義される。ブロック３２８の結果は、非一様振幅
量子化を含む記述子である。ビン一様化の期間中、２つ
のビンの合計は、好ましくは、ブロック３３０におい
て、最大可能線形振幅２^B−１にクリップする。その
後、減寸した記述子の線形振幅を非線形符号値に変換し
て戻す。図２８は、ゼロ色相角度用ｄｉｆｆ−ｓｕｍ平
面内のＨＭＭＤ空間の断面を示しており、１２８セル操
作点用量子化セルを説明するための図である。部分空間
（サブスペース）を規定する分割点は、色平面に垂直線
で示してある。分割点を決定するｄｉｆｆ軸値は、平面
の上エッジに沿う分割点マーカの上部に黒色で表示して
ある。各部分空間内の水平線は、ｓｕｍ軸に沿った量子
化を示している。色相角の量子化は、各分割点マーカの
回りのグレイ回転矢印で示している。回転矢印の右側の
グレイ番号は、分割点の右側の部分空間において量子化
された色相のレベル番号に該当する。例えば、図１３，
図１４，図１５は、ｄｉｆｆ＝６０とｄｉｆｆ＝１１０
の間のサブ空間（即ち、サブ空間３）に関係する色相値
は、８つのレベルに量子化される。

【０１４１】色空間セルと記述子ビンインデックス間の
双射マッピングは、セル内の数値により明示される。こ
れらの数字は、先ず、（ｓｕｍ軸に平行に）下から上ま
で、次に、サブ平面内にあるｄｉｆｆ−ｓｕｍ平面から
ｄｉｆｆ−ｓｕｍ平面まで（色相軸の回り）、最後にサ
ブ空間からサブ空間への順序で与えられる。例えば、サ
ブ空間２及び３の底縁に最も近い図１３，図１４，図１
５のセルには、３２と６４の番号が与えられる。数字の
ジャンプは、このサブ空間用に４つの合計レベルと８つ
の色相レベルがあるためである。サブ空間内の数字は、
従って、３２から３２＋４×８−１＝６３に増加する。
本明細書に使用してきた用語と表現は、説明のためであ
り限定するものではなく、かような用語と表現の使用に
より、図示説明してきた特徴又はその部分を表わす同等
の用語と表現を排除する意図は全くない。本発明の範囲
は、特許請求範囲によってのみ規定され限定されること
を確認する。

【図面の簡単な説明】

【図１】テスト領域を描いた異なる色又はテクスチャの
特徴を含む画像を示す図である。

【図２】画像上により大きいスケールで描いたテスト領
域を有する図２の画像を示す図である。

【図３】８つの正方形の特徴及び８つの円形の特徴を有
する記述用画像を示す図である。

【図４】１つの正方形特徴と１つの円形特徴を有し、各
特徴が、図３における８つの同一幾何学形状の特徴に等
しい面積を有している、記述用画像を示す図である。

【図５】同一サイズ及び形状の特徴を有し、その特徴が
平行移動及び回転した２枚の類似画像を示す図である。

【図６】本発明の第１実施態様において得られた画像デ
ータ例を示す図である。

【図７】本発明の第２実施態様において得られた画像デ
ータ例を示す図である。

【図８】非２進しきい値技法のグラフを示す図である。

【図９】本発明の第３実施態様において得られた画像デ
ータ例を示す図である。

【図１０】色構成ヒストグラムの１例を示す図である。

【図１１】図１１（Ａ）は、高干渉性色の画像を示す図
であり、図１１（Ｂ）は、高非干渉性色の画像を示す図
である。

【図１２】図１２（Ａ）は、シングルスペーシングでの
８×８構成要素の画像を示す図であり、図１２（Ｂ）
は、ダブルスペーシングでの８×８構成要素の画像を示
す図である。

【図１３】図１３（Ａ）は、量子化Ａの色空間を示す図
であり、図１３（Ｂ）は、図１３（Ａ）の色構成ヒスト
グラムを示す図である。

【図１４】図１４（Ａ）は、量子化Ｂの色空間を示す図
であり、図１４（Ｂ）は、図１４（Ａ）の色構成ヒスト
グラムを示す図である。

【図１５】図１５（Ａ）は、量子化Ｃの色空間を示す図
であり、図１５（Ｂ）は、図１５（Ａ）の色構成ヒスト
グラムを示す図である。

【図１６】２つの等色平面Ｐ及びＱを持つ画像を示す図
である。

【図１７】１つのシングル等色平面ＰＱを持つ画像を示
す図である。

【図１８】色量子化のためのデータ構造例を示す図であ
る。

【図１９】ＨＭＭＤ色空間を示す図である。

【図２０】可能な色空間の選択例を示す図である。

【図２１】図２０の色空間の順序例を示す図である。

【図２２】ビンの一様化の１例を示す図である。

【図２３】再量子化及び比較技法を示す図である。

【図２４】線形画素計数値対符号値を示す図である。

【図２５】非線形画素計数値対符号値を示す図である。

【図２６】色構成ヒストグラム記述子抽出プロセスの実
装例を示す図である。

【図２７】クエリ及びデータベース記述子用の比較例を
示す図である。

【図２８】ＨＭＭＤ（隠れマルコフモデル記述子）の色
空間量子化の１例を示す図である。

【図２９】異なるスケールの特徴を有する２つの画像を
示す図である。

【符号の説明】

２…第１色の三角形特徴、４…第２色の円形特徴、６…
テスト領域、１０，２０…正方形特徴、１２，２２…円
形特徴。

───────────────────────────────────────────────────── フロントページの続き (72)発明者ジェームズエリコアメリカ合衆国，97229 オレゴン州，ポートランド，9130 エヌダブリュウッドローズループＦターム(参考） 5L096 AA02 AA06 DA02 GA19 GA40 GA41 JA18

Claims

【特許請求の範囲】

【請求項１】画像を記述する方法において、ａ）複数の画素を含む空間構成要素を規定するステップ
と、ｂ）前記空間構成要素に対応する複数のテスト領域を前
記画像上に描写するステップと、ｃ）前記テスト領域毎に複数の色を量子化するステップ
とを含んで成り、前記テスト領域毎の前記複数色の量子
化ステップは、個別の前記テスト領域毎の前記量子化色
毎の各色数とは無関係であることを特徴とする画像を記
述する方法。
【請求項２】前記テスト領域毎の前記複数色の前記量
子化ステップは、同一量子化色を持つ前記各テスト領域
内の画素数と無関係であることを特徴とする請求項１に
記載の画像を記述する方法。
【請求項３】前記量子化ステップは、複数の量子化色
範囲に従って前記複数の色を量子化し、前記各量子化色
範囲が前記画像の色空間の複数色を含んでいることを特
徴とする請求項１に記載の画像を記述する方法。
【請求項４】前記画像の前記色空間を複数の量子化色
範囲に量子化し、前記テスト領域毎の前記複数色を前記
量子化色範囲に従って量子化することを特徴とする請求
項１に記載の画像を記述する方法。
【請求項５】前記テスト領域毎の前記複数色の量子化
ステップは、１次元ヒストグラムを提供することを特徴
とする請求項４に記載の画像を記述する方法。
【請求項６】前記画像を記述する方法は、【表１】により記述されることを特徴とする請求項１に記載の画
像を記述する方法。
【請求項７】前記空間構成要素の前記サイズは、前記
画像のサイズに従って選択されることを特徴とする請求
項１に記載の画像を記述する方法。
【請求項８】画像を記述する方法において、ａ）複数の画素を含む空間構成要素を規定するステップ
と、ｂ）前記空間構成要素に対応する複数のテスト領域を前
記画像上に描写するステップと、ｃ）前記テスト領域毎に複数の色を量子化するステップ
とを含んで成り、前記テスト領域毎の前記複数色の量子
化ステップはコヒーレントな色の空間範囲への強調を弱
めて、色の空間的にインコヒーレントな範囲へ効果を強
調することを特徴とする画像を記述する方法。
【請求項９】前記複数色の前記量子化ステップは、前
記個別テスト領域毎の前記量子化された各色数と無関係
であることを特徴とする請求項８に記載の画像を記述す
る方法。
【請求項１０】前記テスト領域毎の前記複数色の前記
量子化ステップは、同一量子化色を持つ前記各テスト領
域内の画素数と無関係であることを特徴とする請求項８
に記載の画像を記述する方法。
【請求項１１】前記量子化ステップは、複数の量子化
色範囲に従って前記複数の色を量子化し、前記各量子化
色範囲が前記画像の色空間の複数色を含んでいることを
特徴とする請求項８に記載の画像を記述する方法。
【請求項１２】前記画像の前記色空間を複数の量子化
色範囲に量子化し、前記テスト領域毎の前記複数色を前
記量子化色範囲に従って量子化することを特徴とする請
求項７に記載の画像を記述する方法。
【請求項１３】前記テスト領域毎の前記複数色の量子
化ステップは、１次元ヒストグラムを提供することを特
徴とする請求項１２に記載の画像を記述する方法。
【請求項１４】前記空間構成要素の前記サイズは、前
記画像のサイズに従って選択されることを特徴とする請
求項８に記載の画像を記述する方法。
【請求項１５】画像を記述する方法において、ａ）画像のサイズに従ってサイズを選択する複数の画素
を含む空間構成要素を規定するステップと、ｂ）前記空間構成要素に対応する前記画像上に複数のテ
スト領域を描写するステップと、ｃ）前記テスト領域毎に複数の色を量子化するステップ
とを含んで成ることを特徴とする画像を記述する方法。
【請求項１６】前記空間構成要素は、前記画像が第１
画像サイズである時に第１要素サイズであり、前記空間
構成要素は、前記画像が第２画像サイズである時に第２
要素サイズであり、前記第１要素サイズは前記第２要素
サイズより小さく、前記第１画像サイズは前記第２画像
サイズより小さいことを特徴とする請求項１５に記載の
画像を記述する方法。
【請求項１７】前記テスト領域毎の前記複数色の前記
量子化ステップは、前記個別テスト領域毎の前記量子化
の各色数と無関係であることを特徴とする請求項１６に
記載の画像を記述する方法。
【請求項１８】前記テスト領域毎の前記複数色の前記
量子化ステップは、同一量子化色を持つ前記各テスト領
域内の画素数と無関係であることを特徴とする請求項１
５に記載の画像を記述する方法。
【請求項１９】前記量子化ステップは複数の量子化色
範囲に適宜に前記複数の色を量子化し、前記各量子化色
範囲が前記画像の色空間の複数色を含んでいることを特
徴とする請求項１５に記載の画像を記述する方法。
【請求項２０】前記画像の前記色空間を複数の量子化
色範囲に量子化し、前記テスト領域毎の前記複数色を前
記量子化色範囲に従って量子化することを特徴とする請
求項１５に記載の画像を記述する方法。
【請求項２１】前記テスト領域毎の前記複数色の量子
化ステップは１次元ヒストグラムを提供することを特徴
とする請求項１５に記載の画像を記述する方法。
【請求項２２】前記テスト領域毎の前記複数色の量子
化ステップはコヒーレントな色の空間範囲への強調を弱
めて、色の空間的にインコヒーレントな範囲への効果を
強調することを特徴とする請求項１５に記載の画像を記
述する方法。
【請求項２３】前記空間構成要素が８×８であること
を特徴とする請求項１５に記載の画像を記述する方法。
【請求項２４】前記８×８空間構成要素が６４サンプ
ルを含むことを特徴とする請求項２３に記載の画像を記
述する方法。
【請求項２５】前記空間構成要素を予定サイズに保持
し、前記画像をサブサンプリングして前記空間構成要素
に対応する前記テスト領域を決定することを特徴とする
請求項１５に記載の画像を記述する方法。
【請求項２６】前記サブサンプリングを絶対的に実行
することを特徴とする請求項２５に記載の画像を記述す
る方法。
【請求項２７】 p=max[0,round(0.5^*log₂(width^*heigh
t)-8)]の式において、ｗｉｄｔｈは画像の幅であり、ｈ
ｅｉｇｈｔは画像の高さであり、Ｋは前記画像に適用さ
れるサブサンプリング係数であってＫ＝２^Pであり、Ｅ
は前記空間構成要素の空間範囲であってＥ＝８×Ｋであ
ることを特徴とする請求項１５に記載の画像を記述する
方法。
【請求項２８】第１画像を第２画像と比較する方法で
あって、（ａ）複数の画素を含む第１空間構成要素を規
定するステップと、（ｂ）前記第１空間構成要素に対応
する複数の第１テスト領域を前記画像上に描写するステ
ップと、（ｃ）前記第１テスト領域毎に第１の複数の色
を量子化するステップと、（ｄ）ステップ（ｃ）の前記
量子化を異なるレベルに再量子化するステップと、
（ｅ）複数の画素を含む第２空間構成要素を規定するス
テップと、（ｆ）前記第２空間構成要素に対応する複数
の第２テスト領域を前記画像上に描写するステップと、
（ｇ）前記第２テスト領域毎の第２の複数の色を量子化
するステップと、（ｈ）ステップ（ｇ）の前記量子化を
異なる量子化レベルに再量子化するステップと、（ｉ）
ステップ（ｄ）の前記再量子化をステップ（ｈ）の再量
子化と比較するステップとを含んで成ることを特徴とす
る第１画像を第２画像と比較する方法。
【請求項２９】前記第１の複数色の前記量子化ステッ
プは、第１のビン数を持つ第１記述子を生じ、前記第２
の複数色の前記量子化ステップは、第２のビン数を持つ
第２記述子を生じることを特徴とする請求項２８に記載
の第１画像を第２画像と比較する方法。
【請求項３０】前記第１ビン数と前記第２ビン数が等
しいことを特徴とする請求項２９に記載の第１画像を第
２画像と比較する方法。
【請求項３１】前記第１ビン数と前記異なる量子化レ
ベルのビン数が等しいことを特徴とする請求項２９に記
載の第１画像を第２画像と比較する方法。
【請求項３２】前記第２ビン数と前記異なる量子化レ
ベルのビン数が等しいことを特徴とする請求項２９に記
載の第１画像を第２画像と比較する方法。
【請求項３３】前記再量子化ステップは、適切な細分
化を含むことを特徴とする請求項２８に記載の第１画像
を第２画像と比較する方法。
【請求項３４】画像を記述する方法であって、（ａ）
複数の画素を含む空間構成要素を規定するステップと、
（ｂ）前記空間構成要素に対応する複数のテスト領域を
前記画像上に描写するステップと、（ｃ）前記テスト領
域毎に複数の色を量子化するステップと、（ｄ）ステッ
プ（ｃ）の前記量子化の結果値を非一様に量子化するス
テップと、（ｅ）前記非一様量子化値を符号値に変換す
るステップを含んで成ることを特徴とする画像記述方
法。
【請求項３５】前記符号値は６つの範囲に分割された
近似的にほぼ０.０から１.０までの範囲を有し、第１範
囲は近似的に０とほぼゼロの間であり、第２範囲は近似
的にほぼゼロと０.０３７の間であり、第３範囲は近似
的に０.０３７と０.０８０の間であり、第４範囲は近似
的に０.０８０と０.１９５の間であり、第５範囲は近似
的に０.１９５と０.３２０の間であり、第６範囲は近似
的に０.３２０と１.０の間であることを特徴とする請求
項３４に記載の第１画像を第２画像と比較する方法。
【請求項３６】前記第１範囲を１個の範囲に分割する
ことを特徴とする請求項３５に記載の第１画像を第２画
像と比較する方法。
【請求項３７】前記第２範囲を２５個のほぼ等しい範
囲に分割することを特徴とする請求項３５に記載の第１
画像を第２画像と比較する方法。
【請求項３８】前記第３範囲を２０個のほぼ等しい範
囲に分割することを特徴とする請求項３５に記載の第１
画像を第２画像と比較する方法。
【請求項３９】前記第４範囲を３５個のほぼ等しい範
囲に分割することを特徴とする請求項３５に記載の第１
画像を第２画像と比較する方法。
【請求項４０】前記第５範囲を３５個のほぼ等しい範
囲に分割することを特徴とする請求項３５に記載の第１
画像を第２画像と比較する方法。
【請求項４１】前記第６範囲を１４０個のほぼ等しい
範囲に分割することを特徴とする請求項３５に記載の第
１画像を第２画像と比較する方法。
【請求項４２】前記第１範囲を１個の範囲に分割し、
前記第２範囲を２５個のほぼ等しい範囲に分割し、前記
第３範囲を２０個のほぼ等しい範囲に分割し、前記第４
範囲を３５個のほぼ等しい範囲に分割し、前記第５範囲
を３５個のほぼ等しい範囲に分割し、前記第６範囲を１
４０個のほぼ等しい範囲に分割することを特徴とする請
求項３５に記載の第１画像を第２画像と比較する方法。
【請求項４３】画像を記述する方法であって、（ａ）
複数の画素を含む空間構成要素を規定するステップと、
（ｂ）前記空間構成要素に対応する複数のテスト領域を
前記画像上に描写するステップと、（ｃ）前記テスト領
域毎に複数の色を量子化するステップと、（ｄ）ステッ
プ（ｃ）の前記量子化を異なる量子化レベルに選択的に
再量子化するステップと、（ｅ）ステップ（ｄ）の前記
量子化の結果値を非一様に量子化するステップと、
（ｆ）前期非一様量子化値を符号値に変換するステップ
を含んで成ることを特徴とする画像記述方法。
【請求項４４】前記選択的再量子化が選択されない場
合に前記ステップ（ｃ）の前記量子化の結果値を非一様
に量子化するステップをさらに含むことを特徴とする請
求項４３に記載の画像記述方法。
【請求項４５】前記テスト領域毎の前記複数色の前記
量子化ステップの結果生じる値が、該値と関係する量子
化色を含む前記空間構成要素の数に直線的に関係するこ
とを特徴とする請求項４３に記載の画像記述方法。
【請求項４６】前記非一様量子化に先立ち、前記結果
値をクリッピングするステップをさらに含んで成ること
を特徴とする請求項４４に記載の画像記述方法。
【請求項４７】前記符号値を前記結果値を表わす変換
値に変換するステップをさらに含んで成ることを特徴と
する請求項４６に記載の画像記述方法。
【請求項４８】前記変換値を異なる量子化レベルに再
量子化するステップをさらに含んで成ることを特徴とす
る請求項４７に記載の画像記述方法。
【請求項４９】前記変換値の前記再量子化を非一様に
量子化するステップをさらに含んで成ることを特徴とす
る請求項４８に記載の画像記述方法。
【請求項５０】前記変換値の前記非一様量子化値を符
号値に変換するステップをさらに含んで成ることを特徴
とする請求項４８に記載の画像記述方法。