JP2002358515A - 変倍画像生成装置及び方法、画像特徴算出装置及び方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体、並びに画像データ構造 - Google Patents
変倍画像生成装置及び方法、画像特徴算出装置及び方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体、並びに画像データ構造Info
- Publication number
- JP2002358515A JP2002358515A JP2002018936A JP2002018936A JP2002358515A JP 2002358515 A JP2002358515 A JP 2002358515A JP 2002018936 A JP2002018936 A JP 2002018936A JP 2002018936 A JP2002018936 A JP 2002018936A JP 2002358515 A JP2002358515 A JP 2002358515A
- Authority
- JP
- Japan
- Prior art keywords
- small space
- color
- image
- integrated
- small
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 131
- 238000004590 computer program Methods 0.000 title claims description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 57
- 230000008569 process Effects 0.000 claims description 73
- 238000012545 processing Methods 0.000 claims description 57
- 230000010354 integration Effects 0.000 claims description 53
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000013139 quantization Methods 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 4
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 102100040836 Claudin-1 Human genes 0.000 description 2
- 101100113671 Homo sapiens CLDN1 gene Proteins 0.000 description 2
- 101100113675 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) CLD1 gene Proteins 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100402621 Homo sapiens MSANTD4 gene Proteins 0.000 description 1
- 101100293260 Homo sapiens NAA15 gene Proteins 0.000 description 1
- 102100031642 Myb/SANT-like DNA-binding domain-containing protein 4 Human genes 0.000 description 1
- 102100026781 N-alpha-acetyltransferase 15, NatA auxiliary subunit Human genes 0.000 description 1
- 235000010724 Wisteria floribunda Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
(57)【要約】
【課題】 変倍対象の画像の特徴を良く表わす変倍画像
を生成する。 【解決手段】 変倍画像生成装置において、複数画素か
らなる画像が縦横に区切られることによって複数のブロ
ックに分割されることにより、その画像の色空間が、ビ
ンと称する複数の小空間に分割される(S10501-S1050
3)。そして、当該ビンを一単位として、複数のブロック
のうち対象ブロックを構成する各画素についてヒストグ
ラム演算が行われると共に、その演算結果において、当
該複数のビンのうち最も頻度の高いビンに属する画素の
平均色に従って、その対象ブロックの代表色が決定され
る。同様な演算が全てのブロックに対して行われること
により、当該画像の変倍画像が得られる(S10504-S10501
0)。
を生成する。 【解決手段】 変倍画像生成装置において、複数画素か
らなる画像が縦横に区切られることによって複数のブロ
ックに分割されることにより、その画像の色空間が、ビ
ンと称する複数の小空間に分割される(S10501-S1050
3)。そして、当該ビンを一単位として、複数のブロック
のうち対象ブロックを構成する各画素についてヒストグ
ラム演算が行われると共に、その演算結果において、当
該複数のビンのうち最も頻度の高いビンに属する画素の
平均色に従って、その対象ブロックの代表色が決定され
る。同様な演算が全てのブロックに対して行われること
により、当該画像の変倍画像が得られる(S10504-S10501
0)。
Description
【０００１】
【発明の属する技術分野】本発明は、原画像（入力画
像）の特徴量を求め、その特徴量を利用する画像処理の
分野に関し、特に、原画像を変倍する画像処理の分野に
関する。
像）の特徴量を求め、その特徴量を利用する画像処理の
分野に関し、特に、原画像を変倍する画像処理の分野に
関する。
【０００２】
【従来の技術】従来より、原画像の特徴量を求め、その
特徴量を利用して各種の画像処理が行われている。
特徴量を利用して各種の画像処理が行われている。
【０００３】このような原画像の特徴量の求め方の一例
としては、まず、変倍目標である縦×横の画素数（以
下、縦横画素数）で原画像（入力画像）を分割すると共
に、分割によって生成された複数のブロック画像内の画
素（画素値）の平均値を算出することによって当該原画
像の変倍画像を生成する。そして、生成された変倍画像
に対して公知の離散コサイン変換(以下、ＤＣＴ)処理と
量子化処理とを施し、その結果得られた係数のうち、低
周波成分側から幾つかの係数が、当該原画像の特徴量と
して取り出される。取り出された特徴量は、例えば、画
像検索に用いるデータに使用することができる（ISO/IE
C JTC1/SC29/WG11/N3522 "MPEG-7 VisualWorking Draft
4.0" ( [VWD4.0]）、あるいは、ISO/IEC JTC1/SC29/WG
11/N3522"MPEG-7 Visual part of eXperimentation Mod
el Version 7.0" ( [VXM7.0]))。
としては、まず、変倍目標である縦×横の画素数（以
下、縦横画素数）で原画像（入力画像）を分割すると共
に、分割によって生成された複数のブロック画像内の画
素（画素値）の平均値を算出することによって当該原画
像の変倍画像を生成する。そして、生成された変倍画像
に対して公知の離散コサイン変換(以下、ＤＣＴ)処理と
量子化処理とを施し、その結果得られた係数のうち、低
周波成分側から幾つかの係数が、当該原画像の特徴量と
して取り出される。取り出された特徴量は、例えば、画
像検索に用いるデータに使用することができる（ISO/IE
C JTC1/SC29/WG11/N3522 "MPEG-7 VisualWorking Draft
4.0" ( [VWD4.0]）、あるいは、ISO/IEC JTC1/SC29/WG
11/N3522"MPEG-7 Visual part of eXperimentation Mod
el Version 7.0" ( [VXM7.0]))。
【０００４】ここで、上記従来の特徴量の抽出手順につ
いて説明する。図１は、色レイアウト指標量の抽出処理
の流れを説明する図であり、[VWD4.0]もしくは[VXM7.0]
に記載されている手順を示す。また、図３は、従来にお
ける色レイアウト指標量の抽出処理を示すフローチャー
トである。
いて説明する。図１は、色レイアウト指標量の抽出処理
の流れを説明する図であり、[VWD4.0]もしくは[VXM7.0]
に記載されている手順を示す。また、図３は、従来にお
ける色レイアウト指標量の抽出処理を示すフローチャー
トである。
【０００５】図１及び図３において、まず、原画像1000
1を、８×８画素の複数のブロック画像に変倍する(ステ
ップＳ10201)。原画像の変倍画像を生成するに際して
は、変倍目標の縦横画素数で原画像を分割することによ
って得られたブロック内の画素の平均値が利用される。
1を、８×８画素の複数のブロック画像に変倍する(ステ
ップＳ10201)。原画像の変倍画像を生成するに際して
は、変倍目標の縦横画素数で原画像を分割することによ
って得られたブロック内の画素の平均値が利用される。
【０００６】次に、生成された８×８画素のブロック画
像（10011, 10012, 10013）を構成する各画素を、Y, C
b, Cr色空間データ（10021, 10022, 10023）に変換する
(ステップＳ10202)。
像（10011, 10012, 10013）を構成する各画素を、Y, C
b, Cr色空間データ（10021, 10022, 10023）に変換する
(ステップＳ10202)。
【０００７】次に、Y, Cb, Cr色空間の各成分データ100
21, 10022, 10023に対してＤＣＴ処理を施す(ステップ
Ｓ10203)ことにより、ＤＣＴ係数10031, 10032, 10033
を取得し、更にＤＣＴ係数10031, 10032, 10033に対し
て量子化を施す(ステップＳ10204)。
21, 10022, 10023に対してＤＣＴ処理を施す(ステップ
Ｓ10203)ことにより、ＤＣＴ係数10031, 10032, 10033
を取得し、更にＤＣＴ係数10031, 10032, 10033に対し
て量子化を施す(ステップＳ10204)。
【０００８】ここで、[VWD4.0]もしくは[VXM7.0]では、
上記の画像変倍処理、色変換処理、ＤＣＴ変換処理は公
知の手法で良いとされ、特に標準化されていない。
上記の画像変倍処理、色変換処理、ＤＣＴ変換処理は公
知の手法で良いとされ、特に標準化されていない。
【０００９】また、[VWD4.0]もしくは[VXM7.0]では、画
像変倍処理に関して、単純に原画像を８×８画素のブロ
ックに分割し、夫々のブロック内の画素の平均色を採る
ことを推奨している。例えば、[VWD4.0]によれば、量子
化処理は、Y成分、並びにCb/Cr成分のそれぞれについ
て、ＤＣ成分とＡＣ成分とで異なる処理が行われる。
像変倍処理に関して、単純に原画像を８×８画素のブロ
ックに分割し、夫々のブロック内の画素の平均色を採る
ことを推奨している。例えば、[VWD4.0]によれば、量子
化処理は、Y成分、並びにCb/Cr成分のそれぞれについ
て、ＤＣ成分とＡＣ成分とで異なる処理が行われる。
【００１０】次に、量子化処理の結果得られた量子化Ｄ
ＣＴ係数10041, 10042, 10043のうち、低周波数成分側
から幾つかの係数を選択する(ステップＳ10205)。図１
に示す例では、Y成分の係数に関しては６個（１００５
１）、Cb/Cr成分の係数に関しては３個ずつ（１００５
２，１００５３）選択されている。
ＣＴ係数10041, 10042, 10043のうち、低周波数成分側
から幾つかの係数を選択する(ステップＳ10205)。図１
に示す例では、Y成分の係数に関しては６個（１００５
１）、Cb/Cr成分の係数に関しては３個ずつ（１００５
２，１００５３）選択されている。
【００１１】図２は、係数選択のためのジグザグスキャ
ン処理を説明する図である。ステップＳ10205における
係数の選択は、同図に例示するように、８×８画素の如
く２次元に配置された係数を、ジグザグスキャンによっ
て１次元に並び替え、その先頭から幾つかを選択するこ
とによって実現される。ここで、図２の各ブロックに書
かれている１から６４の数字は、１次元に並び替えられ
た後にその係数が先頭から何番目に配置されるかを示す
数字である。
ン処理を説明する図である。ステップＳ10205における
係数の選択は、同図に例示するように、８×８画素の如
く２次元に配置された係数を、ジグザグスキャンによっ
て１次元に並び替え、その先頭から幾つかを選択するこ
とによって実現される。ここで、図２の各ブロックに書
かれている１から６４の数字は、１次元に並び替えられ
た後にその係数が先頭から何番目に配置されるかを示す
数字である。
【００１２】[VWD4.0]によれば、係数選択において取り
出すべき係数は、1, 3, 6, 10, 15,21, 28, 64の何れか
である。また、係数の数は、Cb成分係数とCr成分係数と
に関しては同数であるが、Y成分係数の数とCb/Cr成分係
数との数には、別々の数を設定可能である。[VWD4.0]に
よれば、デフォルトではY成分係数に関して６個、Cb/Cr
成分係数に関しては３個の係数を選択する。即ち、選択
された係数10051, 10052, 10053をもって、原画像10001
の色のレイアウトを表わす特徴データ（色レイアウト指
標量：Color Layout descriptor value）とする。
出すべき係数は、1, 3, 6, 10, 15,21, 28, 64の何れか
である。また、係数の数は、Cb成分係数とCr成分係数と
に関しては同数であるが、Y成分係数の数とCb/Cr成分係
数との数には、別々の数を設定可能である。[VWD4.0]に
よれば、デフォルトではY成分係数に関して６個、Cb/Cr
成分係数に関しては３個の係数を選択する。即ち、選択
された係数10051, 10052, 10053をもって、原画像10001
の色のレイアウトを表わす特徴データ（色レイアウト指
標量：Color Layout descriptor value）とする。
【００１３】また、複数の画像について上記の如く算出
した色レイアウト指標量を利用すれば、類似画像の検索
を行うことができる。この特徴データ間の類似度につい
ては、[VXM7.0]によれば以下の如く算出される。例え
ば、２つの画像の色レイアウト指標量CLD1(YCoeff, CbC
oeff, CrCoeff)と、CLD2(YCoeff', CbCoeff', CrCoef
f')との間の類似度Ｄは、数１で算出される。
した色レイアウト指標量を利用すれば、類似画像の検索
を行うことができる。この特徴データ間の類似度につい
ては、[VXM7.0]によれば以下の如く算出される。例え
ば、２つの画像の色レイアウト指標量CLD1(YCoeff, CbC
oeff, CrCoeff)と、CLD2(YCoeff', CbCoeff', CrCoef
f')との間の類似度Ｄは、数１で算出される。
【００１４】
【数１】
【００１５】数１において、λは各係数に関する重み付
けであり、[VXM7.0]には、表１のような重み付け値が示
されている。表１において値が示されていないものにつ
いては、重み付け値は１である。
けであり、[VXM7.0]には、表１のような重み付け値が示
されている。表１において値が示されていないものにつ
いては、重み付け値は１である。
【００１６】
【表１】
【００１７】
【発明が解決しようとする課題】しかしながら、上記従
来の特徴量の抽出方法においては、ステップＳ10201に
おいて原画像の変倍画像を生成するに際して、変倍目標
の縦横画素数で原画像を分割することによって得られた
ブロック内の画素の平均値を利用するため、原画像の構
図情報が不明確になってしまう。
来の特徴量の抽出方法においては、ステップＳ10201に
おいて原画像の変倍画像を生成するに際して、変倍目標
の縦横画素数で原画像を分割することによって得られた
ブロック内の画素の平均値を利用するため、原画像の構
図情報が不明確になってしまう。
【００１８】更に、上述した如く変倍画像に対してＤＣ
Ｔ処理を施して得られた量子化係数の低周波成分側から
幾つかの係数を取り出すため、原画像のトータルな系に
対する平滑化作用が強く効き過ぎてしまい、原画像の構
図情報が更に不明確になってしまうという問題がある。
Ｔ処理を施して得られた量子化係数の低周波成分側から
幾つかの係数を取り出すため、原画像のトータルな系に
対する平滑化作用が強く効き過ぎてしまい、原画像の構
図情報が更に不明確になってしまうという問題がある。
【００１９】そこで本発明は、変倍対象の画像の特徴を
良く表わす変倍画像を生成する変倍画像生成装置及び方
法、及びそのコンピュータ・プログラムとコンピュータ
読み取り可能な記憶媒体の提供を第１の目的とする。
良く表わす変倍画像を生成する変倍画像生成装置及び方
法、及びそのコンピュータ・プログラムとコンピュータ
読み取り可能な記憶媒体の提供を第１の目的とする。
【００２０】また、画像の色レイアウトの特徴を良く表
わす特徴量（指標量）を算出する画像特徴算出装置及び
方法、及びそのコンピュータ・プログラムとコンピュー
タ読み取り可能な記憶媒体の提供を第２の目的とする。
わす特徴量（指標量）を算出する画像特徴算出装置及び
方法、及びそのコンピュータ・プログラムとコンピュー
タ読み取り可能な記憶媒体の提供を第２の目的とする。
【００２１】
【課題を解決するための手段】上記の第１の目的を達成
するため、本発明に係る変倍画像生成装置は、以下の構
成を特徴とする。
するため、本発明に係る変倍画像生成装置は、以下の構
成を特徴とする。
【００２２】即ち、複数画素からなる画像を縦横に区切
ることによって複数のブロックに分割する画像分割手段
と、前記画像の色空間を、複数の小空間に分割する色空
間分割手段と、前記小空間を一単位として、前記複数の
ブロックのうち対象ブロックを構成する各画素について
ヒストグラム演算を行うと共に、その結果、前記複数の
小空間のうち最も頻度の高い小空間に属する画素の平均
色に従って、その対象ブロックの代表色を決定する色決
定手段とを備えることを特徴とする。
ることによって複数のブロックに分割する画像分割手段
と、前記画像の色空間を、複数の小空間に分割する色空
間分割手段と、前記小空間を一単位として、前記複数の
ブロックのうち対象ブロックを構成する各画素について
ヒストグラム演算を行うと共に、その結果、前記複数の
小空間のうち最も頻度の高い小空間に属する画素の平均
色に従って、その対象ブロックの代表色を決定する色決
定手段とを備えることを特徴とする。
【００２３】また、例えば前記色決定手段は、前記ヒス
トグラム演算の結果、最も頻度の高い小空間が２つ存在
すると共に、それらの小空間が隣接する場合に、それら
２つの小空間に属する画素の平均色に応じて、前記対象
ブロックの代表色を決定すると良い。
トグラム演算の結果、最も頻度の高い小空間が２つ存在
すると共に、それらの小空間が隣接する場合に、それら
２つの小空間に属する画素の平均色に応じて、前記対象
ブロックの代表色を決定すると良い。
【００２４】好適な実施形態において、前記色決定手段
は、前記小空間を一単位として、前記複数のブロックの
うち対象ブロックを構成する各画素についてヒストグラ
ム演算を行う演算手段と、前記ヒストグラム演算の結
果、最も頻度の高い小空間が２つ存在すると共に、それ
らの小空間が隣接しない、或いは最も頻度の高い小空間
が３つ以上存在する場合に、それら小空間に隣接する他
の小空間群を１つに統合できるか否かを判断する統合判
断手段と、前記統合判断手段によって統合できると判断
された場合に、前記小空間群を１つに統合することによ
り、統合小空間を生成する小空間統合手段と、前記小空
間統合手段によって生成された統合小空間について前記
ヒストグラム演算に基づく頻度を足すことにより、最も
頻度の高い統合小空間を再帰的に算出すると共に、その
最も頻度の高い統合小空間に該当する画素の平均色を求
め、その平均色を、前記対象ブロックの代表色に決定す
る代表色決定手段とを含むと良い。
は、前記小空間を一単位として、前記複数のブロックの
うち対象ブロックを構成する各画素についてヒストグラ
ム演算を行う演算手段と、前記ヒストグラム演算の結
果、最も頻度の高い小空間が２つ存在すると共に、それ
らの小空間が隣接しない、或いは最も頻度の高い小空間
が３つ以上存在する場合に、それら小空間に隣接する他
の小空間群を１つに統合できるか否かを判断する統合判
断手段と、前記統合判断手段によって統合できると判断
された場合に、前記小空間群を１つに統合することによ
り、統合小空間を生成する小空間統合手段と、前記小空
間統合手段によって生成された統合小空間について前記
ヒストグラム演算に基づく頻度を足すことにより、最も
頻度の高い統合小空間を再帰的に算出すると共に、その
最も頻度の高い統合小空間に該当する画素の平均色を求
め、その平均色を、前記対象ブロックの代表色に決定す
る代表色決定手段とを含むと良い。
【００２５】或いは、好適な他の実施形態において、前
記色決定手段は、前記小空間を一単位として、前記複数
のブロックのうち対象ブロックを構成する各画素につい
てヒストグラム演算を行う演算手段と、前記ヒストグラ
ム演算の結果、最も頻度の高い小空間が２つ存在すると
共に、それらの小空間が隣接しない、或いは最も頻度の
高い小空間が３つ以上存在する場合に、それら小空間に
隣接する他の小空間群を１つに統合できるか否かを判断
する統合判断手段と、前記統合判断手段によって統合で
きると判断された場合に、前記小空間群を１つに統合す
ることにより、統合小空間を生成する小空間統合手段
と、前記小空間統合手段によって生成された統合小空間
について前記ヒストグラム演算に基づく頻度を足すこと
により、最も頻度の高い統合小空間を再帰的に算出する
と共に、その最も頻度の高い統合小空間（後述する実施
形態では、大元の小空間（ビン）である統合前の初期の
最頻ビン）に該当する画素の平均色を求め、その平均色
を、前記対象ブロックの代表色に決定する代表色決定手
段とを含むと良い。
記色決定手段は、前記小空間を一単位として、前記複数
のブロックのうち対象ブロックを構成する各画素につい
てヒストグラム演算を行う演算手段と、前記ヒストグラ
ム演算の結果、最も頻度の高い小空間が２つ存在すると
共に、それらの小空間が隣接しない、或いは最も頻度の
高い小空間が３つ以上存在する場合に、それら小空間に
隣接する他の小空間群を１つに統合できるか否かを判断
する統合判断手段と、前記統合判断手段によって統合で
きると判断された場合に、前記小空間群を１つに統合す
ることにより、統合小空間を生成する小空間統合手段
と、前記小空間統合手段によって生成された統合小空間
について前記ヒストグラム演算に基づく頻度を足すこと
により、最も頻度の高い統合小空間を再帰的に算出する
と共に、その最も頻度の高い統合小空間（後述する実施
形態では、大元の小空間（ビン）である統合前の初期の
最頻ビン）に該当する画素の平均色を求め、その平均色
を、前記対象ブロックの代表色に決定する代表色決定手
段とを含むと良い。
【００２６】また、上記第１の目的を達成すべく他の装
置構成を備える変倍画像生成装置は、以下の構成を特徴
とする。
置構成を備える変倍画像生成装置は、以下の構成を特徴
とする。
【００２７】即ち、複数画素からなる画像を縦横に区切
ることによって複数のブロックに分割する画像分割手段
と、前記画像の色空間を、複数の小空間に分割する色空
間分割手段と、前記小空間を一単位として、前記複数の
ブロックのうち対象ブロックを構成する各画素について
ヒストグラム演算を施す演算手段と、前記演算手段によ
る演算の結果、前記複数の小空間のうち最も頻度の高い
第１小空間が唯一つであり、且つその第１小空間に属す
る画素と、その第１小空間の次に頻度の高い第２小空間
に属する画素との差分が所定の第１閾値より大きい場
合、或いは、該差分が前記対象ブロックを構成する総画
素数に対する所定の第２閾値より大きい場合に、前記第
１小空間に属する画素の平均色に従って、その対象ブロ
ックの代表色を決定する色決定手段と、を備えることを
特徴とする。
ることによって複数のブロックに分割する画像分割手段
と、前記画像の色空間を、複数の小空間に分割する色空
間分割手段と、前記小空間を一単位として、前記複数の
ブロックのうち対象ブロックを構成する各画素について
ヒストグラム演算を施す演算手段と、前記演算手段によ
る演算の結果、前記複数の小空間のうち最も頻度の高い
第１小空間が唯一つであり、且つその第１小空間に属す
る画素と、その第１小空間の次に頻度の高い第２小空間
に属する画素との差分が所定の第１閾値より大きい場
合、或いは、該差分が前記対象ブロックを構成する総画
素数に対する所定の第２閾値より大きい場合に、前記第
１小空間に属する画素の平均色に従って、その対象ブロ
ックの代表色を決定する色決定手段と、を備えることを
特徴とする。
【００２８】或いは、上記第１の目的を達成すべく他の
装置構成を備える変倍画像生成装置は、以下の構成を特
徴とする。
装置構成を備える変倍画像生成装置は、以下の構成を特
徴とする。
【００２９】即ち、複数画素からなる画像を縦横に区切
ることによって複数のブロックに分割する画像分割手段
と、前記画像の色空間を、複数の小空間に分割する色空
間分割手段と、前記小空間を一単位として、前記複数の
ブロックのうち対象ブロックを構成する各画素について
ヒストグラム演算を施す演算手段と、前記演算手段によ
る演算の結果、前記複数の小空間のうち最も頻度の高い
第１小空間が唯一つであり、且つその第１小空間に属す
る画素に対して、次に頻度の高い第２小空間に属する画
素の比率または割合が所定の第１閾値より大きい場合
に、前記第１小空間に属する画素の平均色に従って、そ
の対象ブロックの代表色を決定する色決定手段と、を備
えることを特徴とする。
ることによって複数のブロックに分割する画像分割手段
と、前記画像の色空間を、複数の小空間に分割する色空
間分割手段と、前記小空間を一単位として、前記複数の
ブロックのうち対象ブロックを構成する各画素について
ヒストグラム演算を施す演算手段と、前記演算手段によ
る演算の結果、前記複数の小空間のうち最も頻度の高い
第１小空間が唯一つであり、且つその第１小空間に属す
る画素に対して、次に頻度の高い第２小空間に属する画
素の比率または割合が所定の第１閾値より大きい場合
に、前記第１小空間に属する画素の平均色に従って、そ
の対象ブロックの代表色を決定する色決定手段と、を備
えることを特徴とする。
【００３０】また、上記の第２の目的を達成するため、
本発明に係る画像特徴算出装置は、以下の構成を特徴と
する。
本発明に係る画像特徴算出装置は、以下の構成を特徴と
する。
【００３１】即ち、上記の何れかの構成を備える変倍画
像生成装置と、前記変倍画像生成装置によって生成され
た変倍画像に基づいて、前記画像の色レイアウトの特徴
を表わす指標量を算出し、少なくとも該指標量と前記変
倍画像とを関連付けした状態で保持する画像特徴算出手
段を備えることを特徴とする。
像生成装置と、前記変倍画像生成装置によって生成され
た変倍画像に基づいて、前記画像の色レイアウトの特徴
を表わす指標量を算出し、少なくとも該指標量と前記変
倍画像とを関連付けした状態で保持する画像特徴算出手
段を備えることを特徴とする。
【００３２】好適な実施形態において、上記の画像特徴
算出手段は、前記変倍画像生成装置によって生成された
変倍画像を、Y, Cb, Cr色空間に変換する色空間変換手
段と、前記色空間変換手段より取得した前記Y, Cb, Cr
色空間における各成分情報に対してＤＣＴ処理を施すと
共に、その結果得られるＤＣＴ係数に対して量子化処理
を施す演算手段と、前記演算手段より取得したところ
の、前記Y, Cb, Cr色空間における各成分毎の量子化さ
れたＤＣＴ係数のうち、低周波数成分側から所定数量の
係数を、前記画像の色レイアウトの特徴を表わす指標量
として選択し、少なくとも該指標量と前記変倍画像とを
関連付けした状態で保持する係数選択手段とを含むと良
い。
算出手段は、前記変倍画像生成装置によって生成された
変倍画像を、Y, Cb, Cr色空間に変換する色空間変換手
段と、前記色空間変換手段より取得した前記Y, Cb, Cr
色空間における各成分情報に対してＤＣＴ処理を施すと
共に、その結果得られるＤＣＴ係数に対して量子化処理
を施す演算手段と、前記演算手段より取得したところ
の、前記Y, Cb, Cr色空間における各成分毎の量子化さ
れたＤＣＴ係数のうち、低周波数成分側から所定数量の
係数を、前記画像の色レイアウトの特徴を表わす指標量
として選択し、少なくとも該指標量と前記変倍画像とを
関連付けした状態で保持する係数選択手段とを含むと良
い。
【００３３】好ましくは、２つの画像について前記係数
選択手段によって取得した指標量に基づいて、それら原
画像の類似度を算出する類似度演算手段を更に備えると
良い。
選択手段によって取得した指標量に基づいて、それら原
画像の類似度を算出する類似度演算手段を更に備えると
良い。
【００３４】また、上記の変倍画像生成装置及び画像特
徴算出装置に対応する方法によっても上記の目的は達成
される。
徴算出装置に対応する方法によっても上記の目的は達成
される。
【００３５】また、上記の変倍画像生成装置、画像特徴
算出装置及び対応する方法を、コンピュータにおいて実
現することが可能な動作指示をなすコンピュータプログ
ラム、並びにそのコンピュータプログラムが格納されて
いる、コンピュータ読み取り可能な記憶媒体によっても
上記の目的は達成される。
算出装置及び対応する方法を、コンピュータにおいて実
現することが可能な動作指示をなすコンピュータプログ
ラム、並びにそのコンピュータプログラムが格納されて
いる、コンピュータ読み取り可能な記憶媒体によっても
上記の目的は達成される。
【００３６】
【発明の実施の形態】以下、本発明に係る画像検索装置
の一実施形態を、図面を参照して詳細に説明する。本実
施形態において、当該画像検索装置は、大別して、装置
内に画像の登録を行う機能を有すると共に、登録されて
いる複数の画像の中から所望の検索対象の画像に類似す
る画像を検索する機能を有する。
の一実施形態を、図面を参照して詳細に説明する。本実
施形態において、当該画像検索装置は、大別して、装置
内に画像の登録を行う機能を有すると共に、登録されて
いる複数の画像の中から所望の検索対象の画像に類似す
る画像を検索する機能を有する。
【００３７】
【第１の実施形態】図８は、第１の実施形態に係る画像
検索装置の機能構成を示すブロック図である。
検索装置の機能構成を示すブロック図である。
【００３８】同図において、10701は、画像検索処理と
画像登録処理とをオペレータが切り替え可能なユーザ・
インタフェースモジュールである。10702は、スキャ
ナ、デジタルカメラ、或いは通信ネットワーク等を介し
て画像（例えば、JPEG圧縮画像データ）を取り込む画像
入力モジュールである。10703は、後述する色レイアウ
ト指標量（Color Layout descriptor）演算の実行に先
立って、原画像を一時的に蓄積する画像メモリである。
10704は、画像入力モジュール10702を介して入力された
複数の画像を、ハードディスク装置等の記憶装置や携帯
可能な記憶媒体に蓄積する画像蓄積モジュールである。
画像登録処理とをオペレータが切り替え可能なユーザ・
インタフェースモジュールである。10702は、スキャ
ナ、デジタルカメラ、或いは通信ネットワーク等を介し
て画像（例えば、JPEG圧縮画像データ）を取り込む画像
入力モジュールである。10703は、後述する色レイアウ
ト指標量（Color Layout descriptor）演算の実行に先
立って、原画像を一時的に蓄積する画像メモリである。
10704は、画像入力モジュール10702を介して入力された
複数の画像を、ハードディスク装置等の記憶装置や携帯
可能な記憶媒体に蓄積する画像蓄積モジュールである。
【００３９】また、10705は、本実施形態において特徴
的な色レイアウト指標量の算出を行う色レイアウト指標
量演算モジュールである。10706は、算出された色レイ
アウト指標量、原画像の格納アドレス情報、並びにその
他の属性情報を格納する検索情報ＤＢである。10707
は、類似画像の検索を行うに際して検索対象となる画像
等をオペレータが指示可能な検索条件指示モジュールで
ある。10708は、類似度を計算する類似度演算モジュー
ルである。10709は、検索結果をディスプレイ（不図
示）に表示する検索結果表示モジュールである。
的な色レイアウト指標量の算出を行う色レイアウト指標
量演算モジュールである。10706は、算出された色レイ
アウト指標量、原画像の格納アドレス情報、並びにその
他の属性情報を格納する検索情報ＤＢである。10707
は、類似画像の検索を行うに際して検索対象となる画像
等をオペレータが指示可能な検索条件指示モジュールで
ある。10708は、類似度を計算する類似度演算モジュー
ルである。10709は、検索結果をディスプレイ（不図
示）に表示する検索結果表示モジュールである。
【００４０】尚、本実施形態において、モジュールと
は、当該画像検索装置が実行可能なある機能単位を示し
ており、ハードウエア単体で実現する場合、或いはハー
ドウエア及びソフトウエアによって実現する場合が想定
される。
は、当該画像検索装置が実行可能なある機能単位を示し
ており、ハードウエア単体で実現する場合、或いはハー
ドウエア及びソフトウエアによって実現する場合が想定
される。
【００４１】また、図８に示す機能構成を備える画像検
索装置は、例えばパーソナルコンピュータ等の単体の情
報処理装置によっても、或いは、クライアント・サーバ
環境の如く複数台の情報処理装置が各種の通信回線を介
して連携して動作するシステムによっても実現可能であ
る。係る情報処理装置の装置構成には、現在では一般的
なものを採用することができるので、本実施形態におけ
る詳細な説明は省略する。
索装置は、例えばパーソナルコンピュータ等の単体の情
報処理装置によっても、或いは、クライアント・サーバ
環境の如く複数台の情報処理装置が各種の通信回線を介
して連携して動作するシステムによっても実現可能であ
る。係る情報処理装置の装置構成には、現在では一般的
なものを採用することができるので、本実施形態におけ
る詳細な説明は省略する。
【００４２】このような機能構成を備える本実施形態の
画像検索装置では、画像登録処理と画像検索処理とが行
われる。ここで、その処理について概説する。
画像検索装置では、画像登録処理と画像検索処理とが行
われる。ここで、その処理について概説する。
【００４３】・画像登録処理：画像入力モジュール1070
2によって取得した画像（原画像）は、画像蓄積モジュ
ール10704に格納されると共に、後述する色レイアウト
指標量の演算のために画像メモリ10703に一時的に蓄積
される。
2によって取得した画像（原画像）は、画像蓄積モジュ
ール10704に格納されると共に、後述する色レイアウト
指標量の演算のために画像メモリ10703に一時的に蓄積
される。
【００４４】画像メモリ10703に一時的に蓄積された画
像に関して色レイアウト指標量演算モジュール10705に
よって算出された色レイアウト指標量は、検索情報ＤＢ
10706に格納される。
像に関して色レイアウト指標量演算モジュール10705に
よって算出された色レイアウト指標量は、検索情報ＤＢ
10706に格納される。
【００４５】色レイアウト指標量は、当該画像検索装置
において一義的に発行される画像識別情報（以下、画像
ＩＤ）を仲立ちとして、画像蓄積モジュール10704内に
格納された画像と対応付け（関連付け）される。
において一義的に発行される画像識別情報（以下、画像
ＩＤ）を仲立ちとして、画像蓄積モジュール10704内に
格納された画像と対応付け（関連付け）される。
【００４６】検索結果表示モジュール10709で用いられ
る検索結果表示用の縮小画像は、検索情報ＤＢ10706に
格納される。この縮小画像は、例えば公知のJPEG(Joint
Photographic Experts Group)圧縮を行った画像であ
る。
る検索結果表示用の縮小画像は、検索情報ＤＢ10706に
格納される。この縮小画像は、例えば公知のJPEG(Joint
Photographic Experts Group)圧縮を行った画像であ
る。
【００４７】・画像検索処理：類似画像を検索すべくオ
ペレータによって検索条件指示モジュール10706にて選
択された画像（検索対象画像）は、その画像に類似する
画像を検出すべく、類似度演算モジュール10708によ
り、画像蓄積モジュール10704に格納されている全ての
画像との類似度Ｄが算出される。
ペレータによって検索条件指示モジュール10706にて選
択された画像（検索対象画像）は、その画像に類似する
画像を検出すべく、類似度演算モジュール10708によ
り、画像蓄積モジュール10704に格納されている全ての
画像との類似度Ｄが算出される。
【００４８】類似度Ｄの算出には、検索対象画像の色レ
イアウト指標量と、検索情報ＤＢ10706に格納されてい
る色レイアウト指標量とが利用される。検索結果表示モ
ジュール10709は、算出された類似度Ｄが高い順番に、
検索情報ＤＢ10706に格納されている縮小画像を並べて
表示する。
イアウト指標量と、検索情報ＤＢ10706に格納されてい
る色レイアウト指標量とが利用される。検索結果表示モ
ジュール10709は、算出された類似度Ｄが高い順番に、
検索情報ＤＢ10706に格納されている縮小画像を並べて
表示する。
【００４９】尚、検索情報ＤＢ10706には、上記のデー
タ項目に加えて、キーワードや撮影日時等の属性情報を
記憶しても良い。この場合、画像検索に際しては、属性
情報と類似画像検索との論理積演算を行い、所定の属性
の付与された画像に関してのみ色レイアウト指標量を用
いた類似度演算を行い、類似する画像を類似度が高い順
番に縮小画像で並べて表示しても良い。
タ項目に加えて、キーワードや撮影日時等の属性情報を
記憶しても良い。この場合、画像検索に際しては、属性
情報と類似画像検索との論理積演算を行い、所定の属性
の付与された画像に関してのみ色レイアウト指標量を用
いた類似度演算を行い、類似する画像を類似度が高い順
番に縮小画像で並べて表示しても良い。
【００５０】以下、画像登録処理及び画像検索処理につ
いて詳細に説明する。
いて詳細に説明する。
【００５１】［画像登録処理］図９は、第１の実施形態
の画像検索装置で行われる画像登録処理を示すフローチ
ャートであり、図８に示す各モジュールのうち、画像の
登録に関するモジュールの動作が記述されたソフトウエ
アを実行するところの、不図示のＣＰＵが行う処理手順
を示す。
の画像検索装置で行われる画像登録処理を示すフローチ
ャートであり、図８に示す各モジュールのうち、画像の
登録に関するモジュールの動作が記述されたソフトウエ
アを実行するところの、不図示のＣＰＵが行う処理手順
を示す。
【００５２】図９において、登録対象の画像として画像
入力モジュール10702より入力された画像を、画像メモ
リ10703に一時記憶すると共に、その画像に対して、画
像ＩＤを発行する(ステップＳ10801)。発行された画像
ＩＤは、本画像検索装置において重複することが無いよ
うに管理する必要がある。
入力モジュール10702より入力された画像を、画像メモ
リ10703に一時記憶すると共に、その画像に対して、画
像ＩＤを発行する(ステップＳ10801)。発行された画像
ＩＤは、本画像検索装置において重複することが無いよ
うに管理する必要がある。
【００５３】画像ＩＤが発行された画像に対して、色レ
イアウト指標量の抽出処理を施す(ステップＳ10802)。
この処理の詳細については、図１１を参照して後述す
る。
イアウト指標量の抽出処理を施す(ステップＳ10802)。
この処理の詳細については、図１１を参照して後述す
る。
【００５４】ステップＳ10801にて発行した画像ＩＤ
と、ステップＳ10802にて算出した色レイアウト指標量
とを対応付け（関連付け）した状態で、検索情報ＤＢ10
706に格納する（ステップＳ10803）。更に、当該画像Ｉ
Ｄと、登録対象の画像の縮小画像（ステップＳ10802に
て生成された変倍画像）とを対応付け（関連付け）した
状態で、検索情報ＤＢ10706に格納する(ステップＳ1080
4)。
と、ステップＳ10802にて算出した色レイアウト指標量
とを対応付け（関連付け）した状態で、検索情報ＤＢ10
706に格納する（ステップＳ10803）。更に、当該画像Ｉ
Ｄと、登録対象の画像の縮小画像（ステップＳ10802に
て生成された変倍画像）とを対応付け（関連付け）した
状態で、検索情報ＤＢ10706に格納する(ステップＳ1080
4)。
【００５５】画像メモリ10703に一時記憶している登録
対象の画像を、画像蓄積モジュール10704に記憶すると
共に、その画像ファイルを記憶した格納アドレスを、検
索情報ＤＢ10706に格納する(ステップＳ10805)。
対象の画像を、画像蓄積モジュール10704に記憶すると
共に、その画像ファイルを記憶した格納アドレスを、検
索情報ＤＢ10706に格納する(ステップＳ10805)。
【００５６】以上の画像登録処理により、検索情報ＤＢ
10706には、登録対象の画像に関して、図１２に例示す
るスキーマの如くレコードが記憶される。
10706には、登録対象の画像に関して、図１２に例示す
るスキーマの如くレコードが記憶される。
【００５７】尚、上述したステップＳ10805の処理は、
ステップＳ10801にて画像ＩＤを発行した後であれば何
れのタイミングでも実行することができ、また、ステッ
プＳ10804の処理も同様に、ステップＳ10801にて画像Ｉ
Ｄを発行した後であれば何れのタイミングでも実行でき
る。従って、本実施形態における画像登録処理は、図９
に示すフローチャートに限定されるものではない。但
し、ステップＳ10801乃至ステップＳ10803の処理順序に
関して、入れ替えはあってはならない。
ステップＳ10801にて画像ＩＤを発行した後であれば何
れのタイミングでも実行することができ、また、ステッ
プＳ10804の処理も同様に、ステップＳ10801にて画像Ｉ
Ｄを発行した後であれば何れのタイミングでも実行でき
る。従って、本実施形態における画像登録処理は、図９
に示すフローチャートに限定されるものではない。但
し、ステップＳ10801乃至ステップＳ10803の処理順序に
関して、入れ替えはあってはならない。
【００５８】＜色レイアウト指標量の抽出処理＞次に、
本実施形態において特徴的な色レイアウト指標量の抽出
処理について説明する。この色レイアウト指標量の抽出
処理は、登録対象の原画像を変倍した画像を生成するに
際して、元の原画像の色レイアウトに忠実な変倍画像を
実現するために行われる。
本実施形態において特徴的な色レイアウト指標量の抽出
処理について説明する。この色レイアウト指標量の抽出
処理は、登録対象の原画像を変倍した画像を生成するに
際して、元の原画像の色レイアウトに忠実な変倍画像を
実現するために行われる。
【００５９】また、本実施形態において、JPEG圧縮画
像、或いはMPEG(Moving Picture coding Experts Grou
p)-1、MPEG-2およびMPEG-4のフレームの符号化は、所謂
Y, Cb,Cr色空間で行われており、符号データを復号した
時点で既に色変換が行わた状態である。
像、或いはMPEG(Moving Picture coding Experts Grou
p)-1、MPEG-2およびMPEG-4のフレームの符号化は、所謂
Y, Cb,Cr色空間で行われており、符号データを復号した
時点で既に色変換が行わた状態である。
【００６０】図１１は、第１の実施形態に係る画像登録
処理において行われる色レイアウト指標量の抽出処理を
示すフローチャートである。
処理において行われる色レイアウト指標量の抽出処理を
示すフローチャートである。
【００６１】同図において、登録対象の画像（JPEG圧縮
画像）を、公知の手法によって復号する(ステップＳ110
01)。即ち、JPEG圧縮画像を、Y, Cb, Cr色空間における
輝度情報と、色差情報とに分解し、それぞれの情報に公
知のＤＣＴ処理を施すことによって圧縮符号化を行う
(ステップＳ11001)。従って、本実施形態において、逆
ＤＣＴ処理を行った直後の情報は、各画素毎のY, Cb, C
rの輝度情報と色差情報とによって構成されており、既
にY, Cb, Cr色変換が行われた状態である。
画像）を、公知の手法によって復号する(ステップＳ110
01)。即ち、JPEG圧縮画像を、Y, Cb, Cr色空間における
輝度情報と、色差情報とに分解し、それぞれの情報に公
知のＤＣＴ処理を施すことによって圧縮符号化を行う
(ステップＳ11001)。従って、本実施形態において、逆
ＤＣＴ処理を行った直後の情報は、各画素毎のY, Cb, C
rの輝度情報と色差情報とによって構成されており、既
にY, Cb, Cr色変換が行われた状態である。
【００６２】本実施形態において、登録対象の原画像の
縮小画像は、別途行われる画像検索の結果表示に使用さ
れる。このため、登録対象の原画像の縮小画像を検索情
報ＤＢ10706に予め格納すべく、ステップＳ11001にて取
得した画像データの変倍処理を行う(ステップＳ1100
2)。
縮小画像は、別途行われる画像検索の結果表示に使用さ
れる。このため、登録対象の原画像の縮小画像を検索情
報ＤＢ10706に予め格納すべく、ステップＳ11001にて取
得した画像データの変倍処理を行う(ステップＳ1100
2)。
【００６３】ここで、ステップＳ11002における変倍処
理について詳細に説明する。
理について詳細に説明する。
【００６４】従来技術として上述した[VWD4.0]もしくは
[VXM7.0]では、原画像を分割した各ブロックに含まれる
画素の平均色を計算することによって変倍画像を生成す
るため、原画像の構図情報が不明確になってしまうとい
う問題がある。
[VXM7.0]では、原画像を分割した各ブロックに含まれる
画素の平均色を計算することによって変倍画像を生成す
るため、原画像の構図情報が不明確になってしまうとい
う問題がある。
【００６５】これに対して、本実施形態では、図４に示
すように、原画像を縦横に８分割することによってトー
タル６４個のブロック画像（以下、ブロック）に分割す
ることは従来例と同じであるが、本実施形態における特
徴的な手順として、以下に説明する方法を利用して各ブ
ロックを代表する色を決定することにより、８×８の６
４画素の変倍画像を生成する。
すように、原画像を縦横に８分割することによってトー
タル６４個のブロック画像（以下、ブロック）に分割す
ることは従来例と同じであるが、本実施形態における特
徴的な手順として、以下に説明する方法を利用して各ブ
ロックを代表する色を決定することにより、８×８の６
４画素の変倍画像を生成する。
【００６６】然るに、本実施形態の如く各ブロックの代
表色によって変倍画像を生成すると、原画像には存在し
ない色が現れることが懸念される。この問題は、色空間
における距離が互いに遠い色同士が同一ブロック内に存
在する場合に特に顕著に現れる。例えば、日本の国旗で
ある日の丸の変倍画像を平均色で生成した場合、白地と
赤丸の両方にかかるブロックに関してはピンク色とな
り、元の画像の色レイアウトに忠実な変倍画像ではなく
なってしまう。
表色によって変倍画像を生成すると、原画像には存在し
ない色が現れることが懸念される。この問題は、色空間
における距離が互いに遠い色同士が同一ブロック内に存
在する場合に特に顕著に現れる。例えば、日本の国旗で
ある日の丸の変倍画像を平均色で生成した場合、白地と
赤丸の両方にかかるブロックに関してはピンク色とな
り、元の画像の色レイアウトに忠実な変倍画像ではなく
なってしまう。
【００６７】そこで、本実施形態では、各ブロックをそ
のブロックに属する画素の平均色によって表わすのでは
なく、そのブロックをより良く（より忠実に）代表する
色を求める処理を行う。
のブロックに属する画素の平均色によって表わすのでは
なく、そのブロックをより良く（より忠実に）代表する
色を求める処理を行う。
【００６８】図６は、第１の実施形態における変倍画像
の生成処理を示すフローチャートであり、原画像の色レ
イアウトに忠実な変倍画像を実現すべく、ステップＳ11
002（図１１）にて行われる処理の詳細な手順を示す。
の生成処理を示すフローチャートであり、原画像の色レ
イアウトに忠実な変倍画像を実現すべく、ステップＳ11
002（図１１）にて行われる処理の詳細な手順を示す。
【００６９】同図において、まず、Y, Cb, Cr色空間を
複数の部分空間（小空間：以下、「ビン」と呼ぶ）に分
けるためのデータをロードする(ステップＳ10501)。
複数の部分空間（小空間：以下、「ビン」と呼ぶ）に分
けるためのデータをロードする(ステップＳ10501)。
【００７０】図５は、Y, Cb, Cr色空間とビンとの関係
を示す図であり、同一と見なす色を大まかに決めると共
に、色のヒストグラムを求める階級を作るべく使用され
る。
を示す図であり、同一と見なす色を大まかに決めると共
に、色のヒストグラムを求める階級を作るべく使用され
る。
【００７１】但し、色空間をどのようなビンに分割する
かは、実験によって定められるべきものであり、[VWD4.
0]もしくは[VXM7.0]で定められているものがあればそれ
に従えば良い。
かは、実験によって定められるべきものであり、[VWD4.
0]もしくは[VXM7.0]で定められているものがあればそれ
に従えば良い。
【００７２】また、装置内部におけるビンの実態は、Ｌ
ＵＴ（Look Up Table）であろうと、数式や論理式であ
っても良い。
ＵＴ（Look Up Table）であろうと、数式や論理式であ
っても良い。
【００７３】また、ステップＳ10501におけるデータロ
ードのタイミングは、ヒストグラムを計算する前であれ
ば良く、そのタイミングは限定されない。また、複数の
画像の変倍画像を求める場合、ステップＳ10501におけ
るデータロードは、その画像毎に行う必要は無く、最初
の画像を処理するときに一度読み込んでおけば良い。
ードのタイミングは、ヒストグラムを計算する前であれ
ば良く、そのタイミングは限定されない。また、複数の
画像の変倍画像を求める場合、ステップＳ10501におけ
るデータロードは、その画像毎に行う必要は無く、最初
の画像を処理するときに一度読み込んでおけば良い。
【００７４】次に、変倍画像を求める対象の原画像を読
み込み(ステップＳ10502)、読み込んだ原画像を、図４
に例示するように、縦横に８分割することによってトー
タル６４個のブロックに分割する(ステップＳ10503)。
み込み(ステップＳ10502)、読み込んだ原画像を、図４
に例示するように、縦横に８分割することによってトー
タル６４個のブロックに分割する(ステップＳ10503)。
【００７５】ここで、対象とすべき原画像には、大別し
て、ポートレイト（縦長）画像、ランドスケープ（横
長）画像、正方形画像の３種類があるが、各ブロックの
サイズは、原画像の分割数に合わせて決定すれば良い。
本実施形態では、図４に示す富士山のランドスケープ画
像を利用する。原画像の縦あるいは横のサイズが８で割
り切れない場合には、余りの画素を何れかのブロックに
割り振るなどすれば良く、この端数による例外処理の方
法は問わない。
て、ポートレイト（縦長）画像、ランドスケープ（横
長）画像、正方形画像の３種類があるが、各ブロックの
サイズは、原画像の分割数に合わせて決定すれば良い。
本実施形態では、図４に示す富士山のランドスケープ画
像を利用する。原画像の縦あるいは横のサイズが８で割
り切れない場合には、余りの画素を何れかのブロックに
割り振るなどすれば良く、この端数による例外処理の方
法は問わない。
【００７６】次に、ステップＳ10504乃至ステップＳ105
10において、各ブロックを構成する画素が色空間のどの
ビンに該当するかを求める。即ち、各ブロックの代表色
を、ヒストグラム計算によって決定する。ステップＳ10
504乃至ステップＳ10506は、カウンタＩに対してのルー
プ処理であり、ステップＳ10507乃至ステップＳ10509
は、カウンタＪに対してのループ処理をなしており、こ
れらのループ処理により、８×８画素の各ブロックに対
する代表色を決定する。
10において、各ブロックを構成する画素が色空間のどの
ビンに該当するかを求める。即ち、各ブロックの代表色
を、ヒストグラム計算によって決定する。ステップＳ10
504乃至ステップＳ10506は、カウンタＩに対してのルー
プ処理であり、ステップＳ10507乃至ステップＳ10509
は、カウンタＪに対してのループ処理をなしており、こ
れらのループ処理により、８×８画素の各ブロックに対
する代表色を決定する。
【００７７】以下、各ブロックに対して代表色を求める
処理(ステップＳ10510)の詳細を説明する。
処理(ステップＳ10510)の詳細を説明する。
【００７８】図７は、第１の実施形態に係る変倍画像の
生成処理におけるブロック代表色の算出処理を示すフロ
ーチャートである。
生成処理におけるブロック代表色の算出処理を示すフロ
ーチャートである。
【００７９】同図において、まず、ステップＳ10601及
びステップＳ10602では、原画像を分割することによっ
て得られた各ブロックの画素がY, Cb, Cr色空間内のど
のビンに該当するかを、ヒストグラム計算の結果に基づ
いて求める。
びステップＳ10602では、原画像を分割することによっ
て得られた各ブロックの画素がY, Cb, Cr色空間内のど
のビンに該当するかを、ヒストグラム計算の結果に基づ
いて求める。
【００８０】即ち、係る各ブロックのうち、今回の制御
周期において対象としているブロック内の全画素に関し
て、図５に示す如くY, Cb, Cr色空間を構成する各ビン
に対する頻度および各ビンの画素値の累積値を求め(ス
テップＳ10601)、その結果から、最も頻度の多いビン
（以下、「最頻のビン」と称する）を決定する(ステッ
プＳ10602)。
周期において対象としているブロック内の全画素に関し
て、図５に示す如くY, Cb, Cr色空間を構成する各ビン
に対する頻度および各ビンの画素値の累積値を求め(ス
テップＳ10601)、その結果から、最も頻度の多いビン
（以下、「最頻のビン」と称する）を決定する(ステッ
プＳ10602)。
【００８１】そして、最頻のビンが一意に定まる場合に
は(ステップＳ10603でＹＥＳの場合)、そのビンに該当
する画素の平均色を求め、この平均色を、対象としてい
るブロックの代表色とする(ステップＳ10604)。
は(ステップＳ10603でＹＥＳの場合)、そのビンに該当
する画素の平均色を求め、この平均色を、対象としてい
るブロックの代表色とする(ステップＳ10604)。
【００８２】これに対して、最頻のビンが２つである場
合(ステップＳ10605でＹＥＳの場合)には、それら２つ
のビンがY, Cb, Cr色空間内において隣接しているかど
うか判断する(ステップＳ10606)。この判断の結果、当
該２つのビンが隣接している場合(ステップＳ10606でＹ
ＥＳの場合)には、それら隣接する２つのビンに該当す
る画素の平均色を求め、この平均色を、対象としている
ブロックの代表色とする(ステップＳ10607)。
合(ステップＳ10605でＹＥＳの場合)には、それら２つ
のビンがY, Cb, Cr色空間内において隣接しているかど
うか判断する(ステップＳ10606)。この判断の結果、当
該２つのビンが隣接している場合(ステップＳ10606でＹ
ＥＳの場合)には、それら隣接する２つのビンに該当す
る画素の平均色を求め、この平均色を、対象としている
ブロックの代表色とする(ステップＳ10607)。
【００８３】尚、複数のビンが互いに隣接しているかど
うかを判断する方法としては、各ビンについて隣接する
他のビンの識別情報（ＩＤ）を記憶しておく方法や幾何
学関係を予めビンのＩＤを用いて数式で関係付ける等の
方法があるが、その実現方法は問わない。
うかを判断する方法としては、各ビンについて隣接する
他のビンの識別情報（ＩＤ）を記憶しておく方法や幾何
学関係を予めビンのＩＤを用いて数式で関係付ける等の
方法があるが、その実現方法は問わない。
【００８４】また、最頻のビンが２つであり、その２つ
のビンが互いに隣接しない場合(ステップＳ10606でＮＯ
の場合)には、それら２つのビンに隣接する他の複数の
ビン群を１つのビンとして統合する（以下、統合された
ビンを「統合ビン」と称する）として設定すると共に、
その統合ビンの頻度とすべく、統合された複数のビンの
頻度を足す(ステップＳ10608)。
のビンが互いに隣接しない場合(ステップＳ10606でＮＯ
の場合)には、それら２つのビンに隣接する他の複数の
ビン群を１つのビンとして統合する（以下、統合された
ビンを「統合ビン」と称する）として設定すると共に、
その統合ビンの頻度とすべく、統合された複数のビンの
頻度を足す(ステップＳ10608)。
【００８５】ステップＳ10609では、統合するビンが存
在しないかをチェックすることにより、無限ループに陥
らないための判断を行う。そして、ステップＳ10608に
おいてビンの統合を行えたとき(ステップＳ10609でＹＥ
Ｓの場合)には、ステップＳ10603乃至ステップＳ10609
の処理を再帰的に行うことにより、最頻の統合ビンを求
めることができる。そして、この統合ビンに該当する画
素の平均色を求め、この平均色を、対象とするブロック
の代表色とする。
在しないかをチェックすることにより、無限ループに陥
らないための判断を行う。そして、ステップＳ10608に
おいてビンの統合を行えたとき(ステップＳ10609でＹＥ
Ｓの場合)には、ステップＳ10603乃至ステップＳ10609
の処理を再帰的に行うことにより、最頻の統合ビンを求
めることができる。そして、この統合ビンに該当する画
素の平均色を求め、この平均色を、対象とするブロック
の代表色とする。
【００８６】更に、最頻のビンが３つ以上の場合(ステ
ップＳ10605でＮＯの場合)には、それらのビンに隣接す
る他のビン群を統合することによって頻度を足し(ステ
ップＳ10608)、ステップＳ10603乃至ステップＳ10609の
処理を再帰的に行うことによって最頻の統合ビンを求め
る。そして、この統合ビンに該当する画素の平均色を求
め、この平均色を、対象とするブロックの代表色とす
る。
ップＳ10605でＮＯの場合)には、それらのビンに隣接す
る他のビン群を統合することによって頻度を足し(ステ
ップＳ10608)、ステップＳ10603乃至ステップＳ10609の
処理を再帰的に行うことによって最頻の統合ビンを求め
る。そして、この統合ビンに該当する画素の平均色を求
め、この平均色を、対象とするブロックの代表色とす
る。
【００８７】ここで、再帰処理の具体的な処理を説明す
ると、まず各最頻のビンに隣接するビンを探し、そのビ
ンと最頻のビンとが隣接している場合にはこれら２つの
ビンを統合することによって１つの最頻の統合ビンとす
る(ステップＳ10608)。
ると、まず各最頻のビンに隣接するビンを探し、そのビ
ンと最頻のビンとが隣接している場合にはこれら２つの
ビンを統合することによって１つの最頻の統合ビンとす
る(ステップＳ10608)。
【００８８】従って、全ての最頻のビンが隣接していれ
ば、最終的には、１つの統合ビンが得られる(ステップ
Ｓ10603のＹＥＳの場合)ので、得られた統合ビンに該当
する画素の平均色を求め、その平均色を、対象とするブ
ロックの代表色とする(ステップＳ10604)。
ば、最終的には、１つの統合ビンが得られる(ステップ
Ｓ10603のＹＥＳの場合)ので、得られた統合ビンに該当
する画素の平均色を求め、その平均色を、対象とするブ
ロックの代表色とする(ステップＳ10604)。
【００８９】これに対して、全ての最頻ビンが隣接して
いない場合には、ビンの統合処理(ステップＳ10608)
と、最頻の統合ビンを求める処理(ステップＳ10602)と
を、最頻の統合ビンが１つになるか(ステップＳ10603で
ＹＥＳの場合)、或いは２つの最頻のビンが隣接する(ス
テップＳ10606でＹＥＳの場合)まで再帰的に行う。そし
て、ステップＳ10604において、得らえた最頻の統合ビ
ンに該当する画素の平均色を求め、その平均色を、対象
とするブロックの代表色とする。
いない場合には、ビンの統合処理(ステップＳ10608)
と、最頻の統合ビンを求める処理(ステップＳ10602)と
を、最頻の統合ビンが１つになるか(ステップＳ10603で
ＹＥＳの場合)、或いは２つの最頻のビンが隣接する(ス
テップＳ10606でＹＥＳの場合)まで再帰的に行う。そし
て、ステップＳ10604において、得らえた最頻の統合ビ
ンに該当する画素の平均色を求め、その平均色を、対象
とするブロックの代表色とする。
【００９０】尚、最後まで最頻ビンが定まらない場合
(ステップＳ10609でＮＯの場合)には、ブロック全体の
画素の平均色を求め、その平均色を、対象とするブロッ
クの代表色とする。
(ステップＳ10609でＮＯの場合)には、ブロック全体の
画素の平均色を求め、その平均色を、対象とするブロッ
クの代表色とする。
【００９１】また、上述した説明において、最頻のビン
が２つであり、その２つのビンが隣接しない場合に代表
色を決定する際には、最大の頻度となる統合ビンを求
め、その統合ビンに該当する画素の平均値を対象とする
ブロックの代表色とした。しかしながら、本願出願人に
よる実験によれば、対象とするブロックの代表色とし
て、大元の小空間（ビン）であるところの、統合前の初
期の最頻ビンに該当する画素の平均値を採用しても、良
好な結果が得られることが判っており、この方法で分割
ブロックの代表色を決定しても良い。
が２つであり、その２つのビンが隣接しない場合に代表
色を決定する際には、最大の頻度となる統合ビンを求
め、その統合ビンに該当する画素の平均値を対象とする
ブロックの代表色とした。しかしながら、本願出願人に
よる実験によれば、対象とするブロックの代表色とし
て、大元の小空間（ビン）であるところの、統合前の初
期の最頻ビンに該当する画素の平均値を採用しても、良
好な結果が得られることが判っており、この方法で分割
ブロックの代表色を決定しても良い。
【００９２】以上説明した処理を、６４個の全てのブロ
ックに施すことにより、原画像の色のレイアウトを忠実
に保った変倍画像の生成が可能となる。
ックに施すことにより、原画像の色のレイアウトを忠実
に保った変倍画像の生成が可能となる。
【００９３】尚、変換された色空間上でヒストグラムを
計算し、色変換処理後の変倍画像を生成する方法が考え
られる。例を挙げると、圧縮符号化は通常の場合、色空
間変換を行った後に行われる。実際、JPEG画像であって
も、MPEG動画中のフレーム画像であっても、画像圧縮
は、Y, Cb, Cr色空間上でＤＣＴ変換を行っており、復
号のために逆ＤＣＴを行うことによってY, Cb, Cr色空
間上での値が得られ、これをＲＧＢ色空間に変換するこ
とにより、人間の視覚にとって自然な色で表示される。
計算し、色変換処理後の変倍画像を生成する方法が考え
られる。例を挙げると、圧縮符号化は通常の場合、色空
間変換を行った後に行われる。実際、JPEG画像であって
も、MPEG動画中のフレーム画像であっても、画像圧縮
は、Y, Cb, Cr色空間上でＤＣＴ変換を行っており、復
号のために逆ＤＣＴを行うことによってY, Cb, Cr色空
間上での値が得られ、これをＲＧＢ色空間に変換するこ
とにより、人間の視覚にとって自然な色で表示される。
【００９４】ここで、図１１の説明に戻る。以降、係数
を選択するまでの各ステップの処理は、図１を参照して
説明した従来の手順と同様であるため、図１に示す図面
の参照番号を参照して説明する。
を選択するまでの各ステップの処理は、図１を参照して
説明した従来の手順と同様であるため、図１に示す図面
の参照番号を参照して説明する。
【００９５】ステップＳ10203では、生成された８×８
画素のブロック画像（10011, 10012,10013）を構成する
各画素を、Y, Cb, Cr色空間データ（10021, 10022, 100
23）に変換する。
画素のブロック画像（10011, 10012,10013）を構成する
各画素を、Y, Cb, Cr色空間データ（10021, 10022, 100
23）に変換する。
【００９６】ステップＳ11004では、Y, Cb, Cr色空間の
各成分データ10021, 10022, 10023に対して、一般的な
ＤＣＴ処理を施すことにより、ＤＣＴ係数10031, 1003
2, 10033を求める。
各成分データ10021, 10022, 10023に対して、一般的な
ＤＣＴ処理を施すことにより、ＤＣＴ係数10031, 1003
2, 10033を求める。
【００９７】ステップＳ11005では、ＤＣＴ係数10031,
10032, 10033に対して、量子化処理を施す。量子化処理
は、例えば[VWD4.0]によれば、Y成分とCb/Cr成分それぞ
れについて、ＤＣ成分とＡＣ成分とで異なる処理をして
いる。
10032, 10033に対して、量子化処理を施す。量子化処理
は、例えば[VWD4.0]によれば、Y成分とCb/Cr成分それぞ
れについて、ＤＣ成分とＡＣ成分とで異なる処理をして
いる。
【００９８】そして、ステップＳ11006では、量子化Ｄ
ＣＴ係数10041, 10042, 10043のうち低周波数成分側か
ら幾つかの係数を選択する。図１に示す例では、Y成分
の係数に関しては６個（１００５１）、Cb/Cr成分の係
数に関しては３個ずつ（１００５２，１００５３）選択
されている。
ＣＴ係数10041, 10042, 10043のうち低周波数成分側か
ら幾つかの係数を選択する。図１に示す例では、Y成分
の係数に関しては６個（１００５１）、Cb/Cr成分の係
数に関しては３個ずつ（１００５２，１００５３）選択
されている。
【００９９】ステップＳ11006における係数の選択は、
図２に例示するように、８×８画素の如く２次元に配置
された係数を、ジグザグスキャンによって１次元に並び
替え、その先頭から幾つかを選択することによって実現
される。ここで、図２の各ブロックに書かれている１か
ら６４の数字は、１次元に並び替えられた後にその係数
が先頭から何番目に配置されるかを示す数字である。そ
して、選択した係数を、低周波成分側から順に取り出
す。[VWD4.0]によれば、取り出すべき係数の数は、1,
3, 6, 10, 15, 21, 28, 64の何れかである。
図２に例示するように、８×８画素の如く２次元に配置
された係数を、ジグザグスキャンによって１次元に並び
替え、その先頭から幾つかを選択することによって実現
される。ここで、図２の各ブロックに書かれている１か
ら６４の数字は、１次元に並び替えられた後にその係数
が先頭から何番目に配置されるかを示す数字である。そ
して、選択した係数を、低周波成分側から順に取り出
す。[VWD4.0]によれば、取り出すべき係数の数は、1,
3, 6, 10, 15, 21, 28, 64の何れかである。
【０１００】また、係数の数は、Cb成分係数とCr成分係
数に関しては同数であるが、Y成分係数の数とCb/Cr成分
係数の数とには、別々の数を設定可能である。[VWD4.0]
によれば、デフォルトではY成分係数に関して６個、Cb/
Cr成分係数に関しては３個の係数が選択される。選択さ
れた係数10051, 10052, 10053をもって、原画像10001に
おける色レイアウトの特徴を表わすところの、色レイア
ウト指標量とする。
数に関しては同数であるが、Y成分係数の数とCb/Cr成分
係数の数とには、別々の数を設定可能である。[VWD4.0]
によれば、デフォルトではY成分係数に関して６個、Cb/
Cr成分係数に関しては３個の係数が選択される。選択さ
れた係数10051, 10052, 10053をもって、原画像10001に
おける色レイアウトの特徴を表わすところの、色レイア
ウト指標量とする。
【０１０１】上記の如く算出された色レイアウト指標量
は、図１２に例示するように、画像ＩＤと関連付けされ
て検索情報ＤＢ10706に格納される。
は、図１２に例示するように、画像ＩＤと関連付けされ
て検索情報ＤＢ10706に格納される。
【０１０２】図１２は、第１の実施形態における検索情
報ＤＢ内のレコードのスキーマを例示する図である。
報ＤＢ内のレコードのスキーマを例示する図である。
【０１０３】同図に示すように、検索情報ＤＢ10706で
は、各原画像に関して、画像識別番号（ＩＤ）、その画
像ファイルの格納アドレス、縮小画像（変倍画像）デー
タ、色レイアウト指標量、並びにその他の画像属性情報
が関連付けされて記憶される。このように各データアイ
テムが関連付けされた状態で記憶されることにより、後
述する画像検索処理（図１０）を効率的に実現すること
ができる。即ち、色レイアウトの特徴を表わす指標量で
ある色レイアウト指標量を利用して、利便性の高い画像
検索を実現することができる。
は、各原画像に関して、画像識別番号（ＩＤ）、その画
像ファイルの格納アドレス、縮小画像（変倍画像）デー
タ、色レイアウト指標量、並びにその他の画像属性情報
が関連付けされて記憶される。このように各データアイ
テムが関連付けされた状態で記憶されることにより、後
述する画像検索処理（図１０）を効率的に実現すること
ができる。即ち、色レイアウトの特徴を表わす指標量で
ある色レイアウト指標量を利用して、利便性の高い画像
検索を実現することができる。
【０１０４】尚、色レイアウト指標量を利用して、縮小
画像を検索及び表示するだけであれば、検索情報ＤＢ10
706には、少なくとも原画像の縮小画像（変倍画像）
と、その原画像の色レイアウト指標量とが関連付けされ
たデータ構造を採用すれば良い。
画像を検索及び表示するだけであれば、検索情報ＤＢ10
706には、少なくとも原画像の縮小画像（変倍画像）
と、その原画像の色レイアウト指標量とが関連付けされ
たデータ構造を採用すれば良い。
【０１０５】このように、本実施形態では、原画像の変
倍画像を生成するに際して、ブロック内の画素のヒスト
グラムを色空間上のビンを基準として算出し、最頻のビ
ンに該当する画素の平均値に従って色を決定するので、
原画像の特徴を効率良く表わすと共に、原画像の色レイ
アウトに忠実な変倍画像を生成することができる。更
に、原画像の画像構図情報を保った色レイアウト指標量
を生成することができる。
倍画像を生成するに際して、ブロック内の画素のヒスト
グラムを色空間上のビンを基準として算出し、最頻のビ
ンに該当する画素の平均値に従って色を決定するので、
原画像の特徴を効率良く表わすと共に、原画像の色レイ
アウトに忠実な変倍画像を生成することができる。更
に、原画像の画像構図情報を保った色レイアウト指標量
を生成することができる。
【０１０６】尚、上述した説明においては、最頻のビン
が２つであって、その２つのビンが隣接しない場合に代
表色を決定する際には、最大の頻度となる統合ビンを求
め、統合されたビンに該当する画素の平均値を対象とす
るブロックの代表色とした。しかしながら、本願出願人
による実験によれば、対象とするブロックの代表色とし
て、大元の小空間（ビン）であるところの、統合前の初
期の最頻ビンに該当する画素の平均値を採用しても、良
好な結果が得られることが判っており、この方法で分割
ブロックの代表色を決定しても良い。
が２つであって、その２つのビンが隣接しない場合に代
表色を決定する際には、最大の頻度となる統合ビンを求
め、統合されたビンに該当する画素の平均値を対象とす
るブロックの代表色とした。しかしながら、本願出願人
による実験によれば、対象とするブロックの代表色とし
て、大元の小空間（ビン）であるところの、統合前の初
期の最頻ビンに該当する画素の平均値を採用しても、良
好な結果が得られることが判っており、この方法で分割
ブロックの代表色を決定しても良い。
【０１０７】［画像検索処理］次に、本実施形態に係る
画像検索装置における画像検索処理について説明する。
画像検索装置における画像検索処理について説明する。
【０１０８】図１０は、第１の実施形態の画像検索装置
で行われる画像登録処理を示すフローチャートであり、
図８に示す各モジュールのうち、画像の検索に関するモ
ジュールの動作が記述されたソフトウエアを実行すると
ころの、不図示のＣＰＵが行う処理手順を示す。
で行われる画像登録処理を示すフローチャートであり、
図８に示す各モジュールのうち、画像の検索に関するモ
ジュールの動作が記述されたソフトウエアを実行すると
ころの、不図示のＣＰＵが行う処理手順を示す。
【０１０９】画像検索処理では、上述した画像登録処理
によって画像蓄積モジュール10704に予め格納された全
ての原画像（以下、登録画像と称する場合がある）に関
して、それらの画像の色レイアウト指標量が検索情報Ｄ
Ｂ10706に用意されていることが必要とされる。
によって画像蓄積モジュール10704に予め格納された全
ての原画像（以下、登録画像と称する場合がある）に関
して、それらの画像の色レイアウト指標量が検索情報Ｄ
Ｂ10706に用意されていることが必要とされる。
【０１１０】まず、ステップＳ10901では、ユーザ・イ
ンタフェースモジュール10701においてオペレータが画
像検索を行うモードを選択するのに応じて、全ての登録
画像の色レイアウト指標量を、検索情報ＤＢ10706から
メモリに読み込む。
ンタフェースモジュール10701においてオペレータが画
像検索を行うモードを選択するのに応じて、全ての登録
画像の色レイアウト指標量を、検索情報ＤＢ10706から
メモリに読み込む。
【０１１１】ここで、色レイアウト指標量の読み込み
は、画像検索が実行される度に行うのではなく、初回の
検索時、或いはシステム起動時に一回だけ行うように構
成すると良い。
は、画像検索が実行される度に行うのではなく、初回の
検索時、或いはシステム起動時に一回だけ行うように構
成すると良い。
【０１１２】検索条件指示モジュール10706においてオ
ペレータによって選択された画像（以下、検索対象画
像）を、類似画像の検索のための元画像として設定する
(ステップＳ10902)。本ステップにおける画像選択の態
様としては、例えば、ディスプレイ上に複数の縮小画像
をタイル状にランダムに並べて、それら縮小画像の中か
ら所望のものを選択する等が挙げられる。その場合、画
像ＩＤの乱数を生成して、対応する画像ＩＤに相当する
縮小画像を、検索情報ＤＢ10706から読み出して表示す
れば良い。
ペレータによって選択された画像（以下、検索対象画
像）を、類似画像の検索のための元画像として設定する
(ステップＳ10902)。本ステップにおける画像選択の態
様としては、例えば、ディスプレイ上に複数の縮小画像
をタイル状にランダムに並べて、それら縮小画像の中か
ら所望のものを選択する等が挙げられる。その場合、画
像ＩＤの乱数を生成して、対応する画像ＩＤに相当する
縮小画像を、検索情報ＤＢ10706から読み出して表示す
れば良い。
【０１１３】オペレータが選択した画像に対応する画像
ＩＤをキーとして、その画像ＩＤに関連付けされている
色レイアウト指標量を、検索情報ＤＢ10706から取り出
す(ステップＳ10903)。
ＩＤをキーとして、その画像ＩＤに関連付けされている
色レイアウト指標量を、検索情報ＤＢ10706から取り出
す(ステップＳ10903)。
【０１１４】類似度演算モジュール10708により、ステ
ップＳ10903にて取得した検索対象画像の色レイアウト
指標量と、ステップＳ10901にて読み込んだ全ての登録
画像の色レイアウト指標量とを利用して、上記の数１に
よって類似度Ｄを計算する(ステップＳ10904)。例え
ば、２つの画像の色レイアウト指標量が、CLD1(YCoeff,
CbCoeff, CrCoeff)、CLD2(YCoeff', CbCoeff', CrCoef
f')である場合に、それら２つの特徴量の間の類似度Ｄ
は、[VXM7.0]の規定に従って数１により算出することが
できる。数１において、λは各係数に関する重み付けで
あり、[VXM7.0]には、表１のような重み付け値が示され
ている。表１において値が示されていないものについて
は、重み付け値は１である。
ップＳ10903にて取得した検索対象画像の色レイアウト
指標量と、ステップＳ10901にて読み込んだ全ての登録
画像の色レイアウト指標量とを利用して、上記の数１に
よって類似度Ｄを計算する(ステップＳ10904)。例え
ば、２つの画像の色レイアウト指標量が、CLD1(YCoeff,
CbCoeff, CrCoeff)、CLD2(YCoeff', CbCoeff', CrCoef
f')である場合に、それら２つの特徴量の間の類似度Ｄ
は、[VXM7.0]の規定に従って数１により算出することが
できる。数１において、λは各係数に関する重み付けで
あり、[VXM7.0]には、表１のような重み付け値が示され
ている。表１において値が示されていないものについて
は、重み付け値は１である。
【０１１５】検索結果表示モジュール10709により、ス
テップＳ10904にて算出した類似度Ｄに応じて、例えば
昇順に(即ち、類似度の低い順に)画像ＩＤをソートし
(ステップＳ10905)、ソートした画像ＩＤに対応する縮
小画像を、検索情報ＤＢ10706から読み込んでディスプ
レイ（不図示）に表示する(ステップＳ10906)。ここ
で、昇順としたのは、数１の数式を見れば判るように、
似ているものほど値が０に近く、似ていないものほどそ
の値が大きくなるからである。
テップＳ10904にて算出した類似度Ｄに応じて、例えば
昇順に(即ち、類似度の低い順に)画像ＩＤをソートし
(ステップＳ10905)、ソートした画像ＩＤに対応する縮
小画像を、検索情報ＤＢ10706から読み込んでディスプ
レイ（不図示）に表示する(ステップＳ10906)。ここ
で、昇順としたのは、数１の数式を見れば判るように、
似ているものほど値が０に近く、似ていないものほどそ
の値が大きくなるからである。
【０１１６】上記の画像検索処理によれば、オペレータ
が指定した検索対象画像に類似する縮小画像を、その類
似度が高い順番で一覧表示することが可能となる。この
とき、オペレータは、一覧表示された縮小画像の中に気
に入ったものが有れば、ユーザ・インタフェースモジュ
ール10701を介してその所望の縮小画像を選択する。そ
の際、検索結果表示モジュール10709は、オペレータの
選択操作によって選択された縮小画像の画像ＩＤをキー
として検索情報ＤＢ10706を参照することにより、対応
する格納アドレス情報を取得すると共に、取得した格納
アドレス情報に従って画像蓄積モジュール10704に格納
されている画像データを読み出し、ディスプレイ上に表
示する。
が指定した検索対象画像に類似する縮小画像を、その類
似度が高い順番で一覧表示することが可能となる。この
とき、オペレータは、一覧表示された縮小画像の中に気
に入ったものが有れば、ユーザ・インタフェースモジュ
ール10701を介してその所望の縮小画像を選択する。そ
の際、検索結果表示モジュール10709は、オペレータの
選択操作によって選択された縮小画像の画像ＩＤをキー
として検索情報ＤＢ10706を参照することにより、対応
する格納アドレス情報を取得すると共に、取得した格納
アドレス情報に従って画像蓄積モジュール10704に格納
されている画像データを読み出し、ディスプレイ上に表
示する。
【０１１７】
【第２の実施形態】次に、上述した第１の実施形態に係
る画像検索装置を基本とする第２の実施形態を説明す
る。以下の説明においては、第１の実施形態と同様な構
成については重複する説明を省略し、本実施形態におけ
る特徴的な部分を中心に説明する。
る画像検索装置を基本とする第２の実施形態を説明す
る。以下の説明においては、第１の実施形態と同様な構
成については重複する説明を省略し、本実施形態におけ
る特徴的な部分を中心に説明する。
【０１１８】本実施形態では、上述した第１の実施形態
における変倍画像の生成処理にて行われたブロック代表
色の算出処理(図７)とは異なる手順により、原画像を分
割することによって得られた各ブロックに対して代表色
を求める処理(ステップＳ10510)を実現する。
における変倍画像の生成処理にて行われたブロック代表
色の算出処理(図７)とは異なる手順により、原画像を分
割することによって得られた各ブロックに対して代表色
を求める処理(ステップＳ10510)を実現する。
【０１１９】図１３は、第２の実施形態に係る変倍画像
の生成処理におけるブロック代表色の算出処理を示すフ
ローチャートであり、この処理は、本実施形態において
も、当該各ブロックに対して行われる。
の生成処理におけるブロック代表色の算出処理を示すフ
ローチャートであり、この処理は、本実施形態において
も、当該各ブロックに対して行われる。
【０１２０】同図において、まず、係る各ブロックのう
ち、今回の制御周期において対象としているブロック内
の全画素に関して、そのブロックの画素がY, Cb, Cr色
空間内のどのビンに該当するかを、ヒストグラム計算の
結果に基づいて求める(ステップＳ11301)。即ち、ステ
ップＳ11301では、対象としているブロックを構成する
全画素に関して、図５に示す如くY, Cb, Cr色空間を構
成する各ビンに対する頻度および各ビンの画素値の累積
値を求めるヒストグラム計算を行なう。
ち、今回の制御周期において対象としているブロック内
の全画素に関して、そのブロックの画素がY, Cb, Cr色
空間内のどのビンに該当するかを、ヒストグラム計算の
結果に基づいて求める(ステップＳ11301)。即ち、ステ
ップＳ11301では、対象としているブロックを構成する
全画素に関して、図５に示す如くY, Cb, Cr色空間を構
成する各ビンに対する頻度および各ビンの画素値の累積
値を求めるヒストグラム計算を行なう。
【０１２１】そして、このヒストグラム計算の結果を利
用して、最頻のビン（即ち、図７の場合と同様に、最も
頻度の多いビン）と、その最頻のビンの頻度との差（差
分）が予め定められた閾値以上のビン（以下、第２ビン
と称する）とを求める(ステップＳ11302)。ここで、第
２ビンは、例えば、最頻のビンの次に頻度の高いビンで
ある。
用して、最頻のビン（即ち、図７の場合と同様に、最も
頻度の多いビン）と、その最頻のビンの頻度との差（差
分）が予め定められた閾値以上のビン（以下、第２ビン
と称する）とを求める(ステップＳ11302)。ここで、第
２ビンは、例えば、最頻のビンの次に頻度の高いビンで
ある。
【０１２２】そして、ステップＳ11303でＮＯの場合
（即ち、最頻のビンが唯一存在するだけであり、第２ビ
ンは存在しない場合）には、ステップＳ11302にて求め
られた最頻のビンに該当する画素の平均色を求め、この
平均色を、対象としているブロックの代表色とする(ス
テップＳ10604)。
（即ち、最頻のビンが唯一存在するだけであり、第２ビ
ンは存在しない場合）には、ステップＳ11302にて求め
られた最頻のビンに該当する画素の平均色を求め、この
平均色を、対象としているブロックの代表色とする(ス
テップＳ10604)。
【０１２３】これに対して、ステップＳ11303でＹＥＳ
の場合には、ステップＳ11305に進む。即ち、ステップ
Ｓ11303にて最頻のビンと第２ビンとが存在すると判断
されたので、ステップＳ11305では、その最頻のビンと
第２ビンとが、Y, Cb, Cr色空間内において全て隣接し
た状態であるかどうか判断する。
の場合には、ステップＳ11305に進む。即ち、ステップ
Ｓ11303にて最頻のビンと第２ビンとが存在すると判断
されたので、ステップＳ11305では、その最頻のビンと
第２ビンとが、Y, Cb, Cr色空間内において全て隣接し
た状態であるかどうか判断する。
【０１２４】そして、ステップＳ11305でＹＥＳの場合
（即ち、最頻のビンと第２ビンとが隣接している場合）
には、当該第２ビンに該当する画素の平均色を求め、こ
の平均色を、対象としているブロックの代表色とする
(ステップＳ11306)。
（即ち、最頻のビンと第２ビンとが隣接している場合）
には、当該第２ビンに該当する画素の平均色を求め、こ
の平均色を、対象としているブロックの代表色とする
(ステップＳ11306)。
【０１２５】一方、ステップＳ11305でＮＯの場合（即
ち、最頻のビンが複数である場合、或いは、最頻のビン
と第２ビンとが全て隣接している訳ではない場合)に
は、それらのビンに対して隣接する他の複数のビン（第
３ビン）群を、統合ビン（即ち、図７の場合と同様に、
１つのビンとして統合された複数のビン）として設定す
ると共に、その統合ビンの頻度とすべく、統合された複
数のビンの頻度を足す(ステップＳ11307)。
ち、最頻のビンが複数である場合、或いは、最頻のビン
と第２ビンとが全て隣接している訳ではない場合)に
は、それらのビンに対して隣接する他の複数のビン（第
３ビン）群を、統合ビン（即ち、図７の場合と同様に、
１つのビンとして統合された複数のビン）として設定す
ると共に、その統合ビンの頻度とすべく、統合された複
数のビンの頻度を足す(ステップＳ11307)。
【０１２６】尚、複数のビンが互いに隣接しているかど
うかを判断する方法としては、各ビンについて隣接する
他のビンの識別情報（ＩＤ）を記憶しておく方法や幾何
学関係を予めビンのＩＤを用いて数式で関係付ける等の
方法があるが、その実現方法は問わない。
うかを判断する方法としては、各ビンについて隣接する
他のビンの識別情報（ＩＤ）を記憶しておく方法や幾何
学関係を予めビンのＩＤを用いて数式で関係付ける等の
方法があるが、その実現方法は問わない。
【０１２７】ステップＳ11308では、統合すべきビンが
存在しないかをチェックすることにより、無限ループに
陥らないための判断を行う。ステップＳ11307において
ビンの統合を行えたとき(ステップＳ11308でＹＥＳの場
合)には、ステップＳ11303乃至ステップＳ11308の処理
を再帰的に行うことにより、最終的には、ステップＳ11
302において最頻の統合ビンを求めることができる。従
って、この場合は、ステップＳ11304において、この統
合ビンに該当する画素の平均色を求め、この平均色を、
対象とするブロックの代表色とする。
存在しないかをチェックすることにより、無限ループに
陥らないための判断を行う。ステップＳ11307において
ビンの統合を行えたとき(ステップＳ11308でＹＥＳの場
合)には、ステップＳ11303乃至ステップＳ11308の処理
を再帰的に行うことにより、最終的には、ステップＳ11
302において最頻の統合ビンを求めることができる。従
って、この場合は、ステップＳ11304において、この統
合ビンに該当する画素の平均色を求め、この平均色を、
対象とするブロックの代表色とする。
【０１２８】ここで、再帰処理の具体的な処理を説明す
る。まず、ステップＳ11305において各最頻のビンを基
準として、それら最頻のビンと第２ビンに隣接するビン
（以下、第３ビン）が存在するかを探す。
る。まず、ステップＳ11305において各最頻のビンを基
準として、それら最頻のビンと第２ビンに隣接するビン
（以下、第３ビン）が存在するかを探す。
【０１２９】そして、ステップＳ11305でＹＥＳの場合
には、最終的に１つの統合ビンが得られるので、得られ
た統合ビンに該当する画素の平均色を求め、その平均色
を、対象とするブロックの代表色とする(ステップＳ113
04)。
には、最終的に１つの統合ビンが得られるので、得られ
た統合ビンに該当する画素の平均色を求め、その平均色
を、対象とするブロックの代表色とする(ステップＳ113
04)。
【０１３０】これに対して、ステップＳ11305でＮＯの
場合には、上記の第３ビン群が存在するので、当該最頻
のビンと、第３ビンとを統合することによって１つの統
合ビンとする統合処理（ステップＳ11307）と、最頻の
統合ビンを求める処理(ステップＳ11302)とを、最頻の
ビンが唯一で且つ最頻の統合ビンとの頻度の差が閾値未
満となるビンが存在しなくなるまで(ステップＳ11303で
ＮＯの場合)、或いは、最頻のビンと第３ビンが互いに
全て隣接(ステップＳ11305でＹＥＳの場合)まで再帰的
に行う。そして、ステップＳ11304では、得らえた最頻
の統合ビンに該当する画素の平均色を求め、その平均色
を、対象とするブロックの代表色に決定する。
場合には、上記の第３ビン群が存在するので、当該最頻
のビンと、第３ビンとを統合することによって１つの統
合ビンとする統合処理（ステップＳ11307）と、最頻の
統合ビンを求める処理(ステップＳ11302)とを、最頻の
ビンが唯一で且つ最頻の統合ビンとの頻度の差が閾値未
満となるビンが存在しなくなるまで(ステップＳ11303で
ＮＯの場合)、或いは、最頻のビンと第３ビンが互いに
全て隣接(ステップＳ11305でＹＥＳの場合)まで再帰的
に行う。そして、ステップＳ11304では、得らえた最頻
の統合ビンに該当する画素の平均色を求め、その平均色
を、対象とするブロックの代表色に決定する。
【０１３１】尚、最後まで最頻のビンが唯一でない或い
は最頻の統合ビンと頻度の差が閾値未満となるビンが存
在する場合(ステップＳ11308でＮＯの場合)には、ブロ
ック全体の画素の平均色を求め、その平均色を、対象と
するブロックの代表色とする。
は最頻の統合ビンと頻度の差が閾値未満となるビンが存
在する場合(ステップＳ11308でＮＯの場合)には、ブロ
ック全体の画素の平均色を求め、その平均色を、対象と
するブロックの代表色とする。
【０１３２】また、上述した本実施形態において、ステ
ップＳ11305でＮＯの場合には、唯一存在し且つ最大の
頻度となる統合ビンを求め、その統合ビンに該当する画
素の平均値を対象とするブロックの代表色とした。しか
しながら、本願出願人による実験によれば、対象とする
ブロックの代表色として、大元の小空間（ビン）である
ところの、統合前の初期の最頻ビンに該当する画素の平
均値を採用しても、良好な結果が得られることが判って
おり、この方法で分割ブロックの代表色を決定しても良
い。
ップＳ11305でＮＯの場合には、唯一存在し且つ最大の
頻度となる統合ビンを求め、その統合ビンに該当する画
素の平均値を対象とするブロックの代表色とした。しか
しながら、本願出願人による実験によれば、対象とする
ブロックの代表色として、大元の小空間（ビン）である
ところの、統合前の初期の最頻ビンに該当する画素の平
均値を採用しても、良好な結果が得られることが判って
おり、この方法で分割ブロックの代表色を決定しても良
い。
【０１３３】尚、再帰処理における最頻のビンとの頻度
差の判断に使用する閾値に関しては、初回の閾値と値を
変えてもよく、例えば再帰処理においてはこの閾値を１
とすることにより、単なる大小比較判定とすることも可
能である。
差の判断に使用する閾値に関しては、初回の閾値と値を
変えてもよく、例えば再帰処理においてはこの閾値を１
とすることにより、単なる大小比較判定とすることも可
能である。
【０１３４】また、再帰処理の回数に応じて、最頻のビ
ンとの頻度差の判断に使用する閾値の大きさを変化させ
ても良く、例えば、再帰処理回数が増えると閾値を減少
させれば、統合するビンが減少していくことによって頻
度差が増えて行かない場合にも対処可能となる。
ンとの頻度差の判断に使用する閾値の大きさを変化させ
ても良く、例えば、再帰処理回数が増えると閾値を減少
させれば、統合するビンが減少していくことによって頻
度差が増えて行かない場合にも対処可能となる。
【０１３５】以上説明した処理を、６４個の全てのブロ
ックに施すことにより、第１の実施形態と同様に、原画
像の色のレイアウトを忠実に保った変倍画像の生成が可
能となる。
ックに施すことにより、第１の実施形態と同様に、原画
像の色のレイアウトを忠実に保った変倍画像の生成が可
能となる。
【０１３６】
【第３の実施形態】次に、上述した第１及び第２の実施
形態に係る画像検索装置を基本とする第３の実施形態を
説明する。以下の説明においては、第１の実施形態と同
様な構成については重複する説明を省略し、本実施形態
における特徴的な部分を中心に説明する。
形態に係る画像検索装置を基本とする第３の実施形態を
説明する。以下の説明においては、第１の実施形態と同
様な構成については重複する説明を省略し、本実施形態
における特徴的な部分を中心に説明する。
【０１３７】本実施形態では、第２の実施形態において
説明した処理手順を基本として、更に異なる方法で、各
ブロックに対して代表色を求める処理(ステップＳ1051
0)を実現する。
説明した処理手順を基本として、更に異なる方法で、各
ブロックに対して代表色を求める処理(ステップＳ1051
0)を実現する。
【０１３８】図１４は、第３の実施形態に係る変倍画像
の生成処理におけるブロック代表色の算出処理を示すフ
ローチャートである。
の生成処理におけるブロック代表色の算出処理を示すフ
ローチャートである。
【０１３９】第２の実施形態（図１３）では、最頻のビ
ンと、その頻度との「差」が予め定められた閾値以上の
ビンを「第２ビン」としたのに対して、本実施形態で
は、同図に示すように、最頻のビンと、その最頻のビン
に対する「頻度の比率（或いは割合）」が予め定められ
た閾値以上であるビンを「第２ビン」とする点が異なる
が、処理の手順は同様であるため、詳細な説明は省略す
る。
ンと、その頻度との「差」が予め定められた閾値以上の
ビンを「第２ビン」としたのに対して、本実施形態で
は、同図に示すように、最頻のビンと、その最頻のビン
に対する「頻度の比率（或いは割合）」が予め定められ
た閾値以上であるビンを「第２ビン」とする点が異なる
が、処理の手順は同様であるため、詳細な説明は省略す
る。
【０１４０】尚、本実施形態において、第２ビンは、例
えば、最頻のビンの次に頻度の高いビンである。
えば、最頻のビンの次に頻度の高いビンである。
【０１４１】このような本実施形態によっても、第１の
実施形態と同様に、原画像の色のレイアウトを忠実に保
った変倍画像の生成が可能となる。
実施形態と同様に、原画像の色のレイアウトを忠実に保
った変倍画像の生成が可能となる。
【０１４２】＜実施形態の変形例＞上述した各実施形態
では、画像入力モジュール10702にて取得した画像を画
像蓄積モジュール10704に記憶し、検索情報ＤＢ10706に
格納される画像ＩＤを仲立ちとして、対応する色レイア
ウト指標量と対応付けしたが、登録画像は必ずしも画像
蓄積モジュール10704に記憶する必要は無く、例えばイ
ンターネットサーバ上に画像の実体が存在し、検索情報
ＤＢ10706に記述する画像のアドレスは、そのサーバの
インターネットアドレスでも良い。
では、画像入力モジュール10702にて取得した画像を画
像蓄積モジュール10704に記憶し、検索情報ＤＢ10706に
格納される画像ＩＤを仲立ちとして、対応する色レイア
ウト指標量と対応付けしたが、登録画像は必ずしも画像
蓄積モジュール10704に記憶する必要は無く、例えばイ
ンターネットサーバ上に画像の実体が存在し、検索情報
ＤＢ10706に記述する画像のアドレスは、そのサーバの
インターネットアドレスでも良い。
【０１４３】また、上述した実施形態では、画像検索処
理に関して、検索対象画像を選択し、その画像に類似す
る縮小画像を類似度が高い順番に並べて表示したが、検
索対象画像を手書きのスケッチで与え、その手書き画像
の色レイアウト指標量を算出し、その色レイアウト指標
量と登録画像の色レイアウト指標量とから類似する画像
を検索する実施形態も想定される。
理に関して、検索対象画像を選択し、その画像に類似す
る縮小画像を類似度が高い順番に並べて表示したが、検
索対象画像を手書きのスケッチで与え、その手書き画像
の色レイアウト指標量を算出し、その色レイアウト指標
量と登録画像の色レイアウト指標量とから類似する画像
を検索する実施形態も想定される。
【０１４４】また、画像蓄積モジュール10704に登録し
ていない画像を指示し、その画像の色レイアウト指標量
を算出してから、類似画像を検索する実施形態も想定さ
れる。
ていない画像を指示し、その画像の色レイアウト指標量
を算出してから、類似画像を検索する実施形態も想定さ
れる。
【０１４５】また、上述した実施形態では、類似画像の
検索結果として縮小画像の一覧表示するときに、画像蓄
積モジュール10704中のフィールドに縮小画像を格納し
たがその保持の仕方に限定は無く、ファイルの形態で存
在し、画像ＩＤあるいは原画像のデータファイルと対応
が取れるようにしても良い。
検索結果として縮小画像の一覧表示するときに、画像蓄
積モジュール10704中のフィールドに縮小画像を格納し
たがその保持の仕方に限定は無く、ファイルの形態で存
在し、画像ＩＤあるいは原画像のデータファイルと対応
が取れるようにしても良い。
【０１４６】更に、本実施形態における画像の変倍処理
によれは、人が見て良質な縮小画像を作成することが可
能であり、８×８画素の固定サイズのブロック画像では
なく、原画像の縦横サイズに応じた異なるサイズへのブ
ロック分割を行うと共に、分割によって得られた各ブロ
ック画像に対して、上記の如く代表色を決定しても良
い。
によれは、人が見て良質な縮小画像を作成することが可
能であり、８×８画素の固定サイズのブロック画像では
なく、原画像の縦横サイズに応じた異なるサイズへのブ
ロック分割を行うと共に、分割によって得られた各ブロ
ック画像に対して、上記の如く代表色を決定しても良
い。
【０１４７】
【他の実施形態】上述した各実施形態を例に説明した本
発明は、複数の機器から構成されるシステムに適用して
も良いし、また、一つの機器からなる装置に適用しても
良い。
発明は、複数の機器から構成されるシステムに適用して
も良いし、また、一つの機器からなる装置に適用しても
良い。
【０１４８】尚、本発明は、前述した各実施形態におい
て説明したフローチャートの機能を実現するソフトウェ
アのプログラムを、上述した画像検索装置として動作す
るシステム或いは装置に直接或いは遠隔から供給し、そ
のシステム或いは装置のコンピュータが該供給されたプ
ログラムコードを読み出して実行することによっても達
成される場合を含む。その場合、プログラムの機能を有
していれば、形態は、プログラムである必要はない。
て説明したフローチャートの機能を実現するソフトウェ
アのプログラムを、上述した画像検索装置として動作す
るシステム或いは装置に直接或いは遠隔から供給し、そ
のシステム或いは装置のコンピュータが該供給されたプ
ログラムコードを読み出して実行することによっても達
成される場合を含む。その場合、プログラムの機能を有
していれば、形態は、プログラムである必要はない。
【０１４９】従って、本発明の機能処理をコンピュータ
で実現するために、該コンピュータにインストールされ
るプログラムコード自体も本発明を実現するものであ
る。つまり、本発明のクレームでは、本発明の機能処理
を実現するためのコンピュータプログラム自体も含まれ
る。
で実現するために、該コンピュータにインストールされ
るプログラムコード自体も本発明を実現するものであ
る。つまり、本発明のクレームでは、本発明の機能処理
を実現するためのコンピュータプログラム自体も含まれ
る。
【０１５０】その場合、プログラムの機能を有していれ
ば、オブジェクトコード、インタプリタにより実行され
るプログラム、ＯＳに供給するスクリプトデータ等、プ
ログラムの形態を問わない。
ば、オブジェクトコード、インタプリタにより実行され
るプログラム、ＯＳに供給するスクリプトデータ等、プ
ログラムの形態を問わない。
【０１５１】プログラムを供給するための記録媒体とし
ては、例えば、フロッピー（登録商標）ディスク、ハー
ドディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ
−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発
性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，
ＤＶＤ−Ｒ）などがある。
ては、例えば、フロッピー（登録商標）ディスク、ハー
ドディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ
−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発
性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，
ＤＶＤ−Ｒ）などがある。
【０１５２】その他、プログラムの供給方法としては、
クライアントコンピュータのブラウザを用いてインター
ネットのホームページに接続し、該ホームページから本
発明のコンピュータプログラムそのもの、もしくは圧縮
され自動インストール機能を含むファイルをハードディ
スク等の記録媒体にダウンロードすることによっても供
給できる。また、本発明のプログラムを構成するプログ
ラムコードを複数のファイルに分割し、それぞれのファ
イルを異なるホームページからダウンロードすることに
よっても実現可能である。つまり、本発明の機能処理を
コンピュータで実現するためのプログラムファイルを複
数のユーザに対してダウンロードさせるＷＷＷ(World W
ide Web)サーバも、本発明のクレームに含まれるもので
ある。
クライアントコンピュータのブラウザを用いてインター
ネットのホームページに接続し、該ホームページから本
発明のコンピュータプログラムそのもの、もしくは圧縮
され自動インストール機能を含むファイルをハードディ
スク等の記録媒体にダウンロードすることによっても供
給できる。また、本発明のプログラムを構成するプログ
ラムコードを複数のファイルに分割し、それぞれのファ
イルを異なるホームページからダウンロードすることに
よっても実現可能である。つまり、本発明の機能処理を
コンピュータで実現するためのプログラムファイルを複
数のユーザに対してダウンロードさせるＷＷＷ(World W
ide Web)サーバも、本発明のクレームに含まれるもので
ある。
【０１５３】また、本発明のプログラムを暗号化してＣ
Ｄ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所
定の条件をクリアしたユーザに対し、インターネットを
介してホームページから暗号化を解く鍵情報をダウンロ
ードさせ、その鍵情報を使用することにより暗号化され
たプログラムを実行してコンピュータにインストールさ
せて実現することも可能である。
Ｄ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所
定の条件をクリアしたユーザに対し、インターネットを
介してホームページから暗号化を解く鍵情報をダウンロ
ードさせ、その鍵情報を使用することにより暗号化され
たプログラムを実行してコンピュータにインストールさ
せて実現することも可能である。
【０１５４】また、コンピュータが、読み出したプログ
ラムを実行することによって、前述した実施形態の機能
が実現される他、そのプログラムの指示に基づき、コン
ピュータ上で稼動しているＯＳなどが、実際の処理の一
部または全部を行ない、その処理によっても前述した実
施形態の機能が実現され得る。
ラムを実行することによって、前述した実施形態の機能
が実現される他、そのプログラムの指示に基づき、コン
ピュータ上で稼動しているＯＳなどが、実際の処理の一
部または全部を行ない、その処理によっても前述した実
施形態の機能が実現され得る。
【０１５５】さらに、記録媒体から読み出されたプログ
ラムが、コンピュータに挿入された機能拡張ボードやコ
ンピュータに接続された機能拡張ユニットに備わるメモ
リに書き込まれた後、そのプログラムの指示に基づき、
その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ
などが実際の処理の一部または全部を行ない、その処理
によっても前述した実施形態の機能が実現される。
ラムが、コンピュータに挿入された機能拡張ボードやコ
ンピュータに接続された機能拡張ユニットに備わるメモ
リに書き込まれた後、そのプログラムの指示に基づき、
その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ
などが実際の処理の一部または全部を行ない、その処理
によっても前述した実施形態の機能が実現される。
【０１５６】
【発明の効果】上記の本発明によれば、変倍対象の画像
の特徴を良く表わす変倍画像を生成する変倍画像生成装
置及び方法、及びそのコンピュータ・プログラムとコン
ピュータ読み取り可能な記憶媒体の提供が実現する。
の特徴を良く表わす変倍画像を生成する変倍画像生成装
置及び方法、及びそのコンピュータ・プログラムとコン
ピュータ読み取り可能な記憶媒体の提供が実現する。
【０１５７】また、本発明によれば、画像の色レイアウ
トの特徴を良く表わす特徴量（指標量）を算出する画像
特徴算出装置及び方法、及びそのコンピュータ・プログ
ラムとコンピュータ読み取り可能な記憶媒体の提供が実
現する。
トの特徴を良く表わす特徴量（指標量）を算出する画像
特徴算出装置及び方法、及びそのコンピュータ・プログ
ラムとコンピュータ読み取り可能な記憶媒体の提供が実
現する。
【図１】色レイアウト指標量の抽出処理の流れを説明す
る図である。
る図である。
【図２】係数選択のためのジグザグスキャン処理を説明
する図である。
する図である。
【図３】従来における色レイアウト指標量の抽出処理を
示すフローチャートである。
示すフローチャートである。
【図４】登録すべき原画像と、その分割状態を例示する
図である。
図である。
【図５】Y, Cb, Cr色空間とビンとの関係を示す図であ
る。
る。
【図６】第１の実施形態における実施形態における変倍
画像の生成処理を示すフローチャートである。
画像の生成処理を示すフローチャートである。
【図７】第１の実施形態に係る変倍画像の生成処理にお
けるブロック代表色の算出処理を示すフローチャートで
ある。
けるブロック代表色の算出処理を示すフローチャートで
ある。
【図８】第１の実施形態に係る画像検索装置の機能構成
を示すブロック図である。
を示すブロック図である。
【図９】第１の実施形態の画像検索装置で行われる画像
登録処理を示すフローチャートである。
登録処理を示すフローチャートである。
【図１０】第１の実施形態の画像検索装置で行われる画
像登録処理を示すフローチャートである。
像登録処理を示すフローチャートである。
【図１１】第１の実施形態に係る画像登録処理において
行われる色レイアウト指標量の抽出処理を示すフローチ
ャートである。
行われる色レイアウト指標量の抽出処理を示すフローチ
ャートである。
【図１２】第１の実施形態における検索情報ＤＢ内のレ
コードのスキーマを例示する図である。
コードのスキーマを例示する図である。
【図１３】第２の実施形態に係る変倍画像の生成処理に
おけるブロック代表色の算出処理を示すフローチャート
である。
おけるブロック代表色の算出処理を示すフローチャート
である。
【図１４】第３の実施形態に係る変倍画像の生成処理に
おけるブロック代表色の算出処理を示すフローチャート
である。
おけるブロック代表色の算出処理を示すフローチャート
である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/60 Ｈ０４Ｎ 1/46 Ｚ Ｆターム(参考） 5B057 BA29 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CB20 CD05 CE16 CG05 DB02 DB06 DB09 DC19 DC25 5C076 AA22 BA06 BB07 5C077 LL20 MP08 PP20 PP34 PP46 PP49 PP51 PQ18 PQ19 5C079 HB04 LA02 LA05 LA37 MA11 NA01 5L096 AA02 AA06 BA20 EA03 EA24 FA15 FA32 FA35 GA19 GA51 KA07
Claims (39)
- 【請求項１】 複数画素からなる画像を縦横に区切るこ
とによって複数のブロックに分割する画像分割手段と、 前記画像の色空間を、複数の小空間に分割する色空間分
割手段と、 前記小空間を一単位として、前記複数のブロックのうち
対象ブロックを構成する各画素についてヒストグラム演
算を行うと共に、その結果、前記複数の小空間のうち最
も頻度の高い小空間に属する画素の平均色に従って、そ
の対象ブロックの代表色を決定する色決定手段と、を備
えることを特徴とする変倍画像生成装置。 - 【請求項２】 前記色決定手段は、前記ヒストグラム演
算の結果、最も頻度の高い小空間が２つ存在すると共
に、それらの小空間が隣接する場合に、それら２つの小
空間に属する画素の平均色に応じて、前記対象ブロック
の代表色を決定することを特徴とする請求項１記載の変
倍画像生成装置。 - 【請求項３】 前記色決定手段は、 前記小空間を一単位として、前記複数のブロックのうち
対象ブロックを構成する各画素についてヒストグラム演
算を行う演算手段と、 前記ヒストグラム演算の結果、最も頻度の高い小空間が
２つ存在すると共に、それらの小空間が隣接しない、或
いは最も頻度の高い小空間が３つ以上存在する場合に、
それら小空間に隣接する他の小空間群を１つに統合でき
るか否かを判断する統合判断手段と、 前記統合判断手段によって統合できると判断された場合
に、前記小空間群を１つに統合することにより、統合小
空間を生成する小空間統合手段と、 前記小空間統合手段によって生成された統合小空間につ
いて前記ヒストグラム演算に基づく頻度を足すことによ
り、最も頻度の高い統合小空間を再帰的に算出すると共
に、その最も頻度の高い統合小空間に該当する画素の平
均色を求め、その平均色を、前記対象ブロックの代表色
に決定する代表色決定手段と、を含むことを特徴とする
請求項１または請求項２記載の変倍画像生成装置。 - 【請求項４】 前記色決定手段は、 前記小空間を一単位として、前記複数のブロックのうち
対象ブロックを構成する各画素についてヒストグラム演
算を行う演算手段と、 前記ヒストグラム演算の結果、最も頻度の高い小空間が
２つ存在すると共に、それらの小空間が隣接しない、或
いは最も頻度の高い小空間が３つ以上存在する場合に、
それら小空間に隣接する他の小空間群を１つに統合でき
るか否かを判断する統合判断手段と、 前記統合判断手段によって統合できると判断された場合
に、前記小空間群を１つに統合することにより、統合小
空間を生成する小空間統合手段と、 前記小空間統合手段によって生成された統合小空間につ
いて前記ヒストグラム演算に基づく頻度を足すことによ
り、最も頻度の高い統合小空間を再帰的に算出すると共
に、その最も頻度の高い統合小空間に該当する画素の平
均色を求め、その平均色を、前記対象ブロックの代表色
に決定する代表色決定手段と、 を含むことを特徴とする請求項１または請求項２記載の
変倍画像生成装置。 - 【請求項５】 複数画素からなる画像を縦横に区切るこ
とによって複数のブロックに分割する画像分割手段と、 前記画像の色空間を、複数の小空間に分割する色空間分
割手段と、 前記小空間を一単位として、前記複数のブロックのうち
対象ブロックを構成する各画素についてヒストグラム演
算を施す演算手段と、 前記演算手段による演算の結果、前記複数の小空間のう
ち最も頻度の高い第１小空間が唯一つであり、且つその
第１小空間に属する画素と、その第１小空間の次に頻度
の高い第２小空間に属する画素との差分が所定の第１閾
値より大きい場合、或いは、該差分が前記対象ブロック
を構成する総画素数に対する所定の第２閾値より大きい
場合に、前記第１小空間に属する画素の平均色に従っ
て、その対象ブロックの代表色を決定する色決定手段
と、を備えることを特徴とする変倍画像生成装置。 - 【請求項６】 前記色決定手段は、前記ヒストグラム演
算の結果、前記第１小空間が唯一つであり、且つ、その
第１小空間に属する画素との差分が所定の第３閾値以下
である全ての第３小空間が前記第１小空間に隣接する場
合に、前記第１小空間に属する画素と、該第３小空間に
属する画素との平均色に応じて、前記対象ブロックの代
表色を決定することを特徴とする請求項５記載の変倍画
像生成装置。 - 【請求項７】 前記色決定手段は、 前記ヒストグラム演算の結果、前記第１小空間に属する
画素との差分が所定の第４閾値以下である単数または複
数の第４小空間が存在する場合に、これらの小空間に対
して隣接する他の小空間群を１つに統合できるか否かを
判断する統合判断手段と、 前記統合判断手段によって統合できると判断された場合
に、前記第１及び第４小空間と、前記他の小空間群とか
らなる１つの統合小空間を生成する小空間統合手段と、 前記小空間統合手段によって生成された統合小空間につ
いて前記ヒストグラム演算に基づく頻度を足すことによ
り、前記第１小空間が唯一であり、且つ、最も頻度の高
い第１統合小空間に属する画素と、次に頻度の高い第２
統合小空間に属する画素との差分が固定或いは再帰処理
の回数に応じて変化する第５閾値より大きいという条件
を満足するところの、最も頻度の高い統合小空間を再帰
的に算出すると共に、その統合小空間に該当する画素の
平均色を求め、その平均色を、前記対象ブロックの代表
色に決定する代表色決定手段と、を含むことを特徴とす
る請求項５または請求項６記載の変倍画像生成装置。 - 【請求項８】 前記色決定手段は、 前記ヒストグラム演算の結果、前記第１小空間が２つ存
在すると共に、それらの小空間が隣接しない、或いは前
記第１小空間が３つ以上存在する場合に、それら小空間
に隣接する他の小空間群を１つに統合できるか否かを判
断する統合判断手段と、 前記小空間統合手段によって生成された統合小空間につ
いて前記ヒストグラム演算に基づく頻度を足すことによ
り、前記第１小空間が唯一つであり、且つ、最も頻度の
高い第１統合小空間に属する画素に対して、次に頻度の
高い第２統合小空間に属する画素の差分が固定或いは再
帰処理の回数に応じて変化する第６閾値より小さいとい
う条件を満足するところの、最も頻度の高い統合小空間
を再帰的に算出すると共に、その統合小空間の起点とな
った統合前の前記第１小空間が１つである場合に、その
第１小空間に属する画素の平均色を、前記対象ブロック
の代表色に決定する第１代表色決定手段と、 前記起点となった統合前の前記第１小空間が複数である
場合に、これら全ての第１小空間に属する画素の平均色
を求めると共に、前記統合小空間に該当する画素の平均
色を求め、これら２つの平均色に対する平均色を、前記
対象ブロックの代表色に決定する第２代表色決定手段
と、を含むことを特徴とする請求項５または請求項６記
載の変倍画像生成装置。 - 【請求項９】 複数画素からなる画像を縦横に区切るこ
とによって複数のブロックに分割する画像分割手段と、 前記画像の色空間を、複数の小空間に分割する色空間分
割手段と、 前記小空間を一単位として、前記複数のブロックのうち
対象ブロックを構成する各画素についてヒストグラム演
算を施す演算手段と、 前記演算手段による演算の結果、前記複数の小空間のう
ち最も頻度の高い第１小空間が唯一つであり、且つその
第１小空間に属する画素に対して、次に頻度の高い第２
小空間に属する画素の比率または割合が所定の第１閾値
より大きい場合に、前記第１小空間に属する画素の平均
色に従って、その対象ブロックの代表色を決定する色決
定手段と、 を備えることを特徴とする変倍画像生成装置。 - 【請求項１０】 前記色決定手段は、前記ヒストグラム
演算の結果、前記第１小空間が唯一つであり、且つその
第１小空間に属する画素に対する比率または割合が所定
の第２閾値以下である全ての第３小空間が前記第１小空
間に隣接する場合に、前記第１小空間に属する画素との
比率または割合が所定の第３閾値以上である第４小空間
に属する画素の平均色に応じて、前記対象ブロックの代
表色を決定することを特徴とする請求項９記載の変倍画
像生成装置。 - 【請求項１１】 前記色決定手段は、 前記ヒストグラム演算の結果、前記第１小空間に属する
画素に対する比率または割合が所定の第５閾値以下であ
る単数または複数の第５小空間が存在する場合に、これ
らの小空間に対して隣接する他の小空間群を１つに統合
できるか否かを判断する統合判断手段と、 前記統合判断手段によって統合できると判断された場合
に、前記第１及び第４小空間と、前記他の小空間群とか
らなる１つの統合小空間を生成する小空間統合手段と、 前記小空間統合手段によって生成された統合小空間につ
いて前記ヒストグラム演算に基づく頻度を足すことによ
り、前記第１小空間が唯一であり、且つ、最も頻度の高
い第１統合小空間に属する画素に対して、次に頻度の高
い第２統合小空間に属する画素の比率または割合が固定
或いは再帰処理の回数に応じて変化する第６閾値より小
さいという条件を満足するところの、最も頻度の高い統
合小空間を再帰的に算出すると共に、その統合小空間に
該当する画素の平均色を求め、その平均色を、前記対象
ブロックの代表色に決定する代表色決定手段と、を含む
ことを特徴とする請求項９または請求項１０記載の変倍
画像生成装置。 - 【請求項１２】 前記色決定手段は、 前記ヒストグラム演算の結果、前記第１小空間に属する
画素に対する比率または割合が所定の第７閾値以上であ
る単数または複数の第６小空間が存在する場合に、これ
らの小空間が隣接する他の小空間群を１つに統合できる
か否かを判断する統合判断手段と、 前記統合判断手段によって統合できると判断された場合
に、前記第１及び第６小空間と、前記他の小空間群とか
らなる１つの統合小空間を生成する小空間統合手段と、 前記小空間統合手段によって生成された統合小空間につ
いて前記ヒストグラム演算に基づく頻度を足すことによ
り、前記第１小空間が唯一つであり、且つ、最も頻度の
高い第１統合小空間に属する画素に対して、次に頻度の
高い第２統合小空間に属する画素の比率または割合が固
定或いは再帰処理の回数に応じて変化する第７閾値より
小さいという条件を満足するところの、最も頻度の高い
統合小空間を再帰的に算出すると共に、その統合小空間
の起点となった統合前の前記第１小空間が１つである場
合に、その第１小空間に属する画素の平均色を、前記対
象ブロックの代表色に決定する第１代表色決定手段と、 前記起点となった統合前の前記第１小空間が複数である
場合に、これら全ての第１小空間に属する画素の平均色
を求めると共に、前記統合小空間に該当する画素の平均
色を求め、その平均色を、前記対象ブロックの代表色に
決定する第２代表色決定手段と、を含むことを特徴とす
る請求項９または請求項１０記載の変倍画像生成装置。 - 【請求項１３】 請求項１乃至請求項１２の何れかに記
載の変倍画像生成装置と、 前記変倍画像生成装置によって生成された変倍画像に基
づいて、前記画像の色レイアウトの特徴を表わす指標量
を算出し、少なくとも該指標量と前記変倍画像とを関連
付けした状態で保持する画像特徴算出手段を備えること
を特徴とする画像特徴算出装置。 - 【請求項１４】 前記画像特徴算出手段は、 前記変倍画像生成装置によって生成された変倍画像を、
Y, Cb, Cr色空間に変換する色空間変換手段と、 前記色空間変換手段より取得した前記Y, Cb, Cr色空間
における各成分情報に対してＤＣＴ処理を施すと共に、
その結果得られるＤＣＴ係数に対して量子化処理を施す
演算手段と、 前記演算手段より取得したところの、前記Y, Cb, Cr色
空間における各成分毎の量子化されたＤＣＴ係数のう
ち、低周波数成分側から所定数量の係数を、前記画像の
色レイアウトの特徴を表わす指標量として選択し、少な
くとも該指標量と前記変倍画像とを関連付けした状態で
保持する係数選択手段と、を備えることを特徴とする請
求項１３記載の画像特徴算出装置。 - 【請求項１５】 更に、２つの画像について前記係数選
択手段によって取得した指標量に基づいて、それら原画
像の類似度を算出する類似度演算手段を備えることを特
徴とする請求項１４記載の画像特徴算出装置。 - 【請求項１６】 前記類似度演算手段は、 前記指標量として前記２つの画像についてそれぞれ選択
されたところの、対応する係数の差の２乗に夫々の係数
位置に応じた重みを掛けた値を加算すると共に、その加
算値の平方根を採ることによって取得した前記Y, Cb, C
r各成分に対応する値を加算した結果を、前記２つの画
像間の距離とすることを特徴とする請求項１５記載の画
像特徴算出装置。 - 【請求項１７】 少なくとも原画像の変倍画像と、その
原画像の色レイアウトの特徴を表わす指標量とが関連付
けされていることを特徴とする画像データ構造。 - 【請求項１８】 複数画素からなる画像を縦横に区切る
ことによって複数のブロックに分割する画像分割工程
と、 前記画像の色空間を、複数の小空間に分割する色空間分
割工程と、 前記小空間を一単位として、前記複数のブロックのうち
対象ブロックを構成する各画素についてヒストグラム演
算を行うと共に、その結果、前記複数の小空間のうち最
も頻度の高い小空間に属する画素の平均色に従って、そ
の対象ブロックの代表色を決定する色決定工程と、を有
することを特徴とする変倍画像生成方法。 - 【請求項１９】 前記色決定工程では、前記ヒストグラ
ム演算の結果、最も頻度の高い小空間が２つ存在すると
共に、それらの小空間が隣接する場合に、それら２つの
小空間に属する画素の平均色に応じて、前記対象ブロッ
クの代表色を決定することを特徴とする請求項１８記載
の変倍画像生成方法。 - 【請求項２０】 前記色決定工程は、 前記小空間を一単位として、前記複数のブロックのうち
対象ブロックを構成する各画素についてヒストグラム演
算を行う演算工程と、 前記ヒストグラム演算の結果、最も頻度の高い小空間が
２つ存在すると共に、それらの小空間が隣接しない、或
いは最も頻度の高い小空間が３つ以上存在する場合に、
それら小空間に隣接する他の小空間群を１つに統合でき
るか否かを判断する統合判断工程と、 前記統合判断工程にて統合できると判断した場合に、前
記小空間群を１つに統合することにより、統合小空間を
生成する小空間統合工程と、 前記小空間統合工程にて生成した統合小空間について前
記ヒストグラム演算に基づく頻度を足すことにより、最
も頻度の高い統合小空間を再帰的に算出すると共に、そ
の最も頻度の高い統合小空間に該当する画素の平均色を
求め、その平均色を、前記対象ブロックの代表色に決定
する代表色決定工程と、を含むことを特徴とする請求項
１８または請求項１９記載の変倍画像生成方法。 - 【請求項２１】 前記色決定工程は、 前記小空間を一単位として、前記複数のブロックのうち
対象ブロックを構成する各画素についてヒストグラム演
算を行う演算工程と、 前記ヒストグラム演算の結果、最も頻度の高い小空間が
２つ存在すると共に、それらの小空間が隣接しない、或
いは最も頻度の高い小空間が３つ以上存在する場合に、
それら小空間に隣接する他の小空間群を１つに統合でき
るか否かを判断する統合判断工程と、 前記統合判断工程にて統合できると判断した場合に、前
記小空間群を１つに統合することにより、統合小空間を
生成する小空間統合工程と、 前記小空間統合工程にて生成した統合小空間について前
記ヒストグラム演算に基づく頻度を足すことにより、最
も頻度の高い統合小空間を再帰的に算出すると共に、そ
の最も頻度の高い統合小空間に該当する画素の平均色を
求め、その平均色を、前記対象ブロックの代表色に決定
する代表色決定工程と、を含むことを特徴とする請求項
１８または請求項１９記載の変倍画像生成方法。 - 【請求項２２】 複数画素からなる画像を縦横に区切る
ことによって複数のブロックに分割する画像分割工程
と、 前記画像の色空間を、複数の小空間に分割する色空間分
割工程と、 前記小空間を一単位として、前記複数のブロックのうち
対象ブロックを構成する各画素についてヒストグラム演
算を施す演算工程と、 前記演算工程における演算の結果、前記複数の小空間の
うち最も頻度の高い第１小空間が唯一つであり、且つそ
の第１小空間に属する画素と、その第１小空間の次に頻
度の高い第２小空間に属する画素との差分が所定の第１
閾値より大きい場合、或いは、該差分が前記対象ブロッ
クを構成する総画素数に対する所定の第２閾値より大き
い場合に、前記第１小空間に属する画素の平均色に従っ
て、その対象ブロックの代表色を決定する色決定工程
と、を有することを特徴とする変倍画像生成方法。 - 【請求項２３】 前記色決定工程において、前記ヒスト
グラム演算の結果、前記第１小空間が唯一つであり、且
つ、その第１小空間に属する画素との差分が所定の第３
閾値以下である全ての第３小空間が前記第１小空間に隣
接する場合には、前記第１小空間に属する画素と、該第
３小空間に属する画素との平均色に応じて、前記対象ブ
ロックの代表色を決定することを特徴とする請求項２２
記載の変倍画像生成方法。 - 【請求項２４】 前記色決定工程は、前記ヒストグラム
演算の結果、前記第１小空間に属する画素との差分が所
定の第４閾値以下である単数または複数の第４小空間が
存在する場合に、これらの小空間に対して隣接する他の
小空間群を１つに統合できるか否かを判断する統合判断
工程と、 前記統合判断工程にて統合できると判断した場合に、前
記第１及び第４小空間と、前記他の小空間群とからなる
１つの統合小空間を生成する小空間統合工程と、 前記小空間統合工程にて生成した統合小空間について前
記ヒストグラム演算に基づく頻度を足すことにより、前
記第１小空間が唯一であり、且つ、最も頻度の高い第１
統合小空間に属する画素と、次に頻度の高い第２統合小
空間に属する画素との差分が固定或いは再帰処理の回数
に応じて変化する第５閾値より大きいという条件を満足
するところの、最も頻度の高い統合小空間を再帰的に算
出すると共に、その統合小空間に該当する画素の平均色
を求め、その平均色を、前記対象ブロックの代表色に決
定する代表色決定工程と、を含むことを特徴とする請求
項２２または請求項２３記載の変倍画像生成方法。 - 【請求項２５】 前記色決定工程は、 前記ヒストグラム演算の結果、前記第１小空間が２つ存
在すると共に、それらの小空間が隣接しない、或いは前
記第１小空間が３つ以上存在する場合に、それら小空間
に隣接する他の小空間群を１つに統合できるか否かを判
断する統合判断工程と、 前記統合判断工程にて統合できると判断した場合に、前
記小空間群を１つに統合することにより、統合小空間を
生成する小空間統合工程と、 前記小空間統合工程にて生成した統合小空間について前
記ヒストグラム演算に基づく頻度を足すことにより、前
記第１小空間が唯一つであり、且つ、最も頻度の高い第
１統合小空間に属する画素に対して、次に頻度の高い第
２統合小空間に属する画素の差分が固定或いは再帰処理
の回数に応じて変化する第６閾値より小さいという条件
を満足するところの、最も頻度の高い統合小空間を再帰
的に算出すると共に、その統合小空間の起点となった統
合前の前記第１小空間が１つである場合に、その第１小
空間に属する画素の平均色を、前記対象ブロックの代表
色に決定する第１代表色決定工程と、 前記起点となった統合前の前記第１小空間が複数である
場合に、これら全ての第１小空間に属する画素の平均色
を求めると共に、前記統合小空間に該当する画素の平均
色を求め、これら２つの平均色に対する平均色を、前記
対象ブロックの代表色に決定する第２代表色決定工程
と、 を含むことを特徴とする請求項２２または請求項２３記
載の変倍画像生成方法。 - 【請求項２６】 複数画素からなる画像を縦横に区切る
ことによって複数のブロックに分割する画像分割工程
と、 前記画像の色空間を、複数の小空間に分割する色空間分
割工程と、 前記小空間を一単位として、前記複数のブロックのうち
対象ブロックを構成する各画素についてヒストグラム演
算を施す演算工程と、 前記演算工程における演算の結果、前記複数の小空間の
うち最も頻度の高い第１小空間が唯一つであり、且つそ
の第１小空間に属する画素に対して、次に頻度の高い第
２小空間に属する画素の比率または割合が所定の第１閾
値より大きい場合に、前記第１小空間に属する画素の平
均色に従って、その対象ブロックの代表色を決定する色
決定工程と、を有することを特徴とする変倍画像生成方
法。 - 【請求項２７】 前記色決定工程において、前記ヒスト
グラム演算の結果、前記第１小空間が唯一つであり、且
つその第１小空間に属する画素に対する比率または割合
が所定の第２閾値以下である全ての第３小空間が前記第
１小空間に隣接する場合には、前記第１小空間に属する
画素との比率または割合が所定の第３閾値以上である第
４小空間に属する画素の平均色に応じて、前記対象ブロ
ックの代表色を決定することを特徴とする請求項２６記
載の変倍画像生成方法。 - 【請求項２８】 前記色決定工程は、 前記ヒストグラム演算の結果、前記第１小空間に属する
画素に対する比率または割合が所定の第５閾値以下であ
る単数または複数の第５小空間が存在する場合に、これ
らの小空間に対して隣接する他の小空間群を１つに統合
できるか否かを判断する統合判断工程と、 前記統合判断工程にて統合できると判断した場合に、前
記第１及び第４小空間と、前記他の小空間群とからなる
１つの統合小空間を生成する小空間統合工程と、 前記小空間統合工程にて生成した統合小空間について前
記ヒストグラム演算に基づく頻度を足すことにより、前
記第１小空間が唯一であり、且つ、最も頻度の高い第１
統合小空間に属する画素に対して、次に頻度の高い第２
統合小空間に属する画素の比率または割合が固定或いは
再帰処理の回数に応じて変化する第６閾値より小さいと
いう条件を満足するところの、最も頻度の高い統合小空
間を再帰的に算出すると共に、その統合小空間に該当す
る画素の平均色を求め、その平均色を、前記対象ブロッ
クの代表色に決定する代表色決定工程と、を含むことを
特徴とする請求項２６または請求項２７記載の変倍画像
生成方法。 - 【請求項２９】 前記色決定工程は、 前記ヒストグラム演算の結果、前記第１小空間に属する
画素に対する比率または割合が所定の第７閾値以上であ
る単数または複数の第６小空間が存在する場合に、これ
らの小空間が隣接する他の小空間群を１つに統合できる
か否かを判断する統合判断工程と、 前記統合判断工程にて統合できると判断した場合に、前
記第１及び第６小空間と、前記他の小空間群とからなる
１つの統合小空間を生成する小空間統合工程と、 前記小空間統合工程にて生成した統合小空間について前
記ヒストグラム演算に基づく頻度を足すことにより、前
記第１小空間が唯一つであり、且つ、最も頻度の高い第
１統合小空間に属する画素に対して、次に頻度の高い第
２統合小空間に属する画素の比率または割合が固定或い
は再帰処理の回数に応じて変化する第７閾値より小さい
という条件を満足するところの、最も頻度の高い統合小
空間を再帰的に算出すると共に、その統合小空間の起点
となった統合前の前記第１小空間が１つである場合に、
その第１小空間に属する画素の平均色を、前記対象ブロ
ックの代表色に決定する第１代表色決定工程と、 前記起点となった統合前の前記第１小空間が複数である
場合に、これら全ての第１小空間に属する画素の平均色
を求めると共に、前記統合小空間に該当する画素の平均
色を求め、その平均色を、前記対象ブロックの代表色に
決定する第２代表色決定工程と、 を含むことを特徴とする請求項２６または請求項２７記
載の変倍画像生成方法。 - 【請求項３０】 請求項１８乃至請求項２９の何れかに
記載の変倍画像生成方法と、 前記変倍画像生成方法によって生成した変倍画像に基づ
いて、前記画像の色レイアウトの特徴を表わす指標量を
算出し、少なくとも該指標量と前記変倍画像とを関連付
けした状態で保持する画像特徴算出工程を有することを
特徴とする画像特徴算出方法。 - 【請求項３１】 前記画像特徴算出工程は、 前記変倍画像生成方法によって生成した変倍画像を、Y,
Cb, Cr色空間に変換する色空間変換工程と、 前記色空間変換工程にて取得した前記Y, Cb, Cr色空間
における各成分情報に対してＤＣＴ処理を施すと共に、
その結果得られるＤＣＴ係数に対して量子化処理を施す
演算工程と、 前記演算工程にて取得したところの、前記Y, Cb, Cr色
空間における各成分毎の量子化されたＤＣＴ係数のう
ち、低周波数成分側から所定数量の係数を、前記画像の
色レイアウトの特徴を表わす指標量として選択し、少な
くとも該指標量と前記変倍画像とを関連付けした状態で
保持する係数選択工程と、を含むことを特徴とする請求
項３０記載の画像特徴算出方法。 - 【請求項３２】 請求項１乃至請求項１２の何れかに記
載の変倍画像生成装置としてコンピュータを動作させる
動作指示をなすことを特徴とするコンピュータプログラ
ム。 - 【請求項３３】 請求項１３乃至請求項１６の何れかに
記載の画像特徴算出装置としてコンピュータを動作させ
る動作指示をなすことを特徴とするコンピュータプログ
ラム。 - 【請求項３４】 請求項１８乃至請求項２９の何れかに
記載の変倍画像生成方法をコンピュータによって実現可
能な動作指示をなすことを特徴とするコンピュータプロ
グラム。 - 【請求項３５】 請求項３０または請求項３１記載の画
像特徴算出方法をコンピュータによって実現可能な動作
指示をなすことを特徴とするコンピュータプログラム。 - 【請求項３６】 請求項１乃至請求項１２の何れかに記
載の変倍画像生成装置としてコンピュータを動作させる
プログラムコードが格納されていることを特徴とするコ
ンピュータ読み取り可能な記憶媒体。 - 【請求項３７】 請求項１３乃至請求項１６の何れかに
記載の画像特徴算出装置としてコンピュータを動作させ
るプログラムコードが格納されていることを特徴とする
コンピュータ読み取り可能な記憶媒体。 - 【請求項３８】 請求項１８乃至請求項２９の何れかに
記載の変倍画像生成方法をコンピュータによって実現可
能なプログラムコードが格納されていることを特徴とす
るコンピュータ読み取り可能な記憶媒体。 - 【請求項３９】 請求項３０または請求項３１記載の画
像特徴算出方法をコンピュータによって実現可能なプロ
グラムコードが格納されていることを特徴とするコンピ
ュータ読み取り可能な記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002018936A JP4078085B2 (ja) | 2001-03-26 | 2002-01-28 | 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体 |
| US10/103,627 US7027646B2 (en) | 2001-03-26 | 2002-03-22 | Scaled image generating apparatus and method, image feature calculating apparatus and method, computer programs therefor, and image data structure |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-88483 | 2001-03-26 | ||
| JP2001088483 | 2001-03-26 | ||
| JP2002018936A JP4078085B2 (ja) | 2001-03-26 | 2002-01-28 | 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002358515A true JP2002358515A (ja) | 2002-12-13 |
| JP2002358515A5 JP2002358515A5 (ja) | 2007-03-01 |
| JP4078085B2 JP4078085B2 (ja) | 2008-04-23 |
Family
ID=26612095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002018936A Expired - Fee Related JP4078085B2 (ja) | 2001-03-26 | 2002-01-28 | 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7027646B2 (ja) |
| JP (1) | JP4078085B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009159032A (ja) * | 2007-12-25 | 2009-07-16 | Fujifilm Corp | 画像縮小装置および画像縮小方法 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004030122A (ja) * | 2002-06-25 | 2004-01-29 | Fujitsu Ltd | 図面検索支援装置および図面検索方法 |
| JP2004234613A (ja) * | 2002-12-02 | 2004-08-19 | Nec Corp | 映像記述システムおよび方法、映像識別システムおよび方法 |
| US7369699B1 (en) | 2003-08-29 | 2008-05-06 | Apple Inc. | Methods and apparatuses for restoring color and enhancing electronic images |
| US20080235184A1 (en) * | 2004-03-31 | 2008-09-25 | Pioneer Corporation | Image Search Method, Image Search Apparatus, and Recording Medium Having Image Search Program Code Thereon |
| JP2006235157A (ja) * | 2005-02-24 | 2006-09-07 | Seiko Epson Corp | 画像表示装置、画像表示方法、およびプログラム |
| CN101246475B (zh) * | 2007-02-14 | 2010-05-19 | 北京书生国际信息技术有限公司 | 一种基于版面信息的检索方法 |
| US20100013039A1 (en) * | 2008-07-21 | 2010-01-21 | Omnivision Technologies, Inc. | Backside-illuminated imaging sensor including backside passivation |
| FI127117B (fi) * | 2009-06-17 | 2017-11-30 | Gurulogic Microsystems Oy | Kuvaprosessoija ja tietokoneohjelma |
| US9710491B2 (en) * | 2009-11-02 | 2017-07-18 | Microsoft Technology Licensing, Llc | Content-based image search |
| US20110106798A1 (en) * | 2009-11-02 | 2011-05-05 | Microsoft Corporation | Search Result Enhancement Through Image Duplicate Detection |
| EP2355037A1 (en) * | 2009-12-18 | 2011-08-10 | Nxp B.V. | Method of and system for determining an average colour value for pixels |
| CN107766087A (zh) * | 2017-10-31 | 2018-03-06 | 歌尔科技有限公司 | 图片处理方法、用户界面显示方法及设备 |
| JP7326972B2 (ja) * | 2019-07-30 | 2023-08-16 | 株式会社リコー | 表面特性評価方法、表面特性評価装置、及び表面特性評価プログラム |
| US20220094951A1 (en) * | 2020-09-23 | 2022-03-24 | Ati Technologies Ulc | Palette mode video encoding utilizing hierarchical palette table generation |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3851655T2 (de) * | 1987-06-09 | 1995-02-09 | Sony Corp | Verarbeitung des Bewegungsvektors in Fernsehbildern. |
| JPH07146871A (ja) * | 1993-11-24 | 1995-06-06 | Hitachi Ltd | 静止画検索装置および静止画検索方法 |
| US5577135A (en) * | 1994-03-01 | 1996-11-19 | Apple Computer, Inc. | Handwriting signal processing front-end for handwriting recognizers |
| EP0693738A3 (en) * | 1994-06-23 | 1996-11-06 | Dainippon Screen Mfg | Device and method for producing colored masks |
| JPH08331373A (ja) * | 1995-05-31 | 1996-12-13 | Omron Corp | カラー画像縮小装置およびカラー画像縮小方法 |
| JP3778229B2 (ja) * | 1996-05-13 | 2006-05-24 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
| JP3658893B2 (ja) * | 1996-11-15 | 2005-06-08 | カシオ計算機株式会社 | 宅配荷物管理装置 |
| US6377702B1 (en) * | 1999-12-08 | 2002-04-23 | Sony Corporation | Color cast detection and removal in digital images |
-
2002
- 2002-01-28 JP JP2002018936A patent/JP4078085B2/ja not_active Expired - Fee Related
- 2002-03-22 US US10/103,627 patent/US7027646B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009159032A (ja) * | 2007-12-25 | 2009-07-16 | Fujifilm Corp | 画像縮小装置および画像縮小方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4078085B2 (ja) | 2008-04-23 |
| US7027646B2 (en) | 2006-04-11 |
| US20030026476A1 (en) | 2003-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4138007B2 (ja) | Ｄｃ及び動き符号を用いたｍｐｅｇ圧縮列のビデオ検索 | |
| US7418131B2 (en) | Image-capturing device and method for removing strangers from an image | |
| JP4907938B2 (ja) | 少なくとも１つの画像及び画像群を表現する方法、画像又は画像群の表現、画像及び／又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び／又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 | |
| CN1311388C (zh) | 表示图像组的方法和装置 | |
| US5915038A (en) | Using index keys extracted from JPEG-compressed images for image retrieval | |
| JP4078085B2 (ja) | 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体 | |
| US11055915B2 (en) | Delivering virtualized content | |
| KR101089489B1 (ko) | 디지털 이미지 처리 방법 및 이미지 표현 포맷 | |
| US8159550B2 (en) | Presenting images as mosaics | |
| JP5097280B2 (ja) | 画像及び画像群を表現、比較及び検索する方法及び装置、プログラム、コンピュータ読み取り可能な記憶媒体 | |
| US7248782B2 (en) | Image retrieving apparatus, image retrieving method and recording medium for recording program to implement the image retrieving method | |
| JP2000348179A (ja) | カラー画像を表現する方法およびカラー画像を探索する方法 | |
| US20220092848A1 (en) | Machine learning based image attribute determination | |
| US8306346B2 (en) | Static image compression method and non-transitory computer readable medium having a file with a data structure | |
| JP2001052011A (ja) | 画像検索装置およびその方法 | |
| JP2006039753A (ja) | 画像処理装置、画像処理方法 | |
| US7747130B2 (en) | Apparatus and method for extracting representative still images from MPEG video | |
| US11989820B2 (en) | Arbitrary view generation | |
| Schaefer | An uncompressed benchmark image dataset for colour imaging | |
| KR100464224B1 (ko) | 화상처리방법 및 그 장치, 기억매체 | |
| JPH11238067A (ja) | 画像検索システムおよび記録媒体 | |
| Kumar et al. | Design a Framework for Content Based Image Retrieval Using Hybrid Features Analysis. | |
| JP2003338934A (ja) | 画像処理装置および方法 | |
| Zargari et al. | A robust compressed domain feature vector for texture based image retrieval | |
| CN108959317B (zh) | 一种基于特征提取的图片检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041029 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071102 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080204 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |