JP2003006639A - 画像処理装置及びその方法、プログラム - Google Patents
画像処理装置及びその方法、プログラムInfo
- Publication number
- JP2003006639A JP2003006639A JP2001191850A JP2001191850A JP2003006639A JP 2003006639 A JP2003006639 A JP 2003006639A JP 2001191850 A JP2001191850 A JP 2001191850A JP 2001191850 A JP2001191850 A JP 2001191850A JP 2003006639 A JP2003006639 A JP 2003006639A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- scaling
- dct
- normalization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000010606 normalization Methods 0.000 claims description 88
- 238000006243 chemical reaction Methods 0.000 claims description 55
- 238000013139 quantization Methods 0.000 claims description 46
- 238000003672 processing method Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100325756 Arabidopsis thaliana BAM5 gene Proteins 0.000 description 1
- 102100040836 Claudin-1 Human genes 0.000 description 1
- 101150000715 DA18 gene Proteins 0.000 description 1
- 101100113671 Homo sapiens CLDN1 gene Proteins 0.000 description 1
- 101100402621 Homo sapiens MSANTD4 gene Proteins 0.000 description 1
- 102100031642 Myb/SANT-like DNA-binding domain-containing protein 4 Human genes 0.000 description 1
- 101150046378 RAM1 gene Proteins 0.000 description 1
- 101100476489 Rattus norvegicus Slc20a2 gene Proteins 0.000 description 1
- 101100113675 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) CLD1 gene Proteins 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Color Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
似画像と判定することが困難な関係にある画像群を、類
似画像として判定することが可能な画像特徴量を抽出で
きる画像処理装置及びその方法、プログラムを提供す
る。 【解決手段】 入力画像を色正規化し、色正規化された
画像を変倍し、変倍された画像を色変換する。色変換さ
れた画像をDCTし、それによって得られるDCT係数
を量子化する。そして、それによって得られる量子化D
CT係数群の内、低周波数成分側から所定範囲内の量子
化DCT係数を、前記入力画像の画像特徴量として選択
する。
Description
を抽出する画像処理装置及びその方法、プログラムに関
するものである。
して公知の離散コサイン変換(DCT)処理と量子化処
理を行い、その結果、得られたDCT係数のうち低周波
成分側から幾つかのDCT係数を取り出し、取り出した
DCT係数を原画像の画像特徴量とし、これを、例え
ば、画像検索に用いるデータとする方式が知られている
(ISO/IEC JTC1/SC29/WG11/N3522 "MPEG-7 Visual Work
ing Draft 4.0"(以下、[VWD4.0])、あるいはISO/IEC
JTC1/SC29/WG11/N3522 "MPEG-7 Visual part of eXperi
mentation Model Version 7.0" ([VXM7.0]))。
れている「Color Layout descriptor」における画像特
徴量抽出処理について、図10〜図14を用いて説明す
る。
されている「Color Layout descriptor」における画像
特徴量抽出処理を説明するための図である。また、図1
1はその画像特徴量処理を示すフローチャートである。
8画素の画像に変倍する画像変倍処理を行う(ステップ
S10401)。次に、生成した各色成分毎の8×8画
素の画像10011、10012、10013の各画素
をYCbCr色空間の各色成分データ10021、10
022、10023に変換する色変換処理を行う(ステ
ップS10402)。次に、YCbCr色空間の各色成
分データ10021、10022、10023に対して
DCT処理を行い、各色成分のDCT係数10031、
10032、10033を取得する(ステップS104
03)。
理は、公知のものでよい。
2、10033に対して量子化処理を行う(ステップS
10404)。
ば、以下のプログラムコード10000〜10003に
示すような処理で実現することができる。プログラムコ
ード10000〜10003は、公知のC言語を用いて
記述されている。[VWD4.0]によれば、量子化処理は、Y
成分とCb/Cr成分それぞれについて、DC成分とA
C成分で異なる処理を施すので、量子化処理として、4
通りの処理を実現するプログラムコード10000〜1
0003が用意されている。
C成分に対する量子化処理
分に対する量子化処理
る量子化処理
分に対する量子化処理
処理の結果、YもしくはCb/Cr成分の量子化された
DCT係数(以下、量子化DCT係数)は、0〜64の
値になる。また、プログラムコード10002、100
03による量子化処理の結果、YもしくはCb/Cr成
分の量子化DCT係数は、0〜32の値となる。従っ
て、量子化DCT係数のDC成分は符号無し6bit、
AC成分は符号無し5bitで表現することができる。
た量子化DCT係数10041、10042、1004
3の内、低周波数成分側から幾つかの係数を選択する係
数選択処理を行う(ステップS10405)。
化DCT係数に関しては6個、Cb/Cr成分の量子化
DCT係数に関しては3個ずつ選択している例である。
係数選択処理は、実際は、図12に示すようなジグザグ
スキャン処理によって、8×8と二次元に配置された量
子化DCT係数を一次元に並び替え、その先頭から幾つ
かを選択することによって実現される。図12の101
01は、ジグザグスキャンを表す図であり、8×8ブロ
ックの各ブロックに記述されている1から64の数字
は、一次元に並びかえられた後にその量子化DCT係数
が先頭から何番目に配置されるかを示す数字である。
波成分側から幾つかの量子化DCT係数を取得する。[V
WD4.0]によれば、ここで取得する量子化DCT係数の数
は、1、3、6、10、15、21、28、64のいず
れかである。また、量子化DCT係数の数は、Cb成分
の量子化DCT係数とCr成分の量子化DCT係数に関
しては同数であるが、Y成分の量子化DCT係数の数と
Cb/Cr成分の量子化DCT係数の数には別々の数を
設定可能である。また、デフォルトではY成分の量子化
DCT係数に関して6個、Cb/Cr成分の量子化DC
T係数に関しては3個を選択する。図10では、例とし
て、このデフォルト時の係数選択である、Y成分の量子
化DCT係数に関して6個(10051)、Cb/Cr
成分の量子化DCT係数に関しては3個(10052、
10053)を選択している。
1、10052、10053を、原画像10001の画
像特徴量、即ち、Color Layout descriptorとする。
ut descriptorは、図13や図14に示すようなバイナ
リ構造で格納される。図13の10201や図14の1
0301において、各ブロックは1bitを表現してい
る。また、10201や10301では、便宜上、フィ
ールド毎に区切っているが、実際は、同図の破線矢印で
示しているような順序で連続して格納されている。
ォルトの場合、即ち、Y成分の量子化DCT係数6個、
Cb/Cr成分の量子化DCT係数が各3個の場合のバ
イナリ構造を表す図である。この場合、先頭の拡張フラ
グには「0」が格納されている。さらに、それに後続し
て、Y成分の量子化DCT係数が6個、Cb成分の量子
化DCT係数が3個、Cr成分の量子化DCT係数が3
個の順に格納されている。量子化DCT係数は、DC成
分については符号無し6bit、AC成分については符
号無し5bitで表現できるので、DC成分については
6bit、AC成分については5bitの領域に格納さ
れる。
がデフォルトでない場合のバイナリ構造を表す図であ
る。この場合、先頭の拡張フラグには「1」が格納され
ている。それに後続して、3bitのフィールドが2つ
後続する。この3bitのフィールドは、それぞれY成
分の量子化DCT係数の数、Cb/Cr成分の量子化D
CT係数の数を表すのに用いられる係数指定フィールド
である。例えば、その数を示すビットパターンと量子化
DCT係数の数との対応を示すと、以下のような表にな
る。
ィールドに、後続してY、Cb、Cr成分の順に量子化
DCT係数が格納される。Y、Cb、Cr成分の係数の
数は、係数指定フィールドで指定した係数の数である。
図14の10301では、例として、Y成分の量子化D
CT係数が6個、Cb/Cr成分の量子化DCT係数が
それぞれ6個の場合を示している。
化DCT係数による画像間の類似度については、[VXM7.
0]によれば、以下の類似度算出式により算出される。例
えば、2つのColor Layout descriptor、CLD1(YCoe
ff, CbCoeff, CrCoeff)とCLD2(YCoeff', CbCoef
f', CrCoeff')の間の類似度Dは、以下の類似度算出式
で算出される。
T係数に関する重み付けであり、[VXM7.0]には、以下の
表に示すような重み付け値が示されている。尚、表の空
欄部分の重み付け値は1である。
持つ量子化DCT係数の数が異なる場合には、少ない量
子化DCT係数に合わせて類似度算出式を適用するか、
あるいは不足している量子化DCT係数は16をその値
として補い、多い量子化DCT係数に合わせて類似度算
出式を適用するということが示されている。
r Layout descriptorは、原画像ないし縮小後の8×8
画素画像の画素値を周波数空間に投射した距離を類似度
として算出している。しかしながら、人間の画像に対す
る認識は相対的であり、例えば、ある色の認識はその周
囲の色などに影響を受けることが知られている。従っ
て、例えば、同一対象を証明条件を違えて撮影した2つ
の画像や、あるいは同一画像を性能の異なる公知のスキ
ャナ装置などで読み込んだ2つの画像などでは、各画素
値がかなり異なる可能性がある。そのような場合にも、
人間は若干の色の違いがあると感じても十分に類似して
いるという認識を持つことが可能であるにもかかわら
ず、上述したColor Layout descriptorによる方式にお
いては、画像間の画素値の違いがそのまま類似度に反映
してしまう。そのため、従来の類似度による類似画像の
検索では、人間が十分に類似していると認識できる画像
同士を、類似画像として検索することができない場合が
あった。
れたものであり、従来の画像の類似度による類似度判定
では類似画像と判定することが困難な関係にある画像群
を、類似画像として判定することが可能な画像特徴量を
抽出できる画像処理装置及びその方法、プログラムを提
供することを目的とする。
めの本発明による画像処理装置は以下の構成を備える。
即ち、画像の画像特徴量を抽出する画像処理装置であっ
て、入力画像を色正規化する色正規化手段と、前記色正
規化手段で色正規化された画像を変倍する変倍手段と、
前記変倍手段で変倍された画像を色変換する色変換手段
と、前記色変換手段で色変換された画像をDCTするD
CT手段と、前記DCT手段によって得られるDCT係
数を量子化する量子化手段と、前記量子化手段によって
得られる量子化DCT係数群の内、低周波数成分側から
所定範囲内の量子化DCT係数を、前記入力画像の画像
特徴量として選択する選択手段とを備える。
画像処理装置は以下の構成を備える。即ち、画像の画像
特徴量を抽出する画像処理装置であって、入力画像を変
倍する変倍手段と、前記変倍手段で変倍された画像を色
正規化する色正規化手段と、前記色正規化手段で色正規
化された画像を色変換する色変換手段と、前記色変換手
段で色変換された画像をDCTするDCT手段と、前記
DCT手段によって得られるDCT係数を量子化する量
子化手段と、前記量子化手段によって得られる量子化D
CT係数群の内、低周波数成分側から所定範囲内の量子
化DCT係数を、前記入力画像の画像特徴量として選択
する選択手段とを備える。
の各色成分の色変域を取得する取得手段とを更に備え、
前記色正規化手段は、前記取得手段で取得された色変域
に基づいて、前記変倍手段で変倍された画像を色正規化
する。
画像処理装置は以下の構成を備える。即ち、画像の画像
特徴量を抽出する画像処理装置であって、入力画像を変
倍する変倍手段と、前記変倍手段で変倍された画像を色
変換する色変換手段と、前記色変換手段で色変換された
画像を色正規化する色正規化手段と、前記色正規化手段
で色正規化された画像をDCTするDCT手段と、前記
DCT手段によって得られるDCT係数を量子化する量
子化手段と、前記量子化手段によって得られる量子化D
CT係数群の内、低周波数成分側から所定範囲内の量子
化DCT係数を、前記入力画像の画像特徴量として選択
する選択手段とを備える。
変換手段で色変換した画像の色空間の色変域を取得する
取得手段を更に備え、前記色正規化手段は、前記取得手
段で取得された色変域に基づいて、前記変倍手段で変倍
された画像を色正規化する。
処理対象画像の色空間の各色成分の値域と、該処理対象
画像の各色成分の色変域に基づいて、該処理対象画像を
色正規化する。
色空間、YCbCr色空間、L*a*b*色空間の少なく
ともいずれかである。
画像処理方法は以下の構成を備える。即ち、画像の画像
特徴量を抽出する画像処理方法であって、入力画像を色
正規化する色正規化工程と、前記色正規化工程で色正規
化された画像を変倍する変倍工程と、前記変倍工程で変
倍された画像を色変換する色変換工程と、前記色変換工
程で色変換された画像をDCTするDCT工程と、前記
DCT工程によって得られるDCT係数を量子化する量
子化工程と、前記量子化工程によって得られる量子化D
CT係数群の内、低周波数成分側から所定範囲内の量子
化DCT係数を、前記入力画像の画像特徴量として選択
する選択工程とを備える。
画像処理方法は以下の構成を備える。即ち、画像の画像
特徴量を抽出する画像処理方法であって、入力画像を変
倍する変倍工程と、前記変倍工程で変倍された画像を色
正規化する色正規化工程と、前記色正規化工程で色正規
化された画像を色変換する色変換工程と、前記色変換工
程で色変換された画像をDCTするDCT工程と、前記
DCT工程によって得られるDCT係数を量子化する量
子化工程と、前記量子化工程によって得られる量子化D
CT係数群の内、低周波数成分側から所定範囲内の量子
化DCT係数を、前記入力画像の画像特徴量として選択
する選択工程とを備える。
画像処理方法は以下の構成を備える。即ち、画像の画像
特徴量を抽出する画像処理方法であって、入力画像を変
倍する変倍工程と、前記変倍工程で変倍された画像を色
変換する色変換工程と、前記色変換工程で色変換された
画像を色正規化する色正規化工程と、前記色正規化工程
で色正規化された画像をDCTするDCT工程と、前記
DCT工程によって得られるDCT係数を量子化する量
子化工程と、前記量子化工程によって得られる量子化D
CT係数群の内、低周波数成分側から所定範囲内の量子
化DCT係数を、前記入力画像の画像特徴量として選択
する選択工程とを備える。
プログラムは以下の構成を備える。即ち、画像の画像特
徴量を抽出する画像処理をコンピュータに機能させるた
めのプログラムであって、入力画像を色正規化する色正
規化工程のプログラムコードと、前記色正規化工程で色
正規化された画像を変倍する変倍工程のプログラムコー
ドと、前記変倍工程で変倍された画像を色変換する色変
換工程のプログラムコードと、前記色変換工程で色変換
された画像をDCTするDCT工程のプログラムコード
と、前記DCT工程によって得られるDCT係数を量子
化する量子化工程のプログラムコードと、前記量子化工
程によって得られる量子化DCT係数群の内、低周波数
成分側から所定範囲内の量子化DCT係数を、前記入力
画像の画像特徴量として選択する選択工程のプログラム
コードとを備える。
プログラムは以下の構成を備える。即ち、画像の画像特
徴量を抽出する画像処理をコンピュータに機能させるた
めのプログラムであって、入力画像を変倍する変倍工程
のプログラムコードと、前記変倍工程で変倍された画像
を色正規化する色正規化工程のプログラムコードと、前
記色正規化工程で色正規化された画像を色変換する色変
換工程のプログラムコードと、前記色変換工程で色変換
された画像をDCTするDCT工程のプログラムコード
と、前記DCT工程によって得られるDCT係数を量子
化する量子化工程のプログラムコードと、前記量子化工
程によって得られる量子化DCT係数群の内、低周波数
成分側から所定範囲内の量子化DCT係数を、前記入力
画像の画像特徴量として選択する選択工程のプログラム
コードとを備える。
プログラムは以下の構成を備える。即ち、画像の画像特
徴量を抽出する画像処理をコンピュータに機能させるた
めのプログラムであって、入力画像を変倍する変倍工程
のプログラムコードと、前記変倍工程で変倍された画像
を色変換する色変換工程のプログラムコードと、前記色
変換工程で色変換された画像を色正規化する色正規化工
程のプログラムコードと、前記色正規化工程で色正規化
された画像をDCTするDCT工程のプログラムコード
と、前記DCT工程によって得られるDCT係数を量子
化する量子化工程のプログラムコードと、前記量子化工
程によって得られる量子化DCT係数群の内、低周波数
成分側から所定範囲内の量子化DCT係数を、前記入力
画像の画像特徴量として選択する選択工程のプログラム
コードとを備える。
適な実施形態について詳細に説明する。
像処理装置の構成を示すブロック図である。
ータと動画像データの両方を入出力可能な画像入力装置
である。具体的には、スチル撮影可能なデジタルビデオ
装置がある。また、メモリーカード、PCカード等の外
部記憶装置からUSB等の通信インタフェースを介し
て、画像データを読み込むことも可能である。更に、C
D−ROM装置やフロッピー(登録商標)ディスク装置
等の記憶媒体を着脱可能な記憶装置から画像データを入
力する構成であってもよい。加えて、イーサネット(登
録商標)カードやモデム、無線通信等の通信路制御装置
によるネットワーク接続等の通信路を介して画像データ
を入力する構成であってもよい。一方、データ入出力部
10500は、画像データを、例えば、メモリーカード
へ書き込むことも行う。
データを入力する装置であり、キーボードやポインティ
ング装置を含む。尚、ポインティング装置としては、マ
ウス、トラックボール、トラックパッド、タブレット等
が挙げられる。
る画像特徴量抽出処理によって得られる画像特徴量デー
タを蓄積する装置であり、通常は、ハードディスク等の
大容量記憶媒体が用いられるが、この他でも、例えば、
CD−ROM、CD−R/RW等の光/光磁気ディスク
であってもよい。さらには、メモリーカード、PCカー
ド等の記憶媒体であってもよい。概念上、蓄積部105
02とデータ入出力部10500を区別して説明してい
るが、実際の装置においてはこれらが同一のものであっ
ても構わない。
クユーザインタフェース)等の画像を表示する装置であ
り、一般的には、CRTや液晶ディスプレイ等が用いら
れる。
制御する。ROM10505とRAM10506は、C
PU10504が実行する処理に必要な制御プログラ
ム、データ、作業領域等をCPU10504に提供す
る。また、後述する各実施形態で説明するフローチャー
トで示される画像特徴抽出処理を実現する制御プログラ
ムは、例えば、蓄積部10502に格納されていても、
ROM10505に記憶されていても良い。特に、RO
M10505に格納されている場合は、一旦、RAM1
0506上に、その制御プログラムを読み込んでから実
行される。
互に接続する。
フローチャートの各処理は、CPU10504によって
制御される専用プログラムで実現されるものとするが、
各処理のすべて/一部を専用ハードウェアで実現して
も、もちろん構わない。 <実施形態1>図2は本発明の実施形態1の画像特徴量
抽出処理の示すフローチャートである。
(ステップS101)。この色正規化処理についての詳
細については後述する。次に、色正規化された画像を入
力として、以降、ステップS102〜ステップS106
の処理を実行するが、これらはそれぞれ上述の図11の
ステップS10402〜ステップS10405に対応す
るので、ここでは説明を省略する。
詳細について説明する。
出対象の画像の一例を示す図である。
り、実施形態1では、高さH画素、幅W画素の大きさを
有し、RGB色空間のRGB成分の各成分は、RNmin
以上RNmax以下、GNmin以上GNmax以下、BNmin以
上BNmax以下の値域を取るものとする。これは、例え
ば、RGB成分の各成分8bit整数値(即ち、0以上
255以下の整数値)で表現されている場合、全色成分
とも0以上255以下ということになる。
垂直方向jの位置の画素の画素値であり、そのRGB成
分は、それぞれrij、gij、bijであるとする。また、
rij、gij、bijの色変域の最小値及び最大値を、それ
ぞれrmin及びrmax、gmin及びgmax、bmin及びbmax
とする。
大値を取得する方法としては、画像201の各画素を走
査して各画素の画素値を取得し、その取得された画素値
の分布から各色成分の最小値及び最大値を取得すればよ
い。また、予め取得済みであれば、それを本処理の入力
として与える方法でも良い。後者の方法の場合、画像2
01の各画素を走査する処理を省略することができ、よ
り効率的となる。
01の全画素に施すことで、色正規化処理を実現する。
即ち、任意の画素値P(i,j)より正規化画素値P'(i,
j)を算出する。尚、この(1)式は、処理対象画像の
色空間の各色成分の値域と、該処理対象画像の各色成分
の色変域に基づいて、該処理対象画像を色正規化するも
のである。
と、図4のようになる。つまり、色正規化前の画像のR
成分の色変域rrangeは、色正規化後はRNrangeとな
る。尚、図4では、R成分に対する色正規化処理を例と
して挙げているが、G、B成分についても同様である。
5を用いて説明する。
の具体例を示す図である。
画像の例を示しており、401は明るい環境で撮影され
た画像である。411はやや暗い環境で撮影された画像
である。また、画像401は前景402、403と背景
404、画像411は前景412、413と背景414
から成る。
0) 404: P404=(r404, g404, b404)=(255, 255, 25
5) 412: P412=(r412, g412, b412)=(20, 20, 20) 413: P413=(r413, g413, b413)=(70, 70, 70) 414: P414=(r414, g414, b414)=(120, 120, 12
0) とする。
数値(即ち、0以上255以下の整数値)であるとす
る。
P403, P404, P412, P413, P414に対して色正規化
処理を実行して得られる結果をそれぞれ、P'402, P'
403, P'404, P'412, P'413, P'414とすると、以下
のようになる。
5) P'404=(r'404, g'404, b'404)=(255, 255, 255) P'412=(r'412, g'412, b'412)=(0, 0, 0) P'413=(r'413, g'413, b'413)=(127.5, 127.5, 127.
5) P'414=(r'414, g'414, b'414)=(120, 120, 120) このように色正規化処理後の画像401及び画像411
は、その画素値が類似するものとなり、明るさが異なる
よく似た2つの画像401、411を同一視することが
できる。
RGBの各色成分について独立に色正規化処理を行った
が、これはあくまでも単なる例示であり、例えば、以下
のような式(2)によって色正規化処理を実行しても良
い。
cmin、また、その色成分cの色正規化前の最小値
cmin、また、その色成分の色正規化後の値域CNrange
を用いるというように、全ての色成分について共通のス
ケールにより、色正規化を実現するようにしても良い。
ける色正規化処理を例として説明を行ったが、色正規化
に用いられる色空間はRGB色空間に限定されるもので
はない。例えば、公知の色変換処理を原画像の各画素に
施し、YCbCr色空間やL*a*b*色空間等の他の色
空間上で色正規化処理を行ってから逆変換により元の色
空間に戻して処理を進めるのであっても構わない。
ば、原画像に対し色正規化処理を施し、この処理結果に
基づいて画像特徴量を抽出することで、従来の画像の類
似度による類似度判定では類似画像と判定することが困
難な関係にある画像群を、類似画像として判定すること
が可能である。 <実施形態2>実施形態1では、色正規化処理を原画像
に対して施す例を説明したが、この色正規化処理の処理
対象は原画像に制限されるものではない。例えば、図6
のフローチャートに示すように、色正規化処理を原画像
を変倍後の画像、例えば、8×8画素の縮小画像に対し
て施すものであってもよい。
01〜ステップS506は、図1のステップS101〜
ステップS106に対応するが、ステップS501の色
正規化処理に対する入力は、原画像ではなく、原画像を
変倍した8×8画素の縮小画像である。つまり、色正規
化処理においては、原画像の色空間の各色成分の色変域
ではなく、縮小画像の色空間の各色成分の色変域が用い
られることになる。また、Color Layout descriptorで
は、YCbCr色空間で表現されているが、適当な公知
の色変換を施してから色正規化処理を行い、色正規化後
のデータを逆の色変換を施してYCbCr色空間に戻す
ことにより、任意の色空間で正規化処理を施すことがで
きる。
ば、色正規化処理の処理対象となる画像が、原画像を変
倍した縮小画像であるので、一般にそれより大きい原画
像に対して色正規化処理を施すのに比べて処理速度を高
速にすることができる。 <実施形態3>実施形態3では、原画像の色変域に基づ
いて、原画像を変倍した縮小画像に対して色正規化処理
を施す例を説明する。
出処理を示すフローチャートである。
は、図6のステップS501〜ステップS506に対応
するので、ここでは説明を省略する。但し、図7では、
ステップS602の前に、ステップS607として色変
域取得処理を実行する。
実施形態1で説明した原画像の色空間の各色成分、
rij、gij、bijの色変域を取得する処理を行う。具体
的には、原画像の全画素を走査して各画素の画素値を取
得して、原画像の各画素の画素値の分布から各色変域を
取得すればよい。そして、この各色成分に対する色変域
に基づいて、ステップS601の色正規化処理を実行す
る。つまり、ステップS601の色正規化処理は、実施
形態2のステップS501の色正規化処理のような原画
像の縮小画像の各色成分の色変域に基づいて実行するの
ではなく、原画像の各色成分の色変域に基づいて実行す
る。
表現されている場合は、適当な公知の色空間変換処理を
施せばよい。また、ここでは、例として、RGB色空間
を用いているが、適当な公知の色変換処理を施すことに
より、RGB色空間以外の色変域を得るのでも良い。あ
るいは、この色変域が予め取得済みであれば、それをス
テップS601の入力として与えるのでも良く、その場
合、ステップS607の処理は、省略することが可能で
ある。
ば、実施形態2が処理の高速化という利点がある一方
で、変倍画像から色正規化処理を行うため原画像の持つ
色正規化処理前の原画像の色変域を忠実に再現できない
という特徴があるのに対して、実施形態3では、色正規
化処理前に原画像の色変域を取得してそれを利用して色
正規化処理を実行するので、より原画像の特徴に忠実な
画像特徴量の抽出が可能となる。加えて、実施形態1と
比較して、色正規化処理の計算コストを削減することが
できる。 <実施形態4>実施形態2における色正規化処理は、色
変換処理前の縮小画像に対して行うものであったが、例
えば、図8に示すように、色変換処理後の画像に対して
色正規化処理を行っても良い。
01〜ステップS706は、図6のステップS501〜
ステップS506に対応するが、ステップS701の色
正規化処理に対する入力は、RGB成分の色空間の画像
ではなく、YCrCb成分の色空間の画像となる。ま
た、この時の色正規化処理は、上述の式(1)や(2)
のRGB成分に対応する式をYCrCbに置き換えるこ
とで実現できる。 <実施形態5>実施形態3における色正規化処理は、原
画像の各色成分の色変域を取得し、それを用いて、画像
変倍処理後の縮小画像に対して行うものであったが、例
えば、図9に示すように、色変換処理後の画像に対して
色正規化処理を行っても良い。
01〜ステップS806は、図7のステップS601〜
ステップS606に対応するが、ステップS807の色
変域取得処理では、ステップ608の色変換処理を原画
像に施した画像の各色成分の色変域を取得する。また、
ステップS801の色正規化処理に対する入力は、実施
形態4と同様、RGB成分の色空間の画像ではなく、Y
CrCb成分の色空間の画像となり、この時の色正規化
処理は、上述の式(1)や(2)のRGB成分に対応す
る式をYCrCbに置き換えることで実現できる。
コンピュータ、インタフェース機器、リーダ、プリンタ
など)から構成されるシステムに適用しても、一つの機
器からなる装置(例えば、複写機、ファクシミリ装置な
ど)に適用してもよい。
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、CD−ROM、CD
−R/RW、DVD−ROM/RAM、磁気テープ、不
揮発性のメモリカード、ROMなどを用いることができ
る。
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
CPUなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。
の記憶媒体には、先に説明したフローチャートに対応す
るプログラムコードが格納されることになる。
従来の画像の類似度による類似度判定では類似画像と判
定することが困難な関係にある画像群を、類似画像とし
て判定することが可能な画像特徴量を抽出できる画像処
理装置及びその方法、プログラムを提供できる。
の構成を示すブロック図である。
すフローチャートである。
像の一例を示す図である。
ための図である。
示す図である。
すフローチャートである。
すフローチャートである。
すフローチャートである。
すフローチャートである。
「Color Layout descriptor」における画像特徴量抽出
処理を説明するための図である。
出処理を示すフローチャートである。
ある。
Color Layout descriptorのバイナリ構造を示す図であ
る。
Color Layout descriptorのバイナリ構造を示す図であ
る。
Claims (17)
- 【請求項1】 画像の画像特徴量を抽出する画像処理装
置であって、 入力画像を色正規化する色正規化手段と、 前記色正規化手段で色正規化された画像を変倍する変倍
手段と、 前記変倍手段で変倍された画像を色変換する色変換手段
と、 前記色変換手段で色変換された画像をDCTするDCT
手段と、 前記DCT手段によって得られるDCT係数を量子化す
る量子化手段と、 前記量子化手段によって得られる量子化DCT係数群の
内、低周波数成分側から所定範囲内の量子化DCT係数
を、前記入力画像の画像特徴量として選択する選択手段
とを備えることを特徴とする画像処理装置。 - 【請求項2】 画像の画像特徴量を抽出する画像処理装
置であって、 入力画像を変倍する変倍手段と、 前記変倍手段で変倍された画像を色正規化する色正規化
手段と、 前記色正規化手段で色正規化された画像を色変換する色
変換手段と、 前記色変換手段で色変換された画像をDCTするDCT
手段と、 前記DCT手段によって得られるDCT係数を量子化す
る量子化手段と、 前記量子化手段によって得られる量子化DCT係数群の
内、低周波数成分側から所定範囲内の量子化DCT係数
を、前記入力画像の画像特徴量として選択する選択手段
とを備えることを特徴とする画像処理装置。 - 【請求項3】 前記入力画像の色空間の各色成分の色変
域を取得する取得手段とを更に備え、 前記色正規化手段は、前記取得手段で取得された色変域
に基づいて、前記変倍手段で変倍された画像を色正規化
することを特徴とする請求項2に記載の画像処理装置。 - 【請求項4】 画像の画像特徴量を抽出する画像処理装
置であって、 入力画像を変倍する変倍手段と、 前記変倍手段で変倍された画像を色変換する色変換手段
と、 前記色変換手段で色変換された画像を色正規化する色正
規化手段と、 前記色正規化手段で色正規化された画像をDCTするD
CT手段と、 前記DCT手段によって得られるDCT係数を量子化す
る量子化手段と、 前記量子化手段によって得られる量子化DCT係数群の
内、低周波数成分側から所定範囲内の量子化DCT係数
を、前記入力画像の画像特徴量として選択する選択手段
とを備えることを特徴とする画像処理装置。 - 【請求項5】 前記入力画像を前記色変換手段で色変換
した画像の色空間の色変域を取得する取得手段を更に備
え、 前記色正規化手段は、前記取得手段で取得された色変域
に基づいて、前記変倍手段で変倍された画像を色正規化
することを特徴とする請求項4に記載の画像処理装置。 - 【請求項6】 前記色正規化手段は、処理対象画像の色
空間の各色成分の値域と、該処理対象画像の各色成分の
色変域に基づいて、該処理対象画像を色正規化すること
を特徴とする請求項1乃至請求項5のいずれか1項に記
載の画像処理装置。 - 【請求項7】 前記色空間は、RGB色空間、YCbC
r色空間、L*a*b*色空間の少なくともいずれかであ
ることを特徴とする請求項6に記載の画像処理装置。 - 【請求項8】 画像の画像特徴量を抽出する画像処理方
法であって、 入力画像を色正規化する色正規化工程と、 前記色正規化工程で色正規化された画像を変倍する変倍
工程と、 前記変倍工程で変倍された画像を色変換する色変換工程
と、 前記色変換工程で色変換された画像をDCTするDCT
工程と、 前記DCT工程によって得られるDCT係数を量子化す
る量子化工程と、 前記量子化工程によって得られる量子化DCT係数群の
内、低周波数成分側から所定範囲内の量子化DCT係数
を、前記入力画像の画像特徴量として選択する選択工程
とを備えることを特徴とする画像処理方法。 - 【請求項9】 画像の画像特徴量を抽出する画像処理方
法であって、 入力画像を変倍する変倍工程と、 前記変倍工程で変倍された画像を色正規化する色正規化
工程と、 前記色正規化工程で色正規化された画像を色変換する色
変換工程と、 前記色変換工程で色変換された画像をDCTするDCT
工程と、 前記DCT工程によって得られるDCT係数を量子化す
る量子化工程と、 前記量子化工程によって得られる量子化DCT係数群の
内、低周波数成分側から所定範囲内の量子化DCT係数
を、前記入力画像の画像特徴量として選択する選択工程
とを備えることを特徴とする画像処理方法。 - 【請求項10】 前記入力画像の色空間の各色成分の色
変域を取得する取得工程とを更に備え、 前記色正規化工程は、前記取得工程で取得された色変域
に基づいて、前記変倍工程で変倍された画像を色正規化
することを特徴とする請求項9に記載の画像処理方法。 - 【請求項11】 画像の画像特徴量を抽出する画像処理
方法であって、 入力画像を変倍する変倍工程と、 前記変倍工程で変倍された画像を色変換する色変換工程
と、 前記色変換工程で色変換された画像を色正規化する色正
規化工程と、 前記色正規化工程で色正規化された画像をDCTするD
CT工程と、 前記DCT工程によって得られるDCT係数を量子化す
る量子化工程と、 前記量子化工程によって得られる量子化DCT係数群の
内、低周波数成分側から所定範囲内の量子化DCT係数
を、前記入力画像の画像特徴量として選択する選択工程
とを備えることを特徴とする画像処理方法。 - 【請求項12】 前記入力画像を前記色変換工程で色変
換した画像の色空間の色変域を取得する取得工程を更に
備え、 前記色正規化工程は、前記取得工程で取得された色変域
に基づいて、前記変倍工程で変倍された画像を色正規化
することを特徴とする請求項11に記載の画像処理方
法。 - 【請求項13】 前記色正規化工程は、処理対象画像の
色空間の各色成分の値域と、該処理対象画像の各色成分
の色変域に基づいて、該処理対象画像を色正規化するこ
とを特徴とする請求項8乃至請求項12のいずれか1項
に記載の画像処理方法。 - 【請求項14】 前記色空間は、RGB色空間、YCb
Cr色空間、L*a*b*色空間の少なくともいずれかで
あることを特徴とする請求項13に記載の画像処理方
法。 - 【請求項15】 画像の画像特徴量を抽出する画像処理
をコンピュータに機能させるためのプログラムであっ
て、 入力画像を色正規化する色正規化工程のプログラムコー
ドと、 前記色正規化工程で色正規化された画像を変倍する変倍
工程のプログラムコードと、 前記変倍工程で変倍された画像を色変換する色変換工程
のプログラムコードと、 前記色変換工程で色変換された画像をDCTするDCT
工程のプログラムコードと、 前記DCT工程によって得られるDCT係数を量子化す
る量子化工程のプログラムコードと、 前記量子化工程によって得られる量子化DCT係数群の
内、低周波数成分側から所定範囲内の量子化DCT係数
を、前記入力画像の画像特徴量として選択する選択工程
のプログラムコードとを備えることを特徴とするプログ
ラム。 - 【請求項16】 画像の画像特徴量を抽出する画像処理
をコンピュータに機能させるためのプログラムであっ
て、 入力画像を変倍する変倍工程のプログラムコードと、 前記変倍工程で変倍された画像を色正規化する色正規化
工程のプログラムコードと、 前記色正規化工程で色正規化された画像を色変換する色
変換工程のプログラムコードと、 前記色変換工程で色変換された画像をDCTするDCT
工程のプログラムコードと、 前記DCT工程によって得られるDCT係数を量子化す
る量子化工程のプログラムコードと、 前記量子化工程によって得られる量子化DCT係数群の
内、低周波数成分側から所定範囲内の量子化DCT係数
を、前記入力画像の画像特徴量として選択する選択工程
のプログラムコードとを備えることを特徴とするプログ
ラム。 - 【請求項17】 画像の画像特徴量を抽出する画像処理
をコンピュータに機能させるためのプログラムであっ
て、 入力画像を変倍する変倍工程のプログラムコードと、 前記変倍工程で変倍された画像を色変換する色変換工程
のプログラムコードと、 前記色変換工程で色変換された画像を色正規化する色正
規化工程のプログラムコードと、 前記色正規化工程で色正規化された画像をDCTするD
CT工程のプログラムコードと、 前記DCT工程によって得られるDCT係数を量子化す
る量子化工程のプログラムコードと、 前記量子化工程によって得られる量子化DCT係数群の
内、低周波数成分側から所定範囲内の量子化DCT係数
を、前記入力画像の画像特徴量として選択する選択工程
のプログラムコードとを備えることを特徴とするプログ
ラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001191850A JP3814499B2 (ja) | 2001-06-25 | 2001-06-25 | 画像処理装置及びその方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001191850A JP3814499B2 (ja) | 2001-06-25 | 2001-06-25 | 画像処理装置及びその方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003006639A true JP2003006639A (ja) | 2003-01-10 |
JP3814499B2 JP3814499B2 (ja) | 2006-08-30 |
Family
ID=19030401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001191850A Expired - Fee Related JP3814499B2 (ja) | 2001-06-25 | 2001-06-25 | 画像処理装置及びその方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3814499B2 (ja) |
-
2001
- 2001-06-25 JP JP2001191850A patent/JP3814499B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP3814499B2 (ja) | 2006-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6608926B1 (en) | Image processing method, image processing apparatus and recording medium | |
JP3828210B2 (ja) | 画像コントラスト強化方法 | |
US6556711B2 (en) | Image processing apparatus and method | |
US7652717B2 (en) | White balance correction in digital camera images | |
US7468812B2 (en) | Image processing apparatus and its method for color correction | |
US20020006220A1 (en) | Method and apparatus for recognizing document image by use of color information | |
US20100195911A1 (en) | System and method for image facial area detection employing skin tones | |
US20060274081A1 (en) | Image retrieving apparatus, image retrieving method, program, and storage medium | |
US7519236B2 (en) | Image retrieval | |
JP2006303708A (ja) | 画像処理装置および画像処理方法 | |
GB2381689A (en) | Finding and filtering smaller and larger noise areas in an image | |
US7027646B2 (en) | Scaled image generating apparatus and method, image feature calculating apparatus and method, computer programs therefor, and image data structure | |
US20060115148A1 (en) | Similar image extraction device, similar image extraction method, and similar image extraction program | |
US20100254597A1 (en) | System and method for facial tone indexing | |
JPH06121159A (ja) | カラー画像処理装置 | |
US7609881B2 (en) | Device and method for image processing as well as image processing computer program | |
US6272251B1 (en) | Fully automatic pasting of images into compressed pre-collated documents | |
JP2005192162A (ja) | 画像処理方法、画像処理装置及び画像記録装置 | |
US20060257035A1 (en) | Image processing method, apparatus therefor and storing medium | |
JP3814499B2 (ja) | 画像処理装置及びその方法、プログラム | |
JP3774498B2 (ja) | 画像処理方法とその装置 | |
US20100246945A1 (en) | Image processing apparatus, image processing method and computer-readable medium | |
JP2001222717A (ja) | 文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体 | |
JP6145983B2 (ja) | 画像処理装置およびコンピュータプログラム | |
JP3882657B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060605 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130609 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |