JP2003006639A - 画像処理装置及びその方法、プログラム - Google Patents

画像処理装置及びその方法、プログラム

Info

Publication number
JP2003006639A
JP2003006639A JP2001191850A JP2001191850A JP2003006639A JP 2003006639 A JP2003006639 A JP 2003006639A JP 2001191850 A JP2001191850 A JP 2001191850A JP 2001191850 A JP2001191850 A JP 2001191850A JP 2003006639 A JP2003006639 A JP 2003006639A
Authority
JP
Japan
Prior art keywords
color
image
scaling
dct
normalization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001191850A
Other languages
English (en)
Other versions
JP3814499B2 (ja
Inventor
Yasuo Fukuda
康男 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001191850A priority Critical patent/JP3814499B2/ja
Publication of JP2003006639A publication Critical patent/JP2003006639A/ja
Application granted granted Critical
Publication of JP3814499B2 publication Critical patent/JP3814499B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Color Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

(57)【要約】 【課題】 従来の画像の類似度による類似度判定では類
似画像と判定することが困難な関係にある画像群を、類
似画像として判定することが可能な画像特徴量を抽出で
きる画像処理装置及びその方法、プログラムを提供す
る。 【解決手段】 入力画像を色正規化し、色正規化された
画像を変倍し、変倍された画像を色変換する。色変換さ
れた画像をDCTし、それによって得られるDCT係数
を量子化する。そして、それによって得られる量子化D
CT係数群の内、低周波数成分側から所定範囲内の量子
化DCT係数を、前記入力画像の画像特徴量として選択
する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像の画像特徴量
を抽出する画像処理装置及びその方法、プログラムに関
するものである。
【0002】
【従来の技術】画像を変倍し、生成された変倍画像に対
して公知の離散コサイン変換(DCT)処理と量子化処
理を行い、その結果、得られたDCT係数のうち低周波
成分側から幾つかのDCT係数を取り出し、取り出した
DCT係数を原画像の画像特徴量とし、これを、例え
ば、画像検索に用いるデータとする方式が知られている
(ISO/IEC JTC1/SC29/WG11/N3522 "MPEG-7 Visual Work
ing Draft 4.0"(以下、[VWD4.0])、あるいはISO/IEC
JTC1/SC29/WG11/N3522 "MPEG-7 Visual part of eXperi
mentation Model Version 7.0" ([VXM7.0]))。
【0003】以下、[VWD4.0]もしくは[VXM7.0]に記載さ
れている「Color Layout descriptor」における画像特
徴量抽出処理について、図10〜図14を用いて説明す
る。
【0004】図10は[VWD4.0]もしくは[VXM7.0]に記載
されている「Color Layout descriptor」における画像
特徴量抽出処理を説明するための図である。また、図1
1はその画像特徴量処理を示すフローチャートである。
【0005】原画像10001をRGB色成分毎に8×
8画素の画像に変倍する画像変倍処理を行う(ステップ
S10401)。次に、生成した各色成分毎の8×8画
素の画像10011、10012、10013の各画素
をYCbCr色空間の各色成分データ10021、10
022、10023に変換する色変換処理を行う(ステ
ップS10402)。次に、YCbCr色空間の各色成
分データ10021、10022、10023に対して
DCT処理を行い、各色成分のDCT係数10031、
10032、10033を取得する(ステップS104
03)。
【0006】尚、画像変倍処理、色変換処理、DCT処
理は、公知のものでよい。
【0007】次に、DCT係数10031、1003
2、10033に対して量子化処理を行う(ステップS
10404)。
【0008】量子化処理は、例えば、[VWD4.0]によれ
ば、以下のプログラムコード10000〜10003に
示すような処理で実現することができる。プログラムコ
ード10000〜10003は、公知のC言語を用いて
記述されている。[VWD4.0]によれば、量子化処理は、Y
成分とCb/Cr成分それぞれについて、DC成分とA
C成分で異なる処理を施すので、量子化処理として、4
通りの処理を実現するプログラムコード10000〜1
0003が用意されている。
【0009】プログラムコード10000:Y係数のD
C成分に対する量子化処理
【0010】 プログラムコード10001:Cb/Cr係数のDC成
分に対する量子化処理
【0011】 プログラムコード10002:Y係数のAC成分に対す
る量子化処理
【0012】 プログラムコード10003:Cb/Cr係数のAC成
分に対する量子化処理
【0013】 プログラムコード10000、10001による量子化
処理の結果、YもしくはCb/Cr成分の量子化された
DCT係数(以下、量子化DCT係数)は、0〜64の
値になる。また、プログラムコード10002、100
03による量子化処理の結果、YもしくはCb/Cr成
分の量子化DCT係数は、0〜32の値となる。従っ
て、量子化DCT係数のDC成分は符号無し6bit、
AC成分は符号無し5bitで表現することができる。
【0014】続いて、量子化処理の結果によって得られ
た量子化DCT係数10041、10042、1004
3の内、低周波数成分側から幾つかの係数を選択する係
数選択処理を行う(ステップS10405)。
【0015】図10の場合は、例として、Y成分の量子
化DCT係数に関しては6個、Cb/Cr成分の量子化
DCT係数に関しては3個ずつ選択している例である。
係数選択処理は、実際は、図12に示すようなジグザグ
スキャン処理によって、8×8と二次元に配置された量
子化DCT係数を一次元に並び替え、その先頭から幾つ
かを選択することによって実現される。図12の101
01は、ジグザグスキャンを表す図であり、8×8ブロ
ックの各ブロックに記述されている1から64の数字
は、一次元に並びかえられた後にその量子化DCT係数
が先頭から何番目に配置されるかを示す数字である。
【0016】そして、得られた量子化DCT係数の低周
波成分側から幾つかの量子化DCT係数を取得する。[V
WD4.0]によれば、ここで取得する量子化DCT係数の数
は、1、3、6、10、15、21、28、64のいず
れかである。また、量子化DCT係数の数は、Cb成分
の量子化DCT係数とCr成分の量子化DCT係数に関
しては同数であるが、Y成分の量子化DCT係数の数と
Cb/Cr成分の量子化DCT係数の数には別々の数を
設定可能である。また、デフォルトではY成分の量子化
DCT係数に関して6個、Cb/Cr成分の量子化DC
T係数に関しては3個を選択する。図10では、例とし
て、このデフォルト時の係数選択である、Y成分の量子
化DCT係数に関して6個(10051)、Cb/Cr
成分の量子化DCT係数に関しては3個(10052、
10053)を選択している。
【0017】この選択された量子化DCT係数1005
1、10052、10053を、原画像10001の画
像特徴量、即ち、Color Layout descriptorとする。
【0018】また、[VWD4.0]によれば、このColor Layo
ut descriptorは、図13や図14に示すようなバイナ
リ構造で格納される。図13の10201や図14の1
0301において、各ブロックは1bitを表現してい
る。また、10201や10301では、便宜上、フィ
ールド毎に区切っているが、実際は、同図の破線矢印で
示しているような順序で連続して格納されている。
【0019】図13はColor Layout descriptorがデフ
ォルトの場合、即ち、Y成分の量子化DCT係数6個、
Cb/Cr成分の量子化DCT係数が各3個の場合のバ
イナリ構造を表す図である。この場合、先頭の拡張フラ
グには「0」が格納されている。さらに、それに後続し
て、Y成分の量子化DCT係数が6個、Cb成分の量子
化DCT係数が3個、Cr成分の量子化DCT係数が3
個の順に格納されている。量子化DCT係数は、DC成
分については符号無し6bit、AC成分については符
号無し5bitで表現できるので、DC成分については
6bit、AC成分については5bitの領域に格納さ
れる。
【0020】一方、図14はColor Layout descriptor
がデフォルトでない場合のバイナリ構造を表す図であ
る。この場合、先頭の拡張フラグには「1」が格納され
ている。それに後続して、3bitのフィールドが2つ
後続する。この3bitのフィールドは、それぞれY成
分の量子化DCT係数の数、Cb/Cr成分の量子化D
CT係数の数を表すのに用いられる係数指定フィールド
である。例えば、その数を示すビットパターンと量子化
DCT係数の数との対応を示すと、以下のような表にな
る。
【0021】
【0022】さらに、この2つの3bitの係数指定フ
ィールドに、後続してY、Cb、Cr成分の順に量子化
DCT係数が格納される。Y、Cb、Cr成分の係数の
数は、係数指定フィールドで指定した係数の数である。
図14の10301では、例として、Y成分の量子化D
CT係数が6個、Cb/Cr成分の量子化DCT係数が
それぞれ6個の場合を示している。
【0023】また、この画像特徴量として選択した量子
化DCT係数による画像間の類似度については、[VXM7.
0]によれば、以下の類似度算出式により算出される。例
えば、2つのColor Layout descriptor、CLD1(YCoe
ff, CbCoeff, CrCoeff)とCLD2(YCoeff', CbCoef
f', CrCoeff')の間の類似度Dは、以下の類似度算出式
で算出される。
【0024】
【0025】類似度算出式において、λは各量子化DC
T係数に関する重み付けであり、[VXM7.0]には、以下の
表に示すような重み付け値が示されている。尚、表の空
欄部分の重み付け値は1である。
【0026】
【0027】また、2つのColor Layout descriptorの
持つ量子化DCT係数の数が異なる場合には、少ない量
子化DCT係数に合わせて類似度算出式を適用するか、
あるいは不足している量子化DCT係数は16をその値
として補い、多い量子化DCT係数に合わせて類似度算
出式を適用するということが示されている。
【0028】
【発明が解決しようとする課題】上述したように、Colo
r Layout descriptorは、原画像ないし縮小後の8×8
画素画像の画素値を周波数空間に投射した距離を類似度
として算出している。しかしながら、人間の画像に対す
る認識は相対的であり、例えば、ある色の認識はその周
囲の色などに影響を受けることが知られている。従っ
て、例えば、同一対象を証明条件を違えて撮影した2つ
の画像や、あるいは同一画像を性能の異なる公知のスキ
ャナ装置などで読み込んだ2つの画像などでは、各画素
値がかなり異なる可能性がある。そのような場合にも、
人間は若干の色の違いがあると感じても十分に類似して
いるという認識を持つことが可能であるにもかかわら
ず、上述したColor Layout descriptorによる方式にお
いては、画像間の画素値の違いがそのまま類似度に反映
してしまう。そのため、従来の類似度による類似画像の
検索では、人間が十分に類似していると認識できる画像
同士を、類似画像として検索することができない場合が
あった。
【0029】本発明は上記の課題を解決するためになさ
れたものであり、従来の画像の類似度による類似度判定
では類似画像と判定することが困難な関係にある画像群
を、類似画像として判定することが可能な画像特徴量を
抽出できる画像処理装置及びその方法、プログラムを提
供することを目的とする。
【0030】
【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像処理装置は以下の構成を備える。
即ち、画像の画像特徴量を抽出する画像処理装置であっ
て、入力画像を色正規化する色正規化手段と、前記色正
規化手段で色正規化された画像を変倍する変倍手段と、
前記変倍手段で変倍された画像を色変換する色変換手段
と、前記色変換手段で色変換された画像をDCTするD
CT手段と、前記DCT手段によって得られるDCT係
数を量子化する量子化手段と、前記量子化手段によって
得られる量子化DCT係数群の内、低周波数成分側から
所定範囲内の量子化DCT係数を、前記入力画像の画像
特徴量として選択する選択手段とを備える。
【0031】上記の目的を達成するための本発明による
画像処理装置は以下の構成を備える。即ち、画像の画像
特徴量を抽出する画像処理装置であって、入力画像を変
倍する変倍手段と、前記変倍手段で変倍された画像を色
正規化する色正規化手段と、前記色正規化手段で色正規
化された画像を色変換する色変換手段と、前記色変換手
段で色変換された画像をDCTするDCT手段と、前記
DCT手段によって得られるDCT係数を量子化する量
子化手段と、前記量子化手段によって得られる量子化D
CT係数群の内、低周波数成分側から所定範囲内の量子
化DCT係数を、前記入力画像の画像特徴量として選択
する選択手段とを備える。
【0032】また、好ましくは、前記入力画像の色空間
の各色成分の色変域を取得する取得手段とを更に備え、
前記色正規化手段は、前記取得手段で取得された色変域
に基づいて、前記変倍手段で変倍された画像を色正規化
する。
【0033】上記の目的を達成するための本発明による
画像処理装置は以下の構成を備える。即ち、画像の画像
特徴量を抽出する画像処理装置であって、入力画像を変
倍する変倍手段と、前記変倍手段で変倍された画像を色
変換する色変換手段と、前記色変換手段で色変換された
画像を色正規化する色正規化手段と、前記色正規化手段
で色正規化された画像をDCTするDCT手段と、前記
DCT手段によって得られるDCT係数を量子化する量
子化手段と、前記量子化手段によって得られる量子化D
CT係数群の内、低周波数成分側から所定範囲内の量子
化DCT係数を、前記入力画像の画像特徴量として選択
する選択手段とを備える。
【0034】また、好ましくは、前記入力画像を前記色
変換手段で色変換した画像の色空間の色変域を取得する
取得手段を更に備え、前記色正規化手段は、前記取得手
段で取得された色変域に基づいて、前記変倍手段で変倍
された画像を色正規化する。
【0035】また、好ましくは、前記色正規化手段は、
処理対象画像の色空間の各色成分の値域と、該処理対象
画像の各色成分の色変域に基づいて、該処理対象画像を
色正規化する。
【0036】また、好ましくは、前記色空間は、RGB
色空間、YCbCr色空間、L*a*b*色空間の少なく
ともいずれかである。
【0037】上記の目的を達成するための本発明による
画像処理方法は以下の構成を備える。即ち、画像の画像
特徴量を抽出する画像処理方法であって、入力画像を色
正規化する色正規化工程と、前記色正規化工程で色正規
化された画像を変倍する変倍工程と、前記変倍工程で変
倍された画像を色変換する色変換工程と、前記色変換工
程で色変換された画像をDCTするDCT工程と、前記
DCT工程によって得られるDCT係数を量子化する量
子化工程と、前記量子化工程によって得られる量子化D
CT係数群の内、低周波数成分側から所定範囲内の量子
化DCT係数を、前記入力画像の画像特徴量として選択
する選択工程とを備える。
【0038】上記の目的を達成するための本発明による
画像処理方法は以下の構成を備える。即ち、画像の画像
特徴量を抽出する画像処理方法であって、入力画像を変
倍する変倍工程と、前記変倍工程で変倍された画像を色
正規化する色正規化工程と、前記色正規化工程で色正規
化された画像を色変換する色変換工程と、前記色変換工
程で色変換された画像をDCTするDCT工程と、前記
DCT工程によって得られるDCT係数を量子化する量
子化工程と、前記量子化工程によって得られる量子化D
CT係数群の内、低周波数成分側から所定範囲内の量子
化DCT係数を、前記入力画像の画像特徴量として選択
する選択工程とを備える。
【0039】上記の目的を達成するための本発明による
画像処理方法は以下の構成を備える。即ち、画像の画像
特徴量を抽出する画像処理方法であって、入力画像を変
倍する変倍工程と、前記変倍工程で変倍された画像を色
変換する色変換工程と、前記色変換工程で色変換された
画像を色正規化する色正規化工程と、前記色正規化工程
で色正規化された画像をDCTするDCT工程と、前記
DCT工程によって得られるDCT係数を量子化する量
子化工程と、前記量子化工程によって得られる量子化D
CT係数群の内、低周波数成分側から所定範囲内の量子
化DCT係数を、前記入力画像の画像特徴量として選択
する選択工程とを備える。
【0040】上記の目的を達成するための本発明による
プログラムは以下の構成を備える。即ち、画像の画像特
徴量を抽出する画像処理をコンピュータに機能させるた
めのプログラムであって、入力画像を色正規化する色正
規化工程のプログラムコードと、前記色正規化工程で色
正規化された画像を変倍する変倍工程のプログラムコー
ドと、前記変倍工程で変倍された画像を色変換する色変
換工程のプログラムコードと、前記色変換工程で色変換
された画像をDCTするDCT工程のプログラムコード
と、前記DCT工程によって得られるDCT係数を量子
化する量子化工程のプログラムコードと、前記量子化工
程によって得られる量子化DCT係数群の内、低周波数
成分側から所定範囲内の量子化DCT係数を、前記入力
画像の画像特徴量として選択する選択工程のプログラム
コードとを備える。
【0041】上記の目的を達成するための本発明による
プログラムは以下の構成を備える。即ち、画像の画像特
徴量を抽出する画像処理をコンピュータに機能させるた
めのプログラムであって、入力画像を変倍する変倍工程
のプログラムコードと、前記変倍工程で変倍された画像
を色正規化する色正規化工程のプログラムコードと、前
記色正規化工程で色正規化された画像を色変換する色変
換工程のプログラムコードと、前記色変換工程で色変換
された画像をDCTするDCT工程のプログラムコード
と、前記DCT工程によって得られるDCT係数を量子
化する量子化工程のプログラムコードと、前記量子化工
程によって得られる量子化DCT係数群の内、低周波数
成分側から所定範囲内の量子化DCT係数を、前記入力
画像の画像特徴量として選択する選択工程のプログラム
コードとを備える。
【0042】上記の目的を達成するための本発明による
プログラムは以下の構成を備える。即ち、画像の画像特
徴量を抽出する画像処理をコンピュータに機能させるた
めのプログラムであって、入力画像を変倍する変倍工程
のプログラムコードと、前記変倍工程で変倍された画像
を色変換する色変換工程のプログラムコードと、前記色
変換工程で色変換された画像を色正規化する色正規化工
程のプログラムコードと、前記色正規化工程で色正規化
された画像をDCTするDCT工程のプログラムコード
と、前記DCT工程によって得られるDCT係数を量子
化する量子化工程のプログラムコードと、前記量子化工
程によって得られる量子化DCT係数群の内、低周波数
成分側から所定範囲内の量子化DCT係数を、前記入力
画像の画像特徴量として選択する選択工程のプログラム
コードとを備える。
【0043】
【発明の実施の形態】以下、図面を参照して本発明の好
適な実施形態について詳細に説明する。
【0044】図1は本発明の各実施形態で適用可能な画
像処理装置の構成を示すブロック図である。
【0045】データ入出力部10500は、静止画像デ
ータと動画像データの両方を入出力可能な画像入力装置
である。具体的には、スチル撮影可能なデジタルビデオ
装置がある。また、メモリーカード、PCカード等の外
部記憶装置からUSB等の通信インタフェースを介し
て、画像データを読み込むことも可能である。更に、C
D−ROM装置やフロッピー(登録商標)ディスク装置
等の記憶媒体を着脱可能な記憶装置から画像データを入
力する構成であってもよい。加えて、イーサネット(登
録商標)カードやモデム、無線通信等の通信路制御装置
によるネットワーク接続等の通信路を介して画像データ
を入力する構成であってもよい。一方、データ入出力部
10500は、画像データを、例えば、メモリーカード
へ書き込むことも行う。
【0046】入力部10501は、ユーザからの指示や
データを入力する装置であり、キーボードやポインティ
ング装置を含む。尚、ポインティング装置としては、マ
ウス、トラックボール、トラックパッド、タブレット等
が挙げられる。
【0047】蓄積部10502は、画像データや後述す
る画像特徴量抽出処理によって得られる画像特徴量デー
タを蓄積する装置であり、通常は、ハードディスク等の
大容量記憶媒体が用いられるが、この他でも、例えば、
CD−ROM、CD−R/RW等の光/光磁気ディスク
であってもよい。さらには、メモリーカード、PCカー
ド等の記憶媒体であってもよい。概念上、蓄積部105
02とデータ入出力部10500を区別して説明してい
るが、実際の装置においてはこれらが同一のものであっ
ても構わない。
【0048】表示部10503は、GUI(グラフィッ
クユーザインタフェース)等の画像を表示する装置であ
り、一般的には、CRTや液晶ディスプレイ等が用いら
れる。
【0049】CPU10504は、上述の各構成要素を
制御する。ROM10505とRAM10506は、C
PU10504が実行する処理に必要な制御プログラ
ム、データ、作業領域等をCPU10504に提供す
る。また、後述する各実施形態で説明するフローチャー
トで示される画像特徴抽出処理を実現する制御プログラ
ムは、例えば、蓄積部10502に格納されていても、
ROM10505に記憶されていても良い。特に、RO
M10505に格納されている場合は、一旦、RAM1
0506上に、その制御プログラムを読み込んでから実
行される。
【0050】バス10507は、上述の各構成要素を相
互に接続する。
【0051】尚、以下に説明する各実施形態で説明する
フローチャートの各処理は、CPU10504によって
制御される専用プログラムで実現されるものとするが、
各処理のすべて/一部を専用ハードウェアで実現して
も、もちろん構わない。 <実施形態1>図2は本発明の実施形態1の画像特徴量
抽出処理の示すフローチャートである。
【0052】まず、原画像に対して色正規化処理を行う
(ステップS101)。この色正規化処理についての詳
細については後述する。次に、色正規化された画像を入
力として、以降、ステップS102〜ステップS106
の処理を実行するが、これらはそれぞれ上述の図11の
ステップS10402〜ステップS10405に対応す
るので、ここでは説明を省略する。
【0053】次に、ステップS101の色正規化処理の
詳細について説明する。
【0054】図3は本発明の実施形態1の画像特徴量抽
出対象の画像の一例を示す図である。
【0055】201は、画像特徴量抽出対象の画像であ
り、実施形態1では、高さH画素、幅W画素の大きさを
有し、RGB色空間のRGB成分の各成分は、RNmin
以上RNmax以下、GNmin以上GNmax以下、BNmin以
上BNmax以下の値域を取るものとする。これは、例え
ば、RGB成分の各成分8bit整数値(即ち、0以上
255以下の整数値)で表現されている場合、全色成分
とも0以上255以下ということになる。
【0056】P(i,j)は、画像201の水平方向i、
垂直方向jの位置の画素の画素値であり、そのRGB成
分は、それぞれrij、gij、bijであるとする。また、
ij、gij、bijの色変域の最小値及び最大値を、それ
ぞれrmin及びrmax、gmin及びgmax、bmin及びbmax
とする。
【0057】これらの各色成分の色変域の最小値及び最
大値を取得する方法としては、画像201の各画素を走
査して各画素の画素値を取得し、その取得された画素値
の分布から各色成分の最小値及び最大値を取得すればよ
い。また、予め取得済みであれば、それを本処理の入力
として与える方法でも良い。後者の方法の場合、画像2
01の各画素を走査する処理を省略することができ、よ
り効率的となる。
【0058】実施形態1では、以下の(1)式を画像2
01の全画素に施すことで、色正規化処理を実現する。
即ち、任意の画素値P(i,j)より正規化画素値P'(i,
j)を算出する。尚、この(1)式は、処理対象画像の
色空間の各色成分の値域と、該処理対象画像の各色成分
の色変域に基づいて、該処理対象画像を色正規化するも
のである。
【0059】
【0060】但し、
【0061】 また、
【0062】 この色正規化処理を、R成分を例に挙げて図式化する
と、図4のようになる。つまり、色正規化前の画像のR
成分の色変域rrangeは、色正規化後はRNrangeとな
る。尚、図4では、R成分に対する色正規化処理を例と
して挙げているが、G、B成分についても同様である。
【0063】次に、色正規化処理の具体例について、図
5を用いて説明する。
【0064】図5は本発明の実施形態1の色正規化処理
の具体例を示す図である。
【0065】図5では、明るさの異なる類似した2つの
画像の例を示しており、401は明るい環境で撮影され
た画像である。411はやや暗い環境で撮影された画像
である。また、画像401は前景402、403と背景
404、画像411は前景412、413と背景414
から成る。
【0066】例えば、各領域の画素値が 402: P402=(r402, g402, b402)=(5, 5, 5) 403: P403=(r403, g403, b403)=(130, 130, 13
0) 404: P404=(r404, g404, b404)=(255, 255, 25
5) 412: P412=(r412, g412, b412)=(20, 20, 20) 413: P413=(r413, g413, b413)=(70, 70, 70) 414: P414=(r414, g414, b414)=(120, 120, 12
0) とする。
【0067】また、RGB各成分の画素値は8bit整
数値(即ち、0以上255以下の整数値)であるとす
る。
【0068】そして、式(1)を用いて、P402,
403, P404, P412, P413, P414に対して色正規化
処理を実行して得られる結果をそれぞれ、P'402, P'
403, P'404, P'412, P'413, P'414とすると、以下
のようになる。
【0069】 P'402=(r'402, g'402, b'402)=(0, 0, 0) P'403=(r'403, g'403, b'403)=(127.5, 127.5, 127.
5) P'404=(r'404, g'404, b'404)=(255, 255, 255) P'412=(r'412, g'412, b'412)=(0, 0, 0) P'413=(r'413, g'413, b'413)=(127.5, 127.5, 127.
5) P'414=(r'414, g'414, b'414)=(120, 120, 120) このように色正規化処理後の画像401及び画像411
は、その画素値が類似するものとなり、明るさが異なる
よく似た2つの画像401、411を同一視することが
できる。
【0070】尚、実施形態1では、式(1)において、
RGBの各色成分について独立に色正規化処理を行った
が、これはあくまでも単なる例示であり、例えば、以下
のような式(2)によって色正規化処理を実行しても良
い。
【0071】
【0072】但し、
【0073】 となる色成分cを選択し、その色成分cの最小値
min、また、その色成分cの色正規化前の最小値
min、また、その色成分の色正規化後の値域CNrange
を用いるというように、全ての色成分について共通のス
ケールにより、色正規化を実現するようにしても良い。
【0074】また、実施形態1では、RGB色空間にお
ける色正規化処理を例として説明を行ったが、色正規化
に用いられる色空間はRGB色空間に限定されるもので
はない。例えば、公知の色変換処理を原画像の各画素に
施し、YCbCr色空間やL*a*b*色空間等の他の色
空間上で色正規化処理を行ってから逆変換により元の色
空間に戻して処理を進めるのであっても構わない。
【0075】以上説明したように、実施形態1によれ
ば、原画像に対し色正規化処理を施し、この処理結果に
基づいて画像特徴量を抽出することで、従来の画像の類
似度による類似度判定では類似画像と判定することが困
難な関係にある画像群を、類似画像として判定すること
が可能である。 <実施形態2>実施形態1では、色正規化処理を原画像
に対して施す例を説明したが、この色正規化処理の処理
対象は原画像に制限されるものではない。例えば、図6
のフローチャートに示すように、色正規化処理を原画像
を変倍後の画像、例えば、8×8画素の縮小画像に対し
て施すものであってもよい。
【0076】尚、図6のフローチャートのステップS5
01〜ステップS506は、図1のステップS101〜
ステップS106に対応するが、ステップS501の色
正規化処理に対する入力は、原画像ではなく、原画像を
変倍した8×8画素の縮小画像である。つまり、色正規
化処理においては、原画像の色空間の各色成分の色変域
ではなく、縮小画像の色空間の各色成分の色変域が用い
られることになる。また、Color Layout descriptorで
は、YCbCr色空間で表現されているが、適当な公知
の色変換を施してから色正規化処理を行い、色正規化後
のデータを逆の色変換を施してYCbCr色空間に戻す
ことにより、任意の色空間で正規化処理を施すことがで
きる。
【0077】以上説明したように、実施形態2によれ
ば、色正規化処理の処理対象となる画像が、原画像を変
倍した縮小画像であるので、一般にそれより大きい原画
像に対して色正規化処理を施すのに比べて処理速度を高
速にすることができる。 <実施形態3>実施形態3では、原画像の色変域に基づ
いて、原画像を変倍した縮小画像に対して色正規化処理
を施す例を説明する。
【0078】図7は本発明の実施形態3の画像特徴量抽
出処理を示すフローチャートである。
【0079】尚、図7のステップS601〜S606
は、図6のステップS501〜ステップS506に対応
するので、ここでは説明を省略する。但し、図7では、
ステップS602の前に、ステップS607として色変
域取得処理を実行する。
【0080】ステップS607の色変域取得処理では、
実施形態1で説明した原画像の色空間の各色成分、
ij、gij、bijの色変域を取得する処理を行う。具体
的には、原画像の全画素を走査して各画素の画素値を取
得して、原画像の各画素の画素値の分布から各色変域を
取得すればよい。そして、この各色成分に対する色変域
に基づいて、ステップS601の色正規化処理を実行す
る。つまり、ステップS601の色正規化処理は、実施
形態2のステップS501の色正規化処理のような原画
像の縮小画像の各色成分の色変域に基づいて実行するの
ではなく、原画像の各色成分の色変域に基づいて実行す
る。
【0081】尚、原画像がRGB色空間以外の色空間で
表現されている場合は、適当な公知の色空間変換処理を
施せばよい。また、ここでは、例として、RGB色空間
を用いているが、適当な公知の色変換処理を施すことに
より、RGB色空間以外の色変域を得るのでも良い。あ
るいは、この色変域が予め取得済みであれば、それをス
テップS601の入力として与えるのでも良く、その場
合、ステップS607の処理は、省略することが可能で
ある。
【0082】以上説明したように、実施形態3によれ
ば、実施形態2が処理の高速化という利点がある一方
で、変倍画像から色正規化処理を行うため原画像の持つ
色正規化処理前の原画像の色変域を忠実に再現できない
という特徴があるのに対して、実施形態3では、色正規
化処理前に原画像の色変域を取得してそれを利用して色
正規化処理を実行するので、より原画像の特徴に忠実な
画像特徴量の抽出が可能となる。加えて、実施形態1と
比較して、色正規化処理の計算コストを削減することが
できる。 <実施形態4>実施形態2における色正規化処理は、色
変換処理前の縮小画像に対して行うものであったが、例
えば、図8に示すように、色変換処理後の画像に対して
色正規化処理を行っても良い。
【0083】尚、図8のフローチャートのステップS7
01〜ステップS706は、図6のステップS501〜
ステップS506に対応するが、ステップS701の色
正規化処理に対する入力は、RGB成分の色空間の画像
ではなく、YCrCb成分の色空間の画像となる。ま
た、この時の色正規化処理は、上述の式(1)や(2)
のRGB成分に対応する式をYCrCbに置き換えるこ
とで実現できる。 <実施形態5>実施形態3における色正規化処理は、原
画像の各色成分の色変域を取得し、それを用いて、画像
変倍処理後の縮小画像に対して行うものであったが、例
えば、図9に示すように、色変換処理後の画像に対して
色正規化処理を行っても良い。
【0084】尚、図9のフローチャートのステップS8
01〜ステップS806は、図7のステップS601〜
ステップS606に対応するが、ステップS807の色
変域取得処理では、ステップ608の色変換処理を原画
像に施した画像の各色成分の色変域を取得する。また、
ステップS801の色正規化処理に対する入力は、実施
形態4と同様、RGB成分の色空間の画像ではなく、Y
CrCb成分の色空間の画像となり、この時の色正規化
処理は、上述の式(1)や(2)のRGB成分に対応す
る式をYCrCbに置き換えることで実現できる。
【0085】尚、本発明は、複数の機器(例えばホスト
コンピュータ、インタフェース機器、リーダ、プリンタ
など)から構成されるシステムに適用しても、一つの機
器からなる装置(例えば、複写機、ファクシミリ装置な
ど)に適用してもよい。
【0086】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
【0087】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
【0088】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、CD−ROM、CD
−R/RW、DVD−ROM/RAM、磁気テープ、不
揮発性のメモリカード、ROMなどを用いることができ
る。
【0089】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
【0090】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
CPUなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。
【0091】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明したフローチャートに対応す
るプログラムコードが格納されることになる。
【0092】
【発明の効果】以上説明したように、本発明によれば、
従来の画像の類似度による類似度判定では類似画像と判
定することが困難な関係にある画像群を、類似画像とし
て判定することが可能な画像特徴量を抽出できる画像処
理装置及びその方法、プログラムを提供できる。
【図面の簡単な説明】
【図1】本発明の各実施形態で適用可能な画像処理装置
の構成を示すブロック図である。
【図2】本発明の実施形態1の画像特徴量抽出処理の示
すフローチャートである。
【図3】本発明の実施形態1の画像特徴量抽出対象の画
像の一例を示す図である。
【図4】本発明の実施形態1の色正規化処理を説明する
ための図である。
【図5】本発明の実施形態1の色正規化処理の具体例を
示す図である。
【図6】本発明の実施形態2の画像特徴量抽出処理の示
すフローチャートである。
【図7】本発明の実施形態3の画像特徴量抽出処理を示
すフローチャートである。
【図8】本発明の実施形態4の画像特徴量抽出処理を示
すフローチャートである。
【図9】本発明の実施形態5の画像特徴量抽出処理を示
すフローチャートである。
【図10】[VWD4.0]もしくは[VXM7.0]に記載されている
「Color Layout descriptor」における画像特徴量抽出
処理を説明するための図である。
【図11】[VWD4.0]もしくは[VXM7.0]による画像特徴抽
出処理を示すフローチャートである。
【図12】ジグザグスキャン処理を説明するための図で
ある。
【図13】[VWD4.0]もしくは[VXM7.0]に記載されている
Color Layout descriptorのバイナリ構造を示す図であ
る。
【図14】[VWD4.0]もしくは[VXM7.0]に記載されている
Color Layout descriptorのバイナリ構造を示す図であ
る。
【符号の説明】
10500 データ入出力部 10501 入力部 10502 蓄積部 10503 表示部 10504 CPU 10505 ROM 10506 RAM
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 1/393 H04N 1/393 5C078 1/41 1/41 C 5C079 1/46 11/04 Z 5L096 1/60 1/46 Z 11/04 1/40 D Fターム(参考) 5B057 BA29 CD05 CE18 CG05 CH01 CH11 DB02 DB06 DB09 DC01 DC25 5B075 ND06 NK08 PR06 QM08 5C057 AA06 EA01 EA02 EA07 EM09 EM16 GG03 GG04 GH06 GL00 5C076 AA21 AA22 AA26 BA06 5C077 MP08 PP20 PP32 PP34 PP36 PQ08 PQ12 PQ22 5C078 AA09 BA57 DA01 DA17 DA18 5C079 HB01 HB04 HB08 LA27 LA31 LA37 MA01 MA11 5L096 AA02 EA21 FA26

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】 画像の画像特徴量を抽出する画像処理装
    置であって、 入力画像を色正規化する色正規化手段と、 前記色正規化手段で色正規化された画像を変倍する変倍
    手段と、 前記変倍手段で変倍された画像を色変換する色変換手段
    と、 前記色変換手段で色変換された画像をDCTするDCT
    手段と、 前記DCT手段によって得られるDCT係数を量子化す
    る量子化手段と、 前記量子化手段によって得られる量子化DCT係数群の
    内、低周波数成分側から所定範囲内の量子化DCT係数
    を、前記入力画像の画像特徴量として選択する選択手段
    とを備えることを特徴とする画像処理装置。
  2. 【請求項2】 画像の画像特徴量を抽出する画像処理装
    置であって、 入力画像を変倍する変倍手段と、 前記変倍手段で変倍された画像を色正規化する色正規化
    手段と、 前記色正規化手段で色正規化された画像を色変換する色
    変換手段と、 前記色変換手段で色変換された画像をDCTするDCT
    手段と、 前記DCT手段によって得られるDCT係数を量子化す
    る量子化手段と、 前記量子化手段によって得られる量子化DCT係数群の
    内、低周波数成分側から所定範囲内の量子化DCT係数
    を、前記入力画像の画像特徴量として選択する選択手段
    とを備えることを特徴とする画像処理装置。
  3. 【請求項3】 前記入力画像の色空間の各色成分の色変
    域を取得する取得手段とを更に備え、 前記色正規化手段は、前記取得手段で取得された色変域
    に基づいて、前記変倍手段で変倍された画像を色正規化
    することを特徴とする請求項2に記載の画像処理装置。
  4. 【請求項4】 画像の画像特徴量を抽出する画像処理装
    置であって、 入力画像を変倍する変倍手段と、 前記変倍手段で変倍された画像を色変換する色変換手段
    と、 前記色変換手段で色変換された画像を色正規化する色正
    規化手段と、 前記色正規化手段で色正規化された画像をDCTするD
    CT手段と、 前記DCT手段によって得られるDCT係数を量子化す
    る量子化手段と、 前記量子化手段によって得られる量子化DCT係数群の
    内、低周波数成分側から所定範囲内の量子化DCT係数
    を、前記入力画像の画像特徴量として選択する選択手段
    とを備えることを特徴とする画像処理装置。
  5. 【請求項5】 前記入力画像を前記色変換手段で色変換
    した画像の色空間の色変域を取得する取得手段を更に備
    え、 前記色正規化手段は、前記取得手段で取得された色変域
    に基づいて、前記変倍手段で変倍された画像を色正規化
    することを特徴とする請求項4に記載の画像処理装置。
  6. 【請求項6】 前記色正規化手段は、処理対象画像の色
    空間の各色成分の値域と、該処理対象画像の各色成分の
    色変域に基づいて、該処理対象画像を色正規化すること
    を特徴とする請求項1乃至請求項5のいずれか1項に記
    載の画像処理装置。
  7. 【請求項7】 前記色空間は、RGB色空間、YCbC
    r色空間、L*a*b*色空間の少なくともいずれかであ
    ることを特徴とする請求項6に記載の画像処理装置。
  8. 【請求項8】 画像の画像特徴量を抽出する画像処理方
    法であって、 入力画像を色正規化する色正規化工程と、 前記色正規化工程で色正規化された画像を変倍する変倍
    工程と、 前記変倍工程で変倍された画像を色変換する色変換工程
    と、 前記色変換工程で色変換された画像をDCTするDCT
    工程と、 前記DCT工程によって得られるDCT係数を量子化す
    る量子化工程と、 前記量子化工程によって得られる量子化DCT係数群の
    内、低周波数成分側から所定範囲内の量子化DCT係数
    を、前記入力画像の画像特徴量として選択する選択工程
    とを備えることを特徴とする画像処理方法。
  9. 【請求項9】 画像の画像特徴量を抽出する画像処理方
    法であって、 入力画像を変倍する変倍工程と、 前記変倍工程で変倍された画像を色正規化する色正規化
    工程と、 前記色正規化工程で色正規化された画像を色変換する色
    変換工程と、 前記色変換工程で色変換された画像をDCTするDCT
    工程と、 前記DCT工程によって得られるDCT係数を量子化す
    る量子化工程と、 前記量子化工程によって得られる量子化DCT係数群の
    内、低周波数成分側から所定範囲内の量子化DCT係数
    を、前記入力画像の画像特徴量として選択する選択工程
    とを備えることを特徴とする画像処理方法。
  10. 【請求項10】 前記入力画像の色空間の各色成分の色
    変域を取得する取得工程とを更に備え、 前記色正規化工程は、前記取得工程で取得された色変域
    に基づいて、前記変倍工程で変倍された画像を色正規化
    することを特徴とする請求項9に記載の画像処理方法。
  11. 【請求項11】 画像の画像特徴量を抽出する画像処理
    方法であって、 入力画像を変倍する変倍工程と、 前記変倍工程で変倍された画像を色変換する色変換工程
    と、 前記色変換工程で色変換された画像を色正規化する色正
    規化工程と、 前記色正規化工程で色正規化された画像をDCTするD
    CT工程と、 前記DCT工程によって得られるDCT係数を量子化す
    る量子化工程と、 前記量子化工程によって得られる量子化DCT係数群の
    内、低周波数成分側から所定範囲内の量子化DCT係数
    を、前記入力画像の画像特徴量として選択する選択工程
    とを備えることを特徴とする画像処理方法。
  12. 【請求項12】 前記入力画像を前記色変換工程で色変
    換した画像の色空間の色変域を取得する取得工程を更に
    備え、 前記色正規化工程は、前記取得工程で取得された色変域
    に基づいて、前記変倍工程で変倍された画像を色正規化
    することを特徴とする請求項11に記載の画像処理方
    法。
  13. 【請求項13】 前記色正規化工程は、処理対象画像の
    色空間の各色成分の値域と、該処理対象画像の各色成分
    の色変域に基づいて、該処理対象画像を色正規化するこ
    とを特徴とする請求項8乃至請求項12のいずれか1項
    に記載の画像処理方法。
  14. 【請求項14】 前記色空間は、RGB色空間、YCb
    Cr色空間、L*a*b*色空間の少なくともいずれかで
    あることを特徴とする請求項13に記載の画像処理方
    法。
  15. 【請求項15】 画像の画像特徴量を抽出する画像処理
    をコンピュータに機能させるためのプログラムであっ
    て、 入力画像を色正規化する色正規化工程のプログラムコー
    ドと、 前記色正規化工程で色正規化された画像を変倍する変倍
    工程のプログラムコードと、 前記変倍工程で変倍された画像を色変換する色変換工程
    のプログラムコードと、 前記色変換工程で色変換された画像をDCTするDCT
    工程のプログラムコードと、 前記DCT工程によって得られるDCT係数を量子化す
    る量子化工程のプログラムコードと、 前記量子化工程によって得られる量子化DCT係数群の
    内、低周波数成分側から所定範囲内の量子化DCT係数
    を、前記入力画像の画像特徴量として選択する選択工程
    のプログラムコードとを備えることを特徴とするプログ
    ラム。
  16. 【請求項16】 画像の画像特徴量を抽出する画像処理
    をコンピュータに機能させるためのプログラムであっ
    て、 入力画像を変倍する変倍工程のプログラムコードと、 前記変倍工程で変倍された画像を色正規化する色正規化
    工程のプログラムコードと、 前記色正規化工程で色正規化された画像を色変換する色
    変換工程のプログラムコードと、 前記色変換工程で色変換された画像をDCTするDCT
    工程のプログラムコードと、 前記DCT工程によって得られるDCT係数を量子化す
    る量子化工程のプログラムコードと、 前記量子化工程によって得られる量子化DCT係数群の
    内、低周波数成分側から所定範囲内の量子化DCT係数
    を、前記入力画像の画像特徴量として選択する選択工程
    のプログラムコードとを備えることを特徴とするプログ
    ラム。
  17. 【請求項17】 画像の画像特徴量を抽出する画像処理
    をコンピュータに機能させるためのプログラムであっ
    て、 入力画像を変倍する変倍工程のプログラムコードと、 前記変倍工程で変倍された画像を色変換する色変換工程
    のプログラムコードと、 前記色変換工程で色変換された画像を色正規化する色正
    規化工程のプログラムコードと、 前記色正規化工程で色正規化された画像をDCTするD
    CT工程のプログラムコードと、 前記DCT工程によって得られるDCT係数を量子化す
    る量子化工程のプログラムコードと、 前記量子化工程によって得られる量子化DCT係数群の
    内、低周波数成分側から所定範囲内の量子化DCT係数
    を、前記入力画像の画像特徴量として選択する選択工程
    のプログラムコードとを備えることを特徴とするプログ
    ラム。
JP2001191850A 2001-06-25 2001-06-25 画像処理装置及びその方法、プログラム Expired - Fee Related JP3814499B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001191850A JP3814499B2 (ja) 2001-06-25 2001-06-25 画像処理装置及びその方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001191850A JP3814499B2 (ja) 2001-06-25 2001-06-25 画像処理装置及びその方法、プログラム

Publications (2)

Publication Number Publication Date
JP2003006639A true JP2003006639A (ja) 2003-01-10
JP3814499B2 JP3814499B2 (ja) 2006-08-30

Family

ID=19030401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001191850A Expired - Fee Related JP3814499B2 (ja) 2001-06-25 2001-06-25 画像処理装置及びその方法、プログラム

Country Status (1)

Country Link
JP (1) JP3814499B2 (ja)

Also Published As

Publication number Publication date
JP3814499B2 (ja) 2006-08-30

Similar Documents

Publication Publication Date Title
US6608926B1 (en) Image processing method, image processing apparatus and recording medium
JP3828210B2 (ja) 画像コントラスト強化方法
US6556711B2 (en) Image processing apparatus and method
US7652717B2 (en) White balance correction in digital camera images
US7468812B2 (en) Image processing apparatus and its method for color correction
US20020006220A1 (en) Method and apparatus for recognizing document image by use of color information
US20100195911A1 (en) System and method for image facial area detection employing skin tones
US20060274081A1 (en) Image retrieving apparatus, image retrieving method, program, and storage medium
US7519236B2 (en) Image retrieval
JP2006303708A (ja) 画像処理装置および画像処理方法
GB2381689A (en) Finding and filtering smaller and larger noise areas in an image
US7027646B2 (en) Scaled image generating apparatus and method, image feature calculating apparatus and method, computer programs therefor, and image data structure
US20060115148A1 (en) Similar image extraction device, similar image extraction method, and similar image extraction program
US20100254597A1 (en) System and method for facial tone indexing
JPH06121159A (ja) カラー画像処理装置
US7609881B2 (en) Device and method for image processing as well as image processing computer program
US6272251B1 (en) Fully automatic pasting of images into compressed pre-collated documents
JP2005192162A (ja) 画像処理方法、画像処理装置及び画像記録装置
US20060257035A1 (en) Image processing method, apparatus therefor and storing medium
JP3814499B2 (ja) 画像処理装置及びその方法、プログラム
JP3774498B2 (ja) 画像処理方法とその装置
US20100246945A1 (en) Image processing apparatus, image processing method and computer-readable medium
JP2001222717A (ja) 文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体
JP6145983B2 (ja) 画像処理装置およびコンピュータプログラム
JP3882657B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060605

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090609

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100609

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110609

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120609

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120609

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130609

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees