JP2001067462A - 周波数空間上における質感表現方法及び質感ベースの検索方法 - Google Patents

周波数空間上における質感表現方法及び質感ベースの検索方法

Info

Publication number
JP2001067462A
JP2001067462A JP2000206877A JP2000206877A JP2001067462A JP 2001067462 A JP2001067462 A JP 2001067462A JP 2000206877 A JP2000206877 A JP 2000206877A JP 2000206877 A JP2000206877 A JP 2000206877A JP 2001067462 A JP2001067462 A JP 2001067462A
Authority
JP
Japan
Prior art keywords
texture
image
frequency
sub
descriptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000206877A
Other languages
English (en)
Other versions
JP4733813B2 (ja
Inventor
Munchurl Kim
紋 哲 金
Jin Woong Kim
鎭 雄 金
Yong Man Ro
勇 滿 魯
Ki Won You
基 源 兪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2001067462A publication Critical patent/JP2001067462A/ja
Application granted granted Critical
Publication of JP4733813B2 publication Critical patent/JP4733813B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/42Analysis of texture based on statistical description of texture using transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431Frequency domain transformation; Autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Complex Calculations (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 人間の視覚認知システムに適合な周波数空間
上で映像の質感特徴を計算して索引する周波数空間上に
おける質感表現方法及びこれを利用して類似映像を検索
する周波数空間上における質感ベースの検索方法を提供
する。 【解決手段】 このような周波数空間上における質感表
現方法は、映像の質感情報を表現する方法において、少
なくとも一個以上の質感特徴に対して各々の特徴値を抽
出するために周波数空間を少なくとも二つ以上の周波数
領域に分割して周波数空間分割レイアウトを作る第1段
階と、前記分割された各周波数領域から前記映像の質感
特徴値を抽出する第2段階と、前記各周波数空間分割レ
イアウトの各周波数領域から抽出された特徴値を利用し
て、映像の質感記述子を特徴ベクトルの形態で表現する
第3段階とを含む。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は映像の質感を表現す
る方法に係り、より詳細にいえば映像信号を周波数極座
標系(Polar coordinate syste
m)空間に変換して、質感特徴を抽出する周波数空間上
における質感表現方法(Texture description method i
n frequency domain)に関する。また、本発明は前記の
質感表現方法で索引された映像に対する質感ベースの検
索方法(texture-based retrievalmethod)に関するも
のでもある。
【0002】
【従来の技術】映像で質感情報は、その映像の特徴を示
す重要な視覚的特徴中の一つとして、カラー情報と一緒
に長らく研究されてきた。このような映像の質感情報
は、映像または、ビデオデータを内容基盤索引(ind
exing)及び要約化(abstraction)す
ることにおいて、主要な下位レベル記述子(descr
iptor)として利用される。また、この映像の質感
情報は、電子アルバムで特定フォトを検索したり、タイ
ルまたは、織物データベースにおける内容基盤検索に重
要に利用される情報である。
【0003】現在までは、映像の質感特徴を抽出するた
めに時間領域や周波数領域で特徴値を計算した。特に周
波数領域から映像の質感特徴を抽出する方法は、多様な
形態の映像の質感特徴表現に適合なことと知られてき
た。この周波数領域から質感特徴を抽出する方法は、用
いる座標系によって直交座標系方式と極座標系方式とに
分けられる。
【0004】既存には、直交座標系周波数領域における
質感特徴抽出方法が主に利用されており、これに関する
論文が次のように発表された。著者がビ・エス・マンジ
ュナス(B.S.Manjunath)とダブルユー・
ワイ・マ(W.Y.Ma)であり、論文題目が“Tex
ture features for browsin
g and retrieval of image
data”であり、掲載誌が“IEEE Transa
ction on Pattern Analysis
and Machine Intelligenc
e”第18卷第8号であって、1996年8月に発表さ
れた論文では、直交座標系周波数空間をHVS(Hum
an Visual System)によって分割し
て、各チャネルをガボル(Gabor)フィルタリング
した後、各チャネルにおける平均と分散とを映像質感の
特徴値として抽出して、特徴ベクトルを計算する方法が
発表された。
【0005】しかし、このような直交座標系周波数空間
における映像質感表現方法は、人間の視覚認知システム
に適合でなくて映像質感検索率が低い短所を有する。こ
のような従来の直交座標系周波数空間における映像質感
表現方法の問題点を解決するための方法として、極座標
系周波数空間における映像質感表現方法に対する論文が
発表された。
【0006】1999年2月に、ジョージ・エム・ハレ
イ(Geoge M.Haley)と、ビ・エス・マン
ジュナス(B.S.Manjunath)が論文誌IE
EETransaction on image pr
ocessing第8卷第2号に発表した“Rotat
ion−invariant texture cla
ssification using a compl
ete spacefrequency model”
論文には、極座標周波数空間をHVSによって分割した
後、各チャネルに合うようにデザインされたガボルフィ
ルタを利用して、9個の特徴値を抽出して、あらゆるチ
ャネルに対して抽出された特徴値を利用して、質感を表
現する方式が発表された。
【0007】しかし、この方式は、各チャネルによって
ガボルフィルタをデザインして用いるために使用に不便
さが多くて、あらゆる特徴値を同一な極座標系周波数レ
イアウトを利用するために特徴値に対する正確度と検索
率とが落ちる問題点があった。
【0008】
【発明が解決しようとする課題】本発明は前記のような
従来技術の問題点を解決するために案出されたものであ
り、本発明の目的は、人間の視覚認知システムに適合す
る周波数空間上で映像の質感特徴を計算して索引する周
波数空間上における質感表現方法を提供することにあ
る。
【0009】また、本発明の他の目的は、周波数空間上
における質感表現方法により生成されたデータ質感記述
子と、質の質感記述子とを回転させたり拡大/縮少させ
ながら比較したり、明るさを考慮しなくて比較すること
によって、回転されたり拡大/縮少されたり明るさが異
なる類似映像を検索する周波数空間上における質感ベー
スの検索方法を提供することにある。
【0010】
【課題を解決するための手段】前記の目的を達成するた
めの本発明によると周波数空間上における質感表現方法
が提供される。このような質感表現方法は、少なくとも
一個以上の質感特徴に対して、各々の特徴値を抽出する
ために周波数空間を少なくとも二つ以上の周波数領域に
分割して、周波数空間分割レイアウトを作る第1段階
と、前記分割された各周波数領域から前記映像の質感特
徴値を抽出する第2段階と、前記各周波数空間分割レイ
アウトの各周波数領域から抽出された特徴値を利用し
て、映像の質感記述子を特徴ベクトルの形態で表現する
第3段階とを含んだことを特徴とする。
【0011】望ましくは、前記第1段階で、前記周波数
空間分割レイアウトは、人間視覚認知システム(HV
S)によって作り、前記第1段階の周波数空間は、直交
座標系周波数空間または、極座標系周波数空間である。
【0012】より望ましくは、前記第1段階は、前記周
波数空間分割レイアウトの各チャネルに対して重要度ま
たは、優先順位を与えるサブ段階を含む。望ましくは、
前記第2段階は、映像をラドン変換する第1サブ段階
と、前記ラドン変換された映像をフーリェ変換する第2
サブ段階と、前記分割された各周波数領域から前記フー
リェ変換された映像に対して、各周波数チャネルから特
徴値を抽出する第3サブ段階とを含む。
【0013】より望ましくは、前記第3サブ段階は、各
周波数領域におけるエネルギー値と、エネルギーの分散
値とのうち、少なくとも一つの値を特徴値として抽出す
る段階である。
【0014】ここで、前記エネルギー平均値を求めるた
めの周波数レイアウトと、エネルギー分散値を求めるた
めの周波数レイアウトとが別途に生成されることがより
望ましくて、前記エネルギー平均値を求めるための周波
数レイアウトは、周波数空間を放射方向に2l(0≦l
<log2(N/2)−1)、オクターブ間隔で原点か
ら遠ざかる方向に分割して、角度方向に‘180/分割
解像度’間隔で分割する。前記エネルギー分散値を求め
るための周波数レイアウトは、周波数空間を放射方向に
均等な間隔で分割して、角度方向に‘180/分割解像
度’間隔で分割する。
【0015】望ましくは、前記第3段階は、主映像の質
感情報を利用して映像の回転方向基準軸を探して、前記
回転方向基準軸を基準に前記周波数空間分割レイアウト
を回転させた後、映像の質感記述子を抽出する。ここ
で、前記回転方向基準軸は、映像をラドン変換してエネ
ルギーまたは、エントロピーまたは、周期的成分が最も
多く分布されている放射方向の軸として設定される。
【0016】望ましくは、前記第3段階は、映像をフー
リェ変換して放射方向基準点を探して、その基準点を基
準にフーリェ変換を正規化させた後、正規化されたフー
リェ変換結果値を利用して質感記述子を表現する。ここ
で、前記放射方向基準点は、周波数空間で原点から同一
な距離にあるフーリェ変換映像のエネルギーまたは、エ
ントロピーまたは、周期的成分が最も多く分布されてい
る円弧を探して、前記見つけられた円弧の半径を基準点
として設定する。
【0017】また、本発明によると上述した周波数空間
上における質感表現方法を実現するためのプログラムを
記録した記録媒体が提供される。また、本発明によると
周波数空間上における質感ベースの検索方法が提供され
る。このような質感ベースの検索方法は、データベース
に貯蔵する映像の質感特徴ベクトルである質感記述子を
抽出して貯蔵する第1段階と、質の映像が入力されると
前記質の映像の質感特徴ベクトルである質感記述子を抽
出する第2段階と、前記データ質感記述子を前記質の質
感記述子と整合して、二質感記述子間の距離を測定する
第3段階と、前記二質感記述子間の距離により二映像の
類似度を判定する第4段階とを含んだことを特徴とす
る。
【0018】望ましくは、前記第1段階ないし第2段階
の質感記述子抽出段階は、少なくとも一個以上の質感特
徴に対して、各々の特徴値を抽出するために周波数空間
を少なくとも二つ以上の周波数領域に分割して周波数空
間分割レイアウトを作る第1サブ段階と、前記分割され
た各周波数領域から前記映像の質感特徴値を抽出する第
2サブ段階と、前記各周波数空間分割レイアウトの各周
波数領域から抽出された特徴値を利用して、映像の質感
記述子を特徴ベクトルの形態で表現する第3サブ段階と
を含んだことを特徴とする。
【0019】望ましくは、映像の回転不変性を考慮した
質感ベースの検索で前記第3段階は、任意の一つのデー
タ質感記述子を一定角度内で回転させながら前記質の質
感記述子と整合して各角度で二質感記述子間の距離を測
定する第1サブ段階と、前記各角度における二質感記述
子間の距離中、最も最小の距離を二質感記述子間の距離
として判定する第2サブ段階とを含む。
【0020】望ましくは、映像の縮少/拡大不変性を考
慮した質感ベースの検索で前記第3段階は、質の映像か
ら一個以上の拡大映像または、縮少映像を作って各大き
さにおける質の質感記述子を抽出する第1サブ段階と、
前記各大きさにおける質の質感記述子とデータ質感記述
子との距離を各々測定する第2サブ段階と、前記第2サ
ブ段階の距離測定結果二質感記述子間の距離中、最も最
小の距離を二質感記述子間の距離として判定する第3サ
ブ段階とを含む。
【0021】望ましくは、前記質の質感記述子とデータ
質感記述子とは映像の回転方向基準軸と放射方向基準点
と明るさ情報とを含むことができて、この時、映像の回
転不変性を考慮した質感ベースの検索で前記第3段階
は、前記質の映像の回転方向基準軸とデータ映像の回転
方向基準軸とが一致するように二質感記述子を整列した
後、前記二質感記述子間の距離を測定する段階である。
【0022】より望ましくは、映像の明るさ不変性を考
慮した質感ベースの検索で前記第3段階は、前記質の質
感記述子とデータ質感記述子とから明るさ情報を除いて
二質感記述子間の距離を測定する段階である。
【0023】より望ましくは、映像の縮少/拡大不変性
を考慮した質感ベースの検索で第3段階は、質の映像と
データ映像との放射方向基準点を基準にして、データ質
感記述子を放射方向のチャネルで隣接チャネルどうしに
併合したり、隣接チャネルに質感記述子の特徴値を移動
させる第1サブ段階と、縮少/拡大により原点で伸びた
り/縮少された自己チャネルをさがした後、二質感記述
子間の距離を測定する第2サブ段階とを含む。ここで、
前記放射方向基準点は、周波数空間で原点から同一距離
にあるフーリェ変換映像のエネルギーまたは、エントロ
ピーまたは、周期的成分が最も多く分布されている円弧
を探して、前記見つけられた円弧の半径を基準点として
設定する。
【0024】より望ましくは、映像の縮少/拡大不変性
及び回転不変性を同時に考慮した質感ベースの検索で前
記第3段階は、質の映像とデータ映像との放射方向基準
点を基準にして、データ質感記述子を放射方向のチャネ
ルで隣接チャネルどうしに併合したり、隣接チャネルに
質感記述子の特徴値を移動させて変更された自己チャネ
ルを探す第1サブ段階と、変更された自己チャネルの特
徴値を一定角度内で回転させながら前記質の質感記述子
と整合して回転角度による二質感記述子間の距離を測定
する第2サブ段階と、前記回転角度による二質感記述子
間の距離中、最も最小の距離を二質感記述子間の距離と
して判定する第3サブ段階とを含む。
【0025】より望ましくは、映像の縮少/拡大不変性
及び回転不変性を同時に考慮した質感ベースの検索で前
記第3段階は、質の映像とデータ映像との放射方向基準
点を基準にして、データ質感記述子を放射方向のチャネ
ルで隣接チャネルどうしに併合したり、隣接チャネルに
質感記述子の特徴値を移動させて変更された自己チャネ
ルを探す第1サブ段階と、前記質の映像の回転方向基準
軸とデータ映像の回転方向基準軸とが一致するように二
質感記述子を整列した後、前記二質感記述子間の距離を
測定する第2サブ段階とを含む。
【0026】望ましくは、前記質感記述子抽出段階の第
1サブ段階は、人間視覚認知システムを考慮して一つ以
上の周波数空間分割レイアウトを作る第1サブサブ段階
と、前記周波数空間分割レイアウトの各チャネルに対し
て重要度または、優先順位を与える第2サブサブ段階と
を含む。
【0027】望ましくは、前記質感記述子抽出段階の第
2サブ段階は、入力された映像をラドン変換する第1サ
ブサブ段階と、前記ラドン変換された映像をフーリェ変
換する第2サブサブ段階と、前記分割された各周波数領
域で前記フーリェ変換された映像から特徴値を抽出する
第3サブサブ段階とを含む。ここで、前記第3サブサブ
段階は、各周波数領域におけるエネルギーの平均値と分
散値とのうち、少なくとも一つの値を特徴値として抽出
する段階である。
【0028】また、本発明によると上述した周波数空間
上における質感ベースの検索方法を実現するためのプロ
グラムを記録した記録媒体が提供される。また、本発明
による質感ベースの検索方法は、データベースに貯蔵す
る映像の質感特徴値と映像の回転情報とを含む質感記述
子を抽出して貯蔵する第1段階と、質の映像が入力され
ると前記質の映像の質感特徴値と映像の回転情報とを含
む質感記述子を抽出する第2段階と、前記データ質感記
述子の回転情報と質の質感記述子の回転情報とを利用し
て二質感記述子の回転角度を相互一致させる第3段階
と、前記二質感記述子の回転角度を一致させた状態で二
映像の質感記述子を整合して、二質感記述子間の距離を
測定する第4段階と、前記二質感記述子間の距離により
二映像の類似度を判定する第5段階とを含んだことを特
徴とする。
【0029】望ましくは、前記第1段階及び第2段階の
質感記述子抽出段階は、少なくとも一つ以上の質感特徴
に対して各々の特徴値を抽出するために周波数空間を少
なくとも二つ以上の周波数領域に分割して周波数空間分
割レイアウトを作る第1サブ段階と、前記分割された各
周波数領域から前記映像の質感特徴値を抽出する第2サ
ブ段階と、前記各周波数空間分割レイアウトの各周波数
領域から抽出された特徴値を利用して、映像の質感記述
子を特徴ベクトルの形態で表現する第3サブ段階とを含
んだことを特徴とする。
【0030】望ましくは、第1段階と第2段階との映像
回転情報抽出段階は、入力された映像をフーリェ変換し
てエネルギーが多く分布されている方向を探す第1サブ
段階と、前記エネルギーが多く分布された方向を基準軸
にして周波数空間分割レイアウトを生成する第2サブ段
階と、前記第2サブ段階で生成された周波数空間分割レ
イアウトの回転情報を前記映像質感記述子に含める第3
サブ段階とを含む。
【0031】より望ましくは、前記質感記述子抽出段階
の第1サブ段階は、人間視覚認知システムを考慮して一
つ以上の周波数空間分割レイアウトを作る第1サブサブ
段階と、前記周波数空間分割レイアウトの各チャネルに
対して重要度または、優先順位を与える第2サブサブ段
階とを含む。
【0032】より望ましくは、前記質感記述子抽出段階
の第2サブ段階は、入力された映像をラドン変換する第
1サブサブ段階と、前記ラドン変換された映像をフーリ
ェ変換する第2サブサブ段階と、前記分割された各周波
数領域で前記フーリェ変換された映像から特徴値を抽出
する第3サブサブ段階とを含む。ここで、前記第3サブ
サブ段階は、各周波数領域におけるエネルギーの平均値
と分散値とのうち、少なくとも一つの値を特徴値として
抽出する段階である。
【0033】また、本発明によると上述した周波数空間
上における質感ベースの検索方法を実現するためのプロ
グラムを記録した記録媒体が提供される。
【0034】
【発明の実施の形態】以下、添付された図面を参照しな
がら本発明の一実施例による‘周波数空間上における質
感表現方法及び質感ベースの検索方法(Texture descri
ption methodand texture-based retrieval method in
frequency domain)’をより詳細に説明すると次のよう
である。
【0035】図1は、本発明によるラドン変換を利用し
た周波数空間上における質感表現方法の処理流れ図を示
す。このような質感表現方法は、映像を質感情報基盤索
引する時(質感情報ベースで索引する時)と質感情報基
盤検索する時(質感情報ベースで検索する時)とにすべ
て用いられるが、入力された映像を処理して質感記述子
を作る。データベースに貯蔵する映像が入力されるとデ
ータ質感記述子を生成して、生成された質感記述子をデ
ータベースに貯蔵する。また、質の映像が入力されると
質の質感記述子を生成して、データベースに貯蔵された
データ質感記述子と比較することにより検索が行なわれ
る。
【0036】図1を参照しながら本発明による質感表現
方法を詳細に説明すると次のようである。まず、任意の
映像が入力されると(S11)、段階S12で入力され
た映像をラドン変換する。ここで、ラドン変換(Rad
on Transform)とは、2次元映像または、
多次元マルチメディアデータを角度によって線積分しな
がら1次元投影データを獲得する一連の過程をいう。す
なわち、物体は見る角度によって異なって見え、一つの
物体をあらゆる角度で眺めるとその物体の輪郭を推測す
ることができるが、ラドン変換はこのような原理を利用
したものである。
【0037】このような2次元映像に対するラドン変換
式は、数式1のように表現される。
【0038】
【数1】 ここで、f(x、y)は、直交座標系における映像関数
であり、pθ(R)は、直交座標系で原点を通過しなが
ら陽のx軸と形成する角がθである光線軸を沿って線積
分して得た1次投影関数、すなわち1次ラドン変換関数
である。
【0039】δ(x)関数は、x値が0である時1にな
る関数である。2次元映像は、直交座標系で‘−∞<
x、y<∞’の領域を有して、ラドン座標系で‘0<s
<∞、0<θ<π’の領域を有する。すなわち、x cos
θ+y sinθ=sである時δ(x cosθ+y sinθ-s)=1にな
る。
【0040】このようにθを0度から180度まで回転
して得た1次ラドン変換関数(pθ(R))の集合をシ
ノグラム(Signogram)というが、次の段階S
13でシノグラムをフーリェ変換する。このシノグラム
をフーリェ変換すると直交座標系における映像関数(f
(x、y))をフーリェ変換したフーリェ関数と数式2
とのような関係式が成立する。
【0041】
【数2】 ここで、Gθ(λ)は、pθ(R)のフーリェ変換され
た関数である。そして、λは、√(ωx 2+ωy 2)であり、
θは、tan-1yx)である。
【0042】図2は、セントラルスライス(Centr
al Slice)理論であり、シノグラムとシノグラ
ムの1次元フーリェ変換との関係を示した図面である。
シノグラムのフーリェ変換は、2次元元映像のフーリェ
変換関数を各θ軸を沿って切断して得られる1次元関数
値である。
【0043】すなわち、映像関数をラドン変換した後、
フーリェ変換すると図2の(b)に示されたように極座
標周波数空間に移動して、極座標周波数空間における周
波数サンプリングは図3のように示される。
【0044】図3は、極座標周波数空間における周波数
サンプリング構造を示した図面である。ラドン変換を利
用したフーリェ変換は、映像信号を極座標周波数領域に
変換する。この時の周波数サンプリングは、低周波と中
低周波領域とでは稠密して、高周波領域に行くほどサン
プリング密度が低くなる形態で表現される。
【0045】このようなサンプリング構造は、一般的な
映像質感が中低周波領域に情報が集まっている特性と非
常によく合致して、このような周波数サンプリング構造
から抽出された特徴が映像の質感特性をよく示すように
なる。
【0046】次に、段階S14では図3のような周波数
サンプリング構造を有する極座標周波数領域から映像の
質感特徴を抽出する。この時、段階S15で生成された
極座標系周波数領域分割レイアウトが用いられる。分割
された各周波数領域を特徴チャネルという。
【0047】前記の極座標系周波数領域分割レイアウト
は、周波数領域を人間視覚認知システム(HVS:Hu
man Visual System)によって分割す
る。すなわち、HVSは、低周波成分に敏感で高周波成
分には鈍感な特性を見せるが、このような特徴を利用し
て周波数レイアウトを決定する。これに関する詳細な事
項は後述する。
【0048】本発明では映像の質感特徴として、各分割
された周波数領域すなわち、各チャネルにおけるフーリ
ェ変換係数のエネルギー平均値とエネルギー分散値とを
利用する。このためにエネルギー平均を抽出するための
極座標系周波数レイアウトと、エネルギー分散を抽出す
るための極座標系周波数レイアウトとを別途に生成す
る。
【0049】図4は、人間視覚認知システムによってエ
ネルギー平均を抽出するための極座標周波数空間分割レ
イアウトを示した図面である。図4に示したように極座
標周波数空間は、放射方向と角度方向とに分割される
が、放射方向は、2l(0≦l<log2(N/2)−
1)オクターブ間隔で原点から遠ざかる方向に分割し
て、角度方向は、θを180/P(ここで、Pはθの分
割解像度である。)に分割する。このように分割すると
エネルギー平均を抽出するための極座標周波数レイアウ
トは、低周波領域は周波数空間が稠密に分割されて高周
波領域は疎らに分割される。各分割された周波数領域が
特徴チャネルであり、斜線影付けた部分が5番チャネル
である。
【0050】ここで、本発明の主要な特徴がわかるが、
本発明ではラドン変換により低周波領域におけるサンプ
リングは、稠密にして高周波領域におけるサンプリング
は、疎らにして、これをHVSによって分割する時低周
波領域は稠密に分けて高周波領域は大きく分ける。すな
わち、分割された各周波数領域別にすなわち、各チャネ
ル別に抽出された特徴値が質感特徴をよく反映するよう
になる。
【0051】図5は、人間視覚認知システムによってエ
ネルギー分散を抽出するための極座標周波数空間分割レ
イアウトを示した図面である。このエネルギー分散を抽
出するための極座標周波数レイアウトは、エネルギー平
均を抽出するための極座標周波数レイアウトとは別に放
射方向を均等に分割する。しかし、角度方向は図4の周
波数レイアウトのようにθを180/P(ここで、Pは
θの分割解像度である。)に分割する。分割された各周
波数領域が特徴チャネルであり、35番目チャネルが斜
線影付けている。
【0052】このように本発明では各々の周波数空間分
割レイアウトを抽出した特徴値によってデザインする。
これは各特徴に対して高い検索率を提供するために最適
の周波数空間分割レイアウトを許すことができるように
柔軟性を与えるようになる。
【0053】各チャネル別にエネルギー平均値とエネル
ギー分散値とが求められると、段階S16でこの特徴値
から映像の質感を表現する映像の質感記述子すなわち、
特徴ベクトルを計算する。
【0054】この質感記述子は、数式3のように表現で
きる。
【0055】
【数3】 ここで、eiは、図4の周波数レイアウトでi番目チャ
ネルにおけるエネルギー平均値であり、djは、図5の
周波数レイアウトでj番目チャネルにおけるエネルギー
分散値である。ここで、特にe0は、DCチャネルのエ
ネルギーを示す。Pは、極座標周波数空間で角度方向に
分割された領域の個数であり、Qは、放射方向に分割さ
れた領域の個数である。
【0056】前記の数式3で各特徴値は、そのチャネル
の優先順位によってまず表現できて、チャネルの重要度
によって重要度が低いチャネルの特徴値は除外させるこ
とによって、データ容量を減少させることもできる。
【0057】前記の特徴ベクトルを形成するエネルギー
平均値eiとエネルギー分散値djとは、数式5と数式7
とにより求められて、このために数式4ではフーリェ変
換された1次ラドン変換関数(Gθ(λ))を利用して
i値を求めて、数式6ではフーリェ変換された1次ラ
ドン変換関数と数式4で求めたpi値とを利用してqj
を求める。
【0058】
【数4】
【0059】
【数5】
【0060】
【数6】
【0061】
【数7】 前記のように各チャネルにおけるエネルギー平均値とエ
ネルギー分散値とで構成された質感記述子が求められ
る。
【0062】入力されるあらゆる映像に対して、前記S
11ないし段階S16を反復遂行して各データ質感記述
子をデータベースに貯蔵する。このようにデータベース
に貯蔵されたデータ質感記述子は、質の映像から求めら
れた質の質感記述子と整合して質の映像と類似の映像を
検索することに用いられる。
【0063】このような極座標周波数空間上における質
感ベースの検索方法を詳細に説明すると次のようであ
る。質の映像と類似のデータ映像とを検索するために、
本発明では3種を考慮する。第一、明るさ不変性を考慮
する。すなわち、映像の明るさを考慮しなくて質感が類
似の映像を検索する場合と、映像の明るさを考慮して質
感と明るさとが類似の映像を検索する場合とを区分す
る。第二、回転不変性を考慮する。すなわち、映像の回
転を考慮した検索と考慮しない検索とを区分する。第
三、大きさ不変性を考慮する。すなわち、元映像をズー
ム・イン(zoom in)/ズーム・アウト(zoo
m out)して映像が拡大/縮少されても検索できる
ようにする。
【0064】まず、映像の明るさ変化に対して不変性を
有する検索を遂行する方法を説明する。映像の明るさ
は、質感記述子TDベクトルのDCチャネルe0値で表
現される。すなわち、映像が明るければe0値が大きく
て、暗ければe0値が小さい。したがって、映像の明る
さ変化に対する不変性を有する検索を遂行しようとする
場合には、データ質感記述子のTDベクトルからe0
を除いた後、質の質感記述子と整合する。しかし、映像
の明るさ変化を一緒に考慮した検索をしようとする場合
には、データ質感記述子TDベクトルからe0値を除か
なくて質の質感記述子と整合する。
【0065】次に、映像の回転不変性を有する検索方法
の第1実施例を説明する。同一な映像に対して映像が回
転されていると、従来の質感ベースの検索方法では同一
な映像に検索されなかった。しかし、本発明では映像の
回転に対する不変性を有する映像の整合を遂行すること
によって、また回転性を考慮しなくて検索することもで
きる。まず映像の回転に対する不変性を有する検索方法
は次のようである。任意の映像を回転してフーリェ変換
した結果値は、その映像をフーリェ変換した後、周波数
領域で回転した結果値と同一である。
【0066】データベースにデータ質感記述子TDが貯
蔵されている状態で、質の映像を図1の質感表現方法で
処理して質の質感記述子TDqueryが与えられると、任
意のデータ質感記述子TDmと質の質感記述子TDquery
との類似度を計算して整合程度を測定する。
【0067】この類似度は、数式8により求められるD
mに反比例した値である。
【0068】
【数8】 このように、データ質感記述子と質の質感記述子との間
の距離(distance)は、各チャネル別にその平
均値と分散値とを比較することにより得られる。上述し
たように回転した映像をフーリェ変換したことは、回転
する前の映像のフーリェ変換を周波数領域で回転した結
果と同一である。二映像を比較する時周波数領域で回転
しながら比較すると類似の二映像を捜し出すことができ
る。
【0069】したがって、本発明では質感記述子を比較
して二質感記述子間の距離を求める時このような回転可
能性を予め考慮して整合を遂行する。こういうわけで回
転されている類似映像をすべて検索することができる。
このような整合は、数式9のように表現される。
【0070】
【数9】 ここで、ψは、180/Pであり、kは、1とPとの間
の定数である。すなわち、数式9は、データ質感記述子
を周波数領域で任意の角度ψほどずつ回転させながら回
転されたデータ質感記述子と質の質感記述子との間の距
離を求める式である。
【0071】前記数式9で求められた各回転角度におけ
る距離を数式10に適用して最小距離を探す。
【0072】
【数10】 このようにデータ質感記述子を微少回転角度ほどずつ回
転させながら質の質感記述子と比較して、二質感記述子
間の最小距離を二質感記述子間の距離として選択するこ
とにより映像が回転しても類似の映像を検索することが
できる。これにより検索が映像の回転に対して不変的特
性を有する。これと反対に映像の回転に不変性を有しな
くて検索する場合には数式8により類似度を検索する。
【0073】このような回転不変性を考慮しながら質感
ベースの検索を行う場合、上述したように映像の明るさ
を考慮する時には質感記述子TDベクトルにe0値を含
めて、明るさを考慮しない時には質感記述子TDベクト
ルからe0値を除外させた次に、回転不変性を考慮した
質感ベースの検索を遂行する。
【0074】これから、映像の回転不変性を有する検索
方法の第2実施例を説明する。上述したように回転した
映像のフーリェ変換は、回転前の映像のフーリェ変換を
周波数領域で回転した結果と同一である。それで質感記
述子を整合する時このような回転可能性を考慮して整合
を遂行すると同一な質感映像でありまた回転された映像
をすべて検索することができる。このために回転不変性
を有する検索方法の第1実施例ではデータ質感記述子を
微少な角度ほどずつ回転しながら質の質感記述子と整合
する方法を提示している。
【0075】反面、本発明の第2実施例では、質感記述
子に回転情報を追加する方法を提示する。すなわち、映
像をラドン変換すると最も周期的とかエネルギーが多く
分布されている基準角度方向が見つけられる。この方向
を基準軸にして極座標周波数空間分割レイアウト(変形
されたレイアウト)を生成した後、図1の質感表現方法
によって質感記述子を計算する。この時この変形された
レイアウトは、図4ないし図5の極座標周波数レイアウ
トに比べて回転された状態であり、変形されたレイアウ
トの基準軸と元来の極座標周波数レイアウトの基準軸と
を回転情報として質感記述子に追加する。
【0076】このように回転情報を含んだデータ質感記
述子が貯蔵されたデータベースと一緒に回転情報を含ん
だ質の質感記述子が与えられながら検索が要求される
と、データ質感記述子の回転情報と質の質感記述子の回
転情報とを利用して二質感記述子の回転角度を一致させ
る。
【0077】すなわち、二映像において基準角度方向を
一致させるが、この状態で二映像の質感記述子を比較し
て二映像間の距離を求める。このような第2実施例は、
第1実施例とは別にデータ質感記述子を回転しながら質
の質感記述子と比較して二質感記述子間の距離を求める
過程がなくても二映像の類似度を求めることができる利
点があるが、回転情報を求めて質感記述子に含める過程
が質感表現段階で追加されるために質感記述子を計算す
る過程がさらに複雑になる。
【0078】ここでは映像のラドン変換を利用して最も
周期的とかエネルギーが多く分布する方向を基準方向と
して回転情報を表現したが、映像の質感情報を利用して
回転方向の基準軸を探して、周波数空間分割レイアウト
をその基準軸に合わせて質感を表現する方法、または基
準軸を利用しなくて周波数空間分割レイアウトを用いる
質感表現方法を含んで、本発明はこれに限定されない。
【0079】本発明の一実施例による質感ベースの検索
方法で三番目に考慮しなければならない事項は、上述し
たように映像の拡大/縮少不変性である。これを詳細に
説明すると次のようである。
【0080】カメラのズーム(zoom)を変化させな
がら映像を獲得する時、その獲得された映像は、カメラ
のズーム倍率によって拡大または縮少される。このよう
な効果を映像信号の周波数ドメインで解釈すると、元映
像より拡大された映像の周波数スペクトラム分布は、元
来のスペクトラムより周波数領域の原点に向けて凝集さ
れている。また、元映像より縮少された映像の周波数ス
ペクトラム分布は、元来のスペクトラムより周波数領域
の原点から伸びている。
【0081】映像をラドン変換すると投影データのエネ
ルギーを基準にスケール基準が見つけられる。このよう
な映像に対して縮少/拡大不変性を有する質感ベースの
検索をする場合、スケール基準で放射方向のチャネルで
隣接チャネルどうしに一つのチャネルずつ重複されるよ
うに特徴値を加えたり、縮少/拡大により原点で伸びた
り/縮少された自己チャネルを探して数式11のように
類似度を計算する。このように加えたチャネルを併合チ
ャネルまたは一致チャネルと呼んで、統合して変更チャ
ネル(modified channel)と呼ぶ。
【0082】
【数11】 映像の質感情報を利用して放射方向の基準点を探してそ
の基準点を基準にフーリェ変換を正規化させた後、正規
化されたフーリェ変換に対して特徴値を抽出して質感記
述子を構成する場合、数式8を利用して類似度検索を遂
行することができる。
【0083】ここで、放射方向基準点は、周波数空間で
原点から同一距離にあるフーリェ変換映像のエネルギー
または、エントロピーまたは、周期的成分が最も多く分
布されている円弧を探して、前記見つけられた円弧の半
径を基準点として設定する。
【0084】縮少/拡大に対して不変性を有する検索方
法の他の実施例は次のようである。一つの与えられた質
の映像を一個以上の拡大映像または一個以上の縮少映像
に作った後、各々の拡大/縮少された質の映像として質
感記述子を表現する。その次に、各々の拡大/縮少され
た質の映像に対して質感記述子を抽出してデータ質感記
述子との距離を数式8により測定する。各々の拡大/縮
少された質の映像の質感記述子に対してデータ質感記述
子との距離中、最も最小になる距離を元来の質の映像の
質感記述子とデータ質感記述子との間の距離として判定
する。
【0085】拡大/縮少に対する不変性を有しない検索
を行なう場合にも数式8により類似度を計算する。回転
と縮少/拡大に対して同時に不変性を有する検索を行な
う場合には、まず拡大/縮少不変的検索で隣接チャネル
を併合、変更した後変更されたチャネルの特徴値を回転
不変的検索をするが、一旦数式11を利用して数式9と
数式10とを利用して類似度検索を遂行する。
【0086】数式3に表現された質感記述子TDベクト
ルは、質感構造に対する情報がその質感記述子の特徴値
の配列パターンから類推できる。これは概略的に質感の
特定構造を捜し出してブラウジングする機能を支援でき
る。そうした簡単なブラウジングを支援するために本発
明では図4に示されたようなエネルギーチャネルから抽
出された特徴値を利用して質感の簡単な構造情報を計算
する。質感構造を計算する方法は、30個のエネルギー
チャネルの特徴値に対するエントロピー(entrop
y)を求めたり、エネルギーチャネルレイアウトで二つ
の最大エネルギー間の各間隔(angular dif
ference)を計算したり、放射間隔(radia
l difference)を計算する。
【0087】前記のように望ましい実施例に基づいてこ
の発明を説明したが、このような実施例は、この発明を
制限することでなく例示することである。この発明が属
する分野の熟練者にはこの発明の技術思想を逸脱しない
範囲内で前記実施例に対する多様な変化や変更または調
節が可能なことが自明なことである。それゆえ、この発
明の保護範囲は、添付された請求範囲によってのみ限定
されることであり、前記のような変化例や変更例または
調節例をすべて含むことと解釈しなければならない。
【0088】
【発明の効果】以上のように本発明によると、ラドン変
換による極座標系における周波数空間分割方法と、各特
徴値を抽出することに適合な極座標系周波数空間分割レ
イアウト、各周波数領域における特徴値抽出方法、各周
波数チャネルに重要度及び優先順位付与、回転不変性と
縮少/拡大不変性と明るさ不変性とを支援する質感索引
方法、回転不変性を支援する質感記述子整合方法などの
技術を利用することによって、映像の質感をより正確に
表現できるのみならず効率的な索引及び検索が可能にな
る。
【0089】このような質感表現方法により抽出された
映像の質感記述子は、ぼう大な大きさの航空写真及び軍
事用レーダー映像等から特別の特徴を有する映像を探そ
うとする時有用な検索端緒として利用できる。
【図面の簡単な説明】
【図1】 本発明の一実施例による周波数空間上におけ
る質感表現方法を示した流れ図である。
【図2】 一般的なセントラルスライス(Centra
l Slice)理論を説明するために示した図であ
る。
【図3】 ラドン変換を利用した周波数領域における周
波数サンプリング構造を示した図である。
【図4】 本発明で各チャネル別エネルギー平均を抽出
するために用いる周波数空間分割レイアウトを示した図
である。
【図5】 本発明で各チャネル別エネルギー分散を抽出
するために用いる周波数空間分割レイアウトを示した図
である。
【符号の説明】
S11…映像入力部、S12…ラドン変換部、S13…フーリエ
変換部、S14…特徴抽出部、S15…周波数レイアウト生成
部、S16…特徴ベクトル計算部。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 7/00 130 G06T 7/00 130 300 300F 7/40 7/40 B (72)発明者 魯 勇 滿 大韓民国 大田市 儒城区 魚隠洞 ハン ビット アパートメント 123−703 (72)発明者 兪 基 源 大韓民国 ソウル市 城北区 安岩洞 5 街 12−15番地 A−302

Claims (38)

    【特許請求の範囲】
  1. 【請求項1】 映像の質感情報を表現する方法におい
    て、 少なくとも一個以上の質感特徴に対して、各々の特徴値
    を抽出するために周波数空間を少なくとも二つ以上の周
    波数領域に分割して、周波数空間分割レイアウトを作る
    第1段階と、 前記分割された各周波数領域から前記映像の質感特徴値
    を抽出する第2段階と、 前記各周波数空間分割レイアウトの各周波数領域から抽
    出された特徴値を利用して映像の質感記述子を特徴ベク
    トルの形態で表現する第3段階と、を含んだことを特徴
    とする周波数空間上における質感表現方法。
  2. 【請求項2】 前記第1段階で、前記周波数空間分割レ
    イアウトは、人間視覚認知システム(HVS)によって
    作ることを特徴とする請求項1に記載の周波数空間上に
    おける質感表現方法。
  3. 【請求項3】 前記第1段階の周波数空間は、直交座標
    系周波数空間または、極座標系周波数空間であることを
    特徴とする請求項1または2に記載の周波数空間上にお
    ける質感表現方法。
  4. 【請求項4】 前記第1段階は、前記周波数空間分割レ
    イアウトの各チャネルに対して重要度または、優先順位
    を与えるサブ段階を含んだことを特徴とする請求項2に
    記載の周波数空間上における質感表現方法。
  5. 【請求項5】 前記第2段階は、映像をラドン変換する
    第1サブ段階と、 前記ラドン変換された映像をフーリェ変換する第2サブ
    段階と、 前記分割された各周波数領域から前記フーリェ変換され
    た映像に対して、各周波数チャネルから特徴値を抽出す
    る第3サブ段階と、 を含んだことを特徴とする請求項1または2に記載の周
    波数空間上における質感表現方法。
  6. 【請求項6】 前記第3サブ段階は、 各周波数領域におけるエネルギー値とエネルギーの分散
    値とのうち、少なくとも一つの値を特徴値として抽出す
    る段階であることを特徴とする請求項5に記載の周波数
    空間上における質感表現方法。
  7. 【請求項7】 周波数空間分割レイアウトは、前記エネ
    ルギー平均値を求めるための周波数レイアウトと、エネ
    ルギー分散値とを求めるための周波数レイアウトが別途
    に生成されることを特徴とする請求項6に記載の周波数
    空間上における質感表現方法。
  8. 【請求項8】 前記エネルギー平均値を求めるための周
    波数レイアウトは、周波数空間を放射方向に2l(0≦
    l<log2(N/2)−1)、オクターブ間隔で原点
    から遠ざかる方向に分割して、角度方向に‘180/分
    割解像度’間隔で分割することを特徴とする請求項7に
    記載の周波数空間上における質感表現方法。
  9. 【請求項9】 前記エネルギー分散値を求めるための周
    波数レイアウトは、周波数空間を放射方向に均等な間隔
    で分割して、角度方向に‘180/分割解像度’間隔で
    分割することを特徴とする請求項7または8に記載の周
    波数空間上における質感表現方法。
  10. 【請求項10】 前記第3段階は、映像の質感情報を利
    用して映像の回転方向基準軸を探して、前記回転方向基
    準軸を基準に前記周波数空間分割レイアウトを回転させ
    た後、映像の質感記述子を抽出することを特徴とする請
    求項1に記載の周波数空間上における質感表現方法。
  11. 【請求項11】 前記回転方向基準軸は、映像をラドン
    変換してエネルギーまたは、エントロピーまたは、周期
    的成分が最も多く分布されている放射方向の軸として設
    定されることを特徴とする請求項10に記載の周波数空
    間上における質感表現方法。
  12. 【請求項12】 前記第3段階は、映像をフーリェ変換
    して放射方向基準点を探して、その基準点を基準にフー
    リェ変換を正規化させた後、正規化されたフーリェ変換
    結果値を利用して、質感記述子を表現することを特徴と
    する請求項1に記載の周波数空間上における質感表現方
    法。
  13. 【請求項13】 前記放射方向基準点は、周波数空間で
    原点から同一距離にあるフーリェ変換映像のエネルギー
    または、エントロピーまたは、周期的成分が最も多く分
    布されている円弧を探して、前記見つけられた円弧の半
    径を基準点として設定することを特徴とする請求項12
    に記載の周波数空間上における質感表現方法。
  14. 【請求項14】 前記第3段階は、映像の明るさ情報を
    抽出して前記映像の質感記述子に含めることを特徴とす
    る請求項1に記載の周波数空間上における質感表現方
    法。
  15. 【請求項15】 コンピュータに、 少なくとも一個以上の質感特徴に対して、各々の特徴値
    を抽出するために周波数空間を少なくとも二つ以上の周
    波数領域に分割して周波数空間分割レイアウトを作る第
    1段階と、 前記分割された各周波数領域で映像をラドン変換して、
    ラドン変換された映像をフーリェ変換して、分割された
    各周波数領域で前記フーリェ変換された映像に対して各
    周波数チャネルから特徴値を抽出して、前記映像の質感
    特徴値を抽出する第2段階と、 前記各周波数空間分割レイアウトの各周波数領域から抽
    出された特徴値を利用して、映像の質感記述子を特徴ベ
    クトルの形態で表現する第3段階とを実行させて映像の
    質感情報を表現するプログラムを記録したコンピュータ
    読み取り可能な記録媒体。
  16. 【請求項16】 質の映像と類似のデータ映像とを質感
    ベースで検索する方法において、 データベースに貯蔵する映像の質感特徴ベクトルである
    質感記述子を抽出して貯蔵する第1段階と、 質の映像が入力されると、前記質の映像の質感特徴ベク
    トルである質感記述子を抽出する第2段階と、 前記データ質感記述子を前記質の質感記述子と整合し
    て、二質感記述子間の距離を測定する第3段階と、 前記二質感記述子間の距離により二映像の類似度を判定
    する第4段階と、を含んだことを特徴とする周波数空間
    における質感ベースの検索方法。
  17. 【請求項17】 前記第1段階及び第2段階の質感記述
    子抽出段階は、 少なくとも一つ以上の質感特徴に対して、各々の特徴値
    を抽出するために周波数空間を少なくとも二つ以上の周
    波数領域に分割して、周波数空間分割レイアウトを作る
    第1サブ段階と、前記分割された各周波数領域から前記
    映像の質感特徴値を抽出する第2サブ段階と、前記各周
    波数空間分割レイアウトの各周波数領域から抽出された
    特徴値を利用して、映像の質感記述子を特徴ベクトルの
    形態で表現する第3サブ段階とを含んだことを特徴とす
    る請求項16に記載の周波数空間上における質感ベース
    の検索方法。
  18. 【請求項18】 映像の回転不変性を考慮すると前記第
    3段階は、 任意の一つのデータ質感記述子を一定角度内で回転させ
    ながら前記質の質感記述子と整合して各角度で二質感記
    述子間の距離を測定する第1サブ段階と、 前記各角度における二質感記述子間の距離中、最も最小
    の距離を二質感記述子間の距離として判定する第2サブ
    段階と、を含んだことを特徴とする請求項17に記載の
    周波数空間上における質感ベースの検索方法。
  19. 【請求項19】 映像の縮少/拡大不変性を考慮すると
    前記第3段階は、 質の映像から一つ以上の拡大映像または、縮少映像を作
    って各大きさにおける質の質感記述子を抽出する第1サ
    ブ段階と、 前記各大きさにおける質の質感記述子と、データ質感記
    述子との距離を各々測定する第2サブ段階と、 前記第2サブ段階の距離測定結果、二質感記述子間の距
    離中、最も最小の距離を二質感記述子間の距離として判
    定する第3サブ段階と、を含んだことを特徴とする請求
    項17に記載の周波数空間上における質感ベースの検索
    方法。
  20. 【請求項20】 前記質の質感記述子とデータ質感記述
    子とは、映像の回転方向基準軸と放射方向基準点と明る
    さ情報とを含んだことを特徴とする請求項17に記載の
    周波数空間上における質感ベースの検索方法。
  21. 【請求項21】 映像の回転不変性を考慮すると前記第
    3段階は、 前記質の映像の回転方向基準軸と、データ映像の回転方
    向基準軸とが一致するように二質感記述子を整列した
    後、前記二質感記述子間の距離を測定する段階であるこ
    とを特徴とする請求項20に記載の周波数空間上におけ
    る質感ベースの検索方法。
  22. 【請求項22】 前記回転方向基準軸は、映像をラドン
    変換してエネルギーまたは、エントロピーまたは、周期
    的成分が最も多く分布されている放射方向の軸として設
    定されることを特徴とする請求項21に記載の周波数空
    間上における質感ベースの検索方法。
  23. 【請求項23】 映像の明るさ不変性を考慮すると前記
    第3段階は、 前記質の質感記述子と、データ質感記述子とから明るさ
    情報を除いて、二質感記述子間の距離を測定する段階で
    あることを特徴とする請求項20に記載の周波数空間上
    における質感ベースの検索方法。
  24. 【請求項24】 映像の縮少/拡大不変性を考慮すると
    第3段階は、 質の映像とデータ映像との放射方向基準点を基準にし
    て、データ質感記述子を放射方向のチャネルで隣接チャ
    ネルどうしに併合したり、隣接チャネルに質感記述子の
    特徴値を移動させる第1サブ段階と、 縮少/拡大により原点で伸びたり/縮少された自己チャ
    ネルをさがした後、二質感記述子間の距離を測定する第
    2サブ段階と、 を含んだことを特徴とする請求項20に記載の周波数空
    間上における質感ベースの検索方法。
  25. 【請求項25】 前記放射方向基準点は、周波数空間で
    原点から同一距離にあるフーリェ変換映像のエネルギー
    または、エントロピーまたは、周期的成分が最も多く分
    布されている円弧を探して、前記見つけられた円弧の半
    径を基準点として設定することを特徴とする請求項24
    に記載の周波数空間上における質感ベースの検索方法。
  26. 【請求項26】 映像の縮少/拡大不変性及び回転不変
    性を同時に考慮すると前記第3段階は、 質の映像とデータ映像との放射方向基準点を基準にし
    て、データ質感記述子を放射方向のチャネルで隣接チャ
    ネルどうしに併合したり、隣接チャネルに質感記述子の
    特徴値を移動させて、変更された自己チャネルを探す第
    1サブ段階と、 変更された自己チャネルの特徴値を一定角度内で回転さ
    せながら前記質の質感記述子と整合して、回転角度によ
    る二質感記述子間の距離を測定する第2サブ段階と、 前記回転角度による二質感記述子間の距離中、最も最小
    の距離を二質感記述子間の距離として判定する第3サブ
    段階と、を含んだことを特徴とする請求項20に記載の
    周波数空間上における質感ベースの検索方法。
  27. 【請求項27】 映像の縮少/拡大不変性及び回転不変
    性を同時に考慮すると前記第3段階は、 質の映像とデータ映像との放射方向基準点を基準にし
    て、データ質感記述子を放射方向のチャネルで隣接チャ
    ネルどうしに併合したり、隣接チャネルに質感記述子の
    特徴値を移動させて、変更された自己チャネルを探す第
    1サブ段階と、 前記質の映像の回転方向基準軸と、データ映像の回転方
    向基準軸とが一致するように二質感記述子を整列した
    後、前記二質感記述子間の距離を測定する第2サブ段階
    と、を含むことを特徴とする請求項20に記載の周波数
    空間上における質感ベースの検索方法。
  28. 【請求項28】 前記質感記述子抽出段階の第1サブ段
    階は、 人間視覚認知システムを考慮して一つ以上の周波数空間
    分割レイアウトを作る第1サブサブ段階と、 前記周波数空間分割レイアウトの各チャネルに対して重
    要度または、優先順位を与える第2サブサブ段階と、を
    含んだことを特徴とする請求項17に記載の周波数空間
    上における質感ベースの検索方法。
  29. 【請求項29】 前記質感記述子抽出段階の第2サブ段
    階は、 入力された映像をラドン変換する第1サブサブ段階と、 前記ラドン変換された映像をフーリェ変換する第2サブ
    サブ段階と、 前記分割された各周波数領域で前記フーリェ変換された
    映像から特徴値を抽出する第3サブサブ段階と、を含ん
    だことを特徴とする請求項17または28に記載の周波
    数空間上における質感ベースの検索方法。
  30. 【請求項30】 前記第3サブサブ段階は、 各周波数領域におけるエネルギーの平均値と分散値との
    うち、少なくとも一つの値を特徴値として抽出する段階
    であることを特徴とする請求項29に記載の周波数空間
    上における質感ベースの検索方法。
  31. 【請求項31】 コンピュータに、 少なくとも一個以上の質感特徴に対して、各々の特徴値
    を抽出するために周波数空間を少なくとも二つ以上の周
    波数領域に分割して、周波数空間分割レイアウトを作る
    第1段階と、 データベースに貯蔵する映像が与えられると、前記分割
    された各周波数領域から前記データ映像の質感特徴値を
    抽出して、抽出された特徴値を利用してデータ映像の質
    感記述子を抽出して貯蔵する第2段階と、 質の映像が入力されると、前記分割された各周波数領域
    から前記質の映像の質感特徴値を抽出して、抽出された
    特徴値を利用して、質の映像の質感記述子を抽出する第
    3段階と、 前記データ質感記述子を前記質の質感記述子と整合し
    て、二質感記述子間の距離を測定する第4段階と、 前記二質感記述子間の距離により二映像の類似度を判定
    する第5段階とを実行させて、任意の質の映像と類似の
    データ映像とを検索するプログラムを記録したコンピュ
    ータ読み取り可能な記録媒体。
  32. 【請求項32】 質の映像と類似のデータ映像とを質感
    ベースで検索する方法において、 データベースに貯蔵する映像の質感特徴値と映像の回転
    情報とを含む質感記述子を抽出して貯蔵する第1段階
    と、 質の映像が入力されると、前記質の映像の質感特徴値と
    映像の回転情報とを含む質感記述子を抽出する第2段階
    と、 前記データ質感記述子の回転情報と、質の質感記述子の
    回転情報とを利用して、二質感記述子の回転角度を相互
    一致させる第3段階と、 前記二質感記述子の回転角度を一致させた状態で二映像
    の質感記述子を整合して、二質感記述子間の距離を測定
    する第4段階と、 前記二質感記述子間の距離により二映像の類似度を判定
    する第5段階と、を含んだことを特徴とする周波数空間
    上における質感ベースの検索方法。
  33. 【請求項33】 前記第1段階及び第2段階の質感記述
    子抽出段階は、 少なくとも一つ以上の質感特徴に対して、各々の特徴値
    を抽出するために周波数空間を少なくとも二つ以上の周
    波数領域に分割して、周波数空間分割レイアウトを作る
    第1サブ段階と、 前記分割された各周波数領域から前記映像の質感特徴値
    を抽出する第2サブ段階と、 前記各周波数空間分割レイアウトの各周波数領域から抽
    出された特徴値を利用して映像の質感記述子を特徴ベク
    トルの形態で表現する第3サブ段階と、を含んだことを
    特徴とする請求項32に記載の周波数空間上における質
    感ベースの検索方法。
  34. 【請求項34】 第1段階と第2段階との映像回転情報
    抽出段階は、 入力された映像をフーリェ変換して、エネルギーが多く
    分布されている方向を探す第1サブ段階と、 前記エネルギーが多く分布された方向を基準軸にして、
    周波数空間分割レイアウトを生成する第2サブ段階と、 前記第2サブ段階で生成された周波数空間分割レイアウ
    トの回転情報を前記映像質感記述子に含める第3サブ段
    階と、 を含んだことを特徴とする請求項33に記載の周波数空
    間上における質感ベースの検索方法。
  35. 【請求項35】 前記質感記述子抽出段階の第1サブ段
    階は、 人間視覚認知システムを考慮して、一つ以上の周波数空
    間分割レイアウトを作る第1サブサブ段階と、 前記周波数空間分割レイアウトの各チャネルに対して重
    要度または、優先順位を与える第2サブサブ段階と、 を含んだことを特徴とする請求項33に記載の周波数空
    間上における質感ベースの検索方法。
  36. 【請求項36】 前記質感記述子抽出段階の第2サブ段
    階は、 入力された映像をラドン変換する第1サブサブ段階と、 前記ラドン変換された映像をフーリェ変換する第2サブ
    サブ段階と、 前記分割された各周波数領域で前記フーリェ変換された
    映像から特徴値を抽出する第3サブサブ段階と、を含ん
    だことを特徴とする請求項33または35に記載の周波
    数空間上における質感ベースの検索方法。
  37. 【請求項37】 前記第3サブサブ段階は、 各周波数領域におけるエネルギーの平均値と分散値との
    うち、少なくとも一つの値を特徴値として抽出する段階
    であることを特徴とする請求項36に記載の周波数空間
    上における質感ベースの検索方法。
  38. 【請求項38】 コンピュータに、 少なくとも一個以上の質感特徴に対して、各々の特徴値
    を抽出するために周波数空間を少なくとも二つ以上の周
    波数領域に分割して、周波数空間分割レイアウトを作る
    第1段階と、 データベースに貯蔵する映像が与えられると前記分割さ
    れた周波数領域における映像の質感特徴値と映像の回転
    情報とを抽出して、データ質感記述子を作って貯蔵する
    第2段階と、 質の映像が入力されると、前記分割された周波数領域に
    おける映像の質感特徴値と、映像の回転情報とを抽出し
    て、質の質感記述子を作る第3段階と、 前記データ質感記述子の回転情報と、質の質感記述子の
    回転情報とを利用して、二質感記述子の回転角度を相互
    一致させる第4段階と、 前記二質感記述子の回転角度を一致させた状態で二映像
    の質感記述子を整合して、二質感記述子間の距離を測定
    する第5段階と、 前記二質感記述子間の距離により二映像の類似度を判定
    する第6段階とを実行させて、質の映像と類似のデータ
    映像とを検索するプログラムを記録したコンピュータ読
    み取り可能な記録媒体。
JP2000206877A 1999-07-09 2000-07-07 周波数空間上における質感表現方法 Expired - Fee Related JP4733813B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR19990027805 1999-07-09
KR1999-27805 1999-07-09
KR1999-41574 1999-09-28
KR1019990041574A KR100308456B1 (ko) 1999-07-09 1999-09-28 주파수 공간상에서의 질감표현방법 및 질감기반 검색방법

Publications (2)

Publication Number Publication Date
JP2001067462A true JP2001067462A (ja) 2001-03-16
JP4733813B2 JP4733813B2 (ja) 2011-07-27

Family

ID=26635781

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000206877A Expired - Fee Related JP4733813B2 (ja) 1999-07-09 2000-07-07 周波数空間上における質感表現方法

Country Status (11)

Country Link
US (1) US6803919B1 (ja)
EP (1) EP1183651A4 (ja)
JP (1) JP4733813B2 (ja)
KR (1) KR100308456B1 (ja)
AU (1) AU5710700A (ja)
CA (1) CA2367966C (ja)
DE (1) DE10033462B4 (ja)
FR (3) FR2798748B1 (ja)
GB (1) GB2355378B (ja)
HK (1) HK1036660A1 (ja)
WO (1) WO2001004842A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328554A (ja) * 2006-06-08 2007-12-20 Fuji Xerox Co Ltd ドキュメント印象評価装置及びドキュメント印象評価プログラム
JP2010515991A (ja) * 2007-01-10 2010-05-13 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ 改良された画像識別
JP2011501257A (ja) * 2007-10-10 2011-01-06 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ 拡張画像識別
JP2011519090A (ja) * 2008-04-23 2011-06-30 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ 画像識別のためのスケールにロバストな特徴に基づく識別子
JP2020135902A (ja) * 2019-02-21 2020-08-31 東京都公立大学法人 3次元アセンブリモデル検索システム、方法およびプログラム

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19928231C2 (de) * 1999-06-21 2003-03-27 Max Planck Gesellschaft Verfahren und Vorrichtung zur Segmentierung einer Punkteverteilung
KR100706414B1 (ko) * 1999-09-16 2007-04-10 주식회사 팬택앤큐리텔 텍스쳐 검색 장치 및 그 방법
US7103591B2 (en) * 2002-12-02 2006-09-05 International Business Machines Corporation Method of describing business and technology information for utilization
JP3925476B2 (ja) * 2003-08-08 2007-06-06 セイコーエプソン株式会社 撮影場面の判定および撮影場面に応じた画像処理
JP4345426B2 (ja) * 2003-10-07 2009-10-14 ソニー株式会社 画像照合方法、プログラム、および画像照合装置
US7480412B2 (en) * 2003-12-16 2009-01-20 Siemens Medical Solutions Usa, Inc. Toboggan-based shape characterization
WO2013078451A1 (en) * 2011-11-22 2013-05-30 Mayo Foundation For Medical Education And Research Methods of determining local spectrum at a pixel using a rotationally invariant s-transform (rist)
US7640780B2 (en) 2006-06-23 2010-01-05 Fci Americas Technology, Inc. Ram retraction selection
EP2089831B1 (en) * 2006-12-01 2011-10-26 Koninklijke Philips Electronics N.V. Method to automatically decode microarray images
JP5358083B2 (ja) * 2007-11-01 2013-12-04 株式会社日立製作所 人物画像検索装置及び画像検索装置
US8820028B2 (en) 2007-03-30 2014-09-02 Certainteed Corporation Attic and wall insulation with desiccant
KR100932210B1 (ko) * 2007-10-12 2009-12-16 광주과학기술원 영상 특징 추출 방법 및 장치, 이를 이용한 컨텐츠 기반의영상 검색 방법 및 장치 그리고 상기 방법들을 수행하는프로그램이 기록된 기록 매체
DE112008000017T5 (de) * 2008-05-09 2009-11-05 Hankuk University of Foreign Studies Research and Industry-University Cooperation Foundation, Yongin Abbilden von Bildern mit Gestaltbeschreibern
US20100067799A1 (en) * 2008-09-17 2010-03-18 Microsoft Corporation Globally invariant radon feature transforms for texture classification
KR101587101B1 (ko) * 2009-02-04 2016-01-20 엘지전자 주식회사 세탁기의 제어 장치
US20110238679A1 (en) * 2010-03-24 2011-09-29 Rovi Technologies Corporation Representing text and other types of content by using a frequency domain
US8725766B2 (en) * 2010-03-25 2014-05-13 Rovi Technologies Corporation Searching text and other types of content by using a frequency domain
DE102010060851A1 (de) * 2010-11-29 2012-05-31 Breitmeier Messtechnik Gmbh Verfahren zur Analyse der Mikrostruktur von Werkstückoberflächen
US9818187B2 (en) 2011-11-22 2017-11-14 Mayo Foundation For Medical Education And Research Determining local spectrum at a pixel using a rotationally invariant S-transform (RIST)
US9262443B2 (en) * 2013-05-15 2016-02-16 Canon Kabushiki Kaisha Classifying materials using texture
WO2014199824A1 (ja) * 2013-06-13 2014-12-18 コニカミノルタ株式会社 画像処理方法、画像処理装置および画像処理プログラム
JP6810392B2 (ja) * 2016-11-30 2021-01-06 日本電気株式会社 個体識別装置
DE102018205668A1 (de) * 2018-04-13 2019-10-17 Siemens Aktiengesellschaft Identifizieren unbesetzter Sitzplätze auf Basis einer Detektion einer sich wiederholenden Textur
CN110807494B (zh) * 2019-11-08 2023-05-30 深圳市深视创新科技有限公司 工业视觉中重复纹理的快速定位方法
CN113960580B (zh) * 2021-10-14 2023-04-07 电子科技大学 一种真假目标一维距离像的变换域不变特征提取方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3993976A (en) * 1974-05-13 1976-11-23 The United States Of America As Represented By The Secretary Of The Air Force Method and apparatus for pattern analysis
US4677576A (en) * 1983-06-27 1987-06-30 Grumman Aerospace Corporation Non-edge computer image generation system
US4615013A (en) * 1983-08-02 1986-09-30 The Singer Company Method and apparatus for texture generation
US4884225A (en) * 1987-04-03 1989-11-28 University Of Massachusetts Medical Center Filtering in 3-D visual system
US5161204A (en) * 1990-06-04 1992-11-03 Neuristics, Inc. Apparatus for generating a feature matrix based on normalized out-class and in-class variation matrices
US5101270A (en) * 1990-12-13 1992-03-31 The Johns Hopkins University Method and apparatus for radon transformation and angular correlation in optical processors
JP2845107B2 (ja) * 1993-10-27 1999-01-13 三菱電機株式会社 画像処理装置
US6002738A (en) * 1995-07-07 1999-12-14 Silicon Graphics, Inc. System and method of performing tomographic reconstruction and volume rendering using texture mapping
US5867609A (en) * 1995-12-07 1999-02-02 Nec Research Institute, Inc. Method for computing correlation operations on partially occluded data
AUPN727295A0 (en) * 1995-12-21 1996-01-18 Canon Kabushiki Kaisha Zone segmentation for image display
JPH09251554A (ja) * 1996-03-18 1997-09-22 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置
US5841890A (en) * 1996-05-06 1998-11-24 Northrop Grumman Corporation Multi-dimensional wavelet tomography
DE19813926A1 (de) * 1998-03-28 1999-09-30 Philips Patentverwaltung Verfahren und Anordnung der medizinischen Bilddatenverarbeitung
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
SG142124A1 (en) * 1999-02-05 2008-05-28 Samsung Electronics Co Ltd Image texture retrieving method and apparatus thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6010008102, A. D. Kulkarni,P. Byars, ""Artificial Neural Network Models For Texture Classification Via: the Radon Transform"", Proceedings of the 1992 ACM/SIGAPP symposium on Applied computing: technological challenges of the 1, 1992, p.659−664, US, ACM *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328554A (ja) * 2006-06-08 2007-12-20 Fuji Xerox Co Ltd ドキュメント印象評価装置及びドキュメント印象評価プログラム
JP2010515991A (ja) * 2007-01-10 2010-05-13 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ 改良された画像識別
JP2011501257A (ja) * 2007-10-10 2011-01-06 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ 拡張画像識別
US8515158B2 (en) 2007-10-10 2013-08-20 Mitsubishi Electric Corporation Enhanced image identification
JP2011519090A (ja) * 2008-04-23 2011-06-30 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ 画像識別のためのスケールにロバストな特徴に基づく識別子
US8831355B2 (en) 2008-04-23 2014-09-09 Mitsubishi Electric Corporation Scale robust feature-based identifiers for image identification
JP2020135902A (ja) * 2019-02-21 2020-08-31 東京都公立大学法人 3次元アセンブリモデル検索システム、方法およびプログラム
JP7429430B2 (ja) 2019-02-21 2024-02-08 東京都公立大学法人 3次元アセンブリモデル検索システム、方法およびプログラム

Also Published As

Publication number Publication date
WO2001004842A1 (en) 2001-01-18
FR2798748A1 (fr) 2001-03-23
FR2861877B1 (fr) 2006-07-28
JP4733813B2 (ja) 2011-07-27
FR2861876A1 (fr) 2005-05-06
CA2367966C (en) 2008-03-11
US6803919B1 (en) 2004-10-12
KR100308456B1 (ko) 2001-11-02
EP1183651A4 (en) 2005-02-23
DE10033462B4 (de) 2005-10-20
FR2798748B1 (fr) 2006-08-04
FR2861876B1 (fr) 2006-07-21
AU5710700A (en) 2001-01-30
GB2355378B (en) 2004-01-21
HK1036660A1 (en) 2002-01-11
GB2355378A (en) 2001-04-18
GB0016488D0 (en) 2000-08-23
EP1183651A1 (en) 2002-03-06
DE10033462A1 (de) 2001-02-15
CA2367966A1 (en) 2001-01-18
KR20010012020A (ko) 2001-02-15
FR2861877A1 (fr) 2005-05-06

Similar Documents

Publication Publication Date Title
JP2001067462A (ja) 周波数空間上における質感表現方法及び質感ベースの検索方法
JP3560159B2 (ja) 周波数空間上でのガボールフィルタを用いたテクスチャ記述方法及びテクスチャ基盤映像検索方法
Liapis et al. Color and texture image retrieval using chromaticity histograms and wavelet frames
US9424277B2 (en) Methods and apparatus for automated true object-based image analysis and retrieval
KR100353798B1 (ko) 영상 객체 모양 정보 추출 방법 및 그를 이용한 내용기반 이미지 검색 시스템 및 그 방법
Sundara Vadivel et al. An efficient CBIR system based on color histogram, edge, and texture features
JP4944672B2 (ja) マルチメディアアイテム(multimediaitem)を示す信号の記述子を決定する方法及び装置、データベース内のアイテムを検索する装置、並びにデータベース内のマルチメディアアイテムを分類する装置
Yap et al. Efficient mobile landmark recognition based on saliency-aware scalable vocabulary tree
Choudhary et al. An integrated approach for image retrieval based on content
Choraś et al. Integrated color, texture and shape information for content-based image retrieval
Wu et al. MPEG-7 texture descriptors
Agarwal et al. Content based image retrieval based on log Gabor wavelet transform
Majumdar et al. Texture feature matching methods for content based image retrieval
Khan et al. A Fused LBP Texture Descriptor-Based Image Retrieval System
Raghuwanshi et al. A survey on texture image retrieval
Aksoy Textural features for content-based image database retrieval
GB2388761A (en) Texture-based retrieval of similar images
Zhang et al. An improved algorithm based on texture feature extraction for image retrieval
Al-Oraiqat et al. A modified image comparison algorithm using histogram features
Patil et al. Survey of Color Feature Extraction Schemes in Content-Based Picture Recovery System
Lee et al. Two active-dimension strategies for multi-query image retrieval
Foo Detection of near-duplicates in large image collections
Su et al. An Efficient Image Retrieval Based on Combined Features
PARVEEN et al. Image Retrieval Scheme using Quantized Bins of Color Image Components and Adaptive Tetrolet Transform

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100216

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100513

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100518

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100616

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101124

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101217

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101222

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110124

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110412

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110425

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees