JP2002123830A - 照明環境仮想変換装置 - Google Patents

照明環境仮想変換装置

Info

Publication number
JP2002123830A
JP2002123830A JP2000317281A JP2000317281A JP2002123830A JP 2002123830 A JP2002123830 A JP 2002123830A JP 2000317281 A JP2000317281 A JP 2000317281A JP 2000317281 A JP2000317281 A JP 2000317281A JP 2002123830 A JP2002123830 A JP 2002123830A
Authority
JP
Japan
Prior art keywords
image
environment
virtual
illumination environment
spatial frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000317281A
Other languages
English (en)
Other versions
JP4331392B2 (ja
Inventor
Toshihiko Misu
俊彦 三須
Masahide Naemura
昌秀 苗村
Shinichi Sakaida
慎一 境田
Buntou Tei
文涛 鄭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2000317281A priority Critical patent/JP4331392B2/ja
Publication of JP2002123830A publication Critical patent/JP2002123830A/ja
Application granted granted Critical
Publication of JP4331392B2 publication Critical patent/JP4331392B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

(57)【要約】 【課題】 既に撮像された画像の照明環境を仮想的に変
換する。また、自然で作業効率のよい画像合成・特殊効
果を可能にする。 【解決手段】 入力画像を空間周波数スペクトルに写像
するフーリエ変換手段と、撮像時の照明環境の情報と所
望の照明環境の情報から、入力画像と所望の仮想照明環
境下での画像における空間周波数スペクトル間の関係を
表わす伝達関数を計算する伝達関数生成手段と、前記入
力画像の空間周波数スペクトルに前記伝達関数を掛け合
わせて仮想照明環境における空間周波数スペクトルを求
める掛け算手段と、前記仮想照明環境における空間周波
数スペクトルを仮想照明環境における画像に変換する逆
フーリエ変換手段とを具備する照明環境仮想変換装置で
ある。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、映像制作技術や画
像合成装置に係わり、特に、映像の特殊効果装置や合成
画像の作業効率向上及び画質改善のための装置に関する
ものである。
【0002】
【従来の技術】従来、映像制作現場において合成画像を
作成する場合は、通常は撮像の段階で実際に照明光を移
動、増減し、さらに照明光の輝度や拡散および色合いの
程度等を調節することで効果的な合成結果を得ている。
画像合成の段階で合成画像を作成する場合には、画像処
理を用いて輝度や色の変換により微調整を行うこともあ
る。一方、第1段階として被撮像物体の3次元表面形状
を推定し、第2段階としてこの形状に対し陰影処理を行
うことで、仮想的に照明環境を変化させることができ
る。この場合に、入力画像から被撮像物体の3次元表面
形状を求める手法としては、陰影情報に基づく手法(参
考文献1:A.P.Pentland,Linear shape fromshading,
International Journal of Computer Vision,Vol.4,p
p.153-162(1990)、参考文献2:K.M.Lee等,shape fr
om shading with a linear triangularelement surface
model,IEEE Trans.PAMI,Vol.15,No.8,pp.815-822
(Aug.1993))がある。さらに、照明環境や被撮像対象
の反射特性に関する研究もある(参考文献3:B.K.P.Ho
rn,Hill shading and the reflectance map,Proc.of
IEEE,Vol.69,No.1,pp.14-47(Jan.1981))。参考文
献1,2の手法は、形状を求めることのみを目的として
おり、照明環境を変化させるための手法ではない。しか
し、参考文献3による情報とともにコンピュータグラフ
ィクス技術を用いることで仮想的に照明環境を変化させ
ることは理論上は可能である。
【0003】
【発明が解決しようとする課題】撮像の段階で照明光を
実際に移動・増減することにより輝度・色等を変化させ
ることは自然な合成画像や特殊効果を効果的に得るため
には不可欠な作業である。しかし、画像合成の素材の組
み合わせによってそれぞれ適した照明環境が異なるた
め、一度撮影された画像素材を他の映像シーンに流用す
ることは不適当であることが多い。また、合成結果や映
像効果が照明環境の不一致などにより所望のものでなか
った場合には、再度撮影し直す必要がある。従来の3次
元形状推定と陰影処理の処理を用いて合成画像を得る場
合には、2段階の処理を要するため演算量が大きかっ
た。本発明の目的は、既に撮像された画像の照明環境を
仮想的に変換することが可能な技術を提供し、自然で作
業効率のよい画像合成・特殊効果が可能で、被撮像対象
の3次元形状を求めることなく、照明環境を変化させた
場合の画像を少ない演算量で合成することが可能な技術
を提供することにある。本発明の前記ならびにその他の
目的と新規な特徴は、本明細書の記述及び添付図面によ
って明らかにする。
【0004】
【課題を解決するための手段】本願において開示される
発明の概要を簡単に説明すれば、下記のとおりである。 (1)入力画像を空間周波数スペクトルに写像するフー
リエ変換手段と、撮像時の照明環境の情報と所望の照明
環境の情報から、入力画像と所望の仮想照明環境下での
画像とにおける空間周波数スペクトル間の関係を表わす
伝達関数を計算する伝達関数生成手段と、前記入力画像
の空間周波数スペクトルに前記伝達関数を掛け合わせて
仮想照明環境における空間周波数スペクトルを求める掛
け算手段と、前記仮想照明環境における空間周波数スペ
クトルを仮想照明環境における画像に変換する逆フーリ
エ変換手段とを具備する照明環境仮想変換装置である。
【0005】(2)入力画像を空間周波数スペクトルに
写像するフーリエ変換手段と、既に撮像された未知の照
明環境下の画像から撮影時の照明環境情報を推定する照
明環境推定手段と、前記撮像時の照明環境の情報と所望
の照明環境の情報から、前記入力画像の撮影時の照明環
境情報と所望の仮想照明環境下での画像とにおける空間
周波数スペクトル間の関係を表わす伝達関数を計算する
伝達関数生成手段と、前記入力画像の空間周波数スペク
トルに前記伝達関数を掛け合わせて仮想照明環境におけ
る空間周波数スペクトルを求める掛け算手段と、前記仮
想照明環境における空間周波数スペクトルを仮想照明環
境における画像に変換する逆フーリエ変換手段とを具備
する照明環境仮想変換装置である。
【0006】(3)前記手段(1)又は(2)の照明環
境仮想変換装置において、前記照明環境の情報に、照明
光の入射方向を用いる。
【0007】(4)前記手段(1)乃至(3)のうちい
ずれか1つの照明環境仮想変換装置において、前記の既
知の照明環境情報に基づいて所望の照明環境での画像に
変換する手法として、空間周波数領域もしくは空間領域
におけるフィルタ処理を用いる。
【0008】(5)入力画像を分割する手段と、分割さ
れた各部分画像ごとに前記手段(1)乃至(4)のうち
いずれか1つの処理を行い、照明環境や被撮像物体表面
特性の異なる画像領域ごとの適応的な画像処理を行う画
像処理手段を具備する照明環境仮想変換装置である。
【0009】すなわち、本発明のポイントは、入力画像
を空間周波数スペクトルに写像するフーリエ変換手段
と、撮像時の照明環境の情報と所望の照明環境の情報か
ら、入力画像と所望の仮想照明環境下での画像とにおけ
る空間周波数スペクトル間の関係を表わす伝達関数を計
算する伝達関数生成手段と、前記入力画像の空間周波数
スペクトルに前記伝達関数を掛け合わせて仮想照明環境
における空間周波数スペクトルを求める掛け算手段と、
前記仮想照明環境における空間周波数スペクトルを仮想
照明環境における画像に変換する逆フーリエ変換手段と
を具備することである。また、既に撮像された画像から
照明環境を推定するために、照明環境推定手段を付加す
ることもできる。
【0010】好ましくは、前記フーリエ変換手段及び前
記逆フーリエ変換手段として、高速フーリエ変換アルゴ
リズム及び高速逆フーリエ変換アルゴリズムを用いる。
これによって演算の高速化がなされる。好適には、前記
照明環境の記述に入射光の方向ベクトルを用いる。これ
によって前記照明環境推定手段を効率的に実行すること
ができる。本発明によれば、既に撮影された画像の照明
環境から、再び撮影をすることなく別の照明環境におけ
る画像を生成することができるようになる。
【0011】以下に、本発明について、本発明による実
施形態(実施例)とともに図面を参照して詳細に説明す
る。なお、実施形態(実施例)を説明するための全図に
おいて、同一機能を有するものは同一符号を付け、その
繰り返しの説明は省略する。
【0012】
【発明の実施の形態】(実施形態1)図1は、本発明に
よる実施形態1の照明環境仮想変換装置の概略構成を示
すブロック図である。本実施形態の照明環境仮想変換装
置は、空間周波数領域におけるフィルタ処理によって入
力画像を変換し、所望の照明環境で撮像された画像を仮
想的に生成するものである。図1に示すように、本実施
形態の照明環境仮想変換装置は、画像信号を空間周波数
スペクトルに変換するフーリエ変換回路1と、撮像時照
明環境情報と所望照明環境情報から空間周波数伝達関数
を生成する伝達関数生成回路2と、空間周波数スペクト
ルと空間周波数伝達関数の掛け算を行う掛け算回路3
と、空間周波数スペクトルを画像に変換する逆フーリエ
変換回路4とを具備する。
【0013】以下、本実施形態1の照明環境仮想変換装
置の動作を説明する。先ず、画像信号がフーリエ変換回
路1に入力される。前記入力される画像は水平画素数H
及び垂直画素数Vからなるものとし、画像座標(x,
y)における輝度値をI(x,y)で表現する。前記フ
ーリエ変換回路1は、入力された画像を離散フーリエ変
換する。入力画像を離散フーリエ変換した結果である空
間周波数スペクトルをS(u,v)とする。ここで、u
及びvはそれぞれ水平方向及び垂直方向の空間周波数と
する。
【0014】前記伝達関数生成回路2は、入力された撮
像時照明環境情報及び所望照明環境情報から空間周波数
伝達関数を生成する。本実施形態1では、撮像時照明環
境情報及び所望照明環境情報の表現方法として、被撮像
対象における入射光の方向ベクトルを用いる。画像平面
xyに直交する光軸方向をz軸と定義し、撮像時照明環
境情報である入射光単位ベクトルを(Lx,Ly,L
z)、所望照明環境情報である入射光単位ベクトルを
(Mx,My,Mz)とする。被撮像対象の表面を完全
拡散面でモデル化し、表面の向きと観測輝度の関係を線
形近似することで得られる異照明環境間の空間周波数伝
達関数をT(u,v)とすると、数1の式で定式化でき
る。
【0015】
【数1】
【0016】参考文献1に記述されているPentlandの
Linear Shape from Shadingで用いられているWiene
rフィルタを応用すれば、前記数1の式における極の問
題が避けられ、安定な結果が得られる。
【0017】
【数2】
【0018】ただし、0.5<d<0.75とする。伝達
関数生成回路2は、前記数1もしくは数2の式に記載の
T(u,v)を出力する。前記掛け算回路3は、空間周
波数(u,v)の定義域において入力画像の空間周波数
スペクトルS(u,v)と、空間周波数伝達関数T
(u,v)の積を演算し、出力する。すなわち、出力を
S’(u,v)とおくと、次の数3の式となる。
【0019】
【数3】 S’(u,v)=T(u,v)S(u,
v) 前記逆フーリエ変換回路4は、S’(u,v)を離散逆
フーリエ変換し、仮想的に照明環境を変換した画像I’
(x,y)を出力する。
【0020】(実施形態2)図2は、本発明による実施
形態2の照明環境仮想変換装置の概略構成を示すブロッ
ク図である。本実施形態2の照明環境仮想変換装置は、
前記図1に示す本実施形態1の照明環境仮想変換装置に
照明環境推定回路5を内蔵させることにより、未知の照
明環境における照明環境仮想変換を可能としたものであ
る。入射光の方向が(Lx,Ly,Lz)であるとき、
空間周波数スペクトルS(u,v)は直線Lxu+Ly
v=0付近において零に近い値をとることから、照明環
境推定回路5は、次の数4の式の演算により、Lx及び
Lyを変化させながら直線Lxu+Lyv=0付近にお
ける空間周波数スペクトルの絶対値|S(u,v)|の
総和を最小化するKx及びKyの対を求める。
【0021】
【数4】
【0022】これにより、視覚的に重要な入射光ベクト
ルの視線直交成分が計算される。なお、閾値tは直線に
若干の幅を持たせるためのパラメータである。照明環境
推定回路5の出力(Lx,Ly,Lz)は、比例式L
x:Ly:Lz=Kx:Ky:Kzを満たす単位ベクト
ルとする。ここで、Lzは推定不能であるため、適当な
固定値とするか、調整パラメータの1つとして人が外部
から入力するか、入力画像のコントラスト等から適宜決
定するなどにより与える。
【0023】(実施形態3)図3は、本発明による実施
形態3の照明環境仮想変換装置の概略構成を示すブロッ
ク図である。本実施形態3の照明環境仮想変換装置は、
入力画像を領域分割回路9により撮像時の照明条件や物
体色の異なる領域に分割し、分割された領域ごとに図2
に示す照明環境仮想変換回路6の処理を行うことによ
り、画像の局所的な性質を反映し変換後の画質を向上す
るものである。
【0024】前記領域分割回路9は、入力画像信号の色
やテクスチャなどの情報に基づいてK平均アルゴリズム
(参考文献4:S.Z.Selim等,K-means-type algorithm
s,IEEE Trans.PAMI.Vol.6,No.1,pp.81-87,1984)
などにより領域分割処理を行う。例えば、色の差と画素
間の距離の自乗和の平方根で定義される距離を最小化す
るよう画像を分割する。分割された各領域は一般に不定
形であるため、パディング回路10−1、10−2、
…、10−Nにより適宜数値を埋めることで矩形形状と
する。埋め合わせる数値は任意であるが、好適には値を
有する最近傍の画素値を用いる。前記パディング回路出
力の画像は照明環境仮想変換回路6−1、6−2、…6
−Nの画像信号入力7−1、7−2、…、7−Nに入力
される。一方、所望照明環境情報は8−1、8−2、
…、8−Nの各入力に入力される。照明環境仮想変換回
路6−1、6−2、…、6−Nにより仮想的に照明環境
を変換された画像は画像合成回路11によって1枚の画
像に合成され出力される。
【0025】以上、本発明者によってなされた発明を、
前記実施形態に基づき具体的に説明したが、本発明は、
前記実施形態に限定されるものではなく、その要旨を逸
脱しない範囲において種々変更可能であることは勿論で
ある。
【0026】
【発明の効果】本願において開示される発明によって得
られる効果を簡単に説明すれば、下記のとおりである。
本発明によれば、既に撮像された画像の照明環境を仮想
的に変換することができ、自然で作業効率のよい画像合
成・特殊効果が可能となる。また、被撮像対象の3次元
形状を求めることなく、照明環境を変化させた場合の画
像を少ない演算量で合成することができる。
【図面の簡単な説明】
【図1】本発明による実施形態1の照明環境仮想変換装
置の概略構成を示すブロック図である。
【図2】本発明による実施形態2の照明環境仮想変換装
置の概略構成を示すブロック図である。
【図3】本発明による実施形態3の照明環境仮想変換装
置の概略構成を示すブロック図である。
【符号の説明】
1…フーリエ変換回路 2…伝達関数生成回路 3…掛け算回路 4…逆フーリエ変換回路 5…照明環境推定回路 6,6−1,6−2,…,6−N…照明環境仮想変換回
路 7,7−1,7−2,…,7−N…画像信号入力 8,8−1,8−2,…,8−N…所望照明環境情報入
力 9…領域分割回路 10,10−1,10−2,…,10−N…パディング
回路 11…画像合成回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 境田 慎一 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 鄭 文涛 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 Fターム(参考) 5B057 AA20 CA08 CA12 CB08 CB12 CC01 CD14 CE06 CE11 CH20 DB02 DB09 5C023 AA01 AA11 CA01 CA08 EA05 5C066 AA11 CA01 GB01 KE00 KE03

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 入力画像を空間周波数スペクトルに写像
    するフーリエ変換手段と、撮像時の照明環境の情報と所
    望の照明環境の情報から、入力画像と所望の仮想照明環
    境下での画像における空間周波数スペクトル間の関係を
    表わす伝達関数を計算する伝達関数生成手段と、前記入
    力画像の空間周波数スペクトルに前記伝達関数を掛け合
    わせて仮想照明環境における空間周波数スペクトルを求
    める掛け算手段と、前記仮想照明環境における空間周波
    数スペクトルを仮想照明環境における画像に変換する逆
    フーリエ変換手段とを具備することを特徴とする照明環
    境仮想変換装置。
  2. 【請求項2】 入力画像を空間周波数スペクトルに写像
    するフーリエ変換手段と、既に撮像された未知の照明環
    境下の画像から撮影時の照明環境情報を推定する照明環
    境推定手段と、前記撮像時の照明環境の情報と所望の照
    明環境の情報から、前記入力画像の撮影時の照明環境情
    報と所望の仮想照明環境下での画像とにおける空間周波
    数スペクトル間の関係を表わす伝達関数を計算する伝達
    関数生成手段と、前記入力画像の空間周波数スペクトル
    に前記伝達関数を掛け合わせて仮想照明環境における空
    間周波数スペクトルを求める掛け算手段と、前記仮想照
    明環境における空間周波数スペクトルを仮想照明環境に
    おける画像に変換する逆フーリエ変換手段とを具備する
    ことを特徴とする照明環境仮想変換装置。
  3. 【請求項3】 前記照明環境の情報に、照明光の入射方
    向を用いることを特徴とする請求項1又は2に記載の照
    明環境仮想変換装置。
  4. 【請求項4】 前記の既知の照明環境情報に基づいて所
    望の照明環境での画像に変換する手法として、空間周波
    数領域もしくは空間領域におけるフィルタ処理を用いる
    ことを特徴とする請求項1乃至3のうちいずれか1項に
    記載の照明環境仮想変換装置。
  5. 【請求項5】 入力画像を分割する手段と、分割された
    各部分画像ごとに前記請求項1乃至4のうちいずれか1
    項に記載の処理を行い、照明環境や被撮像物体表面特性
    の異なる画像領域ごとの適応的な画像処理を行う画像処
    理手段を具備することを特徴とする照明環境仮想変換装
    置。
JP2000317281A 2000-10-18 2000-10-18 照明環境仮想変換装置 Expired - Fee Related JP4331392B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000317281A JP4331392B2 (ja) 2000-10-18 2000-10-18 照明環境仮想変換装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000317281A JP4331392B2 (ja) 2000-10-18 2000-10-18 照明環境仮想変換装置

Publications (2)

Publication Number Publication Date
JP2002123830A true JP2002123830A (ja) 2002-04-26
JP4331392B2 JP4331392B2 (ja) 2009-09-16

Family

ID=18796092

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000317281A Expired - Fee Related JP4331392B2 (ja) 2000-10-18 2000-10-18 照明環境仮想変換装置

Country Status (1)

Country Link
JP (1) JP4331392B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101488647B1 (ko) 2014-10-30 2015-02-04 권오형 모바일 단말의 가상 조명 동작방법 및 장치
JP2016072694A (ja) * 2014-09-26 2016-05-09 キヤノン株式会社 画像処理装置およびその制御方法、プログラムならびに記録媒体
JP2017518548A (ja) * 2014-03-13 2017-07-06 クアルコム,インコーポレイテッド 拡張現実環境における仮想オブジェクトの現実的な色の作成
US9836799B2 (en) 2014-07-02 2017-12-05 Fujitsu Limited Service provision program
JP2018036803A (ja) * 2016-08-30 2018-03-08 パナソニックIpマネジメント株式会社 照明空間シミュレーション装置及び照明空間シミュレーション方法
KR20180117835A (ko) * 2017-04-20 2018-10-30 에스케이텔레콤 주식회사 이미지를 렌더링하는 방법
WO2022215163A1 (ja) * 2021-04-06 2022-10-13 日本電信電話株式会社 情報処理装置、情報処理方法、及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017518548A (ja) * 2014-03-13 2017-07-06 クアルコム,インコーポレイテッド 拡張現実環境における仮想オブジェクトの現実的な色の作成
US9836799B2 (en) 2014-07-02 2017-12-05 Fujitsu Limited Service provision program
JP2016072694A (ja) * 2014-09-26 2016-05-09 キヤノン株式会社 画像処理装置およびその制御方法、プログラムならびに記録媒体
KR101488647B1 (ko) 2014-10-30 2015-02-04 권오형 모바일 단말의 가상 조명 동작방법 및 장치
JP2018036803A (ja) * 2016-08-30 2018-03-08 パナソニックIpマネジメント株式会社 照明空間シミュレーション装置及び照明空間シミュレーション方法
KR20180117835A (ko) * 2017-04-20 2018-10-30 에스케이텔레콤 주식회사 이미지를 렌더링하는 방법
KR102085701B1 (ko) * 2017-04-20 2020-03-06 에스케이텔레콤 주식회사 이미지를 렌더링하는 방법
WO2022215163A1 (ja) * 2021-04-06 2022-10-13 日本電信電話株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP4331392B2 (ja) 2009-09-16

Similar Documents

Publication Publication Date Title
TWI524734B (zh) 產生深度圖的方法及裝置
WO2020242170A1 (en) Electronic device and controlling method thereof
JP2013026669A (ja) ノイズ低減装置、ノイズ低減方法及びプログラム
JP4331392B2 (ja) 照明環境仮想変換装置
CN114640885B (zh) 视频插帧方法、训练方法、装置和电子设备
JPH08123969A (ja) マッピング装置
JPH1051811A (ja) 立体感調整方法および立体感調整装置
JP4370672B2 (ja) 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体
JPH10191397A (ja) 意図適応型の2次元映像を3次元映像に変換する装置
Yamanaka et al. Adaptive image projection onto non-planar screen using projector-camera systems
JPS6326783A (ja) カラ−画像処理方式
JP4173705B2 (ja) 動画像合成方法および装置並びにプログラム
JPH0721365A (ja) 画像処理方法および装置
JP2002522982A (ja) 静止画像生成方法及び装置
Kang et al. FPGA implementation for enhancing image using pixel-based median channel prior
JP4030655B2 (ja) 階調変換方法および装置
JP5515864B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
JP2883648B2 (ja) 画像入出力装置
JP6854629B2 (ja) 画像処理装置、画像処理方法
Torreao et al. Single-image shape from defocus
CN101764915A (zh) 一种基于包围盒的键调优方法和装置
JPH09326040A (ja) 画像合成装置
KR20140121064A (ko) 템플릿 모델 기반의 3d 영상 생성 방법 및 장치
JP2916607B2 (ja) 画像拡大装置
JP2004152148A (ja) 動画像合成方法および装置並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090526

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090618

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120626

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120626

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130626

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140626

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees