JP2012164147A - 画像縮小装置、画像拡大装置、及びこれらのプログラム - Google Patents
画像縮小装置、画像拡大装置、及びこれらのプログラム Download PDFInfo
- Publication number
- JP2012164147A JP2012164147A JP2011024215A JP2011024215A JP2012164147A JP 2012164147 A JP2012164147 A JP 2012164147A JP 2011024215 A JP2011024215 A JP 2011024215A JP 2011024215 A JP2011024215 A JP 2011024215A JP 2012164147 A JP2012164147 A JP 2012164147A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- frame
- information
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 108
- 238000012545 processing Methods 0.000 claims abstract description 180
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 87
- 238000012937 correction Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 75
- 230000008569 process Effects 0.000 claims description 55
- 230000000295 complement effect Effects 0.000 claims description 53
- 239000006185 dispersion Substances 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 230000007480 spreading Effects 0.000 abstract description 3
- 238000003892 spreading Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 136
- 230000033001 locomotion Effects 0.000 description 52
- 238000010586 diagram Methods 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 24
- 230000003044 adaptive effect Effects 0.000 description 22
- 238000003860 storage Methods 0.000 description 18
- 238000004519 manufacturing process Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012887 quadratic function Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012615 high-resolution technique Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
【解決手段】画像縮小装置10は、処理対象の原画像フレームから位置合わせ情報を生成する位置合わせ情報生成部201と、縮小した縮小画像列を生成する画像縮小部202と、生成した位置合わせ情報、縮小画像列及び点広がり関数を用いて拡大画像フレームを生成し、拡大画像フレームと原画像フレームとの差分値が最小となるように当該位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成する位置合わせ情報修正部203と、空間オクターブ分解処理とガウシアンフィルタを用いて拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値が最小となるガウシアンフィルタの分散値を単一フレーム超解像補助情報として生成する分散値決定部204とを備える。
【選択図】図1
Description
図1は、本発明による一実施例の画像縮小装置のブロック図である。本実施例の画像縮小装置10は、制御部20と、記憶部30とを備える。制御部20は、位置合わせ情報生成部201と、画像縮小部202と、位置合わせ情報修正部203と、分散値決定部204とを備える。本実施例の画像縮小装置10をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられる記憶部30に記憶される。コンピュータに備えられる制御部20は、中央演算処理装置(CPU)などの制御で実現することができる。即ち、CPUが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部30から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。尚、後述の説明で明らかとなるが、記憶部30には、「ブロック分割サイズ情報」、「画像縮小率情報」、「マザーウェーブレット情報」、及び「点広がり関数情報」が格納されている。
=DWT(n)(F(x,y,t),wavelet_n) (1)
ExCH(n)
=IDWT(1)(CH(n+1),0,0,0,wavelet_n) (2)
式(3)にガウシアンフィルタを示す。
Gauss(x,y,σ)=exp(−(x2+y2)/2σ2) (3)
ExGauss(x,y,α,β,σ)
=exp(−(αx2+βy2)/2σ2) (5)
=RMS(CA(n−1)(σCH (n),σCV (n),σCD (n)))
−RMS(GExCA(n−1)(σCH (n),σCV (n),σCD (n))
σCH (n)=argmin(Diff_rms(σCH (n)))
σCV (n)=argmin(Diff_rms(σCV (n))) (7)
図8は、本発明による一実施例の画像拡大装置のブロック図である。本実施例の画像拡大装置50は、縮小画像列に対して、単一フレーム補助情報及び複数フレーム超解像補助情報を用いてそれぞれ当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点を画素補完する画素補完候補を生成し、基準画素補完候補を用いて画素補完候補を選別して画素補完後の拡大画像を用いて原画像列に対応する拡大画像列を生成する装置であり、制御部60と、記憶部70とを備える。制御部60は、第1画素補完候補生成部601と、第2画素補完候補生成部602と、画素補完候補選別処理部603と、拡大画像生成部604とを備える。本実施例の画像拡大装置50をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられる記憶部70に記憶される。コンピュータに備えられる制御部70は、中央演算処理装置(CPU)などの制御で実現することができる。即ち、CPUが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部70から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。
[CA(n+1),CH(n+1),CV(n+1),CD(n+1)]
=DWT(1)(CA(n),wavelet_n) (8)
[CA(n−1)]
=IDWT(1)(CA(n), GExCH(n), GExCV(n), GExCD(n),wavelet_n) (9)
位置合わせ情報生成部201bとして、時間方向及び空間方向の周波数解析にウェーブレット変換を用いる場合について説明する。尚、時間方向及び空間方向の周波数解析には、ウェーブレット変換を用いる場合以外に、他の直交変換又はFFT(Fast Fourier transform)を用いることができる。
図13は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部のブロック図である。本例の位置合わせ情報生成部201bは、原画像列の時間方向スペクトルパワーを算出して空間方向の周波数分解階層数を決定し、周波数分解階層数に応じた空間解像度で原画像の空間解像度となるまで階層的に位置合わせを行なった情報を位置合わせ情報として生成する機能を有し、具体的には、時間方向高周波領域パワー算出部2011bと、空間分解階数決定部2012bと、空間方向低周波領域パワー算出部2013bと、位置合わせ開始分解能決定部2014bと、階層型位置合わせ処理部2015bとを備える。
図18は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部の動作を示す動作フローである。ステップS1にて、位置合わせ情報生成部201bは、基準フレームF(tC)及び参照フレームF(tR)を含む、時刻t=t0・・・tmにおけるフレーム画像列F(t0),・・・,F(tC),・・・,F(tR),・・・,F(tm)を入力して、位置合わせ情報生成部201bが備える記憶部(図示せず)に適宜読み出し可能に格納する。
図24は、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部のブロック図である。本例の位置合わせ情報生成部201cは、原画像フレームをブロック分割したブロック単位で位置合わせ情報を生成し、各ブロック内の小領域のサブブロック単位で位置合わせ情報を生成し、サブブロック単位で検出した位置合わせ情報が、対応するブロック位置のブロック単位の動き量に対して所定の閾値以上、及び/又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする確度判定を行ない、有効と判断したサブブロック単位の位置合わせ情報を、対応するブロック単位の位置合わせ情報にベクトル加算して補正することにより、位置合わせ情報修正部203で用いる位置合わせ情報を生成する機能を有し、具体的には、ブロック単位小数画素の位置合わせ処理部2011cと、画素単位小数位置合わせ処理部2012cと、位置合わせ情報確度判定部2013cと、補正位置合わせ情報生成部2014cとを備える。尚、本例の位置合わせ情報生成部201cは、各構成要素が処理するのに必要なデータを格納する記憶部(図示せず)を備える。位置合わせ処理を行う基準フレームをF(tC)、及び位置合わせ情報の探索を行う参照フレームをF(tR)とする。
図28は、本発明による一実施例の画像縮小装置で利用可能な点広がり関数を生成する動き量適応型点広がり関数生成装置のブロック図である。通常、画像縮小の際に発生する動きぼけ関数として点広がり関数PSF(Point Spreading Function)を用い、画像拡大の際にその逆関数を利用して超解像を行う。したがって、動き量適応型点広がり関数生成装置300は、原画像列を用いて位置合わせ情報を生成し、この位置合わせ情報に応じて適応的に点広がり関数が変化する動き量適応型点広がり関数を生成する例である。この動き量適応型点広がり関数は、前述した画像縮小装置10における記憶部30に予め記憶しておくことで利用可能となる。
PSKを、2次元のガウス関数で近似するあたり、式(12)のように、半値幅をwとし、面積が1の規格化ガウス関数の振幅をαとして定義する。
動き量適応型点広がり関数生成装置300は、式(13)の点広がり関数を拡張する。位置合わせ情報mの水平方向の動き量をmx、垂直方向の動き量をmyとすると、式(13)のガウス関数における水平方向と垂直方向の半値幅は、式(14)のように制御される。
50 画像拡大装置
201 位置合わせ情報生成部
202 画像縮小部
203 位置合わせ情報修正部
204 分散値決定部
601 第1画素補完候補生成部
602 第2画素補完候補生成部
603 画素補完候補選別処理部
604 拡大画像生成部
Claims (6)
- 原画像列を縮小して縮小画像列を生成する画像縮小装置であって、
連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも1つの原画像フレームへの位置合わせ情報を生成する位置合わせ情報生成部と、
原画像列を所定の画像縮小率で縮小した縮小画像列を生成する画像縮小部と、
生成した位置合わせ情報、縮小画像列及び点広がり関数を用いて拡大画像フレームを生成し、当該位置合わせ情報の値を可変して拡大画像フレームと原画像フレームとの差分値が最小となるように当該位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成する位置合わせ情報修正部と、
空間オクターブ分解処理とガウシアンフィルタを用いて拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値が最小となるガウシアンフィルタの分散値を単一フレーム超解像補助情報として生成する分散値決定部と
を備えることを特徴とする画像縮小装置。 - 前記位置合わせ情報修正部は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像フレームを生成し、生成した拡大画像の画素と原画像フレームの画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成することを特徴とする、請求項1に記載の画像縮小装置。
- 前記分散値決定部は、空間オクターブ分解処理とガウシアンフィルタを用いて、縮小画像列の処理対象の縮小画像フレームが持つスペクトラム情報から当該縮小画像フレームのナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を単一フレーム超解像補助情報として生成することを特徴とする、請求項1又は2に記載の画像縮小装置。
- 請求項1に記載の画像縮小装置によって生成された縮小画像列に対して、前記複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成する第1画素補完候補生成部と、
請求項1に記載の画像縮小装置によって生成された縮小画像列に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに前記ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成する第2画素補完候補生成部と、
予め定めた基準となる画素補完候補である基準点広がり関数画素補完候補を基に、基準点広がり関数画素補完候補、単一フレーム画素補完候補、及び複数フレーム画素補完候補を選別する画素補完候補選別処理部と、
当該選別された画素補完候補を用いて縮小画像列を拡大する拡大画像生成部と、
を備えることを特徴とする画像拡大装置。 - 原画像列を縮小して縮小画像列を生成する画像縮小装置として機能するコンピュータに、
連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも1つの原画像フレームへの位置合わせ情報を生成するステップと、
原画像列を所定の画像縮小率で縮小した縮小画像列を生成するステップと、
生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像フレームを生成し、生成した拡大画像の画素と原画像フレームの画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成するステップと、
空間オクターブ分解処理とガウシアンフィルタを用いて、縮小画像列の処理対象の縮小画像フレームが持つスペクトラム情報から当該縮小画像フレームのナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を単一フレーム超解像補助情報として生成するステップと、
を実行させるためのプログラム。 - コンピュータに、
請求項1に記載の画像縮小装置によって生成された縮小画像列に対して、前記複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成するステップと、
請求項1に記載の画像縮小装置によって生成された縮小画像列に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに前記ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成するステップと、
予め定めた基準となる画素補完候補である基準点広がり関数画素補完候補を基に、基準点広がり関数画素補完候補、単一フレーム画素補完候補、及び複数フレーム画素補完候補を選別するステップと、
当該選別された画素補完候補を用いて縮小画像列を拡大するステップと、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011024215A JP5514132B2 (ja) | 2011-02-07 | 2011-02-07 | 画像縮小装置、画像拡大装置、及びこれらのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011024215A JP5514132B2 (ja) | 2011-02-07 | 2011-02-07 | 画像縮小装置、画像拡大装置、及びこれらのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012164147A true JP2012164147A (ja) | 2012-08-30 |
JP5514132B2 JP5514132B2 (ja) | 2014-06-04 |
Family
ID=46843477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011024215A Active JP5514132B2 (ja) | 2011-02-07 | 2011-02-07 | 画像縮小装置、画像拡大装置、及びこれらのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5514132B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015230542A (ja) * | 2014-06-04 | 2015-12-21 | 日本放送協会 | 超解像画像最適化装置及びプログラム |
JP2018198402A (ja) * | 2017-05-24 | 2018-12-13 | 日本放送協会 | 符号化装置、復号装置、及びプログラム |
CN109509147A (zh) * | 2017-09-15 | 2019-03-22 | 株式会社东芝 | 图像处理装置以及图像处理方法 |
JP2019057225A (ja) * | 2017-09-22 | 2019-04-11 | 日本放送協会 | 階調補完装置及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005045700A (ja) * | 2003-07-25 | 2005-02-17 | Victor Co Of Japan Ltd | 動画像補間用動き推定方法及び動画像補間用動き推定装置 |
JP2012151751A (ja) * | 2011-01-20 | 2012-08-09 | Nippon Hoso Kyokai <Nhk> | 画像縮小装置、画像拡大装置、及びこれらのプログラム |
-
2011
- 2011-02-07 JP JP2011024215A patent/JP5514132B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005045700A (ja) * | 2003-07-25 | 2005-02-17 | Victor Co Of Japan Ltd | 動画像補間用動き推定方法及び動画像補間用動き推定装置 |
JP2012151751A (ja) * | 2011-01-20 | 2012-08-09 | Nippon Hoso Kyokai <Nhk> | 画像縮小装置、画像拡大装置、及びこれらのプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015230542A (ja) * | 2014-06-04 | 2015-12-21 | 日本放送協会 | 超解像画像最適化装置及びプログラム |
JP2018198402A (ja) * | 2017-05-24 | 2018-12-13 | 日本放送協会 | 符号化装置、復号装置、及びプログラム |
CN109509147A (zh) * | 2017-09-15 | 2019-03-22 | 株式会社东芝 | 图像处理装置以及图像处理方法 |
JP2019057225A (ja) * | 2017-09-22 | 2019-04-11 | 日本放送協会 | 階調補完装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5514132B2 (ja) | 2014-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10311547B2 (en) | Image upscaling system, training method thereof, and image upscaling method | |
JP5727873B2 (ja) | 動きベクトル検出装置、符号化装置、及びこれらのプログラム | |
WO2011111819A1 (ja) | 画像処理装置、画像処理プログラム、および、画像を生成する方法 | |
CN103985085A (zh) | 图像超分辨率放大的方法和装置 | |
JP6462372B2 (ja) | 超解像装置及びプログラム | |
JP5514132B2 (ja) | 画像縮小装置、画像拡大装置、及びこれらのプログラム | |
Jeong et al. | Multi-frame example-based super-resolution using locally directional self-similarity | |
JP5717548B2 (ja) | 超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラム | |
CN107220934B (zh) | 图像重建方法及装置 | |
JP6102938B2 (ja) | 画像処理装置、及び、画像処理方法 | |
Wong et al. | Further improved edge-directed interpolation and fast EDI for SDTV to HDTV conversion | |
US20150324953A1 (en) | Method and apparatus for performing single-image super-resolution | |
CN106851399B (zh) | 视频分辨率提升方法及装置 | |
JP5498970B2 (ja) | 画像縮小装置、画像拡大装置、及びこれらのプログラム | |
JP5829898B2 (ja) | 画像空間超解像装置及びプログラム | |
KR101341617B1 (ko) | 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법 | |
JP6202725B2 (ja) | 画像差分量算出装置、画像符号化装置及びプログラム | |
US20060284891A1 (en) | Method for spatial up-scaling of video frames | |
JP5894422B2 (ja) | 時空間低相関画像超解像装置、画像空間超解像装置、及びそれらのプログラム | |
CN115375539A (zh) | 图像分辨率增强、多帧图像超分辨率系统和方法 | |
US7711204B2 (en) | 1-D image restoration using a sliding window method | |
Lama et al. | New interpolation method based on combination of discrete cosine transform and wavelet transform | |
KR101059649B1 (ko) | 적응적 보간 필터를 이용한 부호화 장치, 그 방법 및 복호화 장치 | |
CN112581362A (zh) | 用于调整图像细节的图像处理方法和装置 | |
JP6817784B2 (ja) | 超解像装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140328 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5514132 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |