JP2010010837A - 画像処理装置、画像処理方法、及び、画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び、画像処理プログラム Download PDF

Info

Publication number
JP2010010837A
JP2010010837A JP2008165088A JP2008165088A JP2010010837A JP 2010010837 A JP2010010837 A JP 2010010837A JP 2008165088 A JP2008165088 A JP 2008165088A JP 2008165088 A JP2008165088 A JP 2008165088A JP 2010010837 A JP2010010837 A JP 2010010837A
Authority
JP
Japan
Prior art keywords
image data
graininess
image
degree
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008165088A
Other languages
English (en)
Other versions
JP5235529B2 (ja
JP2010010837A5 (ja
Inventor
Hiroshi Mori
浩 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008165088A priority Critical patent/JP5235529B2/ja
Publication of JP2010010837A publication Critical patent/JP2010010837A/ja
Publication of JP2010010837A5 publication Critical patent/JP2010010837A5/ja
Application granted granted Critical
Publication of JP5235529B2 publication Critical patent/JP5235529B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】銀塩フイルム(写真)特有の粒状性を柔軟に再現することができる画像処理装置を提供する。
【解決手段】粒状性の程度を示す画像を生成してプレビュー表示するプレビュー表示手段と、画像データの値に応じて、画像データにおける粒状性の程度を変更する変更手段と、変更手段によって変更された粒状性の程度で、画像データに粒状性を付加する付加手段とを備える。
【選択図】図3

Description

本発明は、量子化された画像データを加工する画像処理装置に関する。
近年のプリンタ性能の向上によって、写真画質にせまる印字物が容易に得られるようになってきている。そのような中、写真画質の画像において、高付加価値となるような画像表現がますます求められてきている。
銀塩フイルム(写真)における露出不足などに起因する画像の粒状性は、銀塩フイルム(写真)特有の特性であり、特にモノクロ写真では表現方法の1つである粒状感として好まれている。そのような粒状感をデジタル画像についても、変換処理される中で表現できることが望まれており、さまざまな技術が開発されている。
特許文献1には、画像入力装置において入力された画像信号に対して、画像出力信号に適合するように変換処理する画像信号処理装置が記載されている。その画像信号処理装置は、視覚的に知覚し難い空間周波数特性で、画像信号レベルに対応した量のノイズを生成し、そのノイズを画像信号に重畳する。また、カラー画像信号を扱う場合には、生成されたノイズを視覚的に知覚し難い色空間領域でカラー画像信号に重畳している。
特開平06−133164号公報
しかしながら、従来のように、画像の輝度値によらずに画像全体にノイズを一様に付加する表現方法においては、銀塩フイルム(写真)特有の粒状性を忠実に再現することが困難である。また、一様にノイズを付加する手法では、表現の自由度の幅が狭くなってしまう。
本発明は、銀塩フイルム(写真)特有の粒状性を柔軟に再現することができる画像処理装置を提供する。
本発明に係る画像処理装置は、粒状性を付加するように画像データを処理する画像処理装置であって、粒状性の程度を示す画像を生成してプレビュー表示するプレビュー表示手段と、画像データの値に応じて、画像データにおける粒状性の程度を変更する変更手段と、変更手段によって変更された粒状性の程度で、画像データに粒状性を付加する付加手段とを備える。
本発明によれば、銀塩フイルム(写真)特有の粒状性特性を柔軟に再現することができる。
以下に、本発明を実施するための最良の形態について、図面を参照しながら詳しく説明する。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。
本発明に係る実施形態における画像処理装置は、モノクロ画像データを入力するか、又は、RGB画像データをモノクロ画像データに変換して入力し、そのモノクロ画像に対して粒状感(又は、粒状性)としてノイズを付加する。また、ユーザインタフェース上で、ユーザが輝度値に応じたノイズ強度プリセットを選択することができる。また、ユーザがモノクロ画像のプレビュー画像やヒストグラムを参照しながら、輝度値に応じてノイズ強度を調整してモノクロ画像への粒状感付加処理を行うことができる。
図1は、本発明に係る実施形態における画像処理装置のハードウエア構成の一例を示す図である。画像処理装置100は、例えば、パーソナルコンピュータである情報処理装置である。CPU101は、オペレーティングシステム、アプリケーションプログラム及びデバイスドライバなどを実行することにより、画像処理装置100の各部を統合的に制御する中央演算処理部である。RAM102は、CPU101のワークエリアとして機能するメモリである。ROM103は、BIOSなどの起動プログラムを格納するメモリである。HDD104は、ハードディスクドライブなどの固定記憶部であり、アプリケーションプログラム、オペレーティングシステム及び各種ドライバプログラムなどのコンピュータプログラムや、テストパターン画像などの画像データなどを格納する。通信IF105は、USB、IEEE1394、有線又は無線LANなどの外部の装置とデータ通信を行う際に用いられるインタフェースである。表示IF106は、外部又は内部に接続される表示装置109に画像情報などを表示制御する。操作部107は、ポインティングデバイスやキー入力デバイスなどの入力デバイスである。プリンタ108は、インクジェット方式やレーザービーム方式により画像をメディア上に形成する画像形成装置である。表示装置109は、例えば、液晶ディスプレイであって画像データなどを表示する。ここで、画像処理装置100と操作部107とプリンタ108と表示装置109が、一つに統合されていても良い。
<ユーザインタフェース>
図2は、本実施形態におけるユーザインタフェースの一例を示す図である。図2に示す表示1091は、ノイズ付加画像をプレビュー表示する。ここで、ユーザが粒状感の度合いを確認するために、例えば、画像の一部を拡大表示することが可能である。図2に示す表示1092は、元画像データの輝度値の分布を示す輝度ヒストグラムを表示する(ヒストグラム表示の一例)。また、図2に示すように、ユーザは、「ノイズ強度プリセット」としてA、B、Cの3通りを選択することができる。選択されたノイズ強度プリセットは「ノイズ強度」として表示1093に表示される。図5は、ユーザインタフェースにおいてノイズ強度プリセット「A」が選択された場合の輝度値に対応するノイズ強度の特性を示す図である。図6は、ユーザインタフェースにおいてノイズ強度プリセット「B」が選択された場合の輝度値に対応するノイズ強度の特性を示す図である。図7は、ユーザインタフェースにおいてノイズ強度プリセット「C」が選択された場合の輝度値に対応するノイズ強度の特性を示す図である。図5〜図7において、輝度値に対するノイズ強度の変化点は、制御点(以下、変曲点ともいう)として示されている。
本実施形態においては、基本的に、図5〜図7に示すような予め設定された特性を示すグラフに従ってノイズを付加することができるが、加えて、ユーザによるグラフの編集によって、ノイズ強度を変更することができる。その結果、ユーザがプレビュー画面における画像の粒状性を視覚的に確認しながら、柔軟なノイズ強度の設定を行うことができる。
図2に示す表示1093は、画像データの輝度値に対応したノイズ強度を表示している。本実施形態において、ユーザが「ノイズ強度」を編集することができる。ユーザが操作部107を介して、図5、図6、図7に示す制御点を追加又は移動することによって「ノイズ強度」の形状を変更する。ユーザによって図2に示す「OK」ボタンが選択されて押下されるとノイズ付加処理が実行され、輝度値に対応したノイズ強度が画像に付加され粒状性が表現される。即ち、粒状性の程度とは、着目した輝度値に対応したノイズ強度であって、ユーザが、ユーザインタフェースにおいて粒状性の程度を変更することができる。一方、ユーザによって「キャンセル」ボタンが選択されて押下されると何も実行せずに処理を終了する。
<処理の流れ>
以下、本実施形態における粒状性付加処理の手順について、図3を参照しながら図4を説明する。図3は、本実施形態における粒状性付加処理を行うための機能ブロックを示す図である。また、図4は、本実施形態における粒状性付加処理の手順を示すフローチャートである。図3に示すモノクロ画像変換部302、ヒストグラム作成部304、プレビュー画像作成部305、ノイズ付加部307、ノイズ強度選択部308、ノイズ強度可変部310は、図1に示すCPU101によって実現されても良い。
まず、ステップS401において、画像データがHDD104から読み出される。ここで、画像データがカラーデータの場合には、カラー画像データ301が、モノクロ画像変換部302においてモノクロ画像データ303に変換される。一方、画像データがモノクロデータの場合には、そのままモノクロ画像データ303として読み出される。
次に、ステップS402において、ヒストグラム作成部304は、モノクロ画像データ303から輝度ヒストグラムを生成して表示装置109にヒストグラムを表示する。
次に、ステップS403において、プレビュー画像作成部305が、モノクロ画像データ303からプレビュー画像データ306を生成して表示装置109にプレビュー画像データ306を表示する。
次に、ステップS406において、事前にステップS404で選択又はステップS405で変更されたノイズ強度設定値309を用いて、ノイズ付加部307は、プレビュー画像データ306に対してノイズ付加処理を行う。ノイズ付加処理されたプレビュー画像データ306は表示装置109に表示される(プレビュー表示の一例)。
次に、ステップS407において、ユーザが図2に示す「キャンセル」ボタンを押下して実行した場合には、モノクロ画像データ303にノイズ付加処理を行わずに本処理を終了する。一方、ユーザが図2に示す「キャンセル」ボタンを実行しなかった場合には、ステップS408に進む。ステップS408において、ユーザが図2に示す「OK」ボタンを押下して実行した場合には、ステップS409に進む。一方、ユーザが図2に示す「OK」ボタンを実行しなかった場合には、ユーザの操作に応じてステップS404又はステップS405に進む。
ステップS404において、ユーザが操作部107を用いてノイズ強度選択部308に保持されているノイズ強度プリセットA〜Cから1つ選択して、選択されたノイズ強度プリセットがノイズ強度設定値309として設定される。その場合に、予め設定されていたノイズ強度設定値309は破棄される。
一方、ステップS405において、ユーザが操作部107を用いて表示装置109に表示されたヒストグラムとプレビュー画像を参照しながら、輝度値に応じたノイズ強度設定値309を編集して入力することができる。その場合に、予め設定されているノイズ強度設定値309に対してユーザが編集を行う。既に説明したように、編集は、ユーザが操作部107を用いて図5、図6、図7に示す制御点を追加又は移動等で指定することによって「ノイズ強度」の形状を変更して行われる。編集されたノイズ強度設定値309は、次回のステップS404又はステップS405において更新されるまで保持される。
ステップS409において、ステップS404で選択又はステップS405で変更されたノイズ強度設定値309を用いて、ノイズ付加部307がモノクロ画像データ303にノイズ付加処理を行う。ノイズ付加処理が行われたモノクロ画像データ303は、HDD104に書き込まれるか又はプリンタ108に印字出力されて、本処理を終了する。
以上のように、図4に示す処理においては、ノイズ付加処理されたプレビュー画像を一旦、プレビュー表示し、ユーザがそのプレビュー画面を確認後、元画像にノイズ付加処理することができる。また、ユーザがプレビュー画面を確認した結果、ノイズの強度を変更(又は、既にあるプリセットを選択)することによって、再度、プレビュー画面に表示することができるので、柔軟なノイズ付加処理を実現することができる。
<ノイズ付加処理>
以下、ノイズ付加部307におけるノイズ付加方法について説明する。ここで、ノイズ付加部307に入力される元々の輝度値をLin、ノイズが付加されて出力される輝度値をLout、着目した輝度値xに対応したノイズ強度を関数F(x)とする(例えば、図5〜図7に示すグラフ)。また、乱数によりランダムに決定されるノイズ信号をRN(−1≦RN≦1)とした場合に、出力される輝度値Loutは、次式(1)によって求められる。
Lout=Lin+F(Lin)×RN ・・・(1)
<ノイズ強度設定値>
次に、図5を参照しながらノイズ強度設定値について更に説明する。図5に示すように、ノイズ強度プリセットAの形状は、輝度値0ではノイズ強度も0であり、低輝度領域が高輝度領域よりも大きなノイズ強度の値を有している。銀塩フィルム(写真)においては、高感度な銀塩粒子が大きいので、粒状感が強く得られるという特徴がある。また、暗部の方がより粒状性が出やすいという特徴も有している。従って、本実施形態においては、特に、図5及び図7に示すように、画像における輝度値が低くなる程ノイズ強度を強く画像に付加し、輝度値が高くなる程ノイズ強度を弱く画像に付加することで、上述の銀塩フィルム(写真)のような粒状性を実現している。
また、輝度値0でノイズ強度が0に設定されていることによって、最暗部(黒点)は、粒状性が表現さえずに潰れているように表示される。その結果、画像のコントラストがより明確とすることができる。また、図7は、図5と同様に、低輝度領域のノイズ強度が高輝度領域のノイズ強度よりも大きいという特徴を有しているが、ノイズ強度の変化の仕方がより線形に近くなっている。また、図6においては、輝度値のほぼ全域に渡って、ノイズ強度が一定とされている。
図5〜図7においては、制御点間が直線(1次の関数)で示されているが、特に、2次以上の関数で表される曲線で示されるようにしても良い。その場合に、図示されていないが、曲線を定義できるような関数定義ボタン等が図2に示す画面に設けられていても良い。
図8は、図5に示すノイズ強度プリセットAによってノイズ付加処理されたサンプル画像である。図10に示す元画像に対して、従来の方法によってノイズ付加処理されたサンプル画像(図9)と比較して、輝度に応じたノイズ強度が付加されていることが確認できる。その結果、本実施形態によってノイズ付加処理された図8に示す画像の方が、より元画像のコントラストに従って、粒状性が表現されていることが分かる。
<モノクロ画像変換>
次に、モノクロ画像変換部302における処理内容を説明する。入力されるカラー画像データ301の信号をR、G、Bとし、出力されるモノクロ画像データ303の信号をLとした場合に、次式(2)により、カラー画像信号がモノクロ信号に変換されることができる。
L=R×0.3+G×0.6+B×0.1 ・・・(2)
本発明には、プログラム(画像処理プログラム)コードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた場合についても、本発明は適用される。その場合に、書き込まれたプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される。
本発明に係る実施形態における画像処理装置のハードウエア構成の一例を示す図である。 本実施形態におけるユーザインタフェースの一例を示す図である。 本実施形態における粒状性付加処理を行うための機能ブロックを示す図である。 本実施形態における粒状性付加処理の手順を示すフローチャートである。 ユーザインタフェースにおいてノイズ強度プリセット「A」が選択された場合の輝度値に対応するノイズ強度の変化を示す図である。 ユーザインタフェースにおいてノイズ強度プリセット「B」が選択された場合の輝度値に対応するノイズ強度の変化を示す図である。 図7は、ユーザインタフェースにおいてノイズ強度プリセット「C」が選択された場合の輝度値に対応するノイズ強度の変化を示す図である。 図5に示すノイズ強度プリセット「A」によってノイズ付加処理されたサンプル画像の一例を示す図である。 従来の方法によってノイズ付加処理されたサンプル画像の一例を示す図である。 ノイズ付加処理する前の元画像の一例を示す図である。
符号の説明
100 画像処理装置
1091、1092、1093 表示

Claims (10)

  1. 粒状性を付加するように画像データを処理する画像処理装置であって、
    粒状性の程度を示す画像を生成してプレビュー表示するプレビュー表示手段と、
    前記画像データの値に応じて、前記画像データにおける粒状性の程度を変更する変更手段と、
    前記変更手段によって変更された粒状性の程度で、前記画像データに粒状性を付加する付加手段と
    を備えることを特徴とする画像処理装置。
  2. 前記画像データの値とは輝度値であって、
    前記変更手段は、前記画像データの輝度値が低くなるほど前記粒状性を強くし、前記画像データの輝度値が高くなるほど前記粒状性を弱くするように、前記画像データにおける粒状性の程度を変更することを特徴とする請求項1に記載の画像処理装置。
  3. 前記変更手段は、前記画像データの輝度値に対応した粒状性の変化を示すグラフにおいて、ユーザによる変化の変曲点の指定に応じて、前記画像データにおける粒状性の程度を変更することを特徴とする請求項2に記載の画像処理装置。
  4. 前記粒状性の変化を示すグラフは、ユーザにより指定された変曲点の間を、少なくとも1次の関数で表されたグラフであることを特徴とする請求項3に記載の画像処理装置。
  5. 前記変更手段は、前記画像データの輝度値に対応した粒状性の変化を示す少なくとも1つのプリセットを更に備え、
    ユーザにより選択されたプリセットに従って、前記画像データにおける粒状性の程度を変更することを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。
  6. 前記画像データの輝度値の分布を示すヒストグラムを生成して表示するヒストグラム表示手段を更に備え、
    前記変更手段は、前記ヒストグラム表示手段によってヒストグラムが表示された後に、前記画像データにおける粒状性の程度を変更することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 前記画像データは、モノクロ画像データであることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. カラー画像データをモノクロ画像データに変換する変換手段を更に備え、
    前記付加手段は、前記変換手段によってカラー画像データがモノクロ画像データに変換された後に、前記変更手段によって変更された粒状性の程度で、前記画像データに粒状性を付加することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  9. 粒状性を付加するように画像データを処理する画像処理装置において実行される画像処理方法であって、
    前記画像処理装置のプレビュー表示手段が、粒状性の程度を示す画像を生成してプレビュー表示するプレビュー表示工程と、
    前記画像処理装置の変更手段が、前記画像データの値に応じて、前記画像データにおける粒状性の程度を変更する変更工程と、
    前記画像処理装置の付加手段が、前記変更工程において変更された粒状性の程度で、前記画像データに粒状性を付加する付加工程と
    を備えることを特徴とする画像処理方法。
  10. 粒状性を付加するように画像データを処理するための画像処理プログラムであって、
    粒状性の程度を示す画像を生成してプレビュー表示するプレビュー表示手段と、
    前記画像データの値に応じて、前記画像データにおける粒状性の程度を変更する変更手段と、
    前記変更手段によって変更された粒状性の程度で、前記画像データに粒状性を付加する付加手段と
    してコンピュータを機能させることを特徴とする画像処理プログラム。
JP2008165088A 2008-06-24 2008-06-24 画像処理装置、画像処理方法、及び、画像処理プログラム Active JP5235529B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008165088A JP5235529B2 (ja) 2008-06-24 2008-06-24 画像処理装置、画像処理方法、及び、画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008165088A JP5235529B2 (ja) 2008-06-24 2008-06-24 画像処理装置、画像処理方法、及び、画像処理プログラム

Publications (3)

Publication Number Publication Date
JP2010010837A true JP2010010837A (ja) 2010-01-14
JP2010010837A5 JP2010010837A5 (ja) 2011-08-11
JP5235529B2 JP5235529B2 (ja) 2013-07-10

Family

ID=41590847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008165088A Active JP5235529B2 (ja) 2008-06-24 2008-06-24 画像処理装置、画像処理方法、及び、画像処理プログラム

Country Status (1)

Country Link
JP (1) JP5235529B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013150168A (ja) * 2012-01-19 2013-08-01 Konica Minolta Inc 画像処理装置、及び画像処理装置の制御プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63272173A (ja) * 1987-04-30 1988-11-09 Canon Inc 画像修正方法
JPH1185955A (ja) * 1997-09-10 1999-03-30 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2001034750A (ja) * 1999-06-22 2001-02-09 Eastman Kodak Co 画像処理チェーンにおける非画像データの修正方法
JP2007019617A (ja) * 2005-07-05 2007-01-25 Fujifilm Holdings Corp 撮影装置
JP2007241424A (ja) * 2006-03-06 2007-09-20 Seiko Epson Corp 画像処理装置および画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63272173A (ja) * 1987-04-30 1988-11-09 Canon Inc 画像修正方法
JPH1185955A (ja) * 1997-09-10 1999-03-30 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2001034750A (ja) * 1999-06-22 2001-02-09 Eastman Kodak Co 画像処理チェーンにおける非画像データの修正方法
JP2007019617A (ja) * 2005-07-05 2007-01-25 Fujifilm Holdings Corp 撮影装置
JP2007241424A (ja) * 2006-03-06 2007-09-20 Seiko Epson Corp 画像処理装置および画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013150168A (ja) * 2012-01-19 2013-08-01 Konica Minolta Inc 画像処理装置、及び画像処理装置の制御プログラム

Also Published As

Publication number Publication date
JP5235529B2 (ja) 2013-07-10

Similar Documents

Publication Publication Date Title
JP4047192B2 (ja) 画像圧縮装置及び方法、画像伸張装置及び方法、プログラム
JP2009069680A (ja) 画像処理装置及びプログラム
JP4262151B2 (ja) 画像処理方法および画像処理装置およびコンピュータプログラムおよび記憶媒体
JP6769045B2 (ja) 画像処理装置、および、コンピュータプログラム
US20080151276A1 (en) Method of generating combined look-up table, and image processing apparatus and image forming apparatus
JP2016086350A (ja) 画像処理装置、および、コンピュータプログラム
JP4235583B2 (ja) 画像処理装置、画像処理用プログラム及び記憶媒体
JP4677379B2 (ja) 画像処理装置及び画像処理方法
JP5235529B2 (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
JP2015002442A (ja) 画像処理装置および方法
JP4857069B2 (ja) 画像処理装置及びその制御方法
JP5867687B2 (ja) 画像処理装置および画像処理プログラム
JP2017038167A (ja) 画像処理装置、画像処理方法及びプログラム
JP4612871B2 (ja) 画像処理装置および方法
JP2004240672A (ja) 画像編集プログラム
JP2005196444A (ja) 画像データ処理装置、画像データ処理方法及びそのプログラム
JP2007141152A (ja) デジタルカメラ、印刷装置、画像供給装置
JP2004350182A (ja) データ処理装置、データファイル、データ処理方法、およびプログラム
JP4000818B2 (ja) 画像処理装置および画像処理方法
JP4375223B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2007104250A (ja) 画像表示方法、画像表示システム、画像表示プログラム。
JP4720633B2 (ja) 画像処理システムおよび画像処理プログラム
JP2010206703A (ja) 画像処理装置及び画像処理プログラム
JP2005018524A (ja) 印刷制御方法
JP2017182291A (ja) ラスタライズ処理装置、ラスタライズ処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120413

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120612

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121001

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121226

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130326

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3