JP2015012491A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2015012491A
JP2015012491A JP2013137070A JP2013137070A JP2015012491A JP 2015012491 A JP2015012491 A JP 2015012491A JP 2013137070 A JP2013137070 A JP 2013137070A JP 2013137070 A JP2013137070 A JP 2013137070A JP 2015012491 A JP2015012491 A JP 2015012491A
Authority
JP
Japan
Prior art keywords
attribute
region
area
pixel
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013137070A
Other languages
English (en)
Other versions
JP5975945B2 (ja
Inventor
秀也 村本
Hideya Muramoto
秀也 村本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2013137070A priority Critical patent/JP5975945B2/ja
Publication of JP2015012491A publication Critical patent/JP2015012491A/ja
Application granted granted Critical
Publication of JP5975945B2 publication Critical patent/JP5975945B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 画像処理の回路規模を増大することなく、黒文字、色文字、およびイメージ部(階調部)の判定精度を良好にする。【解決手段】 画像領域判定部11は、入力カラー画像データにおける各画素の領域属性を文字領域、白地領域、非白地領域、および網点領域のいずれかとして特定するとともに、その画素の所定の周辺画素の領域属性に基づき、その画素の背景属性を、白地領域、非白地領域および網点領域のいずれかとして特定し、領域属性補正部12は、領域属性が文字領域である注目画素に対して、注目画素から所定サイズの参照ウィンドウ内に存在する複数の参照画素についての、領域属性と背景属性との属性組合せに基づいて、注目画素の領域属性を補正する。【選択図】 図1

Description

本発明は、画像処理装置に関するものである。
ある画像処理装置では、カラー画像上の特徴により画像領域を「網点領域」、「写真領域」または「文字領域」と判別し、それぞれに異なった画像処理を施すことにより、良好な画像を得ている。例えば、網点や写真領域では階調性が重視され、文字領域では鮮鋭性や識別性が重視されるため、目的に応じた画像処理を切り替えて出力することが望まれる。
「文字領域」の場合、さらに黒文字領域か色文字領域かでそれぞれ異なる処理が施されている。例えば特許文献1に記載されている画像処理装置では、無彩色でありかつ文字領域であるときはカラー(CMY)の出力を停止し黒のみを出力している。また、特許文献2に記載されている画像処理装置では、黒文字と色文字と連続階調画像と中間調画像とで各々異なる画像処理を施している。
このような領域毎の処理を行うためには、それぞれの領域を正確に認識し、分離する必要があり、種々の提案がなされている。
例えば特許文献3に記載されている画像処理装置では、色判別部にてカラーか白黒かの判定を行い、色文字属性の場合、文字色の明度を判定し、非常に暗い色および非常に明るい色を除く画素のみを色文字出力している。
しかし、上述の方法では、黒文字と判定された領域と色文字として判定された領域の境界が不必要に強調されて目立ってしまう場合があるとともに、部分ごとに異なる処理が施されて文字としての視認性が低下する場合がある。
また、特許文献4に記載されている画像処理装置では、色画素領域に対し、膨張処理で色文字の切れをつなぎ、収縮処理で黒文字部の色画素を除去することにより、色文字領域の補正処理を施して、判定精度を向上している。
特開昭64−072662号公報 特開平04−160981号公報 特開2000−069309号公報 特開平11−004344号公報
しかしながら、上述の方法では、膨張・縮小処理の特性上、色画素領域にガタツキを有する場合、このガタツキを持ったまま膨張・収縮処理が実行され、十分な補正がなされない可能性がある。また、網点領域上文字や非白地領域上文字の場合、色画素膨張処理による黒文字の消失が懸念される。さらに、色文字領域の補正処理に2つの膨張処理回路および1つの収縮処理回路を必要とするため、演算回路規模が膨大となり、装置のコストが増加してしまう。
本発明は、上記の問題に鑑みてなされたものであり、画像処理の回路規模を増大することなく、黒文字、色文字、およびイメージ部(階調部)の判定精度が良好である画像処理装置を得ることを目的とする。
本発明に係る画像処理装置は、入力カラー画像データにおける各画素の領域属性を文字領域、白地領域、非白地領域、および網点領域のいずれかとして特定するとともに、その画素の所定の周辺画素の前記領域属性に基づき、その画素の背景属性を、前記白地領域、前記非白地領域および前記網点領域のいずれかとして特定する画像領域判別部と、前記領域属性が前記文字領域である注目画素に対して、前記注目画素を含む所定サイズの参照ウィンドウ内に存在する複数の参照画素についての、前記領域属性と前記背景属性との属性組合せに基づいて、前記注目画素の前記領域属性を補正する領域属性補正部とを備える。
本発明によれば、画像処理の回路規模を増大することなく、黒文字、色文字、およびイメージ部(階調部)の判定精度が良好である画像処理装置が得られる。
図1は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 図2は、図1に示す画像処理装置の動作について説明するフローチャートである。 図3は、図1における領域属性補正部12により使用される補正データの一例を示す図である。 図4は、図1に示す画像処理装置による領域属性の補正の具体例を示す図である。
以下、図に基づいて本発明の実施の形態を説明する。
図1は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
図1に示す画像処理装置は、画像入力部1、画像処理部2、および画像出力部3を備える。
画像入力部1は、例えばスキャナーを有し、原稿画像を光学的に読み取り、その原稿画像の画像データを生成し、画像処理部2に出力する。
画像処理部2は、画像入力部1から入力された画像データに対して各種画像処理を行い、画像処理後の画像データを画像出力部3に出力する。
画像出力部3は、例えばプリントエンジンを有し、画像処理部2からの画像データに基づく画像を印刷用紙に印刷する。
そして、画像処理部2は、画像領域判定部11と、領域属性補正部12と、出力画像処理部13とを有する。
画像領域判定部11は、入力された画像データにおける画素ごとに画像領域判定を行う。具体的には、画像領域判別部11は、入力カラー画像データにおける各画素の領域属性を文字領域、白地領域、非白地領域、および網点領域のいずれかとして特定するとともに、その画素の所定の周辺画素の領域属性に基づき、その画素の背景属性を、白地領域、非白地領域および網点領域のいずれかとして特定する。
画像領域判定部11では、文字領域判定部21は、各画素が文字領域内の画素であるか否かおよび文字エッジであるか否かを判定し、網点領域判定部22は、各画素が網点領域内の画素であるか否かを判定し、下地領域判定部23は、各画素が下地領域(つまり無地の領域)内の画素であるか否かを判定するとともに、下地領域内の画素についての下地色を特定する。なお、下地領域判定部23は、下地色が白色である場合、白地領域と判定し、下地色が白以外の有色である場合、非白地(以下、色地ともいう)と判定する。
なお、文字領域判定部21は、例えばエッジ抽出により文字構造を抽出する。また、網点領域判定部22は、例えば縦・横・斜め方向における濃度変化パターン抽出により網点構造を抽出する。さらに、下地色領域判定23は、例えば輝度情報あるいは濃度情報に基づき白地領域であるか非白地領域であるか否かの判定を行う。
また、画像領域判定部11における色彩判定部24は、文字領域判定部121により文字領域と判定された画素が有彩色であるか無彩色であるかを判定する。これにより、文字領域は、さらに、黒文字領域および色文字領域に分けられる。
例えば、色彩判定部24は、入力画像のRGBデータから変換されたYUVデータのU値およびV値に対して閾値処理を行い、黒文字であるか色文字であるかを特定する。
なお、この実施の形態に記載される領域抽出方法や有彩画素判定方法などは、一例であり、別の方法でもよい。
領域属性補正部12は、画像領域判定部11により得られる注目画素の領域属性を補正する。具体的には、領域属性補正部12は、領域属性が文字領域である注目画素に対して、注目画素を含む所定サイズの参照ウィンドウ内に存在する複数の参照画素についての、領域属性と背景属性との属性組合せに基づいて、注目画素の領域属性を補正する。
参照ウィンドウは、注目画素周辺のm×n画素範囲である。
また、この実施の形態では、領域属性補正部12は、参照ウィンドウ内に存在する複数の参照画素について、属性組合せごとに、その属性組合せを有する参照画素をカウントし、そのカウントの結果(カウント値Ni)と、属性組合せごとに設定されている閾値THiとを比較し、そのカウント値Niがその閾値THiを超えた属性組合せに応じて、注目画素の領域属性を補正する。
さらに、この実施の形態では、領域属性補正部12が、属性組合せごとに、上述の閾値THi、およびカウント値Niが閾値THiを超えた場合の補正後の領域属性を示す補正データを有し、注目画素の領域属性を補正する場合、その補正データに基づいて、補正後の領域属性を決定する。
また、その補正データは、カウント値が閾値を超えた場合の補正後の領域属性に関連付けて優先度情報を有する。そして、領域属性補正部12は、カウント値Niが閾値THiを超えた属性組合せが複数ある場合、その優先度情報が示す優先度に基づいて、補正後の領域属性を決定する。
なお、領域属性補正部12は、領域属性が文字領域でありかつ文字エッジ上の注目画素のみに対して、上述の領域属性の補正を行うようにしてもよい。
出力画像処理部13は、画像データに基づく印刷のために必要な画像処理を行う。例えば、出力画像処理部13は、文字領域について、微分フィルター等を用いたエッジ強調処理、文字領域に適応させた、色補正処理、黒生成/UCR(Under Color Removal)処理、中間調処理などを行い、網点領域あるいは下地領域について、積分フィルター等を用いた平滑化処理、網点領域あるいは下地領域に適応させた、色補正処理、黒生成/UCR処理、中間調処理などを行う。これにより、印刷画像内の文字部分を鮮明にしたり、網点部分のモアレやノイズを抑える。
次に、上記画像処理装置の動作について説明する。図2は、図1に示す画像処理装置の動作について説明するフローチャートである。
まず、画像入力部1が、イメージスキャナーにて読み取った原稿画像のビットマップ画像データを生成し、図示せぬメモリーなどに格納する(ステップS1)。
そして、画像処理部2は、その画像データについて、1ページずつ、各ページ内で、所定の走査順序で注目画素を選択していく(ステップS2)。
画像領域判定部11は、上述のようにして、注目画素についての画像領域判定を行う(ステップS3)。これにより、注目画素についての領域属性および背景属性が特定される。
そして、画像領域判定部11は、注目画素の領域属性が文字領域であるか否かを判定する(ステップS4)。そして、注目画素の領域属性が文字領域ではない場合には、注目画素の領域属性の補正は行わない。
一方、注目画素の領域属性が文字領域である場合、画像領域判定部11は、注目画素が無彩色であるか否かを判定し、その判定結果に基づき、文字領域が黒文字領域か色文字領域かを特定する。
そして、領域属性補正部12は、画像領域判定部11で、注目画素の領域属性および背景属性を特定し、さらに、注目画素の参照ウィンドウ内の各参照画素の領域属性および背景属性を特定し、属性組合せごとに、参照画素をカウントする(ステップS5)。
図3は、図1における領域属性補正部12により使用される補正データの一例を示す図である。
図3に示すように、領域属性、および背景属性についての複数の属性組合せが存在し、領域属性補正部12は、複数の属性組合せのそれぞれに対する複数のカウンターを有し、各参照画素について、その参照画素の属性組合せを特定し、特定した属性組合せについてのカウンターのカウント値iを1だけ増加する。
そして、参照ウィンドウ内のすべての参照画素についての属性組合せのカウントが完了した後、領域属性補正部12は、補正データから各属性組合せについての閾値THiを特定し、各属性組合せについて、カウント値Niが閾値THiを超えているか否かを判定する(ステップS6)。
すべての属性組合せについて、カウント値Niが閾値THiを超えていない場合には、この注目画素の領域属性の補正は行わない。
一方、1つの属性組合せについて、カウント値Niが閾値THiを超えている場合、領域属性補正部12は、補正データで、その属性組合せについての補正後の領域属性および背景属性を特定する(ステップS7)。
図3に示す補正データを使用する場合、例えば、注目画素の領域属性が黒文字領域(黒色の文字領域)と判定されたときにおいて、参照画素について、領域属性が色文字領域(有彩色の文字領域)でありかつ背景属性が色文字領域である参照画素の数N5が、その属性組合せの閾値TH5を超えると、注目画素の領域属性が黒文字領域から色文字領域に変更され、注目画素の背景属性が色地領域とされる。なお、図3に示すように、場合によっては、閾値THiを超えた場合でも、補正を行わないことがある。また、属性組合せごとに異なる閾値THiを使用することができる。
他方、複数の属性組合せについて、カウント値Niが閾値THiを超えている場合、領域属性補正部12は、その複数の属性組合せについての優先度情報を、補正データで特定する。図3では、補正後の領域属性の後ろに記載されている括弧付きの数値が優先度情報を示している。なお、ここでは、優先度情報の示す優先度が1である場合が最も優先度が高く、優先度の値が低いほど、優先度が低くなる。そして、領域属性補正部12は、その複数の属性組合せのうち、優先度の最も高い属性組合せを特定し、その属性組合せについての補正後の領域属性を、注目画素の領域属性に設定する。
その後、出力画像処理部13が、注目画素について上述の画像適応処理(空間フィルター処理、色補正処理、黒生成/UCR処理、中間調処理など)を行う(ステップS8)。
画像処理部2は、注目画素についての上述の処理(ステップS2〜S8)が完了すると、注目画素がページの最後に到達しているか否かを判定し(ステップS9)、注目画素がページの最後に到達していない場合には、ステップS2に戻り、次の注目画素を選択し、その注目画素に対して上述の処理(ステップS2〜S8)を実行する。
一方、注目画素がページの最後に到達している場合には、画像処理部2は、このページの画像処理を終了し、このページの印刷を画像出力部3に実行させる(ステップS10)。
図4は、図1に示す画像処理装置による領域属性の補正の具体例を示す図である。
図4(A)は、原稿の一例を示す図である。図4(A)に示す原稿は、「1」という黒文字を有する。
図4(B)は、画像領域判定部11での領域属性判定処理により得られる領域属性の一例を示す。図4(B)示す領域属性においては、文字エッジ部分において、黒文字の画素が誤って色文字領域と判定されている。図4においては、斜線を付している画素が色文字領域と判定された画素である。
図4(C)は、領域属性補正部12が使用する参照ウィンドウの一例を示す。図4(C)に示すように、注目画素を中心とする参照ウィンドウ内の参照画素の属性組合せに基づいて、注目画素の領域属性を補正することで、色文字領域と誤って判定された画素の領域属性が正しい領域属性へ補正される。図4(D)は、補正後の領域属性を示す図である。
図4(C)の参照ウィンドウには、黒文字領域と判定された比較的多数の画素(N10=65)と、色文字領域と誤って判定された比較的少数の画素(N11=2)とが含まれている。よって、図3において、条件「N11>TH11」は満たされないので、優先度が1である「補正せず(1)」は選択されず、条件「N10>TH10」は満たされるので、優先度が2である「白地上黒文字(2)」が選択される。これにより、色文字領域と誤って判定された比較的少数の画素が、黒へ補正される。
以上のように、上記実施の形態によれば、画像領域判定部11は、入力カラー画像データにおける各画素の領域属性を文字領域、白地領域、非白地領域、および網点領域のいずれかとして特定するとともに、その画素の所定の周辺画素の領域属性に基づき、その画素の背景属性を、白地領域、非白地領域および網点領域のいずれかとして特定し、領域属性補正部12は、領域属性が文字領域である注目画素に対して、注目画素を含む所定サイズの参照ウィンドウ内に存在する複数の参照画素についての、領域属性と背景属性との属性組合せに基づいて、注目画素の領域属性を補正する。
これにより、黒文字、色文字およびイメージ部の領域判定の際に誤判定が発生しても補正される。したがって、画像処理の回路規模を増大することなく、黒文字、色文字、およびイメージ部(階調部)の判定精度が良好となる。
なお、上述の実施の形態は、本発明の好適な例であるが、本発明は、これらに限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。
本発明は、例えば、デジタル複合機、イメージスキャナーなどの画像処理装置に適用可能である。
11 画像領域判別部
12 領域属性補正部

Claims (5)

  1. 入力カラー画像データにおける各画素の領域属性を文字領域、白地領域、非白地領域、および網点領域のいずれかとして特定するとともに、その画素の所定の周辺画素の前記領域属性に基づき、その画素の背景属性を、前記白地領域、前記非白地領域および前記網点領域のいずれかとして特定する画像領域判別部と、
    前記領域属性が前記文字領域である注目画素に対して、前記注目画素を含む所定サイズの参照ウィンドウ内に存在する複数の参照画素についての、前記領域属性と前記背景属性との属性組合せに基づいて、前記注目画素の前記領域属性を補正する領域属性補正部と、
    を備えることを特徴とする画像処理装置。
  2. 前記領域属性補正部は、前記参照ウィンドウ内に存在する複数の参照画素について、前記属性組合せごとに、その属性組合せを有する前記参照画素をカウントし、前記カウントの結果と、前記属性組合せごとに設定されている閾値とを比較し、前記カウントの結果が前記閾値を超えた前記属性組合せに応じて、前記注目画素の前記領域属性を補正することを特徴とする請求項1記載の画像処理装置。
  3. 前記属性組合せごとに、前記閾値、および前記カウントの結果が前記閾値を超えた場合の補正後の前記領域属性を示す補正データをさらに備え、
    前記領域属性補正部は、前記注目画素の前記領域属性を補正する場合、前記補正データに基づいて、前記補正後の領域属性を決定すること、
    を特徴とする請求項2記載の画像処理装置。
  4. 前記補正データは、前記カウントの結果が前記閾値を超えた場合の補正後の前記領域属性に関連付けて優先度情報を有し、
    前記領域属性補正部は、前記カウントの結果が前記閾値を超えた前記属性組合せが複数ある場合、前記優先度情報が示す優先度に基づいて、前記補正後の領域属性を決定すること、
    を特徴とする請求項3記載の画像処理装置。
  5. 前記領域属性補正部は、前記領域属性が前記文字領域でありかつ文字エッジ上の注目画素のみに対して、前記参照ウィンドウ内に存在する複数の参照画素についての、前記領域属性と前記背景属性との属性組合せに基づいて、前記注目画素の前記領域属性を補正することを特徴とする請求項1から請求項4のうちのいずれか1項記載の画像処理装置。
JP2013137070A 2013-06-28 2013-06-28 画像処理装置 Expired - Fee Related JP5975945B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013137070A JP5975945B2 (ja) 2013-06-28 2013-06-28 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013137070A JP5975945B2 (ja) 2013-06-28 2013-06-28 画像処理装置

Publications (2)

Publication Number Publication Date
JP2015012491A true JP2015012491A (ja) 2015-01-19
JP5975945B2 JP5975945B2 (ja) 2016-08-23

Family

ID=52305272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013137070A Expired - Fee Related JP5975945B2 (ja) 2013-06-28 2013-06-28 画像処理装置

Country Status (1)

Country Link
JP (1) JP5975945B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016136541A1 (ja) * 2015-02-27 2016-09-01 京セラドキュメントソリューションズ株式会社 画像処理装置
JP2017154433A (ja) * 2016-03-03 2017-09-07 京セラドキュメントソリューションズ株式会社 画像形成装置
WO2022065299A1 (ja) * 2020-09-24 2022-03-31 京セラドキュメントソリューションズ株式会社 画像形成装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002262076A (ja) * 2001-02-28 2002-09-13 Ricoh Co Ltd 画像処理装置
JP2003230006A (ja) * 2002-02-04 2003-08-15 Sharp Corp 画像処理方法および画像処理装置ならびに画像形成装置
JP2009027715A (ja) * 2007-07-20 2009-02-05 Sharp Corp 画像データの色補正方法及びシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002262076A (ja) * 2001-02-28 2002-09-13 Ricoh Co Ltd 画像処理装置
JP2003230006A (ja) * 2002-02-04 2003-08-15 Sharp Corp 画像処理方法および画像処理装置ならびに画像形成装置
JP2009027715A (ja) * 2007-07-20 2009-02-05 Sharp Corp 画像データの色補正方法及びシステム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016136541A1 (ja) * 2015-02-27 2016-09-01 京セラドキュメントソリューションズ株式会社 画像処理装置
CN107211070A (zh) * 2015-02-27 2017-09-26 京瓷办公信息系统株式会社 图像处理装置
JPWO2016136541A1 (ja) * 2015-02-27 2017-11-24 京セラドキュメントソリューションズ株式会社 画像処理装置
CN107211070B (zh) * 2015-02-27 2019-01-15 京瓷办公信息系统株式会社 图像处理装置
JP2017154433A (ja) * 2016-03-03 2017-09-07 京セラドキュメントソリューションズ株式会社 画像形成装置
WO2022065299A1 (ja) * 2020-09-24 2022-03-31 京セラドキュメントソリューションズ株式会社 画像形成装置

Also Published As

Publication number Publication date
JP5975945B2 (ja) 2016-08-23

Similar Documents

Publication Publication Date Title
US7227990B2 (en) Color image processing device and color image processing method
KR101172399B1 (ko) 화상형성장치 및 그 화질 개선 방법
JP6781406B2 (ja) 画像処理装置、および、コンピュータプログラム
JP2009278363A (ja) 画像処理装置及び画像処理方法
US9253368B2 (en) Image processing device setting binary value without using dither matrix when prescribed condition is satisfied
EP3407589B1 (en) Image processing apparatus, image processing method, and storage medium
JP2018056873A (ja) 画像処理装置、および、コンピュータプログラム
JP5975945B2 (ja) 画像処理装置
JP6249240B2 (ja) 画像処理装置
US10846863B2 (en) Pixel binarization apparatus, method, and storage medium
JP2005117504A (ja) 画像処理装置および画像処理方法
US9736339B2 (en) Image processing apparatus
US10931852B2 (en) Image processing apparatus, image processing method, and storage medium, with determining whether or not character clipping rectangle determined to be non-character region is character region
JP2018147199A (ja) 画像処理装置、および、コンピュータプログラム
JP6681033B2 (ja) 画像処理装置
JP4994326B2 (ja) 画像処理装置及び当該画像処理装置を備えた画像形成装置
JP4504327B2 (ja) 分散ドット・バイナリ・ハーフトーン画像のためのエッジ検出
JP6025803B2 (ja) 画像処理装置
JP7077925B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP7377435B2 (ja) 画像処理装置
JP2014011590A (ja) 画像処理装置
JP2018148378A (ja) 画像処理装置、および、コンピュータプログラム
JP6841254B2 (ja) 画像処理装置、および、コンピュータプログラム
JP6311409B2 (ja) 画像処理装置、および、コンピュータプログラム
JP2007081793A (ja) 画像形成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160719

R150 Certificate of patent or registration of utility model

Ref document number: 5975945

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees