JP2001195572A - 特定パターン検出装置 - Google Patents

特定パターン検出装置

Info

Publication number
JP2001195572A
JP2001195572A JP2000004531A JP2000004531A JP2001195572A JP 2001195572 A JP2001195572 A JP 2001195572A JP 2000004531 A JP2000004531 A JP 2000004531A JP 2000004531 A JP2000004531 A JP 2000004531A JP 2001195572 A JP2001195572 A JP 2001195572A
Authority
JP
Japan
Prior art keywords
image
specific pattern
unit
extracting
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000004531A
Other languages
English (en)
Other versions
JP3835097B2 (ja
Inventor
Toshihiro Mori
俊浩 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP2000004531A priority Critical patent/JP3835097B2/ja
Priority to US09/757,529 priority patent/US7050621B2/en
Publication of JP2001195572A publication Critical patent/JP2001195572A/ja
Application granted granted Critical
Publication of JP3835097B2 publication Critical patent/JP3835097B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 高速で、高精度で、構成が簡単な特定パター
ン検出装置及び方法を提供する。 【解決手段】 特定パターン検出装置において、画像検
出用の複数のフィルタを用いて、画像データに含まれる
特定パターンの概略位置を抽出する。次に、この概略位
置を基に、画像における特定パターンの詳細位置を算出
する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像認識処理に関
する。
【0002】
【従来の技術】近年カラー複写機の機能と性能が上がっ
たため偽造防止が大きな問題となり、有効な偽造防止方
法が検討されつづけている。偽造防止方法のひとつで
は、紙幣などの模様の内にあらかじめマークを入れてお
く。複写機においては、複写の際に画像を読み取ると
き、スキャンされた画像を解析し、画像内にマークを検
出したならば、紙幣が複写されると判断して正常な像生
成を禁止する。
【0003】
【発明が解決しようとする課題】入力機器からのデータ
の多くは情報量の多いカラー画像であり、また入出力機
器はますます高速で高解像度になってきている。それに
もかかわらず実時間内での画像認識処理が求められてい
るため、ハードウエア構成が複雑にならざるを得ない。
それゆえ、偽造防止において、高速で、高精度で、構成
が簡単な画像認識手法の開発が重要な課題であった。
【0004】本発明の目的は、高速で、高精度で、構成
が簡単な特定パターン検出装置及び方法を提供すること
である。
【0005】
【課題を解決するための手段】本発明に係る特定パター
ン検出装置は、画像検出用の複数のフィルタと、前記フ
ィルタを用いて、画像データに含まれる特定パターンの
概略位置を抽出する抽出手段と、前記算出された特定パ
ターンの概略位置から、前記特定パターンの詳細位置を
算出する算出手段を備える。画像データに対して、マー
クの回転を考慮した複数の検出フィルタを用いて、特定
パターンの検出処理を行うことによって、特定パターン
を高速に検出できる。前記の特定パターン検出装置にお
いて、さらに、入力画像データを2値化する2値化手段
と、前記2値化された画像データから特定の部分画像を
抽出し、2値化する部分画像抽出手段と、部分画像抽出
手段により抽出され2値化された部分画像から、低解像
度化した縮小画像を作成する縮小画像作成手段とを備え
る。前記抽出手段は、縮小画像作成手段によって作成さ
れた縮小画像に含まれる特定パターンの概略位置を抽出
する。また、前記の特定パターン検出装置において、た
とえば、前記複数のフィルタは、同心円上に配置する。
また、前記の特定パターン検出装置において、たとえ
ば、前記フィルタは、複数種類の特定パターンに対応す
る。また、本発明に係る特定パターン検出方法では、画
像検出用の複数のフィルタを用いて、前記画像データに
含まれる特定パターンの概略位置を抽出し、次に、抽出
された特定パターンの概略位置から、前記特定パターン
の詳細位置を算出する。また、前記の特定パターン検出
方法において、入力画像データを2値化し、次に、2値
化された画像データから特定の部分画像を抽出し、2値
化し、次に、抽出され2値化された前記部分画像から、
低解像度化した縮小画像を作成する。次に、作成した縮
小画像に含まれる前記特定パターンの概略位置を前記複
数のフィルタを用いて抽出する。
【0006】
【発明の実施の形態】以下、添付の図面を参照して本発
明の実施の形態を説明する。なお、図面において、同じ
参照記号は同一または同等のものを示す。図1は、この
発明の実施の形態の特定パターン検出装置の概略構成を
示す。この装置は入力画像から特定のパターン(以下で
はマークという)を検出する。この発明の実施の形態に
おいて以下に説明する検出対象のマークは、所定濃度の
色で同一形状さらに同一サイズの5個の部分画像(以下
ではエレメントという)を配置したものである。そのう
ち2個は所定半径の円の直径上に配置され、残りは2個
の座標位置を基に所定位置に配置されている。
【0007】特定パターン検出装置の処理の概略を説明
すると、この装置は、画像データの低解像度化によりメ
モリアクセスを低減して、マークを高速に検出するもの
である。まず、入力画像をエレメント認識処理を行う解
像度に変換してエレメントを検出し、その結果を2値の
情報としてメモリに記憶する。次に、解像度をさらに低
解像度化したエレメントの縮小画像をメモリに格納す
る。次に、エレメント縮小画像に対して、回転を考慮し
た複数の検出フィルタを配置してマーク検出処理を行
う。検出フィルタの複数の組み合わせにより、マークを
構成する5個のエレメントを検出し、その概略位置と回
転角度を検出する。
【0008】まず、画像入力部1で、画像を読みとって
得られたR(赤)、G(緑)、B(青)の3色の濃度が8ビッ
ト(256階調)で入力される。さらに、入力カラーデ
ータについて解像度変換、変倍などの処理が行われる。
解像度は、認識処理の対象であるマークの各エレメント
を認識できる低い解像度が用いられる。次に、データの
前処理を行う。2値化処理部2から得点マップ作成処理
部5までが前処理部を構成する。2値化処理部2は、入
力された画像濃度があらかじめ規定された参照濃度範囲
内かどうかを判断して入力データの2値化を行い、2値
化データをメモリ6に格納する。(以下の記述では、参
照濃度範囲内の画像を「黒画素」、範囲外の画像を「白
画素」と定義する。)エレメント抽出部3は、フィルタ
を用いて、2値化処理部2において2値化された情報の
配置からエレメントを検出する。縮小画像作成部4は、
エレメント抽出部3にて抽出されたエレメント情報の低
解像度画像を作成し、メモリ6に格納する。得点マップ
作成処理部5は、認識処理を行う解像度のすべての画素
について、周囲のエレメント配置状況を4ビットに変換
してメモリ6に格納する。メモリ6は、2値化の結果、
エレメント抽出結果、縮小画像および得点マップを格納
するメモリであり、また、検出するマークサイズ以上の
ライン数のデータを格納する容量を持つ。
【0009】この前処理では、2値化処理部2により入
力画像データを2値化し、メモリ6に記憶している。エ
レメント抽出処理部3によりマークのエレメントを抽出
し、次に、抽出結果を2値化しメモリ6に記憶する。こ
れにより、メモリアクセス回数を低減し、処理の高速化
を図る。
【0010】また、前処理では、認識処理を行うエレメ
ントの抽出結果を縮小画像作成部4でさらに低解像度化
している。この低解像度化した画像に対して、画像認識
によりマーク検出処理を行う。具体的には、画像認識に
おいて、後で説明するように、エレメントを低解像度化
した画像に対し、回転を考慮した複数の検出フィルタを
用いて、マークの概略位置と回転角度を高速に検出でき
る。
【0011】さらに、従来の前処理では、次のように処
理がすすめられる。まず、認識処理を行う解像度にて、
マークより少し大きいフィルタ内の複数の点と点の距離
を総当りで調べ、まずマークを構成する5点の中の直径
上の2点を検出し、次に、2点の座標位置から残り3点
の座標を計算で求め、求められた理論的な位置の周囲の
メモリを参照し、3点の実際の位置を抽出する。この場
合、1点の位置を検出するのに、十数回のメモリアクセ
スが必要となり、リアルタイム検出処理のボトルネック
となる。これに対し、上述の前処理では、エレメント抽
出時に、同時に参照画素の周囲の情報をあらかじめ4ビ
ットに変換してメモリに格納しておく。前処理に続く認
識処理時に、エレメント配置による得点を算出する際
に、変換された4ビットのみをアクセスするのみで算出
できる。これにより、メモリアクセス回数をさらに低減
し、処理の高速化が図れる。
【0012】前処理に続く画像認識について説明する
と、マーク検出部8は、縮小画像作成部4により作成さ
れたエレメント縮小画像をメモリ6から読み出し、マー
クの概略位置と回転角度を検出する。マーク検出部8に
は、フィルタ部と合計算出部とが含まれる。理論位置算
出部9は、マーク検出部8にて検出されたマークの直径
に配置された2点の座標位置から、残りの3点の理論的
な座標を算出する。そして算出された位置の得点マップ
を参照し、3点のエレメントの位置得点を算出する。出
力部10は、判定結果(認識結果)を得点化して出力す
る。なお、アドレス算出部7は、データを格納したメモ
リ6の所定のアドレスを算出する。
【0013】図2は、エレメント抽出部3と縮小画像作
成部4の処理の概略を示す。まずエレメント抽出部3
は、5画素×5画素の変換フィルタを用いて、2値化処
理部2で2値化された画像からエレメントを抽出する。
縮小画像作成部4は、エレメント抽出結果を2画素×2
画素の大きさでOR縮小してエレメント縮小画像を作成
し、メモリ6に格納する。図に示した例では、16×1
6画素の2値化画像から、変換フィルタを用いて4つの
エレメントが抽出される。次に、2画素×2画素の範囲
でOR演算を行って8×8エレメント縮小画像が作成さ
れる。
【0014】図3は、エレメント抽出部3をハードウエ
ア化した回路の概略を示す。メモリ6から16ビットに
て読み出されたデータはPS変換器30により直列デー
タに変換され、1画素づつフィルタ回路32に入力され
ると同時に、4個のラインメモリ(FIFOメモリ)3
1に連続的に格納される。各FIFOメモリ31は1ラ
イン分のデータを格納できるラインメモリである。FI
FOメモリ31は、4ライン分あり、フィルタ回路32
には副走査方向に5画素のデータが同時に並列に入力さ
れる。また、フィルタ回路32の内部には1ビットのラ
ッチ33が5ライン×4段分あり、計5×5画素のデー
タを5画素×5画素の変換フィルタ34に出力する。処
理されたデータ(エレメントであるか否かの抽出結果)
は、縮小画像作成部4へ入力されると同時に、SP変換
の後、16画素ごとにメモリ6に書き込まれる。
【0015】図4は、縮小画像作成部4のハードウエア
回路の概略を示す。エレメント抽出部3と同様に、FI
FOメモリとラッチとから構成される。入力データは、
直接に、また、ラッチ40を介してORゲート43に出
力される。また、入力データは、1ラインを格納できる
FIFOメモリ41に入力され、FIFOメモリ41か
らのデータも、直接に、また、ラッチ42を介してOR
ゲート43に出力される。これにより、ORゲート43
は、2×2画素のデータに黒画素が含まれるか否かを判
断する。この縮小後の画像は、主走査と副走査の方向に
それぞれ2画素に1回ごとに出力される。出力された画
像は、SP変換の後、16画素ごとにメモリ6に書き込
まれる。
【0016】図5は、得点マップ作成部5の処理の概略
を示す。エレメント抽出部3にて抽出されたエレメント
画像について、図5の左下部に示すような得点フィルタ
にて、参照画像の周囲のエレメント情報を4ビット化し
メモリ6に書きこむ。得点フィルタにおける得点は距離
を考慮して決定されている。図5の左上部に示す例の場
合、黒部分がエレメント位置であり、この場合、得点マ
ップは図5の左側に示すようになる。認識処理を行う画
像の画素の位置情報を検出したエレメントからの距離を
考慮した得点としてメモリ6に書きこんでおくので、画
像認識時にメモリアクセスを低減し、処理を高速化でき
る。
【0017】次に、前処理されたデータについてのマー
ク検出を説明する。図6は、マーク検出部8において用
いる16個の7×7検出フィルタの配置の例を示す。こ
れらの検出フィルタは、マークの回転を考慮し、縮小画
像に対して、同心円状に外側に12個、内側に4個の計
16個である。この検出フィルタは2×2画素の大きさ
にてOR処理を行い、フィルタ内に黒画素が存在するか
否かを1ビットで出力する。
【0018】表1に、1つのマークに対する検出フィル
タの組み合わせ例を示す。ここでは、5点の検出を、角
度に応じて12通りの組み合わせで示している。組み合
わせを増やせば、容易に複数のマークに対応できる。組
み合わせ1では、1番目と7番目のフィルタが組み合わ
され、直径上に配置された2点を検出する。同様に、組
み合わせ2では、2番目と8番目のフィルタが組み合わ
され、直径上に配置された2点を検出する。
【表1】 なお、検出フィルタの組み合わせを増やせば、容易に複
数のマークに対応できる。すなわち、必要に応じて、検
出フィルタは、複数種類のマークを検出するために使用
できる。
【0019】図7は、マーク検出部8の検出フィルタの
ハードウエア回路の概略を示す。メモリ6から読みこま
れたエレメント縮小画像の7ラインのデータがPS変換
器80でシリアルデータに変換され、1ビットのラッチ
81に順次格納される。ラッチ81は、7ライン×6段
分あり、計7×7画素のデータを同時に処理できる。ラ
ッチ81の各出力を組み合わせて、検出フィルタ82が
16個構成され、検出フィルタ82内に黒画素があるか
どうかを検出する。さらに、各検出フィルタの検出結果
が、表1のように12通りで、各5入力ANDゲート8
3で5個組み合わされ、5個の検出フィルタの検出結果
がすべてオンかどうかを調べる。その結果は、ORゲー
ト84を経て検出フラグとして出力される。また、5個
の検出フィルタの検出結果がすべてオンとなる組み合わ
せに対応して、エンコーダ85が検出角度を出力する。
なお、複数の組み合わせが同時に検出された場合、隣り
合ったフィルタの組み合わせが同じマークを同時に検出
していると判断し、どちらの組み合わせを用いてもかま
わない。
【0020】マーク検出部8において、合計数算出部
は、縮小画像の7画素×7画素の範囲の黒がその合計数
を算出する。5点全ての検出フィルタがオンとなる組み
合わせが存在し、かつ、合計数算出部により求められた
合計値が5であった場合、マークの検出と判断する。次
に、理論位置算出部9は、直径を示す2点の縮小前の正
確な座標を検出する。得られた2点の座標から、残り3
点の理論的な座標位置を算出する。
【0021】出力部10は、判定結果(認識結果)を得
点化して出力する。ここで、理論的な座標位置の得点マ
ップを参照する。得点マップの4ビットの数値には、あ
らかじめ下記のような得点が割り振られている(6=1
00点、5=80点、4=65点)。この4ビットの数
値は、エレメントまでの距離を分類したものなので、理
論位置と実際のエレメント位置が近ければ高得点とな
る。最後に、3つのエレメントの得点から総合得点を算
出し、認識結果を出力する。
【0022】検出対象の特定マークには、円パターンか
らなるものがある。図8は、この発明の別の実施の形態
の特定パターン検出装置の概略構成を示す。この特定パ
ターン検出装置において、画像入力部101では、読み
取られたR(赤)、G(緑)、B(青)の3色の濃度が8ビッ
ト(256階調)で入力される。さらに、入力データに
対して、さらに解像度変換、変倍などの前処理が行われ
る。次に、2値化処理部102は、入力された画像濃度
があらかじめ規定された参照濃度範囲内かどうかを判断
して2値化を行い、メモリ103に格納する。メモリ1
03は、2値化処理部102において2値化された結果
を格納するメモリであり、検出するマークサイズ以上の
ライン数を格納する容量を持つ。なお、この2値化処理
部102での処理において、図1に示す特定パターン検
出装置の前処理(2値化処理部2から得点マップ作成処
理部5まで)を用いてもよい。これにより、画像をさら
に低解像度化でき、メモリアクセス回数を低減し、処理
の高速化が図れる。
【0023】次に、円パターン検出部104は、主走査
方向と副走査方向にm、n画素づつずらした複数の円パ
ターン検出ブロックを設け、複数ブロックにて円パター
ンを同時に検出する。具体的には、メモリ103に記憶
された2値化データから、主走査方向に重複して隣接す
る3個分の検出ブロックの画像データを取りだし、円パ
ターン検出部104は、これらのブロックについて同時
に判断する。また、副走査方向に3回、同ブロックを繰
り返し使用することにより、計9ブロックの円パターン
を検出する。
【0024】次に、精査対象選択部105は、複数の検
出結果から所定の条件に従って最有力の1つのブロック
を選択する。すなわち、上述の9個の円パターン検出ブ
ロックにて円パターンを検出したブロックのうち最有力
候補を選択する。パターン精査部106は、精査対象選
択部105により選択された最有力候補のブロックに対
してのみ詳細なパターン精査を行い、規定された参照画
像との類似度を判定する。この処理は、参照画像とのパ
ターンマッチングなどにより、円パターン内部のパター
ンの精査を行うものであり、マークにどれだけ似ている
かを出力する。最有力候補のブロックに対してのみ詳細
なパターン精査を行うことにより、処理を高速化する。
最後に、出力部107は、パターン精査部106の真円
度、パターン精査などの判定結果を得点化して出力す
る。この得点によって、規定のマークかどうかの判定を
行う。なお、アドレス算出部108は、データを格納し
たメモリ103の所定のアドレスを算出する。
【0025】
【発明の効果】特定パターン検出を簡単な構成で高速で
行える。低解像度化により画像データに対するメモリア
クセスを低減し、特定パターン検出を高速化できる。複
数のマークに対して検出フィルタを兼用し、回路の効率
化が計れる。
【図面の簡単な説明】
【図1】 特定パターン検出装置の概略構成を示すブロ
ック図
【図2】 エレメント抽出部と縮小画像作成部の処理を
示す図
【図3】 エレメント抽出部のハードウエア回路の図
【図4】 縮小画像作成部のハードウエア回路の図
【図5】 得点マップ作成部の処理を示す図
【図6】 検出部の検出フィルタ部のハードウエア回路
の図
【図7】 検出部の検出フィルタ部のハードウエア回路
の図
【図8】 変形実施形態の特定パターン検出装置の概略
構成を示すブロック図
【符号の説明】
1 画像入力部、 2 2値化処理部、 3 エレ
メント処理部、 4縮小画像作成部、 5 得点マ
ップ作成部、 6 メモリ、 8 マーク検出部、
9 理論位置算出部、 10 出力部。

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 画像検出用の複数のフィルタと、 前記フィルタを用いて、画像データに含まれる特定パタ
    ーンの概略位置を抽出する抽出手段と、 抽出手段により抽出された特定パターンの概略位置から
    前記特定パターンの詳細位置を算出する算出手段とを備
    えたことを特徴とする特定パターン検出装置。
  2. 【請求項2】 入力画像データを2値化する2値化手段
    と、 2値化手段により2値化された画像データから特定の部
    分画像を抽出し、2値化する部分画像抽出手段と、 部分画像抽出手段により抽出され2値化された部分画像
    から、低解像度化した縮小画像を作成する縮小画像作成
    手段とをさらに備え、 前記抽出手段は、前記縮小画像作成手段によって作成さ
    れた縮小画像に含まれる特定パターンの概略位置を抽出
    することを特徴とする請求項1に記載の特定パターン検
    出装置。
  3. 【請求項3】 前記複数のフィルタは、同心円上に配置
    することを特徴とする請求項1または2に記載された特
    定パターン検出装置。
  4. 【請求項4】 前記フィルタは、複数種類の前記特定パ
    ターンに対応することを特徴とする請求項1または2に
    記載された特定パターン検出装置。
  5. 【請求項5】 画像検出用の複数のフィルタを用いて、
    画像データに含まれる特定パターンの概略位置を抽出
    し、 抽出された特定パターンの概略位置から、前記特定パタ
    ーンの詳細位置を算出することを特徴とする特定パター
    ン検出方法。
  6. 【請求項6】 入力画像データを2値化し、 前記2値化した画像データから特定の部分画像を抽出
    し、2値化し、 前記抽出し、2値化した部分画像から低解像度化した縮
    小画像を作成し、 作成した縮小画像に含まれる前記特定パターンの概略位
    置を前記複数のフィルタを用いて抽出することを特徴と
    する請求項5に記載の特定パターン検出方法。
JP2000004531A 2000-01-13 2000-01-13 特定パターン検出装置および方法 Expired - Fee Related JP3835097B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000004531A JP3835097B2 (ja) 2000-01-13 2000-01-13 特定パターン検出装置および方法
US09/757,529 US7050621B2 (en) 2000-01-13 2001-01-11 Specified pattern detecting apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000004531A JP3835097B2 (ja) 2000-01-13 2000-01-13 特定パターン検出装置および方法

Publications (2)

Publication Number Publication Date
JP2001195572A true JP2001195572A (ja) 2001-07-19
JP3835097B2 JP3835097B2 (ja) 2006-10-18

Family

ID=18533310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000004531A Expired - Fee Related JP3835097B2 (ja) 2000-01-13 2000-01-13 特定パターン検出装置および方法

Country Status (1)

Country Link
JP (1) JP3835097B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105405203B (zh) * 2015-10-22 2018-01-02 深圳怡化电脑股份有限公司 一种鉴别人民币真伪的方法和系统

Also Published As

Publication number Publication date
JP3835097B2 (ja) 2006-10-18

Similar Documents

Publication Publication Date Title
US4817171A (en) Pattern recognition system
JPH0916043A (ja) 画像処理装置及び画像処理方法
JP3675629B2 (ja) パターン認識方法、装置および記録媒体
US7016538B2 (en) Image processor for detecting specified pattern
US7155051B2 (en) Image recognition apparatus, image recognition method and image recognition program for specific pattern
JP2864735B2 (ja) 物体識別方法および装置ならびに物体識別のための画像処理方法および装置
JPS62254282A (ja) 重畳するパタ−ンを分離する方法及び装置
JP3835097B2 (ja) 特定パターン検出装置および方法
JP3835098B2 (ja) 特定パターン検出装置および方法
EP0702320A1 (en) Skew detection
US7050621B2 (en) Specified pattern detecting apparatus
US7474787B2 (en) Apparatus and method of detecting specified pattern
JP2003281593A (ja) 硬貨識別装置と硬貨登録装置と硬貨判定装置、並びに硬貨判定方法
JP3893826B2 (ja) 円パターン検出装置
JP4680419B2 (ja) 円パターン検出装置、方法、コンピュータ実行可能なプログラム、および、そのようなプログラムを記録した記録媒体
JP3896746B2 (ja) 円パターン検出装置
JP4329279B2 (ja) 特定パターン検出装置、方法、コンピュータ実行可能なプログラム、および、そのようなプログラムを記録した記録媒体
JP2003289437A (ja) 画像処理装置および方法
JP3178456B2 (ja) 画像処理装置及び画像処理方法
JP4206605B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラムを記録した記録媒体
JP4329285B2 (ja) 画像認識装置及び方法
JP2001312732A (ja) 画像処理装置および方法
JP3572203B2 (ja) パターン識別方法
JP2001313826A (ja) 画像処理装置、画像処理方法、および画像処理プログラムを記録した記録媒体
JP4218179B2 (ja) パターン検出装置及び方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050614

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050701

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060717

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090804

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100804

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110804

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120804

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130804

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees