JP2001313837A - 画像処理装置および方法 - Google Patents

画像処理装置および方法

Info

Publication number
JP2001313837A
JP2001313837A JP2000129763A JP2000129763A JP2001313837A JP 2001313837 A JP2001313837 A JP 2001313837A JP 2000129763 A JP2000129763 A JP 2000129763A JP 2000129763 A JP2000129763 A JP 2000129763A JP 2001313837 A JP2001313837 A JP 2001313837A
Authority
JP
Japan
Prior art keywords
range
color
image processing
pieces
color information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000129763A
Other languages
English (en)
Other versions
JP4016571B2 (ja
Inventor
Takero Hama
健朗 濱
Akira Murakawa
彰 村川
Keisuke Hashimoto
圭介 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP2000129763A priority Critical patent/JP4016571B2/ja
Priority to US09/843,703 priority patent/US20020001096A1/en
Publication of JP2001313837A publication Critical patent/JP2001313837A/ja
Application granted granted Critical
Publication of JP4016571B2 publication Critical patent/JP4016571B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Record Information Processing For Printing (AREA)
  • Cleaning In Electrography (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

(57)【要約】 【課題】 色を精度よく判別できる画像処理方法及び装
置を提供する。 【解決手段】 画像処理において、入力された画像につ
いて、注目画素の複数の色情報がそれぞれ第1の範囲内
であることを判断し、次に、複数の色情報の1次演算デ
ータについて第2の範囲内であることを判断する。そし
て、第1の範囲内にあると判断し、かつ、第2の範囲内
にあると判断したとき、注目画素が特定色であると判断
する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像において特定
パターンを検知する画像検知技術に関する。
【0002】
【従来の技術】近年カラー複写機の機能と性能が上が
り、紙幣、有価証券などの有効な偽造防止方法が検討さ
れ続けている。偽造防止方法のひとつに、紙幣などの模
様の内に特定パターンを入れておき、スキャンされた画
像を解析し、画像内に特定パターンを検出したならば正
常な像生成を禁止する方法がある。その際、画像読取に
おいて紙幣などが任意角の状態で置かれた場合や、紙幣
などの流通過程において生じる局部的な汚れ、傷がある
場合にも、スキャンされた画像から特定パターンを検知
する必要がある。
【0003】
【発明が解決しようとする課題】スキャナで画像を読み
取る場合、スキャン条件によって読み取った画像の色味
が変化する。その他、スキャナの劣化、環境条件の変
化、ストレス条件の変化などにより、入力画像データが
影響を受ける。このため、ある特定画像の検知にあたっ
ては色の判別範囲を広くする必要がある。しかし、判別
範囲を広くすることは、ノイズ成分を増やし、検知の誤
りを多くする原因になる。
【0004】本発明の目的は、色を精度よく判別できる
画像処理方法及び装置を提供することである。
【0005】
【課題を解決するための手段】本発明に係る画像処理装
置は、入力された画像について、注目画素の複数の色情
報がそれぞれ第1の範囲内であることを判断する第1判
別手段と、複数の色情報の1次演算データについて第2
の範囲内であることを判断する第2判別手段と、第1の
判別手段が第1の範囲内にあると判断し、かつ、第2の
判別手段が第2の範囲内にあると判断したとき、注目画
素が特定色であると判断する色判別手段とを備える。前
記の画像処理装置において、たとえば、前記の第2判別
手段の1次演算データは複数の色情報の差である。前記
の画像処理装置は、好ましくは、さらに、色判別手段に
よる判別結果を基に、特定の形状を持つ小要素を抽出す
る小要素抽出手段と、小要素抽出手段により抽出された
小要素が特定の配置関係にあるかを識別する配置識別手
段を備える。
【0006】本発明に係る画像処理方法は、入力された
画像について、注目画素の複数の色情報がそれぞれ第1
の範囲内であることを判断し、次に、複数の色情報の1
次演算データについて第2の範囲内であることを判断
し、次に、第1の範囲内にあると判断し、かつ、第2の
範囲内にあると判断したとき、注目画素が特定色である
と判断する。前記の画像処理方法において、たとえば、
前記の第2判別手段の1次演算データは複数の色情報の
差である。前記の画像処理方法において、好ましくは、
さらに、色判別結果を基に、特定の形状を持つ小要素を
抽出し、抽出された小要素が特定の配置関係にあるかを
識別する。
【0007】本発明に係るコンピュータ読み出し可能な
記録媒体は、入力された画像について、注目画素の複数
の色情報がそれぞれ第1の範囲内であることを判断し、
次に、複数の色情報の1次演算データについて第2の範
囲内であることを判断し、次に、第1の範囲内にあると
判断し、かつ、第2の範囲内にあると判断したとき、注
目画素が特定色であると判断する画像処理プログラムを
記録する。前記の画像処理プログラムにおいて、たとえ
ば、前記の第2判別手段の1次演算データは複数の色情
報の差である。前記の画像処理プログラムは、好ましく
は、さらに、色判別結果を基に、特定の形状を持つ小要
素を抽出し、抽出された小要素が特定の配置関係にある
かを識別する。
【0008】
【発明の実施の形態】以下、添付の図面を参照して本発
明の実施の形態を説明する。なお、図面において、同じ
参照記号は同一または同等のものを示す。
【0009】図1に本実施形態の画像処理装置(以下、
「システム」という。)の概略構成図を示す。図1に示
すように、システムは中央演算処理(以下、CPUとい
う)を備え、システム全体を制御する制御装置10を中
心として構成される。この制御装置10には、画像、文
字等の表示や、操作のための表示等を行うディスプレイ
12と、各種入力、指示操作等を行うためのキーボード
14およびマウス16が備えられる。記録媒体として、
フレキシブルディスク18、ハードディスク20、CD
−ROM26が用いられ、フレキシブルディスク装置1
8b、CD−ROM装置26bおよびハードディスク装
置(図示しない)が備えられる。さらに、文字や画像デ
ータ等を印刷するプリンタ22と、画像データを取り込
むためのスキャナ24と、音声出力のためのスピーカ2
8と、音声入力のためのマイクロホン30とが接続され
る。
【0010】図2に本システムの制御系のブロック図を
示す。CPU200には、データバス202を介して、
本システムを制御するプログラムが格納されているRO
M204と、CPU200が制御のために実行するプロ
グラムやデータを一時的に格納するRAM206とが接
続される。また、CPU200にデータバス202を介
して接続される回路には、画像あるいは文字等の表示の
ためディスプレイ12を制御する表示制御回路208
と、キーボード14からの入力を転送制御するキーボー
ド御回路210と、マウス16からの入力を転送制御す
るマウス制御回路212と、フレキシブルディスク装置
18bを制御するフレキシブルディスク装置制御回路2
14と、ハードディスク装置を制御するハードディスク
装置制御回路216と、プリンタ22への出力を制御す
るプリンタ制御回路218と、スキャナ24を制御する
スキャナ制御回路220と、CD−ROM装置26bを
制御するCD−ROM装置制御回路222と、スピーカ
28を制御するスピーカ制御回路224と、マイクロホ
ン30を制御するマイクロホン制御回路226とがあ
る。さらに、CPU200には、システムを動作させる
ために必要な基準クロックを発生させるためのクロック
228が接続され、また、各種拡張ボードを接続するた
めの拡張スロット230がデータバス202を介して接
続される。
【0011】なお、このシステムでは、画像検知のプロ
グラムをROM204に格納する。しかし、本プログラ
ムの一部または全部をフレキシブルディスク18、ハー
ドディスク20、CD−ROM26などの情報記録媒体
に格納しておき、必要に応じて情報記録媒体よりプログ
ラムをRAM206に読み出し、これを実行させてもよ
い。また、記録媒体は、光磁気ディスク(MO)等の他
の情報記録媒体でもよい。また、画像データ入力装置と
してスキャナ24を用いているが、スチルビデオカメラ
やデジタルカメラ等の他のデータ入力装置であってもよ
い。また、拡張スロット230にネットワーク用ボード
を接続して、ネットワークを介してプログラムや画像デ
ータを受け取ることもできる。
【0012】この画像処理装置は、複数の小要素が特定
の配置関係にある特定パターンが入力画像に含まれるか
を判断する。図3は、特定パターン検出のフローチャー
トである。まず、画像入力手段により画素毎に複数の色
情報を持つ画像データを入力する(S10)。次に、入
力された画像データ中の画素が特定の色であるかどうか
を判別する(S12)。次に、その色判別結果につい
て、特定の形状をもつ小要素を判別し、小要素の中心を
抽出する(S14)。最後に、抽出された複数の小要素
の中心が特定の場所に配置されているかを識別する(S
16)。これにより、特定パターンが入力画像に含まれ
るかを判断する。
【0013】ここで、スキャナ24で画像を読み取る場
合、スキャン条件によって読み取った画像の色味が変化
する。その他、スキャナの劣化、環境条件の変化、スト
レス条件の変化などにより、入力画像データが影響を受
ける。このため、ある特定画像の検知にあたっては、色
の判別範囲を広くする必要がある。しかし、判別範囲を
広くすることはノイズ成分を増やし、検知の誤りを多く
生じる原因になる。そこで、本実施形態では、以下に説
明するように、検知の誤りを増やさずに色の判別範囲を
広くするため、RGBの明度値の範囲だけでなく、(R
−G)、(G−B)、(R−B)、(R+G)、(G+B)、(R
+B)といった一次演算結果の範囲を規定する。
【0014】図4は、色判別処理(図3、S12)のフ
ローチャートである。まず、R、G、Bの色成分に分離
して画像データが入力される(S100)。次に、入力
データについて、第1の判別手段によって、それぞれが
特定の色範囲であるかの判定を行う(S102)。例え
ば、あらかじめR、G、Bの最大値と最小値を規定して
おき、注目画素の各画像データがこの範囲内であるかを
判定する。そして全ての条件を満たしている場合のみ検
知色と判断する。
【0015】具体的には、図5に示す第1判別手段のフ
ローチャートにおいて、あらかじめR、G、Bの最大値
Rmax、Gmax、Bmaxと最小値Rmin、Gmin、Bminを規
定しておき、まず、変数iを1に初期化する(S102
0)。iは1,2,・・・,nとなる変数である。次
に、i番目の注目画素の入力画像データについて、色範
囲の条件を満足するかを判断する(S1022)。条件
の1例は以下のとおりである。 Rmin ≦ Ri ≦ Rmax かつ Gmin ≦ Gi ≦ Gmax かつ (1) Bmin ≦ Bi ≦ Bmax この条件を満足する場合に検知色候補と判断する(S1
024)。次に、iをインクリメントし(S102
6)、すべての画素のデータの処理が終了していなけれ
ば(S1028でNO)、ステップS1022に戻り、
上述の処理を繰り返す。
【0016】図4のフローチャートにおいて、次に、第
2判別手段により入力画像がそれぞれ条件式(1)とは
別の条件式の判別の範囲内であるかの判定を行う(S1
04)。RGBの最大値と最小値のみで判定を行ってい
ると、検出したい色とは明らかに異なる色(以下ノイズ
という)までも検出してしまうことがある。そこで、こ
のノイズを省くために別の条件式を設定する。下記の条
件式はその1例である。図6は、第2判別手段のフロー
チャートである。まず、変数iを1に初期化する(S1
040)。iは1,2,・・・,nとなる変数である。
次に、i番目の注目画素の入力画像データについて、R
−G、G−B、R−Bが次の条件を満足するかを判断す
る(S1042)。 R−Gmin ≦ Ri−Gi ≦ R−Gmax かつ G−Bmin ≦ Gi−Bi ≦ G−Bmax かつ (2) R−Bmin ≦ Ri−Bi ≦ R−Bmax この条件を満足しない場合、ノイズとして特定色候補か
ら除去する(S1044)。次に、iをインクリメント
し(S1046)、すべての画素のデータの処理が終了
していなければ(S1048でNO)、ステップS10
42に戻り、上述の処理を繰り返す。
【0017】最後に、第1の判別手段と第2の判別手段
のANDを取る(S106)。すなわち、第1の判別手
段により検知色候補と判別され、かつ、第2の判別手段
により検知色候補であると判別された注目画素が、検知
色であると判別される。
【0018】第2の判別手段について、さらに説明す
る。例えば、R・G空間で黄色を検出するとして、図7
のように、Rmax=255、Rmin=150、Gmax=2
55、Gmin=150に設定したとする。黄色の場合、
画像データはR=255、G=255、B=0(A)と
なるが、条件式(1)のみではR=255、G=150
の色(A')やR=150、G=255の色(A")まで
検出してしまう。黄色の場合RとGのバランスが崩れる
と、赤または緑に近づくため、バランスが大きく崩れた
場合は、違う色として検出するのが望ましい。そこで、
別の条件式(2)により注目画素のR値とG値の差があ
る一定値以内であることを規定する。これによりA'、
A"のようなノイズ成分を削除できる。
【0019】変形例として、図8のように、条件式
(2)として、画像データの単なる差についてでなく、
各画像デ-タに係数を掛けて和や差を計算した1次演算
結果(さらに一般的にはR、G、Bの関数の演算結果)
について範囲を設けることにより、より詳細な条件設定
が可能となる。図8において、a、b、c、d、e、
f、g、hは係数を表わし、点描部分が特定色検出用の
範囲となる。図8には、さらに、画像データR、G自体
についての最大値と最小値の条件も記載している。な
お、図8にはR・G空間のみが示されているが、G・B
空間やR・B空間にも同様な条件を設定する。
【0020】
【発明の効果】スキャナの劣化、環境条件の変化、スト
レス条件の変化などにより、入力画像データが影響を受
けた場合にも特定色を判別できる。複数種の条件を用い
て色の判別範囲を狭くすることにより、色検知の誤りを
減らすことができる。
【図面の簡単な説明】
【図1】 本発明に係る画像処理装置の構成の概略を示
す図
【図2】 画像処理装置の制御装置を中心としたブロッ
ク図
【図3】 特定パターン検出のフローチャート
【図4】 特定色判別処理のフローチャート
【図5】 第1の判別のフローチャート
【図6】 第2の判別のフローチャート
【図7】 R・G空間での色判別条件の例を示す図
【図8】 R・G空間での色判別条件の別の例を示す図
【符号の説明】 10 制御装置、 18 フレキシブルディスク、
20 ハードディスク、 22 プリンタ、 2
4 スキャナ、 26 CD−ROM、200 CP
U、 204 ROM。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 1/40 H04N 1/40 Z 9A001 1/46 1/46 Z (72)発明者 橋本 圭介 大阪府大阪市中央区安土町二丁目3番13号 大阪国際ビル ミノルタ株式会社内 Fターム(参考) 2C087 AA09 AA15 BA03 BA05 BA07 BB10 BD31 2H034 FA01 5B057 AA11 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC03 CE16 CH01 CH11 DB02 DB06 DB09 DC09 DC25 5C077 LL14 PP32 PP47 PP55 PP58 PP65 PQ12 PQ20 SS01 5C079 HB01 LA02 LA08 MA11 NA21 NA29 9A001 BB04 HH21 HH31 JJ35 KK42 LL03

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 入力された画像について、注目画素の複
    数の色情報がそれぞれ第1の範囲内であることを判断す
    る第1判別手段と、 複数の色情報の1次演算データについて第2の範囲内で
    あることを判断する第2判別手段と、 第1の判別手段が第1の範囲内にあると判断し、かつ、
    第2の判別手段が第2の範囲内にあると判断したとき、
    注目画素が特定色であると判断する色判別手段とを備え
    る画像処理装置。
  2. 【請求項2】 前記の第2判別手段の1次演算データは
    複数の色情報の差であることを特徴とする請求項1に記
    載された画像処理装置。
  3. 【請求項3】 さらに、 色判別手段による判別結果を基に、特定の形状を持つ小
    要素を抽出する小要素抽出手段と、 小要素抽出手段により抽出された小要素が特定の配置関
    係にあるかを識別する配置識別手段を備えることを特徴
    とする請求項1または2に記載された画像処理装置。
  4. 【請求項4】 入力された画像について、注目画素の複
    数の色情報がそれぞれ第1の範囲内であることを判断
    し、 複数の色情報の1次演算データについて第2の範囲内で
    あることを判断し、 第1の範囲内にあると判断し、かつ、第2の範囲内にあ
    ると判断したとき、注目画素が特定色であると判断する
    画像処理方法。
  5. 【請求項5】 前記の1次演算データは複数の色情報の
    差であることを特徴とする請求項4に記載された画像処
    理方法。
  6. 【請求項6】 さらに、 色判別結果を基に、特定の形状を持つ小要素を抽出し、 抽出された小要素が特定の配置関係にあるかを識別する
    ことを特徴とする請求項4または5に記載された画像処
    理方法。
  7. 【請求項7】 入力された画像について、注目画素の複
    数の色情報がそれぞれ第1の範囲内であることを判断
    し、 複数の色情報の1次演算データについて第2の範囲内で
    あることを判断し、 第1の範囲内にあると判断し、かつ、第2の範囲内にあ
    ると判断したとき、注目画素が特定色であると判断する
    画像処理プログラムを記録する、コンピュータ読み出し
    可能な記録媒体。
  8. 【請求項8】 前記の1次演算データは複数の色情報の
    差であることを特徴とする請求項7に記載された記録媒
    体。
  9. 【請求項9】 前記の画像処理プログラムは、さらに、
    色判別結果を基に、特定の形状を持つ小要素を抽出し、
    抽出された小要素が特定の配置関係にあるかを識別する
    ことを特徴とする請求項7または8に記載された記録媒
    体。
JP2000129763A 2000-04-28 2000-04-28 画像処理装置および方法 Expired - Fee Related JP4016571B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000129763A JP4016571B2 (ja) 2000-04-28 2000-04-28 画像処理装置および方法
US09/843,703 US20020001096A1 (en) 2000-04-28 2001-04-30 Image processor for detecting specified pattern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000129763A JP4016571B2 (ja) 2000-04-28 2000-04-28 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JP2001313837A true JP2001313837A (ja) 2001-11-09
JP4016571B2 JP4016571B2 (ja) 2007-12-05

Family

ID=18638986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000129763A Expired - Fee Related JP4016571B2 (ja) 2000-04-28 2000-04-28 画像処理装置および方法

Country Status (1)

Country Link
JP (1) JP4016571B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009302974A (ja) * 2008-06-13 2009-12-24 Sharp Corp 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体
WO2011104995A1 (ja) * 2010-02-26 2011-09-01 シャープ株式会社 画像処理装置、画像読取装置、画像形成装置、特定色範囲の決定方法、プログラム及びコンピュータ読み取り可能な記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009302974A (ja) * 2008-06-13 2009-12-24 Sharp Corp 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体
WO2011104995A1 (ja) * 2010-02-26 2011-09-01 シャープ株式会社 画像処理装置、画像読取装置、画像形成装置、特定色範囲の決定方法、プログラム及びコンピュータ読み取り可能な記録媒体
JP2011182126A (ja) * 2010-02-26 2011-09-15 Sharp Corp 画像処理装置、画像形成装置、決定方法、プログラム及びコンピュータ読み取り可能な記憶媒体

Also Published As

Publication number Publication date
JP4016571B2 (ja) 2007-12-05

Similar Documents

Publication Publication Date Title
US6580820B1 (en) Digital imaging method and apparatus for detection of document security marks
US6542629B1 (en) Digital imaging method and apparatus for detection of document security marks
EP2439921B1 (en) Watermark information embedding apparatus, watermark information processing system, watermark information embedding method, and program
JPH10191062A (ja) カラー画像の黒点および白点の検出システムおよび方法
US6269186B1 (en) Image processing apparatus and method
US6958828B2 (en) Method and apparatus for detecting photocopier tracking signatures
JP2001313837A (ja) 画像処理装置および方法
JP3480408B2 (ja) 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体
JP2003219180A (ja) 画像処理方法、画像処理装置、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム
JP4140170B2 (ja) 画像処理装置および方法
JP2001320582A (ja) 画像処理装置および方法
JP2001218005A (ja) 画像処理装置及び方法及び記憶媒体
JP4014070B2 (ja) パターン検出方法および画像処理制御方法
JP2001218037A (ja) 画像形成装置及びその制御方法
US20080144052A1 (en) Image processing apparatus and image processing method
US20020001096A1 (en) Image processor for detecting specified pattern
JP2001218010A (ja) 画像処理装置、画像処理方法、記憶媒体
JP3214907B2 (ja) 画像処理装置
JP2001312732A (ja) 画像処理装置および方法
JP4930094B2 (ja) 画像形成装置及び画像形成方法
JP2002112044A (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
JP4345653B2 (ja) 相関型の電子透かしによる印刷物の真贋チェック方法、装置及びプログラム
JPH11220618A (ja) カラー画像処理装置及びカラー画像処理方法
JP2000196871A (ja) 画像処理方法及び装置
JP2001312723A (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20051213

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20051213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070910

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100928

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110928

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120928

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130928

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees