JP2005236800A - 画像領域判定方法、画像処理装置およびプログラム - Google Patents
画像領域判定方法、画像処理装置およびプログラム Download PDFInfo
- Publication number
- JP2005236800A JP2005236800A JP2004045227A JP2004045227A JP2005236800A JP 2005236800 A JP2005236800 A JP 2005236800A JP 2004045227 A JP2004045227 A JP 2004045227A JP 2004045227 A JP2004045227 A JP 2004045227A JP 2005236800 A JP2005236800 A JP 2005236800A
- Authority
- JP
- Japan
- Prior art keywords
- area
- character
- region
- image
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
Abstract
【解決手段】 受信した画像データに基づいて被判定領域について写真領域を検出する(ステップS12)。次に、当該被判定領域について文字領域を検出する(ステップS14)。検出された文字領域が、検出された写真領域と重なっている場合には(ステップS18で「YES」)、当該重なっている部分について、ステップS14で文字領域を検出するために用いた方法よりも文字判定精度が高い第2の方法を用いて、本当に文字領域であるか否かを再判定する領域再判定処理を実行する(ステップS19)。
【選択図】 図3
Description
さらに、前記第4のステップは、重複領域に属する各画素データから画像の明度分布を示すヒストグラムを作成し、作成されたヒストグラムのピーク数、幅、度数の増減量の少なくとも一つを検出して、その検出結果に基づいて文字領域の判定を行うことを特徴とする。
さらに、前記第5のステップは、拡張後の領域の一部が前記検出された写真領域内からはみ出る場合には、そのはみ出る部分については拡張を行わないことを特徴とする。
本発明に係る画像処理装置は、被判定領域内の文字領域と写真領域を判定する画像処理装置であって、前記被判定領域内に存在する写真領域を検出する第1の検出手段と、前記被判定領域内に存在する文字領域を検出する第2の検出手段と、検出された文字領域と写真領域の位置情報に基づいて、文字領域と写真領域の重複部分を検出する第3の検出手段と、重複部分について、前記第2の手段が文字領域を検出するために用いた第1の方法とは異なる第2の方法を用いて文字領域であるか否かを判定する判定手段と、を備えることを特徴とする。
(1)画像処理システムの構成
図1は、本発明に係る画像処理装置を含む画像処理システム(以下、「システム」と略する。)の全体構成を示す図である。
同図に示すように、本システムは、画像処理装置1と、スキャナ2と、ファイルサーバ3とが、ネットワーク、ここではLAN(Local Area Network)4を介して接続されてなり、互いに各種データのやりとりが可能になっている。
画像処理装置1は、スキャナ2から画像データを受信すると、原稿1頁ごとにその原稿に含まれる文字領域、写真領域、その他の領域をそれぞれ判定する領域判定処理と、文字画像の各画素のデータをMMR(Modified Modified READ)を用いて圧縮し、写真画像およびその他の領域の画像の各画素のデータをJPEG(Joint Photographic Experts Group)を用いて圧縮する画像圧縮処理と、圧縮データに個別のファイル名を付けて、LAN4を介してファイルサーバ3に送る送信処理を実行する。
本実施の形態の画像処理装置1は、上記領域判定処理において、領域判定結果を再判定する処理を実行するようにしており、この点に特徴がある。以下、画像処理装置1の構成および領域判定処理と画像圧縮処理の内容を詳述する。
同図に示すように、画像処理装置1は、パーソナルコンピュータからなり、主な構成要素として本体部10、ディスプレイ11、キーボード12およびマウス13を備えている。
本体部10は、インターフェース(I/F)部101、制御部102および記憶部103を備えており、これらはバス104を介して接続されている。
記憶部103は、ハードディスクドライブ等からなり、OS(オペレーティングシステム)、文書作成等のための各種アプリケーションソフト等が格納されている。
制御部102は、主な構成要素としてCPU105、ROM106、RAM107を備えている。
RAM107には、画像データ格納部108、領域情報格納部109および圧縮データ格納部110が設けられ、順に、画像データ、領域情報、圧縮データが格納される。
同図に示すように、制御部102は、スキャナ2から原稿の画像データを受信すると(ステップS11)、受信した画像データを一旦RAM107内の画像データ格納部108に格納させた後、その画像データに基づいて原稿画像に含まれる写真領域を検出する処理を行う(ステップS12)。
2値化画像に対し4連結ラベリングを行い、ラベリングされた画像それぞれについて、その大きさが所定の大きさ(文字相当程度の大きさ)よりも大きいものについては、その領域を写真領域とする。一方、小さいものについては、文字または文字の一部とみなして矩形領域の設定を解除する。
検出された写真領域の座標、ここでは対角の2点のX−Y座標、およびラベリングされた画像を構成する各画素の座標(ラベリングされたラベル値を含む。以下「写真マップ」という。)のデータを写真領域情報としてRAM107内の領域情報格納部109に格納させる(ステップS13)。
図3に戻って、ステップS14では、文字領域を検出する処理を行う。
この文字領域の検出は、公知の方法により行うことができる。ここでは、原稿1頁分の画像(被判定領域)の各画素について、その画素の明度データに公知のエッジフィルタをかけ2値のエッジ画像を生成する。生成された2値のエッジ画像について、当該エッジ画像を取り囲む矩形領域を設定する。そして、各矩形領域について、その領域内のエッジ画像の局所的な形状をそのエッジ画像の特徴量として抽出し、抽出した特徴量からそのエッジ画像が文字によるものであるか否かを判定する。具体的には、画像の局所的な形状として、カーブ量や傾斜方向、閉ループ数、十字交差数、T字交差数等を抽出し、抽出された特徴点が、予め保持している文字判定のためのパターンの特徴点と一致している数が所定値(閾値)以上であれば、文字として判定し、所定値よりも少なければ文字ではないと判定する(第1の判定方法)。
例えば、図5において領域Pが文字矩形領域として検出された場合には、領域Pの座標としてC点(X3、Y3)、D点(X4、Y4)のデータと領域P内の文字画像の各画素の座標を示すデータが保存される。
次に、一の文字矩形領域の座標を領域情報格納部109から読み出す(ステップS17)。そして、当該一の文字矩形領域が、いずれかの写真領域と重なっているか否かを判断する(ステップS18)。この判断は、次のようにして行われる。すなわち、領域情報格納部109から各写真領域の座標を読み出し、読み出した写真領域の座標位置のデータと、当該一の文字矩形領域との座標位置のデータ(位置情報)に基づいて、両者間の重複部分を検出するものである。例えば、図5の領域Qの場合であれば、写真領域Rと重複していることが検出されることになる。
図6は、領域再判定処理のサブルーチンの内容を示すフローチャートである。
この領域再判定処理は、写真領域に存在していると判定された文字画像が本当に文字画像であるのかを再判定する処理である。すなわち、本実施の形態では、上記したように文字判定の方法として、エッジ画像からカーブ量等を画像の特徴量として抽出し、抽出された特徴量に基づいて文字であるか否かを判定する方法をとっている。この方法によれば比較的CPU105の負担が少なく済ませられるのであるが、例えば実際には写真の一部であるがエッジ画像で見るとたまたま文字の特徴量と一致したため文字と誤判定されることが生じる場合がある。そこで、文字と誤判定され易い写真領域内に文字が重なっていると判断された部分について、第1の判定方法よりも判定精度が高い第2の方法を用いて文字か否かを再判定するものである。
図7は、図5に示す文字矩形領域Qの大きさを所定の範囲(斜線部)だけ拡張した場合の例を示す図である。図7(a)の例は、文字矩形領域Qを、その主、副走査(図では上下左右)方向に、ここでは10画素分の範囲だけ拡張したものになっている。文字矩形領域と拡張部とを合わせた領域が文字拡張領域になる。
そして、設定された文字拡張領域の各画素の明度データから明度ヒストグラムを作成する(ステップS22)。ここでは、256階調の明度データを16階調に変換し、変換後のデータを用いて明度ヒストグラムを作成する。
図9は、ヒストグラム解析処理のサブルーチンの内容を示すフローチャートである。
同図に示すように、制御部102は、まず文字フラグAと写真フラグBを共に「0」に設定する(ステップS31)。
ピーク数が「1」または「6」以上であることを判断すると(ステップS32で「YES」)、文字として判定された領域は、実際には写真である蓋然性が高いとして、写真フラグBの値を「1」に設定し(ステップS33)、その逆に「2」〜「5」の範囲内であることを判断すると(ステップS32で「NO」)、判定通り文字である蓋然性が高いとして、文字フラグAの値を「1」に設定する(ステップS34)。
図10は、ヒストグラムの幅条件解析処理のサブルーチンの内容を示すフローチャートである。
同図に示すように、まず閾値を文字拡張領域の全画素数の0.3(%)にした場合のヒストグラムの幅W1が所定値TW1よりも大きいか否かを判断する(ステップS51)。
図9に戻って、ステップS36では、ヒストグラムの各ピーク(勾配が正から負に転じる部分)の内、その値(度数)が最大のものと、2番目のものとの間隔が閾値TH5よりも小さいか否かを判断する。図8(b)の例では、W5が当該間隔を示している。
幅W5<TH5であることを判断すると(ステップS36で「YES」)、写真である蓋然性が高いとして、現在の写真フラグBの値に「1」をインクリメントし(ステップS37)、その逆に幅W5≧TH5と判断すると(ステップS36で「NO」)、判定通り文字である蓋然性が高いとして、現在の文字フラグAの値に「1」をインクリメントして(ステップS38)、ステップS39に移る。
勾配数が多いということは、階調変化が大きい画像であることを意味するから、勾配数の大きさも写真であるか否かを再判定する一の条件とすることができる。
勾配数>TH6であることを判断すると(ステップS39で「YES」)、写真である蓋然性が高いとして、現在の写真フラグBの値に「1」をインクリメントし(ステップS40)、その逆に勾配数≦TH6と判断すると(ステップS39で「NO」)、判定通り文字である蓋然性が高いとして、現在の文字フラグの値に「1」をインクリメントして(ステップS41)、ステップS42に移る。
図11(a)を見ると、ピークが3つあり、最大と2番目のピークの間隔が広く、かつ勾配数も少なく(中間部分がほぼ平坦になっているため)、ヒストグラムの幅がどの閾値をとっても大変狭くなっていることが解る。したがって、上記した各判定条件(S32、S36、S39、S51、S54、S57、S60)に当てはめるとそのほとんどにおいて文字の蓋然性が高いと判断され、その結果、文字フラグの数値が増えることになる。
そして、B>Aの場合には(ステップS42で「YES」)、各判定条件の内、写真と判断された数が多いということになるから、実際には写真画像の蓋然性が極めて高く、文字の判定は誤判定であると判断し(ステップS43)、メインルーチンにリターンする。
一方、B≦Aの場合には(ステップS42で「NO」)、逆に文字と判断された数が多いことになるから、文字の蓋然性が依然高い、すなわち誤判定ではないと判断し(ステップS44)、領域再判定処理のサブルーチンにリターンする。
誤判定であると判断すると(ステップS24で「YES」)、ステップS17で読み出した当該文字矩形領域は、1度、文字として判定されたが、実際には写真画像の一部である蓋然性が極めて高いと考えられるから、当該文字矩形領域を写真領域に変更して(ステップS25)、メインルーチンにリターンする。写真領域への変更とは、具体的には、領域情報格納部109に格納されている当該文字矩形領域に対する文字領域情報(ステップS15において保存されたもの。)を領域情報格納部109から削除するものである。
図3に戻って、ステップS20では、領域再判定処理をまだ行っていない文字矩形領域があるか否かを判断する。
同図に示すように、制御部102は、文字領域、写真領域、その他の領域について、各領域の文字画像、写真画像、その他の領域の画像の各画素データを読み出す(ステップS71)。
具体的には、文字領域については、領域情報格納部109から、文字領域情報として現に格納されている文字マップ(文字画像のみを構成する画素の座標)を読み出し、読み出した座標位置に位置する各画素のデータ(文字画像データ)を、画像データ格納部108に格納されている画像データから読み出すことにより行う。
以上説明したように、本実施の形態では、文字領域と写真領域の領域判別を行った後、写真領域に文字領域が重なっている部分について、その文字領域と判定された領域が本当に文字であるのかを、領域判別の際に用いた第1の方法とは異なる第2の方法を用いて再判定するようにしている。
これより、例えば第2の方法を第1の方法よりも判定精度が高い(その分CPUへの負担が大きくなる)方法とすれば、まず第1の方法を用いて文字領域を判定し、次に誤判定され易い文字と写真の重複部分についてのみ判定精度が高い第2の方法を用いて判定することができる。したがって、例えばスキャナ2で大量の原稿を1頁ごとに順次読み取ってその画像データを圧縮する処理を実行する場合であっても、原稿1頁分の画像の全画素について第2の方法を用いる構成に比べて、CPUへの処理負担の軽減および処理時間の低減が可能になり、かつ第1の方法だけを用いて判定する構成に比べて判定精度を向上させることができるという効果を奏する。
また、文字拡張領域を生成する際の拡張部の大きさも上記10画素分に限られることはなく、明度ヒストグラムに基づいて文字、写真の判定を行う場合の判定精度がより高くなると想定される値が実験等により予め決められることになる。また、拡張部の大きさを固定とする必要もなく、例えば文字領域の大きさに応じて可変させる構成にすること等が考えられる。
さらに、文字矩形領域全体が写真領域内に入っている場合だけでなく、その一部が写真領域と重なっている場合に、当該重なっている部分について領域再判定を行うとしても良い。
なお、本発明は、画像処理装置に限られず、上記した文字、写真領域を判定する画像領域判定方法にも適用することができる。また、その方法をコンピュータが実行するプログラムであるとしてもよい。
以上、本発明を実施の形態に基づいて説明してきたが、本発明は、上述の実施の形態に限定されないのは勿論であり、以下のような変形例が考えられる。
(1)上記実施の形態では、文字拡張領域を設定しようとする際に、拡張領域の一部が写真領域をはみ出る場合には、そのはみ出る方向への拡張をしないようにしたが、そのようにすると拡張すべき領域の面積が本来の拡張面積よりも減少することになる。そこで、例えば図13に示すようにはみ出る部分の拡張領域(破線部分)を写真領域内に収まる方向にシフトさせて(はみ出る部分を網点部分で示す範囲に振り分けて)、拡張領域を設定することで、いずれの場合でも拡張領域の面積をほぼ一定にして同一条件で再判定を行う構成をとることもできる。
(3)上記実施の形態では、画像処理装置としてパーソナルコンピュータを用いる場合の例を説明したが、本発明は、上記した領域判定処理を実行できるものであれば、例えば複写機、スキャナ、プリンタ、FAX、MFP(Multiple Function Peripheral)等の画像処理装置に適用できる。
102 制御部
105 CPU
106 ROM
107 RAM
109 領域情報格納部
Claims (8)
- 被判定領域内の文字領域と写真領域を判定する画像領域判定方法であって、
前記被判定領域内に存在する写真領域を検出する第1のステップと、
前記被判定領域内に存在する文字領域を検出する第2のステップと、
検出された文字領域と写真領域の位置情報に基づいて、文字領域と写真領域の重複部分を検出する第3のステップと、
重複部分について、前記第2のステップで文字領域を検出するために用いた第1の方法とは異なる第2の方法を用いて文字領域であるか否かを判定する第4のステップと、
を含むことを特徴とする画像領域判定方法。 - 前記第2の方法は、
前記第1の方法よりも文字領域判定の精度が高い方法であることを特徴とする請求項1に記載の画像領域判定方法。 - 前記第4のステップは、
重複領域に属する各画素データから画像の明度分布を示すヒストグラムを作成し、作成されたヒストグラムのピーク数、幅、度数の増減量の少なくとも一つを検出して、その検出結果に基づいて文字領域の判定を行うことを特徴とする請求項1または2に記載の画像領域判定方法。 - 前記第4のステップは、
重複領域を所定量だけ拡張する第5のステップを含み、
拡張された領域に属する各画素データに基づいて、文字領域であるか否かの判定を行うことを特徴とする請求項1乃至3のいずれか1項に記載の画像領域判定方法。 - 前記第5のステップは、
拡張後の領域の一部が前記検出された写真領域内からはみ出る場合には、そのはみ出る部分については拡張を行わないことを特徴とする請求項4に記載の画像領域判定方法。 - 前記第5のステップは、
拡張後の領域の一部が前記検出された写真領域内からはみ出る場合には、拡張すべき領域を当該写真領域内に収まる方向にシフトさせて所定量だけ拡張させることを特徴とする請求項4に記載の画像領域判定方法。 - 被判定領域内の文字領域と写真領域を判定する画像処理装置であって、
前記被判定領域内に存在する写真領域を検出する第1の検出手段と、
前記被判定領域内に存在する文字領域を検出する第2の検出手段と、
検出された文字領域と写真領域の位置情報に基づいて、文字領域と写真領域の重複部分を検出する第3の検出手段と、
重複部分について、前記第2の手段が文字領域を検出するために用いた第1の方法とは異なる第2の方法を用いて文字領域であるか否かを判定する判定手段と、
を備えることを特徴とする画像処理装置。 - 被判定領域内の文字領域と写真領域を判定する画像領域判定処理を実行するコンピュータで動作するプログラムであって、
前記被判定領域内に存在する写真領域を検出する第1の処理と、
前記被判定領域内に存在する文字領域を検出する第2の処理と、
検出された文字領域と写真領域の位置情報に基づいて、文字領域と写真領域の重複部分を検出する第3の処理と、
重複部分について、前記第2の処理で文字領域を検出するために用いた第1の方法とは異なる第2の方法を用いて文字領域であるか否かを判定する第4の処理と、
を含む処理をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004045227A JP4135656B2 (ja) | 2004-02-20 | 2004-02-20 | 画像領域判定方法、画像処理装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004045227A JP4135656B2 (ja) | 2004-02-20 | 2004-02-20 | 画像領域判定方法、画像処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005236800A true JP2005236800A (ja) | 2005-09-02 |
JP4135656B2 JP4135656B2 (ja) | 2008-08-20 |
Family
ID=35019280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004045227A Expired - Fee Related JP4135656B2 (ja) | 2004-02-20 | 2004-02-20 | 画像領域判定方法、画像処理装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4135656B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272784A (ja) * | 2006-03-31 | 2007-10-18 | Canon Inc | 画像処理装置およびその方法 |
JP2009296584A (ja) * | 2008-06-05 | 2009-12-17 | Toshiba Corp | 画像処理装置及び画像処理方法 |
JP2010004137A (ja) * | 2008-06-18 | 2010-01-07 | Konica Minolta Business Technologies Inc | 画像処理装置および画像処理方法 |
US7692669B2 (en) | 2006-05-26 | 2010-04-06 | Konica Minolta Business Technologies, Inc. | Image processing apparatus, image processing method and image processing program |
US7747089B2 (en) | 2006-06-12 | 2010-06-29 | Konica Minolta Business Technologies, Inc. | Image processing apparatus, image processing method, and image processing program |
KR101566196B1 (ko) | 2009-03-02 | 2015-11-05 | 삼성전자주식회사 | 히스토그램 분석을 이용한 영상 분류 방법 및 장치, 이를 이용한 문자 인식 방법 및 장치 |
JP2020525926A (ja) * | 2017-06-29 | 2020-08-27 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 画像内の対象者の顔の特徴の不明瞭化 |
-
2004
- 2004-02-20 JP JP2004045227A patent/JP4135656B2/ja not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272784A (ja) * | 2006-03-31 | 2007-10-18 | Canon Inc | 画像処理装置およびその方法 |
US7692669B2 (en) | 2006-05-26 | 2010-04-06 | Konica Minolta Business Technologies, Inc. | Image processing apparatus, image processing method and image processing program |
US7747089B2 (en) | 2006-06-12 | 2010-06-29 | Konica Minolta Business Technologies, Inc. | Image processing apparatus, image processing method, and image processing program |
JP2009296584A (ja) * | 2008-06-05 | 2009-12-17 | Toshiba Corp | 画像処理装置及び画像処理方法 |
JP2010004137A (ja) * | 2008-06-18 | 2010-01-07 | Konica Minolta Business Technologies Inc | 画像処理装置および画像処理方法 |
KR101566196B1 (ko) | 2009-03-02 | 2015-11-05 | 삼성전자주식회사 | 히스토그램 분석을 이용한 영상 분류 방법 및 장치, 이를 이용한 문자 인식 방법 및 장치 |
JP2020525926A (ja) * | 2017-06-29 | 2020-08-27 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 画像内の対象者の顔の特徴の不明瞭化 |
JP7191050B2 (ja) | 2017-06-29 | 2022-12-16 | コーニンクレッカ フィリップス エヌ ヴェ | 画像内の対象者の顔の特徴の不明瞭化 |
Also Published As
Publication number | Publication date |
---|---|
JP4135656B2 (ja) | 2008-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8331671B2 (en) | Image processing apparatus and image encoding method related to non-photo image regions | |
US8165402B2 (en) | Image processing method, image processing apparatus, image forming apparatus and storage medium | |
JP5036430B2 (ja) | 画像処理装置及びその制御方法 | |
JP2008099149A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP5178490B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
JP4135656B2 (ja) | 画像領域判定方法、画像処理装置およびプログラム | |
US20210110586A1 (en) | Mixed raster content (mrc) to control color changes | |
JP2003338935A (ja) | 画像処理装置および方法 | |
JP5133214B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
US11288536B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP6262102B2 (ja) | 画像処理装置、画像処理システム、コンピュータプログラム及び記録媒体 | |
JP2003219187A (ja) | 画像処理方法及び画像処理装置 | |
JP2007006411A (ja) | 画像処理装置 | |
JP4569162B2 (ja) | 画像処理方法、画像処理プログラムおよび画像処理装置 | |
JP2005204206A (ja) | 画像処理装置、画像処理用プログラム及び記憶媒体 | |
US11405525B2 (en) | Image processing apparatus, control method, and product capable of improving compression efficiency by converting close color to background color in a low light reading mode | |
JP6631037B2 (ja) | 画像処理装置、画像形成装置、画像処理方法、画像形成装置用プログラム、および、画像形成装置用プログラムを記録した記録媒体 | |
JP4383187B2 (ja) | 画像処理装置、画像処理用プログラム及び記憶媒体 | |
RU2737001C1 (ru) | Устройство и способ обработки изображений и носитель данных | |
JP6752263B2 (ja) | 画像処理装置、画像形成装置、及び、画像処理方法 | |
JP5206468B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP4957570B2 (ja) | 画像処理装置 | |
JP6441772B2 (ja) | 画像処理装置、画像形成装置、及び、画像処理方法 | |
JP2005303506A (ja) | 画像処理装置、画像処理方法、画像処理用プログラム及び記憶媒体 | |
JP2007174523A (ja) | 画像処理装置、画像処理方法、プログラムコード及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071023 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080513 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080526 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |