JP2005309771A - 文字列領域抽出装置 - Google Patents
文字列領域抽出装置 Download PDFInfo
- Publication number
- JP2005309771A JP2005309771A JP2004125906A JP2004125906A JP2005309771A JP 2005309771 A JP2005309771 A JP 2005309771A JP 2004125906 A JP2004125906 A JP 2004125906A JP 2004125906 A JP2004125906 A JP 2004125906A JP 2005309771 A JP2005309771 A JP 2005309771A
- Authority
- JP
- Japan
- Prior art keywords
- character
- character string
- component
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】 画像中の文字成分全てをハフ変換の処理対象とするのではなく、所定の条件(例:注目している文字成分と文字としての大きさが似ている,注目している文字成分と文字としての線幅が似ている,注目している文字成分に基づいて設定された領域内に存在する)を満たした文字成分のみを選択し、選択された文字成分に対してのみハフ変換を行うことで、文字列の方向や文字高さなどの情報を取得する。
【選択図】 図1
Description
ることにより、携帯性の高いデジタルカメラが普及している。このような普及に伴い、その携帯性を生かしたデジタルカメラの新たなニーズが要求され始めている。例えば、デジタルカメラで撮像した写真から文字領域を抽出し、抽出された文字を認識することや、抽出された文字を他装置への入力に用いることや、抽出された文字を翻訳するなどの用途が検討されている。
する。文字列の方向とは文字列がのびる方向を示し、高さとは文字列を構成する文字の高さを示す。
えるように構成されても良い。この場合、近似手段は、輪郭線取得手段により取得された輪郭線に対して折線近似を実施するように構成される。このように構成されることにより、折線近似は、文字成分の中心線などではなく、その輪郭線に対して実施される。従って、文字の高さの情報を取得する際に、より正確にその値を得ることが可能となる。
まず、文字列抽出装置1のシステム構成について説明する。文字列抽出装置1は、ハードウェア的には、バスを介して接続されたCPU(中央演算処理装置),主記憶装置(RAM),補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるROM(Read-Only Memory:EPROM(Erasable Programmable Read-Only Memory),EEPROM(Electrically Erasable Programmable Read-Only Memory),マスクROM等を含む),FRAM(Ferroelectric RAM),ハードディスク等を指す。
画像入力部2は、情景画像の原画像のデータ(以下、「原画像のデータ」と呼ぶ)を文字列抽出装置1へ入力するためのインタフェースとして機能する。画像入力部2によって、文字列抽出装置1の外部から、原画像のデータが文字列抽出装置1へ入力される。画像入力部2は、文字列抽出装置1へ原画像のデータを入力するためのどのような既存技術を用いて構成されても良い。
れる。また、記録媒体(例えば各種フラッシュメモリやフロッピー(登録商標)ディスクやCD(Compact Disk)やDVD(Digital Versatile Disc、Digital Video Disc))に記録された原画像のデータが文字列抽出装置1へ入力されても良い。この場合、画像入力部2は、記録媒体からデータを読み出す装置(例えばフラッシュメモリリーダやフロッピーディスクドライブやCDドライブやDVDドライブ)を用いて構成される。
DやCMOSセンサなどによって撮像された原画像のデータを文字情報抽出装置3に入力させるためのインタフェースとして構成されても良い。また、文字列抽出装置1が、プリンタやディスプレイ等の画像出力装置の内部に含まれ、出力データとしてこの画像出力装置に入力された情景画像が原画像のデータとして文字列抽出装置1へ入力されても良い。この場合、画像入力部2は、これらの画像出力装置に入力された原画像のデータを文字列抽出装置1において取り扱い可能なデータに変換する装置などを用いて構成される。
文字情報抽出装置3は、入力された情景画像から、文字と推測される画像(文字成分)の位置や大きさ等を取得する。例えば、文字情報抽出装置3は、文字と推測される画像を内包する最小の矩形(外接矩形)の大きさやその位置などを含む情報を文字情報として取得する。
画像変換部7は、文字候補判定部8及び文字成分抽出部9において用いられる二値画像を生成する。図2は、画像変換部7によって実行される各処理により生成される画像の例を示す図である。以下、図2を用いて画像変換部7の具体的な処理例について説明する。
ウシアン)フィルタを適用する。即ち、画像変換部7は、濃淡画像に対しLoGフィルタをかけ、LoG画像を生成する(図2(b)に相当)。図3は、画像変換部7によって用いられるLoGフィルタの例を示す図である。LoGフィルタは、画像をぼかし、その後画像のエッジを強調する効果を有するフィルタである。LoGフィルタを適用することにより、濃淡画像をぼかしてからエッジを抽出することが可能となり、ノイズの影響を軽減しながら濃淡画像中のエッジを抽出することが可能となる。このようなLoGフィルタを濃淡画像中の全ての画素(ただし、濃淡画像の周囲2画素を除く)に対してかけることによりLoG画像が生成される。なお、図3に示されるLoGフィルタは例であり、LoG
フィルタの大きさや各格子の値はこの図に示された大きさ(5×5)や各格子の値に制限されない。
文字候補判定部8は、画像変換部7によって生成された二値画像(正二値画像,負二値画像)から連結成分を抽出し文字候補となる連結成分を判断する。ここで、連結成分とは、二値画像中において、黒画素又は白画素のいずれかに注目した場合に(注目された方の画素を「注目画素」と呼ぶ)、縦,横,斜めに隣接する注目画素のかたまりのことを示す。図4は、連結成分の例を示す図である。図4(a)のような二値画像には、黒画素に注目した場合、図4(b)と図4(c)に示される二つの連結成分が存在する。
画素の数をS’として取得する。また、文字候補判定部8は、抽出された各連結成分について、輪郭線を構成する画素のうち、LoG値が閾値以上である画素の数をL’として取得する。このとき、閾値は予め定められても良いし、変更後LoG画像中の全画素のLoG値の平均値が閾値として適用されても良いし、LoG画像や変更後LoG画像から他の統計的手法によって得られた値が閾値として適用されても良い。
文字成分抽出部9は、文字候補判定部8によって文字候補と判断された各連結成分の中から文字と推測される連結成分(以下、「文字成分」と呼ぶ)を選択し、各文字成分に係る文字情報を取得する。ここで選択される各文字成分が、文字情報抽出装置3によって文字であると最終的に判断された連結成分となる。また、文字成分抽出部9は、文字候補と判断された連結成分のみによって構成される画像(以下、「文字候補画像」と呼ぶ)からノイズ(文字と推測されない連結成分)を除去することにより、文字成分のみによって構成される画像(以下、「文字成分画像」と呼ぶ)を生成する。以下、文字成分抽出部9の具体的な処理例について説明する。
(条件1)外接矩形の高さと幅とがそれぞれ一定の範囲の大きさである。
(条件2)画像(原画像,濃淡画像,LoG画像,変更後LoG画像,文字候補画像のいずれか。いずれであるかは設計者によって適宜設定されて良い)の端に接していない。
(条件3)濃淡画像において、背景画素との濃度差が大きい。
9は、正二値画像と負二値画像とのそれぞれについて、このような文字成分画像を取得する。このとき、文字成分抽出部9は、それぞれの文字成分画像における各文字成分に係る外接矩形の大きさやその位置などを文字情報として取得しておく。この他、文字成分抽出部9は、各外接矩形の中心点の座標や連結成分の太さ(即ち文字線の太さ)などをさらに文字情報として取得しても良い。
文字線抽出部4は、各文字成分の輪郭線を折線近似することにより、文字輪郭線を取得する。文字線抽出部4は、既存のどのような手法を適用することにより折線近似を実施しても良い。以下に折線近似の手法の例について説明する。
を文字列判定装置5へ出力する。図11は、文字輪郭線画像の例を示す図である。図11(a)は文字成分画像の例であり、図11(b)は図11(a)に示される文字成分画像から作成される文字輪郭線画像の例である。
文字列判定装置5は、入力された文字輪郭線画像(例えば図11(b))から、文字情報を用いることにより、ほぼ同じ大きさの文字成分のみで構成された文字列領域を抽出する。文字列判定装置5は、文字線抽出部4によって折線近似された輪郭線に対して線分Hough変換(以下、「ハフ変換」と呼ぶ)を実行することで、文字列の上下辺をなす平行線を求め、文字列の傾きを決定し、抽出すべき文字列領域を特定する。
基点文字パターン抽出部10は、文字情報抽出装置3によって判断された文字成分の中から、文字である可能性が高い文字成分を基点文字パターンとして抽出する。基点文字パターン抽出部10は、以下に示す両条件を満たす文字成分を基点文字パターンとして抽出する。
(条件1)外接矩形の縦横比が所定の範囲内(例えば、1/2〜2の範囲内)にある。
(条件2)濃淡画像において、文字成分を構成する画素と背景画素との濃度ヒストグラムを生成した場合に、その分離度が閾値(この閾値は設計者によって適宜設定されて良い)以上である。
文字列判定部11は、各基点文字パターンについて、その基点文字パターンを含む文字列を判定する。具体的には、文字列判定部11は、各基点文字パターンについて以下の処理を実行する。
変換を行う。具体的には、文字列判定部11は、ハフ変換の対象となる線分の座標を、それまで使用されていた座標系(例えば画像の左上を原点(0,0)とする座標系)から、処理の対象となっている基点文字パターンの外接矩形の中心座標を原点(0,0)とする座標系に変換する。このような座標変換を行うことにより、ハフ変換された文字成分は、ハフ平面内にρ=0を中心に存在することとなる。
(条件1)注目している尾根を含むヒストグラムの分離度が非常に大きい(即ち、ヒストグラムの分離度が、設定されている閾値よりも大きい)。
(条件2)尾根がρ=0をはさんで存在する。
(条件3)尾根のρ方向の長さが、処理対象となっている基点文字パターンの外接矩形の長さと似ている(即ち、尾根のρ方向の長さ(ρ1とρ2との差の絶対値)と、処理対象となっている基点文字パターンの外接矩形の長さとの差が閾値よりも小さい)。
とは、一つの文字列を内包する四角形であり、各頂点(四頂点)の座標によって表される。また、文字列の傾きは、検出されたθ0を90度ずらしたものに相当する。また、文字列領域の上下辺をなす直線は、それぞれθ0とρ1,ρ2を用いて数2のように求められる。
重複情報除去部12は、文字列判定部11によって取得された複数の文字列情報の中から、重複している情報を削除し、残ったものを最終的な文字列情報として取得する。具体的には、各文字列情報における四頂点の座標や文字列の傾き等の値から文字列情報同士の類似度を判断し、類似である文字列情報を重複した文字列情報として削除する。例えば、四頂点の距離の平均や合計などが閾値よりも小さい場合や文字列の傾きの差が閾値よりも小さい場合などに、類似した文字列情報として判断される。図18は、重複情報の除去の例を示す図である。図18(a)は重複情報が除去される前の文字列情報の例を示す図であり、図18(b)は重複情報が除去された後の文字列情報の例を示す図である。
文字列出力部6は、文字列判定装置5によって判定された結果を、文字列抽出装置1の外部に対して出力するためのインタフェースとして機能する。文字列出力部6は、文字列判定装置1から上記判定結果を出力するためのどのような既存技術を用いて構成されても良い。
図19〜図23は、文字列判定装置1の動作例を示すフローチャートである。以下、図19〜図23を用いて、文字判定装置1の動作例について説明する。
よって示される二本の直線の中心線を取得し(S35)、この中心線とS33の処理で抽出された各文字列候補成分の中心点との距離の和を算出し(S36)、この距離の和が最小となった中心線に係る文字列候補情報を選択する。そして、文字列判定部11は、この文字列候補情報に基づいて、文字列情報を取得する(S37)。
文字列抽出装置1に含まれる文字列判定装置5は、文字列の傾きを算出するためにハフ変換を実行する場合、全ての文字成分をハフ変換の対象とするのではなく、特定の文字成分のみをハフ変換の対象とする。具体的には、文字である可能性の高い基点文字パターンを抽出し、注目している基点文字パターンを含む文字列の構成である可能性の高い文字成分のみがハフ変換の対象とされる。このような対象の選択は、基点文字パターンの外接矩形の大きさや文字線幅が似ている文字列候補成分を選択することや、基点文字パターンの中心から所定の範囲内にその中心が含まれる文字列候補成分を選択することにより実現される。このため、例え同一画像中に異なる方向に伸びる複数の文字列が含まれているとしても、それぞれの文字列についてハフ変換による文字列の方向を算出し、その方向をより正確に得ることが可能となる。
2 画像入力部
3 文字情報抽出装置
4 文字線抽出部
5 文字列判定装置
6 文字列出力部
7 画像変換部
8 文字候補判定部
9 文字成分抽出部
10 基点文字パターン抽出部
11 文字列判定部
12 重複情報除去部
Claims (14)
- 入力画像から文字の全部又は文字の一部を構成する文字成分を抽出する抽出手段と、
前記抽出手段によって抽出された文字成分の中から、同一の文字列に含まれると推定される文字成分を選択する選択手段と、
前記選択手段により選択された文字成分に基づいて文字列の方向及び/又は高さの情報を取得する情報取得手段と
を含む文字列領域抽出装置。 - 前記選択手段は、少なくとも各文字成分の文字としての大きさに基づいて選択を行う請求項1に記載の文字列領域抽出装置。
- 前記選択手段は、少なくとも各文字成分の文字としての線幅に基づいて選択を行う請求項1又は2に記載の文字列領域抽出装置。
- 前記選択手段は、少なくとも、ある文字成分の位置に基づいて設定された所定の領域に基づいて選択を行う請求項1〜3のいずれかに記載の文字列領域抽出装置。
- 前記情報取得手段は、前記選択手段により選択された文字成分に対してハフ変換を行い、ハフ変換の結果に基づいて文字列の方向及び/又は高さを文字列情報として取得する請求項1〜4のいずれかに記載の文字列領域抽出装置。
- 文字成分を構成する線分に対して折線近似を実施する近似手段をさらに備え、
前記情報取得手段は、前記近似手段によって折線近似が行われた結果に対してハフ変換を行う
請求項5に記載の文字列領域抽出装置。 - 文字成分の輪郭線を取得する輪郭線取得手段をさらに備え、
前記近似手段は、前記輪郭線取得手段により取得された輪郭線に対して折線近似を実施する
請求項6に記載の文字列領域抽出装置。 - 前記選択手段は、文字成分の中でも特に文字である可能性が高いと判断できる基点文字を選択し、注目している基点文字と似た大きさの文字成分を選択する請求項2に記載の文字列領域抽出装置。
- 前記選択手段は、文字成分の中でも特に文字である可能性が高いと判断できる基点文字を選択し、注目している基点文字と似た線幅を有する文字成分を選択する請求項3に記載の文字列領域抽出装置。
- 前記選択手段は、文字成分の中でも特に文字である可能性が高いと判断できる基点文字を選択し、注目している基点文字の位置に基づいて設定された所定の領域内に存在する文字成分を選択する請求項4に記載の文字列領域抽出装置。
- 入力画像から文字の全部又は文字の一部を構成する文字成分を抽出する抽出手段と、
文字成分の輪郭線を取得する輪郭線取得手段と、
前記輪郭線取得手段により取得された輪郭線に対して折線近似を実施する近似手段と、
文字成分の中でも特に文字である可能性が高いと判断できる基点文字を選択し、文字としての大きさ及び文字としての線幅が注目している基点文字と似ており、且つ、注目している基点文字を中心とする所定の領域内に存在する文字成分を選択する選択手段と、
前記選択手段により選択された文字成分の輪郭線に対して実施された折線近似の結果に対し、ハフ変換を行い、ハフ変換の結果に基づいて文字列の方向及び/又は高さを文字列情報として取得する情報取得手段と
を含む文字列領域抽出装置。 - 前記選択手段は、文字としての高さと文字としての幅との比が所定の範囲内の値であること及び/又はその文字成分を構成する画素の濃淡値とその文字成分に隣接する背景を構成する画素の濃淡値とのヒストグラムにおける分離度が高い場合に、その文字成分を基点文字として選択する請求項10又は11に記載の文字列領域抽出装置。
- 入力画像から文字の全部又は文字の一部を構成する文字成分を抽出するステップと、
抽出された文字成分の中から、同一の文字列に含まれると推定される文字成分を選択するステップと、
選択された文字成分に基づいて文字列の方向及び/又は高さの情報を取得するステップと
を情報処理装置に実行させるためのプログラム。 - 情報処理装置が、入力画像から文字の全部又は文字の一部を構成する文字成分を抽出するステップと、
情報処理装置が、抽出された文字成分の中から、同一の文字列に含まれると推定される文字成分を選択するステップと、
情報処理装置が、選択された文字成分に基づいて文字列の方向及び/又は高さの情報を取得するステップと
を行う文字列領域抽出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004125906A JP4774200B2 (ja) | 2004-04-21 | 2004-04-21 | 文字列領域抽出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004125906A JP4774200B2 (ja) | 2004-04-21 | 2004-04-21 | 文字列領域抽出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005309771A true JP2005309771A (ja) | 2005-11-04 |
JP4774200B2 JP4774200B2 (ja) | 2011-09-14 |
Family
ID=35438488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004125906A Expired - Lifetime JP4774200B2 (ja) | 2004-04-21 | 2004-04-21 | 文字列領域抽出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4774200B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008252680A (ja) * | 2007-03-30 | 2008-10-16 | Omron Corp | 携帯端末装置用のプログラムおよび携帯端末装置 |
JP2016018428A (ja) * | 2014-07-09 | 2016-02-01 | 株式会社東芝 | 電子機器、方法及びプログラム |
US10339657B2 (en) | 2014-06-19 | 2019-07-02 | Kabushiki Kaisha Toshiba | Character detection apparatus and method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0388088A (ja) * | 1989-08-31 | 1991-04-12 | Meidensha Corp | 文字列抽出方法 |
JPH0620092A (ja) * | 1992-07-06 | 1994-01-28 | Ricoh Co Ltd | 文書画像の領域識別方法 |
JPH07192085A (ja) * | 1993-12-27 | 1995-07-28 | Nec Corp | 文書画像傾き検出装置 |
JPH11238098A (ja) * | 1997-12-19 | 1999-08-31 | Fujitsu Ltd | 文字列抽出装置及びパターン抽出装置 |
JP2002084420A (ja) * | 2000-09-07 | 2002-03-22 | Fuji Xerox Co Ltd | 画像処理装置、画像処理方法および画像処理プログラムが格納された記録媒体 |
-
2004
- 2004-04-21 JP JP2004125906A patent/JP4774200B2/ja not_active Expired - Lifetime
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0388088A (ja) * | 1989-08-31 | 1991-04-12 | Meidensha Corp | 文字列抽出方法 |
JPH0620092A (ja) * | 1992-07-06 | 1994-01-28 | Ricoh Co Ltd | 文書画像の領域識別方法 |
JPH07192085A (ja) * | 1993-12-27 | 1995-07-28 | Nec Corp | 文書画像傾き検出装置 |
JPH11238098A (ja) * | 1997-12-19 | 1999-08-31 | Fujitsu Ltd | 文字列抽出装置及びパターン抽出装置 |
JP2002084420A (ja) * | 2000-09-07 | 2002-03-22 | Fuji Xerox Co Ltd | 画像処理装置、画像処理方法および画像処理プログラムが格納された記録媒体 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008252680A (ja) * | 2007-03-30 | 2008-10-16 | Omron Corp | 携帯端末装置用のプログラムおよび携帯端末装置 |
US10339657B2 (en) | 2014-06-19 | 2019-07-02 | Kabushiki Kaisha Toshiba | Character detection apparatus and method |
JP2016018428A (ja) * | 2014-07-09 | 2016-02-01 | 株式会社東芝 | 電子機器、方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4774200B2 (ja) | 2011-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11922615B2 (en) | Information processing device, information processing method, and storage medium | |
JP5047005B2 (ja) | 画像処理方法、パターン検出方法、パターン認識方法及び画像処理装置 | |
JP5456159B2 (ja) | 背景から前景の頭頂部を分離するための方法および装置 | |
JP5896245B2 (ja) | テキスト画像のトリミング方法 | |
JP2008257713A (ja) | 透視変換歪み発生文書画像補正装置および方法 | |
JP5361524B2 (ja) | パターン認識システム及びパターン認識方法 | |
JP2011141622A (ja) | 検出装置およびその方法 | |
JP6570370B2 (ja) | 画像処理方法、画像処理装置、プログラム及び記録媒体 | |
JPWO2009125596A1 (ja) | 画像処理装置、方法、および記憶媒体 | |
JP4100885B2 (ja) | 帳票認識装置、方法、プログラムおよび記憶媒体 | |
WO2009114967A1 (zh) | 基于移动扫描的图像处理方法及装置 | |
JP4537143B2 (ja) | 画像処理装置及びその方法、撮像装置、プログラム | |
JP2009134587A (ja) | 画像処理装置 | |
JP5656768B2 (ja) | 画像特徴量抽出装置およびそのプログラム | |
JP2008011484A (ja) | 文字図形列抽出装置,文字図形列抽出方法,その方法を実行するプログラム,そのプログラムを記録した記録媒体 | |
JP2008251029A (ja) | 文字認識装置、ナンバープレート認識システム | |
JP4599110B2 (ja) | 画像処理装置及びその方法、撮像装置、プログラム | |
JP4587698B2 (ja) | 文字成分抽出装置 | |
JP4774200B2 (ja) | 文字列領域抽出装置 | |
JP2006323779A (ja) | 画像処理方法、画像処理装置 | |
JP2016053763A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2010200270A (ja) | 画像処理装置、カメラおよびプログラム | |
JP4264332B2 (ja) | 文字認識装置、ナンバープレート認識システム | |
JP6175904B2 (ja) | 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム | |
JP2008152611A (ja) | 画像認識装置、電子機器、画像認識方法及び画像認識プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110614 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110627 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140701 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4774200 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |