JP2009032109A - 文書画像検索方法、文書画像登録方法、そのプログラムおよび装置 - Google Patents
文書画像検索方法、文書画像登録方法、そのプログラムおよび装置 Download PDFInfo
- Publication number
- JP2009032109A JP2009032109A JP2007196574A JP2007196574A JP2009032109A JP 2009032109 A JP2009032109 A JP 2009032109A JP 2007196574 A JP2007196574 A JP 2007196574A JP 2007196574 A JP2007196574 A JP 2007196574A JP 2009032109 A JP2009032109 A JP 2009032109A
- Authority
- JP
- Japan
- Prior art keywords
- document image
- feature
- invariant
- registered
- document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 22
- 230000005484 gravity Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 13
- 230000009466 transformation Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】撮像されあるいは読取られた文書および/または画像(検索質問文書画像)の特徴点から計算される特徴量とデータベース中に登録された登録文書画像の特徴点から得られる特徴量とを比較して検索質問文書画像に対応する登録文書画像を検索する方法であって、検索質問文書画像から複数の連結成分を抽出し、抽出された連結成分の重心を求めて各連結成分に対応する特徴点とし、幾何学的歪みに対して実質的に不変であって、各特徴点とその近傍の特徴点との組み合わせから得られる第1不変量および前記組み合せに係る各連結成分の属性から得られる第2不変量をそれぞれ求め、第1不変量と第2不変量とを組み合わせて各特徴点に対応する特徴量を算出し、各特徴量の比較結果を統計的に処理して対応する登録文書画像を特定する文書画像検索方法。
【選択図】図2
Description
また、前記文書画像検索方法に対応するものとして、この発明は、撮像されあるいは読取られた文書および/または画像(文書画像)の特徴点から計算される特徴量を前記文書画像と対応付けて予め登録しておき、検索質問として撮像されあるいは読取られた文書画像の特徴点から得られる特徴量を登録された特徴量と比較して検索質問に対応する文書画像を検索するために用いられるデータベースに前記文書画像を登録する登録方法であって、登録すべき文書画像から複数の連結成分を抽出し、抽出された連結成分の重心を求めて各連結成分に対応する特徴点とし、幾何学的歪みに対して実質的に不変な第1および第2不変量であって、各特徴点とその近傍の特徴点との組み合わせから得られる第1不変量および前記組み合せに係る各連結成分の属性から得られる第2不変量をそれぞれ求め、第1不変量と第2不変量とを組み合わせて各特徴点に対応する特徴量を算出し、各特徴量を前記文書画像に対応付けてデータベースに登録する文書画像登録方法を提供する。
前記第2不変量は、前記組合せに係る各特徴点を、それに対応する連結成分の面積の大きい順または小さい順に並べたベクトルとして得られるものであってもよい。
以下、図面を用いてこの発明をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この発明を限定するものと解されるべきではない。
はじめに、従来のLLAHを適用した文書画像検索の処理手順の概要を説明する。これによって、本願発明の位置付けがより明確に理解されるであろう。
まず、登録文書または検索質問を特徴点の集合として表現すべく、特徴点抽出処理が行われる。文書画像の特徴を点(特徴点)の集合で表し、各特徴点に係る特徴量を用いて識別できるようにするためである。
幾何的歪みに対する安定性を得るために、各特徴点に係る特徴量として、幾何的歪に対する不変量を用いる。この実施形態では、幾何的歪みの一種であるアフィン歪みに対する不変量(アフィン不変量)を用いる。アフィン不変量は同一平面上の4点から計算され、アフィン変換における不変量である。アフィン変換とは、直線の平行性が維持される幾何変換であり、デジタルカメラで撮影された画像で生じる射影変換よりも自由度の低い変換である。射影変換を受けた平面においても、多くの場合、局所領域ではその変換がアフィン変換に近似されるため,アフィン不変量を利用することが可能となる。アフィン不変量は同一平面上の4点ABCDの座標からP(A,C,D)/P(A,B,C)で計算される。即ち、同一平面上の4点の組み合わせから得られる2つの三角形の面積比として求められる。アフィン不変量を用いて求めた各特徴点についての特徴量を離散化し、各特徴点のインデックスとして用いる。なお、他の種類の不変量を特徴量計算に適用することも可能である。例えば、射影歪みに対する不変量として複比が知られている。この複比を特徴量計算に用いてもよい。あるいは、相似歪みに対して、直線間の角度、距離の比、面積の比、距離の2乗と面積の比などの相似不変量を用いてもよい。
特徴量とは、文書画像の各特徴点を表現する量である。文書画像検索は、検索質問および登録文書のそれぞれについて、特徴点から得られる特徴量を計算し、それらの値を比較することで検索質問と登録文書が対応しているか否かを判断する。検索質問に対応する登録文書を正確に、かつ高速に検索できる特徴量が優れた特徴量であるといえる。
以上で説明した特徴量を用いた文書画像の登録および検索方法について述べる。ここでは概略のみを説明する。詳細については、例えば、非特許文献1または3を参照されたい。まず、登録について述べる。ここまでで述べたように、この手法では、各特徴点の近傍n点からm点を取り出し、mC4次元のアフィン不変量のベクトルによって表現されるm点の配置を特徴量としている。この特徴量を、以下に示すハッシュ関数によってハッシュ表のインデックスHindexに変換する。
得られたインデックスを用いて図13に示されるようなハッシュ表へ、登録文書の識別番号である文書IDと点の識別番号である点ID、不変量r(i)(i=0, 1, …,mC4-1)を登録する。登録時に衝突が生じた場合、データは図13のようにリスト構造で付け加えられる。
次に、上述の従来手法を日本語文書へ適用できるようにしたこの発明の手法について、従来手法との差異点である特徴点抽出および特徴量計算について説明する。
そのため、より多くの特徴点を用いるという方策は特徴量の安定性を低下させてしまう。
図2は、この実施形態に係る特徴量計算の処理手順を示すフローチャートである。以下では、この手順に沿って詳しく説明する。
前述の説明からわかるように、この発明の特徴は、主として図2のStep5,7,9の処理にある。そこで、これらの処理についてさらに詳しく述べる。
図3は、この実施形態に係る文書画像検索処理において、不変量(面積比)と面積順位を用いた特徴量計算の具体例を示す説明図である。ここで、右図中央にある白抜きの小さい円は注目する特徴点Pを表し、その他の小さい円は周囲の特徴点i1〜i6を表す。また、小さい円を含んで、様々な形をした大きな図形は、特徴点の元となった連結成分を表す。
提案手法の有効性を検証するため、非特許文献1の手法と提案手法を用いて日本語文書検索実験を行った。文書画像データベースに収めた文書は、各種学会誌、論文誌より収集した日本語文書1万ページである。また、検索質問としては、1万ページの中から50ページを選び、角度60度(正面を90度としたときの角度)から撮影した画像50枚を用いた。画像サイズは1280万画素である。また、これを60%の大きさに縮小した画像も、検索質問として用いた。使用計算機は、CPUがAMD Opteron 2.4GHz、 メモリが16GBのものである。
結果を表1に示す。以下、表に沿って考察する。
以上を総合すると、提案手法は、日本語などの分かち書きされていない文書を高い精度で高速に検索する手法として、従来法に比べて優れたものであるといえる。
D:登録文書
Claims (13)
- 撮像されあるいは読取られた文書および/または画像(検索質問文書画像)の特徴点から計算される特徴量とデータベース中に登録された複数の文書および/または画像(登録文書画像)の特徴点から得られる特徴量とを比較して検索質問文書画像に対応する登録文書画像を検索する方法であって、
検索質問文書画像から複数の連結成分を抽出し、
抽出された連結成分の重心を求めて各連結成分に対応する特徴点とし、
幾何学的歪みに対して実質的に不変な第1および第2不変量であって、各特徴点とその近傍の特徴点との組み合わせから得られる第1不変量および前記組み合せに係る各連結成分の属性から得られる第2不変量をそれぞれ求め、
第1不変量と第2不変量とを組み合わせて各特徴点に対応する特徴量を算出し、
各特徴量の比較結果を統計的に処理して検索質問文書画像に対応する登録文書画像を特定する文書画像検索方法。 - 前記第2不変量は、前記組合せに係る各特徴点を、それに対応する連結成分の面積の大きい順または小さい順に並べたベクトルとして得られる請求項1記載の文書画像検索方法。
- 検索質問文書画像または登録文書画像は、分かち書きされない言語の文書を含む請求項1または2に記載の文書画像検索方法。
- 前記第1不変量は、前記組合せに係る各特徴点を結ぶ複数の多角形の面積比として得られる請求項1記載の文書画像検索方法。
- 前記第2不変量は、前記組合せに係る各連結成分の面積を正規化して離散化したものを要素とするベクトルである請求項1記載の文書画像検索方法。
- 前記第2不変量は、前記組合せに係る各連結成分の面積比を要素とするベクトルである請求項1記載の文書画像検索方法。
- 前記第2不変量は、前記組合せに係る各連結成分の面積と前記連結成分の凸包の面積との比を要素とするベクトルである請求項1記載の文書画像検索方法。
- 前記第2不変量は、前記組合せに係る各連結成分の周長と前記連結成分の凸包の周長との比を要素とするベクトルである請求項1記載の文書画像検索方法。
- 撮像されあるいは読取られた文書および/または画像(文書画像)の特徴点から計算される特徴量を前記文書画像と対応付けて予め登録しておき、検索質問として撮像されあるいは読取られた文書画像の特徴点から得られる特徴量を登録された特徴量と比較して検索質問に対応する文書画像を検索するために用いられるデータベースに前記文書画像を登録する登録方法であって、
登録すべき文書画像から複数の連結成分を抽出し、
抽出された連結成分の重心を求めて各連結成分に対応する特徴点とし、
幾何学的歪みに対して実質的に不変な第1および第2不変量であって、各特徴点とその近傍の特徴点との組み合わせから得られる第1不変量および前記組み合せに係る各連結成分の属性から得られる第2不変量をそれぞれ求め、
第1不変量と第2不変量とを組み合わせて各特徴点に対応する特徴量を算出し、
各特徴量を前記文書画像に対応付けてデータベースに登録する文書画像登録方法。 - 撮像されあるいは読取られた文書および/または画像(検索質問文書画像)の特徴点から計算される特徴量とデータベース中に登録された複数の文書および/または画像(登録文書画像)の特徴点から得られる特徴量とを比較して検索質問文書画像に対応する登録文書画像を検索する処理をコンピュータに実行させるためのプログラムであって、
検索質問文書画像から複数の連結成分を抽出し、
抽出された連結成分の重心を求めて各連結成分に対応する特徴点とし、
幾何学的歪みに対して実質的に不変な第1および第2不変量であって、各特徴点とその近傍の特徴点との組み合わせから得られる第1不変量および前記組み合せに係る各連結成分の属性から得られる第2不変量をそれぞれ求め、
第1不変量と第2不変量とを組み合わせて各特徴点に対応する特徴量を算出し、
各特徴量の比較結果を統計的に処理して検索質問文書画像に対応する登録文書画像を特定する処理を実行させるための文書画像検索プログラム。 - 撮像されあるいは読取られた文書および/または画像(文書画像)の特徴点から計算される特徴量を前記文書画像に対応付けて予め登録しておき、検索質問として撮像されあるいは読取られた文書画像の特徴点から得られる特徴量を登録された特徴量と比較して検索質問に対応する文書画像を検索するために用いられるデータベースに前記文書画像を登録する処理をコンピュータに実行させるためのプログラムであって、
登録すべき文書画像から複数の連結成分を抽出し、
抽出された連結成分の重心を求めて各連結成分に対応する特徴点とし、
幾何学的歪みに対して実質的に不変な第1および第2不変量であって、各特徴点とその近傍の特徴点との組み合わせから得られる第1不変量および前記組み合せに係る各連結成分の属性から得られる第2不変量をそれぞれ求め、
第1不変量と第2不変量とを組み合わせて各特徴点に対応する特徴量を算出し、
各特徴量を前記文書画像に対応付けてデータベースに登録する処理を実行させるための文書画像登録プログラム。 - 撮像されあるいは読取られた文書および/または画像(検索質問文書画像)の特徴点から計算される特徴量とデータベース中に登録された複数の文書および/または画像(登録文書画像)の特徴点から得られる特徴量とを比較して検索質問文書画像に対応する登録文書画像を検索する装置であって、
検索質問文書画像から複数の連結成分を抽出する連結成分抽出部と、
抽出された連結成分の重心を求めて各連結成分に対応する特徴点とする特徴点決定部と、
幾何学的歪みに対して実質的に不変な第1および第2不変量であって、各特徴点とその近傍の特徴点との組み合わせから得られる第1不変量および前記組み合せに係る各連結成分の属性から得られる第2不変量をそれぞれ求める不変量算出部と、
第1不変量と第2不変量とを組み合わせて各特徴点に対応する特徴量を算出する特徴量算出部と、
各特徴量の比較結果を統計的に処理して検索質問文書画像に対応する登録文書画像を特定する検索部とを備えることを特徴とする文書画像検索装置。 - 撮像されあるいは読取られた文書および/または画像(文書画像)の特徴点から計算される特徴量を前記文書画像に対応付けて予め登録しておき、検索質問として撮像されあるいは読取られた文書画像の特徴点から得られる特徴量を登録された特徴量と比較して検索質問に対応する文書画像を検索するために用いられるデータベースに前記文書画像を登録する装置であって、
登録すべき文書画像から複数の連結成分を抽出する連結成分抽出部と、
抽出された連結成分の重心を求めて各連結成分に対応する特徴点とする特徴点決定部と、
幾何学的歪みに対して実質的に不変な第1および第2不変量であって、各特徴点とその近傍の特徴点との組み合わせから得られる第1不変量および前記組み合せに係る各連結成分の属性から得られる第2不変量をそれぞれ求める不変量算出部と、
第1不変量と第2不変量とを組み合わせて各特徴点に対応する特徴量を算出する特徴量算出部と、
各特徴量を前記文書画像に対応付けてデータベースに登録する登録部とを備えることを特徴とする文書画像登録装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007196574A JP5004082B2 (ja) | 2007-07-27 | 2007-07-27 | 文書画像検索方法、文書画像登録方法、そのプログラムおよび装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007196574A JP5004082B2 (ja) | 2007-07-27 | 2007-07-27 | 文書画像検索方法、文書画像登録方法、そのプログラムおよび装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009032109A true JP2009032109A (ja) | 2009-02-12 |
JP5004082B2 JP5004082B2 (ja) | 2012-08-22 |
Family
ID=40402532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007196574A Expired - Fee Related JP5004082B2 (ja) | 2007-07-27 | 2007-07-27 | 文書画像検索方法、文書画像登録方法、そのプログラムおよび装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5004082B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012181765A (ja) * | 2011-03-02 | 2012-09-20 | Osaka Prefecture Univ | 文書画像データベースの登録方法および検索方法 |
JP2015118628A (ja) * | 2013-12-19 | 2015-06-25 | 富士通株式会社 | 文書画像検索装置、方法、及びプログラム |
US9218537B2 (en) | 2012-09-21 | 2015-12-22 | Fujitsu Limited | Image processing device and image processing method |
CN107729492A (zh) * | 2017-10-18 | 2018-02-23 | 广东小天才科技有限公司 | 一种习题的推送方法、系统及终端设备 |
CN115690257A (zh) * | 2022-10-10 | 2023-02-03 | 北京城建设计发展集团股份有限公司 | 一种gis图的生成方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006092957A1 (ja) * | 2005-03-01 | 2006-09-08 | Osaka Prefecture University Public Corporation | 文書・画像検索方法とそのプログラム、文書・画像登録装置および検索装置 |
JP2008257670A (ja) * | 2007-03-30 | 2008-10-23 | Sharp Corp | 画像文書の検索装置、画像文書の検索方法、プログラム、及び記録媒体 |
-
2007
- 2007-07-27 JP JP2007196574A patent/JP5004082B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006092957A1 (ja) * | 2005-03-01 | 2006-09-08 | Osaka Prefecture University Public Corporation | 文書・画像検索方法とそのプログラム、文書・画像登録装置および検索装置 |
JP2008257670A (ja) * | 2007-03-30 | 2008-10-23 | Sharp Corp | 画像文書の検索装置、画像文書の検索方法、プログラム、及び記録媒体 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012181765A (ja) * | 2011-03-02 | 2012-09-20 | Osaka Prefecture Univ | 文書画像データベースの登録方法および検索方法 |
US9218537B2 (en) | 2012-09-21 | 2015-12-22 | Fujitsu Limited | Image processing device and image processing method |
JP2015118628A (ja) * | 2013-12-19 | 2015-06-25 | 富士通株式会社 | 文書画像検索装置、方法、及びプログラム |
CN107729492A (zh) * | 2017-10-18 | 2018-02-23 | 广东小天才科技有限公司 | 一种习题的推送方法、系统及终端设备 |
CN115690257A (zh) * | 2022-10-10 | 2023-02-03 | 北京城建设计发展集团股份有限公司 | 一种gis图的生成方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP5004082B2 (ja) | 2012-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5522408B2 (ja) | パターン認識装置 | |
US8885984B1 (en) | Efficient image matching for large sets of images | |
JP5487970B2 (ja) | 特徴点配置照合装置及び画像照合装置、その方法及びプログラム | |
US8687886B2 (en) | Method and apparatus for document image indexing and retrieval using multi-level document image structure and local features | |
US9916499B2 (en) | Method and system for linking printed objects with electronic content | |
Xue et al. | Arbitrarily-oriented text detection in low light natural scene images | |
CN101133429A (zh) | 文档和/或图像检索方法及其程序、文档和/或图像存储设备和检索设备 | |
JP2013109773A (ja) | 特徴マッチング方法及び商品認識システム | |
JP5004082B2 (ja) | 文書画像検索方法、文書画像登録方法、そのプログラムおよび装置 | |
CN113111880B (zh) | 证件图像校正方法、装置、电子设备及存储介质 | |
WO2014188446A2 (en) | Method and apparatus for image matching | |
KR20190124436A (ko) | 영상 기반 건물 검색 방법 및 장치 | |
JP2013037539A (ja) | 画像特徴量抽出装置およびそのプログラム | |
CN110781195B (zh) | 一种兴趣点信息更新的系统、方法和装置 | |
CN103744903B (zh) | 一种基于草图的场景图像检索方法 | |
CN109213515B (zh) | 多平台下埋点归一方法及装置和电子设备 | |
JP5216631B2 (ja) | 特徴量抽出装置 | |
JP2014225168A (ja) | 特徴点集合で表される画像間の類似度を算出するプログラム、装置及び方法 | |
CN110660091A (zh) | 一种图像配准处理方法、装置和拍照批改作业系统 | |
JP2017138743A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5414631B2 (ja) | 文字列探索方法、文字列探索装置、記録媒体 | |
Steinebach et al. | Image hashing robust against cropping and rotation | |
KR102239564B1 (ko) | 행정구역별 오브젝트 인식방법 및 그 시스템 | |
JP5229161B2 (ja) | 情報提供装置、情報提供方法および情報提供プログラム | |
Fan | Detection of quadrilateral document regions from digital photographs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100714 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120514 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150601 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |