JP2010103925A - 電子透かしの同期回復装置及び電子透かしの同期回復プログラム - Google Patents
電子透かしの同期回復装置及び電子透かしの同期回復プログラム Download PDFInfo
- Publication number
- JP2010103925A JP2010103925A JP2008275663A JP2008275663A JP2010103925A JP 2010103925 A JP2010103925 A JP 2010103925A JP 2008275663 A JP2008275663 A JP 2008275663A JP 2008275663 A JP2008275663 A JP 2008275663A JP 2010103925 A JP2010103925 A JP 2010103925A
- Authority
- JP
- Japan
- Prior art keywords
- image
- reference points
- line segment
- reference point
- paper image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【解決手段】複数の基準点の対応関係に基づいてオリジナルの紙面画像と印刷紙面画像間の幾何学的変化を示す幾何学変換パラメータを算出する幾何学変換パラメータ算出部10を設け、印刷紙面画像補正部11が幾何学変換パラメータ算出部10により算出された幾何学変換パラメータを用いて、印刷紙面画像を幾何学的に変換することで、印刷紙面画像を幾何学的に補正する。
【選択図】図1
Description
例えば、以下の特許文献1には、ドットでパターンを形成し、特定位置のドットの有無によって、バイナリ情報を秘匿する手法が開示されている。
また、以下の特許文献2には、情報ユニットと呼ばれる複数種類の波形を有するブロックをドキュメント上に配置して印刷し、どの種類のブロックが特定位置に存在するかによって情報を埋め込む手法が開示されている。この情報を埋め込んだパターンは、しばしば電子透かしと呼ばれる。
即ち、埋め込み時と検出時では、同じ座標軸を用いて、埋め込み処理と検出処理を行う必要がある。これを電子透かしの同期回復と称される。
以下の特許文献1には、ドットの集合で矩形の情報ブロックを構成し、この情報ブロックの四隅(または、その一部)に同期回復用の基準パターンを配置する方法が開示されている。
この情報ブロックは、ドキュメント上に繰り返し配置されるので、基準パターンも情報ブロックと同様に周期的に配置される。
従来の電子透かしの同期回復装置は、パターンマッチングの手法を用いて、周期的に配置されている基準パターンを抽出し、その基準パターンを基準にして座標を定めることによって電子透かしの同期回復を行うようにしている。
また、基準パターンを情報ブロックと同様に周期的に配置する必要があるが、人間の目は規則性に敏感であるため、周期的な基準パターンは目につきやすく、電子透かしの秘匿性が劣化することがある課題があった。
図1はこの発明の実施の形態1による電子透かしの同期回復装置を示す構成図である。
図1において、電子透かし埋め込み装置1は例えばパソコンやプリンタなどから構成されており、電子透かしをオリジナルの紙面画像に埋め込むとともに、その電子透かしの埋め込み位置の特定用として、配置が既知である複数の基準点をオリジナルの紙面画像に埋め込み、そのオリジナルの紙面画像を紙面に印刷する処理を実施する。
ここで、基準点の配置については実施の形態2で説明するが、例えば、上記の特許文献2に開示されているような基準パターンを配置するようにしてもよい(図4を参照)。
因みに、オリジナルの紙面画像が文書である場合、電子透かし埋め込み装置1により基準点が電子透かしとして埋め込まれる。この場合、電子透かし埋め込み装置1から電子透かしとして埋め込まれている基準点の位置を示す位置情報を取得する。あるいは、電子透かし埋め込み装置1からオリジナルの紙面画像の画像データ(電子データ)を受け取り、その画像データから基準点の位置を算出する。
オリジナルの紙面画像がデジタル化された自然物を撮影している自然画像などである場合には、基準点が電子透かしとして埋め込まれていなくてもよい。基準点が電子透かしとして埋め込まれていない場合、適当なフィルタ等を使用して、自然画像等の画像信号から特徴点を抽出し、この特徴点を基準点として用いるようにする。
印刷紙面画像基準点位置算出部5は例えば画像検出器やMPUなどの演算装置から構成されており、例えばパターンマッチング法を実施して、印刷紙面画像取得部4により取得された印刷紙面画像に埋め込まれている複数の基準点を検出し、複数の基準点の位置を算出する処理を実施する。
なお、印刷紙面画像取得部4及び印刷紙面画像基準点位置算出部5から印刷紙面画像基準点位置算出手段が構成されている。
線分比算出部7は例えばMPUなどの演算装置から構成されており、オリジナル紙面画像ベクトル算出部3により算出されたベクトルの長さと、印刷紙面画像ベクトル算出部6により算出されたベクトルの長さの比である線分比を算出する処理を実施する。
なお、オリジナル紙面画像ベクトル算出部3、印刷紙面画像ベクトル算出部6及び線分比算出部7から線分比算出手段が構成されている。
なお、オリジナル紙面画像ベクトル算出部3、印刷紙面画像ベクトル算出部6及び方向角差分算出部8から方向角差分算出手段が構成されている。
なお、印刷紙面画像補正部11は印刷紙面画像補正手段を構成している。
図2はこの発明の実施の形態1による電子透かしの同期回復装置の処理内容を示すフローチャートである。
この実施の形態1における電子透かしの同期回復装置の概略を説明すると、オリジナルの紙面画像上の2つの特徴点を結んだベクトルの長さ及び方向と、印刷紙面画像上の2つの特徴点を結んだベクトルの長さ及び方向とを比較する一般化ハフ変換を実施して、オリジナル紙面画像上の特徴点と印刷紙面画像上の特徴点との対応関係を決定することで、幾何学変換のパラメータを決定し、さらに、その幾何学変換のパラメータを用いる幾何学変換によって印刷紙面画像を補正することで、電子透かしの同期回復を行うものである。
ハフ変換は、当初、直線を検出する手法として提案されたものであるが、例えば、円など、少数のパラメータで定式化される図形の検出にも利用することができる。
一般化ハフ変換は、輪郭の各点の座標と、各点における輪郭の方向を登録することによって、任意形状の図形を検出できるようにハフ変換を拡張したものである。
この実施の形態1では、この手法をオリジナルの紙面画像に埋め込まれた電子透かしの基準点と、そのオリジナルの紙面画像が印刷された紙の印刷物をスキャンして取得した電子データである印刷紙面画像から検出した基準点との対応関係の決定に利用している。
まず、オリジナル紙面画像基準点位置取得部2は、電子透かし埋め込み装置1からオリジナルの紙面画像に埋め込まれている複数の基準点の位置を示す位置情報を取得する(ステップST1)。このとき、電子透かし埋め込み装置1からオリジナルの紙面画像の画像データを受け取り、その画像データから基準点の位置を算出するようにしてもよい。
ここでは、説明の便宜上、M個の基準点Pk1(k1=0,1,2,…,M−1)の位置を示す位置情報を取得するものとする。
ベクトル :PpiPpj=(xpi−xpj,ypi−ypj)=(px,py)
ベクトルPpiPpjの長さ:upipj=((px)2+(py)2)1/2
(1)
なお、オリジナル紙面画像ベクトル算出部3は、全ての基準点Pk1(k1=0,1,2,…,M−1)の組み合わせについてベクトルの長さを算出する。ただし、同じ2つの基準点の組み合わせに対しては、1つのベクトルの長さのみを算出し、逆方向のベクトルの長さは算出しない。
印刷紙面画像基準点位置算出部5は、印刷紙面画像取得部4が印刷紙面画像を示す電子データを取得すると、例えば、パターンマッチング法を実施して、その印刷紙面画像に埋め込まれている複数の基準点を検出し、複数の基準点の位置を算出する(ステップST4)。
ここでは、説明の便宜上、N個の基準点Qk2(k2=0,1,2,…,N−1)の位置を算出するものとする。
因みに、印刷紙面画像基準点位置算出部5が基準点Qk2の位置を算出する際の座標系は暫定的に決定すればよいが、一般に、ハフ変換では、ドキュメントの中心に原点を取ると性能が向上する。
この実施の形態1では、幾何学的変化を示す幾何学変換パラメータを(a,b,c,d,e,f)で表すものとする。
このとき、オリジナル紙面画像基準点位置取得部2により取得されたM個の基準点Pk1の位置(xk1,yk1)と、印刷紙面画像基準点位置算出部5により算出されたN個の基準点Qk2の位置(xk2,yk2)は、下記のように表される。
xk1=a×xk2+b×yk2+c
yk1=d×xk2+e×yk2+d
なお、印刷紙面画像基準点位置算出部5によるN個の基準点Qk2の検出には一定量の誤りが含まれていてもよく、そのような誤りは、以下のステップST9における基準点の対応関係を決定する処理の段階で排除される。
ベクトル :QqiQqj=(xqi-xqj,yqi-yqj)=(qx,qy)
ベクトルQqiQqjの長さ:vqiqj=((qx)2+(qy)2)1/2
(2)
なお、印刷紙面画像ベクトル算出部6は、全ての基準点Qk2(k2=0,1,2,…,N−1)の組み合わせについてベクトルの長さを算出する。ただし、同じ2つの基準点の組み合わせに対しては、1つのベクトルの長さのみを算出し、逆方向のベクトルの長さは算出しない。
線分比:SPQ=vqiqj/upipj (3)
内積=ベクトルPpiPpj×ベクトルQqiQqj
=upipj×vqiqjcosθPQ
=px×qx+py×qy
∴ θPQ=cos-1((px×qx+py×qy)/(upipj×vqiqj)
(4)
以下、基準点対応関係決定部9におけるオリジナルの紙面画像上の基準点Pk1(k1=0,1,2,…,M−1)と、印刷紙面画像上の基準点Qk2(k2=0,1,2,…,N−1)との対応関係の決定処理を具体的に説明する。
この2次元のバッファhは、k2=0〜N−1の各k2に対して、幾何学変換パラメータs,θの取り得る値の(s,θ)の組み合わせ分だけ用意する。従って、バッファhは(k2,s,θ)の3次元バッファとみなすこともできる。なお、sは上記の線分比SPQを意味し、θは上記の方向角差分θPQを意味する。
オリジナルの紙面画像上の基準点Pk1(k1=0,1,2,…,M−1)において、k1=piである基準点Ppiから、同紙面画像上のk1=pi以外のすべての基準点Ppj(pj=0,1,2,…,M−1)へのベクトルPpiPpj(pi=0,1,2,…,M−1であり、pjはpiを除く、k1=0,1,2,…,M−1のいずれかである。合計(M−1)×(M−1)個)は、以下のようになる。
ベクトル: P1P0, P1P2, …,P1Ppj, …,P1PM-2,P1PM-1←M-1個
ベクトル: P2P0, P2P1, …,P2Ppj, …,P2PM-2,P2PM-1←M-1個
ベクトル: P3P0, P3P1,P3P2, …,P3Ppj, …,P3PM-2,P3PM-1←M-1個
ベクトル: ……………………………………PpiPpj………… ←M-1個
ベクトル: PM-1P0,PM-1P1,PM-1P2,…,PM-1Ppj,…,PM-1PM-2 ←M-1個
ベクトル: Q0Q1,Q0Q2, …,Q0Qqj, …,Q0QN-2,Q0QN-1←N-1個
ベクトル: Q1Q0, Q1Q2, …,Q1Qqj, …,Q1QN-2,Q1QN-1←N-1個
ベクトル: Q2Q0, Q2Q1, …,Q2Qqj, …,Q2QN-2,Q2QN-1←N-1個
ベクトル: Q3Q0, Q3Q1,Q3Q2, …,Q3Qqj, …,Q3QN-2,Q3QN-1←N-1個
ベクトル: ……………………………………QqiQqj………… ←N-1個
ベクトル: QN-1Q0,QN-1Q1,QN-1Q2,…,QN-1Qqj, …,QN-1QN-2 ←N-1個
これを0〜N−1のすべての基準点Qk2に行うことで、印刷紙面画像上で検出された全ての基準点Qk2に対応するオリジナル紙面画像上の基準点Pk1を決定することができる。
xk1=a×xk2+b×yk2+c
yk1=d×xk2+e×yk2+d
変換前座標と変換後座標の二乗和の誤差は、以下のように表される。
Sx=Σi=1 n(axk2+byk2+c−xk1)2
Sy=Σi=1 n(cxk2+dyk2+e−xk1)2
ただし、nはオリジナルの紙面画像と印刷紙面画像との間で対応がとれている特徴点の数である。
幾何学変換パラメータ算出部10は、これらの二乗和の誤差Sx,Syが最小になるように、最小二乗法の計算を実施して、幾何学変換パラメータ(a,b,c,d,e,f)を決定する。
また、印刷紙面画像補正部11は、補正後の印刷紙面画像が、オリジナルの紙面画像上のどこに対応するかを決定する。
また、幾何学変換パラメータ(a,b,c,d,e,f)の算出が主な基準点の一致に基づいて行われるので、一部の基準点が失われている場合や、誤りがある基準点が存在する場合でも、安定的に正しい幾何学変換パラメータ(a,b,c,d,e,f)が得られる効果を奏する。
この検出精度が低下する問題は、2次元のバッファh(s,θ)をスムージングすることによって軽減することができる。
さらに、2次元のバッファh(s,θ)の±1近傍のパラメータの平均を取って、最終的な2次元のバッファhの値とすることで、検出精度の低下を軽減することができる。
上記実施の形態1では、オリジナルの紙面画像に対する基準点の配置について特に言及していないが、オリジナルの紙面画像に対して、複数の基準点がランダムに配置されているようにしてもよい。
即ち、電子透かし埋め込み装置1によりオリジナルの紙面画像に埋め込まれる複数の基準点の位置を、例えば、乱数などを用いて決定することにより、オリジナルの紙面画像に対して、複数の基準点がランダムに配置されるようにしてもよい。
図5において、×は基準点の位置を示しており、複数の基準点が平面内にランダムに配置され、基準点の一部分の配置が他の部分と重なる可能性が低くなるように配置されている。
このため、印刷物の一部分が発見されたとき、その一部分がオリジナルの紙面画像のどの部分に相当するものであるかを、基準点の配置だけから高い確率で推定することができる。
これに対して、図6に示すように、基準点が規則的に配置されている場合には、その一部の基準点の配置が他の部分と重なり、切り取られた断片が元のドキュメントのどの部分に相当するのかを、基準点から断定することができない。
上記実施の形態1では、電子透かし埋め込み装置1からオリジナルの紙面画像に埋め込まれている複数の基準点の位置を示す位置情報を取得するものについて示したが、電子透かし埋め込み装置1又は電子透かし埋め込み装置1の保管メモリなどから、電子データであるオリジナルの紙面画像を例えば通信路経由で受け取り、パターンマッチング法などを実施することにより、そのオリジナルの紙面画像から複数の基準点を検出するようにしてもよい。
また、電子透かし埋め込み装置1が複数の基準点を埋め込む際に実施する基準点の埋め込み位置決定アルゴリズムと同じアルゴリズムを実施することで、オリジナルの紙面画像に埋め込まれている複数の基準点の位置を決定するようにしてもよい。
Claims (3)
- 電子透かしの埋め込み位置の特定用として、オリジナルの紙面画像に埋め込まれている複数の基準点の位置を取得するオリジナル紙面画像基準点位置取得手段と、上記オリジナルの紙面画像が印刷された紙面上の印刷紙面画像に埋め込まれている複数の基準点の位置を算出する印刷紙面画像基準点位置算出手段と、上記オリジナル紙面画像基準点位置取得手段により取得された基準点間を結ぶ線分の長さと上記印刷紙面画像基準点位置算出手段により算出された基準点間を結ぶ線分の長さとの比である線分比を算出する線分比算出手段と、上記オリジナル紙面画像基準点位置取得手段により取得された基準点間を結ぶ線分がなす方向角と上記印刷紙面画像基準点位置算出手段により算出された基準点間を結ぶ線分がなす方向角との差分である方向角差分を算出する方向角差分算出手段と、上記線分比算出手段により算出された線分比と上記方向角差分算出手段により算出された方向角差分から、上記オリジナルの紙面画像に埋め込まれている複数の基準点と上記印刷紙面画像に埋め込まれている複数の基準点との対応関係を決定する対応関係決定手段と、上記対応関係決定手段により決定された複数の基準点の対応関係に基づいて上記オリジナルの紙面画像と上記印刷紙面画像間の幾何学的変化を示す幾何学変換パラメータを算出する幾何学変換パラメータ算出手段と、上記幾何学変換パラメータ算出手段により算出された幾何学変換パラメータを用いて、上記印刷紙面画像を幾何学的に変換することで、上記印刷紙面画像を幾何学的に補正する印刷紙面画像補正手段とを備えた電子透かしの同期回復装置。
- オリジナルの紙面画像に対して、複数の基準点がランダムに配置されていることを特徴とする請求項1記載の電子透かしの同期回復装置。
- 電子透かしの埋め込み位置の特定用として、オリジナルの紙面画像に埋め込まれている複数の基準点の位置を取得するオリジナル紙面画像基準点位置取得処理手順と、上記オリジナルの紙面画像が印刷された紙面上の印刷紙面画像に埋め込まれている複数の基準点の位置を算出する印刷紙面画像基準点位置算出処理手順と、上記オリジナル紙面画像基準点位置取得処理手順により取得された基準点間を結ぶ線分の長さと上記印刷紙面画像基準点位置算出処理手順により算出された基準点間を結ぶ線分の長さとの比である線分比を算出する線分比算出処理手順と、上記オリジナル紙面画像基準点位置取得処理手順により取得された基準点間を結ぶ線分がなす方向角と上記印刷紙面画像基準点位置算出処理手順により算出された基準点間を結ぶ線分がなす方向角との差分である方向角差分を算出する方向角差分算出処理手順と、上記線分比算出処理手順により算出された線分比と上記方向角差分算出処理手順により算出された方向角差分から、上記オリジナルの紙面画像に埋め込まれている複数の基準点と上記印刷紙面画像に埋め込まれている複数の基準点との対応関係を決定する対応関係決定処理手順と、上記対応関係決定処理手順により決定された複数の基準点の対応関係に基づいて上記オリジナルの紙面画像と上記印刷紙面画像間の幾何学的変化を示す幾何学変換パラメータを算出する幾何学変換パラメータ算出処理手順と、上記幾何学変換パラメータ算出処理手順により算出された幾何学変換パラメータを用いて、上記印刷紙面画像を幾何学的に変換することで、上記印刷紙面画像を幾何学的に補正する印刷紙面画像補正処理手順とをコンピュータに実行させるための電子透かしの同期回復プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008275663A JP4948505B2 (ja) | 2008-10-27 | 2008-10-27 | 電子透かしの同期回復装置及び電子透かしの同期回復プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008275663A JP4948505B2 (ja) | 2008-10-27 | 2008-10-27 | 電子透かしの同期回復装置及び電子透かしの同期回復プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010103925A true JP2010103925A (ja) | 2010-05-06 |
JP4948505B2 JP4948505B2 (ja) | 2012-06-06 |
Family
ID=42294116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008275663A Expired - Fee Related JP4948505B2 (ja) | 2008-10-27 | 2008-10-27 | 電子透かしの同期回復装置及び電子透かしの同期回復プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4948505B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6007302B1 (ja) * | 2015-11-16 | 2016-10-12 | 三菱電機インフォメーションシステムズ株式会社 | 電子透かし埋め込みシステム、電子透かし埋め込み装置、電子透かし信号生成装置及び電子透かし埋め込みプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005026797A (ja) * | 2003-06-30 | 2005-01-27 | Nippon Telegr & Teleph Corp <Ntt> | 電子透かし埋め込み方法及び装置、電子透かし検出方法及び装置、電子透かし検出システム、プログラム並びに記録媒体 |
JP2009081827A (ja) * | 2007-09-03 | 2009-04-16 | Osaka Prefecture Univ | 電子透かしの復元方法および復元処理プログラム |
-
2008
- 2008-10-27 JP JP2008275663A patent/JP4948505B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005026797A (ja) * | 2003-06-30 | 2005-01-27 | Nippon Telegr & Teleph Corp <Ntt> | 電子透かし埋め込み方法及び装置、電子透かし検出方法及び装置、電子透かし検出システム、プログラム並びに記録媒体 |
JP2009081827A (ja) * | 2007-09-03 | 2009-04-16 | Osaka Prefecture Univ | 電子透かしの復元方法および復元処理プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6007302B1 (ja) * | 2015-11-16 | 2016-10-12 | 三菱電機インフォメーションシステムズ株式会社 | 電子透かし埋め込みシステム、電子透かし埋め込み装置、電子透かし信号生成装置及び電子透かし埋め込みプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4948505B2 (ja) | 2012-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gu et al. | QR code recognition based on image processing | |
EP2243104B1 (en) | Procedure for verifying the integrity of documents | |
WO2012041063A1 (en) | System and method for image authentication | |
US9349237B2 (en) | Method of authenticating a printed document | |
Tan et al. | Print-Scan Resilient Text Image Watermarking Based on Stroke Direction Modulation for Chinese Document Authentication. | |
US20130051636A1 (en) | Image processing apparatus | |
CN113658032A (zh) | 基于深度学习和图像处理的图像水印加解密方法及系统 | |
CN107832757B (zh) | 一种发票图像的识别方法 | |
US8139237B2 (en) | Image generating apparatus, image processing apparatus, recording medium and computer readable recording medium | |
JP4948505B2 (ja) | 電子透かしの同期回復装置及び電子透かしの同期回復プログラム | |
WO2014002813A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP4565396B2 (ja) | 画像処理装置および画像処理プログラム | |
US10893162B2 (en) | System, method of detecting alternation of printed matter, and storage medium | |
JP4192909B2 (ja) | 改ざん検出装置、改ざん検出方法 | |
EP3100448B1 (en) | Embedding data in halftone images | |
JP4772151B2 (ja) | 電子透かしの同期回復装置及び電子透かしの同期回復プログラム | |
JP2004147253A (ja) | 画像処理装置及び画像処理方法 | |
JP2011175314A (ja) | 二次元バーコード読取装置、プログラム、二次元バーコード及び媒体 | |
JP2007226803A (ja) | 希な複数文字のクラスタに対して品質プロトタイプとしての合成リガチャーを生成するシステムおよび方法 | |
JP5821994B2 (ja) | 画像処理装置、画像形成装置およびプログラム | |
JP5911122B2 (ja) | 直線検出装置および直線検出方法 | |
US10182175B2 (en) | Information processing apparatus | |
Hiyama et al. | Fast information retrieval method from printed images considering mobile devices | |
JP5272986B2 (ja) | 画像処理装置及びプログラム | |
JP2007279813A (ja) | 画像処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120207 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120306 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |