JP2011180801A - 多数の参照用映像の中から検索キー用映像を用いて検索する映像検索装置、プログラム及び方法 - Google Patents
多数の参照用映像の中から検索キー用映像を用いて検索する映像検索装置、プログラム及び方法 Download PDFInfo
- Publication number
- JP2011180801A JP2011180801A JP2010043768A JP2010043768A JP2011180801A JP 2011180801 A JP2011180801 A JP 2011180801A JP 2010043768 A JP2010043768 A JP 2010043768A JP 2010043768 A JP2010043768 A JP 2010043768A JP 2011180801 A JP2011180801 A JP 2011180801A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- video
- word
- feature
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Storage Device Security (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】参照用映像のフレーム列の中から複数の参照フレームを選択し、参照フレーム毎に多数の特徴領域を抽出し、参照フレームの特徴領域毎に特徴ベクトルを抽出する。そして、多数の特徴ベクトルをk個のクラスタにクラスタリングし、各クラスタiの代表ベクトルfiを単語iの代表ベクトルと規定する。次に、参照フレームから抽出された特徴ベクトル集合のそれぞれのベクトルfjを、辞書を参照し、代表ベクトルの中で最もfjに近い代表ベクトルを持つ単語iに割り当て、参照フレームに存在する単語集合に変換する。そして、単語i毎に、当該単語を含むフレームのフレーム番号を対応付けると共に、連続するフレーム番号を連長符号化した転置インデックスを生成する。
【選択図】図2
Description
参照用映像のフレーム列の中から複数の参照フレームを選択する参照フレームサンプリング手段と、
参照フレーム毎に、多数の特徴領域を抽出する参照用特徴領域抽出手段と、
参照フレームの特徴領域毎に、特徴ベクトルを抽出する参照用特徴量抽出手段と、
多数の特徴ベクトルをk個のクラスタにクラスタリングし、各クラスタiの代表ベクトルfiを単語iの代表ベクトルと規定する辞書生成手段と、
参照フレームから抽出された特徴ベクトル集合のそれぞれのベクトルfjを、辞書を参照し、代表ベクトルの中で最もfjに近い代表ベクトルを持つ単語iに割り当て、参照フレームに存在する単語集合に変換する参照用単語生成手段と、
単語i毎に、当該単語を含むフレームのフレーム番号を対応付け、連続するフレーム番号を連長符号化した転置インデックスを生成する転置インデックス生成手段と、
連長符号化された転置インデックスを記憶する転置インデックス記憶手段と
を有することを特徴とする。
転置インデックス生成手段は、当該単語iについて、第1の所定フレーム間隔数以内の数のフレーム番号が存在しないことによってフレーム番号が不連続となっている場合、存在しないフレーム番号が存在するものとしてフレーム番号を連続にし、これによって連続するフレーム番号を連長符号化した転置インデックスを生成することも好ましい。
参照用特徴領域抽出手段は、Harris-Affine、Hessian-Affine、SIFT(Scale-Invariant Feature Transform)、MSERアルゴリズムのいずれか1つ以上を利用して特徴領域を抽出し、
参照用特徴量抽出手段は、SIFTを用いて特徴ベクトルを抽出し、
辞書生成手段は、k-meansを用いてk個のクラスタへクラスタリングすることによって、単語iをk次元ベクトルに量子化する
ことも好ましい。
検索キー用映像のフレーム列の中から複数のキーフレームを選択するキーフレームサンプリング手段と、
キーフレーム毎に、多数の特徴領域を抽出するキー用特徴領域抽出手段と、
キーフレームの特徴領域毎に、特徴ベクトルを抽出するキー用特徴量抽出手段と、
キーフレームから抽出された特徴ベクトル集合のそれぞれのベクトルfjを、辞書生成手段の辞書を参照し、代表ベクトルの中で最もfjに近い代表ベクトルを持つ単語iに割り当て、参照フレームに存在する単語集合に変換するキー用単語生成手段と、
転置インデックス記憶手段を用いて、キーフレームのキー単語iを含む1つ又は連続の参照フレーム番号からキーフレーム番号を引いたフレーム番号を検索するインデックス検索手段と、
キー用映像毎に、複数のキーフレームに基づいて検索された参照フレーム番号の数を投票し、投票数が最も多い参照フレーム番号が、キー用映像の先頭フレームに対応するものとして検出するフレーム検出手段と
を更に有することも好ましい。
当該映像検索装置は、正当著作権者によって作成された正当映像コンテンツから、第三者が、不正に複製し又は二次的著作物となる不当映像コンテンツを作成した際に、当該不当映像コンテンツに基づく正当映像コンテンツを検索するものであり、
参照用映像は、正当映像コンテンツであり、
検索キー用映像は、不当映像コンテンツである
ことも好ましい。
参照用映像のフレーム列の中から複数の参照フレームを選択する参照フレームサンプリング手段と、
参照フレーム毎に、多数の特徴領域を抽出する参照用特徴領域抽出手段と、
参照フレームの特徴領域毎に、特徴ベクトルを抽出する参照用特徴量抽出手段と、
多数の特徴ベクトルをk個のクラスタにクラスタリングし、各クラスタiの代表ベクトルfiを単語iの代表ベクトルと規定する辞書生成手段と、
参照フレームから抽出された特徴ベクトル集合のそれぞれのベクトルfjを、辞書を参照し、代表ベクトルの中で最もfjに近い代表ベクトルを持つ単語iに割り当て、参照フレームに存在する単語集合に変換する参照用単語生成手段と、
単語i毎に、当該単語を含むフレームのフレーム番号を対応付け、連続するフレーム番号を連長符号化した転置インデックスを生成する転置インデックス生成手段と、
連長符号化された転置インデックスを記憶する転置インデックス記憶手段と
してコンピュータを機能させることを特徴とする。
参照用映像のフレーム列の中から複数の参照フレームを選択する第1のステップと、
参照フレーム毎に、多数の特徴領域を抽出する第2のステップと、
参照フレームの特徴領域毎に、特徴ベクトルを抽出する第3のステップと、
多数の特徴ベクトルをk個のクラスタにクラスタリングし、各クラスタiの代表ベクトルfiを単語iの代表ベクトルと規定する第4のステップと、
参照フレームから抽出された特徴ベクトル集合のそれぞれのベクトルfjを、辞書を参照し、代表ベクトルの中で最もfjに近い代表ベクトルを持つ単語iに割り当て、参照フレームに存在する単語集合に変換する第5のステップと、
単語i毎に、当該単語を含むフレームのフレーム番号を対応付け、連続するフレーム番号を連長符号化した転置インデックスを生成する第7のステップと、
連長符号化された転置インデックスを記憶する第8のステップと
を有することを特徴とする。
(S1)連長符号化(ランレングス化)
(S2)単語連結化
(S3)単語削除化
(S62)検索キー用フレームの単語IDwiとフレーム番号tiのペア(wi,ti)とについて、単語IDを順に処理する。そのために、S66との間で、検索キー用フレームについてiを増分しつつ繰り返す。
(S63)参照フレームの転置インデックスから、検索キーフレームの転置インデックスの単語wiを参照し、参照フレームのペア(t,d)を取得する。
(S64)検索キー用フレームについてフレーム番号tを順に処理する。そのために、S67との間で、jを増分しつつ繰り返す。
(S65)投票テーブルに対して、tj−ti+1からtj−ti+djまでに、1増分して投票する。djは、dur(連長)を表す。具体的には、図7で後述する。
(S66)全てのjについて、S65を繰り返すべく、S64へ移行する。
(S67)全てのiについて、S63〜S65を繰り返すべく、S62へ移行する。
(S72)参照フレームの単語ID2のoffset6から、検索キーフレームの単語ID2のoffset2を差し引いて、先頭に合わせるべく+1し、位置5を算出する。そして、位置5から、参照フレームのdur(連長)の4個について1増分するべく投票する。
(S73)参照フレームの単語ID3のoffset7から、検索キーフレームの単語ID3のoffset3を差し引いて、先頭に合わせるべく+1し、位置5を算出する。そして、位置5から、参照フレームのdur(連長)の2個について1増分するべく投票する。
(S74)参照フレームの単語ID3のoffset7から、検索キーフレームの単語ID3のoffset4を差し引いて、先頭に合わせるべく+1し、位置4を算出する。そして、位置4から、参照フレームのdur(連長)の2個について1増分するべく投票する。
(S75)参照フレームの単語IDkのoffset3から、検索キーフレームの単語IDkのoffset1を差し引いて、先頭に合わせるべく+1し、位置3を算出する。そして、位置3から、参照フレームのdur(連長)の3個について1増分するべく投票する。
10 参照用映像蓄積部
11 インデックス生成部
111 参照フレームサンプリング部
112 参照用特徴領域抽出部
113 参照用特徴量抽出部
114 辞書生成部
115 参照用単語生成部
116 転置インデックス生成部
117 転置インデックス記憶部
12 検索部
121 キーフレームサンプリング部
122 キー用特徴領域抽出部
123 キー用特徴量抽出部
124 キー用単語生成部
128 インデックス検索部
129 フレーム検出部
2 端末
3 正当著作権者の映像サーバ
4 映像サーバ
Claims (8)
- 多数の参照用映像の中から、検索キー用映像を用いて、参照用映像を検索する映像検索装置であって、
参照用映像のフレーム列の中から複数の参照フレームを選択する参照フレームサンプリング手段と、
前記参照フレーム毎に、多数の特徴領域を抽出する参照用特徴領域抽出手段と、
前記参照フレームの前記特徴領域毎に、特徴ベクトルを抽出する参照用特徴量抽出手段と、
多数の前記特徴ベクトルをk個のクラスタにクラスタリングし、各クラスタiの代表ベクトルfiを単語iの代表ベクトルと規定する辞書生成手段と、
前記参照フレームから抽出された特徴ベクトル集合のそれぞれのベクトルfjを、前記辞書を参照し、代表ベクトルの中で最もfjに近い代表ベクトルを持つ単語iに割り当て、前記参照フレームに存在する単語集合に変換する参照用単語生成手段と、
前記単語i毎に、当該単語を含むフレームのフレーム番号を対応付け、連続する前記フレーム番号を連長符号化した転置インデックスを生成する転置インデックス生成手段と、
連長符号化された前記転置インデックスを記憶する転置インデックス記憶手段と
を有することを特徴とする映像検索装置。 - 前記転置インデックス生成手段は、当該単語iについて、第1の所定フレーム間隔数以内の数のフレーム番号が存在しないことによって前記フレーム番号が不連続となっている場合、存在しないフレーム番号が存在するものとして前記フレーム番号を連続にし、これによって連続するフレーム番号を連長符号化した転置インデックスを生成することを特徴とする請求項1に記載の映像検索装置。
- 前記転置インデックス生成手段は、当該単語iについて、前記フレーム番号の連続する数が第2の所定フレーム間隔数以内である場合、これらフレーム番号が存在しないものとし、これによってこれらフレーム番号を転置インデックスに含めないことを特徴とする請求項1又は2に記載の映像検索装置。
- 前記参照用特徴領域抽出手段は、Harris-Affine、Hessian-Affine、SIFT(Scale-Invariant Feature Transform)、MSERアルゴリズムのいずれか1つ以上を利用して特徴領域を抽出し、
前記参照用特徴量抽出手段は、SIFTを用いて前記特徴ベクトルを抽出し、
前記辞書生成手段は、k-meansを用いてk個のクラスタへクラスタリングすることによって、前記単語iをk次元ベクトルに量子化する
ことを特徴とする請求項1から3のいずれか1項に記載の映像検索装置。 - 検索キー用映像のフレーム列の中から複数のキーフレームを選択するキーフレームサンプリング手段と、
前記キーフレーム毎に、多数の特徴領域を抽出するキー用特徴領域抽出手段と、
前記キーフレームの前記特徴領域毎に、特徴ベクトルを抽出するキー用特徴量抽出手段と、
前記キーフレームから抽出された特徴ベクトル集合のそれぞれのベクトルfjを、前記辞書生成手段の辞書を参照し、代表ベクトルの中で最もfjに近い代表ベクトルを持つ単語iに割り当て、前記参照フレームに存在する単語集合に変換するキー用単語生成手段と、
前記転置インデックス記憶手段を用いて、前記キーフレームのキー単語iを含む1つ又は連続の参照フレーム番号から、前記キーフレーム番号を引いたフレーム番号を検索するインデックス検索手段と、
前記キー用映像毎に、複数のキーフレームに基づいて検索された前記参照フレーム番号の数を投票し、投票数が最も多い参照フレーム番号が、前記キー用映像の先頭フレームに対応するものとして検出するフレーム検出手段と
を更に有することを特徴とする請求項1から4のいずれか1項に記載の映像検索装置。 - 当該映像検索装置は、正当著作権者によって作成された正当映像コンテンツから、第三者が、不正に複製し又は二次的著作物となる不当映像コンテンツを作成した際に、当該不当映像コンテンツに基づく正当映像コンテンツを検索するものであり、
前記参照用映像は、前記正当映像コンテンツであり、
前記検索キー用映像は、前記不当映像コンテンツである
ことを特徴とする請求項1から5のいずれか1項に記載の映像検索装置。 - 多数の参照用映像の中から、検索キー用映像を用いて、当該検索キー用映像を含む参照用映像を検索する装置に搭載されたコンピュータを機能させる映像検索プログラムであって、
参照用映像のフレーム列の中から複数の参照フレームを選択する参照フレームサンプリング手段と、
前記参照フレーム毎に、多数の特徴領域を抽出する参照用特徴領域抽出手段と、
前記参照フレームの前記特徴領域毎に、特徴ベクトルを抽出する参照用特徴量抽出手段と、
多数の前記特徴ベクトルをk個のクラスタにクラスタリングし、各クラスタiの代表ベクトルfiを単語iの代表ベクトルと規定する辞書生成手段と、
前記参照フレームから抽出された特徴ベクトル集合のそれぞれのベクトルfjを、前記辞書を参照し、代表ベクトルの中で最もfjに近い代表ベクトルを持つ単語iに割り当て、前記参照フレームに存在する単語集合に変換する参照用単語生成手段と、
前記単語i毎に、当該単語を含むフレームのフレーム番号を対応付け、連続する前記フレーム番号を連長符号化した転置インデックスを生成する転置インデックス生成手段と、
連長符号化された前記転置インデックスを記憶する転置インデックス記憶手段と
してコンピュータを機能させることを特徴とする映像検索プログラム。 - 多数の参照用映像の中から、検索キー用映像を用いて、当該検索キー用映像を含む参照用映像を検索する装置における映像検索方法であって、
参照用映像のフレーム列の中から複数の参照フレームを選択する第1のステップと、
前記参照フレーム毎に、多数の特徴領域を抽出する第2のステップと、
前記参照フレームの前記特徴領域毎に、特徴ベクトルを抽出する第3のステップと、
多数の前記特徴ベクトルをk個のクラスタにクラスタリングし、各クラスタiの代表ベクトルfiを単語iの代表ベクトルと規定する第4のステップと、
前記参照フレームから抽出された特徴ベクトル集合のそれぞれのベクトルfjを、前記辞書を参照し、代表ベクトルの中で最もfjに近い代表ベクトルを持つ単語iに割り当て、前記参照フレームに存在する単語集合に変換する第5のステップと、
前記単語i毎に、当該単語を含むフレームのフレーム番号を対応付け、連続する前記フレーム番号を連長符号化した転置インデックスを生成する第7のステップと、
連長符号化された前記転置インデックスを記憶する第8のステップと
を有することを特徴とする映像検索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010043768A JP5366212B2 (ja) | 2010-03-01 | 2010-03-01 | 多数の参照用映像の中から検索キー用映像を用いて検索する映像検索装置、プログラム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010043768A JP5366212B2 (ja) | 2010-03-01 | 2010-03-01 | 多数の参照用映像の中から検索キー用映像を用いて検索する映像検索装置、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011180801A true JP2011180801A (ja) | 2011-09-15 |
JP5366212B2 JP5366212B2 (ja) | 2013-12-11 |
Family
ID=44692242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010043768A Expired - Fee Related JP5366212B2 (ja) | 2010-03-01 | 2010-03-01 | 多数の参照用映像の中から検索キー用映像を用いて検索する映像検索装置、プログラム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5366212B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013070158A (ja) * | 2011-09-21 | 2013-04-18 | Kddi Corp | 映像検索装置およびプログラム |
KR101475148B1 (ko) * | 2013-06-27 | 2014-12-23 | 한국과학기술원 | 둘 이상의 특징을 기반으로 만들어진 다차원 공간에서 스카이라인을 이용한 가변수의 키 프레임 추출 장치 및 방법 |
JP2017033169A (ja) * | 2015-07-30 | 2017-02-09 | 日本電信電話株式会社 | 映像同定装置、方法、及びプログラム |
CN107529071A (zh) * | 2016-06-22 | 2017-12-29 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法以及装置 |
JP2018067809A (ja) * | 2016-10-19 | 2018-04-26 | 日本電信電話株式会社 | 映像検出装置、方法、及びプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105847825A (zh) * | 2015-01-16 | 2016-08-10 | 杭州海康威视数字技术股份有限公司 | 视频编码码流的编码、索引存储和访问方法及相应装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000155998A (ja) * | 1998-11-18 | 2000-06-06 | Hitachi Ltd | 録画再生装置 |
JP2002117037A (ja) * | 2000-10-06 | 2002-04-19 | Nec Corp | 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体 |
JP2003224791A (ja) * | 2002-10-10 | 2003-08-08 | Hitachi Ltd | 映像の検索方法および装置 |
JP2006285907A (ja) * | 2005-04-05 | 2006-10-19 | Nippon Hoso Kyokai <Nhk> | 指定流通コンテンツ特定装置、指定流通コンテンツ特定プログラムおよび指定流通コンテンツ特定方法 |
US20080021879A1 (en) * | 2006-03-20 | 2008-01-24 | Hui Cheng | System and method for mission-driven visual information retrieval and organization |
US20080154889A1 (en) * | 2006-12-22 | 2008-06-26 | Pfeiffer Silvia | Video searching engine and methods |
JP2009060413A (ja) * | 2007-08-31 | 2009-03-19 | Kddi Corp | 動画特徴抽出方法およびシステムならびに動画検索方法およびシステム |
JP2010040032A (ja) * | 2008-07-31 | 2010-02-18 | Fuji Xerox Co Ltd | 検索方法、検索プログラム及び検索システム |
-
2010
- 2010-03-01 JP JP2010043768A patent/JP5366212B2/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000155998A (ja) * | 1998-11-18 | 2000-06-06 | Hitachi Ltd | 録画再生装置 |
JP2002117037A (ja) * | 2000-10-06 | 2002-04-19 | Nec Corp | 画像検索装置、並びに画像検索方法及びこれが書き込まれた記録媒体 |
JP2003224791A (ja) * | 2002-10-10 | 2003-08-08 | Hitachi Ltd | 映像の検索方法および装置 |
JP2006285907A (ja) * | 2005-04-05 | 2006-10-19 | Nippon Hoso Kyokai <Nhk> | 指定流通コンテンツ特定装置、指定流通コンテンツ特定プログラムおよび指定流通コンテンツ特定方法 |
US20080021879A1 (en) * | 2006-03-20 | 2008-01-24 | Hui Cheng | System and method for mission-driven visual information retrieval and organization |
US20080154889A1 (en) * | 2006-12-22 | 2008-06-26 | Pfeiffer Silvia | Video searching engine and methods |
JP2009060413A (ja) * | 2007-08-31 | 2009-03-19 | Kddi Corp | 動画特徴抽出方法およびシステムならびに動画検索方法およびシステム |
JP2010040032A (ja) * | 2008-07-31 | 2010-02-18 | Fuji Xerox Co Ltd | 検索方法、検索プログラム及び検索システム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013070158A (ja) * | 2011-09-21 | 2013-04-18 | Kddi Corp | 映像検索装置およびプログラム |
KR101475148B1 (ko) * | 2013-06-27 | 2014-12-23 | 한국과학기술원 | 둘 이상의 특징을 기반으로 만들어진 다차원 공간에서 스카이라인을 이용한 가변수의 키 프레임 추출 장치 및 방법 |
JP2017033169A (ja) * | 2015-07-30 | 2017-02-09 | 日本電信電話株式会社 | 映像同定装置、方法、及びプログラム |
CN107529071A (zh) * | 2016-06-22 | 2017-12-29 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法以及装置 |
CN107529071B (zh) * | 2016-06-22 | 2019-03-01 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法以及装置 |
JP2018067809A (ja) * | 2016-10-19 | 2018-04-26 | 日本電信電話株式会社 | 映像検出装置、方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5366212B2 (ja) | 2013-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11361017B1 (en) | Method to differentiate and classify fingerprints using fingerprint neighborhood analysis | |
Wu et al. | A novel clustering method for static video summarization | |
EP3477506B1 (en) | Video detection method, server and storage medium | |
Chou et al. | Pattern-based near-duplicate video retrieval and localization on web-scale videos | |
CN105653700B (zh) | 视频检索方法及系统 | |
Wei et al. | Frame fusion for video copy detection | |
CN101853486B (zh) | 一种基于局部数字指纹的图像拷贝检测方法 | |
JP5366212B2 (ja) | 多数の参照用映像の中から検索キー用映像を用いて検索する映像検索装置、プログラム及び方法 | |
US8175392B2 (en) | Time segment representative feature vector generation device | |
Liu et al. | An image-based near-duplicate video retrieval and localization using improved edit distance | |
Zhou et al. | Structure tensor series-based large scale near-duplicate video retrieval | |
JP7395377B2 (ja) | コンテンツ検索方法、装置、機器、および記憶媒体 | |
JP2011248671A (ja) | 多数の参照用映像の中から検索キー用映像を用いて検索する映像検索装置、プログラム及び方法 | |
Wu et al. | Self-similarity-based partial near-duplicate video retrieval and alignment | |
Kulkarni et al. | An effective content based video analysis and retrieval using pattern indexing techniques | |
JP6364387B2 (ja) | 特徴量生成装置、方法、及びプログラム | |
Liao et al. | An efficient content based video copy detection using the sample based hierarchical adaptive k-means clustering | |
Kordopatis-Zilos et al. | Finding near-duplicate videos in large-scale collections | |
KR20080107143A (ko) | 오디오 신호처리 기반의 음악 및 동영상 추천 시스템 및방법 | |
Chou et al. | Multimodal video-to-near-scene annotation | |
CN115858860A (zh) | 一种视频检测方法、装置、电子设备和存储介质 | |
Cirakman et al. | Content-based copy detection by a subspace learning based video fingerprinting scheme | |
JP2013070158A (ja) | 映像検索装置およびプログラム | |
Thakre et al. | An effective CBVR system based on motion, quantized color and edge density features | |
JP6632564B2 (ja) | 違法コンテンツ探索装置、違法コンテンツ探索方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120809 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130905 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131024 |
|
LAPS | Cancellation because of no payment of annual fees |