JP2011028646A - コンテンツ流通監視方法及びシステムと、このシステムで使用される装置及びそのプログラム - Google Patents

コンテンツ流通監視方法及びシステムと、このシステムで使用される装置及びそのプログラム Download PDF

Info

Publication number
JP2011028646A
JP2011028646A JP2009175649A JP2009175649A JP2011028646A JP 2011028646 A JP2011028646 A JP 2011028646A JP 2009175649 A JP2009175649 A JP 2009175649A JP 2009175649 A JP2009175649 A JP 2009175649A JP 2011028646 A JP2011028646 A JP 2011028646A
Authority
JP
Japan
Prior art keywords
monitoring
content
feature information
received
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009175649A
Other languages
English (en)
Other versions
JP5264643B2 (ja
Inventor
Jun Kato
順 加藤
Miwako Ino
美和子 伊能
Eiji Yana
栄司 簗
Takehira Fukuda
健平 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009175649A priority Critical patent/JP5264643B2/ja
Publication of JP2011028646A publication Critical patent/JP2011028646A/ja
Application granted granted Critical
Publication of JP5264643B2 publication Critical patent/JP5264643B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】個々の不正利用コンテンツのみならず当該不正利用コンテンツの流通元を特定できるようにし、これにより不正利用コンテンツの拡散を効果的に防止する。
【解決手段】監視機能を持たせた複数のネットワーク機器NT1〜NTmに対しセンタサーバSVから監視条件を配信して記憶させる。そして、ネットワーク機器NT1〜NTmがコンテンツを転送する際に、当該コンテンツが監視対象のコンテンツと一致又は含まれるか否かを上記監視条件により指定された特徴情報の比較により判定し、その判定結果をタイムスタンプと共に監視結果を表す情報としてセンタサーバSVに報告する。そして、センタサーバSVにより、上記ネットワーク機器NT1〜NTmから報告された監視結果をもとに複数のコンテンツ間の派生(コピー)関係を判定し、その判定結果をもとにコンテンツ間の関係を時系列的な順序で表す有向グラフを作成するようにしたものである。
【選択図】図4

Description

この発明は、例えばインターネット等のネットワーク上で映像等のコンテンツが流通する状態を監視する方法及びシステムと、このシステムで使用される装置及びそのプログラムに関する。
インターネット等のネットワーク上では、例えば著作権を侵害し公序良俗に反するいわゆる不正利用コンテンツが多く流通しており、大きな社会問題となっている。この問題に対処するため、従来では一般に人手によりネットワーク上の多数のサーバを監視し、違法と思われるコンテンツを発見すると、当該コンテンツが保存されているサーバや端末の所有者を特定して削除を依頼するようにしている。ところが、このような手法は不正利用コンテンツの監視を人手に頼るものであるため能率が悪く、見逃しも多い。
一方、ネットワークのトラフィックを監視する方法として、ルータやスイッチ等のネットワーク機器にプローブを差し込み、このプローブによりネットワーク機器を通過するデータのヘッダを解析する方法が提案されている(例えば、非特許文献1を参照。)。この方法を用いると、ある物理的地点(サイト)におけるトラフィックの状況を監視することができる。しかし、トラフィックの状況を検出することはできても、流通するコンテンツが不正理由コンテンツかどうかまでは検出することができない。
そこで、流通コンテンツが不正理由コンテンツか否かを自動的に判定する方法が検討されている。例えば、参照信号の特徴量系列を予め記憶しておき、入力された信号系列に対し注目窓を設定する。そして、この設定された注目窓内の信号の特徴量系列を求めて、この入力信号の特徴量系列と上記記憶された特徴量系列との類似度合いを求め、この類似度合いをしきい値と比較してその結果から、上記入力信号中に参照信号が含まれるか否かを判定する方法を応用する(例えば、特許文献1を参照。)。
特開2000−312343号公報
中村信之、「広域モニタリング環境におけるネットワーク異常検知」、沖テクニカルレビュー、2006年1月/第205号 Vol.73 No.1
ところが、上記特許文献1に記載された方法を応用したシステムでは、不正利用コンテンツが個々に検出されるだけである。したがって、検出された不正利用コンテンツを個々に削除することはできても、当該不正利用コンテンツの流出元を特定することができないため、基本的な対処にならないという課題があった。
この発明は上記事情に着目してなされたもので、その目的とするところは、個々の不正利用コンテンツのみならず当該不正利用コンテンツの流通元を特定できるようにし、これにより不正利用コンテンツの拡散を効果的に防止することが可能なコンテンツ流通監視方法及びシステムとこのシステムで使用される装置及びそのプログラムを提供することにある。
上記目的を達成するためにこの発明の一観点は、ネットワーク内を流通するコンテンツを送信又は受信する複数の監視装置と、これらの監視装置との間で通信可能なセンタ装置とを具備するシステムにあって、上記複数の監視装置に、監視対象とするコンテンツの特徴情報を監視条件として記憶した監視条件記憶手段と、上記コンテンツを送信又は受信した際に、その送信又は受信時刻を示すタイムスタンプを生成する手段と、上記送信又は受信したコンテンツから特徴情報を抽出し、この抽出した特徴情報を上記監視条件記憶手段に監視条件として記憶された特徴情報と比較してその類似度を算出する手段と、上記生成されたタイムスタンプ及び上記算出された類似度を含む監視結果を上記センタ装置へ送信する手段とを備える。一方、上記センタ装置には、上記複数の監視装置から送信された監視結果を受信する手段と、上記受信された各監視結果に含まれるタイムスタンプ及び特徴情報の類似度をもとに、上記各監視装置において送信又は受信された複数のコンテンツ間の派生関係を判定し、その判定結果をもとにコンテンツ間の派生関係を時系列的な順序で表す有向グラフを作成する手段とを備えるようにしたものである。
したがって、通信ネットワーク内に分散配置された複数の監視装置において、監視対象コンテンツが通過したとき当該コンテンツが検出されてその監視結果がセンタ装置に報告され、センタ装置において各監視結果をもとに複数のコンテンツ間の派生関係が判定されて、その判定結果をもとにコンテンツ間の関係を時系列的な順序で表す有向グラフが作成される。その結果、システムオペレータは有向グラフをもとに不正利用コンテンツの流通元を効率よく正確に特定することができ、これにより不正利用コンテンツの拡散を効果的に防止することが可能となる。
またこの発明の一観点は以下のような各種態様を備えることも特徴とする。
第1の態様は、上記センタ装置に、上記監視対象とするコンテンツの入力を受け付ける手段と、上記入力されたコンテンツについてその特徴情報を生成してこの生成された特徴情報を監視条件として上記複数の監視装置へ配信する手段とをさらに備える。また、上記複数の監視装置には、上記センタ装置から配信された監視条件を受信する手段と、上記受信された監視条件を上記監視条件記憶手段に記憶させる手段とをさらに備えるようにしたものである。
このようにすると、センタ装置で監視条件を生成して各監視装置に配信し記憶させることができる。すなわち、各監視装置に対する監視条件の設定処理を、センタ装置において統括的かつ遠隔操作により行うことが可能となる。したがって、監視装置ごとに監視条件を設定する場合に比べてシステムの運用効率を高めることができる。
第2の態様は、監視条件として、上記監視対象コンテンツの特徴情報に加え、上記監視対象コンテンツを選択するための条件を指定するフィルタ情報を記憶しておく。そして、上記類似度を算出する際に、先ず上記送信又は受信したコンテンツのうち上記フィルタ情報により指定された条件を満足するコンテンツを選択し、この選択されたコンテンツから特徴情報を抽出して、この抽出した特徴情報を上記監視条件として記憶された特徴情報と比較してその類似度を算出するようにしたものである。
このようにすると、監視装置が例えばルータ等のネットワーク機器である場合に、転送する膨大なコンテンツの中から先ずファイルタイプやサイズ、属性等のフィルタ条件に合致するものが選択され、この選択されたコンテンツについて特徴情報の類似度が算出される。したがって、すべてのコンテンツについて特徴情報の類似度を算出する場合に比べ、処理時間と監視装置の処理負荷を大幅に軽減することができる。
第3の態様は、監視対象とするコンテンツについてその所定単位ごとの特徴情報を監視条件として記憶し、類似度を算出する際に、送信又は受信したコンテンツから所定単位ごとに特徴情報を抽出して、この抽出した特徴情報を上記監視条件として記憶された所定単位ごとの特徴情報と比較してその類似度を算出するものである。
このようにすると、例えば映像コンテンツのようにコンテンツのチャプタごとにその特徴情報の類似度を算出することができるので、コンテンツ全体の類似度だけでなくチャプタ単位の類似度を検出することが可能となる。このため、チャプタの位置を変更したコンテンツや、チャプタを選択的にコピーしたコンテンツについても検出することが可能となる。
すなわちこの発明によれば、個々の不正利用コンテンツのみならず当該不正利用コンテンツの流通元を特定することができ、これにより不正利用コンテンツの拡散を効果的に防止することが可能なコンテンツ流通監視方法及びシステムとその監視装置及び監視プログラムを提供することができる。
この発明の一実施形態に係わるコンテンツ流通監視システムの概略構成図である。 図1に示したシステムにおいて監視装置として使用されるネットワーク機器の機能構成を示すブロック図である。 図1に示したシステムにおいて制御装置として使用されるセンタサーバの機能構成を示すブロック図である。 図2に示したネットワーク機器及び図3に示したセンタサーバの処理手順と処理内容を示すフローチャートである。 不正利用コンテンツの流れと監視結果の収集経路を示す図である。 図2に示したネットワーク機器における特徴情報の抽出及びコンテンツの特定処理の内容を説明するための図である。 特徴情報によるコンテンツ間の関係の推定処理を説明するための図である。 コンテンツ間の関係の定義を説明するための図である。 図3に示したセンタサーバにおける有向グラフ作成処理の一例を説明するための図である。
以下、図面を参照してこの発明に係わる実施形態を説明する。
図1は、この発明の一実施形態に係わるコンテンツ流通監視システムの概略構成図である。同図において、NWはインターネット等のコンピュータネットワークを含む通信ネットワークであり、この通信ネットワークNWには多数のネットワーク機器NT1〜NTmが収容される。これらのネットワーク機器NT1〜NTmは、例えばルータ又はスイッチからなる。
また、上記通信ネットワークNWには、投稿サイトSTと、多数の端末TM1〜TMnと、センタサーバSVが接続される。投稿サイトSTは、例えばユーザの端末から投稿された画像、映像、音楽又はアプリケーション・プログラム等のコンテンツを通信ネットワークNW上に公開する機能を有する。端末TM1〜TMnは、ユーザが使用するパーソナル・コンピュータや携帯端末からなる。
このシステムは、上記投稿サイトST、端末TM1〜TMn及びネットワーク機器NT1〜NTmのうちの複数の機器にコンテンツの流通を監視する機能を持たせ、これらを監視装置として動作させる。センタサーバSVには、上記各監視装置に対し監視条件を表す情報を配信する機能と、各監視装置からコンテンツ流通状態の監視結果を表す情報を収集し、この収集した各監視結果をもとにネットワーク内を流通する複数のコンテンツ間の関係性を半順序集合として表す有向グラフを生成する機能を持たせる。
次に、上記監視装置及びセンタサーバSVの構成を説明する。
先ず監視装置は以下のように構成される。図2は監視装置として動作するネットワーク機器NT1〜NTmの機能構成を示すブロック図である。
すなわち、ネットワーク機器NT1〜NTmは、コンテンツ等のデータの転送処理を行うデータ転送処理部11に加え、この発明に係わるコンテンツ流通監視機能を実現するために、データ保存部12と、監視条件記憶処理部13と、特徴情報抽出処理部14と、タイムスタンプ記録処理部15と、透かし検出処理部16と、メタ情報検出処理部17と、監視結果送信処理部18を備えている。なお、これらの各処理部はいずれも、アプリケーション・プログラムを図示しない中央処理ユニット(CPU)に実行させることにより実現される。
データ保存部12は、データ転送処理部11が転送しようとするコンテンツのコピーを作成し、このコンテンツのコピーを保存する。監視条件受信記憶処理部13は、後述するセンタサーバSVから送られる監視条件を表す情報を受信し記憶する。監視条件を表す情報は、監視対象とするコンテンツを抽出するためのフィルタ情報と、監視対象コンテンツの特徴情報とからなる。
特徴情報抽出処理部14は、上記データ保存部12から受信コンテンツを読み出し、この読み出した受信コンテンツの中から先ず上記フィルタ情報の条件を満たすコンテンツを選択する。次に、この選択されたコンテンツから特徴情報を抽出し、その抽出した特徴情報を上記監視条件として記憶された特徴情報と比較して類似度を算出する。そしてこの算出された類似度がしきい値以上か否かを判定する。
タイムスタンプ記録処理部15は、上記データ保存部12から読み出した受信コンテンツの受信時刻をタイムスタンプとして記録する。透かし検出処理部16は、上記データ保存部12から読み出した受信コンテンツから電子透かしを検出する。メタ情報検出処理部17は、上記データ保存部12から読み出した受信コンテンツのヘッダ又は制御フィールド等から当該コンテンツのファイル名や名称等のメタ情報を検出する。
監視結果送信処理部18は、上記特徴情報抽出処理部14により得られた特徴情報の類似度の判定結果を表す情報と、上記タイムスタンプ記録処理部15により記録されたタイムスタンプと、上記透かし検出処理部16検出された電子透かしと、上記メタ情報検出処理部17により検出されたメタ情報を、監視結果を表す情報としてセンタサーバSVへ送信する。
なお、投稿サイトST及び端末TM1〜TMnのうち監視機能を持たされた機器も、基本的に上記ネットワーク機器NT1〜NTmと同等の機能を備える。ただし、投稿サイトSTは、コンテンツが投稿された時点で、その投稿時刻をタイムスタンプとして生成する。またそれと共に、上記投稿コンテンツの公開に先立ち、当該投稿コンテンツから抽出した特徴情報と予め記憶してある参照特徴情報との類似度を算出してしきい値以上か否かを判定し、その判定結果を、電子透かし、メタ情報及び上記投稿時刻を示すタイムスタンプと共に、監視結果を表す情報としてセンタサーバSVへ送信する。
また、端末TM1〜TMnは、例えば他の端末とP2P接続された状態でコンテンツを受信した場合に、その受信時刻をタイムスタンプとして生成する。またそれと共に、上記受信コンテンツから抽出した特徴情報と予め記憶してある参照特徴情報との類似度を算出してこの類似度がしきい値以上か否かを判定し、その判定結果を、電子透かし、メタ情報及び上記受信時刻を表すタイムスタンプと共に、監視結果を表す情報としてセンタサーバSVへ送信する。
次に、センタサーバSVは以下のように構成される。図3はその機能構成を示すブロック図である。
すなわち、センタサーバSVはデータ送受信処理部20を備える。このデータ送受信処理部20は、上記投稿サイトST、端末TM1〜TMn及びネットワーク機器NT1〜NTmとの間で、通信ネットワークNWを介してデータの送受信処理を行う。またセンタサーバSVは、この発明に係わるコンテンツ流通監視機能を実現するために、入力制御部21と、監視条件記憶部22と、監視条件配信制御部23を備え、さらに監視結果収集制御部24と、監視結果記憶部25と、有向グラフ作成部26と、有向グラフ記憶部27と、出力制御部28を備えている。
入力制御部21は、キーボードやマウス、外部メモリ等の入力デバイス31において入力された監視条件を受け付けて監視条件記憶部22に記憶させる。監視条件を表す情報は、先に述べたように監視対象とするコンテンツを抽出するためのフィルタ情報と、監視対象コンテンツの特徴情報からなる。フィルタ情報は、例えばファイルのタイプ、サイズ又は属性により構成される。特徴情報は、例えば映像コンテンツであればそのチャプタごとにその特徴を数値化した特徴量データからなる。
監視条件配信制御部23は、上記監視条件記憶部22から監視条件を表す情報を読み出し、この監視条件を表す情報を、監視装置としての機能を有する投稿サイトST、端末TM1〜TMn及びネットワーク機器NT1〜NTmへ配信するための送信パケットデータを生成する。そして、この生成した送信パケットデータをデータ送受信処理部20から上記各監視装置に向け送信させる。
監視結果収集制御部24は、監視装置としての機能を有する上記投稿サイトST、端末TM1〜TMn及びネットワーク機器NT1〜NTmから送信されたコンテンツの監視結果を表す情報を上記データ送受信処理部20を介してそれぞれ受信し、この受信した各監視結果を表す情報を監視結果記憶部25に記憶させる。
有向グラフ作成部26は、監視装置としての機能を有する上記投稿サイトST、端末TM1〜TMn及びネットワーク機器NT1〜NTmから送られたコンテンツの監視結果を表す情報を上記監視結果記憶部25から読み出し、この読み出された各監視結果に含まれる特徴情報の判定結果、電子透かし、メタ情報及びタイムスタンプをもとに、複数のコンテンツ間に派生(複製)の可能性があるか否かを判定し、この判定結果をもとに上記複数のコンテンツ間の関係を時系列的な順序で表す有向グラフを作成する。そして、この作成された有向グラフを有向グラフ記憶部27に格納する。
出力制御部28は、上記有向グラフ作成部26により作成された有向グラフを上記有向グラフ記憶部27から読み出し、この読み出した有向グラフを表示デバイス32へ出力して表示させる。また、システムオペレータの指示に従い、上記有向グラフを出力デバイス33へ出力し、この出力デバイスに装着された外部メモリに記憶させる処理も行う。
次に、以上のように構成されたコンテンツ流通監視システムの動作を説明する。
なお、ここでは監視装置としてネットワーク機器NT1〜NTmを用いた場合を例にとって説明するが、監視装置として端末TM1〜TMn又は投稿サイトを用いる場合も同様である。図4は、センタサーバSV及びネットワーク機器NT1〜NTmの処理手順と処理内容を示すフローチャートである。
(1)監視条件の設定と配信
センタサーバSVでは、ステップS41において入力制御部21が監視条件を設定するための入力操作を監視している。この状態で、システムオペレータが入力デバイス31において監視対象コンテンツのデータを入力したとする。そうすると、センタサーバSVは、ステップS42により監視条件記憶部22を起動し、この監視条件記憶部22により上記入力された監視対象コンテンツについてその特徴情報を生成し、この生成した特徴情報を監視条件の一つとしてメモリに記憶する。例えば、監視対象コンテンツが映像コンテンツであれば、そのチャプタごとの特徴を数値化した特徴量データを生成し、この生成されたチャプタごとの特徴量データを記憶する。なお、入力デバイス31において監視対象コンテンツを抽出するためのフィルタ情報(ファイルのタイプ、サイズ又は属性)が入力された場合には、このフィルタ情報も監視条件の一つとして記憶される。
上記監視条件の設定処理が終了するとセンタサーバSVでは、監視条件配信制御部23により上記監視条件記憶部22から監視条件が読み出されて送信パケットデータが生成され、この送信パケットデータがデータ送受信処理部20から監視装置としての機能を有する各ネットワーク機器NT1〜NTmへそれぞれ送信される。
一方、監視装置としての機能を有するネットワーク機器NT1〜NTmでは、ステップS43において監視条件受信記憶処理部13が監視条件の到来を監視している。この状態で、センタサーバSVから送信された監視条件を含むパケットデータがデータ転送処理部11により受信されると、ステップS44において監視条件受信記憶処理部13が上記受信されたパケットデータから監視条件を抽出して、監視条件受信記憶処理部13の内部メモリに記憶する。
(2)監視対象コンテンツの監視処理とその監視結果の送信
例えばいま図5に示すように、供給元サイトから送信されたコンテンツが、監視点としての複数のネットワーク機器NT1〜NTmを経由して転送されたとする。
ネットワーク機器NT1〜NTmでは、通信ネットワークNWの上流側からコンテンツが伝送されると、データ転送処理部11により当該コンテンツの転送処理が行われると共に、当該受信されたコンテンツのコピーが生成されてこのコピーがデータ保存部12に保存される。
上記コンテンツの受信がステップS45により検出されると、ネットワーク機器NT1〜NTmは、先ずステップS46により、タイムスタンプ記録処理部15が当該コンテンツの受信時刻をタイムスタンプとして記録する。続いてステップS47により、透かし検出処理部16が上記データ保存部12に保存された受信コンテンツのコピーから電子透かしを検出し、電子透かしが検出されると当該検出された電子透かしを内部メモリに保存する。またステップS48により、メタ情報検出処理部17が上記保存された受信コンテンツのヘッダ情報又は制御フィールドから当該受信コンテンツのファイル名や名称等を検出し、この検出した情報をメタ情報として内部メモリに保存する。
次にネットワーク機器NT1〜NTmは、ステップS49により特徴情報抽出処理部14を起動し、この特徴情報抽出処理部14により以下のように特徴量の抽出処理を行う。
すなわち、上記データ保存部12から受信コンテンツを読み出すと共に、監視条件受信記憶処理部13から先ず監視条件の一つであるフィルタ情報を読み出す。そして、上記読み出された受信コンテンツが上記フィルタ情報の条件を満たすか否かを判定する。例えば、受信コンテンツのファイルタイプ、サイズ或いは属性を、上記フィルタ情報により指定されたファイルタイプ、サイズ或いは属性と比較し、これらのうちの一つが一致する場合に当該受信コンテンツを監視対象として選択する。次に、上記選択された受信コンテンツから上記特徴情報を抽出する。例えば、監視対象が映像コンテンツであれば、受信映像コンテンツのチャプタごとに当該チャプタの特徴情報を抽出する。そして、この抽出した特徴情報を、監視条件受信記憶処理部13に記憶された特徴情報をと比較してその類似度を算出し、この類似度がしきい値以上であるか否かを判定する。
特徴情報の抽出及び類似度の判定処理は、例えば次のように行われる。図6はその処理内容を説明するための図である。
すなわち、監視対象とするコンテンツXの特徴を数値化した値(特徴情報X)を、参照特徴量として監視条件受信記憶処理部13に記憶しておく。なお、参照特徴量は、先に述べたようにセンタサーバSVにおいて計算され、このセンタサーバSVから各ネットワーク機器NT1〜NTmに配信されて監視条件受信記憶処理部13に記憶される。この状態で、コンテンツA,B,Cが受信されるごとに、当該受信コンテンツA,B,Cの特徴量(特徴情報A,B,C)を計算し、この計算された特徴情報A,B,Cを上記参照特徴情報Xと比較してその類似度を求める。そして、この類似度を予め設定したしきい値と比較し、類似度がしきい値以上であれば上記受信コンテンツは監視対象コンテンツXと一致すると判定して、その判定結果を特徴情報の抽出結果を表す情報として内部メモリに保存する。図6の例では、受信コンテンツBの特徴情報Bが参照特徴情報Xとコンテンツ全体にわたり一致した場合を例示している。
また、例えば図7に示すように受信コンテンツの特徴情報Bが監視対象コンテンツの特徴情報Aの一部と一致した場合には、当該特徴情報Bを有する受信コンテンツは特徴情報Aを有する監視対象コンテンツから派生(一部複製)した可能性があるので、当該受信コンテンツは監視対象コンテンツの一部に含まれる判定して、その判定結果を特徴情報の抽出結果を表す情報として内部メモリに保存する。このようにコンテンツの一部複製を抽出対象としたことにより、先に述べたように映像コンテンツの一部のチャプタが複製された場合にも、これを見逃すことなく抽出することが可能となる。
なお、上記特徴情報とこれを用いたコンテンツの探索の具体的な方法は、特開2000−312343号公報に詳しく記載されている。
最後にネットワーク機器NT1〜NTmは、ステップS50により監視結果送信処理部18が以下のように監視結果の送信処理を行う。すなわち、上記類似度がしきい値以上と判定されると、上記タイムスタンプ記録処理部15、透かし検出処理部16及びメタ情報検出処理部17の各内部メモリからそれぞれ受信時刻を表すタイムスタンプ、電子透かし及びメタ情報を読み出す。そして、この読み出された各情報を、上記特徴情報の判定結果を表す情報と共に、監視結果を表す情報として図5の破線に示すようにセンタサーバSVへ向けそれぞれ送信する。
(3)監視結果に基づく有向グラフの作成
センタサーバSVは、ステップS51により監視結果収集制御部24がネットワーク機器NT1〜NTmからの監視結果の送信をそれぞれ監視している。この状態で、ネットワーク機器NT1〜NTmから送信された監視結果を表す情報がデータ送受信処理部20により受信されると、ステップS52により監視結果収集制御部24が上記受信された監視結果を表す情報を監視結果記憶部25にそれぞれ記憶する。
上記各ネットワーク機器NT1〜NTmからの監視結果を表す情報の収集が終了すると、センタサーバSVはステップS53により有向グラフ作成部26を起動する。そして、この有向グラフ作成部26により、各ネットワーク機器NT1〜NTmによる監視結果を表す情報を上記監視結果記憶部25から読み出し、この読み出された各監視結果に含まれるタイムスタンプと、特徴情報、電子透かし及びメタ情報の抽出又は検出結果を表す情報とをもとに、複数のコンテンツ間に派生(複製)の可能性があるか否かを判定する。そして、この判定結果に基づいて、上記複数のコンテンツ間の関係を時系列的な順序で表す有向グラフを作成する。そして、この作成された有向グラフを有向グラフ記憶部27に格納する。
例えば、有向グラフ作成部26は、先ず複数のコンテンツ間の関係として派生(コピー)の可能性の有無(“>”)を、当該各コンテンツの監視結果に含まれるタイムスタンプと特徴情報の抽出結果を表す情報をもとに判定する。図8はその判定例を示すものである。
先ず図8(a)は、コンテンツBの特徴情報がコンテンツAの特徴情報と部分的に一致する場合であり、この場合はコンテンツBのタイムスタンプがコンテンツAのタイムスタンプより後であるか否かを判定し、後であればコンテンツBはコンテンツAから派生した可能性がある(A>B)と判定する。
次に図8(b)は、コンテンツBの特徴情報がコンテンツAの特徴情報と全体的にもまた部分的にも一致しない場合であり、この場合コンテンツBはコンテンツAから派生したものではなく、またコンテンツAもコンテンツBから派生したものではないと判定する。
また図8(c)は、コンテンツBの特徴情報がコンテンツAの特徴情報と部分的に一致し、かつ時間的な包含関係にない場合である。このため、コンテンツBはコンテンツAから派生したものではなく、またコンテンツAもコンテンツBから派生したものではないと判定する。
なお、時間的な包含関係にあるか否かは、コンテンツの受信時刻を示すタイムスタンプではなく、各コンテンツの特徴情報を表す情報に含まれる、コンテンツの情報単位(例えばチャプタやトラックごと)の開始・終了時刻をもとに判定される。コンテンツの「時間的な包含関係」とは、あるコンテンツの開始及び終了時刻とは別のコンテンツの開始及び終了時刻の包含関係を意味する。例えば、あるオリジナルコンテンツの一部であるコンテンツAが、オリジナルコンテンツの開始時刻からの経過時間で換算して10分から開始されて20分で終了し、同様にコンテンツBが12分から開始されて19分で終了した場合、コンテンツBはコンテンツAに時間的に包含されていると判定する。これに対し監視装置で生成されるコンテンツのタイムスタンプは、あるコンテンツを監視装置で受信した時刻を示すものであり、コンテンツの時間的な包含関係とは無関係である。
上記定義した派生の可能性の有無(“>”)は、下記の3つの条件(順序の公理)を満たすため、半順序となる。
条件1.反射率(Reflexivity):任意の元aについてa>a。
条件2.推移率(Transitivity):a>bかつb>cならばa>c。
条件3.反射称率(Antisymmetry):a>bかつb>aならばa=b(aとbは同一コンテンツと見なすことができる)。
また、明らかに任意の2つのコンテンツに順序(関係“>”)が定義されるわけではないので、全順序とはならない。
次に、有向グラフ作成部26は、上記複数のコンテンツ間の関係(派生の有無)の判定結果をもとに、これらのコンテンツによる半順序集合、つまり有向グラフを作成する。図9は、コンテンツの時間的に包含関係と、関係“>”による半順序集合との対応関係の一例を示す図である。図9において、コンテンツA〜Jの派生関係が図示するような関係にあることが分かれば、この関係をもとにコンテンツA〜Jを時系列的に連結することにより同図に示すような有向グラフが作成される。なお、この例ではオリジナルのコンテンツは検出されなかった場合を例示している。
一般に、検出されたコンテンツは、元々のオリジナルコンテンツが異なる、非連結の集合に分類されると共に、それぞれの連結成分は一般に複数の始点を持つ有向グラフにより表現される。連結した有向グラフの複数の始点は、「供給元」サイトで検出されたコンテンツであり、逆にこの有向グラフの始点を求めることにより「供給元」サイトを特定することができる。
最後にセンタサーバSVは、ステップS54により出力制御部28を起動し、この出力制御部28により、上記有向グラフ作成部26により作成された有向グラフを上記有向グラフ記憶部27から読み出し、この読み出した有向グラフを表示デバイス32へ出力して表示させる。また、オペレータの指示に応じて、上記作成された有向グラフを外部メモリに記憶させる。
以上詳述したようにこの実施形態では、監視機能を持たせた複数のネットワーク機器NT1〜NTmに対しセンタサーバSVから監視条件を配信して記憶させる。そして、ネットワーク機器NT1〜NTmがコンテンツを転送する際に、当該コンテンツが監視対象のコンテンツと一致又は含まれるか否かを上記監視条件により指定された特徴情報の比較により判定し、その判定結果をタイムスタンプと共に監視結果を表す情報としてセンタサーバSVに報告する。そして、センタサーバSVにより、上記ネットワーク機器NT1〜NTmから報告された監視結果をもとに複数のコンテンツ間の派生(コピー)関係を判定し、その判定結果をもとにコンテンツ間の関係を時系列的な順序で表す有向グラフを作成するようにしている。
すなわち、通信ネットワークNW内に分散配置されている複数のネットワーク機器NT1〜NTmにおいて、監視対象コンテンツが通過したとき当該コンテンツが検出されてその監視結果がセンタサーバSVに報告され、センタサーバSVにおいて各監視結果をもとに複数のコンテンツ間の派生(コピー)関係が判定されて、その判定結果をもとにコンテンツ間の関係を時系列的な順序で表す有向グラフが作成される。
したがって、システムオペレータは有向グラフをもとに不正利用コンテンツの流通元を効率よく正確に特定することができ、これにより不正利用コンテンツの拡散を効果的に防止することができる。
また、各ネットワーク機器NT1〜NTmにおける監視対象コンテンツの通過検出が、映像コンテンツのチャプタごとにその特徴情報を比較することにより行われるので、コンテンツのチャプタが選択的にコピーされたり、チャプタの順序が変更されても、コンテンツの派生を検出することが可能となる。
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態では監視結果を表す情報に含まれる特徴情報の抽出結果とタイムスタンプをもとにコンテンツ間の派生関係を判定し有向グラフを作成するようにした。しかし、上記特徴情報の抽出結果とタイムスタンプに加え、監視結果を表す情報に含まれる電子透かしの検出結果及びメタ情報の内容を考慮して、上記コンテンツ間の派生関係を判定して有向グラフを作成するようにしてもよい。このうち、特に電子透かしを用いると、コンテンツの流出元を特定することが可能となり、きわめて有効である。
さらに、前記実施形態ではコンテンツの包含関係をコンテンツの時間的な包含関係により定義した。しかし、それに限らず時間以外の情報、例えば空間的な包含関係(映像や静止画像コンテンツにおいて、ある映像コンテンツ中に他の映像コンテンツが例えばピクチャインピクチャのような関係で挿入されている場合)や、字幕等の付加情報の有無等を考慮して派生の有無を判定するようにしてもよい。
また前記実施形態では、ネットワーク機器NT1〜NTmに監視機能を持たせた場合を例にとって説明したが、投稿サイトST又は端末TM1〜TMnに監視機能を持たせるようにしてもよい。さらに前記実施形態では、各監視装置からその監視結果を表す情報をセンタサーバSVに収集して、コンテンツ間の派生関係の判定及び有向グラフの作成を行うようにしたが、各監視結果を表す情報を監視装置の一つに収集して、コンテンツ間の派生関係の判定と有向グラフの作成を行うようにしてもよい。
さらに、前記実施形態では不正利用コンテンツのネットワーク上における流通状況を追跡する場合を例にとって説明したが、例えば映画の予告編等のコンテンツのネットワーク上における拡散状況を調査する目的でこの発明を使用することも可能である。コンテンツの拡散状況の調査結果をもとに、当該映画の関心度や反響を判定して上映するか否か、或いは上映期間を延長するか否か等を決定することが可能となる。
その他、監視装置の種類や構成、センタ装置の種類や構成、監視装置及びサーバによる制御手順と制御内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
NW…ネットワーク、ST…投稿サイト、TM1〜TM3…端末、NT1〜NT3…ネットワーク機器、SV…センタサーバ、11…データ転送処理部、12…データ保存部、13…監視条件受信処理部、14…特徴情報抽出処理部、15…タイムスタンプ記録処理部、16…透かし検出処理部、17…メタ情報検出処理部、18…監視結果送信処理部、20…データ送受信処理部、21…入力制御部、22…監視条件記憶部、23…監視条件配信制御部、24…監視情報収集制御部、25…監視情報記憶部、26…有向グラフ作成部、27…有向グラフ記憶部、28…出力制御部、31…入力デバイス、32…表示デバイス、33…出力デバイス。

Claims (12)

  1. ネットワーク内を流通するコンテンツを送信又は受信する複数の監視装置と、これらの監視装置との間で通信可能なセンタ装置とを具備し、
    前記複数の監視装置は、
    監視対象とするコンテンツの特徴情報を監視条件として記憶した監視条件記憶手段と、
    前記コンテンツを送信又は受信した際に、その送信又は受信時刻を示すタイムスタンプを生成する手段と、
    前記送信又は受信したコンテンツから特徴情報を抽出し、この抽出した特徴情報を前記監視条件記憶手段に監視条件として記憶された特徴情報と比較してその類似度を算出する手段と、
    前記生成されたタイムスタンプ及び前記算出された類似度を含む監視結果を前記センタ装置へ送信する手段と
    を備え、
    前記センタ装置は、
    前記複数の監視装置から送信された監視結果を受信する手段と、
    前記受信された各監視結果に含まれるタイムスタンプ及び特徴情報の類似度をもとに、前記各監視装置において送信又は受信された複数のコンテンツ間の派生関係を判定し、その判定結果をもとにコンテンツ間の派生関係を時系列的な順序で表す有向グラフを作成する手段と
    を備えることを特徴とするコンテンツ流通監視システム。
  2. 前記センタ装置は、
    前記監視対象とするコンテンツの入力を受け付ける手段と、
    前記入力されたコンテンツについてその特徴情報を生成し、この生成された特徴情報を監視条件として前記複数の監視装置へ配信する手段と
    を、さらに備え、
    前記複数の監視装置は、
    前記センタ装置から配信された監視条件を受信する手段と、
    前記受信された監視条件を前記監視条件記憶手段に記憶させる手段と
    を、さらに備えることを特徴とする請求項1記載のコンテンツ流通システム。
  3. 前記監視条件記憶手段は、監視条件として、前記監視対象コンテンツの特徴情報と、前記監視対象コンテンツを選択するための条件を指定するフィルタ情報を記憶し、
    前記類似度を算出する手段は、
    前記送信又は受信したコンテンツのうち、前記フィルタ情報により指定された条件を満足するコンテンツを選択する手段と、
    前記選択されたコンテンツから特徴情報を抽出し、この抽出した特徴情報を前記監視条件記憶手段に監視条件として記憶された特徴情報と比較してその類似度を算出する手段と
    を有することを特徴とする請求項1又は2記載のコンテンツ流通システム。
  4. 前記監視条件記憶手段は、監視対象とするコンテンツについてその所定単位ごとの特徴情報を監視条件として記憶し、
    前記類似度を算出する手段は、前記送信又は受信したコンテンツから所定単位ごとに特徴情報を抽出し、この抽出した特徴情報を前記監視条件記憶手段に監視条件として記憶された所定単位ごとの特徴情報と比較してその類似度を算出することを特徴とする請求項1乃至3のいずれかに記載のコンテンツ流通システム。
  5. ネットワーク内を流通するコンテンツを送信又は受信する複数の監視装置と、これらの監視装置との間で通信可能なセンタ装置とを具備するシステムで使用されるコンテンツ流通監視方法であって、
    前記複数の監視装置において、監視対象とするコンテンツの特徴情報を監視条件として監視条件記憶メモリに記憶させる過程と、
    前記複数の監視装置において、前記コンテンツを送信又は受信した際に、その送信又は受信時刻を示すタイムスタンプを生成する過程と、
    前記複数の監視装置において、前記送信又は受信したコンテンツから特徴情報を抽出し、この抽出した特徴情報を前記監視条件記憶メモリに監視条件として記憶された特徴情報と比較してその類似度を算出する過程と、
    前記複数の監視装置において、前記生成されたタイムスタンプ及び前記算出された類似度を含む監視結果を前記センタ装置へ送信する過程と、
    前記センタ装置において、前記複数の監視装置から送信された監視結果を受信する過程と、
    前記複数の監視装置において、前記受信された各監視結果に含まれるタイムスタンプ及び特徴情報の類似度をもとに、前記各監視装置において送信又は受信された複数のコンテンツ間の派生関係を判定し、その判定結果をもとにコンテンツ間の派生関係を時系列的な順序で表す有向グラフを作成する過程と
    を具備することを特徴とするコンテンツ流通監視方法。
  6. 前記センタ装置において、前記監視対象とするコンテンツの入力を受け付ける過程と、
    前記センタ装置において、前記入力されたコンテンツについてその特徴情報を生成し、この生成された特徴情報を監視条件として前記複数の監視装置へ配信する過程と、
    前記複数の監視装置において、前記センタ装置から配信された監視条件を受信する過程と、
    前記複数の監視装置において、前記受信された監視条件を前記監視条件記憶メモリに記憶させる過程と
    を、さらに具備することを特徴とする請求項5記載のコンテンツ流通方法。
  7. 前記監視条件を監視条件記憶メモリに記憶させる過程は、監視条件として、前記監視対象コンテンツの特徴情報と、前記監視対象コンテンツを選択するための条件を指定するフィルタ情報を記憶させ、
    前記類似度を算出する過程は、
    前記送信又は受信したコンテンツのうち、前記フィルタ情報により指定された条件を満足するコンテンツを選択する過程と、
    前記選択されたコンテンツから特徴情報を抽出し、この抽出した特徴情報を前記監視条件記憶手段に監視条件として記憶された特徴情報と比較してその類似度を算出する過程と
    を有することを特徴とする請求項5又は6記載のコンテンツ流通方法。
  8. 前記監視条件を監視条件記憶メモリに記憶させる過程は、監視対象とするコンテンツの所定単位ごとの特徴情報を監視条件として記憶させ、
    前記類似度を算出する過程は、前記送信又は受信したコンテンツから所定単位ごとに特徴情報を抽出し、この抽出した特徴情報を前記監視条件記憶手段に監視条件として記憶された所定単位ごとの特徴情報と比較してその類似度を算出することを特徴とする請求項5乃至7のいずれかに記載のコンテンツ流通方法。
  9. ネットワーク内を流通するコンテンツを送信又は受信する複数の監視装置と、これらの監視装置との間で通信可能なセンタ装置とを具備するシステムで使用される前記監視装置において、
    監視対象とするコンテンツの特徴情報を監視条件として記憶した監視条件記憶手段と、
    前記コンテンツを送信又は受信した際に、その送信又は受信時刻を示すタイムスタンプを生成する手段と、
    前記送信又は受信したコンテンツから特徴情報を抽出し、この抽出した特徴情報を前記監視条件記憶手段に監視条件として記憶された特徴情報と比較してその類似度を算出する手段と、
    前記生成されたタイムスタンプ及び前記算出された類似度を含む監視結果を前記センタ装置へ送信する手段と
    を具備することを特徴とする監視装置。
  10. ネットワーク内を流通するコンテンツを送信又は受信した際に、その送信又は受信時刻を示すタイムスタンプを生成すると共に、前記送信又は受信したコンテンツから特徴情報を抽出し、この抽出した特徴情報を予め監視条件として記憶された特徴情報と比較してその類似度を算出する機能を備える複数の監視装置との間で、通信を行うセンタ装置において、
    前記複数の監視装置から送信された監視結果を受信する手段と、
    前記受信された各監視結果に含まれるタイムスタンプ及び特徴情報の類似度をもとに、前記各監視装置において送信又は受信された複数のコンテンツ間の派生関係を判定し、その判定結果をもとにコンテンツ間の派生関係を時系列的な順序で表す有向グラフを作成する手段と
    を具備することを特徴とするセンタ装置。
  11. 前記請求項9記載の監視装置において使用されるプログラムであって、
    前記コンテンツを送信又は受信した際に、その送信又は受信時刻を示すタイムスタンプを生成する処理と、
    前記送信又は受信したコンテンツから特徴情報を抽出し、この抽出した特徴情報を前記監視条件記憶手段に監視条件として記憶された特徴情報と比較してその類似度を算出する処理と、
    前記生成されたタイムスタンプ及び前記算出された類似度を含む監視結果を前記センタ装置へ送信する処理と
    を、前記監視装置が備えるプロセッサに実行させるプログラム。
  12. 前記請求項10記載のセンタ装置において使用されるプログラムであって、
    前記複数の監視装置から送信された監視結果を受信する処理と、
    前記受信された各監視結果に含まれるタイムスタンプ及び特徴情報の類似度をもとに、前記各監視装置において送信又は受信された複数のコンテンツ間の派生関係を判定する処理と、
    前記コンテンツ間の派生関係の判定結果をもとに、コンテンツ間の派生関係を時系列的な順序で表す有向グラフを作成する処理と
    を、前記センタ装置のプロセッサに実行させるプログラム。
JP2009175649A 2009-07-28 2009-07-28 コンテンツ流通監視方法及びシステムと、このシステムで使用される装置及びそのプログラム Expired - Fee Related JP5264643B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009175649A JP5264643B2 (ja) 2009-07-28 2009-07-28 コンテンツ流通監視方法及びシステムと、このシステムで使用される装置及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009175649A JP5264643B2 (ja) 2009-07-28 2009-07-28 コンテンツ流通監視方法及びシステムと、このシステムで使用される装置及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2011028646A true JP2011028646A (ja) 2011-02-10
JP5264643B2 JP5264643B2 (ja) 2013-08-14

Family

ID=43637291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009175649A Expired - Fee Related JP5264643B2 (ja) 2009-07-28 2009-07-28 コンテンツ流通監視方法及びシステムと、このシステムで使用される装置及びそのプログラム

Country Status (1)

Country Link
JP (1) JP5264643B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11659031B2 (en) 2020-01-07 2023-05-23 Samsung Electronics Co., Ltd. Blockchain based peer-to-peer content sharing apparatus for blocking illegal contents

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944432A (ja) * 1995-05-24 1997-02-14 Fuji Xerox Co Ltd 情報処理方法および情報処理装置
JP2000341315A (ja) * 1999-05-31 2000-12-08 Ntt Data Corp 電子データの追跡方法及びシステム、記録媒体
JP2006065488A (ja) * 2004-08-25 2006-03-09 Nippon Telegr & Teleph Corp <Ntt> コンテンツ配信システムにおける不正監視方法、コンテンツ配信システム、およびプログラム
JP2006516775A (ja) * 2003-01-23 2006-07-06 ヴァーダシス・インコーポレーテッド 構造化されていないデータの大集合における類似性および修正履歴の特定
JP2006285907A (ja) * 2005-04-05 2006-10-19 Nippon Hoso Kyokai <Nhk> 指定流通コンテンツ特定装置、指定流通コンテンツ特定プログラムおよび指定流通コンテンツ特定方法
JP2008146192A (ja) * 2006-12-07 2008-06-26 Hitachi Software Eng Co Ltd ファイル流通経路追跡システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944432A (ja) * 1995-05-24 1997-02-14 Fuji Xerox Co Ltd 情報処理方法および情報処理装置
JP2000341315A (ja) * 1999-05-31 2000-12-08 Ntt Data Corp 電子データの追跡方法及びシステム、記録媒体
JP2006516775A (ja) * 2003-01-23 2006-07-06 ヴァーダシス・インコーポレーテッド 構造化されていないデータの大集合における類似性および修正履歴の特定
JP2006065488A (ja) * 2004-08-25 2006-03-09 Nippon Telegr & Teleph Corp <Ntt> コンテンツ配信システムにおける不正監視方法、コンテンツ配信システム、およびプログラム
JP2006285907A (ja) * 2005-04-05 2006-10-19 Nippon Hoso Kyokai <Nhk> 指定流通コンテンツ特定装置、指定流通コンテンツ特定プログラムおよび指定流通コンテンツ特定方法
JP2008146192A (ja) * 2006-12-07 2008-06-26 Hitachi Software Eng Co Ltd ファイル流通経路追跡システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11659031B2 (en) 2020-01-07 2023-05-23 Samsung Electronics Co., Ltd. Blockchain based peer-to-peer content sharing apparatus for blocking illegal contents

Also Published As

Publication number Publication date
JP5264643B2 (ja) 2013-08-14

Similar Documents

Publication Publication Date Title
Atlam et al. Internet of things forensics: A review
US20110289116A1 (en) Method and Apparatus for Protecting Online Content by Detecting Noncompliant Access Patterns
JP5809238B2 (ja) 準リアルタイムネットワーク攻撃検出のためのシステムおよび方法、ならびに検出ルーティングによる統合検出のためのシステムおよび方法
CN103189872B (zh) 联网环境中的安全和有效内容筛选的方法和装置
CN109635521A (zh) 一种基于区块链的版权保护、验证方法及装置
CN110149361B (zh) 一种互联网业务操作过程回溯方法、系统以及装置
CN110366845A (zh) 基于云中内容、活动、和元数据的安全性和合规性警报
CN107085549B (zh) 故障信息生成的方法和装置
CN109361573A (zh) 流量日志分析方法、系统及计算机可读存储介质
KR20160089800A (ko) 사이버 침해 사고 조사 장치 및 방법
Rasmi et al. A new algorithm to estimate the similarity between the intentions of the cyber crimes for network forensics
CN110505490A (zh) 多媒体数据识别方法和系统
CN113448834A (zh) 埋点测试方法、装置、电子设备及存储介质
CN112507264A (zh) 一种可溯源自动实现网络电子取证的系统及方法
JP5264643B2 (ja) コンテンツ流通監視方法及びシステムと、このシステムで使用される装置及びそのプログラム
JP2010266940A (ja) 情報検閲システム、情報公開サーバ、情報検閲装置、情報検閲方法、及び情報検閲プログラム
CN106063281A (zh) 确定视频会话中重新缓冲事件的方法
US8775612B2 (en) Instruction system, method, and recording control apparatus
JP5072880B2 (ja) メタデータ抽出サーバ、メタデータ抽出方法およびプログラム
CN111625837A (zh) 识别系统漏洞的方法、装置和服务器
CN106713297A (zh) 基于云服务的电子数据固定平台
Li et al. RIMS: A Real-time and Intelligent Monitoring System for live-broadcasting platforms
CN114979109B (zh) 行为轨迹检测方法、装置、计算机设备和存储介质
Shin New digital forensics investigation procedure model
US20210390519A1 (en) Storage medium, detection method, and detection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111011

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130430

R150 Certificate of patent or registration of utility model

Ref document number: 5264643

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees