JP2006109230A - 監視システム及び監視システムにおける認証方法 - Google Patents

監視システム及び監視システムにおける認証方法 Download PDF

Info

Publication number
JP2006109230A
JP2006109230A JP2004294892A JP2004294892A JP2006109230A JP 2006109230 A JP2006109230 A JP 2006109230A JP 2004294892 A JP2004294892 A JP 2004294892A JP 2004294892 A JP2004294892 A JP 2004294892A JP 2006109230 A JP2006109230 A JP 2006109230A
Authority
JP
Japan
Prior art keywords
image
monitoring system
light emitting
authentication code
emitting element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004294892A
Other languages
English (en)
Other versions
JP4600810B2 (ja
Inventor
Masaki Miyazaki
優樹 宮嵜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2004294892A priority Critical patent/JP4600810B2/ja
Publication of JP2006109230A publication Critical patent/JP2006109230A/ja
Application granted granted Critical
Publication of JP4600810B2 publication Critical patent/JP4600810B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

【課題】 画像の偽造改ざんを検出することのできる監視システム及び監視システムにおける認証方法を提供する。
【解決手段】 所定のコードに基づいて発光する複数の素子を設けた表示装置11を、ネットワークカメラ12の視野内に設置し、表示された点滅パターンを撮像して、画像認識を行い、所定のコードに基づいているか否かを判断して真正なものであることを認証する。
【選択図】 図4

Description

本発明は監視システムに関し、特に監視対象を撮像して画像信号を伝送する際に、監視対象の画像が、本来監視すべきものであるか否かを判断して認証する監視システム及び監視システムにおける認証方法の改良に関する。
カメラで撮像した画像をモニタに表示して監視したり、VTRやディスクレコーダで記録を行う画像監視システムが広く用いられている。このような画像監視システムにおいて、カメラのレンズ前方に監視対象の被写体と同じ画像の写真などを置き、被写体そのものをすげ替えたり、カメラの位置を変えて監視対象の被写体によく似た別の被写体を撮像したりして監視の目をごまかし、その間に犯罪を行うといった被写体の詐称が行われる恐れがある。特に近年、ネットワークカメラで撮像した監視画像をディジタル化して圧縮しネットワークを用いて遠隔地に伝送し、閲覧、記録を行うネットワーク監視システムが用いられており、このようなネットワーク監視システムにおいては、カメラの設置場所と画像を閲覧する場所が離れているので、カメラに不正をされる危険性が高い。
このような被写体の詐称に対して、図8に示すような識別子を用いる提案がなされている(例えば、下記の特許文献1参照)。
下記の特許文献1によれば、被写体である対象物102に固有の識別子(ID)を示す信号を送出し、取り外し不可能な無線タグ101を取り付け、撮像カメラ(図8中は単にカメラと記す)104による撮像時にRFレシーバ103のアンテナ103aを介して受信された無線タグ101からのID信号を受信してID情報を解読し、撮像カメラ104からの撮像に関連する情報や他の情報とID情報を複合ジェネレータ105で合成して複合データを生成し、この複合データを撮像画像データに電子透かしとして埋め込んだりして認証に用いている。
特開2000-261751号公報(図1、段落0027〜0031)
しかし特許文献1の方法では、画面に映っている光学画像そのものを認証するわけではなく、識別子がカメラ近傍にあるということを認証しているに過ぎないため、識別子が画面の外、例えばカメラの反対側に置かれていてもこれを正常と認証してしまう。このように従来の方法では確実な認証を行うことができないという課題があった。
したがって、真正でない画像を真正な画像であると、誤って認識してしまうことがなく、確実に真正な画像を認証することのできる監視システム及び監視システムにおける認証方法を提供することを目的とする。
本発明は、上記目的を達成するため、撮像する画像の中に、特定のコードに基づいて発光する発光素子からなる表示装置を配置し、監視対象と共に発光素子の発光パターンを撮像して、その発光パターンが特定のコードに基づいているか否かを判断することにより、真正な画像であるか否かを判断して認証するようにしたものである。
すなわち、本発明によれば、監視対象の画像を撮像して伝送し表示する監視システムにおいて、
所定の認証コードを生成する認証コード生成部で生成された認証コードに基づいて発光する発光素子を備えた表示装置と、
視野内に配置された前記表示装置を前記監視対象と共に撮像し伝送する撮像装置と、
前記撮像装置から伝送された画像を表示する監視端末とを備え、
前記監視端末は更に、
前記撮像装置から伝送された画像から前記発光素子の点灯を識別する画像認識手段と、
前記画像認識手段で認識された前記発光素子の点灯のパターンをコード化するコード化手段と、
前記コード化手段で取得されたコードが、前記所定の認証コードと一致するか否かを判断して認証する認証手段とを、
備えることを特徴とする監視システムが提供される。
また本発明によれば、監視対象の画像を撮像して伝送し表示する監視システムにおける認証方法において、
所定の認証コードを生成してこの認証コードに基づいて発光素子を点灯させる発光ステップと、
視野内に配置された前記発光素子を前記監視対象と共に撮像し伝送する撮像ステップと、
前記撮像ステップで撮像された画像から前記発光素子の点灯を識別する画像認識ステップと、
前記発光素子の点灯のパターンをコード化するコード化ステップと、
前記コード化ステップで得られたコードが前記所定の認証コードと一致するか否かを判断して認証する認証ステップとを、
有することを特徴とする監視システムにおける認証方法が提供される。
本発明の監視システム及び監視システムにおける認証方法では、撮像する画像の中に、特定のコードに基づいて発光する発光素子からなる表示装置を配置し、監視対象と共に発光素子の発光パターンを撮像して、その発光パターンが特定のコードに基づいているか否かを判断しているので、監視している対象が真正な画像であるか否かを判断して認証することができる。
以下、本発明の監視システム及び監視システムにおける認証方法について、添付図面を参照して説明する。図1は本発明の監視システムの一実施の形態を示すネットワーク監視システムのシステム構成図、図2は図1中の表示装置として用いられるセキュリティボックスの外観図、図3は図1中のセキュリティボックスの構成を示すブロック図、図4は図1中のカメラの撮像画像の例、図5は図1中の監視端末の構成を示すブロック図、図6は図1中のセキュリティボックスの動作を示すフローチャート、図7は図1に示す監視システムにおける認証を示すフローチャートである。図1において、ネットワークカメラ12は、図示省略の被写体(監視対象)を撮像するよう配置されている。セキュリティボックス11は、ネットワークカメラ12の撮像範囲内に配置される。ネットワークカメラ12からの出力信号は、ネットワーク13を介して監視端末14に送信される。
図3のセキュリティボックス11のブロック図において、セキュリティボックス11は、時刻取得部31、認証コード生成部32、出力部33、表示部21、22、23、24、25を有している。図4において、セキュリティボックス11の表示部21、22、23、24、25は、それぞれ図1に示すネットワークカメラ12で撮像される点灯領域41、42、43、44、45となっている。図5に示す監視端末14は、ネットワークインターフェース51、画像伸長部52、画像出力部53、画像認識部54、時刻取得部55、認証部56を有している。セキュリティボックス11は図2のように外部にLEDなどで構成された表示部21〜25を備えている。本実施の形態では5つのLEDを備えている。
セキュリティボックス11の時刻取得部31は、電波時計を用いて現在時刻を取得する。例えば現在時刻は2004年8月1日午前10時30分であったとする(図6中のステップS1)。そしてセキュリティボックス11の認証コード生成部32は、時刻取得部31で取得した現在時刻(200408011030)を基に認証コードを生成する(ステップS2)。これは例えばRSAなどの公開鍵方式の暗号鍵などを用いたり、DESなどの共通鍵方式の暗号化鍵を用いて認証コードを生成するものである。今生成された認証コードが20ビットで10011101010111100101であったとする。すると出力部33は、まず認証コードを10011、10101、01111、00101のように5ビットずつに分割する。そして最初の5ビットに従って5つのLEDを所定の時間、例えば1秒間点灯させる。最初の5ビットは10011であるので、LED21は点灯、LED22は消灯、LED23は消灯、LED24は点灯、LED25は点灯とする(ステップS3)。
そして1秒経過した後に2番目の5ビットである10101に従ってLED21〜25を点灯する(ステップS4)。そして更に1秒経過した後に3番目の5ビットである01111に従ってLED21〜25を点灯させる(ステップS5)。更に1秒経過した後に4番目の5ビットである00101に従ってLED21〜25を点灯させる(ステップS6)。このようにして順次LEDを点灯させる。4番目の点灯が1秒経過して20ビットすべての点灯が終了すると、その後1秒間はすべてのLEDを消灯させる(ステップS7)。この1秒間の消灯を識別すれば20ビットの点灯の区切りとすることができる。1秒間の消灯が終わると、ステップS1に戻り再び現在時刻を取得し、それに基づいたコードを生成してLEDを点灯させる。このようにして繰り返しLEDを点灯させる。なお本実施の形態の1秒という所定の時間は、カメラの映像のフレームレート(1秒当たりの画像のコマ数)よりも長い必要があるので、システムごとに設定可能とすると好適である。
また、認証コード生成方法によって、発光パターンが全消灯(5ビットに区切った状態で00000)となると、リセットと取り違える恐れがあるので、リセットの消灯時間を発光パターンの表示よりも長い時間にするなどの設定を行ったり、認証コードを生成する際に全消灯(5ビットに区切った状態で00000)とならないような禁則処理を行うと好適である。
このようなセキュリティボックス11を、監視を行うにあたり、あらかじめネットワークカメラ12の撮像エリアに配置しておく。そしていったんネットワークカメラ12で撮像した図4に示すような画像をネットワーク13を通して監視端末14に送る。監視端末14では送られた画像を見てセキュリティボックス11の5つのLEDがどこにあるか、領域41〜45をマウスなどを用いて設定しておく。
監視を開始すると、ネットワークカメラ12は図4に示すような画像を撮像し、ディジタル化、画像圧縮などの処理を施してネットワークに送出する。
監視端末14のネットワークインターフェース51はネットワークカメラ12から送出された画像を受信し、画像伸長部52でこれを伸長して画像を得て、画像出力部53から不図示のモニタに画像を出力しモニタに画像を表示する。
一方画像の一部にはセキュリティボックス11が映っていて、指定された点灯領域41〜45にはLEDが映っている。監視端末14の画像認識部54は、指定された5つの点灯領域41〜45を画像認識し、LEDが点灯しているか消灯しているかを識別する(図7中のステップS71)。
最初に、すべてのLEDが消灯した状態が1秒間継続しているかどうかを判断する(ステップS72)。すべて消灯が1秒間継続すると、その後に認証コードの取得を開始する。まずLEDが点灯するとこれを識別して、最初の5ビットを取得する(ステップS73)。いま、LED21は点灯、LED22は消灯、LED23は消灯、LED24は点灯、LED25は点灯とすると、10011を得る。そして1秒経過後に再度画像認識を行い、2番目の5ビットとして10101を得て(ステップS74)、3番目の5ビットとして01111を得て(ステップS75)、最後に4番目の5ビットとして00101を得る(ステップS76)。
4つの5ビット信号を得るとこれらをまとめて10011101010111100101といった20ビットの認証コードを生成する(ステップS77)。そして認証コードを取得できたかどうかを判断し(ステップS78)、認証コードを取得できない場合は、未認証である旨を示す表示を画像出力部53から出力しモニタの画面に表示する(ステップS79)。また認証コードを取得できた場合は、認証部56は、画像認識部54で取得した認証コードを公開鍵で復号して、元の現在時刻を得る(ステップS80)。
一方監視端末14の時刻取得部55は、電波時計を使って現在時刻(200408011030)を取得し(ステップS81)、復号した認証コードと照合する(ステップS82)。照合の結果両者の差が所定時間(例えば30秒)以下であれば、現在映っている画像は正当なセキュリティボックス11を現在撮像した画像であるということが認証されたこととなるので、認証OKを示す表示を画像出力部53から出力しモニタの画面に表示する(ステップS83)。
認証コードは得られたが照合の結果両者の差が所定時間(例えば30秒)より大きい場合は、何らかの偽造改ざんが行われている可能性が高いので、「認証NG」などの警告を示す表示を画像出力部53から出力しモニタの画面に表示する(ステップS84)。以上で認証の作業を終了し、ステップS72に戻って、前述の動作と同様に次の認証コードの取得のための動作を開始する。
このように本発明のネットワーク監視システムは、カメラで撮像した光学的な画像そのものを認証することができるので、カメラのレンズ前方に監視対象の被写体と同じ画像の写真などを置き被写体そのものをすげ替えたり、カメラの位置を変えて監視対象の被写体によく似た別の被写体を撮像したりといった偽造改ざんを検出することができるだけでなく、識別子が所定の位置から移動して置かれていてもこれを検出することができ、確実な認証を行うことができる。また認証のデータには監視している画像そのものを用いているので、特別な受信装置や電子透かしの埋め込みを行う必要がなく、従来のネットワークカメラをそのまま用いてセキュリティボックスと認証ソフトウェアを追加するだけでよいので、システムが簡単で容易に実施することができる。
なお、本実施の形態ではLEDを点灯させて識別するものとして説明したがこれにこだわることなく、LEDの色を変えたり、7セグメントLED、液晶パネルなどを用いて文字や2次元バーコードを表示させるなど、画像を通して識別できるものであれば同等の効果を奏することは言うまでもない。さらに赤外線発光素子を用いてこれを赤外線感度の高い監視カメラで撮像すれば、点灯していることが分からず秘匿性が高いシステムを構築することができる。また、本実施の形態では複数のLEDを用いて、複数ビットに対応させて点灯のパターンを形成しているが、1つのLEDを用いて、所定時間内で複数ビットに対応して時間軸方向でオン、オフのパターンを形成してもよい。さらに、複数のLEDを用いて時間軸方向にオン、オフさせたり、一定時間内の固定した点灯パターンに従うLEDと、時間軸に沿ってオン、オフするLEDを組み合わせることによるパターン形成も可能である。
また本セキュリティボックスは、取り付けねじを緩めるなどの取り外し行為を行うとこれを検出し、IDの入力など特別な処理を行わない限り点灯の動作を行わなくなるなど、容易に取り外して移動できないようにするとより好適である。また本実施の形態では電波時計を使って現在時刻を取得して暗号化して認証する例を示したがこれにこだわることなく、ネットワーク上のタイムサーバを用いて現在時刻を取得したり、更には現在時刻以外のデータを暗号化して認証してもよい。
本発明の監視システムの一実施の形態であるネットワーク監視システムのシステム構成図である。 図1中の表示装置としてのセキュリティボックスの外観図である。 図1中のセキュリティボックスの構成を示すブロック図である。 図1中のネットワーク監視システムにおける撮像画像の例である。 図1中の監視端末の構成を示すブロック図である。 図1中のセキュリティボックスの動作を示すフローチャートである。 図1中のネットワーク監視システムにおける認証のフローチャートである。 従来の監視システムのシステム構成図である。
符号の説明
11 セキュリティボックス(表示装置)
12 ネットワークカメラ
13 ネットワーク
14 監視端末
21、22、23、24、25 表示部(LED)
31、55 時刻取得部
32 認証コード生成部
33 出力部
41、42、43、44、45 点灯領域
51 ネットワークインターフェース
52 画像伸長部
53 画像出力部
54 画像認識部
56 認証部

Claims (2)

  1. 監視対象の画像を撮像して伝送し表示する監視システムにおいて、
    所定の認証コードを生成する認証コード生成部で生成された認証コードに基づいて発光する発光素子を備えた表示装置と、
    視野内に配置された前記表示装置を前記監視対象と共に撮像し伝送する撮像装置と、
    前記撮像装置から伝送された画像を表示する監視端末とを備え、
    前記監視端末は更に、
    前記撮像装置から伝送された画像から前記発光素子の点灯を識別する画像認識手段と、
    前記画像認識手段で認識された前記発光素子の点灯のパターンをコード化するコード化手段と、
    前記コード化手段で取得されたコードが、前記所定の認証コードと一致するか否かを判断して認証する認証手段とを、
    備えることを特徴とする監視システム。
  2. 監視対象の画像を撮像して伝送し表示する監視システムにおける認証方法において、
    所定の認証コードを生成してこの認証コードに基づいて発光素子を点灯させる発光ステップと、
    視野内に配置された前記発光素子を前記監視対象と共に撮像し伝送する撮像ステップと、
    前記撮像ステップで撮像された画像から前記発光素子の点灯を識別する画像認識ステップと、
    前記発光素子の点灯のパターンをコード化するコード化ステップと、
    前記コード化ステップで得られたコードが前記所定の認証コードと一致するか否かを判断して認証する認証ステップとを、
    有することを特徴とする監視システムにおける認証方法。
JP2004294892A 2004-10-07 2004-10-07 監視システム及び監視システムにおける認証方法 Expired - Fee Related JP4600810B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004294892A JP4600810B2 (ja) 2004-10-07 2004-10-07 監視システム及び監視システムにおける認証方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004294892A JP4600810B2 (ja) 2004-10-07 2004-10-07 監視システム及び監視システムにおける認証方法

Publications (2)

Publication Number Publication Date
JP2006109230A true JP2006109230A (ja) 2006-04-20
JP4600810B2 JP4600810B2 (ja) 2010-12-22

Family

ID=36378409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004294892A Expired - Fee Related JP4600810B2 (ja) 2004-10-07 2004-10-07 監視システム及び監視システムにおける認証方法

Country Status (1)

Country Link
JP (1) JP4600810B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014061922A1 (ko) * 2012-10-17 2014-04-24 에스케이텔레콤 주식회사 에지 영상을 이용한 카메라 탬퍼링 검출장치 및 방법
KR20140124289A (ko) 2013-04-16 2014-10-24 삼성테크윈 주식회사 감시 카메라의 제어 방법
WO2018212278A1 (ja) * 2017-05-17 2018-11-22 パナソニックIpマネジメント株式会社 映像記録装置及び映像記録検証システム並びに映像記録方法及び映像検証方法
KR20190138624A (ko) 2019-12-03 2019-12-13 한화테크윈 주식회사 감시 카메라의 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000214945A (ja) * 1999-01-27 2000-08-04 Sony Corp 利用者特定システム、発信装置および方法、情報処理装置および方法、デ―タ提供装置および方法、並びに提供媒体
JP2001148844A (ja) * 1999-11-19 2001-05-29 Fujitsu General Ltd 異常監視システム
JP2005333415A (ja) * 2004-05-20 2005-12-02 Hitachi Omron Terminal Solutions Corp 高信頼監視装置システムおよび監視サービス

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000214945A (ja) * 1999-01-27 2000-08-04 Sony Corp 利用者特定システム、発信装置および方法、情報処理装置および方法、デ―タ提供装置および方法、並びに提供媒体
JP2001148844A (ja) * 1999-11-19 2001-05-29 Fujitsu General Ltd 異常監視システム
JP2005333415A (ja) * 2004-05-20 2005-12-02 Hitachi Omron Terminal Solutions Corp 高信頼監視装置システムおよび監視サービス

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014061922A1 (ko) * 2012-10-17 2014-04-24 에스케이텔레콤 주식회사 에지 영상을 이용한 카메라 탬퍼링 검출장치 및 방법
KR20140049411A (ko) * 2012-10-17 2014-04-25 에스케이텔레콤 주식회사 에지 영상을 이용한 카메라 탬퍼링 검출장치 및 방법
US9230166B2 (en) 2012-10-17 2016-01-05 Sk Telecom Co., Ltd. Apparatus and method for detecting camera tampering using edge image
KR101939700B1 (ko) 2012-10-17 2019-01-17 에스케이 텔레콤주식회사 에지 영상을 이용한 카메라 탬퍼링 검출장치 및 방법
KR20140124289A (ko) 2013-04-16 2014-10-24 삼성테크윈 주식회사 감시 카메라의 제어 방법
WO2018212278A1 (ja) * 2017-05-17 2018-11-22 パナソニックIpマネジメント株式会社 映像記録装置及び映像記録検証システム並びに映像記録方法及び映像検証方法
JPWO2018212278A1 (ja) * 2017-05-17 2020-03-26 パナソニックIpマネジメント株式会社 映像記録装置及び映像記録検証システム並びに映像記録方法及び映像検証方法
JP7170278B2 (ja) 2017-05-17 2022-11-14 パナソニックIpマネジメント株式会社 映像記録装置及び映像記録検証システム並びに映像記録方法及び映像検証方法
KR20190138624A (ko) 2019-12-03 2019-12-13 한화테크윈 주식회사 감시 카메라의 제어 방법

Also Published As

Publication number Publication date
JP4600810B2 (ja) 2010-12-22

Similar Documents

Publication Publication Date Title
JP6545192B2 (ja) 変調光源からの照光から復号されたタイムスタンプを使用する、捕捉された画像の検証
CN102859565B (zh) 用于安全系统恶意干扰检测的方法与系统
US7236596B2 (en) Digital imaging system for evidentiary use
TWI667918B (zh) 監測方法及攝影機
JP5193124B2 (ja) 電子透かし埋め込み方法及び装置
KR101544019B1 (ko) 합성 영상을 이용한 화재감지시스템 및 방법
US9432390B2 (en) Scene identification system and methods
KR101460552B1 (ko) 프라이버시 영역의 마스킹 및 복원 방법
US20070223778A1 (en) Method And Apparatus For Video/Image Communication With Watermarking
WO2023004159A1 (en) Systems and methods employing scene embedded markers for verifying media
JP4600810B2 (ja) 監視システム及び監視システムにおける認証方法
CN109792387B (zh) 光通信装置防伪方法及系统
US10582108B2 (en) Method and system for enabling control, by a control device, of a video camera in a video surveillance system
US10567699B2 (en) Information processing apparatus to improve image quality by removing flicker component from captured image
JP2006503377A (ja) 監視システムからのライブフィード(livefeed)を認証するためのシステムおよび方法
CN113474784A (zh) 动态二维码评价方法、动态二维码评价系统和动态二维码评价程序
JP4839764B2 (ja) 監視システム
WO2018019553A1 (en) Monitoring an area using illumination
JPH0397080A (ja) 画像監視装置
JP4954459B2 (ja) 不審人物検出装置
GB2535722A (en) Method and apparatus for data verification in a mixed reality system
JP2023099952A (ja) 監視システム及び監視方法
JP5683358B2 (ja) 検証システム
CN112822219A (zh) 多媒体数据的验证方法、装置、系统及存储介质
JPH0264800A (ja) 遠隔監視方式

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100903

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100916

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4600810

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees