JP2002334386A - 物体検知システム及び画像処理方法 - Google Patents
物体検知システム及び画像処理方法Info
- Publication number
- JP2002334386A JP2002334386A JP2001137722A JP2001137722A JP2002334386A JP 2002334386 A JP2002334386 A JP 2002334386A JP 2001137722 A JP2001137722 A JP 2001137722A JP 2001137722 A JP2001137722 A JP 2001137722A JP 2002334386 A JP2002334386 A JP 2002334386A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- camera
- data
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
を確実に検知して、自治体や警察等の指定場所に通報で
きるようにする。 【解決手段】予め設定された検知領域の画像を撮像する
カメラ2と、カメラ2にて撮像された画像データに基づ
いて検知領域内に停止した物体を検知する画像処理部1
1と、停止物体が検知されたときにカメラ2からの画像
データを記録する画像記録部(ビデオレコーダ12)
と、停止物体が検知されたときに、その旨を予め指定さ
れた電話に通報する通報手段(携帯電話機15等)を設
ける。
Description
物体(人を含む)を検知する物体検知システムと、カメ
ラにて撮像された画像データから検知領域内に停止した
物体(車両)を検知するのに適した画像処理方法に関す
る。
路・山林・河川敷などに不法投棄する件数が多くなって
きている。不法投棄された車両は所有者を特定すること
が困難であり、所有者に廃棄処分をさせるまでに長期間
を要する。さらに、所有者を特定できない場合は、自治
体や警察において廃棄処分が行われることもあるが、多
くの経費を要するという問題がある。このようなことか
ら、不法投棄車両の撤去が効率よく進まず、長期間にわ
って放置されているのが現状である。
リサイクル法(特定家庭用危機再商品化法)により、一
般家庭から排出される特定家庭用機器(エアコン・テレ
ビ・冷蔵庫・洗濯機が対象)の不法投棄が増加すると考
えられる。
不法投棄が増加しつつある現状において、自然保護や環
境保全の観点から不法投棄を確実に防止する対策が要望
されてきている。
方法として、従来、検知領域を撮像し、その画像上から
車両を検知する方法が知られている。この種の車両検知
方法には、検知領域内の輝度データを利用する方法が一
般的で、以下の2つの手法が考えられる。
像と背景画像の差分処理結果から車両を検知する方式。
この方式では、個々の車両をかたまりとして抽出しやす
いという利点がある。
の輪郭(エッジ)を抽出する方式。
一般的な考え方は、検知枠(検知領域)上に車両が存在
しない、路面のみの輝度データを所定時に抽出して基準
路面レベルデータとして保存しておき、この基準路面レ
ベル(背景レベル)と別時間の検知枠上の輝度データを
比較し、十分な差が認められる場合(輝度データが高い
場合及び低い場合の双方の場合)には、車両が存在して
いるとみなして検知信号を送出する方法である。
めに基準路面レベル抽出(基準道路輝度パターンの学
習)は一定の頻度で行われる。具体的には、検知枠の同
一輝度パターンが間欠的に得られた場合、基準道路輝度
パターンとして採用(更新)して、これを保持するよう
にしている。
保護や環境保全の観点から、車両や特定家庭用機器など
の不法投棄を確実に防止することが要求されているが、
それに応えたシステム、例えば不法投棄現場において不
法投棄者を特定して取り締まりを行えるようにした不法
投棄監視システムは構築されていないのが現状である。
築する場合、車両検知方式として、前記した背景差分方
式及び空間差分方式を採用することが考えられるが、こ
れらは、いずれも、長所・短所があり、実際にはこれら
の処理を組み合わせて車両を検知する場合が多い。ま
た、ヘッドライト検出、テールランプ検出を用いたり、
細かく変動する背景(木の枝葉の揺れなど)の影響を避
けるため、マスク処理が必要になることもある。さら
に、いずれの方式も2値化の際のしきい値の設定が必要
であり、しかも、濃淡画像データを用いた処理であるこ
とから複雑な画像処理を要する。このため、装置コスト
が高くつく上、簡易的な物体検知システム(不法投棄監
視システム)には不向きである。
式では、水平・垂直方向投影データと背景データとのフ
レーム間における差を計算してその最大を求め、この最
大値が予め設定されたスレッシュホールドレベル以内で
あれば、背景レベルを更新するようにしている。しか
し、車両検知に用いられる通常のカラーカメラは、電子
アイリス機能・逆光補正機能を有しており、車両を捕ら
えるとカメラ画像の全体の明るさが変化し、車両の通過
前後でカメラの背景画像の明るさに差が生じる場合(例
えば元の明るさに戻らない場合)がある。
した場合、フレーム内の平均輝度が異なるため、図6に
示すように、車両通過前後で背景画像の明るさが変化し
てしまい、誤動作の原因となるという問題がある。
もので、車両や特定家庭用機器の不法投棄物などの物体
(人を含む)を確実に検知して指定場所に通報すること
が可能な物体検知システムの提供と、カメラにて撮像さ
れた画像データから検知領域内に停止した物体を簡単な
手法にて正確に検知することが可能で、前記した物体検
知システムに有効に利用することができる画像処理方法
の提供を目的とする。
ムは、検知領域の画像を撮像するカメラと、カメラにて
撮像された画像データに基づいて検知領域内に停止した
物体を検知する画像処理部と、停止物体が検知されたと
きにカメラからの画像データを記録する画像記録部と、
停止物体が検知されたときに、その旨を予め指定された
場所に通報する通報手段を備えていることによって特徴
づけられる。
された画像データから検知領域内に停止した物体を検知
するのに用いられる画像処理方法であって、カメラから
の画像データを濃淡投影処理法に基づいて画像処理し、
その濃淡投影データの1フレーム内において基準走査線
データと他の走査線データとの差分を順次算出し、それ
ら差分値の最大値を求め、この最大値を用いて停止物体
の検知情報を得ることによって特徴づけられる。
処理部で実行する画像処理に、上記した画像処理方法を
用いることが好ましい。
基づいて説明する。
態の構成を示すブロック図である。
棄監視に適用されるシステムであって、制御部1、監視
カメラ2及び電源部3によって構成されている。制御部
1と監視カメラ2とは複合同軸ケーブルを介して接続さ
れ、制御部1と電源部3とは電線ケーブルを介して接続
されている。
高感度カラーカメラ)21と、レンズ(バリフォーカル
レンズ)22を備えており、カメラ全体が防雨構造とな
っている。
32を備えており、これらバッテリー31及び警報ブザ
ー32が防雨構造の電源ケース(鋼板製、図示せず)内
に収容されている。
ーダ12、ビデオレコーダ操作部13、通報制御部1
4、携帯電話機15、キー操作部16、モニタ17及び
盗難防止センサ18を備えており、これら機能部品が防
雨構造の制御ケース(樹脂製、図示せず)内に収容され
ている。制御部1の画像処理部11には、監視カメラ2
からの画像データが入力される(ビデオ入力)。
定、停止車両検知条件(停止車両判定時間:例えば5
秒、10秒、15秒、20秒)の設定、ビデオレコーダ
記録時間(例えば30秒、1分、2分、5分)の設定、
画像処理検知感度の選択(固定モードまたは昼・夜自動
切り換えモードの選択)などのパラメータ設定を行うこ
とができる。これらの画像処理関係等のパラメータは画
像処理部11に入力される。
像データについて、濃淡投影処理を1フレームごとに施
し、濃淡投影データに対して水平・垂直方向の走査線間
差分・背景更新処理を実施して停止車両があるか否かを
判定し、停止車両がある場合(停止車両検知)、ビデオ
レコーダ操作部13及び通報制御部14に制御信号を出
力する。なお、画像処理部11の詳細は後述する。
ットレコーダ(リモコン送信機付き)であって、そのリ
モコン送信機がビデオレコーダ操作部13として利用さ
れている。ビデオレコーダ操作部13は画像処理部11
からの制御信号に応じて動作してビデオレコーダ12を
制御する。
状態に設定されており、ビデオレコーダ操作部13から
の制御信号に応じて電源オンとなり、次いで画像処理部
11のビデオ出力(監視カメラ2からの画像データ)の
録画を開始する。また、録音開始後、キー操作部16に
て設定されたビデオレコーダ記録時間が経過した時点で
録画を停止し、電源オフの状態に戻る。
約30度以上傾いたときに出力を発生する傾斜センサで
あって、そのセンサ出力は通報制御部14及び警報ブザ
ー32に供給される。
(停止車両検知信号)と、盗難防止センサ18の出力に
応じて携帯電話機15を制御して、予め登録された指定
電話、例えば自治体や警察に通報を行う。
のビデオ画像合成部11iからのビデオ出力が入力さ
れ、監視カメラ2にて撮像された画像データ(画像処理
検知領域付き:図4参照)が表示される。このモニタ1
7の表示画像を見ながら、キー操作部16を操作するこ
とにより画像処理を行う検知領域を設定することができ
る。
2に示すフローチャートに基づいて説明する。
電柱などに設置し、監視カメラ2の視野を検知領域に向
けておく。また、監視カメラ2の設置場所の近くに制御
部1及び電源部3に設置しておく。
部1のキー操作部16を操作して、画像処理検知領域、
停止車両検知条件(停止車両判定時間)、ビデオレコー
ダ記録時間、画像処理検知感度などの画像処理関係等の
パラメータを設定する(ステップS1)。この設定を終
えた後に動作開始スイッチ(図示せず)等の操作によ
り、不法投棄監視モードが開始される。
されると(ステップS2,S3)、その車両の停止時間
が、パラメータ入力にて設定された停止車両判定時間
(例えば10秒)と比較され(ステップS4)、車両停
止時間が停止車両判定時間よりも大きいとき(車両停止
時間≧停止車両判定時間)には、検知領域内の停止車両
が投棄車両であると判定し、ビデオレコーダ12を制御
する(ステップS5)。具体的には、ビデオレコーダ1
2の電源オンとして録画開始し、この録音開始後、キー
操作部16にて設定されたビデオレコーダ記録時間が経
過した時点で録画を停止して電源オフにするという制御
を行う。さらに、通報機能が作動し、携帯電話機15に
より、「不審車両の検知」の旨を予め登録されている指
定電話、例えば自治体や警察に通報する(ステップS
6)。
止時間<停止車両判定時間である場合、検知領域内に停
止した車両が一旦停止車両等であるとみなしてステップ
S7に進む。
18の出力を監視しており、センサ出力があったとき
に、警報ブザー32を作動し(ステップS8)、さらに
「盗難防止センサの作動」の旨を予め登録されている指
定電話、例えば自治体や警察に携帯電話機15にて通報
する(ステップS9)。
れば、不法投棄現場での車両停止を検知したときに、現
場画像を自動的に一定時間だけ記録するので、その記録
画像から投棄車両のナンバープレートや不法投棄者を特
定することが可能となって、不法投棄者を比較的簡単に
見つけ出すことができる。また、不法投棄車両を検知し
たときに、携帯電話機を介して自治体や警察等に自動的
に通報するので、不法投棄現場に駆けつけることが可能
となり、現場での検挙の可能性が高くなる。さらに、制
御部1を設置場所から持ち運ぼうとしても、制御部1が
約30度以上傾いた時点で警報ブザー32が駆動すると
ともに、自治体や警察等に自動的に通報されるので、盗
難を防止することができる。
で、電源の供給が不要であり、しかも停止車両を検知し
たときにビデオレコーダ12を電源オンとして記録を開
始するので、消費電力が少なくて済むという利点もあ
る。
棄監視に本発明の物体検知システムを適用した例を示し
たが、これに限られることなく、本発明の物体検知シス
テムは、特定家庭用機器(エアコン・テレビ・冷蔵庫・
洗濯機が対象)の不法投棄の監視、あるいは秘匿捜査の
自動監視、重要文化財の監視(壁の落書き防止や器物損
壊の防止)などにも適用できる。
を参照しながら説明する。
部11b、濃淡投影処理部11c、フレームメモリ11
d、クランプ回路11f、AD変換回路11g、画像処
理検知領域設定部11h、及び、ビデオ画像合成部11
iなどによって構成されている。
のデータ格納エリアが設定されている。フレームメモリ
制御部11eは、監視カメラ2からの画像データ(ビデ
オ入力)をクランプ回路11f及びAD変換回路11g
を介して採り込んで、フレームメモリ11dの2フレー
ム分のデータ格納エリアに交互に格納してゆく。フレー
ムメモリ11dに格納された画像データは1フレームご
とに読み出されて濃淡投影処理部11cに順次出力され
る。
たキー操作部16にて指定され、CPU11aから供給
される画像処理検知領域データに応じてビデオ画像合成
部11iに画像処理検知領域を設定する。また、画像処
理検知領域データは濃淡投影処理部11cに供給され
る。
からの画像データ(ビデオ入力)に画像処理検知領域を
設定する。この画像処理検知領域が合成された画像が制
御部1のモニタ17に表示される(図4)。
らの画像データについて、画像処理検知領域設定部11
hにて設定された画像処理検知領域内の濃淡投影処理を
1フレームごとに実行する。具体的には、図5に示すよ
うに、入力画像データの水平方向(V軸への)投影処理
(水平方向に行ごとの濃淡値の総和:Vproj(v) )
と、入力画像データの垂直方向(H軸への)投影処理
(垂直方向に列ごとの濃淡値の総和:Hproj(h) )を
1フレームごとに実行する。
影処理部11c、フレームメモリ11d及びフレームメ
モリ制御部11eなどの各機能部の動作を制御する。
らの濃淡投影データを入力し、水平・垂直方向の走査線
間差分処理と背景更新処理を実施して、検知領域内に停
止物体があるか否かを判定する。これらの各処理を具体
的に説明する。
直方向投影データにおいて、水平方向投影処理の第1走
査線:V0を基準とし、他の走査線(第2走査線以降の
走査線)V1,V2・・Vm-1との差分(V1−V0,V
2−V0・・Vm-1−V0) と、垂直方向投影処理の第1
走査線:H0を基準とし、他の走査線(第2走査線以降
の走査線)H1,H2・・Hn-1との差分(H1−H0,
H2−H0・・Hn-1−H0) とを算出する。この差分演
算は、第1走査線以外の走査線(水平方向走査線:V
1,V2・・Vm-1、垂直方向走査線:H1,H2・・Hn
-1)を基準走査線として同様に行う。次に、求めた各基
準走査線との差分最大値の中から最大値を求める(基準
走査線と他の走査線との差分の最大値)。
行される。
差分処理にて求められる差分の最大値から背景データを
差し引いた差分データ(差分データ=[差分の最大値]
−[背景データ])を求め、その差分データと予め設定
された設定レベルThと比較し、[差分データ]<[設
定レベルTh]のとき、[背景データ]=[基準走査線
と他の走査線との差分の最大値]とする。なお、差分デ
ータは絶対値とする。また、最初(1回目)の更新処理
を行う際の背景データはデフォルト値(差分の最大値に
相当する値)としておく。
タはメモリ部11bに順次記憶・更新されてゆく。
おける基準走査線と他の走査線との差分の最大値、また
は垂直方向投影データにおける基準走査線と他の走査線
との差分の最大値のうち、いずれか一方の最大値と背景
データとの差(差分データ)が前記した設定レベルTh
以上([差分データ]>[設定レベルTh]であるとき
に、検知領域内に停止した車両があると認識する。ここ
で、[差分データ]>[設定レベルTh]となったとき
に、直ぐに停止車両検知と判定してしまうと、検知領域
内で一旦停止した車両などを投棄車両と誤判定してしま
うので、停止車両判定時間(例えば5秒、10秒、15
秒、20秒)が経過するまで停止車両有りの状態が継続
したときに投棄車両検知と判定して、その停止車両検知
信号(制御信号)を図1の制御部1のビデオレコーダ操
作部13及び通報制御部14に供給する。
は、フレーム間差分の手法に対して以下のような利点が
ある。
直方向投影データの背景データとフレーム間との差を計
算して差分の最大値を求め、この最大値が、予め設定さ
れた設定レベル以内であるときに背景を更新する手法で
あり、差分データ([現投影データ]−[背景更新投影
データ])が、[差分データ]<[設定レベル]のとき
に[背景更新投影データ]=[現投影データ]としてい
る。
ーカメラは、電子アイリス機能・逆光補正機能を有して
おり、車両を捕らえるとカメラ画像の全体の明るさが変
化し、車両の通過前後でカメラの背景画像の明るさに差
が生じる場合(例えば元の明るさに戻らない場合)があ
る。従って、背景更新処理をフレーム間で実施した場
合、フレーム内の平均輝度が異なるため、図6に示すよ
うに、車両通過前後で背景画像の明るさが変化してしま
い、誤動作の原因となるという問題がある。
行う手法の場合、同一フレーム内で差分処理を行うの
で、フレーム間の平均輝度の違いは問題とはならず、安
定した背景データの更新を行うことができ、停止車両を
正確に検知することができる。
合、フレーム間の画像差分をとる場合と比較して、画像
処理の処理量・処理速度及び記憶容量(メモリ部11b
の容量)が少なくて済む。従って、制御部1をコンパク
トとにまとめることができ、装置の小型化を達成でき
る。
・走査線間差分処理を水平方向と垂直方向の双方に行っ
ているが、これらの処理は水平方向または垂直方向のい
ずれか一方であっても本発明は実施可能である。
システムによれば、不法投棄現場などの検知領域に車両
等の物体が停止したときに、その停止車両を検知し、検
知領域の映像を自動的に記録するとともに、予め指定さ
れた電話、例えば自治体や警察等に自動的に通報するの
で、車両や特定家庭用機器などの不法投棄を防止するこ
とができる。また、不法投棄者を取り締まることができ
る。
らの画像データを濃淡投影処理法に基づいて画像処理
し、その濃淡投影データの1フレーム内において基準走
査線データと他の走査線データとの差分を順次算出し、
それら差分値の最大値を求め、この最大値を用いて停止
物体の検知情報を得るので、停止物体を正確に検知する
ことができる。また、画像処理の処理量・処理速度及び
記憶容量が少なくて済むので、前記した物体検知システ
ムに本発明の画像処理方法を適用することにより、シス
テムを構成する機能部(制御部)を小型化することがで
きる。
る。
ートである。
を示すブロック図である。
示す図である。
ある。
分処理による差分値とを併記して示すグラフである。
Claims (3)
- 【請求項1】 検知領域の画像を撮像するカメラと、カ
メラにて撮像された画像データに基づいて検知領域内に
停止した物体を検知する画像処理部と、停止物体が検知
されたときにカメラからの画像データを記録する画像記
録部と、停止物体が検知されたときに、その旨を予め指
定された場所に通報する通報手段を備えていることを特
徴とする物体検知システム。 - 【請求項2】 カメラにて撮像された画像データから検
知領域内に停止した物体を検知するのに用いられる画像
処理方法であって、 カメラからの画像データを濃淡投影処理法に基づいて画
像処理し、その濃淡投影データの1フレーム内において
基準走査線データと他の走査線データとの差分を順次算
出し、それら差分値の最大値を求め、この最大値を用い
て停止物体の検知情報を得ることを特徴とする画像処理
方法。 - 【請求項3】 請求項1記載の物体検知システムにおい
て、画像処理部で実行する画像処理に、請求項2記載の
画像処理方法を用いることを特徴とする物体検知システ
ム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001137722A JP3679346B2 (ja) | 2001-05-08 | 2001-05-08 | 物体検知システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001137722A JP3679346B2 (ja) | 2001-05-08 | 2001-05-08 | 物体検知システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002334386A true JP2002334386A (ja) | 2002-11-22 |
JP3679346B2 JP3679346B2 (ja) | 2005-08-03 |
Family
ID=18984782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001137722A Expired - Fee Related JP3679346B2 (ja) | 2001-05-08 | 2001-05-08 | 物体検知システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3679346B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005310052A (ja) * | 2004-04-26 | 2005-11-04 | Ntt Data Corp | 不法投棄箇所検知装置、方法、およびプログラム |
CN104504730A (zh) * | 2014-12-19 | 2015-04-08 | 长安大学 | 一种对停放车辆及抛落物的区分方法 |
WO2019198436A1 (ja) * | 2018-04-10 | 2019-10-17 | 株式会社クボタ | 作業機の監視システム |
-
2001
- 2001-05-08 JP JP2001137722A patent/JP3679346B2/ja not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005310052A (ja) * | 2004-04-26 | 2005-11-04 | Ntt Data Corp | 不法投棄箇所検知装置、方法、およびプログラム |
JP4512778B2 (ja) * | 2004-04-26 | 2010-07-28 | 株式会社エヌ・ティ・ティ・データ | 不法投棄箇所検知装置、方法、およびプログラム |
CN104504730A (zh) * | 2014-12-19 | 2015-04-08 | 长安大学 | 一种对停放车辆及抛落物的区分方法 |
CN104504730B (zh) * | 2014-12-19 | 2017-07-11 | 长安大学 | 一种对停放车辆及抛落物的区分方法 |
WO2019198436A1 (ja) * | 2018-04-10 | 2019-10-17 | 株式会社クボタ | 作業機の監視システム |
JP2019182212A (ja) * | 2018-04-10 | 2019-10-24 | 株式会社クボタ | 作業機の監視システム |
US11954947B2 (en) | 2018-04-10 | 2024-04-09 | Kubota Corporation | Monitoring system for working machine |
Also Published As
Publication number | Publication date |
---|---|
JP3679346B2 (ja) | 2005-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3873554B2 (ja) | 監視装置、監視プログラムが記録された記録媒体 | |
EP0967584B1 (en) | Automatic video monitoring system | |
US9041800B2 (en) | Confined motion detection for pan-tilt cameras employing motion detection and autonomous motion tracking | |
CN108275114B (zh) | 一种油箱防盗监控系统 | |
KR100696728B1 (ko) | 감시정보송신장치 및 감시정보송신방법 | |
US8810654B2 (en) | Image pickup apparatus, control method therefor, and program for implementing the method | |
CN110211316B (zh) | 一种监控预警方法和系统 | |
JP2003032668A (ja) | 監視用デジタルカメラ | |
JP4260325B2 (ja) | 監視カメラシステム | |
JP3679346B2 (ja) | 物体検知システム | |
JP3894122B2 (ja) | 物体検知装置および方法 | |
KR20010008215A (ko) | 실시간동영상원격감시제어시스템 및 방법과 그인터페이스장치 | |
JP3986193B2 (ja) | 画像センサ、及び、画像監視システム | |
JP2005025313A (ja) | 滞留者検知システム | |
JP2003234848A (ja) | 携帯電話機、及び携帯電話機を利用した遠隔監視システム、及び遠隔監視方法 | |
JP2000222646A (ja) | 監視カメラシステム | |
JP3886246B2 (ja) | 画像監視システム | |
JP2008287448A (ja) | 侵入者検知装置 | |
KR20010100434A (ko) | 영상 감시 보안 시스템 및 그 방법 | |
JP3890155B2 (ja) | 画像センサ | |
CN201054171Y (zh) | 家庭防盗报警装置 | |
JP2004007174A (ja) | 画像処理システム、画像処理方法、画像処理プログラム | |
JP4445309B2 (ja) | 監視装置、監視システム、動き検知装置及び撮影装置 | |
JP2004015603A (ja) | 物体検知システム | |
JP3604309B2 (ja) | 放流警報装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050512 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110520 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |