JP2006079594A - 移動物体検出装置及び方法 - Google Patents
移動物体検出装置及び方法 Download PDFInfo
- Publication number
- JP2006079594A JP2006079594A JP2005222884A JP2005222884A JP2006079594A JP 2006079594 A JP2006079594 A JP 2006079594A JP 2005222884 A JP2005222884 A JP 2005222884A JP 2005222884 A JP2005222884 A JP 2005222884A JP 2006079594 A JP2006079594 A JP 2006079594A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- past
- vector
- motion
- moving object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】入力画像から動きベクトルを算出した後、各動きベクトルを個別にかつ時間的に積算し、動きベクトル毎の積算値及び積算回数をそれぞれ算出すると共に、各動きベクトルについて、個別に時間的な一様性をそれぞれ算出し、動きベクトル毎の積算値及び積算回数並びに時間的な一様性に基づいて、各動きベクトルについて、当該動きベクトルが移動物体のものであるか否かを判断するようにした。
【選択図】 図8
Description
(1−1)第1の実施の形態による移動物体検出装置の構成
図1において、40は全体として映像監視システム等の監視システムに適用される第1の実施の形態による移動物体検出装置を示し、図示しない監視カメラから供給される画像情報を画像入力部4を介して画像データD20として相関演算ブロック配置部42及び過去画像蓄積部43に入力する。
以上の構成において、この移動物体検出装置40では、入力する画像データD20に基づき検出される各々の動きベクトルを個別にかつ時間的に積算してその積算値及び積算回数を算出する一方、これら各々の動きベクトルの一様性を検出し、各動きベクトルの積算値及び積算回数並びに一様性に基づいて移動物体を検出する。
(2−1)第2の実施の形態による移動物体検出装置の構成
図1との対応部分に同一符号を付して示す図17は、第2の実施の形態による移動物体検出装置を示し、動きベクトル一様性算出部71における動きベクトルの時間的な一様性の算出手法と、これに伴う移動物体検出部72における移動物体の検出手法が異なる点を除いて第1の実施の形態による移動物体検出装置40(図1)と同様に構成されている。
以上の構成において、この移動物体検出装置70では、あるフレームnでの動きベクトルVnと、その1つの前のフレームn−1での動きベクトルVn−1とのなす角に基づいて各動きベクトルの変化量を算出し、当該算出した変化量に基づいて、各動きベクトルの時間的な一様性を算出する。
なお上述の実施の形態においては、本発明を、映像監視システム等の監視システムに適用される移動物体検出装置40、70に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステムにおける移動物体の検出装置として広く適用することができる。
Claims (16)
- 入力画像から動きベクトルを算出する動きベクトル算出手段と、
各上記動きベクトルを個別にかつ時間的に積算し、上記動きベクトル毎の積算値及び積算回数をそれぞれ算出する動きベクトル積算手段と、
各上記動きベクトルについて、個別に時間的な一様性をそれぞれ算出する動きベクトル一様性算出手段と、
上記動きベクトル積算手段により算出された上記動きベクトル毎の上記積算値及び上記積算回数並びに上記動きベクトル一様性算出手段により算出された上記動きベクトル毎の時間的な一様性に基づいて、各上記動きベクトルについて、当該動きベクトルが移動物体のものであるか否かを判定する移動物体検出手段と
を具えることを特徴とする移動物体検出装置。 - 上記動きベクトル算出手段は、
過去の上記入力画像を蓄積する過去画像蓄積手段と、
現在の上記入力画像に複数の領域を配置し、当該領域ごとに上記過去画像蓄積手段から読み出した上記過去の入力画像との間で相関演算を実行するようにして、上記動きベクトルを算出する相関演算手段と
を具え、
上記相関演算手段は、
各上記領域を、常に一定位置となるようにそれぞれ配置する
ことを特徴とする請求項1に記載の移動物体検出装置。 - 上記動きベクトル積算手段は、
各上記動きベクトルの過去の上記積算値及び上記積算回数を、それぞれ当該動きベクトルの直前の位置と対応付けて蓄積する積算値蓄積手段と、
上記積算値蓄積手段に蓄積された各上記動きベクトルの上記積算値及び上記積算回数を、現在の上記動きベクトルの位置から当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置について、過去の動きベクトルと現在の動きベクトルの差分が最小のものを1つ選択し、又は過去の動きベクトル積算値と現在の動きベクトルの内積が最大のものを選択して更新する積算値更新手段と
を具えることを特徴とする請求項1に記載の移動物体検出装置。 - 上記積算値更新手段は、
過去の上記動きベクトルを蓄積する過去ベクトル蓄積手段を具え、
上記積算値更新手段は、
上記積算値蓄積手段に蓄積された各上記動きベクトルの上記積算値及び上記積算回数のうち、上記過去ベクトル蓄積手段に蓄積された過去の上記動きベクトルと、上記動きベクトル算出手段により算出された現在の上記動きベクトルとに基づいて動きがないと判定される上記位置と対応付けられた上記動きベクトルの上記積算値及び上記積算回数をリセットする
ことを特徴とする請求項3に記載の移動物体検出装置。 - 上記動きベクトル一様性算出手段は、
上記動きベクトルの変化量を算出する動きベクトル変化量算出手段と、
過去の上記動きベクトルの上記時間的な一様性を表す一様性データを蓄積する一様性データ蓄積手段と、
上記一様性データ蓄積手段に蓄積された各上記動きベクトルの上記一様性データを、上記動きベクトル変化量算出手段により算出された上記動きベクトルの上記変化量と、現在の当該動きベクトルの位置から当該動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置と対応付けられた当該動きベクトルの前回までの上記時間的な一様性データとを用いて更新するようにして、上記動きベクトル毎の上記時間的な一様性をそれぞれ算出する一様性データ更新手段と
を具えることを特徴とする請求項1に記載の移動物体検出装置。 - 上記動きベクトル一様性算出手段は、
過去の上記動きベクトルを蓄積する過去ベクトル蓄積手段を具え、
上記一様性データ更新手段は、
上記一様性データ蓄積手段に蓄積された各上記動きベクトルの上記一様性データのうち、上記過去ベクトル蓄積手段に蓄積された過去の上記動きベクトルと、上記動きベクトル算出手段により算出された現在の上記動きベクトルとに基づいて動きがないと判定される上記位置と対応付けられた上記動きベクトルの上記一様性データをリセットする
ことを特徴とする請求項5に記載の移動物体検出装置。 - 上記動きベクトル一様性算出手段は、
過去の上記動きベクトルを蓄積する過去ベクトル蓄積手段を具え、
上記ベクトル変化量算出手段は、
現在の上記動きベクトルの位置から当該動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置と対応付けられた当該動きベクトルの上記過去の動きベクトルを上記過去ベクトル蓄積手段から読み出し、読み出した上記過去の動きベクトルと上記現在の動きベクトルとの差分ベクトルを求め、当該差分ベクトルのノルムと上記現在の動きベクトルのノルムとに基づいて上記動きベクトルの上記変化量を求める
ことを特徴とする請求項5に記載の移動物体検出装置。 - 上記動きベクトル一様性算出手段は、
過去の上記動きベクトルを蓄積する過去ベクトル蓄積手段を具え、
上記ベクトル変化量算出手段は、
現在の上記動きベクトルの位置から当該動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置と対応付けられた当該動きベクトルの上記過去の動きベクトルを上記過去ベクトル蓄積手段から読み出し、読み出した上記過去の動きベクトルと上記現在の動きベクトルとがなす角度に基づいて上記動きベクトルの上記変化量を求める
ことを特徴とする請求項5に記載の移動物体検出装置。 - 入力画像から動きベクトルを算出する第1のステップと、
各上記動きベクトルを個別にかつ時間的に積算し、上記動きベクトル毎の積算値及び積算回数をそれぞれ算出すると共に、各上記動きベクトルについて、個別に時間的な一様性をそれぞれ算出する第2のステップと、
上記動きベクトル毎の上記積算値及び上記積算回数並びに上記時間的な一様性に基づいて、各上記動きベクトルについて、当該動きベクトルが移動物体のものであるか否かを判定する第3のステップと
を具えることを特徴とする移動物体検出方法。 - 上記第1のステップは、
過去の上記入力画像を蓄積する入力画像蓄積ステップと、
現在の上記入力画像に複数の領域を配置すると共に、当該領域ごとに上記過去の入力画像との間で相関演算を実行するようにして、上記動きベクトルを算出する相関演算ステップと
を具え、
上記相関演算ステップでは、
各上記領域を、常に一定位置となるようにそれぞれ配置する
ことを特徴とする請求項9に記載の移動物体検出方法。 - 上記第2のステップは、
各上記動きベクトルの過去の上記積算値及び上記積算回数を、それぞれ当該動きベクトルの直前の位置と対応付けて蓄積する積算値蓄積ステップと、
上記積算値蓄積ステップにおいて蓄積した各上記動きベクトルの上記積算値及び上記積算回数を、現在の上記動きベクトルの位置から当該動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置と対応付けられた当該動きベクトルの前回までの上記積算値及び上記積算回数と、現在の当該動きベクトルの位置及び大きさとを用いて更新するようにして、上記動きベクトル毎の上記積算値及び上記積算回数をそれぞれ算出する積算値更新ステップと
を具えることを特徴とする請求項9に記載の移動物体検出方法。 - 上記第2のステップは、
過去の上記動きベクトルを蓄積する過去ベクトル蓄積ステップを具え、
上記積算値更新ステップでは、
上記積算値蓄積ステップにおいて蓄積した各上記動きベクトルの上記積算値及び上記積算回数のうち、上記過去ベクトル蓄積ステップにおいて蓄積した過去の上記動きベクトルと、上記第1のステップにおいて算出した現在の上記動きベクトルとに基づいて動きがないと判定される上記位置と対応付けられた上記動きベクトルの上記積算値及び上記積算回数をリセットする
ことを特徴とする請求項11に記載の移動物体検出方法。 - 上記第2のステップは、
過去の上記動きベクトルの上記時間的な一様性を表す一様性データを蓄積する一様性データ蓄積ステップと、
上記動きベクトルの変化量を算出する動きベクトル変化量算出ステップと、
上記一様性データ蓄積ステップにおいて蓄積された各上記動きベクトルの上記一様性データを、上記動きベクトル変化量算出ステップにおいて算出した上記動きベクトルの上記変化量と、現在の当該動きベクトルの位置から当該動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置と対応付けられた当該動きベクトルの前回までの上記時間的な一様性データとを用いて更新するようにして、上記動きベクトル毎の上記時間的な一様性をそれぞれ算出する一様性データ更新ステップと
を具えることを特徴とする請求項9に記載の移動物体検出方法。 - 上記第2のステップは、
過去の上記動きベクトルを蓄積する過去ベクトル蓄積ステップを具え、
上記一様性データ更新ステップでは、
上記一様性データ蓄積ステップにおいて蓄積した各上記動きベクトルの上記一様性データのうち、上記過去ベクトル蓄積ステップにおいて蓄積した過去の上記動きベクトルと、上記第1のステップにおいて算出した現在の上記動きベクトルとに基づいて動きがないと判定される上記位置と対応付けられた上記動きベクトルの上記一様性データをリセットする
ことを特徴とする請求項13に記載の移動物体検出方法。 - 上記第2のステップは、
過去の上記動きベクトルを蓄積する過去ベクトル蓄積ステップを具え、
上記ベクトル変化量算出ステップでは、
現在の上記動きベクトルの位置から当該動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置と対応付けられた当該動きベクトルの上記過去の動きベクトルと、上記現在の動きベクトルとの差分ベクトルを求め、当該差分ベクトルのノルムと上記現在の動きベクトルのノルムとに基づいて上記動きベクトルの上記変化量を求める
ことを特徴とする請求項13に記載の移動物体検出方法。 - 上記第2のステップは、
過去の上記動きベクトルを蓄積する過去ベクトル蓄積ステップを具え、
上記ベクトル変化量算出ステップでは、
現在の上記動きベクトルの位置から当該動きベクトルと逆向きに当該動きベクトルの大きさだけ空間的に離れた位置又はその近傍の位置と対応付けられた当該動きベクトルの上記過去の動きベクトルと、上記現在の動きベクトルとがなす角度に基づいて上記動きベクトルの上記変化量を求める
ことを特徴とする請求項13に記載の移動物体検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005222884A JP4662142B2 (ja) | 2004-08-13 | 2005-08-01 | 移動物体検出装置及び方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004236062 | 2004-08-13 | ||
JP2005222884A JP4662142B2 (ja) | 2004-08-13 | 2005-08-01 | 移動物体検出装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006079594A true JP2006079594A (ja) | 2006-03-23 |
JP4662142B2 JP4662142B2 (ja) | 2011-03-30 |
Family
ID=36158957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005222884A Expired - Fee Related JP4662142B2 (ja) | 2004-08-13 | 2005-08-01 | 移動物体検出装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4662142B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008016903A (ja) * | 2006-07-03 | 2008-01-24 | Nippon Telegr & Teleph Corp <Ntt> | 動きベクトル信頼度測定方法,動フレーム判定方法,動画像符号化方法,およびそれらの装置,並びにそれらのプログラムおよびその記録媒体 |
JP2008160462A (ja) * | 2006-12-22 | 2008-07-10 | Matsushita Electric Works Ltd | 撮像装置 |
WO2011122200A1 (ja) * | 2010-03-29 | 2011-10-06 | ソニー株式会社 | データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム |
JP2012105631A (ja) * | 2010-10-19 | 2012-06-07 | Sony Corp | 画像処理装置および方法、並びに、プログラム |
WO2012160657A1 (ja) * | 2011-05-24 | 2012-11-29 | 富士通株式会社 | 物体接近検知装置、物体接近検知方法、及びプログラム |
JP2016027826A (ja) * | 2010-10-19 | 2016-02-25 | ソニー株式会社 | 画像処理装置および方法、並びに、プログラム |
US9342896B2 (en) | 2008-06-27 | 2016-05-17 | Sony Corporation | Image processing apparatus, image apparatus, image processing method, and program for analyzing an input image of a camera |
JP2016208087A (ja) * | 2015-04-15 | 2016-12-08 | 三菱電機株式会社 | 移動物体検出装置、映像復号装置および移動物体検出方法 |
WO2019124632A1 (ko) * | 2017-12-20 | 2019-06-27 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 객체 배회 감지 방법 |
WO2019124634A1 (ko) * | 2017-12-20 | 2019-06-27 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 객체 추적 방법 |
WO2019124633A1 (ko) * | 2017-12-20 | 2019-06-27 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 객체 월담 감지 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000059796A (ja) * | 1998-06-03 | 2000-02-25 | Matsushita Electric Ind Co Ltd | 動き検出装置及び動き検出方法及び動き検出のプログラムを記録した記録媒体 |
JP2002077898A (ja) * | 2000-08-23 | 2002-03-15 | Hitachi Ltd | 移動物体検出システム |
JP2003169319A (ja) * | 2001-11-30 | 2003-06-13 | Mitsubishi Electric Corp | 映像監視装置 |
JP2005018655A (ja) * | 2003-06-27 | 2005-01-20 | Nissan Motor Co Ltd | 運転者行動推定装置 |
JP4623368B2 (ja) * | 2005-03-16 | 2011-02-02 | ソニー株式会社 | 移動物体検出装置、移動物体検出方法及びプログラム |
-
2005
- 2005-08-01 JP JP2005222884A patent/JP4662142B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000059796A (ja) * | 1998-06-03 | 2000-02-25 | Matsushita Electric Ind Co Ltd | 動き検出装置及び動き検出方法及び動き検出のプログラムを記録した記録媒体 |
JP2002077898A (ja) * | 2000-08-23 | 2002-03-15 | Hitachi Ltd | 移動物体検出システム |
JP2003169319A (ja) * | 2001-11-30 | 2003-06-13 | Mitsubishi Electric Corp | 映像監視装置 |
JP2005018655A (ja) * | 2003-06-27 | 2005-01-20 | Nissan Motor Co Ltd | 運転者行動推定装置 |
JP4623368B2 (ja) * | 2005-03-16 | 2011-02-02 | ソニー株式会社 | 移動物体検出装置、移動物体検出方法及びプログラム |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008016903A (ja) * | 2006-07-03 | 2008-01-24 | Nippon Telegr & Teleph Corp <Ntt> | 動きベクトル信頼度測定方法,動フレーム判定方法,動画像符号化方法,およびそれらの装置,並びにそれらのプログラムおよびその記録媒体 |
JP2008160462A (ja) * | 2006-12-22 | 2008-07-10 | Matsushita Electric Works Ltd | 撮像装置 |
US9342896B2 (en) | 2008-06-27 | 2016-05-17 | Sony Corporation | Image processing apparatus, image apparatus, image processing method, and program for analyzing an input image of a camera |
US9786052B2 (en) | 2010-03-29 | 2017-10-10 | Sony Corporation | Image processing apparatus and method for evaluating objects in an image |
WO2011122200A1 (ja) * | 2010-03-29 | 2011-10-06 | ソニー株式会社 | データ処理装置およびデータ処理方法、画像処理装置および方法、並びに、プログラム |
CN102906789A (zh) * | 2010-03-29 | 2013-01-30 | 索尼公司 | 数据处理装置、数据处理方法、图像处理装置和方法以及程序 |
JP5772817B2 (ja) * | 2010-03-29 | 2015-09-02 | ソニー株式会社 | 画像処理装置および方法、並びに、プログラム |
US10692223B2 (en) | 2010-03-29 | 2020-06-23 | Sony Corporation | Image processing apparatus and method for evaluating objects in an image |
US10311582B2 (en) | 2010-03-29 | 2019-06-04 | Sony Corporation | Image processing apparatus and method for evaluating objects in an image |
JP2012105631A (ja) * | 2010-10-19 | 2012-06-07 | Sony Corp | 画像処理装置および方法、並びに、プログラム |
JP2016027826A (ja) * | 2010-10-19 | 2016-02-25 | ソニー株式会社 | 画像処理装置および方法、並びに、プログラム |
WO2012160657A1 (ja) * | 2011-05-24 | 2012-11-29 | 富士通株式会社 | 物体接近検知装置、物体接近検知方法、及びプログラム |
US9183448B2 (en) | 2011-05-24 | 2015-11-10 | Fujitsu Limited | Approaching-object detector, approaching object detecting method, and recording medium storing its program |
JP5776769B2 (ja) * | 2011-05-24 | 2015-09-09 | 富士通株式会社 | 物体接近検知装置、物体接近検知方法、及びプログラム |
JP2016208087A (ja) * | 2015-04-15 | 2016-12-08 | 三菱電機株式会社 | 移動物体検出装置、映像復号装置および移動物体検出方法 |
WO2019124632A1 (ko) * | 2017-12-20 | 2019-06-27 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 객체 배회 감지 방법 |
WO2019124634A1 (ko) * | 2017-12-20 | 2019-06-27 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 객체 추적 방법 |
WO2019124633A1 (ko) * | 2017-12-20 | 2019-06-27 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 객체 월담 감지 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP4662142B2 (ja) | 2011-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4662142B2 (ja) | 移動物体検出装置及び方法 | |
JP4623368B2 (ja) | 移動物体検出装置、移動物体検出方法及びプログラム | |
US10922527B2 (en) | Face spatial positioning method, face spatial positioning system, and non-transitory computer-readable recording medium | |
KR101071352B1 (ko) | 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법 | |
JP5102410B2 (ja) | 移動体検出装置および移動体検出方法 | |
JP4631096B2 (ja) | 車両周辺監視装置 | |
KR101299237B1 (ko) | 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법 | |
US10853950B2 (en) | Moving object detection apparatus, moving object detection method and program | |
US9305217B2 (en) | Object tracking system using robot and object tracking method using a robot | |
US9761012B2 (en) | Object tracking device, object tracking method, and computer-readable medium | |
JP4909991B2 (ja) | フレーム毎かつピクセル毎コンピュータ映像用カメラフレーム合致モデル生成グラフィックス画像 | |
KR20150027291A (ko) | 광류 추적 방법 및 장치 | |
US20050052533A1 (en) | Object tracking method and object tracking apparatus | |
CN105654031B (zh) | 用于物体检测的系统和方法 | |
JP2003169319A (ja) | 映像監視装置 | |
KR101051389B1 (ko) | 적응적 배경 기반의 객체 검출 및 추적 장치 및 방법 | |
JP2013037406A (ja) | 身長推定装置、身長推定方法、及び身長推定プログラム | |
WO2010113417A1 (ja) | 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム | |
CN111627049B (zh) | 高空抛物的确定方法、装置、存储介质及处理器 | |
JP6336935B2 (ja) | 移動物体追跡装置 | |
JPH1093957A (ja) | 移動物体検出方法、装置、システム、および記憶媒体 | |
KR100615672B1 (ko) | Xy축 투영그래프를 이용한 화재 감시시스템 및 이를이용한 화재 감시방법과 화재 감시방법이 구현된 컴퓨터판독가능 기록매체 | |
KR100332639B1 (ko) | 라인 매칭 기법을 이용한 이동 물체 검출 방법 | |
KR101070448B1 (ko) | 표적 추적 방법 및 그 장치 | |
Moulay et al. | A Novel Background Subtraction Algorithm for Person Tracking Based on K-NN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100805 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100924 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101209 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101222 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140114 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |