JP2010020808A - 移動物体認識方法及び装置 - Google Patents
移動物体認識方法及び装置 Download PDFInfo
- Publication number
- JP2010020808A JP2010020808A JP2009252293A JP2009252293A JP2010020808A JP 2010020808 A JP2010020808 A JP 2010020808A JP 2009252293 A JP2009252293 A JP 2009252293A JP 2009252293 A JP2009252293 A JP 2009252293A JP 2010020808 A JP2010020808 A JP 2010020808A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- block
- motion vector
- blocks
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
【解決手段】動きベクトル算出部37において、前フレーム画像を、複数ピクセルからなるブロックに分割したときの、移動物体の一部が含まれる各ブロックについて、現フレーム画像内で、該ブロックと同一形状で類似したものを見つけて、該ブロックの動きベクトルを求め、該移動物体に含まれる複数のブロックの各動きベクトルの代表値を、該移動物体の動きベクトルと決定する。
【選択図】図16
Description
電子カメラで撮影されたフレーム画像を、複数ピクセルからなるブロックに分割し、
移動物体の一部が含まれる各ブロックについて、次フレーム画像内で、該ブロックと同一形状で類似したものを見つけて、該ブロックの動きベクトルを求め、
該移動物体に含まれる複数のブロックの各動きベクトルの代表値を、該移動物体の動きベクトルと決定する。
撮影された前フレーム画像及び現フレーム画像が格納される画像記憶部(21)と、
該前フレーム画像を、複数ピクセルからなるブロックに分割したときの、移動物体の一部が含まれる各ブロックについて、該現フレーム画像内で、該ブロックと同一形状で類似したものを見つけて、該ブロックの動きベクトルを求め、該移動物体に含まれる複数のブロックの各動きベクトルの代表値を、該移動物体の動きベクトルと決定する動きベクトル算出部(37)とを有する。
電子カメラで撮影されたフレーム画像を、複数ピクセルからなるブロックに分割し、同一移動物体に属するブロックに同一識別符号を持たせたオブジェクトマップを作成し、
時間的に前後のフレーム画像に基づいて、各移動物体の動きベクトルを求める方法であって、
現フレーム画像について移動物体が存在すると判定されたブロックの各々が、前フレーム画像に存在する移動物体のいずれかの識別符号を持っていると仮定したときの評価関数の値の大小関係に基づいて、該存在ブロックに付与すべき識別符号を決定する。
撮影されたフレーム画像が格納される画像記憶部と、
該フレーム画像を複数ピクセルからなるブロックに分割し、ブロックに移動物体が存在するかどうかを判定し、同一移動物体に属するブロックに同一識別符号を持たせたオブジェクトマップを作成するオブジェクトマップ作成部と、
該画像記憶部に格納された時間的に前後のフレーム画像に基づいて、各移動物体の動きベクトルを求める動きベクトル算出部と、
現フレーム画像について移動物体が存在すると判定されたブロックの各々が、前フレーム画像に存在する移動物体のいずれかの識別符号を持っていると仮定したときの評価関数の値の大小関係に基づいて、該存在ブロックに付与すべき識別符号を決定するID更新部と、
を有する。
状態Nは最終状態であり、次の状態には遷移できず、aNN=1
j=i又はj=i+1に対し、
bij(0)+bij(1)+・・・+bij(12)=1
例えば初期t=0に状態1である確率が1であり、時刻t=1、2の観測系列{2,5}が生ずる確率Pは、時刻t=1、2の状態系列{1,1}、{1,2}、{2,2}、{2,3}の各々について観測系列{2,5}を出力する確率の総和であり、次式で表される。
+a11・b11(2)・a12・b12(5)
+a12・b12(2)・a22・b22(5)
+a12・b12(2)・a23・b23(5)
初期t=0に状態iにいる確率をπiと表記する。HMMモデルは、初期状態の確率分布π={π1,π2,π3,,,,,πN}と、上記確率aij及びbij(k)の集合とにより定まる。これらのパラメータをλと表記する。
α(1,1)=π1・b11
2≦j≦Nの各jに対し、
α(j,1)=π(j-1)・b(j-1)j+πj・bjj
ステップ2:t=1,2,・・・,T−1の各々について順次
1≦j≦Nの各jに対し、
i=1〜6の各々についてaii=0.5
a77=1.0とし、bijの初期値を、
i=1〜6、j=i+1、k=0〜2の各々について、
bii(k)=0.10、bij(k)=0.10
i=7、k=0〜2の各々について、
bii(k)=0.10
i=1〜6、j=i+1、k=3〜12の各々について、
bii(k)=0.07、bij(k)=0.07
i=7、k=0〜2の各々について、
bii(k)=0.07とした。また、初期t=0での状態確率分布を、
π1=1、i=2〜7に対しπi= 0
とした、さらに、以下の表2のNo1〜10の衝突事故観測系列を学習系列とした。この学習系列はいずれも、図5又は図6に示すような同一車線上の同一方向の車間の衝突に関するものである。
上記同様にして、次の2つの動作パターンに対するモデルパラメータλ2及びλ3を決定した。
次の表7のNo1〜10の観測系列をこの動作の学習系列とした。
P(O1|λ1)/P(O2|λ1)=EXP(11.2)
P(O1|λ1)/P(O3|λ1)=EXP(29.7)
と確率比が大きく、動作分離性能が高いことがわかる。
接近(状態3):観測量1又は2
急接近(状態4):観測量3
衝突の瞬間(状態5):観測量0
反動(状態6):観測量7又は8
停止(状態7):観測量0
ブロックB2と隣接する9ブロックについて、ID=1を持ったブロックの数N1が多いほどブロックB2が移動物体M1のブロックである確度が高いと考えられる。そこで、ブロックB2のIDが1であることを評価する要素UN(1)を例えば次式で表す。
ここに、αは正の定数である。UN(1)の値が小さいほどブロックB2が移動物体M1に属する確度が高いと言える。
ここにN2は、ブロックB2と隣接する9ブロックのうち、ID=2を持ったブロックの数である。
図30(A)は大略、図29中のオブジェクトマップQ1とQ2とを重ね合わせ、かつ、ハッチングを削除したものである。図中、MV1は移動物体M1の動きベクトルであり、点線はBL1(t−1)をMVだけ平行移動させたものである。
ここに、βは正の定数である。US(1)の値が小さいほどブロックB2が移動物体M1に属する確度が高いと言える。
ここにS2は、図31(A)に示す如く、ブロックB2を−MV2だけ平行移動させて得られる判定枠B22内のID=2の個数(右下がり斜線部面積)である。MV2は、移動物体M2の動きベクトルである。
図30(B)のブロックB2と判定枠B21とに対応した図29のフレーム画像F2及びF1中の局所画像の相関が強いほど、ブロックB2がID=1である確度が高いと言える。図31(B)に示すB2F及びB21Fはそれぞれ、図30中のブロックB2及び判定枠B21に対応したフレーム画像F2及びF1中の局所画像を示す。
ここに、γは正の定数であり,B21F(i,j)及びB2F(i,j)はそれぞれ局所画像B2F及びB21F内の第i行第j列の画素値であり、Σはi=1〜8及びj=1〜8についての総和(ブロック内全画素についての総和)を意味している。
ここに、B22F(i,j)は局所画像B22F内の第i行第j列の画素値であり、局所画像B22Fは図31(A)中の判定枠B22に対応したフレーム画像F1中の局所画像である。
U(1)=UN(1)+US(1)+UD(1)
と、
U(2)=UN(2)+US(2)+UD(2)
との大小関係に基づいて、ブロックB2のIDを決定する。すなわち、
U12=U(1)−U(2)
の値が負であればID=1と決定し、正であればID2=2と決定する。U(1)及びU(2)の最小値はいずれも0である。U12の値が小さいほど、ブロックB2がID=1である確度が高くなる。
UT=U(BK1,ID1)+U(BK2,ID2)+・・・+U(BKp,IDp)を計算する。この値が最小になるID1〜IDpを、繰り返し計算により求め、求めたものをID不明ブロックBK1〜BKpのIDと決定する。この繰り返し計算において、上記確率的緩和アルゴリズム及びシミュレーティッドアニーリング法を適用する。
UT=U(BK1,ID1)+U(BK2,ID2)+・・・+U(BKp,IDp)
を計算する。
(S6、S7)j≦mであればブロックBKiのIDiの値を更新してステップS2へ戻り、そうでなければ次のステップS6へ進む。
(S9)i≦pであればステップS2へ戻り、そうでなければ処理を終了する。
20、20A〜20C 画像認識装置
21 画像メモリ
22、22A 移動物体認識部
23、24 位置レジスタアレイ
25 相対距離レジスタアレイ
26、26A V/D計算部
27 V/D時系列メモリ
27A O時系列メモリ
28 認識開始判定部
29 V/D時系列切り出し部
29A 観測系列切り出し部
30、30A ベクトル回転部
31 量子化部
32 類似度計算部
33 衝突事故判定部
M1〜M6 車
34 背景画像生成部
36 ID生成/消滅部
37 動きベクトル算出部
38 移動物体更新部
39 移動物体分割部
40 移動物体間距離算出部
41、41A 画像処理装置
42 デコーダ
43、43A シフトレジスタ
44、44A ニューラルネットワーク
45 コンパレータ
46 部分系列観測確率算出部
47 不明ID決定部
B1、B2、B3 ブロック
F1、F2 フレーム画像
Q1〜Q3 オブジェクトマップ
MV1、MV2 動きベクトル
B21、B22 判定枠
B21F、B2F 局所画像
Claims (9)
- 電子カメラで撮影されたフレーム画像を、複数ピクセルからなるブロックに分割し、
移動物体の一部が含まれる各ブロックについて、次フレーム画像内で、該ブロックと同一形状で類似したものを見つけて、該ブロックの動きベクトルを求め、
該移動物体に含まれる複数のブロックの各動きベクトルの代表値を、該移動物体の動きベクトルと決定する、
ことを特徴とする移動物体認識方法。 - 上記フレーム画像に入口スリット及び出口スリットを設定し、
該入口スリット内に移動物体が存在するかどうかを上記ブロックの単位で判定し、
移動物体が存在すると判定された、該入口スリット内のブロックが、識別符号を持ったブロックと隣接していない場合には、該ブロックに新たな識別符号を付し、
移動物体が存在すると判定された隣接ブロックに同一識別符号を付し、
該出口スリットを通り抜けた移動物体の識別符号を消滅させる、
ことを特徴とする請求項1記載の移動物体認識方法。 - 撮影された前フレーム画像及び現フレーム画像が格納される画像記憶部と、
該前フレーム画像を、複数ピクセルからなるブロックに分割したときの、移動物体の一部が含まれる各ブロックについて、該現フレーム画像内で、該ブロックと同一形状で類似したものを見つけて、該ブロックの動きベクトルを求め、該移動物体に含まれる複数のブロックの各動きベクトルの代表値を、該移動物体の動きベクトルと決定する動きベクトル算出部と、
を有することを特徴とする移動物体認識装置。 - 同一移動物体に属する上記ブロックに同一識別符号を持たせたオブジェクトマップが格納されるブロック情報記憶部と、
該オブジェクトマップに含まれる移動物体をその上記動きベクトルだけ平行移動させ、平行移動した該移動物体をその周囲のブロックまで拡大した範囲について、次フレーム画像に移動物体が存在するかどうかをブロック毎に判定し、存在すると判定されたブロックに、該平行移動前の該移動物体のブロックと同じ識別符号を付加することにより、該次フレーム画像に対応したオブジェクトマップを生成する移動物体更新部と、
をさらに有することを特徴とする請求項3記載の移動物体認識装置。 - 電子カメラで撮影されたフレーム画像を、複数ピクセルからなるブロックに分割し、同一移動物体に属するブロックに同一識別符号を持たせたオブジェクトマップを作成し、
時間的に前後のフレーム画像に基づいて、各移動物体の動きベクトルを求める移動物体認識方法であって、
現フレーム画像について移動物体が存在すると判定されたブロックの各々が、前フレーム画像に存在する移動物体のいずれかの識別符号を持っていると仮定したときの評価関数の値の大小関係に基づいて、該存在ブロックに付与すべき識別符号を決定する、
ことを特徴とする移動物体認識方法。 - 上記評価関数は、時刻tでのオブジェクトマップ上の着目ブロックと隣接するブロックの同一識別符号の数が多いほど、該着目ブロックが該同一識別符号を持つ確度が高くなる関数を含む、
ことを特徴とする請求項5記載の移動物体認識方法。 - 上記評価関数は、時刻(t−1)のオブジェクトマップ上の判定枠内に含まれる、同一識別符号を持つブロックの面積が広いほど、着目ブロックが該同一識別符号を持つ確度が高くなる関数を含み、
該判定枠は、時刻tでのオブジェクトマップ上の該着目ブロックに対応した、該同一識別符号を持つ移動物体の上記動きベクトルに基づいて推定される、時刻(t−1)でのオブジェクトマップ上のブロック枠である、
ことを特徴とする請求項5又は6記載の移動物体認識方法。 - 上記評価関数は、時刻tでのフレーム画像上の着目ブロックに対応した局所画像と、上記動きベクトルに基づいて推定される、時刻(t−1)でのフレーム画像上の該着目ブロックに対応する局所画像との相関度が高くなるほど、該着目ブロックが、該動きベクトルを持つ移動物体と同一識別符号を持つ確度が高くなる関数を含む、
ことを特徴とする請求項5乃至7のいずれか1つに記載の移動物体認識方法。 - 撮影されたフレーム画像が格納される画像記憶部と、
該フレーム画像を複数ピクセルからなるブロックに分割し、ブロックに移動物体が存在するかどうかを判定し、同一移動物体に属するブロックに同一識別符号を持たせたオブジェクトマップを作成するオブジェクトマップ作成部と、
該画像記憶部に格納された時間的に前後のフレーム画像に基づいて、各移動物体の動きベクトルを求める動きベクトル算出部と、
現フレーム画像について移動物体が存在すると判定されたブロックの各々が、前フレーム画像に存在する移動物体のいずれかの識別符号を持っていると仮定したときの評価関数の値の大小関係に基づいて、該存在ブロックに付与すべき識別符号を決定するID更新部と、
を有することを特徴とする移動物体認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009252293A JP4583493B2 (ja) | 1999-06-01 | 2009-11-02 | 移動物体認識方法及び装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15428199 | 1999-06-01 | ||
JP25803599 | 1999-09-10 | ||
JP2009252293A JP4583493B2 (ja) | 1999-06-01 | 2009-11-02 | 移動物体認識方法及び装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000048981A Division JP4420512B2 (ja) | 1999-06-01 | 2000-02-21 | 移動物体間動作分類方法及び装置並びに画像認識装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010181677A Division JP4795479B2 (ja) | 1999-06-01 | 2010-08-16 | 移動物体認識方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010020808A true JP2010020808A (ja) | 2010-01-28 |
JP4583493B2 JP4583493B2 (ja) | 2010-11-17 |
Family
ID=41705551
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009252293A Expired - Lifetime JP4583493B2 (ja) | 1999-06-01 | 2009-11-02 | 移動物体認識方法及び装置 |
JP2010181677A Expired - Lifetime JP4795479B2 (ja) | 1999-06-01 | 2010-08-16 | 移動物体認識方法及び装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010181677A Expired - Lifetime JP4795479B2 (ja) | 1999-06-01 | 2010-08-16 | 移動物体認識方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP4583493B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017102904A (ja) * | 2015-10-23 | 2017-06-08 | 株式会社半導体エネルギー研究所 | 半導体装置および電子機器 |
JP7383491B2 (ja) | 2020-01-07 | 2023-11-20 | 日野自動車株式会社 | 物体検出装置、及び、物体検出方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4583493B2 (ja) * | 1999-06-01 | 2010-11-17 | 富士通セミコンダクター株式会社 | 移動物体認識方法及び装置 |
JP4818430B2 (ja) * | 2009-12-28 | 2011-11-16 | 富士通セミコンダクター株式会社 | 移動物体認識方法及び装置 |
JP2015089590A (ja) | 2013-11-05 | 2015-05-11 | ファナック株式会社 | バラ積みされた物品をロボットで取出す装置及び方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09161071A (ja) * | 1995-12-12 | 1997-06-20 | Sony Corp | 領域対応付け装置および領域対応付け方法 |
JPH1040490A (ja) * | 1996-07-22 | 1998-02-13 | Toyota Motor Corp | 道路監視装置 |
JPH11134506A (ja) * | 1997-10-31 | 1999-05-21 | Hitachi Ltd | 移動体組合せ検出装置および方法 |
JP4420512B2 (ja) * | 1999-06-01 | 2010-02-24 | 富士通マイクロエレクトロニクス株式会社 | 移動物体間動作分類方法及び装置並びに画像認識装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0797392B2 (ja) * | 1985-03-27 | 1995-10-18 | 富士通株式会社 | 画像識別装置 |
JPH08167022A (ja) * | 1994-12-12 | 1996-06-25 | Toshiba Corp | 画像監視装置 |
JP2940469B2 (ja) * | 1996-04-30 | 1999-08-25 | 日本電気株式会社 | 動画像解析装置及び動画像解析方法 |
JP4583493B2 (ja) * | 1999-06-01 | 2010-11-17 | 富士通セミコンダクター株式会社 | 移動物体認識方法及び装置 |
-
2009
- 2009-11-02 JP JP2009252293A patent/JP4583493B2/ja not_active Expired - Lifetime
-
2010
- 2010-08-16 JP JP2010181677A patent/JP4795479B2/ja not_active Expired - Lifetime
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09161071A (ja) * | 1995-12-12 | 1997-06-20 | Sony Corp | 領域対応付け装置および領域対応付け方法 |
JPH1040490A (ja) * | 1996-07-22 | 1998-02-13 | Toyota Motor Corp | 道路監視装置 |
JPH11134506A (ja) * | 1997-10-31 | 1999-05-21 | Hitachi Ltd | 移動体組合せ検出装置および方法 |
JP4420512B2 (ja) * | 1999-06-01 | 2010-02-24 | 富士通マイクロエレクトロニクス株式会社 | 移動物体間動作分類方法及び装置並びに画像認識装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017102904A (ja) * | 2015-10-23 | 2017-06-08 | 株式会社半導体エネルギー研究所 | 半導体装置および電子機器 |
JP2021108144A (ja) * | 2015-10-23 | 2021-07-29 | 株式会社半導体エネルギー研究所 | 半導体装置及び電子機器 |
JP7185717B2 (ja) | 2015-10-23 | 2022-12-07 | 株式会社半導体エネルギー研究所 | 半導体装置及び電子機器 |
JP7383491B2 (ja) | 2020-01-07 | 2023-11-20 | 日野自動車株式会社 | 物体検出装置、及び、物体検出方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4795479B2 (ja) | 2011-10-19 |
JP2011008809A (ja) | 2011-01-13 |
JP4583493B2 (ja) | 2010-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4420512B2 (ja) | 移動物体間動作分類方法及び装置並びに画像認識装置 | |
Hassaballah et al. | Vehicle detection and tracking in adverse weather using a deep learning framework | |
CN111310574B (zh) | 一种车载视觉实时多目标多任务联合感知方法和装置 | |
CN109146921B (zh) | 一种基于深度学习的行人目标跟踪方法 | |
Pang et al. | A method for vehicle count in the presence of multiple-vehicle occlusions in traffic images | |
Pizzati et al. | Enhanced free space detection in multiple lanes based on single CNN with scene identification | |
Peng et al. | MASS: Multi-attentional semantic segmentation of LiDAR data for dense top-view understanding | |
CN112750150A (zh) | 基于车辆检测和多目标跟踪的车流量统计方法 | |
JP4795479B2 (ja) | 移動物体認識方法及び装置 | |
Guindel et al. | Traffic scene awareness for intelligent vehicles using ConvNets and stereo vision | |
KR20030074266A (ko) | 화상에 있어서의 이동체 추적 방법 및 장치 | |
JP2002133421A (ja) | 移動物体認識方法及び装置 | |
CN112396043B (zh) | 车辆环境信息感知方法、装置、电子设备及存储介质 | |
Bisht et al. | Integration of hough transform and inter-frame clustering for road lane detection and tracking | |
Gehrig et al. | A real-time multi-cue framework for determining optical flow confidence | |
Al Mamun et al. | Efficient lane marking detection using deep learning technique with differential and cross-entropy loss. | |
Khan | Estimating Speeds and Directions of Pedestrians in Real-Time Videos: A solution to Road-Safety Problem. | |
Zhang et al. | A comparative analysis of object detection algorithms in naturalistic driving videos | |
Hu et al. | Tracking cycle: a new concept for simultaneous tracking of multiple moving objects in a typical traffic scene | |
Ha et al. | Improved Optical Flow Estimation In Wrong Way Vehicle Detection. | |
CN113793364B (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
Bernuy et al. | Adaptive and real-time unpaved road segmentation using color histograms and RANSAC | |
Aboah et al. | Ai-based framework for understanding car following behaviors of drivers in a naturalistic driving environment | |
JP4818430B2 (ja) | 移動物体認識方法及び装置 | |
Abdullah et al. | Contour Based Tracking for Driveway Entrance Counting System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091116 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091215 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100112 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100706 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100816 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100831 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100831 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4583493 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |