JP2008046903A - 対象個数検出装置および対象個数検出方法 - Google Patents
対象個数検出装置および対象個数検出方法 Download PDFInfo
- Publication number
- JP2008046903A JP2008046903A JP2006222462A JP2006222462A JP2008046903A JP 2008046903 A JP2008046903 A JP 2008046903A JP 2006222462 A JP2006222462 A JP 2006222462A JP 2006222462 A JP2006222462 A JP 2006222462A JP 2008046903 A JP2008046903 A JP 2008046903A
- Authority
- JP
- Japan
- Prior art keywords
- data
- factor
- learning
- objects
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 54
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 239000013598 vector Substances 0.000 claims abstract description 51
- 239000011159 matrix material Substances 0.000 claims abstract description 43
- 238000000556 factor analysis Methods 0.000 claims abstract description 15
- 238000013075 data extraction Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 12
- 238000000611 regression analysis Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000005311 autocorrelation function Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【解決手段】対象個数検出装置は、検出対象を撮影した動画像データからフレーム間差分データを生成し、2値化する手段、画素毎に直近の複数のフレーム間差分2値化データから立体高次局所自己相関によって特徴データを抽出する手段、予め因子分析を使用した学習により生成された、1つの検出対象について複数の因子ベクトルを並べた因子行列と特徴データから各因子ベクトルの係数を求める手段、1つの検出対象についての複数の係数を加算し、四捨五入することにより個数を生成する手段とを備える。係数の和の変動が小さく、かつ認識したい対象の個数と高精度で一致するので、対象のスケールや速度の違いやこれらの動的変化にロバストな認識が可能となる。
【選択図】図2
Description
(1)カメラの画像内には複数の人が存在したり、自転車などといったさまざまな種類の移動物体が存在する。
(2)同じ移動物体でもさまざまな方向や速度の動きが存在する。
(3)カメラと対象の距離や大人と子供、身長差などのため画面内での対象のスケール(大きさ)がさまざまである。
本発明の目的は、上記したような従来例の問題点を解決し、動画像を取り込んで立体高次局所自己相関特徴を用いて所定の方向に移動する人や車などの複数種の対象物の個数を種類別に高精度で検出することができる対象個数検出装置および対象個数検出方法を提供する点にある。
(1)1つの検出対象について、予め因子分析を使用した学習によってスケールや移動速度の異なる対象と対応する複数の因子ベクトルを並べた因子行列を用意し、認識時において各因子ベクトルの係数を加算してから四捨五入して整数化することにより個数を生成するようにしたので、係数の和の変動が小さく、かつ認識したい対象の個数と高精度で一致する。従って対象のスケール、速度、方向の違いやこれらの動的変化にロバストな認識が可能となり、個数の検出精度が向上する。
(2)対象物の切り出しを行わずに複数の対象物を同時に認識するので、特徴抽出や個数識別判定のための計算量が少ない。また、計算量は対象物の個数に依らず一定である。従って実時間処理が可能である。
(3)予めスケール、移動速度、方向の異なる対象の画像を用いた重回帰分析に基づく学習によって係数行列を生成し、直接的かつ高速に個数を算出することができる。速度や方向、スケールにロバストな個数の検出が可能となる。
取り込まれたフレームデータ(a)から直前のフレームの同じ画素の輝度値との差分の絶対値を求め、この値が例えば所定の閾値以上である場合に1、そうでない場合に0とする差分2値化フレームデータ(c)を得る。次に、直近の3枚の差分2値化フレームデータ(d)から後述する方法で、画素毎にCHLACデータを計算し、この画素対応CHLACデータを1フレーム分加算してフレーム対応CHLACデータ(f)を得る。以上の処理は学習モードと認識モード共通の処理である。
個数推定処理(N)においては、個々の因子ベクトルの係数を求め、1つの対象と対応する複数の係数を加算してから小数点未満を四捨五入して個数を算出する。この処理によって、対象のスケールや速度の違いやこれらの動的変化にロバストな認識が可能となる。
大津展之、"判別および最小2乗規準に基づく自動しきい値選定法"電子通信学会論文誌D、J63-D-4、P349-356、1980年。
ここで、立体高次局所自己相関(CHLAC)特徴について説明する。N次自己相関関数は次の数式1のように表せる。
ここで立体データとしての動画像がm個の因子ベクトルfj(0≦j≦m-1)の組み合わせから成るとすると、その立体データから得られる立体高次局所自己相関特徴zはその加法性および位置不変性により、fjの線形結合によって以下のように表現される。
(1)個々の対象を切り出して教示する必要がない。
(2)画面内にいる対象の個数を教示するだけで認識に必要な因子をシステムが自動的かつ適応的に獲得する。
(3)解は線形代数の範囲で陽に求まるので、解の収束性や局所解への収束を考える必要がなく、計算量が少ない。
S28においては、係数の合計の小数点未満を四捨五入して整数化し、各対象毎の個数として出力する。S29においては、処理終了か否かが判定され、判定結果が否定の場合にはS20に移行するが、肯定の場合には処理を終了する。
S34においては、相関値は1か否かが判定され、判定結果が肯定の場合にはS35に移行するが、否定の場合にはS36に移行する。S35においては、マスクパターンと対応する相関値データに1を加算する。S36においては、全てのマスクパターンについて処理が完了したか否かが判定され、判定結果が肯定の場合にはS37に移行するが、否定の場合にはS32に移行する。
重回帰分析を用いて、スケールやスピードに対して頑健な認識を行うためには、因子分析の場合と同様に様々なスケールやスピードの対象を含んだ学習データを用いて学習を行う。ただし、学習データに対する教師信号については因子分析とは異なる与え方をする。
学習データとして用いる立体データの数、すなわち学習データ数をN、i番目(1≦i≦N)の立体データに対応する立体高次局所自己相関特徴をzi、教師信号をai=[ai0,ai1,・・・,ai(m-1)]Tとする。教師信号は学習データがスケールやスピードが様々な「右に歩く人」と「左に歩く人」がいるデータであっても、スケールやスピードの違いを無視し、a=(右に歩く人の数、左に歩く人の数)Tとする。教師信号aiと出力yi=BTziの平均2乗誤差は以下のようになる。
認識においては、得られた特徴ベクトルに対し学習フェーズで得られた係数行列Bを以下のように掛け合わせることで直接的に対象の個数を得ることができる。
11…コンピュータ
12…モニタ装置
13…キーボード
14…マウス
Claims (6)
- 検出対象を撮影した複数の画像フレームデータからなる動画像データからフレーム間差分データを生成し、2値化する差分2値化データ生成手段と、
直近の複数の前記フレーム間差分2値化データからなる3次元データから立体高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、
予め学習により生成された、1つの検出対象について複数の因子ベクトルを並べた因子行列と前記特徴データから各因子ベクトルの係数を求める係数取得手段と、
1つの検出対象についての複数の前記係数を加算する加算手段と、
前記加算手段の出力値の小数点未満を四捨五入して整数化することにより個数を生成する整数化手段と
を備えたことを特徴とする対象個数検出装置。 - 更に、学習データから得られた特徴データに基づいて因子行列を生成する学習手段を備えたことを特徴とする請求項1に記載の対象個数検出装置。
- 前記学習手段は、
学習データである検出対象を撮影した複数の画像フレームデータからなる動画像データからフレーム間差分データを生成し、2値化する差分2値化データ生成手段と、
複数の前記フレーム間差分2値化データからなる3次元データから立体高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、
学習データにおける対象の既知の個数を使用し、複数の学習データと対応する前記特徴データから因子分析によって因子行列を求める因子行列生成手段と
を備えていることを特徴とする請求項2に記載の対象個数検出装置。 - 前記因子行列に含まれる、1つの検出対象と対応する複数の因子ベクトルは画面上の対象のスケール、移動速度、移動方向の内の少なくとも1つが異なる複数の学習データからそれぞれ生成されたものであることを特徴とする請求項2に記載の対象個数検出装置。
- 検出対象を撮影した複数の画像フレームデータからなる動画像データからフレーム間差分データを生成し、2値化する差分2値化データ生成手段と、
直近の複数の前記フレーム間差分2値化データからなる3次元データから立体高次局所自己相関によって特徴データを抽出する特徴データ抽出手段と、
画面上の対象のスケール、移動速度、移動方向の内の少なくとも1つが異なる複数の学習データから得られた特徴データに基づいて検出対象の個数を算出するための係数行列を生成する学習手段と、
予め前記学習手段により生成された係数行列と、認識データから得られた特徴データから個数を求める個数生成手段と、
前記個数生成手段の出力値の小数点未満を四捨五入して整数化する整数化手段と
を備えたことを特徴とする対象個数検出装置。 - 学習データに基づき、立体高次局所自己相関に基づく因子行列を生成するステップ、
検出対象を撮影した複数の画像フレームデータからなる動画像データからフレーム間差分データを生成し、2値化するステップ、
直近の複数の前記フレーム間差分2値化データからなる3次元データから立体高次局所自己相関によって特徴データを抽出するステップ、
予め学習により生成された、1つの検出対象について複数の因子ベクトルを並べた因子行列および前記特徴データから各因子ベクトルの係数を求めるステップ、
1つの検出対象についての複数の前記係数を加算するステップ、
前記加算手段の出力値の小数点未満を四捨五入して整数化することにより個数を生成するステップ
を含むことを特徴とする対象個数検出方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006222462A JP4429298B2 (ja) | 2006-08-17 | 2006-08-17 | 対象個数検出装置および対象個数検出方法 |
PCT/JP2007/065899 WO2008020598A1 (fr) | 2006-08-17 | 2007-08-15 | Dispositif et procédé de détection d'un nombre d'objets |
US12/377,734 US20100166259A1 (en) | 2006-08-17 | 2007-08-15 | Object enumerating apparatus and object enumerating method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006222462A JP4429298B2 (ja) | 2006-08-17 | 2006-08-17 | 対象個数検出装置および対象個数検出方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009141781A Division JP4674920B2 (ja) | 2009-06-15 | 2009-06-15 | 対象個数検出装置および対象個数検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008046903A true JP2008046903A (ja) | 2008-02-28 |
JP4429298B2 JP4429298B2 (ja) | 2010-03-10 |
Family
ID=39082122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006222462A Active JP4429298B2 (ja) | 2006-08-17 | 2006-08-17 | 対象個数検出装置および対象個数検出方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20100166259A1 (ja) |
JP (1) | JP4429298B2 (ja) |
WO (1) | WO2008020598A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009066716A (ja) * | 2007-09-14 | 2009-04-02 | Advanced Telecommunication Research Institute International | コミュニケーションロボット |
JP2009140247A (ja) * | 2007-12-06 | 2009-06-25 | United Technologies Institute | 異常動作監視装置 |
JP2009237897A (ja) * | 2008-03-27 | 2009-10-15 | Daihatsu Motor Co Ltd | 画像認識装置 |
JP2014229266A (ja) * | 2013-05-27 | 2014-12-08 | アイホン株式会社 | 特定動作検出装置 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4368767B2 (ja) * | 2004-09-08 | 2009-11-18 | 独立行政法人産業技術総合研究所 | 異常動作検出装置および異常動作検出方法 |
JP4215781B2 (ja) * | 2006-06-16 | 2009-01-28 | 独立行政法人産業技術総合研究所 | 異常動作検出装置および異常動作検出方法 |
JP4603512B2 (ja) * | 2006-06-16 | 2010-12-22 | 独立行政法人産業技術総合研究所 | 異常領域検出装置および異常領域検出方法 |
JP5347798B2 (ja) * | 2009-07-23 | 2013-11-20 | 日本電気株式会社 | 物体検出装置、物体検出方法及び物体検出プログラム |
EP2659429B1 (en) * | 2010-12-30 | 2023-10-25 | Nokia Technologies Oy | Methods, apparatuses and computer program products for efficiently recognizing faces of images associated with various illumination conditions |
JP2012165240A (ja) * | 2011-02-08 | 2012-08-30 | Sony Corp | 動画像処理装置、動画像処理方法、及びプログラム |
DE102011011931A1 (de) * | 2011-02-18 | 2012-08-23 | Hella Kgaa Hueck & Co. | Verfahren zum Auswerten einer Mehrzahl zeitlich versetzter Bilder, Vorrichtung zur Auswertung von Bildern, Überwachungssystem |
TWI496090B (zh) | 2012-09-05 | 2015-08-11 | Ind Tech Res Inst | 使用深度影像的物件定位方法與裝置 |
CN104680190B (zh) * | 2013-11-29 | 2018-06-15 | 华为技术有限公司 | 目标检测方法及装置 |
US9693023B2 (en) | 2014-02-05 | 2017-06-27 | Panasonic Intellectual Property Management Co., Ltd. | Monitoring apparatus, monitoring system, and monitoring method |
US9330306B2 (en) * | 2014-06-11 | 2016-05-03 | Panasonic Intellectual Property Management Co., Ltd. | 3D gesture stabilization for robust input control in mobile environments |
CN104268899A (zh) * | 2014-09-22 | 2015-01-07 | 河海大学 | 基于帧间差分和背景差分的运动目标检测方法 |
CN105678707B (zh) * | 2015-12-31 | 2018-07-20 | 西安诺瓦电子科技有限公司 | 一种基于旋转抖动矩阵处理的图像处理方法 |
US10210398B2 (en) * | 2017-01-12 | 2019-02-19 | Mitsubishi Electric Research Laboratories, Inc. | Methods and systems for predicting flow of crowds from limited observations |
CN107655145A (zh) * | 2017-10-24 | 2018-02-02 | 珠海格力电器股份有限公司 | 空调智能调节方法及装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0363828B1 (en) * | 1988-10-11 | 1999-01-07 | Kabushiki Kaisha Ouyo Keisoku Kenkyusho | Method and apparatus for adaptive learning type general purpose image measurement and recognition |
US6466685B1 (en) * | 1998-07-14 | 2002-10-15 | Kabushiki Kaisha Toshiba | Pattern recognition apparatus and method |
JP2000090277A (ja) * | 1998-09-10 | 2000-03-31 | Hitachi Denshi Ltd | 基準背景画像更新方法及び侵入物体検出方法並びに侵入物体検出装置 |
JP4226730B2 (ja) * | 1999-01-28 | 2009-02-18 | 株式会社東芝 | 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置 |
EP1297691A2 (en) * | 2000-03-07 | 2003-04-02 | Sarnoff Corporation | Camera pose estimation |
US7522186B2 (en) * | 2000-03-07 | 2009-04-21 | L-3 Communications Corporation | Method and apparatus for providing immersive surveillance |
JP4061377B2 (ja) * | 2003-09-12 | 2008-03-19 | 独立行政法人産業技術総合研究所 | 3次元データからの特徴抽出装置 |
JP4368767B2 (ja) * | 2004-09-08 | 2009-11-18 | 独立行政法人産業技術総合研究所 | 異常動作検出装置および異常動作検出方法 |
JP3970877B2 (ja) * | 2004-12-02 | 2007-09-05 | 独立行政法人産業技術総合研究所 | 追跡装置および追跡方法 |
US7760911B2 (en) * | 2005-09-15 | 2010-07-20 | Sarnoff Corporation | Method and system for segment-based optical flow estimation |
JP4215781B2 (ja) * | 2006-06-16 | 2009-01-28 | 独立行政法人産業技術総合研究所 | 異常動作検出装置および異常動作検出方法 |
JP4603512B2 (ja) * | 2006-06-16 | 2010-12-22 | 独立行政法人産業技術総合研究所 | 異常領域検出装置および異常領域検出方法 |
-
2006
- 2006-08-17 JP JP2006222462A patent/JP4429298B2/ja active Active
-
2007
- 2007-08-15 US US12/377,734 patent/US20100166259A1/en not_active Abandoned
- 2007-08-15 WO PCT/JP2007/065899 patent/WO2008020598A1/ja active Application Filing
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009066716A (ja) * | 2007-09-14 | 2009-04-02 | Advanced Telecommunication Research Institute International | コミュニケーションロボット |
JP2009140247A (ja) * | 2007-12-06 | 2009-06-25 | United Technologies Institute | 異常動作監視装置 |
JP4654347B2 (ja) * | 2007-12-06 | 2011-03-16 | 株式会社融合技術研究所 | 異常動作監視装置 |
JP2009237897A (ja) * | 2008-03-27 | 2009-10-15 | Daihatsu Motor Co Ltd | 画像認識装置 |
JP2014229266A (ja) * | 2013-05-27 | 2014-12-08 | アイホン株式会社 | 特定動作検出装置 |
Also Published As
Publication number | Publication date |
---|---|
US20100166259A1 (en) | 2010-07-01 |
JP4429298B2 (ja) | 2010-03-10 |
WO2008020598A1 (fr) | 2008-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4429298B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
CN108242062B (zh) | 基于深度特征流的目标跟踪方法、系统、终端及介质 | |
Hu et al. | Moving object detection and tracking from video captured by moving camera | |
JP4215781B2 (ja) | 異常動作検出装置および異常動作検出方法 | |
Toulminet et al. | Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis | |
CN109598794B (zh) | 三维gis动态模型的构建方法 | |
EP2858008A2 (en) | Target detecting method and system | |
CN107452015B (zh) | 一种具有重检测机制的目标跟踪系统 | |
CN109727275B (zh) | 目标检测方法、装置、系统和计算机可读存储介质 | |
CN103093198A (zh) | 一种人群密度监测方法及装置 | |
US11030478B1 (en) | System and method for correspondence map determination | |
CN112381132A (zh) | 一种基于多个摄像头融合的目标物跟踪方法和系统 | |
CN111382637A (zh) | 行人检测跟踪方法、装置、终端设备及介质 | |
JP4918615B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
Bulugu | Algorithm for license plate localization and recognition for tanzania car plate numbers | |
JP4674920B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
CN117475355A (zh) | 基于监控视频的安全预警方法及装置、设备、存储介质 | |
JP4459162B2 (ja) | 速度計測装置、方法及びプログラム | |
KR101357581B1 (ko) | 깊이 정보 기반 사람의 피부 영역 검출 방법 | |
JP6606340B2 (ja) | 画像検出装置、画像検出方法およびプログラム | |
JP2006010652A (ja) | 物体検出装置 | |
CN113628251A (zh) | 一种智慧酒店终端监测方法 | |
CN111583341A (zh) | 云台像机移位检测方法 | |
JP2007257489A (ja) | 画像処理装置および画像処理方法 | |
JP2016051236A (ja) | 画像処理装置、画像処理方法およびそれを用いた検査方法。 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090615 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20091028 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091215 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091215 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4429298 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131225 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131225 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131225 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131225 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |