JP2008171280A - 位置検出装置、位置検出方法、及び位置検出プログラム - Google Patents
位置検出装置、位置検出方法、及び位置検出プログラム Download PDFInfo
- Publication number
- JP2008171280A JP2008171280A JP2007005145A JP2007005145A JP2008171280A JP 2008171280 A JP2008171280 A JP 2008171280A JP 2007005145 A JP2007005145 A JP 2007005145A JP 2007005145 A JP2007005145 A JP 2007005145A JP 2008171280 A JP2008171280 A JP 2008171280A
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinates
- straight line
- predetermined position
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
【解決手段】撮影した映像に含まれる棒体の所定位置を検出する位置検出装置において、時間の経過と共に移動する棒体を撮像する撮像手段と、前記撮像手段により得られる映像からフレーム毎に動き領域を検出する動き領域検出手段と、前記動き領域検出手段により得られる動き領域から前記棒体に対応する直線を検出する直線検出手段と、連続する2つのフレームに対して前記直線検出手段により得られるそれぞれの直線に基づいて、前記映像に含まれる前記棒体の所定位置の画像中の座標を取得する画像座標取得手段と、前記撮像手段における撮影時のパラメータを取得するパラメータ取得手段と、前記パラメータ取得手段により得られる前記パラメータ及び前記画像座標取得手段により得られる画像座標から前記所定位置の3次元座標を取得する三次元座標取得手段とを有する。
【選択図】図1
Description
本発明では、時間の経過と共に移動する棒体の所定位置の検出を行うため、棒体の一例としてゴルフクラブを用い、カメラで撮影されたゴルフスイング映像からゴルフヘッド位置を検出する手法に関するものである。また、スイングの内容を分かりやすく視覚化するための画像を生成する。
次に、上述した特徴を有する本発明における位置検出装置、位置検出方法、及び位置検出プログラムを好適に実施した形態について、図面を用いて説明する。なお、以下の説明では、被験者がスイング等の移動動作に用いる棒状の剛体(棒体)の一例として、ゴルフクラブを用い、ゴルフスイングにおけるゴルフヘッド(所定位置)の軌跡(位置)を検出する実施形態について説明する。
まず、本発明における位置検出装置の機能構成例について図を用いて説明する。図1は、本発明における位置検出装置の一構成例を示す図である。
次に、動き領域検出手段15における具体的な処理内容について、図を用いて説明する。図2は、ゴルフスイングの撮影映像から、動いている領域を検出する処理内容を説明するための一例の図である。
次に、直線検出手段16における直線検出例について具体的に説明する。図3は、フレームから直線を検出する一例を示す図である。図3に示す画像41には、フレームnの動き領域画像に対してハフ変換を行うことで得られた直線が示されている。したがって、図3により、直線の検出の一例として例えばハフ変換を用い、動き領域からの直線を検出し、更に直線検出に寄与した画素とその平均画像座標を取得することができる。
次に、画像座標取得手段17におけるゴルフヘッド(所定位置)の画像座標を取得する具体例について、図を用いて説明する。図4は、画像座標の取得について説明するための一例を示す図である。
ここで、画像座標取得手段17における座標取得において、例えば所定位置としてのゴルフヘッドが人や物等の物体の影に隠れている場合には、ゴルフヘッドが撮影されていないため、正確なゴルフヘッド位置を取得することができない。そこで、本発明では、前後のフレームで検出されたゴルフヘッド位置から隠れているゴルフヘッドの位置を補間することができる。ここで、上述の処理について説明する。
y=ax3+bx2+cx+d ・・・(1)
また、フレームn−2、フレームn−1、フレームn+1、及びフレームn+2の4つの正しいゴルフヘッド位置(x、y)は分かっているため、これを4元一次連立方程式として上述した(1)式に代入して解くことにより、上述した方程式の係数a,b,c,dが求まる。
次に、ゴルフクラブのシャフトの一部がスイング中の被験者の頭部や他の物体等により隠れている場合でも、シャフトがある程度撮影されていれば直線検出は可能である。
次に、パラメータ取得手段18における具体的な処理内容について説明する。
ここで、上述した(2)式において、Amはカメラ座標から見た奥行き値を示し、aは画素のアスペクト比を示し、Fはカメラの焦点距離を示し、(Cx,Cy)はカメラ光軸と画像面との交点を示し、Rmは世界座標からカメラ座標への回転ベクトルを示し、Tmは世界座標からカメラ座標への平行移動ベクトルを示し、mはカメラの識別番号を示している。
次に、3次元座標取得手段19における3次元座標の取得内容について説明する。3次元座標を取得する場合には、2台のカメラで撮影した画像から、ゴルフヘッドの3次元座標を検出する。つまり、ゴルフヘッドの位置画像座標、及び実空間中の位置の3次元座標を検出する。
次に、画面生成手段20により生成される表示画面例について図を用いて説明する。図7は、画面生成手段により生成される表示画面の一例を示す図である。図7に示すように、表示画面70には、被験者71がゴルフクラブ72をスイングしたときのゴルフヘッド73のフレーム毎(単位時間毎)の位置の推移が点74として示されている。この点74により被験者等のユーザは、スイング時のゴルフヘッドの移動の軌跡を高精度に把握することができる。なお、点74の表示は、時間の経過に対応させて点74が順次増加していくように表示させてもよく、また点間を所定の曲線等で結んだ軌跡を表示させてもよい。
ここで、上述した位置検出装置10は、上述した専用の装置構成等を用いて本発明における位置検出を行うこともできるが、各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えば汎用のパーソナルコンピュータ、サーバ等にそのプログラムをインストールすることにより、本発明に係る位置検出を実現することができる。
ここで、本発明における位置検出処理が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図8は、本発明における位置検出処理が実現可能なハードウェア構成の一例を示す図である。
図9は、本発明における位置検出処理手順の一例を示すフローチャートである。図9において、まず撮像手段としてのカメラ等を用いて被験者のスイング映像を取得する(S01)。なお、S01の処理では、一例として2台のカメラを用いて別々のカメラから被験者のゴルフスイングを撮影し、それぞれの映像を取得するものとする。
11 撮像手段
12 入力手段
13 出力手段
14 蓄積手段
15 動き領域検出手段
16 直線検出手段
17 画像座標取得手段
18 パラメータ取得手段
19 3次元座標取得手段
20 画像生成手段
21 送受信手段
22 制御手段
31 映像フレーム
32,41,42 画像
51,52,74 点
61 頭部
62 シャフト
70 表示画面
71 被験者
72 ゴルフクラブ
73 ゴルフヘッド
81 入力装置
82 出力装置
83 ドライブ装置
84 補助記憶装置
85 メモリ装置
86 CPU
87 ネットワーク接続装置
88 記録媒体
Claims (7)
- 撮影した映像に含まれる棒体の所定位置を検出する位置検出装置において、
時間の経過と共に移動する棒体を撮像する撮像手段と、
前記撮像手段により得られる映像からフレーム毎に動き領域を検出する動き領域検出手段と、
前記動き領域検出手段により得られる動き領域から前記棒体に対応する直線を検出する直線検出手段と、
連続する2つのフレームに対して前記直線検出手段により得られるそれぞれの直線に基づいて、前記映像に含まれる前記棒体の所定位置の画像中の座標を取得する画像座標取得手段と、
前記撮像手段における撮影時のパラメータを取得するパラメータ取得手段と、
前記パラメータ取得手段により得られる前記パラメータ及び前記画像座標取得手段により得られる画像座標から前記所定位置の3次元座標を取得する三次元座標取得手段とを有することを特徴とする位置検出装置。 - 前記画像座標取得手段は、
前記直線検出手段により得られる直線上の所定方向を画素単位で探索し、画素の輝度情報に基づいて前記所定位置の座標を取得することを特徴とする請求項1に記載の位置検出装置。 - 前記画像座標取得手段は、
座標取得対象のフレームに前記所定位置が撮影されていない場合、連続する前後のフレームで検出された前記所定位置の座標に基づいて、前記座標取得対象のフレームの所定位置を補間して座標を取得することを特徴とする請求項1又は2に記載の位置検出装置。 - 前記画像座標取得手段は、
前記フレームの画像端まで探索して前記所定位置の座標を取得することを特徴とする請求項1乃至3の何れか1項に記載の位置検出装置。 - 前記画像座標取得手段又は三次元座標取得手段により得られる座標に基づいて、前記フレーム毎に得られる所定位置の座標をあるフレーム画像に重畳合成した画面を生成する画面生成手段を有することを特徴とする請求項1乃至4の何れか1項に記載の位置検出装置。
- 撮影した映像に含まれる棒体の所定位置を検出する位置検出方法において、
時間の経過と共に移動する棒体を撮像手段により撮像した映像を取得する映像取得ステップと、
前記映像取得ステップにより得られる映像からフレーム毎に動き領域を検出する動き領域検出ステップと、
前記動き領域検出ステップにより得られる動き領域から前記棒体に対応する直線を検出する直線検出ステップと、
連続する2つのフレームに対して前記直線検出ステップにより得られるそれぞれの直線に基づいて、前記映像に含まれる前記棒体の所定位置の画像中の座標を取得する画像座標取得ステップと、
前記撮像手段における撮影時のパラメータを取得するパラメータ取得ステップと、
前記パラメータ取得ステップにより得られる前記パラメータ及び前記画像座標取得ステップにより得られる画像座標から前記所定位置の3次元座標を取得する三次元座標取得ステップとを有することを特徴とする位置検出方法。 - 撮影した映像に含まれる棒体の所定位置を検出する位置検出処理をコンピュータに実行させるための位置検出プログラムにおいて、
時間の経過と共に移動する棒体を撮像手段により撮像した映像を取得する映像取得処理と、
前記映像取得処理により得られる映像からフレーム毎に動き領域を検出する動き領域検出処理と、
前記動き領域検出処理により得られる動き領域から前記棒体に対応する直線を検出する直線検出処理と、
連続する2つのフレームに対して前記直線検出処理により得られるそれぞれの直線に基づいて、前記映像に含まれる前記棒体の所定位置の画像中の座標を取得する画像座標取得処理と、
前記撮像手段における撮影時のパラメータを取得するパラメータ取得ステップと、
前記パラメータ取得ステップにより得られる前記パラメータ及び前記画像座標取得ステップにより得られる画像座標から前記所定位置の3次元座標を取得する三次元座標取得処理とをコンピュータに実行させるための位置検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007005145A JP4733651B2 (ja) | 2007-01-12 | 2007-01-12 | 位置検出装置、位置検出方法、及び位置検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007005145A JP4733651B2 (ja) | 2007-01-12 | 2007-01-12 | 位置検出装置、位置検出方法、及び位置検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008171280A true JP2008171280A (ja) | 2008-07-24 |
JP4733651B2 JP4733651B2 (ja) | 2011-07-27 |
Family
ID=39699305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007005145A Expired - Fee Related JP4733651B2 (ja) | 2007-01-12 | 2007-01-12 | 位置検出装置、位置検出方法、及び位置検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4733651B2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010009501A (ja) * | 2008-06-30 | 2010-01-14 | Fujitsu Ltd | 画像処理装置およびその方法 |
JP2011177341A (ja) * | 2010-03-01 | 2011-09-15 | Sri Sports Ltd | ゴルフスイングの診断方法 |
JP2011244214A (ja) * | 2010-05-18 | 2011-12-01 | Casio Comput Co Ltd | 動画再生装置、動画再生方法及びプログラム |
JP2011254151A (ja) * | 2010-05-31 | 2011-12-15 | Casio Comput Co Ltd | 動画再生装置、動画再生方法及びプログラム |
JP2012212373A (ja) * | 2011-03-31 | 2012-11-01 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
CN103533993A (zh) * | 2011-03-22 | 2014-01-22 | 高夫准株式会社 | 虚拟高尔夫模拟装置及其使用的感测装置与感测方法 |
TWI448319B (zh) * | 2011-03-22 | 2014-08-11 | Golfzon Co Ltd | 用於虛擬高爾夫模擬裝置之感測裝置及感測方法 |
WO2014132885A1 (ja) * | 2013-02-27 | 2014-09-04 | 三菱レイヨン株式会社 | ゴルフ用具フィッティングシステム、及びゴルフ用具フィッティングプログラム |
JP2015512660A (ja) * | 2012-01-25 | 2015-04-30 | ダブリュエイダブリュジーディー インコーポレイテッド ディービーエー フォアサイト スポーツWawgd, Inc., Dba Foresight Sports | ゴルフクラブヘッド測定装置 |
KR20150116325A (ko) * | 2014-04-07 | 2015-10-15 | 동의대학교 산학협력단 | 깊이 정보를 이용한 골프 시뮬레이션 시스템 및 방법 |
KR20150116318A (ko) * | 2014-04-07 | 2015-10-15 | 동의대학교 산학협력단 | 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법 |
JP2018535705A (ja) * | 2015-09-08 | 2018-12-06 | ホン インターナショナル コーポレーション | ダーツゲームのレッスンモードを提供する方法、装置及びコンピューター読み取り可能な媒体に保存されたコンピュータープログラム |
WO2022092983A1 (ko) * | 2020-10-30 | 2022-05-05 | 주식회사 크리에이츠 | 가상 골프 시뮬레이션을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
CN114522410A (zh) * | 2022-02-14 | 2022-05-24 | 复旦大学 | 一种羽毛球过网高度检测方法 |
JP7239231B1 (ja) | 2022-08-25 | 2023-03-14 | 株式会社ネクストベース | 判定システム、判定方法及びコンピュータープログラム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0581232A (ja) * | 1991-09-19 | 1993-04-02 | Fujitsu Ltd | スウイング動作時の運動解析方式 |
JP3236070B2 (ja) * | 1992-06-04 | 2001-12-04 | オリンパス光学工業株式会社 | スコープ保持装置およびスコープ装置 |
JP2002090380A (ja) * | 2000-09-13 | 2002-03-27 | Hamamatsu Photonics Kk | スイング物体の速度測定装置 |
JP2003111880A (ja) * | 2001-10-04 | 2003-04-15 | Ditect:Kk | ゴルフスイング解析システム及び画像処理方法 |
JP2004081683A (ja) * | 2002-08-28 | 2004-03-18 | Yokohama Rubber Co Ltd:The | ゴルフスイング分析システム |
JP2004164479A (ja) * | 2002-11-15 | 2004-06-10 | Nippon Hoso Kyokai <Nhk> | 画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラム |
JP2004164563A (ja) * | 2002-09-26 | 2004-06-10 | Toshiba Corp | 画像解析方法、画像解析装置、画像解析プログラム |
JP2004344418A (ja) * | 2003-05-22 | 2004-12-09 | Anima Kk | 三次元動作解析装置 |
-
2007
- 2007-01-12 JP JP2007005145A patent/JP4733651B2/ja not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0581232A (ja) * | 1991-09-19 | 1993-04-02 | Fujitsu Ltd | スウイング動作時の運動解析方式 |
JP3236070B2 (ja) * | 1992-06-04 | 2001-12-04 | オリンパス光学工業株式会社 | スコープ保持装置およびスコープ装置 |
JP2002090380A (ja) * | 2000-09-13 | 2002-03-27 | Hamamatsu Photonics Kk | スイング物体の速度測定装置 |
JP2003111880A (ja) * | 2001-10-04 | 2003-04-15 | Ditect:Kk | ゴルフスイング解析システム及び画像処理方法 |
JP2004081683A (ja) * | 2002-08-28 | 2004-03-18 | Yokohama Rubber Co Ltd:The | ゴルフスイング分析システム |
JP2004164563A (ja) * | 2002-09-26 | 2004-06-10 | Toshiba Corp | 画像解析方法、画像解析装置、画像解析プログラム |
JP2004164479A (ja) * | 2002-11-15 | 2004-06-10 | Nippon Hoso Kyokai <Nhk> | 画像変形情報生成装置、画像変形情報生成方法及び画像変形情報生成プログラム |
JP2004344418A (ja) * | 2003-05-22 | 2004-12-09 | Anima Kk | 三次元動作解析装置 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010009501A (ja) * | 2008-06-30 | 2010-01-14 | Fujitsu Ltd | 画像処理装置およびその方法 |
JP2011177341A (ja) * | 2010-03-01 | 2011-09-15 | Sri Sports Ltd | ゴルフスイングの診断方法 |
JP2011244214A (ja) * | 2010-05-18 | 2011-12-01 | Casio Comput Co Ltd | 動画再生装置、動画再生方法及びプログラム |
JP2011254151A (ja) * | 2010-05-31 | 2011-12-15 | Casio Comput Co Ltd | 動画再生装置、動画再生方法及びプログラム |
US9264651B2 (en) | 2010-05-31 | 2016-02-16 | Casio Computer Co., Ltd. | Moving image reproducing apparatus capable of adjusting display position of indicator for motion analysis based on displacement information of frames, and moving image reproducing method and recording medium for same |
CN103533993A (zh) * | 2011-03-22 | 2014-01-22 | 高夫准株式会社 | 虚拟高尔夫模拟装置及其使用的感测装置与感测方法 |
TWI448319B (zh) * | 2011-03-22 | 2014-08-11 | Golfzon Co Ltd | 用於虛擬高爾夫模擬裝置之感測裝置及感測方法 |
JP2012212373A (ja) * | 2011-03-31 | 2012-11-01 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2015512660A (ja) * | 2012-01-25 | 2015-04-30 | ダブリュエイダブリュジーディー インコーポレイテッド ディービーエー フォアサイト スポーツWawgd, Inc., Dba Foresight Sports | ゴルフクラブヘッド測定装置 |
JP5825430B2 (ja) * | 2013-02-27 | 2015-12-02 | 三菱レイヨン株式会社 | ゴルフ用具フィッティングシステム、及びゴルフ用具フィッティングプログラム |
WO2014132885A1 (ja) * | 2013-02-27 | 2014-09-04 | 三菱レイヨン株式会社 | ゴルフ用具フィッティングシステム、及びゴルフ用具フィッティングプログラム |
KR20150116318A (ko) * | 2014-04-07 | 2015-10-15 | 동의대학교 산학협력단 | 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법 |
KR20150116325A (ko) * | 2014-04-07 | 2015-10-15 | 동의대학교 산학협력단 | 깊이 정보를 이용한 골프 시뮬레이션 시스템 및 방법 |
KR101705836B1 (ko) | 2014-04-07 | 2017-02-10 | 동의대학교 산학협력단 | 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법 |
KR101705840B1 (ko) | 2014-04-07 | 2017-02-10 | 동의대학교 산학협력단 | 깊이 정보를 이용한 골프 시뮬레이션 시스템 및 방법 |
JP2018535705A (ja) * | 2015-09-08 | 2018-12-06 | ホン インターナショナル コーポレーション | ダーツゲームのレッスンモードを提供する方法、装置及びコンピューター読み取り可能な媒体に保存されたコンピュータープログラム |
WO2022092983A1 (ko) * | 2020-10-30 | 2022-05-05 | 주식회사 크리에이츠 | 가상 골프 시뮬레이션을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
CN114522410A (zh) * | 2022-02-14 | 2022-05-24 | 复旦大学 | 一种羽毛球过网高度检测方法 |
JP7239231B1 (ja) | 2022-08-25 | 2023-03-14 | 株式会社ネクストベース | 判定システム、判定方法及びコンピュータープログラム |
JP2024031158A (ja) * | 2022-08-25 | 2024-03-07 | 株式会社ネクストベース | 判定システム、判定方法及びコンピュータープログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4733651B2 (ja) | 2011-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4733651B2 (ja) | 位置検出装置、位置検出方法、及び位置検出プログラム | |
JP4758842B2 (ja) | 映像オブジェクトの軌跡画像合成装置、映像オブジェクトの軌跡画像表示装置およびそのプログラム | |
JP6419278B1 (ja) | 制御装置、制御方法、及びプログラム | |
TWI593289B (zh) | 分離的電腦視覺式位置及方向與慣性感測器式位置及方向之顯示 | |
WO2018112788A1 (zh) | 图像处理方法及设备 | |
JP5774226B2 (ja) | 方位センサに基づくホモグラフィ分解の曖昧性の解決 | |
JP4555690B2 (ja) | 軌跡付加映像生成装置及び軌跡付加映像生成プログラム | |
WO2010038693A1 (ja) | 情報処理装置、情報処理方法、プログラム及び情報記憶媒体 | |
JP2002024807A (ja) | 物体運動追跡手法及び記録媒体 | |
JP2023010759A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2019093457A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5847610B2 (ja) | Ar技術を用いたコンピュータ・グラフィックス画像処理システム及び方法 | |
JP2008217593A (ja) | 被写体領域抽出装置及び被写体領域抽出プログラム | |
JP2018206285A (ja) | オブジェクト追跡装置及びオブジェクト軌跡生成システム | |
JP2019057291A (ja) | 制御装置、制御方法、及びプログラム | |
WO2024022301A1 (zh) | 视角路径获取方法、装置、电子设备及介质 | |
JP2007206807A (ja) | 映像合成装置及び映像合成プログラム | |
JP5805013B2 (ja) | 撮像画像表示装置、撮像画像表示方法、プログラム | |
JP5530391B2 (ja) | カメラポーズ推定装置、カメラポーズ推定方法及びカメラポーズ推定プログラム | |
JP6655114B2 (ja) | 映像解析装置、映像解析方法、及びコンピュータプログラム | |
TW201928761A (zh) | 影像擷取之設備及方法 | |
JP2006041604A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP7265825B2 (ja) | 生成装置、生成方法およびプログラム | |
JP7232663B2 (ja) | 画像処理装置及び画像処理方法 | |
KR100466587B1 (ko) | 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110307 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110422 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |