JP2009260500A - ゴルフ練習支援カメラシステム - Google Patents

ゴルフ練習支援カメラシステム Download PDF

Info

Publication number
JP2009260500A
JP2009260500A JP2008105036A JP2008105036A JP2009260500A JP 2009260500 A JP2009260500 A JP 2009260500A JP 2008105036 A JP2008105036 A JP 2008105036A JP 2008105036 A JP2008105036 A JP 2008105036A JP 2009260500 A JP2009260500 A JP 2009260500A
Authority
JP
Japan
Prior art keywords
polarization
camera system
data
golf practice
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008105036A
Other languages
English (en)
Other versions
JP4329869B1 (ja
Inventor
Katsumi Komori
活美 小森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARTRAY Co Ltd
Original Assignee
ARTRAY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ARTRAY Co Ltd filed Critical ARTRAY Co Ltd
Priority to JP2008105036A priority Critical patent/JP4329869B1/ja
Priority to PCT/JP2009/056569 priority patent/WO2009128340A1/ja
Application granted granted Critical
Publication of JP4329869B1 publication Critical patent/JP4329869B1/ja
Publication of JP2009260500A publication Critical patent/JP2009260500A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3676Training appliances or apparatus for special sports for golf for putting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/05Image processing for measuring physical parameters
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/807Photo cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】グリーンのアンジュレーションを視覚的に明瞭に認識できるコンパクトな装置を提供すること
【解決手段】このゴルフ練習支援カメラシステムは、ゴルフ場のグリーンやフェアウェイの撮影データから輝度情報及び偏光情報を抽出する第1の手段と、前記第1の手段から得られた輝度情報及び偏光情報から、輝度データ及び偏光データを含む画像を再構築する第2の手段と、前記輝度データ及び偏光データを含む画像を表示する第3の手段をとを備え、グリーンやフェアウェイの映像に、アンジュレーション情報を加えて表示したことを特徴とする。前記輝度情報及び偏光情報を抽出する第1の手段は、偏光子アレイと、CMOS/CCDとを有し、前記偏光子アレイは、隣接する4個の偏光子で1ユニットを構成する、画素ピッチ毎に透過軸を変えた複数個の偏光子から成るパターン化偏光素子である。
【選択図】 図8

Description

本発明は、ゴルフ練習支援カメラシステムに関する。更に具体的には、本発明は、ゴルファーが携帯可能で、ゴルフコースのグリーンやフェアウェイが波のようにうねっている起伏(「アンジュレーション(undulation)」という。)を視覚的に認識できるゴルフ練習支援カメラシステムに関する。
ゴルフ競技においてグリーン上でパッティングを行う際には、ホールまでの距離及び方向を定めボールをヒットする。このとき、ゴルファーは、ボールとホールの間のグリーンのアンジュレーションを見極めて、このアンジュレーションによるボールの転がり方向の変化を予測して、最終的にボールをヒットする方向を決定する。
なお、本発明者は、後述する様な偏光作用を利用してグリーンのアンジュレーションのイメージを形成するゴルフ練習支援カメラシステムを開示又は示唆する公開特許文献又は公開非特許文献の存在を知らない。
ゴルファーにとって、グリーンのアンジュレーションを正確に見極めることは大変に難しい。そこで、パッティングの練習の際に、グリーンのアンジュレーションを視覚的に明瞭に認識できるコンパクトな装置の開発が望まれていた。
かかる状況に鑑みて、本発明は、グリーンのアンジュレーションを視覚的に明瞭に認識できるコンパクトな装置を提供することを目的とする。
上記目的に鑑みて、本発明に係るゴルフ練習支援カメラシステムは、ゴルフ場のグリーンやフェアウェイの撮影データから輝度情報及び偏光情報を抽出する第1の手段と、前記第1の手段から得られた輝度情報及び偏光情報から、輝度データ及び偏光データを含む画像を再構築する第2の手段と、前記輝度データ及び偏光データを含む画像を表示する第3の手段をとを備え、グリーンやフェアウェイの映像に、アンジュレーション情報を加えて表示したことを特徴とする。
上記ゴルフ練習支援カメラシステムでは、前記輝度情報及び偏光情報を抽出する第1の手段は、偏光子アレイと、CMOS/CCDとを有し、前記偏光子アレイは、隣接する4個の偏光子で1ユニットを構成する、画素ピッチ毎に透過軸を変えた複数個の偏光子から成るパターン化偏光素子であってよい。
上記ゴルフ練習支援カメラシステムでは、輝度データ及び偏光データを含む画像を再構築する第2の手段は、画素毎に、輝度データを決定すると共に、1ユニット毎に偏光データを決定してもよい。
上記ゴルフ練習支援カメラシステムでは、前記ゴルフ練習支援カメラシステムは、ゴーグルタイプで構成されていいてもよい。
本発明によれば、グリーンのアンジュレーションを視覚的に明瞭に認識できるコンパクトな装置を提供することができる。
以下、本発明に係るゴルフ練習支援カメラシステムの実施形態に関して、添付の図面を参照しながら詳細に説明する。なお、素面において同じ要素に対しては同じ参照符号を付して、重複した説明を省略する。
図1は、ゴルフ練習支援カメラシステム1の全体を説明する図である。このゴルフ練習支援カメラシステム1は、カメラユニット20と表示装置30と備えている。
図2は、図1のゴルフ練習支援カメラシステム1のブロック図である。カメラユニット20は、パターン化偏光子2と、CMOS/CCD4と、前処理部6と、輝度及び偏光成分検出部8と、画像処理部10とを有している。表示装置30は、モニタであってよい。このモニタ30は、パーソナルコンピュータ等で通常使用される液晶表示装置、CRTであってよい。更に好ましくは、後述するような、ゴーグルタイプモニタ(図7参照)であってよい。
パターン化偏光子2は、画素ピッチ毎に透過軸を変えたパターン化偏光素子である。
CMOS/CCD4は、CMOSイメージセンサでも、CCDイメージセンサでもよい。CCDイメージセンサは、電荷結合デバイスとよばれ、ホトダイオードである受光部で入射光を信号電荷に変換して、この信号電荷をCCDによって転送するデバイスである。CMOSイメージセンサは、マトリクス状に配置された夫々の画素からの信号を水平方向のラインを選択するYアドレス回路からのスイッチング信号によって選択し、Xアドレス回路によって画素からの信号が順次1画素ずつ出力信号に読み出されて検出される。
これらパターン化偏光子2とCMOS/CCD4とによって、画素単位で輝度情報と偏光情報を処理可能な偏光イメージセンサが構成される。
図3(A)に示すように、パターン化偏光子2は、画素ピッチ毎に透過軸を変えたパターン化偏光素子である。図3に例示する偏光子アレイ12は、6行×8列の偏光子からなり、隣接する4個の偏光子で1ユニットを構成している。なお、実際のカメラユニットでは、例えば、画素数は1280×1024程度となっている。
例えば、図で見て右下の4個の偏光子から成る偏光子ユニット12aは、図3(B)に示すように、透過軸の異なる4種類の偏光子12−1〜12−4から成っている。偏光子は画像センサの各画素毎に配置され、これら4画素を比較検出することで偏光情報を判断する。画素数1280×1024の場合、有効偏光子は640×512画素程度となる。
第1の偏光子12−1は、垂直線に対して透過軸が角度ゼロである。第2の偏光子12−2は、垂直線に対して透過軸が角度45度である。第3の偏光子12−3は、垂直線に対して透過軸が角度90度である。第4の偏光子12−4は、垂直線に対して透過軸が角度135度である。各偏光子に対してCCD又はCMOSの1画素が対応している。これにより、CCD又はCMOSが感知する輝度情報に加えて、1ユニットの偏光子毎に4方向の偏光強度を感知することがでる。
前処理部6は、主として、CMOS/CCD4からの画素毎の輝度情報及び偏光情報をAD変換する。
輝度及び偏光成分検出部8は、CCD又はCMOS4が感知したデジタル輝度データに加えて、偏光成分を抽出して偏光データを生成する。ここで、輝度データは、CMOS/CCDの1画素単位で生成される。偏光データは、1ユニットの偏光子毎に、各偏光角の加重平均で1つの偏光データが決定される。具体的には、1ユニットを構成する4個の偏光子の偏光成分の振幅(強度)、無偏光成分の強度及び偏光角から決定される。
画像処理部10は、輝度データと偏光データを使用して、画像を再構築する。画像の再構成は二通りある。第1の方法は、各画素単位で輝度情報に加え、1ユニット単位で決定した偏光データを法線ベクトルで表示する方法である。
第2の方法は、可視光線スペクトルに偏光角度を対応させて、特定の偏光角度には1つの色彩(可視光)が定まるように規定し、この色彩で各画素を構築する方法である。可視光線スペクトルと偏光角度の対応は、画像処理部又はメモリにテーブルとして用意して、特定の偏光角度に対する色彩(RGB値)を決定することが出来るようにする。
第1の方法の画像再構築の例としては、図4(A)の丸い物体(被写体)14を従来のデジタルカメラで処理すると、図4(B)に示すように、画像16は輝度情報のみで構築される。しかし、図4(C)に示すように、このゴルフ練習支援カメラシステムで処理すると、輝度情報に加えて、1ユニット単位で決定された法線ベクトルを重ねて表示することにより偏光情報も表示する画像18とすることが出来る。
第2の方法の画像再構築の例としては、図5(A)の被写体を従来のカメラで撮影した画像を、このゴルフ練習支援カメラシステムで処理すると、図5(B)に示すように、輝度情報に、色彩の相違で偏光情報も表示する画像とすることが出来る。(なお、出願図面はモノクロに制限されているので、ここではモノクロであることをご理解願いたい。)
図6は、実際のゴルフ練習支援カメラシステムの前処理部以降のブロック図である。ブロックの主な部分は、FPGAコアによって構成さる。ここには、センサインターフェース22、メモリコントローラ24、イメージ処理部26、出力コントローラ28、DAC34、及び電源ユニット36が含まれている。更に、外部メモリ又は着脱自在なメモリカード32と外部電源38が加えられる。
センサインターフェース22は、所定のタイミングでCMOS/CCD4から画素毎のデジタル輝度データ及びデジタル偏光データを取り込む。メモリコントローラ24は、これらデータのメモリ32への書き込み及び読み出しを制御する。メモリ32は、デジタル輝度データ及びデジタル偏光データを記録する。メモリ32は、DDRメモリが好ましい。メモリ32から読み出されたデジタル輝度データ及びデジタル偏光データは、イメージ処理部26で、画素毎の輝度データ及び1ユニット毎の偏光データが決定される。更に、上述したように、輝度データと偏光データを使用して、画像が再構築される。これらのデータは、出力コントローラ28で所定のタイミングで出力され、DAC34にてアナログデータにされ、モニタ30に送られる。
図7は、このゴルフ練習支援カメラシステム1に好ましいゴーグルタイプモニタ40を図示する。このゴーグルタイプモニタ40は、基本的には、市販されているようなゴーグルタイプモニタである。更に、好ましくは、このゴーグルタイプモニタに対して、カメラユニット20を追加して、ゴルフ練習支援カメラシステム1とすることができる。
ゴーグルに対して、視線の先を撮影するようにカメラユニット20が位置決めされている。このカメラユニット20で撮影した映像が、ゴーグルの両目のレンズ位置にあるモニタ部分に表示される。
図8は、ゴルフのグリーン42の映像を、法線ベクトルを追加表示する第1の方法で画像再構築した例である。グリーンのアンジュレーションは、その傾斜によって太陽の反射光が変化して、偏光度も変化する。グリーンの輝度情報に加えて、偏光情報をも加えることにより、グリーンのアンジュレーションを視覚的に明瞭に認識することができる画像が再構築できる。更に、図7で示したようなゴーグルタイプのゴルフ練習支援カメラシステムとすれば、ゴルファーにとってパッティング練習に最適なコンパクトな訴ステムとなる。
以上説明したゴルフ練習支援カメラシステムの実施形態は、例示であって、本発明はこれに限定されない。当業者が容易に想起できる、この実施形態に対する追加・削除・変更・改良等は本発明の範囲内である。本発明の技術的範囲は、添付の特許請求の記載によって定められる。
図1は、ゴルフ練習支援カメラシステムの全体を説明する図である。 図2は、図1のゴルフ練習支援カメラシステムのブロック図である。 図3(A)は、画素ピッチ毎に透過軸を変えたパターン化偏光素子を説明する図である。図3(B)は、隣接する4個の偏光子で1ユニットが構成されることを説明する図である。 図4は、画像を再構築する第1の方法を説明する図である。図4(A)は、丸い物体(被写体)を示し、図4(B)は、この被写体を従来のカメラで撮影した画像を示し、図4(C)は、このゴルフ練習支援カメラシステムで処理した輝度情報に、法線ベクトルを重ねて表示した画像を示す図である。 図5は、画像を再構築する第2の方法を説明する図である。図5(A)は、この被写体を従来のカメラで撮影した画像を示し、図5(B)は、このゴルフ練習支援カメラシステムで処理した輝度情報に、色彩の相違で偏光情報も表示する画像を示す図である。 図6は、実際のゴルフ練習支援カメラシステムの前処理部以降のブロック図である。 図7は、このゴルフ練習支援カメラシステムに好ましいゴーグルタイプモニタを図示する。 図8は、ゴルフのグリーンの映像を、法線ベクトルを追加表示する第1の方法で画像再構築した例である。
符号の説明
1:ゴルフ練習支援カメラシステム、 2:パターン化偏光子、 4:CMOS/CCD,CMOSイメージセンサ,CCDイメージセンサ、 6:前処理部、 8:輝度及び偏光成分検出部、 10:画像処理部、 12:偏光子アレイ、 12a,12−1,12−2,12−3,12−4:偏光子ユニット、 14:物体,被写体、 16:画像、 18:画像、 20:カメラユニット、 22:センサインターフェース、 24:メモリコントローラ、 26:イメージ処理部、 28:出力コントローラ、 30:表示装置,モニタ,液晶表示装置,CRT、 32:メモリ,DDRメモリ、 34:DAC、 36:電源ユニット、 40:ゴーグルタイプモニタ、

Claims (4)

  1. ゴルフ場のグリーンやフェアウェイの撮影データから輝度情報及び偏光情報を抽出する第1の手段と、
    前記第1の手段から得られた輝度情報及び偏光情報から、輝度データ及び偏光データを含む画像を再構築する第2の手段と、
    前記輝度データ及び偏光データを含む画像を表示する第3の手段をとを備え、
    グリーンやフェアウェイの映像に、アンジュレーション情報を加えて表示したことを特徴とする、ゴルフ練習支援カメラシステム。
  2. 請求項1に記載のゴルフ練習支援カメラシステムにおいて、
    前記輝度情報及び偏光情報を抽出する第1の手段は、
    偏光子アレイと、
    CMOS/CCDとを有し、
    前記偏光子アレイは、隣接する4個の偏光子で1ユニットを構成する、画素ピッチ毎に透過軸を変えた複数個の偏光子から成るパターン化偏光素子である、ゴルフ練習支援カメラシステム。
  3. 請求項2に記載のゴルフ練習支援カメラシステムにおいて、
    輝度データ及び偏光データを含む画像を再構築する第2の手段は、
    画素毎に、輝度データを決定すると共に、1ユニット毎に偏光データを決定する、ゴルフ練習支援カメラシステム。
  4. 請求項1に記載のゴルフ練習支援カメラシステムにおいて、
    前記ゴルフ練習支援カメラシステムは、ゴーグルタイプで構成されている、ゴルフ練習支援カメラシステム。
JP2008105036A 2008-04-14 2008-04-14 ゴルフ練習支援カメラシステム Active JP4329869B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008105036A JP4329869B1 (ja) 2008-04-14 2008-04-14 ゴルフ練習支援カメラシステム
PCT/JP2009/056569 WO2009128340A1 (ja) 2008-04-14 2009-03-30 ゴルフ練習支援カメラシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008105036A JP4329869B1 (ja) 2008-04-14 2008-04-14 ゴルフ練習支援カメラシステム

Publications (2)

Publication Number Publication Date
JP4329869B1 JP4329869B1 (ja) 2009-09-09
JP2009260500A true JP2009260500A (ja) 2009-11-05

Family

ID=41149113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008105036A Active JP4329869B1 (ja) 2008-04-14 2008-04-14 ゴルフ練習支援カメラシステム

Country Status (2)

Country Link
JP (1) JP4329869B1 (ja)
WO (1) WO2009128340A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014185479A1 (en) * 2013-05-15 2014-11-20 Ricoh Company, Limited Image processing system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3386803B2 (ja) * 2001-06-20 2003-03-17 株式会社ソニー・コンピュータエンタテインメント 画像処理プログラム、画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体、画像処理方法、及び画像処理装置
JP4258841B2 (ja) * 2004-03-01 2009-04-30 株式会社セガ 画像表示プログラムおよび情報処理装置
JP2009021914A (ja) * 2007-07-13 2009-01-29 Sony Corp 撮像表示システム、撮像表示装置、撮像表示装置の制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014185479A1 (en) * 2013-05-15 2014-11-20 Ricoh Company, Limited Image processing system
JP2015109625A (ja) * 2013-05-15 2015-06-11 株式会社リコー 画像処理システム
US9674459B2 (en) 2013-05-15 2017-06-06 Ricoh Company, Limited Image processing system

Also Published As

Publication number Publication date
WO2009128340A1 (ja) 2009-10-22
JP4329869B1 (ja) 2009-09-09

Similar Documents

Publication Publication Date Title
CN103392335B (zh) 实时获取和显示图像的设备及方法
CN103501409B (zh) 一种超高分辨率全景高速球一体机系统
JP7170810B2 (ja) 撮像装置、画像生成方法およびコンピュータプログラム
TW201215165A (en) Increasing the resolution of color sub-pixel arrays
JP2005523596A (ja) ビデオ装置または写真装置のための画像の回転の修正
WO2009101767A1 (ja) 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム
WO2019082820A1 (ja) カメラシステム
JP5056501B2 (ja) 撮像装置及びこれに用いる欠陥画素補正方法
CN107154801A (zh) 信号处理设备和方法、摄像设备以及控制设备和方法
WO2019005575A1 (en) IMAGE SENSOR DEFECT DETECTION
JP4329869B1 (ja) ゴルフ練習支援カメラシステム
JP2020167600A (ja) 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ
US7212214B2 (en) Apparatuses and methods for interpolating missing colors
JP2011029903A (ja) 偏光子を付設したデジタルカメラシステム
JP2009302910A (ja) 撮像装置及び画像再生装置
JPS6051378A (ja) 固体撮像装置用画像欠陥補正装置
WO2017038428A1 (ja) 固体撮像素子および電子機器
JP2012520651A (ja) デジタルビデオカメラの欠陥画素検出器とそれに関連する方法
US20050001916A1 (en) Imaging device
JP3151031U (ja) ゴルフ練習におけるインパクトの瞬間を捉えるカメラシステム
JP6186573B2 (ja) 画像処理装置及び画像処理方法
CN102291533A (zh) 视频采集方法
JP2010178281A (ja) 撮像装置
JP2018129720A (ja) 撮影装置、撮影方法およびプログラム
JP2009273146A (ja) デジタルカメラ

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090608

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4329869

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120626

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120626

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120626

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130626

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130626

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130626

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250