JP2007208425A - 識別領域を示す表示を画像と共に表示させる表示方法、コンピュータ装置に実行させるプログラム、および、撮像装置 - Google Patents
識別領域を示す表示を画像と共に表示させる表示方法、コンピュータ装置に実行させるプログラム、および、撮像装置 Download PDFInfo
- Publication number
- JP2007208425A JP2007208425A JP2006022507A JP2006022507A JP2007208425A JP 2007208425 A JP2007208425 A JP 2007208425A JP 2006022507 A JP2006022507 A JP 2006022507A JP 2006022507 A JP2006022507 A JP 2006022507A JP 2007208425 A JP2007208425 A JP 2007208425A
- Authority
- JP
- Japan
- Prior art keywords
- identification
- display
- identification area
- area
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
【解決手段】 主被写体の移動方向に応じて、識別表示の位置の追従応答特性を異ならせる。主被写体が歩行していると判定すれば、主被写体の上下移動に対する追従応答特性を他の方向への移動に対する追従応答特性よりも低くする。
【選択図】 図4
Description
特開2003−107335号公報では、画像データから形状解析等の手法によって主被写体を自動的に検出し、検出された主被写体に対して焦点検出エリアを表示する。そして、この焦点検出エリアに対して焦点調節動作を行わせる方法が開示されている。特開2004−317699号公報では、画像データから特徴点を抽出することで主被写体である顔の存在する領域を識別し、この領域の大きさに応じて焦点検出エリアを設定する方法が開示されている。また、特開2004−320286号公報では、画像データから特徴点を抽出することで顔の存在する領域を識別し、この領域の大きさに応じてズーム駆動を行う方法が開示されている。
尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
図1は、本発明の実施の形態に係る撮像装置100の構成を示すブロック図である。本実施の形態では、主被写体の識別領域を表示する機能を有する機器として、電子スチルカメラを例にあげて説明を行うが、動画を処理するものであればビデオカメラや監視カメラ等の他の装置であってもよい。
更に、ステップS110で、システム制御回路112は撮像素子103にて得られた画像データをもとに生成した画像を逐次表示する観察表示状態に設定する。この観察表示状態では、メモリ108に逐次書き込まれたデータを表示装置110により逐次表示することにより、表示装置110が電子的なファインダとして機能する。
次にステップS117で、シャッタースイッチSW2が押されずに、シャッタースイッチSW1が解除されるとことを検知するとステップS103に戻る。
一方、ステップS117でシャッタースイッチSW2が押されるとステップS119に進む。
ステップS121では、システム制御回路112は、メモリ108に書き込まれた保存用の画像データを読み出して、メモリ制御回路106、及び必要に応じてデジタル信号処理回路107を用いて各種画像処理を実行させる。また、システム制御回路112は、画像圧縮処理を行わせた後、記憶媒体へ圧縮した保存用の画像データの書き込みを行う記録処理を実行する。
ステップS121の記録処理が終了した後、ステップS122で、シャッタースイッチSW2が押された状態かどうかを調べる。シャッタースイッチSW2が押された状態であればステップS123に進み、システム制御回路112は、システム制御回路112の内部メモリ或いはメモリ108に記憶される連写フラグの状態を判断する。ここで連写フラグがオンであれば、システム制御回路112は連続して撮像を行うためにステップS119に進み、次の映像の撮像を行う。ステップS123で、連写フラグがオンでなければ、システム制御回路112はステップS122に進み、シャッタースイッチSW2がオフされるまでステップS122、S123の処理を繰り返す。
ステップS204では、表示制御回路117はメモリ108に書き込まれた表示用の画像データに、ステップS112にて得られた識別領域の座標をもとに形成した識別表示を合成するようデジタル信号処理回路107に指示を出す。そしてデジタル信号処理回路107によって合成された画像データから生成された画像を表示装置110に表示させてこのフローチャートを抜ける。
次に、図3のステップS113における識別領域の表示処理の別の実施の形態について説明する。図4のフローチャートではY軸方向における識別領域の変位が歩行の上下運動によるものだと判定された場合には、Y軸方向における識別領域を示す識別表示の位置の更新周期を長くした。これに対して本実施の形態ではY軸方向における識別表示の位置と識別領域の距離に対する識別表示の移動距離の割合をX軸方向におけるものよりも小さくする。すなわち、Y軸方向での追従速度をX軸方向での追従速度よりも下げ、Y軸方向における識別表示の位置の変化をなだらかにすることで、主被写体の移動方向によって識別表示の追従応答特性を異ならせる。
図3のステップS113における識別領域の表示処理のさらに別の実施の形態について説明する。図5のフローチャートではY軸方向における識別表示の中心座標を更新するか維持するかの判定を、X軸方向における判定と同じ基準値A1と比較して行った。これに対して本実施の形態ではY軸方向における識別表示の中心座標を更新するか維持するかの判定を、X軸方向における判定とは異なる基準値A2を用いることで、主被写体の移動方向によって識別表示の追従応答特性を異ならせる。
図3のステップS113における識別領域の表示処理のさらに別の実施の形態について説明する。本実施の形態では、識別領域の大きさの変化を判定する点、および、撮像素子103の姿勢を判定する点が上述の実施の形態とは異なる。
上述の実施の形態では撮像装置100を例にあげて説明を行ったが、本発明は撮像装置以外でも実施することが可能である。
101 対物レンズ群
102 光量調節装置
103 撮像素子
104 アナログ信号処理回路
105 A/D変換器
106 メモリ制御回路
107 デジタル信号処理回路
108 メモリ
109 D/A変換器
110 表示装置
111 インターフェース
112 システム制御回路
113 露出制御回路
114 焦点制御回路
115 被写体識別回路
116 姿勢検知回路
117 表示制御回路
Claims (18)
- 画像データから識別対象としての条件を満たす識別領域を求め、前記識別領域の移動に追従させて、前記識別領域を示す識別表示を前記画像データを基に生成される画像と共に表示手段に表示させる表示方法において、
前記識別領域の移動方向に応じて、前記識別領域の移動に対する前記識別表示の位置の追従応答特性を異ならせることを特徴とする表示方法。 - 前記識別領域の移動方向に応じて、前記識別表示の位置の更新周期を異ならせることを特徴とする請求項1に記載の表示方法。
- 前記識別領域の移動方向に応じて、前記識別表示の位置と前記識別領域の距離に対する、前記識別表示の移動距離の割合を異ならせることを特徴とする請求項1に記載の表示方法。
- 前記識別表示の位置と前記識別領域との距離が基準値を越えた場合に前記識別表示の位置を更新し、前記識別領域の移動方向に応じて、前記基準値を異ならせることを特徴とする請求項1に記載の表示方法。
- 前記識別領域の移動方向を少なくとも二つに分離し、前記対象物の上下運動に沿うとみなされる移動方向における前記識別表示の位置の更新周期を、他の移動方向における識別表示の位置の更新周期よりも長くすることを特徴とする請求項2に記載の表示方法。
- 前記識別領域の移動方向を少なくとも二つに分離し、前記対象物の上下運動に沿うとみなされる移動方向における前記識別表示の位置と前記識別領域の距離に対する前記識別表示の移動距離の割合を、他の移動方向における前記識別表示の位置と前記識別領域の距離に対する前記識別表示の移動距離の割合よりも小さくすることを特徴とする請求項3項に記載の表示方法。
- 前記識別領域の移動方向を少なくとも二つに分離し、前記対象物の上下運動に沿うとみなされる移動方向における前記基準値を、他の移動方向における前記基準値よりも大きくすることを特徴とする請求項4に記載の表示方法。
- 前記画像データを生成するための撮像素子の姿勢情報を取得し、前記姿勢情報と前記識別領域の移動方向に応じて、前記識別表示の位置の更新方法を異ならせることを特徴とする請求項1に記載の表示方法。
- 前記画像データを生成するための撮像素子に結像させるレンズの焦点距離情報と前記識別領域の移動方向に応じて、前記識別表示の位置の更新方法を異ならせることを特徴とする請求項1に記載の表示方法。
- 識別対象としての条件を満たす対象物とは歩行運動を行う生物であることを特徴とする請求項1から9のいずれかに記載の表示方法。
- 画像データから識別対象としての条件を満たす識別領域を求め、前記識別領域の移動に追従させて、前記識別領域を示す識別表示を前記画像データを基に生成される画像と共に表示手段に表示させるステップをコンピュータ装置に実行させるプログラムにおいて、
前記識別領域の移動方向に応じて、前記識別領域の移動に対する前記識別表示の位置の追従応答特性を異ならせるステップを備えることを特徴とするコンピュータ装置に実行させるプログラム。 - 前記識別領域の移動方向に応じて、前記識別表示の位置の更新周期を異ならせるステップを備えることを特徴とする請求項11に記載のコンピュータ装置に実行させるプログラム。
- 前記識別領域の移動方向に応じて、前記識別表示の位置と前記識別領域の距離に対する、前記識別表示の移動距離の割合を異ならせるステップを備えることを特徴とする請求項11に記載のコンピュータ装置に実行させるプログラム。
- 前記識別表示の位置と前記識別領域との距離が基準値を越えた場合に前記識別表示の位置を更新し、前記識別領域の移動方向に応じて、前記基準値を異ならせるステップを備えることを特徴とする請求項11に記載のコンピュータ装置に実行させるプログラム。
- 撮像素子から得られる画像データから識別対象としての条件を満たす識別領域を求め、前記識別領域の移動に追従させて、前記識別領域を示す識別表示を前記画像データを基に生成される画像と共に表示する撮像装置において、
前記識別領域の移動方向に応じて、前記識別領域の移動に対する前記識別表示の位置の追従応答特性を異ならせることを特徴とする撮像装置。 - 前記識別領域の移動方向に応じて、前記識別表示の位置の更新周期を異ならせることを特徴とする請求項15に記載の撮像装置。
- 前記識別領域の移動方向に応じて、前記識別表示の位置と前記識別領域の距離に対する、前記識別表示の移動距離の割合を異ならせることを特徴とする請求項15に記載の撮像装置。
- 前記識別表示の位置と前記識別領域との距離が基準値を越えた場合に前記識別表示の位置を更新し、前記識別領域の移動方向に応じて、前記基準値を異ならせることを特徴とする請求項15に記載の撮像装置。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006022507A JP4290164B2 (ja) | 2006-01-31 | 2006-01-31 | 識別領域を示す表示を画像と共に表示させる表示方法、コンピュータ装置に実行させるプログラム、および、撮像装置 |
US11/622,131 US7826639B2 (en) | 2006-01-31 | 2007-01-11 | Method for displaying an identified region together with an image, program executable in a computer apparatus, and imaging apparatus |
EP20070001929 EP1814316A3 (en) | 2006-01-31 | 2007-01-30 | Method for displaying an identified region together with an image, and imaging apparatus |
EP12152747.7A EP2448250B1 (en) | 2006-01-31 | 2007-01-30 | Method for displaying an identified region together with an image, and imaging apparatus |
EP12152744.4A EP2448249B1 (en) | 2006-01-31 | 2007-01-30 | Method for displaying an identified region together with an image, and imaging apparatus |
CN2007100004125A CN101014095B (zh) | 2006-01-31 | 2007-01-31 | 用于显示识别区域和图像的方法及摄像设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006022507A JP4290164B2 (ja) | 2006-01-31 | 2006-01-31 | 識別領域を示す表示を画像と共に表示させる表示方法、コンピュータ装置に実行させるプログラム、および、撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007208425A true JP2007208425A (ja) | 2007-08-16 |
JP4290164B2 JP4290164B2 (ja) | 2009-07-01 |
Family
ID=38044571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006022507A Active JP4290164B2 (ja) | 2006-01-31 | 2006-01-31 | 識別領域を示す表示を画像と共に表示させる表示方法、コンピュータ装置に実行させるプログラム、および、撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7826639B2 (ja) |
EP (3) | EP2448249B1 (ja) |
JP (1) | JP4290164B2 (ja) |
CN (1) | CN101014095B (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009105705A (ja) * | 2007-10-24 | 2009-05-14 | Fujifilm Corp | 撮像装置およびその動作制御方法 |
JP2011193496A (ja) * | 2011-04-20 | 2011-09-29 | Casio Computer Co Ltd | 撮像装置、撮像方法及び撮像プログラム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5003377B2 (ja) * | 2007-09-21 | 2012-08-15 | パナソニック株式会社 | 電子機器におけるマークの位置あわせ方法 |
KR20090036734A (ko) * | 2007-10-10 | 2009-04-15 | 삼성전자주식회사 | 화상 통신단말기 및 그 화상 통신단말기의 화상카메라트래킹 방법 |
JP5800600B2 (ja) * | 2011-06-24 | 2015-10-28 | オリンパス株式会社 | 撮像装置、撮像方法およびプログラム |
CN102223483B (zh) * | 2011-06-25 | 2013-06-26 | 北京汉王智通科技有限公司 | 调整道路交通监控设备位置的方法和装置 |
JP2014150476A (ja) * | 2013-02-04 | 2014-08-21 | Olympus Imaging Corp | 撮影装置、画像処理方法、及び、画像処理プログラム |
US20150230859A1 (en) * | 2014-02-19 | 2015-08-20 | Kevin Mauch | Bi-directional deployment of neuromodulation devices and associated systems and methods |
JP6832504B2 (ja) * | 2016-08-08 | 2021-02-24 | パナソニックIpマネジメント株式会社 | 物体追跡方法、物体追跡装置およびプログラム |
CN113163254B (zh) * | 2021-04-06 | 2023-03-28 | 广州津虹网络传媒有限公司 | 直播图像处理方法、装置及电子设备 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1994017636A1 (en) * | 1993-01-29 | 1994-08-04 | Bell Communications Research, Inc. | Automatic tracking camera control system |
JP3279913B2 (ja) | 1996-03-18 | 2002-04-30 | 株式会社東芝 | 人物認証装置、特徴点抽出装置及び特徴点抽出方法 |
JPH10162118A (ja) | 1996-11-29 | 1998-06-19 | Canon Inc | 画像処理装置及び方法 |
JP3469031B2 (ja) | 1997-02-18 | 2003-11-25 | 株式会社東芝 | 顔画像登録装置及びその方法 |
JP2000048184A (ja) | 1998-05-29 | 2000-02-18 | Canon Inc | 画像処理方法及び顔領域抽出方法とその装置 |
AUPP839199A0 (en) * | 1999-02-01 | 1999-02-25 | Traffic Pro Pty Ltd | Object recognition & tracking system |
JP2003107335A (ja) | 2001-09-28 | 2003-04-09 | Ricoh Co Ltd | 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム |
US7298412B2 (en) | 2001-09-18 | 2007-11-20 | Ricoh Company, Limited | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
US7130446B2 (en) * | 2001-12-03 | 2006-10-31 | Microsoft Corporation | Automatic detection and tracking of multiple individuals using multiple cues |
KR100459893B1 (ko) * | 2002-01-08 | 2004-12-04 | 삼성전자주식회사 | 동영상에서 칼라 기반의 객체를 추적하는 방법 및 그 장치 |
CN1274146C (zh) * | 2002-10-10 | 2006-09-06 | 北京中星微电子有限公司 | 运动图像检测方法 |
JP2004320286A (ja) | 2003-04-15 | 2004-11-11 | Nikon Gijutsu Kobo:Kk | デジタルカメラ |
US20040207743A1 (en) | 2003-04-15 | 2004-10-21 | Nikon Corporation | Digital camera system |
JP2004317699A (ja) | 2003-04-15 | 2004-11-11 | Nikon Gijutsu Kobo:Kk | デジタルカメラ |
US6882959B2 (en) * | 2003-05-02 | 2005-04-19 | Microsoft Corporation | System and process for tracking an object state using a particle filter sensor fusion technique |
US7899208B2 (en) * | 2004-01-06 | 2011-03-01 | Sony Corporation | Image processing device and method, recording medium, and program for tracking a desired point in a moving image |
JP4525089B2 (ja) * | 2004-01-27 | 2010-08-18 | フジノン株式会社 | オートフォーカスシステム |
DE102004015806A1 (de) * | 2004-03-29 | 2005-10-27 | Smiths Heimann Biometrics Gmbh | Verfahren und Anordnung zur Aufnahme interessierender Bereiche von beweglichen Objekten |
US7929017B2 (en) * | 2004-07-28 | 2011-04-19 | Sri International | Method and apparatus for stereo, multi-camera tracking and RF and video track fusion |
CN101398890B (zh) * | 2004-08-03 | 2010-12-08 | 松下电器产业株式会社 | 人物判定装置 |
KR100668303B1 (ko) * | 2004-08-04 | 2007-01-12 | 삼성전자주식회사 | 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법 |
US7706571B2 (en) * | 2004-10-13 | 2010-04-27 | Sarnoff Corporation | Flexible layer tracking with weak online appearance model |
-
2006
- 2006-01-31 JP JP2006022507A patent/JP4290164B2/ja active Active
-
2007
- 2007-01-11 US US11/622,131 patent/US7826639B2/en not_active Expired - Fee Related
- 2007-01-30 EP EP12152744.4A patent/EP2448249B1/en not_active Not-in-force
- 2007-01-30 EP EP20070001929 patent/EP1814316A3/en not_active Withdrawn
- 2007-01-30 EP EP12152747.7A patent/EP2448250B1/en not_active Not-in-force
- 2007-01-31 CN CN2007100004125A patent/CN101014095B/zh not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009105705A (ja) * | 2007-10-24 | 2009-05-14 | Fujifilm Corp | 撮像装置およびその動作制御方法 |
JP2011193496A (ja) * | 2011-04-20 | 2011-09-29 | Casio Computer Co Ltd | 撮像装置、撮像方法及び撮像プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP2448250A2 (en) | 2012-05-02 |
EP2448250A3 (en) | 2012-07-11 |
US20070177765A1 (en) | 2007-08-02 |
EP2448250B1 (en) | 2016-01-06 |
EP1814316A2 (en) | 2007-08-01 |
US7826639B2 (en) | 2010-11-02 |
EP2448249A2 (en) | 2012-05-02 |
CN101014095A (zh) | 2007-08-08 |
JP4290164B2 (ja) | 2009-07-01 |
EP2448249B1 (en) | 2016-01-06 |
CN101014095B (zh) | 2012-05-02 |
EP1814316A3 (en) | 2011-05-25 |
EP2448249A3 (en) | 2012-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4290164B2 (ja) | 識別領域を示す表示を画像と共に表示させる表示方法、コンピュータ装置に実行させるプログラム、および、撮像装置 | |
JP4182117B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
US9479692B2 (en) | Image capturing apparatus and method for controlling the same | |
JP4254873B2 (ja) | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム | |
JP4350725B2 (ja) | 画像処理方法、画像処理装置、及び、画像処理方法をコンピュータに実行させるためのプログラム | |
CN106575027B (zh) | 摄像装置及其被摄体跟踪方法 | |
JP4914045B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
US20120275648A1 (en) | Imaging device and imaging method and program | |
US20080122939A1 (en) | Image capturing apparatus and control method therefor | |
JP2004317699A (ja) | デジタルカメラ | |
JP2007081682A (ja) | 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム | |
JP2004320286A (ja) | デジタルカメラ | |
CN116055844B (zh) | 一种跟踪对焦方法、电子设备和计算机可读存储介质 | |
JP2004320285A (ja) | デジタルカメラ | |
JP2008028747A (ja) | 撮像装置及びそのプログラム | |
JP2007067934A (ja) | 撮像装置及びその制御方法 | |
JP2014033265A (ja) | 撮像装置、撮像方法およびプログラム | |
JP2021132362A (ja) | 被写体追尾装置、被写体追尾方法、コンピュータプログラム及び記憶媒体 | |
JP5448868B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP5111293B2 (ja) | 撮像装置及びその制御方法 | |
JP4773924B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
JP5088612B2 (ja) | 撮像装置、撮像装置の処理実行方法及びそのプログラム | |
JP7110657B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20230370714A1 (en) | Image processing apparatus, image processing method, and image capture apparatus | |
JP2003191189A (ja) | ロボット装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090317 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090331 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4290164 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120410 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130410 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130410 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140410 Year of fee payment: 5 |