JP2007065324A - 焦点検出用固体撮像装置及び、同装置を用いたカメラシステム - Google Patents

焦点検出用固体撮像装置及び、同装置を用いたカメラシステム Download PDF

Info

Publication number
JP2007065324A
JP2007065324A JP2005251656A JP2005251656A JP2007065324A JP 2007065324 A JP2007065324 A JP 2007065324A JP 2005251656 A JP2005251656 A JP 2005251656A JP 2005251656 A JP2005251656 A JP 2005251656A JP 2007065324 A JP2007065324 A JP 2007065324A
Authority
JP
Japan
Prior art keywords
area
sensor
focus detection
pixels
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005251656A
Other languages
English (en)
Other versions
JP2007065324A5 (ja
JP4886248B2 (ja
Inventor
Daisuke Inoue
大介 井上
Hidekazu Takahashi
秀和 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005251656A priority Critical patent/JP4886248B2/ja
Priority to US11/499,719 priority patent/US7577349B2/en
Publication of JP2007065324A publication Critical patent/JP2007065324A/ja
Publication of JP2007065324A5 publication Critical patent/JP2007065324A5/ja
Application granted granted Critical
Publication of JP4886248B2 publication Critical patent/JP4886248B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】 位相差検出型の多点オートフォーカスを行うエリア型焦点検出用固体撮像装置は、広い領域における多点の高速高精度オートフォーカスに用いられる反面、チップ面積の増大によるコストアップが問題となる。
【解決手段】 本発明によれば、エリアセンサ内の特定画素の受光面積を、同一エリアセンサ内の他画素の受光面積より大きくする。それにより、センサ感度が向上し、かつチップ面積の増大も最小限に抑えられるため、安価で高精度なAFセンサが実現できた。
【選択図】 図1

Description

本発明は、位相差検出型オートフォーカスを行う固体撮像装置に関する。特に本発明は、デジタルカメラもしくはアナログ(銀塩)カメラ等に用いられる焦点検出(以下AFとも表現する)用固体撮像装置(AFセンサー)に関するものである。
従来におけるエリア型の位相差検出型オートフォーカスを行う焦点検出用固体撮像装置のレイアウトを図2に示す。このエリア型の位相差検出型AFセンサは本出願人により特許文献1、および、特許文献2で開示されたものである。
同図において、チップはCMOSプロセス等によって同一半導体基板上に形成されており、201のセンサ回路ブロック及び202のアナログ回路ブロック及び203のデジタル回路ブロックから構成されている。エリアセンサ204、205、206、207の画素はフォトダイオード等の光電変換素子を有し、これらを2次元状に配列することで被写体を撮像する撮像領域を形成している。位相差検出型のAFセンサは2つの被写体の位相差を検出して焦点検出を行うためA像(基準部)とB像(参照部)の撮像領域が必要となる。
204のエリアセンサ1のA像に対して、B像としての205のエリアセンサ1’が光学中心214(センサ中心ともいう)を通る垂直線に対して対称に配置されている。また、206のエリアセンサ2のA像に対して、B像としての207のエリアセンサ2’が光学中心214を通る水平線に対して対称に配置されている。エリアセンサ1及びエリアセンサ1’の画素数と画素サイズは同一である。画素サイズは13.6um×101.6umであり、画素数は56個×18行配列されている。エリアセンサ2及びエリアセンサ2’の画素数と画素サイズは同一である。画素サイズは、13.6um×73.6umであり、画素数は145個×42列配列されている。また、アナログ回路ブロックにおける208はAFセンサの蓄積時間によって信号出力回路のゲインを自動コントロールするためのAGC回路、209はAFセンサの光電変換信号を増幅して出力するための信号増幅回路である。更に、210はセンサ駆動に必要な基準電圧を発生させる電源回路である。また、デジタル回路ブロックにおける211はAFセンサの蓄積時間情報やゲイン設定値等を保持するためのSRAM、212はアナログ信号を選択してモニタ出力するためのマルチプレクサ回路、213はタイミングジェネレータ及びI/Oである。
特開平11−191867号公報 特開2005−109370号公報
上記の位相差検出型オートフォーカスを行う焦点検出用固体撮像装置は広い領域における多検出点の高速高精度オートフォーカスに用いられる反面、チップ面積の増大によるコストアップが問題となる。これは、画素数が少なく画素面積を増大させた場合において配列が比較的自由であるライン型のAFセンサにはなかったエリア型AFセンサ特有の課題である。例えば図2において輝度が低い(暗い)条件下でのオートフォーカス性能を上げる場合を考える。その場合は、感度を向上させる目的でエリアセンサ1及びエリアセンサ1’のフォトダイオード面積を一様に大きくすると、現状のチップには収まらず、チップ面積が増大してしまう。そのためコストアップしてしまい実用化できなかった。
上記課題を解決するために本発明では、同一画素領域内で異なる受光面積を有する画素を設けることを特徴としている。具体的には、ある特定の列の画素の受光面積を他の列の画素の受光面積よりも大きくする。受光面積が大きい画素は、位相差検出を行う対を形成することによって、チップ面積の増大を最小限に抑えながら感度を向上させるものである。また、本発明では垂直及び水平方向への転送回路等の周辺回路の相対精度をレイアウトの観点から良くするために横方向の画素ピッチは共通として、縦方向にのみ画素面積を増大させることを特徴としている。さらに本発明では最も使用頻度が高い光学中心を通る直線に接する1列または複数列の画素面積を増大させることを特徴としている。言い換えれば、複数の焦点検出点の中で、空間的に最も中央に位置している点の焦点検出を行う画素を、前記受光面積が大きい画素とすることを特徴とする。
以上説明したように、本発明によればエリアセンサの同一領域内で、ある特定列の画素の受光面積を他の列のそれより増大させる。そして、受光面積が大きい画素は、位相差検出を行う対を形成することでセンサ感度が向上し、かつチップ面積の増大も最小限に抑えられるため、安価で高精度なAFセンサが実現できた。
以下、本発明における実施の形態について図面を用いて詳しく説明する。
なお、以下に述べる実施の形態は、それぞれ、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の技術的範囲はこれらの形態に限られるものではない。
(第1の実施形態)
図1は本発明における実施例を説明するための模式図であり、CMOSプロセス等によって同一半導体基板上に形成されている。101は焦点検出を行うためのAFセンサ回路ブロック、102はアナログ回路ブロック、103はデジタル回路ブロックである。エリアセンサ104、105、106、107の画素はフォトダイオード等の光電変換素子を有し、これらを2次元状に配列することで被写体を撮像する撮像領域を形成している。上記2次元状に画素配列された撮像領域対は、その中の各ラインセンサ対毎に、そのセンサ対が結ぶ中央の位置に光学的に結像された像の焦点検出を行う。従って、本発明は複数の点の焦点検出を行うことができる。位相差検出型のAFセンサは2つの被写体の位相差を検出して測距を行うためA像(基準部)とB像(参照部)の撮像領域が必要となる。104のエリアセンサ1のA像に対して、B像としての105のエリアセンサ1’が光学中心114を通る垂直線に対して対称に配置されている。また、106のエリアセンサ2のA像に対して、B像としての107のエリアセンサ2’が光学中心114を通る水平線に対して対称に配置されている。エリアセンサ1及びエリアセンサ1’の画素数は、それぞれ249個×18行配列されているが、うち16行は画素サイズが同一で約13um×93umである。エリアセンサ1及びエリアセンサ1’において光学中心114を通る水平線に接する2行は、受光面積が大きい画素を有する。その2行の画素のサイズは約13um×140umであり、他の16行に設けられた画素と横方向のピッチは同じにする。その結果、光学中心114を通る水平線に接する2行に設けられた画素は、他の16行の画素サイズに対して約1.5倍のフォトダイオード面積を有している。
言い換えれば、複数の焦点検出点の中で、空間的に最も中央に位置する点の焦点検出を行う画素の受光面積を大きくすることとなる。したがって、最も使用頻度が高い画素の感度を大きくすることで、全体として高精度なオートフォーカスを実現することができる。
エリアセンサ2及びエリアセンサ2’の画素サイズは同一で約13um×69umである。画素数は149個×42列配列されている。本実施形態ではエリアセンサ2及びエリアセンサ2’の全ての画素サイズを同一にしている。しかしながら、エリアセンサ1及びエリアセンサ1’のように光学中心114を通る垂直線に接する2列を受光面積を増大させた画素列としてもよい。
また、アナログ回路ブロックにおける108はAFセンサの蓄積時間によって信号出力回路のゲインを自動コントロールするためのAGC回路、109はAFセンサの光電変換信号を増幅して出力するための信号増幅回路である。続いて、110はセンサ駆動に必要な基準電圧を発生させる電源回路、115は蓄積打ち切り電圧を外部より設定するためのデジタル・アナログ変換器、116はチップの温度を測るための温度計回路である。また、デジタル回路ブロックにおける111はAFセンサの蓄積情報やゲイン設定値等を保持するためのSRAM、112はアナログ信号を選択してモニタ出力するためのマルチプレクサ回路である。続いて、113はタイミングジェネレータ及びI/Oである。
101のAFセンサ回路ブロックは位相差検出方式によるオートフォーカスを行うために、例えばエリアセンサ1(A像)とエリアセンサ1’(B像)のようにエリアセンサブロックが一対で配置されている。それぞれのエリアセンサ上には結像レンズが設けられ、被写体像はそれぞれのエリアセンサ上に結像される。エリアセンサ上の結像位置と結像レンズの焦点距離と結像レンズの間隔(基線長)により被写体までの距離が算出できる。
本実施形態において、横目に配置されたエリアセンサ1及びエリアセンサ1’の中央2行の受光面積を約1.5倍にすることによって感度も約1.5倍に向上した。したがって、低輝度条件下での中央行におけるオートフォーカス性能が向上した。また、チップ面積も従来とほぼ同等の大きさであるため低コスト化できた。また、横方向の画素ピッチは他の行の画素と同じくすることによって、他の行に対する出力信号の相対精度も良く、高精度のオートフォーカスセンサが実現した。
(第2の実施形態)
図3は本発明を用いるTTL−SIR(Through The Lens―2次結像位相差検出)型オートフォーカスシステムを搭載した一眼レフカメラの光学系概略図を示している。同図において、40は被写体像をフィルム上やイメージセンサ上に一時結像させるための撮影レンズ、41はファインダースクリーン42へ光を反射させるためのクイックリターンミラーであり、光を数10%透過するハーフミラーとなっている。43はAF系へ光を導くためのサブミラー、44は本発明の焦点検出用固体撮像装置、45はAFセンサ上に被写体像を再結像させるための二次結像レンズ(メガネレンズ)、46はAFセンサ44へ光を導く反射ミラーである。続いて、47はフォーカルプレーンシャッター、48はフィルム又はイメージセンサ、49は光線の主軸を示している。
本実施形態において、第1の実施形態に記載の焦点検出用固体撮像装置を用いることで、従来以上の低輝度限界を達成し、且つ低コストな一眼レフカメラの実現が可能となった。
本実施例はアナログカメラ、デジタルカメラを問わず、TTL−SIR型AFカメラであれば、本発明が適用できることは明らかである。
本発明の第1の実施形態を示す代表的な図である。 従来の例を示すブロック図である。 本発明の第2の実施形態を示す代表的な図である。
符号の説明
40 撮像レンズ
41 クイックリターンミラー
42 ファインダースクリーン
43 サブミラー
44 焦点検出用固体撮像装置
45 二次結像レンズ
46 反射ミラー
47 フォーカルプレーンシャッター
48 フィルム又はイメージセンサ
49 光軸
101、201 センサ回路ブロック
102、202 アナログ回路ブロック
103、203 デジタル回路ブロック
104、204 エリアセンサ1
105、205 エリアセンサ1´
106、206 エリアセンサ2
107、207 エリアセンサ2´
108、208 AGC回路
109、209 信号増幅回路
110、210 電源回路
111、211 SRAM
112、212 マルチプレクサ回路
113、213 TG及びI/O
114、214 光学中心
115 DA変換器
116 温度計回路

Claims (5)

  1. 光電変換を行う光電変換素子を有する画素を2次元状に配列した画素領域を、少なくとも一対有する、位相差検出型の焦点検出用固体撮像装置において、
    前記一対の画素領域は、それぞれ同じ画素領域内の他の画素と比べて受光面積が大きい複数の画素を有し、前記受光面積が大きい複数の画素は、位相差検出を行う対を形成していることを特徴とする位相差検出型の焦点検出用固体撮像装置。
  2. 前記受光面積が大きい複数の画素は、列又は行状に配列されていることを特徴とする請求項1に記載の焦点検出用固体撮像装置。
  3. 前記受光面積が大きい複数の画素は、前記画素領域対を形成する方向において、前記同じ画素領域内の他の画素と画素ピッチ同じであることを特徴とする請求項2に記載の焦点検出用固体撮像装置。
  4. 複数の焦点検出点の中で、空間的に最も中央に位置している点の焦点検出を行う画素は、前記受光面積が大きい画素であることを特徴とする請求項2に記載の焦点検出用固体撮像装置。
  5. 請求項1〜4の何れかに1項に記載の固体撮像装置を具備することを特徴としたカメラシステム。
JP2005251656A 2005-08-31 2005-08-31 焦点検出用固体撮像装置及び、同装置を用いたカメラシステム Expired - Fee Related JP4886248B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005251656A JP4886248B2 (ja) 2005-08-31 2005-08-31 焦点検出用固体撮像装置及び、同装置を用いたカメラシステム
US11/499,719 US7577349B2 (en) 2005-08-31 2006-08-07 Focus detecting device and camera system using the same device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005251656A JP4886248B2 (ja) 2005-08-31 2005-08-31 焦点検出用固体撮像装置及び、同装置を用いたカメラシステム

Publications (3)

Publication Number Publication Date
JP2007065324A true JP2007065324A (ja) 2007-03-15
JP2007065324A5 JP2007065324A5 (ja) 2008-10-09
JP4886248B2 JP4886248B2 (ja) 2012-02-29

Family

ID=37804233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005251656A Expired - Fee Related JP4886248B2 (ja) 2005-08-31 2005-08-31 焦点検出用固体撮像装置及び、同装置を用いたカメラシステム

Country Status (2)

Country Link
US (1) US7577349B2 (ja)
JP (1) JP4886248B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010021342A3 (ja) * 2008-08-19 2010-05-06 ローム株式会社 カメラ
CN102375212A (zh) * 2010-08-18 2012-03-14 佳能株式会社 焦点检测装置
US8378285B2 (en) 2009-02-27 2013-02-19 Canon Kabushiki Kaisha Photoelectric conversion apparatus

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005300844A (ja) * 2004-04-09 2005-10-27 Canon Inc オートフォーカス用固体撮像装置とそれを用いたオートフォーカスカメラ
JP2006064956A (ja) * 2004-08-26 2006-03-09 Canon Inc オートフォーカス用固体撮像装置とそれを用いたオートフォーカスカメラ
JP4827632B2 (ja) * 2006-06-30 2011-11-30 キヤノン株式会社 焦点検出装置、その駆動方法、及びカメラシステム
JP4270349B2 (ja) * 2006-10-27 2009-05-27 オリンパス株式会社 焦点検出素子
KR20150121564A (ko) * 2014-04-21 2015-10-29 삼성전자주식회사 촬상 소자 및 촬영 장치
CN106331484B (zh) * 2016-08-24 2020-02-14 维沃移动通信有限公司 一种对焦方法及移动终端
US10687005B2 (en) 2017-12-13 2020-06-16 Analog Devices Global Unlimited Company Analog-to-digital converters for phase-detection autofocus image sensors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005024948A (ja) * 2003-07-03 2005-01-27 Nikon Corp 焦点検出装置
JP2005140817A (ja) * 2003-11-04 2005-06-02 Nikon Corp 自動焦点調節カメラ

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262820A (en) * 1991-05-27 1993-11-16 Minolta Camera Kabushiki Kaisha Camera having a blur detecting device
JPH05257062A (ja) * 1992-03-10 1993-10-08 Canon Inc 自動焦点装置
JPH1119867A (ja) 1997-06-27 1999-01-26 Nikon Corp 研磨装置
JP3461275B2 (ja) 1997-12-25 2003-10-27 キヤノン株式会社 光電変換装置及びこれを用いたカメラ
JP4323002B2 (ja) * 1999-05-26 2009-09-02 オリンパス株式会社 撮像装置
US7046290B2 (en) * 2000-01-26 2006-05-16 Nikon Corporation Multi-point auto-focus digital camera including electronic zoom
US6643460B2 (en) * 2000-01-27 2003-11-04 Nikon Corporation Camera and focal point detection apparatus
US6766112B2 (en) * 2000-04-03 2004-07-20 Nikon Corporation Focal point detection apparatus and focal point detection module
US6924841B2 (en) * 2001-05-02 2005-08-02 Agilent Technologies, Inc. System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels
US6973265B2 (en) * 2001-09-27 2005-12-06 Canon Kabushiki Kaisha Solid state image pick-up device and image pick-up apparatus using such device
JP3754961B2 (ja) 2002-02-22 2006-03-15 キヤノン株式会社 固体撮像装置およびカメラ
JP2003247823A (ja) * 2002-02-26 2003-09-05 Seiko Precision Inc 位相差検出方法、位相差検出装置、測距装置および撮像装置
JP2003279348A (ja) * 2002-03-26 2003-10-02 Seiko Precision Inc 位相差検出方法、位相差検出装置、測距装置および撮像装置
JP3658399B2 (ja) 2002-07-16 2005-06-08 キヤノン株式会社 Aeaf用固体撮像装置及び同撮像装置を用いたカメラ
JP2005109370A (ja) 2003-10-02 2005-04-21 Canon Inc 固体撮像装置
JP2006064956A (ja) 2004-08-26 2006-03-09 Canon Inc オートフォーカス用固体撮像装置とそれを用いたオートフォーカスカメラ
JP4025836B2 (ja) * 2004-10-07 2007-12-26 コニカミノルタオプト株式会社 撮像装置及び携帯通信機器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005024948A (ja) * 2003-07-03 2005-01-27 Nikon Corp 焦点検出装置
JP2005140817A (ja) * 2003-11-04 2005-06-02 Nikon Corp 自動焦点調節カメラ

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010021342A3 (ja) * 2008-08-19 2010-05-06 ローム株式会社 カメラ
US8629916B2 (en) 2008-08-19 2014-01-14 Rohm Co., Ltd. Camera with imaging unit and imaging unit for camera
US8378285B2 (en) 2009-02-27 2013-02-19 Canon Kabushiki Kaisha Photoelectric conversion apparatus
CN102375212A (zh) * 2010-08-18 2012-03-14 佳能株式会社 焦点检测装置
US8698942B2 (en) 2010-08-18 2014-04-15 Canon Kabushiki Kaisha Focus detection apparatus
CN102375212B (zh) * 2010-08-18 2014-06-11 佳能株式会社 焦点检测装置

Also Published As

Publication number Publication date
JP4886248B2 (ja) 2012-02-29
US20070047939A1 (en) 2007-03-01
US7577349B2 (en) 2009-08-18

Similar Documents

Publication Publication Date Title
JP4886248B2 (ja) 焦点検出用固体撮像装置及び、同装置を用いたカメラシステム
JP5157436B2 (ja) 固体撮像素子および撮像装置
CN105518862B (zh) 固态成像器件、固态成像器件的驱动方法及电子装置
JP5455397B2 (ja) 光学機器
JP4827632B2 (ja) 焦点検出装置、その駆動方法、及びカメラシステム
JP4935078B2 (ja) 固体撮像素子及びこれを用いた電子カメラ
JP2010271419A (ja) 光学装置及び焦点検出方法
JP5414358B2 (ja) 撮像装置
JP2004309701A (ja) 測距測光用センサ及びカメラ
JP2009063952A (ja) 撮像素子、焦点検出装置および撮像装置
JP2005300844A (ja) オートフォーカス用固体撮像装置とそれを用いたオートフォーカスカメラ
JP2006064956A (ja) オートフォーカス用固体撮像装置とそれを用いたオートフォーカスカメラ
JP2014165778A (ja) 固体撮像素子、撮像装置及び焦点検出装置
JP5204728B2 (ja) 焦点検出装置
JP2012220790A (ja) 撮像装置
JP5359636B2 (ja) 焦点検出装置
JP2012165070A (ja) 固体撮像素子及びこれを用いた撮像装置
JP2006322970A (ja) 焦点検出装置
JP2013171178A (ja) オートフォーカス装置、オートフォーカス制御方法、及び、撮像装置
JP5032750B2 (ja) Afセンサ及びそれを用いたカメラ
JP2018056519A (ja) 撮像素子および焦点調節装置
JP6623730B2 (ja) 撮像素子、焦点検出装置および撮像装置
JP2016206556A (ja) 測距像の取得方法、およびそれを用いる撮像装置
JPH11337815A (ja) 固体撮像装置及びカメラ用測距装置
JP6765829B2 (ja) 画像処理装置、画像処理装置の制御方法、撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080825

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080825

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111209

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees