JP2012208138A - レンズ駆動制御装置およびレンズ装置 - Google Patents

レンズ駆動制御装置およびレンズ装置 Download PDF

Info

Publication number
JP2012208138A
JP2012208138A JP2011071318A JP2011071318A JP2012208138A JP 2012208138 A JP2012208138 A JP 2012208138A JP 2011071318 A JP2011071318 A JP 2011071318A JP 2011071318 A JP2011071318 A JP 2011071318A JP 2012208138 A JP2012208138 A JP 2012208138A
Authority
JP
Japan
Prior art keywords
lens
focus detection
image
pixel
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011071318A
Other languages
English (en)
Other versions
JP5954933B2 (ja
Inventor
Hirokazu Ishii
宏和 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011071318A priority Critical patent/JP5954933B2/ja
Priority to PCT/JP2012/001895 priority patent/WO2012132306A1/en
Priority to US14/004,940 priority patent/US9160930B2/en
Publication of JP2012208138A publication Critical patent/JP2012208138A/ja
Application granted granted Critical
Publication of JP5954933B2 publication Critical patent/JP5954933B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Lens Barrels (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】時系列的に連続したフレームにおける焦点検出画素の画像信号を加算して焦点検出を行う際に、レンズ駆動速度を適切に制御することで、焦点検出誤差を抑制したレンズ駆動制御装置を提供する。
【解決手段】レンズ駆動制御装置は、撮像画素および焦点検出画素を備え、被写体像を光電変換する撮像素子と、焦点検出画素から所定周期で画像信号を読み出す読み出し手段と、読み出し手段により読み出された画像信号を記憶する記憶手段と、画像信号のうち時系列的に連続したフレームの複数の信号を加算する加算手段と、加算手段による加算結果に基づいて焦点検出を行う焦点検出手段と、加算手段による加算回数および焦点検出手段の結果に基づいてレンズの駆動速度を制御するレンズ制御手段とを有し、レンズ制御手段は、加算回数が増加した場合にレンズの駆動速度を減少させるように制御する。
【選択図】図9

Description

本発明は、デジタルカメラやビデオカメラ等のレンズ駆動制御装置に関する。
特許文献1には、撮像素子の一部の受光素子(画素)を、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与した構成が開示されている。これらの画素は焦点検出用画素として撮像用画素群の間に所定の間隔で配置され、位相差式焦点検出を行うように構成されている。
特許文献2には、短周期のリフレッシュ動作と、低輝度被写体に対する焦点検出を両立させるため、過去複数回の読み出しで記憶した焦点検出画素の画像データを加算して焦点検出演算を行う撮像装置が開示されている。
特開2000−292686号公報 特開2008−085738号公報
しかしながら、特許文献2の撮像装置では、各フレームで焦点検出画素の画像データを記憶し、過去の複数回の読み出しで記憶した焦点検出画素の画像データを加算した画像データをもとに焦点検出演算を行う。このため、レンズ駆動中において、加算する過去フレームで記憶した画像データは現フレームのレンズ位置と異なる位置で撮影した被写体情報を取り込むこととなる。従って、過去フレームでの焦点検出画素の画像データの加算数が増加すると、焦点検出演算を行う際の誤差要因が増加する。このようにして得られたデフォーカス情報からレンズを駆動した場合、適切なレンズ駆動が困難となる。
そこで本発明は、時系列的に連続したフレームにおける焦点検出画素の画像信号を加算して焦点検出を行う際に、レンズ駆動速度を適切に制御することで、焦点検出誤差を抑制したレンズ駆動制御装置およびレンズ装置を提供することができる。
本発明の一側面としてのレンズ駆動制御装置は、撮像画素および焦点検出画素を備え、被写体像を光電変換する撮像素子と、前記焦点検出画素から所定周期で画像信号を読み出す読み出し手段と、前記読み出し手段により読み出された前記画像信号を記憶する記憶手段と、前記画像信号のうち時系列的に連続したフレームの複数の信号を加算する加算手段と、前記加算手段による加算結果に基づいて焦点検出を行う焦点検出手段と、前記加算手段による加算回数および前記焦点検出手段の結果に基づいてレンズの駆動速度を制御するレンズ制御手段とを有し、前記レンズ制御手段は、前記加算回数が増加した場合に前記レンズの駆動速度を減少させるように制御する。
本発明の他の側面としてのレンズ装置は、被写体像を形成する結像光学系と、撮像画素および焦点検出画素を備え、被写体像を光電変換する撮像素子と、前記焦点検出画素から所定周期で画像信号を読み出す読み出し手段と、前記読み出し手段により読み出された前記画像信号を記憶する記憶手段と、前記画像信号のうち時系列的に連続したフレームの複数の信号を加算する加算手段と、前記加算手段による加算結果に基づいて焦点検出を行う焦点検出手段と、を備えた撮像装置本体から前記加算手段による加算回数および前記焦点検出手段の結果を入力する入力手段と、前記入力手段から入力された前記加算回数および前記焦点検出手段の結果に基づいてレンズの駆動速度を制御するレンズ制御手段とを有し、前記レンズ制御手段は、前記加算回数が増加した場合に前記レンズの駆動速度を減少させるように制御する。
本発明の他の目的及び特徴は、以下の実施例において説明される。
本発明によれば、時系列的に連続したフレームにおける焦点検出画素の画像信号を加算して焦点検出を行う際に、レンズ駆動速度を適切に制御することで、焦点検出誤差を抑制したレンズ駆動制御装置およびレンズ装置を提供することができる。
本実施例におけるカメラの構成図である。 本実施例における撮像素子(固体撮像素子)のブロック図である。 本実施例における撮像素子の撮像用画素の平面図と断面図である。 本実施例における撮像素子の焦点検出用画素の平面図と断面図である。 本実施例における撮像素子の焦点検出用画素の平面図と断面図である。 本実施例における焦点検出画素の配置領域を示す図ある。 本実施例における焦点検出画素の配置領域の拡大図である。 本実施例におけるカメラの動作を示すフローチャートである。 本実施例における焦点検出の動作を示すフローチャートである。 本実施例における動画撮影の動作を示すフローチャートである。 本実施例における撮像素子の焦点検出画素の加算方法を示す図である。
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
図1は本実施例におけるカメラの構成図であり、撮像素子を有するカメラ本体(撮像装置本体)と撮影レンズ(レンズ装置)とが一体的に構成されたカメラ100(レンズ駆動制御装置)を示している。図1において、101は、被写体像を形成する撮影光学系(結像光学系)の先端に配置された第1レンズ群であり、光軸方向に進退可能に保持される。102は絞り兼用シャッタであり、その開口径を調節することで撮影時の光量調節を行い、また静止画撮影時には露光秒時調節用シャッタとしての機能も備える。103は第2レンズ群である。絞り兼用シャッタ102及び第2レンズ群103は一体的に光軸方向に進退可能に構成され、第1レンズ群101の進退動作と連動して変倍作用(ズーム機能)をなす。
105は第3レンズ群であり、光軸方向の進退動作により焦点調節を行う。106は光学的ローパスフィルタであり、撮影画像の偽色やモアレを軽減するための光学素子である。107は、C−MOSセンサとその周辺回路で構成された撮像素子である。撮像素子107としては、例えば、横方向m画素、縦方向n画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された2次元単板カラーセンサが用いられる。後述のように、撮像素子107は、撮像画素および焦点検出画素を備え、被写体像を光電変換する。
111はズームアクチュエータであり、不図示のカム筒を回動することで、第1レンズ群101乃至第3レンズ群103を光軸方向に進退駆動し、変倍操作を行う。112は絞りシャッタアクチュエータであり、絞り兼用シャッタ102の開口径を制御して撮影光量を調節するとともに、静止画撮影時の露光時間制御を行う。114はフォーカスアクチュエータであり、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。
115は撮影時の被写体照明用電子フラッシュであり、キセノン管を用いた閃光照明装置が適して用いられるが、これに限定されるものではなく、例えば連続発光するLEDを備えた照明装置を用いてもよい。116はAF補助光手段であり、所定の開口パターンを有するマスクの像を、投光レンズを介して被写界に投影し、暗い被写体又は低コントラスト被写体に対する焦点検出能力を向上させる。
121はCPU(カメラ制御部)であり、カメラ本体の種々の制御を司るカメラ内CPUである。CPU121は、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有し、ROMに記憶された所定のプログラムに基づいて、カメラ100の各種回路を駆動し、AF、撮影、画像処理、記録等の一連の動作を実行する。
122は電子フラッシュ制御回路であり、撮影動作に同期して照明手段115を点灯制御する。123は補助光駆動回路であり、焦点検出動作に同期してAF補助光手段116を点灯制御する。124は撮像素子駆動回路であり、撮像素子107の撮像動作を制御するとともに、取得した画像信号をA/D変換してCPU121に送信する。125は画像処理回路であり、撮像素子107により取得された画像のγ変換、カラー補間、JPEG圧縮等の処理を行う。
126はフォーカス駆動回路であり、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動制御し、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。128は絞りシャッタ駆動回路であり、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口を制御する。129はズーム駆動回路であり、撮影者のズーム操作に応じてズームアクチュエータ111を駆動する。
131はLCD等の表示器であり、カメラ100の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。132は操作スイッチ群であり、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。133は着脱可能なフラッシュメモリであり、撮影済み画像を記録する。
図2は、撮像素子107のブロック図を示している。なお、図2のブロック図は、画像信号の読み出し動作の説明に必要な最低限の構成を示し、画素リセット信号などが省略されている。図2において、201は、光電変換部(以下、「PDmn」ともいう。mは、X方向アドレスであり、m=0、1、…、m−1、nは、Y方向アドレスであり、n=0、1、…、n−1である。)であり、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。また、本実施例の撮像素子107は、m×nの光電変換部を2次元上に配置して構成されている。符号は、煩雑になるため、左上の光電変換部PD00付近のみに付記している。
202は、光電変換部201(PDmn)の出力を選択するスイッチであり、垂直走査回路208により、一行ごとに選択される。203は、光電変換部201(PDmn)の出力を一時的に記憶するためのラインメモリ(MEM)であり、垂直走査回路208により選択された、一行分の光電変換部201(PDmn)の出力を記憶する。ラインメモリ203としては、通常、コンデンサが用いられる。
204は、水平出力線に接続されて、水平出力線を所定の電位VHRSTにリセットするためのスイッチであり、信号HRSTにより制御される。205は、ラインメモリ203に記憶された光電変換部201(PDmn)の出力を水平出力線に順次出力するためのスイッチ(H〜Hm−1)である。スイッチ205(H〜Hm−1)を後述の水平走査回路206で順次走査することにより、一行分の光電変換の出力が読み出される。
206は水平走査回路であり、ラインメモリ203に記憶された光電変換部201の出力を順次操作して、水平出力線に出力させる。信号PHSTは、水平走査回路206のデータ入力、PH1、PH2はシフトクロック入力であり、PH1=Hでデータがセットされ、PH2でデータがラッチされる構成となっている。シフトクロック入力PH1、PH2にシフトクロックを入力することにより、信号PHSTを順次シフトさせて、スイッチ205(H〜Hm−1)を順次オンさせることができる。信号SKIPは、間引き読み出し時に設定を行わせる制御入力信号である。信号SKIPをHレベルに設定することにより、水平走査回路206を所定間隔でスキップさせることが可能になる。207は水平出力線の信号を増幅して端子VOUTに出力する増幅器AMPである。
208は垂直走査回路であり、順次走査して、制御信号V〜Vn−1を出力することにより、光電変換部201(PDmn)の選択スイッチ202を選択することができる。制御信号は、水平走査回路206の場合と同様に、データ入力である信号PVST、シフトクロックPV1、PV2、及び、間引き読み設定を行う信号SKIPにより制御される。動作の詳細は、水平走査回路206と同様であるため、その説明は省略する。
図3乃至図5は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施例においては、2×2の4画素のうち、対角2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)の分光感度を有する画素を各1個配置した、ベイヤー配列が採用されている。そしてベイヤー配列の間に、後述する構造を有する焦点検出用画素が所定の規則で分散配置されている。
図3は、撮像用画素の配置および構造を示す。図3(a)は、2行×2列の撮像用画素の平面図である。周知のように、ベイヤー配列では対角方向にG画素が、他の2画素にRとBの画素が配置されている。そして、この2行×2列の構造が繰り返し配置される。
図3(b)は、図3(a)の断面A−Aを示す断面図である。MLは各画素の最前面に配置されたオンチップマイクロレンズ、CFRはR(Red)のカラーフィルタ、CFGはG(Green)のカラーフィルタである。PDはC−MOSセンサの光電変換部を模式的に示したものであり、CLはC−MOSセンサ内の各種信号を伝達する信号線を形成するための配線層である。TLは、撮影光学系を模式的に示したものである。
撮像用画素のオンチップマイクロレンズMLと光電変換部PDは、撮影光学系TLを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系TLの射出瞳EPと光電変換部PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換部PDの有効面積は大面積であるように設計される。また、図3(b)ではG画素の入射光束について説明したが、R画素及びB(Blue)画素も同一の構造を有する。従って、RGBの各々の撮像用画素に対応した射出瞳EPは大径となり、被写体からの光束を効率よく取り込むことで画像信号のS/Nを向上させている。
図4は、撮影光学系の水平方向(横方向)に瞳分割を行うための焦点検出用画素の配置と構造を示す。ここで水平方向(横方向)とは、撮影光学系の光軸が水平となるようにカメラを構えたとき、光軸に直交し、かつ水平方向に伸びる直線に沿った方向を指す。図4(a)は、焦点検出用画素を含む2行×2列の画素の平面図である。記録又は観賞のための画像信号を得る場合、G画素で輝度情報の主成分を取得する。人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると画質劣化が認知されやすい。一方、R画素、B画素は、色情報(色差情報)を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施例においては、2行×2列の画素のうち、G画素は撮像用画素として残し、RとBの画素を焦点検出用画素に置き換える。これを図4(a)においてSHA及びSHBで示す。
図4(b)は、図4(a)における断面A−Aを示す断面図である。マイクロレンズMLと光電変換部PDは、図3(b)に示される撮像用画素と同一構造である。本実施例においては、焦点検出用画素の信号は画像創生に用いられないため、色分離用カラーフィルタの代わりに透明膜CFW(White)が配置される。また、撮像素子で瞳分割を行うため、配線層CLの開口部はマイクロレンズMLの中心線に対して一方向に偏倚している。具体的には、画素SHAの開口部OPHAは右側に偏倚しているため、撮影光学系TLの左側の射出瞳EPHAを通過した光束を受光する。同様に、画素SHBの開口部OPHBは左側に偏倚しているため、撮影光学系TLの右側の射出瞳EPHBを通過した光束を受光する。画素SHAを水平方向に規則的に配列し、これらの画素群で取得した被写体像をA像とする。また、画素SHBも水平方向に規則的に配列し、これらの画素群で取得した被写体像をB像とする。そしてA像とB像の相対位置を検出することで、被写体像のピントずれ量(デフォーカス量)を検出することができる。
なお、画素SHA及びSHBでは、撮影画面の横方向に輝度分布を有する被写体、例えば縦線に対しては焦点検出可能であるが、縦方向に輝度分布を有する横線に対しては焦点検出不能である。そこで本実施例では、後者についても焦点検出できるように、撮影光学系の垂直方向(縦方向)に瞳分割を行う画素も備えている。
図5は、撮影光学系の垂直方向(換言すると上下方向(縦方向))に瞳分割を行なうための焦点検出用画素の配置と構造を示す。ここで垂直方向(上下方向あるいは縦横方向)とは、撮影光学系の光軸が水平となるようにカメラを構えたとき、光軸に直交し、鉛直方向に伸びる直線に沿った方向を指す。図5(a)は、焦点検出用画素を含む2行×2列の画素の平面図であり、図4(a)と同様に、G画素は撮像用画素として残し、R画素とB画素を焦点検出用画素としている。これを図4(a)においてSVC及びSVDで示す。
図5(b)は、図5(a)の断面A−Aを示す断面図である。図4(b)の画素が横方向に瞳分離させる構造であるのに対して、図5(b)の画素は瞳分離方向が縦方向になっている。図5(b)のそれ以外の画素構造は図4(b)の構造と同様である。すなわち、画素SVCの開口部OPVCは下側に偏倚しているため、撮影光学系TLの上側の射出瞳EPVCを通過した光束を受光する。同様に、画素SVDの開口部OPVDは上側に偏倚しているため、撮影光学系TLの下側の射出瞳EPVDを通過した光束を受光する。画素SVCを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をC像とする。また、画素SVDも垂直方向規則的に配列し、これらの画素群で取得した被写体像をD像とする。そしてC像とD像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量(デフォーカス量)を検出することができる。
図6は、撮像用画素および焦点検出用画素の配置図である。図6において、Gは緑フィルターを塗布した画素、Rは赤フィルターを塗布した画素、Bは青フィルターを塗布した画素である。図6中のSHAは、画素部の開口を水平方向に偏倚させて形成された焦点検出用画素であり、後述のSHB画素群との水平方向の像ずれ量を検出するための基準画素群である。またSHBは、画素の開口部をSHA画素と逆方向に偏倚させて形成された画素であり、SHA画素群との水平方向の像ずれ量を検出するための参照画素群である。SHA、SHB画素の白抜き部分は、偏倚した画素の開口位置を示している。
図7は、撮像画面上の焦点検出領域の一例である。図7において、焦点検出領域は図6に示される画素の配置となっている。本実施例では、焦点検出領域を撮像画面上の中央に設定しているが、焦点検出領域を複数領域配置し、それぞれの領域で結像された被写体像から焦点検出画素で像をサンプリングするように構成してもよい。
図8乃至図10は、カメラの焦点調節及び撮影工程を説明するためのフローチャートである。前述の各図も参照しながら、図8以降の制御フローを説明する。これらの制御は、カメラのCPU121の指令に基づいて実行される。
図8は、ライブビューから動画撮影を行う際のカメラのメインフローである。まずステップS801において、撮影者はカメラの電源スイッチをオン操作する。この操作により、CPU121はステップS802において、カメラ内の各アクチュエータや撮像素子の動作確認を行い、メモリ内容や実行プログラムの初期化を行うとともに、撮影準備動作を実行する(初期状態検出)。続いてCPU121は、ステップS803において撮像素子を駆動し、ステップ804においてライブビューモードにセットすることで撮像素子に周期的な撮像動作を開始させ、表示器131へのライブビュー動画の表示を行う。このとき、CPU121(読み出し手段)は、撮像素子107の焦点検出画素から所定周期で画像信号を読み出す。
ステップS805では、測光センサ(不図示)により測光した被写界輝度に応じて自動的に決定された表示用絞り値、すなわち周期的に画像信号を読み出した場合に画像信号が表示に適したレベルになる絞り値に応じた絞り制御情報をCPU121へ送る。又は、操作部材(不図示)により撮影者が手動で設定した撮影絞り値に応じた絞り制御情報をCPU121へ送るように構成してもよい。この制御情報に基づいて、絞り開口径を撮影絞り値に設定する。また露光時間を適切に設定する。続いてステップS806では、焦点検出スイッチがオンされたか否かを判定し、オンされていなければ待機し、オンされた場合はステップS901でライブビュー中の焦点検出動作に関するサブルーチンにジャンプする。
図9は、ライブビュー中の焦点検出のフローを示す。ステップS902において、CPU121は、現フレームにおける焦点検出画素データ(画素読み出し手段により読み出された画像信号)を内部メモリ(記憶手段)に記憶する。続いてステップS903において、CPU121(加算手段)は、内部メモリから焦点検出画素の画像データ(画像信号)を読み出して加算処理を行う。すなわちCPU121は、画像信号のうち時系列的に連続したフレームの複数の信号を加算する。
ここで、焦点検出画素の画像データ(画像信号)の加算処理について、図11を参照して説明する。本実施例では、レンズが合焦位置に移動する間もオーバーラップして焦点検出動作を行うことができるものとして、同11は時間が経過するごとにレンズが合焦位置に近づく様子を示している。図11において、最上部に画像信号の読出しの時間経過が示されている。画像信号の読出しの所定周期をTs、現フレームの読み出しサイクルをnと表し、現フレームの時刻をnTsとしている。各フレームで読み出された最新の画像データにより、表示はリフレッシュされる。各フレームで読み出された焦点検出画素の画像データは、内部メモリにスタックして記憶される。画像信号の読出しn回目に読み出された焦点検出画素の画像信号は、焦点検出画素信号a(n)として記憶される。
加算処理の方法としては、まず、現フレームの焦点検出画素の画像データの最大値と最小値の差分(ピーク−ボトム値:以下PB値と称す)としきい値PBthを比較し、PB値がしきい値PBthを超えている場合には焦点検出画素信号を加算画素信号とする。図11においては、時刻nTsで示されており、焦点検出画素信号a(n)のPB値がしきい値PBthを超えているため、a(n)を加算画素信号A(n)としている。
また、最新フレームの焦点検出画素信号がしきい値PBthを超えていない場合、過去フレームで取得した焦点検出画素の画像データを順に加算し、加算画素信号のPB値がしきい値PBthを超えた時点で加算処理を終了し、加算結果を加算画素信号とする。図11においては、時刻(n−2)Tsで示されている。時刻(n−1)Tsでは、焦点検出画素信号b(n−1)のPB値がしきい値PBthを超えておらず、前フレームで取得した焦点検出画素信号c(n−2)をb(n−1)に加算すると、加算画素信号のPB値はしきい値PBthを超える。このため、b(n−1)+c(n−2)を加算画素信号B(n−1)としている。
このように、CPU121(加算手段)は、所定のフレームにおける画像信号の最大値と最小値との差分が所定のしきい値を超えていない場合、所定のフレームにおける画像信号に直前のフレームにおける画像信号を加算することにより加算結果を算出する。一方、この差分が所定のしきい値以上である場合、所定のフレームにおける画像信号を加算結果とする。
また、現フレームの画像データに加算する過去フレームの画像データの数(以下、「フレーム加算数」という。)には上限が設けられ、上限以上を必要とする場合には上限までの加算データを加算画素信号とする。図11においては、フレーム加算数の上限を3としており、時刻(n−2)Tsで示されている。以上が、加算処理の方法である。
次に、図9中のステップ904において、CPU121(焦点検出手段)は、ステップS903で加算された画像データに基づいて相関演算処理を行い、ステップS905において相関の信頼性判定を行う。続いてCPU121(焦点検出手段)は、ステップS906においてデフォーカス量を算出する。このように焦点検出手段としてのCPU121は、加算手段による加算結果に基づいて焦点検出を行う。
ステップS907において、CPU121は、合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内か否かを判定する。合焦近傍でないと判定された場合にはステップS908へ進み、デフォーカス量、及び焦点検出画素のフレーム加算数をレンズ駆動制御装置へ送信し、レンズ駆動速度を後述する方法により算出する。続いてステップS909において、CPU121(レンズ制御手段)は、レンズ駆動を行う。すなわち、レンズ制御手段としてのCPU121は、加算手段による加算回数および焦点検出手段の結果に基づいてレンズ(第3レンズ群105)の駆動速度(フォーカス駆動回路126、フォーカスアクチュエータ114の動作)を制御する。レンズ制御手段は、後述のように、加算回数が増加した場合にレンズの駆動速度を減少させるように制御する。一方、ステップS907において合焦近傍であると判定された場合にはステップS910に進み、合焦表示を行い、リターンする(ステップS911)。
ここで、レンズ駆動速度の算出方法について説明する。レンズ駆動制御装置では、撮影レンズを円滑かつ迅速に合焦位置へ駆動するため、自動焦点調節のアクチュエータ制御にPID制御を応用して、撮影レンズの駆動制御値を算出し、それに基づき撮影レンズの位置制御を行う。すなわち、デフォーカス量が時間の経過とともに減少する関係を示す位置軌跡値が設定された位置テーブルと、撮影レンズの駆動速度が時間の経過とともに減少する関係を示す速度軌跡値が設定された速度テーブルを備える。そして、位置テーブルが示すレンズ駆動に沿って撮影レンズを合焦位置へ駆動する。
本実施例に好適なレンズ駆動制御装置では、焦点検出画素の画像データから算出したデフォーカス量の値、及び各フレームで焦点検出演算に使用した加算画素信号のフレーム加算数に基づいてレンズ駆動速度を算出する。動画撮影時では、フォーカスレンズが合焦近傍にない場合、撮像装置が周期的に撮像動作を行っている間もレンズは駆動している。焦点検出画素において、加算する過去フレームで記憶した画像データは、現フレームのレンズ位置と異なる位置で撮影した被写体情報を取り込むことになる。このため、過去フレームでの焦点検出画素の画像データの加算数が増加すると、加算画素信号のS/Nを稼ぐことはできるが、焦点検出演算の結果の信頼性は低下する。
ここで、本実施例におけるレンズ駆動速度(像面移動速度Hs)は、以下の式(1)のように表される。
式(1)において、Kは各要素をレンズ駆動速度に変換するための係数、DEFは検出デフォーカス量、TOFは1フレームの時間、NSFは各フレームにおいて焦点検出演算に使用する画像データのフレーム加算数である。また、TCDは通信遅延時間、NOVはフォーカスレンズが合焦位置に到達するまでにオーバーラップで焦点検出を行う回数(実行回数)である。式(1)は、検出デフォーカス量が大きい場合には相対的に速く、焦点検出画素のフレーム加算数が大きい場合には相対的に遅くなるようにレンズが駆動されることを示している。
本実施例のカメラ100は、レンズの位置が合焦近傍に到達するまでの焦点検出手段による焦点検出の実行回数を、焦点検出の結果に基づいて決定する焦点検出回数決定手段(不図示)を有する。レンズ制御手段は、焦点検出回数決定手段の結果に基づいて、実行回数が多い場合にレンズの駆動速度を減少させるように制御する。
また本実施例において、レンズ駆動速度の算出にフレーム加算数を用いているが、フレーム加算数を決定する方法としては、前述したように焦点検出画素の加算画素信号のPB値と所定のしきい値PBthとを比較することによって決定される。本実施例では、しきい値PBthを一定として説明しているが、しきい値PBthを被写体に応じてリアルタイムで変更することで、式(1)に基づいてレンズ駆動速度を変更するように構成してもよい。
例えば、被写体が移動している場合を考える。移動体を動画撮影する場合、焦点検出画素をフレーム加算することで一度の焦点検出結果の精度を高めるよりも、フレーム加算数を減少させることでレンズ駆動速度を速くし、被写体への追従性を優先させたほうが撮影した動画の見栄えがよいことが多い。また、移動体撮影時に焦点検出画素の画像データに対して加算処理を行う場合、現フレームと過去フレームでの被写体の位置の違いによる焦点検出結果の誤差が増加する。このため、被写体(移動体)が検出された場合、被写体の移動量に応じてしきい値PBthを減少させ、フレーム加算数を減少させることでレンズ駆動速度を速くして、追従性を優先させるように構成してもよい。この場合、カメラ100は、焦点検出手段の結果とレンズ制御手段の結果に基づいて結像光学系(レンズ)の光軸方向の被写体の移動速度を検出する移動速度検出手段(不図示)を有する。そしてレンズ制御手段は、移動速度検出手段の結果に基づいて、被写体の移動速度が増加した場合にレンズの駆動速度を増加させるように制御する。
また、追従性能を向上させる方法としては、被写体のコントラスト情報に応じてしきい値PBthを変更するように構成することができる。この場合、カメラ100は加算結果のコントラストを検出するコントラスト検出手段を有する。CPU121(レンズ制御手段)は、コントラスト検出手段の結果に基づいて、コントラストが増加した場合にレンズの駆動速度を増加させるように制御する。コントラストの低い被写体と比較してコントラストの高い被写体では、フレーム加算数を少なくしても同等の焦点検出精度を確保できる。この場合、過去フレームの加算数を最小限に抑えることで、加算処理に伴う焦点検出誤差の増加を抑えることができる。
以上のように、被写体情報からしきい値PBthをリアルタイムに変更することで焦点検出画素のフレーム加算数を調節し、レンズ駆動速度に反映させる制御を組み込む場合でも、本実施例を適用可能である。
また、式(1)では、フォーカスレンズが合焦位置に到達するまでに複数回焦点検出動作を実行できるようにレンズ駆動速度を設定している。焦点検出動作の回数NOVは、検出されたデフォーカス量に応じて切り替えるテーブルを備え、デフォーカス量の減少に合わせて回数NOVを減少させる。
次に図8において、ステップS807に進み、動画撮影開始スイッチがオンされたか否かを判定する。オンされていない場合にはステップS901に戻り、再度焦点検出サブルーチン(ステップS901)にジャンプする。動画撮影開始スイッチがオンされた場合にはステップS1001に進み、動画撮影サブルーチンにジャンプする。
図10は動画撮影のフローを示す。ステップS1001にて動画撮影シーケンスが開始されると、ステップS1002において撮像素子107から画像読み出しが行われる。続いてステップS901に進み、焦点検出サブルーチンが実行される。次にステップS1003において、測光処理、及び、絞り、露光時間の制御が行われる。測光処理等の終了後、ステップS1004において、記憶しているフォーカスレンズ位置が更新される。続いてステップS1005にて、ステップS1002で撮像素子107から読み出された画像において、焦点検出画素位置の画像データを周辺の撮像画素から補間した後、現像処理を行う。次にステップS1006にて、動画記録処理が行われる。
次に、ステップS1007に進み、動画記録が終了したか否かを判定する。その結果、動画記録が終了していない場合には、ステップS1002に戻り、画像読み出しが再び行われる。またステップS1007にて動画記録が終了した場合にはステップS1008に進み、動画撮影シーケンスが終了し、リターンする。その後、図8のメインフローに戻り、ステップS808にて一連の撮影動作を終了する。
以上の動作により、通常撮像画素と離散的に配置された焦点検出画素を有する撮像素子において、過去フレームでの機能画素の出力を加算した画像データを用いて焦点検出演算を行う際に適切なレンズ駆動制御が可能となる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば本実施例で説明したカメラ100は、撮像素子を有する撮像装置本体と結像光学系を有するレンズ装置とが一体的に構成されているが、これに限定されるものではなく、レンズ装置が撮像装置本体に着脱可能に構成されていてもよい。この場合、レンズ装置は、撮像装置本体から加算手段による加算回数および焦点検出手段の結果を入力する入力手段を有する。またレンズ装置は、レンズの駆動速度を制御するレンズ制御手段を有する。また、このようなレンズ制御手段を撮像装置本体に含むように構成してもよく、この場合、レンズ装置はレンズ制御手段からの信号を入力手段から入力するように構成される。
100 カメラ
105 第3レンズ群
107 撮像素子
121 CPU
124 撮像素子駆動回路
125 画像処理回路
133 フラッシュメモリ

Claims (6)

  1. 撮像画素および焦点検出画素を備え、被写体像を光電変換する撮像素子と、
    前記焦点検出画素から所定周期で画像信号を読み出す読み出し手段と、
    前記読み出し手段により読み出された前記画像信号を記憶する記憶手段と、
    前記画像信号のうち時系列的に連続したフレームの複数の信号を加算する加算手段と、
    前記加算手段による加算結果に基づいて焦点検出を行う焦点検出手段と、
    前記加算手段による加算回数および前記焦点検出手段の結果に基づいてレンズの駆動速度を制御するレンズ制御手段と、を有し、
    前記レンズ制御手段は、前記加算回数が増加した場合に前記レンズの駆動速度を減少させるように制御する、ことを特徴とするレンズ駆動制御装置。
  2. 前記加算手段は、
    所定のフレームにおける画像信号の最大値と最小値との差分が所定のしきい値を超えていない場合、該所定のフレームにおける画像信号に直前のフレームにおける画像信号を加算することにより前記加算結果を算出し、
    前記差分が前記所定のしきい値以上である場合、該所定のフレームにおける画像信号を前記加算結果とすることを特徴とする請求項1に記載のレンズ駆動制御装置。
  3. 前記レンズの位置が合焦近傍に到達するまでの前記焦点検出手段による前記焦点検出の実行回数を、該焦点検出の結果に基づいて決定する焦点検出回数決定手段を更に有し、
    前記レンズ制御手段は、前記焦点検出回数決定手段の結果に基づいて、前記実行回数が多い場合に前記レンズの駆動速度を減少させるように制御することを特徴とする請求項1に記載のレンズ駆動制御装置。
  4. 前記焦点検出手段の結果と前記レンズ制御手段の結果に基づいて前記レンズの光軸方向の被写体の移動速度を検出する移動速度検出手段を更に有し、
    前記レンズ制御手段は、前記移動速度検出手段の結果に基づいて、前記移動速度が増加した場合に前記レンズの駆動速度を増加させるように制御することを特徴とする請求項1に記載のレンズ駆動制御装置。
  5. 前記加算結果のコントラストを検出するコントラスト検出手段を更に有し、
    前記レンズ制御手段は、前記コントラスト検出手段の結果に基づいて、前記コントラストが増加した場合に前記レンズの駆動速度を増加させるように制御することを特徴とする請求項1に記載のレンズ駆動制御装置。
  6. レンズを備えて被写体像を形成する結像光学系と、
    撮像画素および焦点検出画素を備え、被写体像を光電変換する撮像素子と、前記焦点検出画素から所定周期で画像信号を読み出す読み出し手段と、前記読み出し手段により読み出された前記画像信号を記憶する記憶手段と、前記画像信号のうち時系列的に連続したフレームの複数の信号を加算する加算手段と、前記加算手段による加算結果に基づいて焦点検出を行う焦点検出手段と、を備えた撮像装置本体から前記加算手段による加算回数および前記焦点検出手段の結果を入力する入力手段と、
    前記入力手段から入力された前記加算回数および前記焦点検出手段の結果に基づいて、前記レンズの駆動速度を制御するレンズ制御手段と、を有し、
    前記レンズ制御手段は、前記加算回数が増加した場合に前記レンズの駆動速度を減少させるように制御する、ことを特徴とするレンズ装置。
JP2011071318A 2011-03-29 2011-03-29 撮像装置およびレンズ装置 Expired - Fee Related JP5954933B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011071318A JP5954933B2 (ja) 2011-03-29 2011-03-29 撮像装置およびレンズ装置
PCT/JP2012/001895 WO2012132306A1 (en) 2011-03-29 2012-03-19 Lens driving control apparatus and lens apparatus
US14/004,940 US9160930B2 (en) 2011-03-29 2012-03-19 Lens driving control apparatus and lens apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011071318A JP5954933B2 (ja) 2011-03-29 2011-03-29 撮像装置およびレンズ装置

Publications (2)

Publication Number Publication Date
JP2012208138A true JP2012208138A (ja) 2012-10-25
JP5954933B2 JP5954933B2 (ja) 2016-07-20

Family

ID=46930096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011071318A Expired - Fee Related JP5954933B2 (ja) 2011-03-29 2011-03-29 撮像装置およびレンズ装置

Country Status (3)

Country Link
US (1) US9160930B2 (ja)
JP (1) JP5954933B2 (ja)
WO (1) WO2012132306A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014145867A (ja) * 2013-01-29 2014-08-14 Olympus Corp 撮像装置及び撮像方法
JP2016142999A (ja) * 2015-02-04 2016-08-08 キヤノン株式会社 撮像装置及びその制御方法
JP2018036628A (ja) * 2016-08-24 2018-03-08 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
CN114302069A (zh) * 2021-11-18 2022-04-08 北京旷视科技有限公司 光圈控制方法、控制装置、存储介质及计算机程序产品

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6000520B2 (ja) * 2011-07-25 2016-09-28 キヤノン株式会社 撮像装置およびその制御方法およびプログラム
JP2015129846A (ja) * 2014-01-07 2015-07-16 キヤノン株式会社 撮像装置およびその制御方法
JP6381266B2 (ja) * 2014-04-15 2018-08-29 キヤノン株式会社 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
JP6436816B2 (ja) * 2015-02-26 2018-12-12 キヤノン株式会社 撮像装置及びその駆動方法
CN106154721B (zh) 2015-04-27 2021-01-01 中兴通讯股份有限公司 一种测距方法、自动调焦方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02181107A (ja) * 1989-10-30 1990-07-13 Nikon Corp 自動合焦カメラ
JPH05196861A (ja) * 1992-01-17 1993-08-06 Kyocera Corp 予測合焦装置
JPH0698238A (ja) * 1992-09-10 1994-04-08 Canon Inc 自動合焦装置
JPH06178187A (ja) * 1993-08-30 1994-06-24 Olympus Optical Co Ltd 自動合焦装置
JPH08317273A (ja) * 1995-05-23 1996-11-29 Olympus Optical Co Ltd 画像入出力装置
JP2007306129A (ja) * 2006-05-09 2007-11-22 Sony Corp 撮像装置
JP2008085738A (ja) * 2006-09-28 2008-04-10 Nikon Corp 撮像装置
JP2010266742A (ja) * 2009-05-15 2010-11-25 Elmo Co Ltd 撮像装置、焦点調節方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4007713B2 (ja) 1999-04-06 2007-11-14 オリンパス株式会社 撮像装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02181107A (ja) * 1989-10-30 1990-07-13 Nikon Corp 自動合焦カメラ
JPH05196861A (ja) * 1992-01-17 1993-08-06 Kyocera Corp 予測合焦装置
JPH0698238A (ja) * 1992-09-10 1994-04-08 Canon Inc 自動合焦装置
JPH06178187A (ja) * 1993-08-30 1994-06-24 Olympus Optical Co Ltd 自動合焦装置
JPH08317273A (ja) * 1995-05-23 1996-11-29 Olympus Optical Co Ltd 画像入出力装置
JP2007306129A (ja) * 2006-05-09 2007-11-22 Sony Corp 撮像装置
JP2008085738A (ja) * 2006-09-28 2008-04-10 Nikon Corp 撮像装置
JP2010266742A (ja) * 2009-05-15 2010-11-25 Elmo Co Ltd 撮像装置、焦点調節方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014145867A (ja) * 2013-01-29 2014-08-14 Olympus Corp 撮像装置及び撮像方法
JP2016142999A (ja) * 2015-02-04 2016-08-08 キヤノン株式会社 撮像装置及びその制御方法
JP2018036628A (ja) * 2016-08-24 2018-03-08 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
CN114302069A (zh) * 2021-11-18 2022-04-08 北京旷视科技有限公司 光圈控制方法、控制装置、存储介质及计算机程序产品
CN114302069B (zh) * 2021-11-18 2023-09-01 北京旷视科技有限公司 光圈控制方法、控制装置、存储介质及计算机程序产品

Also Published As

Publication number Publication date
US9160930B2 (en) 2015-10-13
US20140002706A1 (en) 2014-01-02
WO2012132306A1 (en) 2012-10-04
JP5954933B2 (ja) 2016-07-20

Similar Documents

Publication Publication Date Title
JP5473977B2 (ja) 撮像装置およびカメラシステム
JP5954933B2 (ja) 撮像装置およびレンズ装置
JP5180717B2 (ja) 撮像装置
JP5400406B2 (ja) 撮像装置
JP5595014B2 (ja) 撮像装置
JP5662667B2 (ja) 撮像装置
JP5563283B2 (ja) 画像処理装置
JP5183565B2 (ja) 撮像装置
JP5276374B2 (ja) 焦点検出装置
JP6305006B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP5159520B2 (ja) 撮像装置、自動焦点検出装置及びその制御方法
JP5911252B2 (ja) 撮像装置及び画像処理方法
JP5484617B2 (ja) 撮像装置
JP5279638B2 (ja) 撮像装置
JP2013113857A (ja) 撮像装置及びその制御方法
JP2016018033A (ja) 撮像装置、その制御方法、プログラム及び記憶媒体
JP2016018034A (ja) 撮像装置、その制御方法、プログラム及び記憶媒体
JP5864989B2 (ja) 撮像素子及び撮像装置
JP5748826B2 (ja) 撮像装置およびカメラシステム
JP2016057402A (ja) 撮像装置及びその制御方法
JP2014016569A (ja) 撮像装置及びその制御方法
JP2016045322A (ja) 撮像装置及びその制御方法
JP2016208437A (ja) 撮像装置及びその制御方法
JP6378526B2 (ja) 撮像装置及びその制御方法
JP2015094871A (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160614

R151 Written notification of patent or utility model registration

Ref document number: 5954933

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees