JP2009021991A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2009021991A
JP2009021991A JP2008155294A JP2008155294A JP2009021991A JP 2009021991 A JP2009021991 A JP 2009021991A JP 2008155294 A JP2008155294 A JP 2008155294A JP 2008155294 A JP2008155294 A JP 2008155294A JP 2009021991 A JP2009021991 A JP 2009021991A
Authority
JP
Japan
Prior art keywords
mode
mixed
image
shooting mode
continuous shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008155294A
Other languages
English (en)
Other versions
JP2009021991A5 (ja
JP5107799B2 (ja
Inventor
Yuichi Suzuki
悠一 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2008155294A priority Critical patent/JP5107799B2/ja
Publication of JP2009021991A publication Critical patent/JP2009021991A/ja
Publication of JP2009021991A5 publication Critical patent/JP2009021991A5/ja
Application granted granted Critical
Publication of JP5107799B2 publication Critical patent/JP5107799B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】撮影画像の画質の低下を抑えつつ高速な連写が可能な撮像装置を提供する。
【解決手段】撮影モードとして、通常撮影モードと、複数の画像データを生成する連写モードとを有する撮像装置であって、撮影モードを設定するための指示を受け付ける操作部(110)と、読み出しモードとして、すべての画素の画像信号を出力する通常読出しモードと、所定の画素の画像信号とその周辺画素の画像信号とを混合して出力する混合読出しモードとを有する撮像素子(102)と、撮像素子から出力された画像信号から画像データを生成する信号処理部(106b)と、撮像素子の読み出しモードを制御する画素混合制御部(106c)とを備える。画素混合制御部は、撮影モードが前記連写モードに設定されている場合、撮像素子を混合読出しモードで動作させる。
【選択図】図1

Description

本発明は、連続撮影(以下「連写」と称す。)が可能な撮像装置であって、特に、高画素数の撮像素子を備えた撮像装置における高速な連写技術に関する。
近年、デジタルカメラの高画素数化は著しく、小型デジタルカメラにおいても、1000万から1200万画素の撮像素子を使用した製品が登場している。これによって、A3程度の大きさの用紙に印刷しても、十分鑑賞に堪え得る印刷結果を得ることができる。
一方、デジタルカメラの高画素数化は、撮像素子から画像信号を読み出すのに要する時間の増加をもたらす。この問題は、特に動きのある被写体を連写してベストショットを得る、いわゆる連写モードにおいて顕著になる。すなわち、高画素数の撮像素子においては、撮像素子から画像信号を読み出すのに時間がかかるので、高速な連写が困難になりベストショットを逃す可能性が高まる。
上記課題を解決するために、特許文献1に記載の電子スチルカメラが提案されている。特許文献1に記載の電子スチルカメラは、撮像素子から画像信号を読み出すときに、水平ラインを間引いて高速に読み出しを行っている。これによって、高画素数の撮像素子を使用した電子スチルカメラにおいて高速な連写を可能としている。
特開2003−219267号公報
しかし、特許文献1に記載の電子スチルカメラでは、撮像素子から画像信号を読み出すときに、水平ラインを間引いて読み出すので、撮影画像の画質が低下するという問題がある。
本発明は、上記課題を解決するためになされたものであり、高速連写における撮影画像の画質の低下を抑制する撮像装置を提供することを目的とする。
本発明に係る第1の撮像装置は、撮影モードとして、単一の撮影指示に対して単一の画像データを生成する通常撮影モードと、単一の撮影指示に対して複数の画像データを生成する連写モードとを有する撮像装置である。第1の撮像装置は、撮影モードを設定する設定部と、複数の画素を有し、読み出しモードとして、すべての画素の画像信号を出力する通常読出しモードと、所定の画素の画像信号とその周辺画素の画像信号とを混合して出力する混合読出しモードとを有する撮像素子と、撮像素子の読み出しモードを制御する画素混合制御部とを備える。画素混合制御部は、撮影モードが連写モードに設定されている場合、撮像素子を混合読出しモードで動作させる。
本発明に係る第2の撮像装置は、撮影モードとして、単一の撮影指示に対して単一の画像データを生成する通常撮影モードと、単一の撮影指示に対して複数の画像データを生成する連写モードとを有する撮像装置である。第2の撮像装置は、撮影モードを設定する設定部と、複数の画素を有し、読み出しモードとして、すべての画素の画像信号を出力する通常読出しモードと、所定の画素の画像信号とその周辺画素の画像信号とを混合して出力する混合読出しモードとを有する撮像素子と、撮像素子の読み出しモードを制御する画素混合制御部とを備える。連写モードは、通常連写モードと、単一の撮影指示に対して前記通常連写モードよりも単位時間当たりに生成可能な画像データの数が多い高速連写モードとを含む。画素混合制御部は、撮影モードが通常連写モードに設定されている場合、撮像素子を通常読出しモードで動作させ、撮影モードが高速連写モードに設定されている場合、撮像素子を混合読出しモードで動作させる。
本発明に係る第3の撮像装置は、撮影モードとして、単一の撮影指示に対して単一の画像データを生成する通常撮影モードと、単一の撮影指示に対して複数の画像データを生成する連写モードとを有する撮像装置である。第3の撮像装置は、撮影モードを設定する設定部と、複数の画素を有し、読み出しモードとして、すべての画素の画像信号を出力する通常読出しモードと、所定の画素の画像信号とその周辺画素の画像信号とを混合して出力する混合読出しモードとを有する撮像素子と、撮像素子の読み出しモードを制御する画素混合制御部とを備える。画素混合制御部は、撮影モードが前記連写モードに設定されている場合、設定部による設定にしたがい、撮像素子の読み出しモードを、混合読出しモードまたは通常読み出しモードのいずれかに切り替え可能である。
本発明によれば、連写モードでの撮影時において、撮像素子の読み出しモードを、複数の画素の画像信号を混合して読み出す混合読出しモードに切り替える。混合読出しモードにおいて、混合して読み出された画像信号は複数画素の画像信号の情報を含んでいるにも関わらず、読み出す画像信号の量は少なくなる。よって、高速な連写を行った場合でも、撮影画像の画質の低下を抑制することができる。
以下添付の図面を参照し、本発明の実施の形態を説明する。
1.構成
図1は、本発明に係る撮像装置の一実施形態であるデジタルカメラのブロック図である。デジタルカメラ100は、被写体からの光学情報を受ける光学系101と、光学情報を電気的な画像信号に変換するCCD102と、光学情報から生成された画像信号を処理する信号処理LSI106と、種々の情報を表示するLCD107と、ユーザが各種操作(設定)を行うための各種操作釦108、110等を含む。
光学系101は、被写体の像をCCD102に結像する。光学系101は、複数のレンズ群(図示せず)で構成されており、メカシャッタ101aを含む。メカシャッタ101aは、CCD102上に被写体の像を含む光学情報を到達させたり、到達させなかったりすることで、CCD102の露光時間を制御する機構部品である。CCD102の露光時間を高い分解能で制御するために、CCD102の露光時間を電子的に制御する電子シャッタもメカシャッタ101aと併用される。
CCD102は複数の画素を含み、CCD102上に結像した被写体像に対応した画像信号を出力する。AFE(Analog Front End)103は、CCD102から出力されたアナログ信号である画像信号をデジタル信号である画像データに変換して、バス104を経由してSDRAM105に格納する。AFE103は、画像信号のノイズ成分を除去するCDS(Correlated Double Sampling)回路、画像信号の大きさを調整するAGC(Automatic Gain Control)アンプ、アナログ信号をデジタル信号に変換するA/Dコンバータ(いずれも図示せず)などを含むLSIである。
信号処理LSI106は、CPU106a、信号処理部106b、画素混合制御部106c、光学系制御部106dで構成されている。CPU106aは、信号処理LSI106内のROM(図示せず)に記録された命令によって、信号処理LSI106全体の制御を行う。信号処理部106bは、AFE103によってSDRAM105に格納された画像データをLCD107での表示に適した表示データに変換してLCD107に出力する。CCD102に結像した被写体の像を連続してLCD107に出力している期間を「モニタ期間」と呼ぶ。
シャッタ釦108が押下されることによってデジタルカメラ100の撮影動作が開始される。光学系制御部106dは、メカシャッタ101aと電子シャッタを併用して、被写体の像をCCD102に露光させる。この期間を「露光期間」と呼ぶ。露光期間が終わると、CCD102に蓄積された画像信号が読み出される。この期間を「読出期間」と呼ぶ。信号処理部106bは、AFE103によってSDRAM105に格納された画像データが、シャッタ釦108を押すことによって撮影された画像データである場合は、記録データ用のフォーマットに変換してメモリカード109に記録する。
CCD102、LCD107、及びその他の回路は、TG(タイミング・ジェネレータ)(図示せず)が生成するクロックに同期して動作している。特に、モニタ期間においては、CCD102とLCD107は30秒毎に更新されており、両者の更新タイミングは同期している。CCD102の情報の更新タイミングを生成する信号を「CCDVD」と、LCD107の情報の更新タイミングを生成する信号を「LCDVD」と呼ぶ。
AFE103と信号処理LSI106を単一のLSIで構成してもよい。画素混合制御部106cは、信号処理部106bに含まれていてもよいし、CPU106aが画素混合制御部106cの機能を実現してもよい。なお、CCD102は、本発明の撮像素子に相当する。AFE103は、本発明の信号処理部に相当する。操作釦110は本発明の設定部に相当する。なお、CPU106aにより種々の設定が自動で行われる場合、操作部はCPU106aに相当する。画素混合制御部106cは、本発明の画素混合制御部に相当する。
2.動作
2.1 撮影モード
デジタルカメラ100は複数の撮影モードを有し、操作釦110によって撮影モードを切り替えることができる。撮影モードには「通常撮影モード」と「連写モード」とがある。通常撮影モードは、シャッタ釦108を一回押すことによって、一つの撮影画像を得るモードである。連写モードは、シャッタ釦108を押下している間、連続した複数の撮影画像を得るモードであり、「通常連写モード」と「高速連写モード」を含む。通常連写モードは、シャッタ釦108を押下している間、比較的低速で、連続した複数の撮影画像を得るモードである。高速連写モードは、シャッタ釦108を押下している間、比較的高速で、連続した複数の撮影画像を得るモードである。例えば、通常連写モードは、1秒間に4枚の画像データを生成でき、高速連写モードは、1秒間に10枚の画像データを生成できる。
2.2 CCDの読み出しモード
本実施形態のCCD102は複数の読み出しモードを有する。画素毎に画像信号が読み出される読み出しモードを「通常読み出しモード」という。本実施形態のCCD102は、この通常読み出しモードに加えて、複数の画素の画像信号を混合して読み出す「混合読み出しモード」をさらに有する。撮像素子に対して、混合読み出しモードにおいて混合する画素の数を外部から設定できるようになっている。本実施形態では、混合読み出しモードとして「9画素混合読み出しモード」と「3画素混合読み出しモード」を含む。複数の画素の画像信号を混合して読み出すと、混合して読み出された画像信号は混合された周辺画素の画像信号の情報を含んでいるにも関わらず、読み出す画像信号の量を減らすことができる。これによって、撮影画像の画質の低下を抑えつつ読み出し期間を短縮することができる。画素混合制御部106cは、CCD駆動IC111に駆動信号を送って、混合する画素数の変更を指示する。以下、各読み出しモードを説明する。
(1)通常読み出しモード
図2を用いて、通常読出しモードによるCCD102からの画像信号の読み出しについて説明する。図2(a)に示すようにCCD102は複数の水平ラインで構成されており、各水平ラインは多数の画素(図示せず)で構成されている。図2(b)は、図2(a)における破線円部Xの拡大図である。CCD102の水平ラインは、三本おきにA、B、Cの三つのグループに分けられ、グループ毎に画像信号が読み出される。すなわち、最初にグループAに属する水平ラインの画素の画像信号が読み出され、その後、グループB、グループCに属する水平ラインの画素の画像信号が順に読み出される。3つのグループの画像信号が読み出されることでCCD102の全画素の画像信号が読み出される。
(2)9画素混合読み出しモード
9画素混合読み出しモードは、9個の画素の画像信号を混合して読み出すモードである。図3に、9画素混合読み出しにおける画素の組み合わせの例を示す。同図の例の場合、画素301〜306における各画素を中心として、上下左右斜め方向にそれぞれ2画素離れた所に位置する周辺の8個の画素の画像信号が、中心画素301〜306の画像信号に混合される。混合された画像信号は、画素301〜306それぞれの画像信号として読み出される。例えば、画素301については、画素301と直線で結ばれ、かつ画素301と同じハッチングパターンが付された8個の周辺画素の画像信号が、画素301の画像信号と混合された後に、画素301の画像信号として読み出される。画素302〜306及び他の画素についても同様である。
(3)3画素混合読み出しモード
3画素混合読み出しモードは、3個の画素の画像信号を混合して読み出すモードである。図4に、3画素混合読み出しにおける画素の組み合わせの例を示す。同図の例の場合、画素701〜706における各画素を中心として、上下方向にそれぞれ2画素離れた2個の画素の画像信号が、中心画素701〜706の画像信号に混合される。混合された画像信号は画素701〜706それぞれの画像信号として読み出される。例えば、画素701については、画素701と直線で結ばれ、かつ画素701と同じハッチングパターンが付された2個の周辺画素の画像信号が、画素701の画像信号と混合された後に、画素701の画像信号として読み出される。画素702〜706及び他の画素についても同様である。3画素混合読み出しは、例えば、CCD102から電荷を読み出す際に、垂直転送時にはVCCDにて画素を混合し、水平転送時にはHCCDにて画素を混合しないようにCCD102を駆動させることで実現できる。
9画素混合読み出しは、撮影画像の画質の低下を抑えつつ通常連写モードの約9倍高速な連写を可能とする。これに対して、3画素混合読み出しは、撮影画像の画質の低下をさらに抑えつつ、通常連写モードの約3倍高速な連写を可能にする。すなわち、混合する画素の数を多くすれば読み出す画像信号の量が少なくなるので、より高速な連写が可能になる。一方、混合する画素の数を少なくすれば読み出す画像信号の量は相対的に多くなるが、より画質の低下を抑えた連写が可能になる。
2.3 読み出しモードの切り替え
本実施形態のデジタルカメラ100におけるCCD102の読み出しモードの切り替えについて説明する。読み出しモードの切り替えはCPU106aの指示により画素混合制御部106cにより行われる。
本実施形態では、CCD102の読み出しモードは撮影モードに応じて表1に示すように切り替えられる。すなわち、通常撮影モード及び通常連写モードでは、通常読み出しモードに設定され、高速連写モードでは、混合読み出しモード(9画素混合読み出しモードまたは3画素混合読み出しモード)に設定される。このように、高速連写モードにおいてCCD102の読み出しモードを、混合読み出しモードに切り替えることで、高速撮影に対応して画像信号の読み出しを可能とするとともに、撮影画像の画質の低下を抑制することができる。
Figure 2009021991
高速連写モードにおいて実行される混合読み出しモードで混合される画素数は、使用者により操作釦110を介して指定されてもよいし、デジタルカメラ100の製造時に固定されてもよい。または、混合される画素数のデフォルト値を9画素としておき、露出量に応じて切り替えても良い。具体的には、画素混合制御部106cが露出量を判断し、9画素混合読み出しでは露出オーバーになると判断したときに、混合する画素数を3画素に切り替えてもよい。なお、露出量は例えば被写体画像の輝度から判断できる。すなわち、被写体が明るいときは、画像信号の混合による露出オーバーを避けるために画像信号を混合する画素の数を少なくし、被写体が暗いときは、露出アンダーを避けるために画像信号を混合する画素の数を多くすればよい。また、高速連写モードにおいて、操作釦110によりさらに通常読み出しモードにも切り換えられるようにしてもよい。
さらに、操作釦110により、高速連写モードにおける連写速度を切り替えられるようにしてもよい。例えば、操作釦110により、高速連写モードにおいて、1秒間に10枚の画像データを生成できる第1の連写速度と、1秒間に15枚の画像データを生成できる第2の連写速度とを選択できるようにしてもよい。第1の連写速度での高速連写モードを「高速連写モードL」と称し、第2の連写速度での撮影モードを「高速連写モードH」と称する。そして、高速連写モードLが選択されると3画素混合読み出しモードに切り替え、高速連写モードHが選択されると9画素混合読み出しモードに切り替えるようにしてもよい。使用者にとって、混合する周辺画素の数を選択するよりも、1秒間に生成できる画像データの枚数を選択するほうが、直感的に理解しやすく、使い勝手がよい。
2.4 通常連写モードでの動作(+通常読み出しモード)
図5は、通常連写モードでの撮影動作の一例を示すタイミングチャートである。通常連写モードでは、表1により、CCD102の読み出しモードは通常読み出しモードに設定される。なお、通常撮影モードについても、図5においてさらに、期間7と期間8の間に一つまたは複数のモニタ期間Mが挿入され、挿入された最後のモニタ期間Mにシャッタ釦108の押下が行われると考えることで、同様に取り扱われる。
期間1はモニタ期間Mであり、その長さは1/30秒である。モニタ期間Mにおいて、メカシャッタ101aは開いた状態である。被写体が明るく露光時間が1/30秒では露出オーバーになるときは、電子シャッタによってCCD102の露光時間を制限する。図5では、期間1において、シャッタ釦108が押されている。
期間2と期間3は撮影画像を得るための露光期間Eであり、その長さはそれぞれ1/30秒である。露光期間Eではメカシャッタ101aは開いた状態である。図5では、撮影に必要な露光時間を1/30秒以上かつ1/15秒未満と判断したため、期間2と期間3を露光期間Eとし、期間2では電子シャッタによってCCD102の露光時間を制限している。なお、撮影に必要な露光時間を1/30秒未満と判断したときは、期間2のみを露光期間Eとし、電子シャッタによってCCD102の露光時間を制限すればよい。期間3が終了すると、読出期間R(A)の開始に備えて、光学系制御部106dによってメカシャッタ102aが閉じられる。
期間4から期間6は読出期間R(A)、R(B)、R(C)であり、各期間の長さはCCD102が画像信号を出力する速度(CCD102の総画素数やCCD102の駆動周波数)によって決まる。通常撮影モード及び通常連写モードにおいては、画素混合制御部106cは、複数の画素の画像信号を混合して読み出すこと(混合読出モード)はせず、すべての画素の画像信号を個別に読み出す通常読出モードをCCD駆動IC111に要求し、CCD駆動IC111はその要求にしたがってCCD102を駆動させる。読出期間R(A)、R(B)、R(C)中は、CCD102に新たな画像信号を蓄積させないために、メカシャッタ102aは閉じた状態である。
図5に示す期間4は読出期間R(A)であり、図2(b)で「A」を付した水平ライン群の画像信号のみを読み出す。同様に、期間5は読出期間R(B)であり、図2(b)で「B」を付した水平ライン群の画像信号のみを読み出す。期間6は読出期間R(C)であり、図2(b)で「C」を付した水平ライン群の画像信号のみを読み出す。このような読み出し方式を「3フィールド駆動」と呼ぶ。このように、CCD102のすべての画像信号を読み出すには、期間4から期間6までの時間が必要になる。なお、期間4から期間6の各期間の始めに、垂直転送ラインの残留電荷を高速に掃き出している。これによって、撮影画像の高画質化を図っている。以上の動作により一枚目の画像信号が得られる。
期間7は、CCDVDとLCDVDの同期を取るための期間である。期間4から期間6の長さは前述のようにCCD102が画像信号を出力する速さによって決まる。一方、LCDVDは、期間4から期間6の間も1/30秒の周期で更新されている。したがって、期間6の終わりは、通常、LCDVDと同期していない。そこで、CCDVDを、期間6が終わった後の最初のLCDVDと同期させる。また、期間6が終わった後は二枚目の露光期間Eの開始に備えて、光学系制御部106dによってメカシャッタ102aを開ける必要があるが、期間7は、メカシャッタ102aが完全に開いた状態になるのを待つ目的をも有する。期間7については、その必要がなければ省略することも可能である。
期間7の後、二枚目の撮影動作に移行する。期間8から期間12の動作は、期間2から期間6の動作と同様であり、期間12が終わると二枚目の画像信号が得られる。以降、シャッタ釦108を押下している間、撮影が繰り返される。なお、操作釦110の操作によって、通常撮影モードが選択されている場合には、期間7までで撮影動作は終了し、その後はモニタ期間Mに復帰する。
2.5 高速連写モードでの動作(+9画素混合読み出しモード)
図6は、高速連写モード(本発明の連続撮影モード)での撮影動作の一例を示すタイミングチャートである。ここでは、高速連写モードにおけるCCD102の読み出しモードは、9画素混合読み出しモードに設定されているとする。期間21はモニタ期間Mであり、図5で示した通常連写モード(または通常撮影モード)の期間1と同様であるので、説明を省略する。期間22と期間23は露光期間Eであり、それぞれ図5で示した通常連写モード(または通常撮影モード)の期間2と期間3と同様であるので、説明を省略する。期間23が終了すると、読出期間R(9)の開始に備えて、光学系制御部106dによってメカシャッタ102aを閉じる。
期間24は読出期間R(9)であり、その長さはCCD102が画像信号を出力する速さによって決まる。画素混合制御部106cは、CCD102のある画素の画像信号をその周辺8画素の画像信号と混合して出力する9画素混合読み出しモード(本発明の混合読出モードの一例)をCCD駆動IC111に要求し、CCD駆動IC111はその要求にしたがってCCD102を駆動させる。このため、画像信号の量は1/9になる。したがって、読出期間R(9)の長さは、通常連写モード(または通常撮影モード)の読出期間R(A)、R(B)、R(C)の長さの合計の1/9程度になる。読出期間R(9)中は、CCD102に新たな画像信号を蓄積させないために、メカシャッタ102aは閉じた状態である。なお、期間24の始めに、垂直転送ラインの残留電荷を高速に掃き出す。これによって撮影画像の高画質化を図っている。以上で、一枚目の画像信号が得られる。期間24が終了すると、二枚目の画像に対する露光期間Eの開始に備えて、光学系制御部106dによってメカシャッタ102aが開けられる。
図5に例示した通常撮影モード及び通常連写モードでは3フィールド駆動であったが、一般的に9画素混合読み出しは、1フィールド駆動で実現される。したがって、高速連写モードでは図6に示すように読出期間としてR(9)だけを設ければよい。
複数の画素(ここでは9画素)の画像信号を混合して読み出すと、各画素の画像信号は混合した画素数分大きくなるので、露光時間を長くしたのと同様の効果が得られる。そこで、露光時間を短くしたり、光学系101内の絞り機構(図示せず)を絞り込んだりして、露出オーバーにならないようにする。このように、画素混合読み出しを行うことで、読出期間だけではなく、露光時間も短くすることができる。
適正露出を得るための露光時間を短くできれば、露光期間Eを1/30秒の整数倍で短縮することが可能になる場合がある。例えば、通常連写モード時には撮影に必要な露光時間が1/30秒以上かつ1/15秒未満であり、露光期間Eとして2×CCDVD(1/15秒)を要するような被写体であっても、高速連写モード時には撮影に必要な露光時間が1/30秒未満となり、露光期間Eとして1×CCDVD(1/30秒)を設ければ十分な適正露出が得られるようになる場合がある。露光期間Eが2×CCDVD(1/15秒)から1×CCDVD(1/30秒)になれば、ある読出期間R(9)と次の読出期間R(9)との時間間隔は小さくなり、連写間隔が短くなる効果が生まれる。
一方、通常連写モード時の撮影に必要な露光時間が1/30秒未満であり、露光期間Eが1×CCDVD(1/30秒)で終了するような被写体であれば、高速連写モード時の露光期間Eとしても1×CCDVD(1/30秒)を要するものの、電子シャッタ制御によって露光時間を通常連写モード時の露光時間より短くすることができる。電子シャッタにより露光時間が短くなれば、手ぶれや被写体ぶれを抑制することができるという効果が生まれる。なお、図3は、ある画素の画像信号にその周辺8画素の画像信号を混合した後に読み出す例であるが、画像信号を混合する画素の数を変更することができる。
期間25は、CCDVDとLCDVDの同期を取るための期間であり、図5で示した期間7と同様であるので、説明を省略する。期間26から期間28は、期間22から期間24と同様であり、期間28が終わると二枚目の画像信号が得られる。以降、シャッタ釦108を押下している間、撮影が繰り返される。
2.6 高速連写モードでの別の動作例(+3画素混合読み出しモード)
ここでは、高速連写モード(本発明の連続撮影モード)におけるCCDの読み出しモードが3画素混合読み出しモードに設定されている場合を示す。9画素混合読み出しでは、中心となる画素の画像信号にその上下左右斜め方向の8画素の画像信号が混合される。これに対して、3画素混合読み出しでは、中心となる画素の画像信号に、その上下方向の2画素の画像信号のみを混合して読み出すため、その左右斜め方向の画素の画像信号が混合されない。よって、左右方向についてより解像感の高い撮影画像を得ることができる。
図7は、高速連写モード時における3画素混合読み出しの動作の一例を示すタイミングチャートである。期間41はモニタ期間Mであり、図5で示した通常連写モード(または通常撮影モード)の期間1と同様であるので、説明を省略する。期間42と期間43は露光期間Eであり、それぞれ図5で示した通常連写モード(または通常撮影モード)の期間2と期間3と同様であるので、説明を省略する。期間43が終了すると、読出期間R(3)の開始に備えて、光学系制御部106dによってメカシャッタ102aを閉じる。
期間44は読出期間R(3)であり、その期間の長さはCCD102が画像信号を出力する速さによって決まる。高速連写モードにおける3画素混合読み出しにおいて、画素混合制御部106cは、CCD102のある画素の画像信号をその上下2画素の画像信号と混合して出力する3画素混合読み出しモード(本発明の混合読出モードの一例)をCCD駆動IC111に要求する。CCD駆動IC111はその要求にしたがってCCD102を駆動させる。よって、画像信号の量は1/3になる。したがって、読出期間R(3)の長さは、図5で示した通常連写モード(または通常撮影モード)の読出期間R(A)、R(B)、R(C)のいずれか1つの期間の長さと同程度になる。読出期間R(3)中、CCD102に新たな画像信号を蓄積させないために、メカシャッタ102aは閉じた状態である。なお、期間44の始めに、垂直転送ラインの残留電荷が高速に掃き出され、これによって、撮影画像の高画質化を図っている。以上のようにして、一枚目の画像信号が得られる。期間44が終了すると、二枚目の露光期間Eの開始に備えて、光学系制御部106dによってメカシャッタ102aが開けられる。
図5に示す例では3フィールド駆動であったが、一般的に3画素混合読み出しは、1フィールド駆動で実現される。したがって、高速連写モードでは、図7に示すように読出期間としてR(3)だけを設ければよい。
複数の画素(ここでは3画素)の画像信号を混合して読み出すと、各画素の画像信号は混合した画素数分大きくなるので、露光時間を長くしたのと同様の効果が得られる。そこで、露光時間を短くしたり、光学系101内の絞り機構(図示せず)を絞り込んだりして、露出オーバーにならないようにする。このように、画素混合読み出しを行うことで、読出期間だけではなく、露光時間も短くすることができる。
一般的に、この露光時間の短縮効果の大小は、ある画素の周辺何画素分の画素の画像信号を混合したかによって決定されるため、3画素混合読み出しによって得られる露光時間の短縮効果は、9画素混合読み出しによって得られる露光時間の短縮効果よりも小さいものとなる。
適正露出を得るため為の露光時間を短くできれば、露光期間Eを1/30秒の整数倍で短縮することが可能になる場合がある。例えば、通常連写モード時には撮影に必要な露光時間が1/30秒以上かつ1/15秒未満であり、露光期間Eとして2×CCDVD(1/15秒)を要するような被写体であっても、高速連写モード時には撮影に必要な露光時間が1/30秒未満となり、露光期間Eとして1×CCDVD(1/30秒)を設ければ十分な適正露出が得られるようになる場合がある。露光期間Eが2×CCDVD(1/15秒)から1×CCDVD(1/30秒)になれば、ある読出期間R(3)と次の読出期間R(3)との時間間隔は小さくなり、連写間隔が短くなる効果が生まれる。
一方、通常連写モード時の撮影に必要な露光時間が1/30秒未満であり、露光期間Eが1×CCDVD(1/30秒)で終了するような被写体であれば、高速連写モード時の露光期間Eとしても1×CCDVD(1/30秒)を要するものの、電子シャッタ制御によって露光時間を通常連写モード時の露光時間より短くすることができる。電子シャッタにより露光時間が短くなれば、手ぶれや被写体ぶれを抑制することができるという効果が生まれる。なお、図4は、ある画素の画像信号にその上下2画素の画像信号を混合した後に読み出す例であるが、画像信号を混合する画素の数を変更することができる。
期間45は、CCDVDとLCDVDの同期を取るための期間であり、図5で示した期間7と同様であるので、説明を省略する。期間46から期間48は、期間42から期間44と同様であり、期間48が終わると二枚目の画像信号が得られる。以降、シャッタ釦108を押下している間、撮影が繰り返される。なお、画素混合制御部106cは、メモリカード109の空き容量を監視し、空き容量が所定量より少ないときに、自動的に3画素混合読み出しモードから9画素混合読み出しモードに切り替えるようにしてもよい。
3.その他
本実施形態では、通常撮影モード、通常連写モード、高速連写モードに関わらず、読出期間の始めに垂直転送ラインの残留電荷を高速に掃き出すことによって、撮影画像の高画質化を図ることとした。しかし、垂直転送ラインの残留電荷の高速掃き出しが必須ということではない。通常撮影モード及び通常連写モードでは垂直転送ラインの残留電荷の高速掃き出しを行うが、高速連写モードでは垂直転送ラインの残留電荷の高速掃き出しを行わないことで、連写速度をさらに高めるようにしてもよい。
表1の例では、通常連写モードでは、読み出しモードは通常読み出しモードに設定されていたが、表2に示すように、通常連写モード及び高速連写モードの双方すなわち連写モードにおいて、読み出しモードを混合読み出しモード(9画素混合読み出しモードまたは3画素混合読み出しモード)に設定してもよい。この構成により、連写モードにおいて高速な画像信号の読み出しを可能とするとともに、撮影画像の画質の低下を抑制することができる。
Figure 2009021991
連写モードにおいて実行される混合読み出しモードの混合される画素数は、使用者により操作釦110を介して指定されてもよいし、デジタルカメラ100の製造時に固定されてもよい。または、混合される画素数のデフォルト値を9画素としておき、露出量に応じて切り替えても良い。また、連写モードにおいて、通常連写モードのときは、混合読み出しモードにおいて混合される画素数を3画素とし、高速連写モードのときは、混合される画素数を9画素としてもよい。また、連写モードにおいて、さらに通常読み出しモードにも切り換えられるようにしてもよい。
また、本実施形態では、混合読み出しとして、3画素混合読み出しと9画素混合読み出しを可能としたが、これらに限定するものではない。混合する画素数をさらに多くの数の中から選択できるようにしてもよい。
また、本実施形態では、一枚の画像の画像信号を得るごとにCCDVDとLCDVDの同期を取るための期間を設けた。しかし、モニタ期間にCCDVDとLCDVDの同期を取っていないような場合には、一枚の画像の画像信号を得るごとにCCDVDとLCDVDの同期を取るための期間を設けなくてもよい。これによって、連写速度をさらに高めることができる。
また、本実施形態では、一枚の画像信号を得るごとにCCDVDとLCDVDの同期を取るための期間を設けた。しかし、通常連写または高速連写が完了した後、すなわち複数枚の画像の画像信号を得た後に、CCDVDとLCDVDの同期を取るための期間を一回だけ設けるようにしてもよい。これによって、連写速度をさらに高めることができる。
また、本実施形態では、読出期間の開始時点でメカシャッタ101aを閉じて、読出期間の終了時点でメカシャッタ101aを開けるようにするメカシャッタ101a制御を行った。しかし、高速連写モードではメカシャッタ101aの駆動回数が飛躍的に増加するため、メカシャッタ101aの寿命を考慮して、高速連写モード時にはメカシャッタ101a制御をしないようにしてもよい。
本発明によれば、撮影画像の画質の低下を抑えつつ高速な連写を行うことができるので、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話などの撮像機器に適用して有用である。
本発明の一実施形態であるデジタルカメラの構成を示す図 多数の水平ラインを含むCCDの構成を示す概念図 9画素混合読み出しの画素の組み合わせの例を示す図 3画素混合読み出しの画素の組み合わせの例を示す図 通常連写モード(及び通常読み出しモード)での撮影動作の一例を示すタイミングチャート 高速連写モード(及び9画素混合読み出しモード)での撮影動作の一例を示すタイミングチャート 高速連写モード(及び3画素混合読み出しモード)での撮影動作の一例を示すタイミングチャート
符号の説明
100 デジタルカメラ
101 光学系
101a メカシャッタ
102 CCD
103 AFE
104 バス
105 SDRAM
106 信号処理LSI
106a CPU
106b 信号処理部
106c 画素混合制御部
106d 光学系制御部
107 LCD
108 シャッタ釦
109 メモリカード
110 操作釦

Claims (9)

  1. 撮影モードとして、単一の撮影指示に対して単一の画像データを生成する通常撮影モードと、単一の撮影指示に対して複数の画像データを生成する連写モードとを有する撮像装置であって、
    撮影モードを設定する設定部と、
    複数の画素を有し、読み出しモードとして、すべての画素の画像信号を出力する通常読出しモードと、所定の画素の画像信号とその周辺画素の画像信号とを混合して出力する混合読出しモードとを有する撮像素子と、
    前記撮像素子の読み出しモードを制御する画素混合制御部とを備え、
    前記画素混合制御部は、前記撮影モードが前記連写モードに設定されている場合、前記撮像素子を前記混合読出しモードで動作させる、
    ことを特徴とする撮像装置。
  2. 撮影モードとして、単一の撮影指示に対して単一の画像データを生成する通常撮影モードと、単一の撮影指示に対して複数の画像データを生成する連写モードとを有する撮像装置であって、
    撮影モードを設定する設定部と、
    複数の画素を有し、読み出しモードとして、すべての画素の画像信号を出力する通常読出しモードと、所定の画素の画像信号とその周辺画素の画像信号とを混合して出力する混合読出しモードとを有する撮像素子と、
    前記撮像素子の読み出しモードを制御する画素混合制御部とを備え、
    前記連写モードは、通常連写モードと、単一の撮影指示に対して前記通常連写モードよりも単位時間当たりに生成可能な画像データの数が多い高速連写モードとを含み、
    前記画素混合制御部は、
    前記撮影モードが前記通常連写モードに設定されている場合、前記撮像素子を前記通常読出しモードで動作させ、
    前記撮影モードが前記高速連写モードに設定されている場合、前記撮像素子を前記混合読出しモードで動作させる、
    ことを特徴とする撮像装置。
  3. 撮影モードとして、単一の撮影指示に対して単一の画像データを生成する通常撮影モードと、単一の撮影指示に対して複数の画像データを生成する連写モードとを有する撮像装置であって、
    撮影モードを設定する設定部と、
    複数の画素を有し、読み出しモードとして、すべての画素の画像信号を出力する通常読出しモードと、所定の画素の画像信号とその周辺画素の画像信号とを混合して出力する混合読出しモードとを有する撮像素子と、
    前記撮像素子の読み出しモードを制御する画素混合制御部とを備え、
    前記画素混合制御部は、前記撮影モードが前記連写モードに設定されている場合、前記設定部による設定にしたがい、前記撮像素子の読み出しモードを、前記混合読出しモードまたは前記通常読み出しモードのいずれかに切り替え可能である、
    ことを特徴とする撮像装置。
  4. 前記撮像素子は、混合読出しモードにおいて混合する周辺画素の数が変更可能であって、前記設定部は前記混合読出しモードにおいて混合する周辺画素の数を設定可能である、ことを特徴とする請求項1から3のいずれかに記載の撮像装置。
  5. 前記撮像素子は、混合読出しモードにおいて混合する周辺画素の数が変更可能であって、
    前記操作部は、前記連写モードにおける連写速度を設定可能であり、
    前記画素混合制御部は、前記連写速度に応じて、前記混合読出しモードにおいて混合する周辺画素の数を設定する、
    ことを特徴とする請求項1から3のいずれかに記載の撮像装置。
  6. 前記撮像素子は、混合読出しモードにおいて混合する周辺画素の数が変更可能であって、前記画素混合制御部は、被写体の明るさに応じて、前記混合する周辺画素の数を変更する、ことを特徴とする請求項1から3のいずれかに記載の撮像装置。
  7. 前記画像データを記憶する記憶部をさらに有し、
    前記撮像素子は、混合読出しモードにおいて混合する周辺画素の数が変更可能であって、前記画素混合制御部は、前記記憶部の空き容量に応じて、前記混合する周辺の画素の数を変更する、
    ことを特徴とする請求項1から3のいずれかに記載の撮像装置。
  8. 前記混合読出しモードにおいて混合する周辺画素の数は3または9である、ことを特徴とする請求項1から3のいずれかに記載の撮像装置。
  9. 前記混合読出しモードにおいて混合する周辺画素の数を3または9に変更可能であることを特徴とする請求項4から7のいずれかに記載の撮像装置。
JP2008155294A 2007-06-14 2008-06-13 撮像装置 Expired - Fee Related JP5107799B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008155294A JP5107799B2 (ja) 2007-06-14 2008-06-13 撮像装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007157212 2007-06-14
JP2007157212 2007-06-14
JP2008155294A JP5107799B2 (ja) 2007-06-14 2008-06-13 撮像装置

Publications (3)

Publication Number Publication Date
JP2009021991A true JP2009021991A (ja) 2009-01-29
JP2009021991A5 JP2009021991A5 (ja) 2011-07-28
JP5107799B2 JP5107799B2 (ja) 2012-12-26

Family

ID=40131912

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008155294A Expired - Fee Related JP5107799B2 (ja) 2007-06-14 2008-06-13 撮像装置

Country Status (3)

Country Link
US (1) US8274574B2 (ja)
JP (1) JP5107799B2 (ja)
CN (1) CN101325661A (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4715865B2 (ja) * 2007-06-12 2011-07-06 カシオ計算機株式会社 撮像装置、プログラム
KR20090052655A (ko) * 2007-11-21 2009-05-26 삼성전자주식회사 영상처리장치 및 감마 보정방법
JP5321070B2 (ja) * 2009-01-08 2013-10-23 カシオ計算機株式会社 撮影装置、撮影方法及びプログラム
JP4760928B2 (ja) * 2009-02-13 2011-08-31 カシオ計算機株式会社 撮像装置、連写速度の設定方法及びプログラム
JP5683851B2 (ja) * 2009-08-20 2015-03-11 株式会社ザクティ 撮像装置及び画像処理装置
JP5167229B2 (ja) * 2009-11-20 2013-03-21 パナソニック株式会社 画像撮像装置
US8879858B1 (en) 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
KR20160086329A (ko) * 2013-11-19 2016-07-19 소니 주식회사 촬상 시스템, 촬상 장치, 정보 처리 장치 및 방법과 프로그램
JP2019071536A (ja) * 2017-10-06 2019-05-09 パナソニックIpマネジメント株式会社 撮像装置
US11895407B2 (en) * 2019-07-24 2024-02-06 Sony Group Corporation Imaging device and imaging method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165099A (ja) * 1992-11-17 1994-06-10 Canon Inc 画像記録装置及び電子スチル・カメラ
JP2001359038A (ja) * 2000-06-09 2001-12-26 Olympus Optical Co Ltd 撮像装置
JP2003219267A (ja) * 2003-01-06 2003-07-31 Canon Inc 電子スチルカメラ
JP2006320019A (ja) * 2002-11-12 2006-11-24 Matsushita Electric Ind Co Ltd 固体撮像素子およびこれを備えたカメラ
JP2007060131A (ja) * 2005-08-23 2007-03-08 Olympus Imaging Corp ライブビュー表示機能を有するカメラ

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734424A (en) * 1990-08-08 1998-03-31 Canon Kabushiki Kaisha Image pickup apparatus capable of providing moving video signal and still video signal
JP3402619B2 (ja) * 1992-01-14 2003-05-06 キヤノン株式会社 電子スチルカメラ
US6999119B1 (en) * 1998-04-10 2006-02-14 Nikon Corporation Image-capturing element, image-capturing circuit for processing signal from image-capturing element, image-capturing device, driving method of image-capturing element
JP4022638B2 (ja) 1998-04-10 2007-12-19 株式会社ニコン 撮像素子およびこれを用いた撮像装置
JP4281173B2 (ja) * 1999-09-22 2009-06-17 株式会社ニコン 電子スチルカメラ
US7292274B2 (en) * 2001-11-06 2007-11-06 Eastman Kodak Company Solid-state image pickup device driving method and image capturing apparatus for outputting high-resolution signals for still images and moving images of improved quality at a high frame rate
JP3968122B2 (ja) 2001-12-13 2007-08-29 イーストマン コダック カンパニー 撮像装置
JP3848650B2 (ja) * 2002-11-12 2006-11-22 松下電器産業株式会社 固体撮像素子およびこれを備えたカメラ
JP4416462B2 (ja) * 2003-09-19 2010-02-17 パナソニック株式会社 自動焦点調節方法、および自動焦点調節カメラ
JP4458236B2 (ja) * 2003-09-30 2010-04-28 パナソニック株式会社 固体撮像装置
JP4901069B2 (ja) 2004-02-18 2012-03-21 株式会社ニコン 電子カメラ
JP2006217355A (ja) 2005-02-04 2006-08-17 Olympus Corp 撮像装置
JP4840688B2 (ja) * 2005-12-09 2011-12-21 カシオ計算機株式会社 撮像装置及びそのプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165099A (ja) * 1992-11-17 1994-06-10 Canon Inc 画像記録装置及び電子スチル・カメラ
JP2001359038A (ja) * 2000-06-09 2001-12-26 Olympus Optical Co Ltd 撮像装置
JP2006320019A (ja) * 2002-11-12 2006-11-24 Matsushita Electric Ind Co Ltd 固体撮像素子およびこれを備えたカメラ
JP2003219267A (ja) * 2003-01-06 2003-07-31 Canon Inc 電子スチルカメラ
JP2007060131A (ja) * 2005-08-23 2007-03-08 Olympus Imaging Corp ライブビュー表示機能を有するカメラ

Also Published As

Publication number Publication date
US20080309776A1 (en) 2008-12-18
CN101325661A (zh) 2008-12-17
US8274574B2 (en) 2012-09-25
JP5107799B2 (ja) 2012-12-26

Similar Documents

Publication Publication Date Title
JP5107799B2 (ja) 撮像装置
JP4558830B2 (ja) 撮像装置
US8396333B2 (en) Image pickup apparatus, solid-state imaging device, and image generating method
US8045035B2 (en) Imaging apparatus, imaging control method and recording medium readable by computer
US7589778B2 (en) Digital camera
JP2007251860A (ja) 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
JP4616392B2 (ja) 撮像装置
JP4503892B2 (ja) 撮像装置
JP2010062671A (ja) 撮像装置およびその制御方法、プログラム
JP5343727B2 (ja) デジタルカメラ装置
JP2004282648A (ja) デジタルスチルカメラ
JP4616429B2 (ja) 画像処理装置
JP2005012423A (ja) 撮像装置及び信号処理装置
JP2007104408A (ja) 撮像装置及び撮像方法
JP4464006B2 (ja) 撮像装置および露光方法
JP2004172845A (ja) 撮像装置
JP2011029879A (ja) 撮像装置および撮像方法
JP2004328378A (ja) デジタルカメラ
JP2019041170A (ja) 撮像装置およびその制御方法
JP5086904B2 (ja) 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP5397048B2 (ja) デジタルカメラ、及びその撮影感度設定方法とプログラム
JP2008124793A (ja) 撮像装置、撮像方法
WO2019176309A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
JP2021044621A (ja) 撮像装置およびその制御方法
CN111917947A (zh) 摄像设备及其控制方法和机器可读介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121004

R150 Certificate of patent or registration of utility model

Ref document number: 5107799

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees