JP2004129025A - デジタルカメラ - Google Patents

デジタルカメラ Download PDF

Info

Publication number
JP2004129025A
JP2004129025A JP2002292094A JP2002292094A JP2004129025A JP 2004129025 A JP2004129025 A JP 2004129025A JP 2002292094 A JP2002292094 A JP 2002292094A JP 2002292094 A JP2002292094 A JP 2002292094A JP 2004129025 A JP2004129025 A JP 2004129025A
Authority
JP
Japan
Prior art keywords
aperture
image data
image
exposure
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002292094A
Other languages
English (en)
Other versions
JP3824225B2 (ja
JP2004129025A5 (ja
Inventor
Akira Shiga
志賀 朗
Toshinori Orito
織戸 俊典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2002292094A priority Critical patent/JP3824225B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to PCT/JP2003/012235 priority patent/WO2004032488A1/ja
Priority to KR1020047008533A priority patent/KR100966748B1/ko
Priority to EP03748579A priority patent/EP1473930A4/en
Priority to CNB038017148A priority patent/CN1306794C/zh
Priority to US10/496,006 priority patent/US7511740B2/en
Publication of JP2004129025A publication Critical patent/JP2004129025A/ja
Publication of JP2004129025A5 publication Critical patent/JP2004129025A5/ja
Application granted granted Critical
Publication of JP3824225B2 publication Critical patent/JP3824225B2/ja
Priority to US12/109,844 priority patent/US7692694B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals

Abstract

【課題】シャッタラグの短縮化を図るとともに、露出精度の向上を図る上で有利なデジタルカメラを提供する。
【解決手段】デジタルカメラ100は、撮影レンズ光学系1、絞り2、撮像素子3、保持利得制御回路4、輝度レベル検出器11、露出制御回路12、デバイス制御回路13などを備えている。露出制御回路12は、輝度レベル検出器11から供給される輝度レベルに基づいて適正な露出が行なわれているか否を判定し、この判定結果に基づいて適正な露出が行なわれるために必要な絞り2の開口度、撮像素子3の電子シャッターのシャッタースピード、保持利得制御回路4の利得の3つの値を演算し、演算された露出量を、絞り2、撮像素子3の電子シャッターおよび保持利得制御回路4のそれぞれに反映させるために必要な絞り制御データ、電子シャッター制御データ、利得制御データをそれぞれ演算する。
【選択図】    図1

Description

【0001】
【発明の属する技術分野】
本発明はデジタルカメラに関する。
【0002】
【従来の技術】
従来、固体撮像素子の出力を利用して自動露出制御を行なう、いわゆるイメージャAEを行なうデジタルカメラが知られている。
例えば、固体撮像素子に入射する光の量を制御する絞りと、固体撮像素子からの映像信号が供給される映像増幅器を有し、絞りの変化に拘わらず、固体撮像素子の平均出力レベルの最低被写体照度を保証するデジタルカメラが開示されている(特許文献1)。このようなデジタルカメラでは絞り値を検出して前記映像増幅器の利得を補正している。
このようにデジタルカメラでは、絞りの開口度と、映像信号の利得とを制御することで露出制御が行なわれる。また、前記撮像素子の電子シャッター量(シャッタースピード)を制御することによっても同様に露出制御を行なうことができる。
ところで、デジタルカメラにおける撮影時の動作モードは、モニタリングモード、撮影準備モード、撮影モードの順番に遷移する。
すなわち、前記モニタリングモードは、シャッタボタンを押す前に撮影範囲や構図を決めるために前記表示部に被写体の画像を表示させるモードである。このモニタリングモードにおける絞りの開口度は、前記撮像素子においてスミアが発生しない値に設定される。
前記撮影準備モードは、シャッタボタンを半押しした状態であって、前記撮像信号に基づいて前記絞りの開口度、電子シャッター量、前記撮像信号の利得の3つの値が計算されて設定されるモードである。この撮影準備モードでは、前記絞りは設定された開口度となるように駆動される。
前記撮影モードは、シャッタボタンを全押しした状態であって、前記撮影準備モードで設定された前記絞りの開口度、電子シャッター量、前記撮像信号の利得の状態で撮像素子の電子シャッターが動作し、撮像素子から撮像信号が出力されて画像データがメモリに書き込まれるモードである。
このように構成された従来のデジタルカメラは、前記絞りが機械的に構成されているため、絞りの開口度にヒステリシス誤差とばらつき誤差が含まれている。
すなわち、ヒステリシス誤差とは、絞りの開口度をある目標値に設定する場合、絞りが開放側から小絞り側に動作した場合の開口度と、絞りが小絞り側から開放側に動作した場合の開口度との間に生じる誤差である。
また、ばらつき誤差は、絞りの開口度をある目標値に設定する場合、絞りの開口度がある範囲にばらつく誤差である。
このため、従来は前記ヒステリシス誤差を取り除くために、撮影準備モードから撮影モードに遷移した後に、いったん絞りを開放側に設定し、次いで絞りを目標値に絞り込むように、すなわち絞りを必ず一方向から動作させるようにしている。
【0003】
【特許文献1】
特開平5−236338号公報
【0004】
【発明が解決しようとする課題】
このように絞りのヒステリシス誤差を取り除くように構成された従来のデジタルカメラは、撮影モードにおいて絞りをいったん開放側に設定してから目標値まで絞り込むための動作時間がかかるため、シャッタボタンを押してから撮像素子の電子シャッターが作動して画像信号の取込がなされるまでの時間、すなわちシャッタラグが長くなるという欠点があった。また、絞りを目標値に設定される際に生じる絞りの開口度のばらつきを取り除くことができないので、露出精度の向上を図る上で不利であった。
本発明は、このような実状に鑑みてなされたものであり、その目的とするところは、シャッタラグの短縮化を図るとともに、露出精度の向上を図る上で有利なデジタルカメラを提供することにある。
【0005】
【課題を解決するための手段】
本発明は前記目標を達成するために、撮影レンズ光学系と、前記撮影レンズ光学系の光路の開口度が制御可能な絞りと、前記撮影レンズ光学系によって結像される被写体像を電子シャッターの動作に連動して検出することにより撮像信号を出力する撮像素子と、利得の制御が可能で前記撮像信号を増幅する利得制御手段と、前記撮像信号に基づいて輝度レベルを検出する輝度レベル検出手段とを備えたデジタルカメラにおいて、前記輝度レベル検出手段で検出された輝度レベルに基づいて適正露出で撮影を行なうために必要な前記絞りの開口度を第1の開口度として演算する第1の露出量演算手段と、前記第1の開口度が前記絞りに設定された後で前記輝度レベル検出手段で検出された輝度レベルに基づいて適正露出で撮影を行なうために必要な前記絞りの開口度を第2の開口度として演算する第2の露出量演算手段と、前記第1の開口度と第2の開口度の差に基づいて適正露出で撮影を行なうために必要な前記シャッタースピードの補正量を演算する第3の露出量演算手段と、前記シャッタースピードの補正量に基づいて前記撮像素子の電子シャッターのシャッタースピードを補正するシャッタースピード補正手段とを備えることを特徴とする。
そのため、第1の露出量演算手段によって撮像素子から出力された撮像信号の輝度レベルに基づいて適正露出で撮影を行なうために必要な第1の開口度が演算され、第2の露出量演算手段によって前記第1の開口度が前記絞りに設定された後で前記輝度レベル検出手段で検出された輝度レベルに基づいて適正露出で撮影を行なうために必要な第2の開口度が演算され、第3の露出量演算手段によって前記第1の開口度と第2の開口度の差に基づいて適正露出で撮影を行なうために必要な前記シャッタースピードの補正量が演算され、シャッタースピード補正手段によって前記シャッタースピードの補正量に基づいて前記撮像素子の電子シャッターのシャッタースピードが補正される。
また、本発明は、撮影レンズ光学系と、前記撮影レンズ光学系の光路の開口度が制御可能な絞りと、前記撮影レンズ光学系によって結像される被写体像を電子シャッターの動作に連動して検出することにより撮像信号を出力する撮像素子と、利得の制御が可能で前記撮像信号を増幅する利得制御手段と、前記撮像信号に基づいて輝度レベルを検出する輝度レベル検出手段とを備えたデジタルカメラにおいて、前記輝度レベル検出手段で検出された輝度レベルに基づいて適正露出で撮影を行なうために必要な前記絞りの開口度を第1の開口度として演算する第1の露出量演算手段と、前記第1の開口度が前記絞りに設定された後で前記輝度レベル検出手段で検出された輝度レベルに基づいて適正露出で撮影を行なうために必要な前記絞りの開口度を第2の開口度として演算する第2の露出量演算手段と、前記第1の開口度と第2の開口度の差に基づいて適正露出で撮影を行なうために必要な前記利得制御回路の利得の補正量を演算する第4の露出量演算手段と、前記利得制御回路の利得の補正量に基づいて前記利得制御回路の利得を補正する利得補正手段とを備えることを特徴とする。
そのため、第1の露出量演算手段によって撮像素子から出力された撮像信号の輝度レベルに基づいて適正露出で撮影を行なうために必要な第1の開口度が演算され、第2の露出量演算手段によって前記第1の開口度が前記絞りに設定された後で前記輝度レベル検出手段で検出された輝度レベルに基づいて適正露出で撮影を行なうために必要な第2の開口度が演算され、第4の露出量演算手段によって前記第1の開口度と第2の開口度の差に基づいて適正露出で撮影を行なうために必要な前記利得が演算され、利得補正手段によって前記利得の補正量に基づいて前記利得制御手段の利得が補正される。
【0006】
【発明の実施の形態】
以下、本発明によるデジタルカメラの実施の形態を図面に基づいて詳細に説明する。
図1は本発明の第1実施の形態におけるデジタルカメラの構成を示すブロック図である。
デジタルカメラ100は、撮影レンズ光学系1、絞り2、撮像素子3、保持利得制御回路4、A/D変換器5、映像信号処理回路6、絞り駆動部7、絞り駆動回路8、タイミング発生回路9、マイクロコンピュータ10、輝度レベル検出器11、露出制御回路12、デバイス制御回路13、操作手段14、記録用映像信号処理回路1515などを備えている。
前記撮影レンズ光学系1は、被写体像を導く光路101および被写体像を結像する撮影レンズ103を含んで構成されている。
前記絞り2は前記光路101に配設され、該絞り2に入力される絞り駆動信号に基づいて前記撮影レンズ光学系1を通過した光が通過する光路101の開口度が制御されるように構成され、従来と同様に開口の口径が機械的に変化するものである。
なお、前記絞り2は、開口を構成する部材の部分にNDフィルタが設けられた形態のものであってもよいことは勿論である。
【0007】
前記撮像素子3は、前記撮影レンズ光学系1で結像された被写体像を検出することによりアナログ信号としての撮像信号を生成出力するように構成されている。本実施の形態において撮像素子3は例えばCCD(Charged Coupled Device)あるいはCMOS(Complementary Metal−Oxide Semiconductor)などによって構成される。
前記撮像素子3には電子シャッターが設けられており、該電子シャッターのシャッタースピードに応じた期間で前記被写体像の検出を行ない、前記撮像信号を生成する。
【0008】
前記保持利得制御回路4は、前記撮像素子3から出力されるアナログ信号としての前記撮像信号のサンプルホールドと利得制御を行なうように構成されている。すなわち、この保持利得制御回路4は、該保持利得制御回路4に設定された利得に基づいて前記撮像信号の増幅を行なう。
前記A/D変換器5は、前記保持利得制御回路4から出力される利得制御された前記撮像信号をアナログ信号からデジタル信号に変換するように構成されている。
前記映像信号処理回路6は、前記A/D変換器5から出力された前記撮像信号に対して各種の信号処理を施すとともに、この信号処理が施された撮像信号を映像信号として前記記録用映像信号処理回路15へ出力するとともに、前記映像信号を前記輝度レベル検出器11に出力するように構成されている。
前記記録用映像信号処理回路15は記憶手段1502を有し、前記映像信号に基づいて画像データを生成し、この画像データを前記記憶手段1502に一時的に格納し、格納されている画像データを図外の液晶表示器などからなる表示部に出力して表示させたり、前記画像データを図外のインターフェースを介して所定の記録媒体(メモリデバイス)に記録させるように構成されている。
また、前記記録用映像信号処理回路15は、前記記憶手段1502に格納されている画像データに対して露出補正に相当する画像処理を含む画像処理を行なうことができるように構成されている。
前記輝度レベル検出器11は、前記映像信号処理回路6から出力された前記映像信号から所定画像領域の輝度信号を抽出し、該抽出した輝度信号の積分値を輝度レベルとして検出するように構成されている。
前記操作手段14は、撮影を行なうためのシャッタボタン、各種撮影モードの設定、シャッタースピードの設定、絞りの開口度の設定、利得の設定を行なうための操作スイッチを含んで構成されている。
前記操作手段14で設定された前記各種撮影モード、シャッタースピード、絞りの開口度および利得の内容は電気信号として前記露出制御回路12に伝達される。
【0009】
なお、前記撮影モードとしては、例えばシャッタースピード優先モード、絞り優先モード、オートモード、ポートレートモードなどがある。
前記シャッタースピード優先モードとは、撮影者によって予め設定された前記電子シャッターのスピードと前記輝度レベル検出器11によって検出された輝度レベルとに応じて、前記絞り2の開口度および前記保持利得制御回路4の利得を設定するモードである。
前記絞り優先モードとは、撮影者によって予め設定された絞り2の開口度と前記輝度レベル検出器11によって検出された輝度レベルとに応じて、前記電子シャッターのスピードおよび前記保持利得制御回路4の利得を設定するモードである。
前記オートモードとは、予め、前記電子シャッターのスピードと前記絞り2の開口度と前記保持利得制御回路4の利得との組み合わせが前記輝度レベルに対応して予め設定されており、前記輝度レベル検出器11によって検出された輝度レベルに応じて、前記予め組み合わされた前記電子シャッターのスピードと前記絞り2の開口度と前記保持利得制御回路4の利得とを設定するモードである。
前記ポートレートモードは、前記撮影レンズ光学系1のピントを被写体に合わせたときに被写体の背後のピントがずれてぼけが生じるように、すなわち被写界深度が浅くなるように、絞り2の開口度をほぼ開放値に設定するモードである。
【0010】
前記マイクロコンピュータ10は、前記露出制御回路12と前記デバイス制御回路13を含んでいる。
前記露出制御回路12はRAM1202を含んで構成されている。
前記露出制御回路12は、前記操作手段14から出力される各種撮影モード、シャッタースピード、絞りの開口度および利得の各設定値を前記RAM1202に格納するように構成されている。
また、前記露出制御回路12は、前記輝度レベル検出器11から供給される輝度レベルに基づいて適正な露出が行なわれているか否を判定し、この判定結果に基づいて適正な露出が行なわれるために必要な前記絞り2の開口度、撮像素子3の電子シャッターのシャッタースピード、保持利得制御回路4の利得の3つの値を演算する。以下、前記絞り2の開口度、撮像素子3の電子シャッターのシャッタースピード、保持利得制御回路4の利得の3つの値を合わせて「露出量」と呼ぶ。
そして、前記演算された露出量を、絞り2、撮像素子3の電子シャッターおよび保持利得制御回路4のそれぞれに反映させるために必要な3つの制御データ、すなわち絞り制御データ、電子シャッター制御データ、利得制御データをそれぞれ演算するように構成されている。これら3つの制御データは必要に応じて前記RAM1202に格納される。
前記露出制御回路12による前記露出量、前記絞り制御データ、電子シャッター制御データ、利得制御データの演算は、前記RAM1202に格納されている前記各種撮影モード、シャッタースピード、絞りの開口度および利得の各設定値と、前記輝度レベル検出器11から出力される輝度レベルとに基づいて行なわれる。
また、前記露出制御回路13は、後述するモニタリングモードの期間、前記撮像素子3にスミアが発生しないように、前記輝度レベル検出器11から供給される輝度レベルに基づいて絞り2の開口度を制御するための制御データを演算するようにも構成されている。
【0011】
前記デバイス制御回路13は、前記RAM1202に格納されている前記絞り制御データを該RAM1202から読み出すとともに、この絞り制御データに基づいて第1の制御信号S1を生成して前記絞り駆動回路8に供給するように構成されている。
また、前記デバイス制御回路13は、前記RAM1202に格納されている前記電子シャッター制御データを該RAM1202から読み出すとともに、この電子シャッター制御データに基づいて第2の制御信号S2を生成して前記タイミング発生回路9に供給するように構成されている。
前記デバイス制御回路13は、前記RAM1202に格納されている前記利得制御データを該RAM1202から読み出すとともに、この利得制御データに基づいて第3の制御信号S3を生成して前記保持利得制御回路4に供給する。これにより前記保持利得制御回路4は前記第3の制御信号S3に基づいて利得が制御されるように構成されている。
【0012】
前記絞り駆動回路8は、前記第1の制御信号S1に基づいて前記絞り駆動部7に駆動信号を供給し、これにより前記絞り駆動部7が絞り2の開口度を制御するように構成されている。
前記タイミング発生回路9は、前記第2の制御信号S2に基づいて前記撮像素子2にタイミング信号を供給し、これにより前記撮像素子2の電子シャッターのシャッタースピードを制御するように構成されている。
【0013】
次に、上述した構成のデジタルカメラ100による絞りの補正制御の動作について説明する。
図2は絞りの開口度の補正制御の動作を示すフローチャート、図3、図4はデジタルカメラの各部の動作タイミングを説明する説明図である。
まず、図3、図4について説明する。
図3、図4の(A)はデジタルカメラ100の動作モードを示している。この動作モードはモニタリングモードM1、撮影準備モードM2、撮影モードM3の3つのモードを含んでいる。
前記モニタリングモードM1は、前記シャッタボタンが押下される前の状態であって、撮影範囲や構図を決めるために前記表示部に被写体の画像を表示させるモードである。
前記撮影準備モードM2は、前記シャッタボタンを半押しした状態であって、前記露出制御回路12は、前記輝度レベルに基づいて、適正露出で撮影するために必要な絞り制御データ、電子シャッター制御データ、利得制御データを計算するモードである。
前記撮影モードM3は、前記シャッタボタンを全押しした状態であって、前記記録映像信号処理回路が前記映像信号処理回路6から出力された映像信号に基づいて生成した画像データを記録媒体に書き込むモードである。
【0014】
図3、図4の(B)は絞り2の設定、動作、(C)は電子シャッターの動作、(D)は映像信号処理回路6での処理動作、(E)は露出制御回路12での各制御データの演算動作を示している。本例では、これら各動作が行なわれる時間単位が前記撮像素子3から出力される撮像信号のフレームレートで示されている。
各フレームレートには説明の便宜上、時間経過の順番にフレームレート番号を付しており、前記撮影準備モードM2の最後のフレームレートの番号を「1」としている。
また、図3、図4に示すように、あるフレームレートの撮像信号に対する(B)、(C)、(D)、(E)の各動作は時間経過とともに1フレームレートずつ順番に実行される。
【0015】
次に、図2、図3に基づいてデジタルカメラ100による絞りの補正制御の動作について説明する。
まず、モニタリングモードM1の期間では、前記露出制御回路12は、前記輝度レベル検出器11から供給される輝度レベルに基づいて前記撮像素子2においてスミアが発生しないように絞り制御データを演算している。これにより、前記演算された絞り制御データに基づいて前記絞り駆動回路8、絞り駆動部7が動作して絞り2の開口度をフレームレート単位で順次設定し、その開口度が絞り2に反映されている(ステップS10)。
前記露出制御回路12は、前記撮像素子3の電子シャッターの動作によって被写体像が取り込まれることで該撮像素子3から出力された撮像信号が保持利得制御回路4、A/D変換器5を介して映像信号処理回路6によって処理されることにより、該映像信号処理回路6から供給される輝度レベルに基づいて適正露出とするための露出量と、該露出量に対応する前記開口度および該開口度に対応する絞り制御データ、電子シャッターのシャッタースピードおよび該シャッタースピードに対応する電子シャッター制御データ、利得および該利得に対応する利得制御データをフレームレート単位で順次演算し続けている。
前記演算されている前記露出量とは、前述した種々の撮影モード(シャッタースピード優先モード、絞り優先モード、ポートレートモードなど)に対応したものである。
【0016】
次に、前記シャッタボタンが半押しされると撮影準備モードM2に遷移し、露出制御回路12は、図3(E)に示すように、前記シャッタボタンが半押しされる直前のフレームレート番号「1」に対応する、適正露出となるための露出量E1をRAM1202に格納(バックアップ)する(ステップS12)。
次いで、露出制御回路12は、図3(B)に示すように、前記露出量1のRAM1202への格納後、フレームレート番号「5」のタイミングで、前記RAM1202に格納されている前記露出量E1に対応した開口度の絞り制御データを絞り駆動回路8に供給し、これにより絞り駆動部7が絞り2に対して開口度を設定する。
絞り2は、例えば1フレームレート分の動作時間を要するため、次のフレームレート番号「6」のタイミングで絞り2に前記絞り制御データに対応した開口度が反映される(ステップS14)。すなわち、モニタリングモードM1の期間に設定されていた開口度と異なる開口度が絞り2に反映されることになる。
ここで、実際に絞り2に反映された開口度は、ステップS12で演算された露出量E1の開口度に対して絞り2の機械的動作に起因するヒステリシス誤差およびばらつき誤差を含んだものとなっている。
また、露出制御回路12は、図3(B)に示すように、前記露出量E1のRAM1202への格納後、フレームレート番号「5」のタイミングで、前記RAM1202に格納されている前記露出量E1に対応した電子シャッター制御データと利得データをデバイス制御回路13に供給し、これにより電子シャッターのシャッタースピードと利得が設定される。
このように絞り2の開口度、シャッタースピード、利得が設定された後、図3(D)のフレームレート番号「6」に示すように、前記撮像素子3による被写体像の取込が行なわれる。
【0017】
次に、前記露出制御回路12は、図3(E)に示すように、前記絞り2に前記開口度が反映されたフレームレート番号「6」に対応する輝度レベルに基づいて、適正露出とするための露出量E2を演算する(ステップS16)。
そして、前記RAM1202にバックアップされていた前記露出量E1と、ステップS18で演算された露出量E2との差を演算する(ステップS18)。すなわち、露出量E1における絞り2の開口度(第1の開口度)と、露出量E2における絞り2の開口度(第2の開口度)との差を演算する。
ステップS18で演算された露出量E2の絞り2の開口量には、前述したように絞り2のヒステリシス誤差およびばらつき誤差が含まれているので、ステップS20で得られる露出量E1とE2の差、すなわち開口度の差は、前記絞り2のヒステリシス誤差およびばらつき誤差に相当したものとなる。
ここで、前記露出制御回路12は、図3(E)のフレームレート番号「6」のタイミングで前記ステップS20で得られた露出量E1における絞り2の開口度と、露出量E2における絞り2の開口度との差を補正するために必要な電子シャッターのシャッタースピードの補正値を演算する。そして、図3(E)のフレームレート番号「6」の次のフレームレートに相当する図3(C)のフレームレート番号「9」のタイミングで前記補正量E2のうちシャッタースピードの補正のみを行ない、補正された補正量E2で各部の設定を行なう。すなわち絞り2の開口度、撮像素子3のシャッタースピード、保持利得回路4の利得の設定を行なう(ステップS20)。また、ここで設定された絞り2の開口度、撮像素子3のシャッタースピード、保持利得回路4の利得は、前記シャッターボタンが半押しされている期間、すなわち撮影準備モードM2の期間の間は固定されている。
そして、図3(C)のフレームレート番号「9」以降のタイミングで前記シャッターボタンが全押しされると撮影モードM3に遷移して、前記シャッタースピードが補正された露出量E2に基づいて撮像素子3による被写体像が取り込まれ、映像信号処理回路6から出力された映像信号が前記記録用映像信号処理回路15によって前記記憶手段1502に画像データとして一時的に格納される(ステップS22)。
そして、前記露出制御回路12は、前記ステップS20による露出量の補正が行なわれたか否を判定する(ステップS24)。
そして、ステップS24の判定結果が肯定(“Y”)ならば、前記記録用映像信号処理回路15の記憶手段1502に格納されていた前記画像データが前記記録媒体に記録される(ステップS28)。
【0018】
次に、ステップS24の判定結果が否定(“N”)となる場合について説明する。ステップS24で露出量の補正がなされていないと判定される場合とは、前記ステップS12でシャッタボタンが半押しされた後、十分な時間をおかずに全押しされたため、図2に破線で示すように、ステップS14乃至S20の全てが終了する前に撮影モードM3に遷移して撮影が行なわれる場合に相当する。言い換えれば、絞り2の開口度の補正が行なわれる前に撮影が行なわれることになる。
この場合は、以下に示すように前記記録用映像信号処理回路15において前記記憶手段1502に格納されている画像データに対する補正処理が行なわれる(ステップS26)。
以下、ステップS26に関する具体的な動作について図4を参照して説明する。
撮影準備モードM2におけるフレームレート番号「6」のタイミングまでの動作は図3と同様であり、図4(B)に示すように、フレームレート番号「6」のタイミングで絞り2の開口度の設定が完了する。ここでシャッタボタンが全押しされることにより撮影モードM3に遷移する。
したがって、図4(C)に示すように、フレームレート番号「6」のタイミングで撮像素子3による被写体像の取込、撮影が行なわれ、映像信号処理回路6から出力された映像信号は前記記録用映像信号処理回路15により画像データとして前記記憶手段1502に一時的に格納される。
そして、前記露出制御回路12は、図4(E)に示すように、フレームレート番号「6」に対応する輝度レベルに基づいて、適正露出とするための露出量E2を演算する。
そして、前記RAM1202にバックアップされていた前記露出量E1と、前記露出量E2との差を演算する。すなわち、露出量E1における絞り2の開口度と、露出量E2における絞り2の開口度との差を演算する。
ここで、前記露出制御回路12は、前記露出量E1における絞り2の開口度と、露出量E2における絞り2の開口度との差を画像処理によって補正するために必要な画像処理用の補正値を演算し、その補正値を前記記録用映像信号処理回路15に供給する。
前記記録用映像信号処理回路15は、前記補正値に基づいて前記記憶手段1502に格納されている前記画像データ(第1の画像データ)に対して露出補正に相当する画像処理を実行する。
これにより、前記画像データは、適正露出で撮影されたのと同等の画像データ(第2の画像データ)となるように補正される。
そして、前記記録用映像信号処理回路15の記憶手段1502に格納されていた前記画像データが前記記録媒体に記録される(ステップS28)。
【0019】
なお、本実施の形態おいて、前記保持利得制御回路4は特許請求の範囲の利得制御手段を構成し、前記輝度レベル検出器11は特許請求の範囲の輝度レベル検出手段を構成している。また、前記露出制御回路12およびデバイス制御回路13は特許請求の範囲の第1乃至第3の露出量演算手段およびシャッタースピード補正手段を構成している。また、前記A/D変換器5、映像信号処理回路6、記録用映像信号処理回路15は特許請求の範囲の画像データ生成手段を構成し、記録用映像信号処理回路15特許請求の範囲の画像処理手段を構成している。
【0020】
以上詳述したように本実施の形態によれば、撮像素子3から出力された撮像信号すなわち映像信号の輝度レベルに基づいて適正露出で撮影を行なうために必要な第1の開口度を演算し、この第1の開口度が前記絞り2に設定された後で前記輝度レベル検出器で検出された輝度レベルに基づいて適正露出で撮影を行なうために必要な第2の開口度を演算し、前記第1の開口度と第2の開口度の差に基づいて適正露出で撮影を行なうために必要な前記シャッタースピードの補正量を演算し、該シャッタースピードの補正量に基づいて前記撮像素子3の電子シャッターのシャッタースピードを補正するようにした。
したがって、絞り2が動作する際に生じるヒステリシス誤差およびばらつき誤差を撮像素子3の電子シャッターのシャッタースピードによって補正することができる。電子シャッターのシャッタースピードは高精度に制御することができるため、露出精度を向上させる上で有利となる。
また、絞り2のヒステリシス誤差を取り除くために絞り2の動作を一方向から行なうことが不要なので、絞り2の動作時間を短くすることができ、シャッターラグを短縮化する上で有利となる。
また、電子シャッターのシャッタースピードを補正するので、撮影された画像データに対する画像処理はなされず、前記補正による画像データの劣化を抑制する上で有利となる。
また、撮影モードのうち、ポートレートモードなどでは絞り2の開口度がほぼ開放値となるように設定されるため、モニタリングモードから撮影準備モードに遷移するときに絞り2の開口度が大きく変化する。したがって、このような場合には絞り2が動作することによる開口度の誤差も大きなものとなる。しかしながら、本実施の形態によれば、このような開口度の誤差も確実に検出して露出の補正を行なうので、絞り2の開口度の誤差が大きくなりがちな撮影モードにおいて露出精度を顕著に向上させることが可能となる。
【0021】
なお、本実施の形態では、図2のステップS18、S20の処理で、前記第1の開口度と第2の開口度の差に基づいて適正露出で撮影を行なうために必要な前記シャッタースピードの補正量を演算し、該シャッタースピードの補正量に基づいて前記撮像素子3の電子シャッターのシャッタースピードを補正するようにしたが、これに代えて第4の露出量演算手段によって前記第1の開口度と第2の開口度の差に基づいて適正露出で撮影を行なうために必要な前記保持利得制御回路4における前記利得の補正量を演算し、利得補正主手段によって前記利得の補正量に基づいて保持利得制御回路4の利得を補正するようにしてもよく、上述したのと同様の効果を奏することができる。
この場合、撮像信号の利得を補正するので、上述した実施の形態に比較して撮像信号のS/N比が若干低下するものの撮影された画像データに対する画像処理はなされないので、前記補正による画像データの劣化を抑制する上で有利となる。
また、この場合、第4の露出量演算手段および利得補正手段は前記露出制御回路12およびデバイス制御回路13によって構成される。
【0022】
なお、本出願人は、固体撮像素子を用いた画質補正方法として以下のような技術を既に提案している(特願2001−307921号(段落番号0023、図1、図2)。
すなわち、固体撮像素子から読み出された画像信号を一時的に記憶させ、記憶させた画像信号を読み出して所定の検波を行ない、記憶させた画像信号を再び読み出して、所定の検波による検波データに基づいて、再び読み出した画像信号に対して画質補正のための所定の信号処理を行なう。
この技術では、前記固体撮像素子から読み出されたアナログ信号としての画像信号は、A/D変換処理によるデジタル信号への変換処理や種々の信号処理からなる前処理がなされてから一時的に記憶される。このため、固体撮像素子から読み出された直後のアナログ信号としての画像信号に比較して、前記一時的に記憶されている画像信号は情報量の低下が避けられない。したがって、このような劣化した画像信号に対してさらに信号処理が行なわれることになり、この画像信号から得られる画像データも情報量の低下が避けられない。
これに対して、本実施の形態によって保持利得制御回路4において撮像信号を増幅する際の利得を補正する場合には、この利得の補正が前記撮像信号に信号処理がなされる前の段階でなされるため、前記技術のような信号の劣化や画像データの情報量の低下が生じないという点で有利である。
【0023】
【発明の効果】
以上説明したように本発明のデジタルカメラによれば、シャッタボタンを押下してから撮像信号が取り込まれるまでに要するシャッタラグの短縮化を図るとともに、露出精度の向上を図る上で有利となる。
【図面の簡単な説明】
【図1】本発明の第1実施の形態におけるデジタルカメラの構成を示すブロック図である。
【図2】絞りの開口度の補正制御の動作を示すフローチャートである。
【図3】デジタルカメラの各部の動作タイミングを説明する説明図である。
【図4】デジタルカメラの各部の動作タイミングを説明する説明図である。
【符号の説明】
100……デジタルカメラ、1……撮影レンズ光学系、2……絞り、3……撮像素子、4……保持利得制御回路、6……映像信号処理回路、11……輝度レベル検出器、12……露出制御回路。

Claims (7)

  1. 撮影レンズ光学系と、
    前記撮影レンズ光学系の光路の開口度が制御可能な絞りと、
    前記撮影レンズ光学系によって結像される被写体像を電子シャッターの動作に連動して検出することにより撮像信号を出力する撮像素子と、
    利得の制御が可能で前記撮像信号を増幅する利得制御手段と、
    前記撮像信号に基づいて輝度レベルを検出する輝度レベル検出手段とを備えたデジタルカメラにおいて、
    前記輝度レベル検出手段で検出された輝度レベルに基づいて適正露出で撮影を行なうために必要な前記絞りの開口度を第1の開口度として演算する第1の露出量演算手段と、
    前記第1の開口度が前記絞りに設定された後で前記輝度レベル検出手段で検出された輝度レベルに基づいて適正露出で撮影を行なうために必要な前記絞りの開口度を第2の開口度として演算する第2の露出量演算手段と、
    前記第1の開口度と第2の開口度の差に基づいて適正露出で撮影を行なうために必要な前記シャッタースピードの補正量を演算する第3の露出量演算手段と、前記シャッタースピードの補正量に基づいて前記撮像素子の電子シャッターのシャッタースピードを補正するシャッタースピード補正手段と、
    を備えることを特徴とするデジタルデジタルカメラ。
  2. 撮影レンズ光学系と、
    前記撮影レンズ光学系の光路の開口度が制御可能な絞りと、
    前記撮影レンズ光学系によって結像される被写体像を電子シャッターの動作に連動して検出することにより撮像信号を出力する撮像素子と、
    利得の制御が可能で前記撮像信号を増幅する利得制御手段と、
    前記撮像信号に基づいて輝度レベルを検出する輝度レベル検出手段とを備えたデジタルカメラにおいて、
    前記輝度レベル検出手段で検出された輝度レベルに基づいて適正露出で撮影を行なうために必要な前記絞りの開口度を第1の開口度として演算する第1の露出量演算手段と、
    前記第1の開口度が前記絞りに設定された後で前記輝度レベル検出手段で検出された輝度レベルに基づいて適正露出で撮影を行なうために必要な前記絞りの開口度を第2の開口度として演算する第2の露出量演算手段と、
    前記第1の開口度と第2の開口度の差に基づいて適正露出で撮影を行なうために必要な前記利得制御回路の利得の補正量を演算する第4の露出量演算手段と、前記利得制御回路の利得の補正量に基づいて前記利得制御回路の利得を補正する利得補正手段と、
    を備えることを特徴とするデジタルデジタルカメラ。
  3. 前記撮像信号に基づいて画像データを生成する画像データ生手段と、前記画像データに対して画像処理を行なう画像処理手段とが設けられ、前記シャッタースピード補正手段による前記撮像素子の電子シャッターのシャッタースピードの補正が実行されない場合に、前記絞りに前記第1の開口度が設定された状態で前記画像データ生成手段によって第1の画像データが生成されたときに、前記画像処理手段は、前記第1の開口度と第2の開口度の差に基づいて前記第1の画像データに対して画像処理を行なうことにより適正露出で撮影が行なわれた場合と同等の第2の画像データを生成するように構成されていることを特徴とする請求項1記載のデジタルデジタルカメラ。
  4. 前記画像データ生成手段から出力される画像データを一時的に格納する記憶手段が設けられ、前記画像処理手段による画像データに対する画像処理は前記記憶手段に格納されている画像データに対して行なわれることを特徴とする請求項3記載のデジタルデジタルカメラ。
  5. 前記撮像信号に基づいて画像データを生成する画像データ生成手段と、前記画像データに対して画像処理を行なう画像処理手段とが設けられ、前記利得補正手段による前記利得制御回路の利得の補正が実行されない場合に、前記絞りに前記第1の開口度が設定された状態で前記画像データ生成手段によって第1の画像データが生成されたときに、前記画像処理手段は、前記第1の開口度と第2の開口度の差に基づいて前記第1の画像データに対して画像処理を行なうことにより適正露出で撮影が行なわれた場合と同等の第2の画像データを生成するように構成されている特徴とする請求項2記載のデジタルデジタルカメラ。
  6. 前記画像データ生成手段から出力される画像データを一時的に格納する記憶手段が設けられ、前記画像処理手段による画像データに対する画像処理は前記記憶手段に格納されている画像データに対して行なわれることを特徴とする請求項5記載のデジタルデジタルカメラ。
  7. 前記利得制御手段は、前記撮像素子から供給される前記撮像信号をアナログ信号として増幅するように構成されていることを特徴とする請求項1または2記載のデジタルカメラ。
JP2002292094A 2002-10-04 2002-10-04 デジタルカメラ Expired - Fee Related JP3824225B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2002292094A JP3824225B2 (ja) 2002-10-04 2002-10-04 デジタルカメラ
KR1020047008533A KR100966748B1 (ko) 2002-10-04 2003-09-25 디지털 카메라
EP03748579A EP1473930A4 (en) 2002-10-04 2003-09-25 DIGITAL CAMERA
CNB038017148A CN1306794C (zh) 2002-10-04 2003-09-25 数字照相机
PCT/JP2003/012235 WO2004032488A1 (ja) 2002-10-04 2003-09-25 デジタルカメラ
US10/496,006 US7511740B2 (en) 2002-10-04 2003-09-25 Digital camera
US12/109,844 US7692694B2 (en) 2002-10-04 2008-04-25 Digital camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002292094A JP3824225B2 (ja) 2002-10-04 2002-10-04 デジタルカメラ

Publications (3)

Publication Number Publication Date
JP2004129025A true JP2004129025A (ja) 2004-04-22
JP2004129025A5 JP2004129025A5 (ja) 2005-03-17
JP3824225B2 JP3824225B2 (ja) 2006-09-20

Family

ID=32063910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002292094A Expired - Fee Related JP3824225B2 (ja) 2002-10-04 2002-10-04 デジタルカメラ

Country Status (6)

Country Link
US (2) US7511740B2 (ja)
EP (1) EP1473930A4 (ja)
JP (1) JP3824225B2 (ja)
KR (1) KR100966748B1 (ja)
CN (1) CN1306794C (ja)
WO (1) WO2004032488A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100855670B1 (ko) 2006-09-29 2008-09-03 캐논 가부시끼가이샤 촬상장치 및 제어방법
JP2012215643A (ja) * 2011-03-31 2012-11-08 Nikon Corp 交換レンズおよびカメラボディ
WO2013099636A1 (ja) * 2011-12-28 2013-07-04 富士フイルム株式会社 撮像装置及びその制御方法並びに交換レンズとレンズ交換式撮像装置本体

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100576821B1 (ko) * 2002-12-05 2006-05-10 주식회사 애트랩 이미지 신호처리 시스템
JP4576295B2 (ja) * 2005-06-27 2010-11-04 オリンパスイメージング株式会社 デジタルカメラ
US7877004B2 (en) * 2006-03-03 2011-01-25 Olympus Imaging Corp. Imaging apparatus and imaging method
US7679602B2 (en) * 2006-09-22 2010-03-16 Aptina Imaging Corporation Graphical user interface based control of imaging parameters including scene illumination parameters
JP4715865B2 (ja) * 2007-06-12 2011-07-06 カシオ計算機株式会社 撮像装置、プログラム
CN101472077B (zh) * 2007-12-28 2011-07-27 华晶科技股份有限公司 具有亮度补偿的数字摄影装置及其补偿方法
JP4614143B2 (ja) * 2008-01-18 2011-01-19 カシオ計算機株式会社 撮像装置及びそのプログラム
KR20130080932A (ko) * 2012-01-06 2013-07-16 삼성전자주식회사 카메라에서 촬영된 이미지 저장 방법 및 장치
KR20130094113A (ko) * 2012-02-15 2013-08-23 삼성전자주식회사 카메라 데이터 처리 장치 및 방법
JP6114076B2 (ja) * 2012-03-30 2017-04-12 Hoya株式会社 撮影装置及び偏光フィルタの回転角度位置制御方法
KR102104497B1 (ko) * 2012-11-12 2020-04-24 삼성전자주식회사 영상을 표시하는 방법 및 이를 위한 장치
TWI489865B (zh) * 2012-11-13 2015-06-21 Pixart Imaging Inc 曝光調整裝置、影像均化裝置及影像均化方法
DE102013209164B4 (de) * 2013-05-17 2023-01-19 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Digitale Filmkamera
JP6556480B2 (ja) * 2015-03-26 2019-08-07 オリンパス株式会社 撮像装置および撮像方法
US11044411B2 (en) * 2017-02-10 2021-06-22 Canon Kabushiki Kaisha Imaging element and imaging apparatus
CN111565284B (zh) * 2019-02-13 2022-05-31 佳能株式会社 摄像装置、透镜装置、照相机系统及摄像装置的控制方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59194574A (ja) * 1983-04-20 1984-11-05 Canon Inc 撮像装置
DE3344274A1 (de) * 1982-12-07 1984-06-07 Canon K.K., Tokio/Tokyo Bildaufnahme-einrichtung mit einer belichtungssteuereinrichtung
JPS6377037A (ja) * 1986-09-19 1988-04-07 Sanyo Electric Co Ltd カメラの絞り制御方法
KR950007867B1 (ko) * 1990-08-31 1995-07-20 니뽕 빅터 가부시끼가이샤 자동 촛점 촬상 장치
US5831676A (en) * 1992-08-19 1998-11-03 Canon Kabushiki Kaisha Image pickup device using plural control parameters for exposure control
JP3173832B2 (ja) * 1991-11-20 2001-06-04 オリンパス光学工業株式会社 マルチストロボ発光測光システム
JP3521920B2 (ja) * 1992-03-05 2004-04-26 ソニー株式会社 ビデオカメラ装置
US5625411A (en) * 1992-12-22 1997-04-29 Fuji Photo Film, Ltd. Video camera printer apparatus and method of controlling same and apparatus and method for detecting print inhibit signal
KR100396203B1 (ko) * 1993-06-17 2003-12-31 소니 가부시끼 가이샤 노광장치및방법,그노광장치를가지는비디오카메라
JP3368041B2 (ja) * 1994-04-26 2003-01-20 キヤノン株式会社 撮像装置
US6707500B1 (en) * 1995-03-17 2004-03-16 Canon Kabushiki Kaisha Image pickup apparatus with correction of held exposure parameters and lens spherical aberration correction
JP3525365B2 (ja) * 1995-04-19 2004-05-10 株式会社リコー 電子スチル・カメラ
JP3286804B2 (ja) * 1995-09-14 2002-05-27 キヤノン株式会社 撮像装置
JP4003246B2 (ja) * 1997-03-21 2007-11-07 ソニー株式会社 ビデオカメラ装置
JP3421538B2 (ja) * 1997-05-30 2003-06-30 三洋電機株式会社 ビデオカメラの露出制御装置
JPH11249194A (ja) * 1998-03-04 1999-09-17 Asahi Optical Co Ltd カメラのアイリス装置
JP2000041181A (ja) * 1998-07-22 2000-02-08 Sony Corp 自動露出制御装置
JP2000069356A (ja) * 1998-08-21 2000-03-03 Minolta Co Ltd 撮像装置
JP4427705B2 (ja) * 2001-04-27 2010-03-10 富士フイルム株式会社 撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100855670B1 (ko) 2006-09-29 2008-09-03 캐논 가부시끼가이샤 촬상장치 및 제어방법
JP2012215643A (ja) * 2011-03-31 2012-11-08 Nikon Corp 交換レンズおよびカメラボディ
WO2013099636A1 (ja) * 2011-12-28 2013-07-04 富士フイルム株式会社 撮像装置及びその制御方法並びに交換レンズとレンズ交換式撮像装置本体
JP5586796B2 (ja) * 2011-12-28 2014-09-10 富士フイルム株式会社 撮像装置及びその制御方法並びに交換レンズとレンズ交換式撮像装置本体
US9172887B2 (en) 2011-12-28 2015-10-27 Fujifilm Corporation Imaging apparatus, control method of imaging apparatus, interchangeable lens and lens-interchangeable type imaging apparatus body

Also Published As

Publication number Publication date
KR20050062463A (ko) 2005-06-23
EP1473930A4 (en) 2008-12-17
EP1473930A1 (en) 2004-11-03
CN1602623A (zh) 2005-03-30
JP3824225B2 (ja) 2006-09-20
US20050062874A1 (en) 2005-03-24
WO2004032488A1 (ja) 2004-04-15
CN1306794C (zh) 2007-03-21
KR100966748B1 (ko) 2010-06-29
US7511740B2 (en) 2009-03-31
US20080204575A1 (en) 2008-08-28
US7692694B2 (en) 2010-04-06

Similar Documents

Publication Publication Date Title
JP3824225B2 (ja) デジタルカメラ
KR100735762B1 (ko) 촬상장치 및 그의 카메라 본체 그리고 교환렌즈
JPH10336511A (ja) カメラ装置
JP2004129025A5 (ja)
JP2004153497A (ja) ディジタルカメラの自動露出制御システム
JPH08279954A (ja) 撮像装置
JP2001238127A (ja) カメラ
JP2009118164A (ja) カメラ
JP2007147803A (ja) 撮像装置、制御方法および制御プログラム
JPH08256288A (ja) 撮像装置
JPH089242A (ja) スチルビデオカメラの露出制御装置
JP5219474B2 (ja) 撮像装置及びその制御方法
JP3607870B2 (ja) 撮像装置
JP2008187617A (ja) 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム
US20100118155A1 (en) Digital image processing apparatus
JP2003304453A (ja) 撮像装置
JP2005173507A (ja) ぶれ検出信号の増幅率初期設定方法、撮像装置
JPH0951473A (ja) 撮像装置
JPH11289487A (ja) 撮像装置
JPH06153066A (ja) 撮像装置
JP2009147588A (ja) 撮像装置
JP2009171327A (ja) 撮影装置
JP2000019576A (ja) 静止画撮像装置
KR0181282B1 (ko) 저조도 촬영시 오토 포커스 데이타 보상방법
JPH06197269A (ja) 撮像装置及び露出制御装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060622

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100707

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100707

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110707

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110707

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120707

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120707

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130707

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees