JP2001230964A - Image pickup device, focusing control method and storage medium - Google Patents

Image pickup device, focusing control method and storage medium

Info

Publication number
JP2001230964A
JP2001230964A JP2000039329A JP2000039329A JP2001230964A JP 2001230964 A JP2001230964 A JP 2001230964A JP 2000039329 A JP2000039329 A JP 2000039329A JP 2000039329 A JP2000039329 A JP 2000039329A JP 2001230964 A JP2001230964 A JP 2001230964A
Authority
JP
Japan
Prior art keywords
signal
focus adjustment
imaging
image pickup
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000039329A
Other languages
Japanese (ja)
Other versions
JP2001230964A5 (en
JP4365973B2 (en
Inventor
Taeko Tanaka
妙子 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000039329A priority Critical patent/JP4365973B2/en
Publication of JP2001230964A publication Critical patent/JP2001230964A/en
Publication of JP2001230964A5 publication Critical patent/JP2001230964A5/ja
Application granted granted Critical
Publication of JP4365973B2 publication Critical patent/JP4365973B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To solve the problem where exact AF cannot be performed due to low electric charges, when AF operation is tried with low luminance. SOLUTION: This image pickup device has an image pickup area for performing electro-optical conversion, a drive circuit for changing charge storage time in the image pickup area, changing and reading a range to read signals out of the image pickup area, and a focusing control circuit for performing focusing control on the basis of signals read from of the image pickup area.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、例えば電子スチル
カメラ等の撮像装置に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an imaging device such as an electronic still camera.

【0002】[0002]

【従来の技術】電子スチルカメラなどの2次元の撮像領
域を有する撮像装置では、被写体像の映像信号より画面
の鮮鋭度を検出し、それが最大となるようにフォーカス
レンズ位置を制御して、ピントを会わせる方式が知られ
ている。
2. Description of the Related Art In an image pickup apparatus having a two-dimensional image pickup area, such as an electronic still camera, the sharpness of a screen is detected from a video signal of a subject image, and the position of a focus lens is controlled so that the sharpness is maximized. There is a known method of bringing the subject into focus.

【0003】前記鮮鋭度の評価としては一般に、バンド
パスフィルタ(以下BPFと略す)により抽出された映
像信号の高周波成分の強度、あるいは微分回路などによ
り抽出された映像信号のボケ幅検出強度などを用いる。
これは、通常の被写体を撮影した場合、ピント(焦点)
がぼけている状態では小さく、ピントが合うにつれて大
きくなり、完全にピントが合った状態で、最大値に達す
る。従って、フォーカスレンズの制御は、前記鮮鋭度が
小さいときは、大きくなる方向になるべく早く動かし、
大きくなるにつれて、ゆっくりと動かして、精度良く山
の頂上でフォーカスレンズを止めるように、すなわちピ
ントを会わせるようにする。また、一般に、このような
オートフォーカス方式を山登り法オートフォーカス(以
下山登りAFと略す)と呼んでいる。
In general, the sharpness is evaluated based on the intensity of a high-frequency component of a video signal extracted by a band-pass filter (hereinafter abbreviated as BPF) or the blur width detection intensity of a video signal extracted by a differentiating circuit or the like. Used.
This is the focus when shooting a normal subject
When the object is out of focus, the value is small. When the object is in focus, the value becomes large. When the object is completely in focus, the maximum value is reached. Therefore, the control of the focus lens, when the sharpness is small, move as soon as possible in the direction to increase,
As it gets bigger, it moves slowly so that the focus lens stops accurately at the top of the mountain, that is, comes into focus. In addition, such an autofocus method is generally called a hill-climbing autofocus (hereinafter, abbreviated as hill-climbing AF).

【0004】また、フォーカスレンズ位置を正確に検出
し、鮮鋭度信号が最大値の時のフォーカスレンズ位置を
記憶し、鮮鋭度信号がある所定値下がったところで、記
憶したフォーカスレンズ位置に戻すことで、フォーカス
レンズを鮮鋭度信号の山のピークに止めるようにしてい
る。
Further, by accurately detecting the focus lens position, storing the focus lens position when the sharpness signal is at the maximum value, and returning to the stored focus lens position when the sharpness signal falls by a predetermined value. The focus lens is stopped at the peak of the peak of the sharpness signal.

【0005】また、鮮鋭度信号のピーク値にフォーカス
レンズを止め、合焦とした後に、鮮鋭度信号がピーク値
からある程度変化したら、被写体が変化したと判断し
て、フォーカスレンズを駆動し、次の被写体の鮮鋭度信
号のピーク値を探す。この動作を再起動と呼んでいる。
Further, after the focus lens is stopped at the peak value of the sharpness signal and the focus signal is focused, if the sharpness signal changes to some extent from the peak value, it is determined that the subject has changed, and the focus lens is driven. Find the peak value of the sharpness signal of the subject. This operation is called restart.

【0006】また、山登りAFを行う際に、無限と至近
のどちらにフォーカスレンズを駆動すれば良いかを判断
するために、フォーカスレンズを至近と無限側に所定パ
ルスの微小駆動し、その時の鮮鋭度信号を検出し、鮮鋭
度信号が大きかった方向に山登りAFを始めるようにし
ている。この動作をウォブリングと呼んでいる。
Further, in performing the hill-climbing AF, in order to determine whether the focus lens should be driven to infinity or close-up, the focus lens is finely driven with a predetermined pulse to the close-up or infinity side, and the sharpness at that time is determined. A degree signal is detected, and hill-climbing AF is started in a direction in which the sharpness signal is large. This operation is called wobbling.

【0007】そして、AFを行うための被写体の映像信
号は撮像素子の中央付近の場合が多く、また、範囲があ
る程度限定されている。従って、AFを行うための映像
信号は撮像素子の全面でなく、被写体を抽出できる範囲
が望ましい。全面の信号を抽出してしまうと、遠近競合
といわれる、背景にピントが合ってしまう現象が起きて
しまう。従って、AF用の測距枠は図2(b)(c)に
示すような範囲となることが多い。また、撮影者が任意
の場所を選べるようにしたものもあり、その場合は図2
(a)のような範囲をとることもある。
A video signal of a subject for performing AF is often near the center of the image sensor, and its range is limited to some extent. Therefore, it is desirable that the video signal for performing AF is not over the entire surface of the image sensor, but is within a range where the subject can be extracted. If the signal of the entire surface is extracted, a phenomenon called a near-far conflict, in which the background is focused, will occur. Therefore, the AF measurement frame often has a range as shown in FIGS. 2B and 2C. In some cases, the photographer can select an arbitrary place.
The range as shown in FIG.

【0008】[0008]

【発明が解決しようとする課題】しかしながら従来で
は、被写体が高輝度であっても、低輝度であっても、撮
像領域での電荷蓄積時間が同じであった。そのために、
低輝度でAF動作を行おうとすると、電荷の量が少ない等
の理由で正確なAFが行えない等の問題があった。
Conventionally, however, the charge accumulation time in the image pickup area is the same regardless of whether the subject has high luminance or low luminance. for that reason,
When trying to perform the AF operation at a low luminance, there is a problem that accurate AF cannot be performed due to a small amount of electric charge or the like.

【0009】[0009]

【課題を解決するための手段】上記課題を解決するため
に、本発明の光電変換を行う撮像領域と、被写体の明る
さに応じて、前記撮像領域における電荷蓄積時間を変化
させるとともに、前記撮像領域から信号を読み出す範囲
を変更して読み出す駆動手段と、前記撮像領域から読み
出される信号に基いて焦点調整を行う焦点調整手段とを
有することを特徴とする撮像装置を提供する。
In order to solve the above-mentioned problems, according to the present invention, the charge accumulation time in the imaging area for performing photoelectric conversion and the brightness of a subject are changed, and the charge accumulation time in the imaging area is changed. There is provided an imaging apparatus comprising: a driving unit that changes a range of reading a signal from an area and reads the signal; and a focus adjustment unit that performs focus adjustment based on the signal read from the imaging area.

【0010】また、光電変換を行う撮像領域と、前記撮
像領域からの信号に基いて焦点調整を行う焦点調整手段
と、被写体の明るさに応じて、前記焦点調整動作と並行
して前記撮像領域からの信号に基いて映像を表示するモ
−ドと、前記焦点調整動作と並行して映像表示を行わな
いモ−ドとを制御する制御手段とを有することを特徴と
する撮像装置を提供する。
[0010] Further, an imaging area for performing photoelectric conversion, focus adjusting means for performing focus adjustment based on a signal from the imaging area, and the imaging area in parallel with the focus adjustment operation according to the brightness of a subject. And a control means for controlling a mode for displaying an image based on a signal from the camera and a mode for not displaying an image in parallel with the focus adjustment operation. .

【0011】また、被写体の明るさに応じて、光電変換
を行う撮像領域における電荷蓄積時間を変化させるとと
もに、前記撮像領域から信号を読み出す範囲を変更して
読み出し、前記撮像領域から読み出される信号に基いて
焦点調整を行う焦点調整方法を提供する。
According to the brightness of the subject, the charge accumulation time in the imaging region where the photoelectric conversion is performed is changed, and the signal reading range from the imaging region is changed and read. Provided is a focus adjustment method for performing focus adjustment based on the focus adjustment.

【0012】さらにまた、被写体の明るさに応じて、光
電変換を行う撮像領域における電荷蓄積時間を変化させ
るとともに、前記撮像領域から信号を読み出す範囲を変
更して読み出す手順と、前記撮像領域から読み出される
信号に基いて焦点調整を行う手順とを記憶したコンピュ
−タが読み取り可能な記憶媒体を提供する。
[0012] Still further, according to the brightness of the subject, the charge accumulation time in the imaging region where the photoelectric conversion is performed is changed, and a signal reading range is changed and read out from the imaging region. And a computer-readable storage medium storing a procedure for performing focus adjustment based on a signal to be read.

【0013】[0013]

【発明の実施の形態】(第1の実施の形態)図1は第1
の実施の形態の撮像装置の全体構成図である。
DESCRIPTION OF THE PREFERRED EMBODIMENTS (First Embodiment) FIG.
1 is an overall configuration diagram of an imaging device according to an embodiment.

【0014】図1において101、102、103、1
04はそれぞれ、レンズシステムを構成する要素であ
り、それぞれ固定の前玉レンズ群、フォーカシングの機
能を備えた第2のレンズ群、絞り、固定の第3のレンズ
群である。このレンズシステムを透過した映像光は光電
変換を行う撮像領域を含む撮像素子105面上で結像さ
れ、光電変換により映像信号に変換される。本実施の形
態における撮像素子は、CMOSイメージセンサ等のX
Yアドレス型であり、所定の領域のみの信号を撮像素子
から読み出すことができる。106はA/D変換回路、
107はカメラ信号処理回路であり、ここで処理された
映像信号は108D/A変換回路でアナログ信号に変換
され、映像表示手段であるLCD表示回路109で処理
された後、表示部であるLCD(Liquid cry
stral display)110で撮影画像を表示
する。
In FIG. 1, 101, 102, 103, 1
Reference numerals 04 denote constituent elements of the lens system, which are a fixed front lens group, a second lens group having a focusing function, an aperture, and a fixed third lens group, respectively. The image light transmitted through this lens system forms an image on the surface of the image sensor 105 including the image pickup area where photoelectric conversion is performed, and is converted into a video signal by photoelectric conversion. The image sensor according to the present embodiment is an X-ray sensor such as a CMOS image sensor.
It is a Y-address type, and signals in only a predetermined area can be read from the image sensor. 106 is an A / D conversion circuit,
Reference numeral 107 denotes a camera signal processing circuit. The video signal processed here is converted into an analog signal by a 108 D / A conversion circuit, processed by an LCD display circuit 109 serving as a video display unit, and then processed by an LCD (display unit). Liquid cry
The captured image is displayed by a “strat display” 110.

【0015】一方、107で信号処理された映像信号
は、ホワイトバランス調整手段であるAWB評価値処理
回路111、露出調整手段であるAE評価値処理回路1
12、焦点調整手段であるAF評価値処理回路113に
送られる。
On the other hand, the video signal subjected to the signal processing in 107 is converted into an AWB evaluation value processing circuit 111 as white balance adjustment means and an AE evaluation value processing circuit 1 as exposure adjustment means.
12. It is sent to the AF evaluation value processing circuit 113 which is a focus adjusting means.

【0016】AWB評価値処理回路111からのデータ
でマイコン123内でオートホワイトバランス(AW
B)のための計算を行いその結果をカメラ信号処理回路
107にフィードバックしてホワイトバランスを行う。
An automatic white balance (AW) in the microcomputer 123 based on the data from the AWB evaluation value processing circuit 111.
The calculation for B) is performed, and the result is fed back to the camera signal processing circuit 107 to perform white balance.

【0017】AE評価値処理回路112からの映像信号
入力レベルに応じて、制御手段であるマイコン123か
らIGドライバ118,IGメータ119を駆動して、
絞り103を制御し、光量調節を行い、同時に露光時間
であるシャッター速度もマイコン123から駆動手段で
あるタイミングジェネレータ(TG)115に設定す
る。
According to the video signal input level from the AE evaluation value processing circuit 112, the microcomputer 123 as a control means drives the IG driver 118 and the IG meter 119,
The diaphragm 103 is controlled to adjust the amount of light, and at the same time, the shutter speed, which is the exposure time, is set from the microcomputer 123 to the timing generator (TG) 115 as the driving means.

【0018】AF評価値処理回路113では測距枠生成
回路114からのゲート信号に応じて、測距枠内の映像
信号の高周波成分のみを抽出し、処理を行っている。1
23はマイコンであり、AF評価信号強度に応じて、レ
ンズの駆動制御、及び測距エリアを変更するための測距
枠制御を行っている。
The AF evaluation value processing circuit 113 extracts and processes only the high-frequency components of the video signal in the ranging frame according to the gate signal from the ranging frame generating circuit 114. 1
Reference numeral 23 denotes a microcomputer, which performs lens drive control and distance measurement frame control for changing a distance measurement area in accordance with the AF evaluation signal strength.

【0019】121はレリーズスイッチであり、このス
イッチの操作に従い映像信号を122記録用メモリに記
憶する。このレリーズスイッチは2段式で、第1のスイ
ッチ手段である第1のレリーズスイッチ(SW1)をO
Nすると、AF動作後、合焦位置が固定され、第2のス
イッチ手段である第2のレリーズスイッチ(SW2)を
ONすると記録用メモリ122に記録されるようになっ
ている。
Reference numeral 121 denotes a release switch, which stores a video signal in a recording memory 122 in accordance with the operation of the switch. This release switch is a two-stage type, and the first release switch (SW1) which is the first switch means is turned on.
If N, the focus position is fixed after the AF operation, and the data is recorded in the recording memory 122 when the second release switch (SW2) as the second switch means is turned on.

【0020】119は123から出力される102の駆
動命令に従って駆動エネルギーをレンズ駆動用モータに
出力するためのドライバ、120は102を駆動するた
めのモータである。
Reference numeral 119 denotes a driver for outputting driving energy to a lens driving motor in accordance with the driving command 102 output from 123, and 120 denotes a motor for driving 102.

【0021】レンズ駆動用のモータがステッピングモー
タであるとして、モータの駆動方法を以下に説明する。
Assuming that the motor for driving the lens is a stepping motor, a method of driving the motor will be described below.

【0022】マイコン123は、プログラム処理により
ズームモータ、フォーカスモータの駆動速度を決定し、
各ステッピングモータの回転周波数信号として、フォー
カスモータ120駆動用ドライバ119に送る。またモ
ータ120の駆動/停止命令、及び各モータの回転方向
命令をドライバ119に送っている。その駆動/停止信
号、及び回転方向信号は、フォーカスモータに関して
は、AF時にマイコン123内の処理で決定する駆動命
令に応じている。モータドライバは、回転方向信号に応
じて、4相のモータ励磁相の位相を順回転及び逆回転の
位相に設定し、且つ受信した回転周波数信号に応じて、
4つのモータ励磁相の印加電圧(または電流)を変化さ
せながら、出力することにより、モータの回転方向と回
転周波数とを制御しつつ、駆動/停止命令に応じて、モ
ータへの出力をON/OFFしている。
The microcomputer 123 determines the driving speed of the zoom motor and the focus motor by the program processing,
It is sent to the driver 119 for driving the focus motor 120 as a rotation frequency signal of each stepping motor. Further, a drive / stop command of the motor 120 and a rotation direction command of each motor are sent to the driver 119. The drive / stop signal and the rotation direction signal correspond to a drive command determined by processing in the microcomputer 123 at the time of AF for the focus motor. The motor driver sets the phase of the four-phase motor excitation phase to the forward rotation and reverse rotation phases according to the rotation direction signal, and according to the received rotation frequency signal,
By outputting while changing the applied voltages (or currents) of the four motor excitation phases, while controlling the rotation direction and rotation frequency of the motor, the output to the motor is turned ON / OFF in response to the drive / stop command. It is off.

【0023】図3は本実施の形態の撮像装置を動作させ
るための制御フローであり、マイコン123内で処理さ
れる。
FIG. 3 is a control flow for operating the image pickup apparatus according to the present embodiment, which is processed in the microcomputer 123.

【0024】301は処理の開始を示している。302
でAE処理を行い、その時の被写体に最適な絞り及びシ
ャッター速度(フォトダイオード等の光電変換部の電荷
蓄積期間)を制御する。302では301で決定された
シャッター速度になるように115のタイミングジェネ
レータ(TG)を設定する。304で第1のレリーズス
イッチ(SW1)が押されているかどうか判断する。押
されていなければ302に戻り、AEの動作を繰り返
す。この動作により撮影者はLCD上で最適な露出で被
写体を常に見ることができる。304でSW1が押され
ていたら305に進む。305では、302で行ったA
E処理の結果から、その時の撮影条件が低照度か否かの
判断を行う。低照度時はシャッター速度(露光時間)が
長くなり、低照度でなければシャッター速度は速くな
る。305で低照度と判断されたら306に進み、30
6で撮像素子中の光電変換を行う撮像領域の全範囲から
の映像信号を読み出す。
Reference numeral 301 denotes the start of processing. 302
To control the aperture and shutter speed (charge accumulation period of a photoelectric conversion unit such as a photodiode) optimal for the subject at that time. At 302, a timing generator (TG) 115 is set so that the shutter speed determined at 301 is attained. At 304, it is determined whether the first release switch (SW1) has been pressed. If it has not been pressed, the process returns to step 302 and the AE operation is repeated. By this operation, the photographer can always see the subject with the optimal exposure on the LCD. If SW1 is pressed at 304, the process proceeds to 305. In 305, A performed in 302
From the result of the E processing, it is determined whether or not the shooting condition at that time is low illuminance. When the illuminance is low, the shutter speed (exposure time) increases, and when the illuminance is low, the shutter speed increases. If it is determined in 305 that the illuminance is low, the process proceeds to 306 and 30
In step 6, video signals are read from the entire range of the imaging area in which photoelectric conversion is performed in the imaging device.

【0025】ここで、図4は撮像素子からの映像信号の
読み出しタイミングを示したものである。1〜6が全読
み出し処理時のタイミングチャートである。1は垂直同
期信号で静止画を取り出す場合は通常1/30秒周期で
ある。2が撮像素子から映像信号を取り出すときの読み
出しパルスであり、このパルスのタイミングで映像信号
を読み出すことができる。3は露光期間を現したもの
で、低照度時はなるべく長く露光するのが望ましく、こ
こではシャッター速度1/30秒間露光している。4〜
6は映像信号を全読み出しした際に、AFの測距枠に合
わせて、114のゲート回路でゲートしているタイミン
グを示すものである(4は図2(a)で5は(c)で6
は(b))。つまり、撮像領域中の全ての範囲の内の、
所定の領域(図2(a)〜(c)の斜線部)の信号を用
いてAFの処理を行う。
FIG. 4 shows the timing of reading the video signal from the image sensor. 1 to 6 are timing charts at the time of all read processing. 1 is a 1/30 second cycle when a still picture is taken out by a vertical synchronizing signal. Reference numeral 2 denotes a read pulse for extracting a video signal from the image sensor, and the video signal can be read at the timing of this pulse. Reference numeral 3 denotes an exposure period, and it is desirable to perform exposure as long as possible at low illuminance. In this case, exposure is performed at a shutter speed of 1/30 second. 4 ~
Reference numeral 6 denotes the timing when the gate signal is gated by the gate circuit 114 in accordance with the AF distance measurement frame when all the video signals have been read (4 is FIG. 2A and 5 is FIG. 2C). 6
(B)). That is, of all the ranges in the imaging region,
AF processing is performed using signals in a predetermined area (hatched portions in FIGS. 2A to 2C).

【0026】306で全読み出しの処理が終了したら、
307で読み出してきた映像信号を使用してオートホワ
イトバランス(AWB)、AE,AFの処理を行う。そ
して、308でAWB,AE,AFのすべての処理が終
了したか判断し、終了していなければ306に戻り、3
06から308の一連の動作を行う。ここで、306か
ら308は図4 1に示す、垂直同期信号に同期して一
連の動作を行うようにする。これにより、AF等の動作
中もLCD上には最適な状態で被写体を常に映し出すこ
とができる。そして、308でAWB,AE,AFの全
ての処理が終了したら309に進む。
When the all reading process is completed in 306,
Using the video signal read out in 307, processing of auto white balance (AWB), AE, and AF is performed. Then, in 308, it is determined whether or not all the processes of AWB, AE, and AF have been completed.
A series of operations from 06 to 308 are performed. Here, a series of operations 306 to 308 are performed in synchronization with the vertical synchronization signal shown in FIG. Thus, the subject can always be projected on the LCD in an optimal state even during the operation of AF or the like. When all the processes of AWB, AE, and AF are completed in 308, the process proceeds to 309.

【0027】309ではSW1が押されているかどうか
確認し、既に話されていたら302に戻る。押されてい
たら310で第2のレリーズスイッチ(SW2)が押さ
れているか確認する。押されていなければ309に戻
り、SW2が押されるのを待つ。SW2が押されたら、
311でキャプチャ動作を行う。キャプチャ動作とはそ
の時の映像信号を122記録用メモリに記憶することで
ある。そして、312でキャプチャの終了を待ち、終了
したら302に戻り、一連の動作を繰り返す。以上が低
照度時の撮影の流れである。この間は常にLCD上には
リアルタイムで被写体の映像が映し出されており、撮影
者は安心してSW2を押すことができる。
At step 309, it is confirmed whether or not the switch SW1 has been pressed. If so, it is checked at 310 whether the second release switch (SW2) has been pressed. If not, the process returns to 309 and waits for SW2 to be pressed. When SW2 is pressed,
At 311 a capture operation is performed. The capture operation is to store the video signal at that time in the 122 recording memory. Then, at 312, the process waits for the end of the capture, and when it is completed, returns to 302 and repeats a series of operations. The above is the flow of shooting at low illuminance. During this time, the image of the subject is always displayed on the LCD in real time, and the photographer can press the SW2 with confidence.

【0028】次に低照度でないときの動作の説明をす
る。305で低照度でないと判断されたら313に進
む。313では撮像素子からの映像信号の読み出しとし
て、AF用のブロック読み出し処理(撮像領域中でAF
に使う領域のみの信号を撮像素子が読み出す)を行う。
Next, the operation when the illuminance is not low will be described. If it is determined in 305 that the illuminance is not low, the process proceeds to 313. At 313, as a readout of a video signal from the image sensor, a block readout process for AF (AF
The image sensor reads out the signal of only the area used for

【0029】ここで、図4の1〜6から、光量が十分に
あり、明るいときは、AFのための映像信号を取り出す
ためだけならばAF測距枠用のゲートのタイミングが終
了した所で、直ぐに次の露光を開始したらAF用の映像
信号からの評価値のサンプリングの周波数が上がり、A
F動作の高速化が実現できることが分かる。このことか
ら、低照度でないときは、AFの測距枠にしたがって、
必要な部分だけを読み出し、シャッター速度も速くして
露光時間を短くして、サンプリングの周期を早くして、
AF動作の高速化を図るようにする。その時のタイミン
グチャートを示したのが図4の7〜10である。313
では7は垂直同期信号を現し、AF用のブロック読み出
しに合わせて、垂直同期信号の周波数を早くするように
115TGを設定する。そしてシャッター速度もAF用
のブロック読み出しに合わせて早くし115TGを設定
する。そして、AF測距枠に相当する部分だけ撮像素子
から読み出すようにブロック読み出しを行うタイミング
を115TGにセットする。このブロック読み出しによ
り、AF測距枠の場所に関係なくどのような場所であっ
てもすばやく蓄積して必要な映像信号を取り出すことが
できる。そして、その信号にしたがって、山登りAFを
行い、314でAF処理が終了したか判断して、終了し
ていなければ313に戻り、終了していれば315に進
む。
4 to 6 in FIG. 4, when the light amount is sufficient and bright, the timing of the gate for the AF distance measurement frame is completed only for extracting the video signal for AF. Immediately after the next exposure is started, the sampling frequency of the evaluation value from the AF video signal is increased, and A
It can be seen that high-speed F operation can be realized. From this, when the illuminance is not low, according to the AF ranging frame,
Read out only the necessary parts, increase the shutter speed, shorten the exposure time, speed up the sampling cycle,
The speed of the AF operation is increased. Timing charts at that time are shown in FIGS. 313
7 indicates a vertical synchronizing signal, and sets 115TG so as to increase the frequency of the vertical synchronizing signal in accordance with the reading of the block for AF. Then, the shutter speed is increased to match the block reading for AF, and 115TG is set. Then, the timing for performing block reading is set to 115TG so that only the portion corresponding to the AF ranging frame is read from the image sensor. By this block reading, it is possible to quickly accumulate and extract necessary video signals at any location regardless of the location of the AF ranging frame. Then, in accordance with the signal, the hill-climbing AF is performed, and it is determined whether the AF process has been completed in 314, and the process returns to 313 if not completed, and proceeds to 315 if completed.

【0030】315では313と同様に、撮像素子から
の映像信号の読み出しとして、AE用のブロック読み出
し処理を行う。そして、その信号にしたがって、AEを
行い、316でAE処理が終了したか判断して、終了し
ていなければ315に戻り、終了していれば317に進
む。
In step 315, as in step 313, an AE block read process is performed to read a video signal from the image sensor. Then, AE is performed according to the signal, and it is determined at 316 whether the AE process has been completed. If not completed, the process returns to 315, and if completed, the process proceeds to 317.

【0031】317では313と同様に、撮像素子から
の映像信号の読み出しとして、AWB用のブロック読み
出し処理を行う。そして、その信号にしたがって、AW
Bを行い、318AWB処理が終了したか判断して、終
了していなければ317に戻り、終了していれば309
に進む。
In step 317, similarly to step 313, an AWB block reading process is performed as reading of a video signal from the image sensor. Then, according to the signal, AW
B, it is determined whether the 318 AWB process has been completed, and if not completed, the process returns to 317;
Proceed to.

【0032】以上で、AF,AE,AWBの一連の動作
が終了するが、この間は低照度時のように、LCD上に
は被写体の映像を映し出すことはできないが、一連の動
作を早く終了することができる。
A series of AF, AE, and AWB operations are completed as described above. During this period, an image of a subject cannot be displayed on the LCD as in the case of low illuminance, but the series of operations is ended early. be able to.

【0033】以上のように、低照度時には撮像素子から
の映像信号の読み出しを、全読み出しモードにし、LC
D上にリアルタイムで被写体を描画することができ、低
照度時以外は、撮像素子からの映像信号の読み出しを、
機能に合わせたブロック読み出しモードにすることで、
AF動作が速くなり、SW1でのキャプチャの準備時間
が短くなる。
As described above, at the time of low illuminance, the reading of the video signal from the image sensor is set to the full reading mode,
The subject can be drawn on D in real time, and the reading of the video signal from the image sensor is performed except during low illuminance.
By setting the block read mode according to the function,
The AF operation becomes faster, and the preparation time for capture by SW1 becomes shorter.

【0034】つまり、言いかえると以下のような効果を
有することができる。
That is, in other words, the following effects can be obtained.

【0035】低照度時以外では、電荷蓄積時間を長くし
なくてよいため、電荷蓄積時間に対して、撮像素子から
の信号の読み出し時間が無視できない時間である。その
ため、撮像領域中の読み出す範囲を少なくすることによ
って撮像素子からの信号の読み出す量を減少させること
によって、AFにかける時間を短くすることが可能とな
る。
Since the charge accumulation time does not need to be extended except at the time of low illuminance, the signal read time from the image sensor is not negligible with respect to the charge accumulation time. For this reason, it is possible to shorten the time required for AF by reducing the readout range in the image pickup area and thereby reducing the amount of signal readout from the image pickup device.

【0036】また、低照度時では、電荷蓄積時間を長く
する必要があるため、電荷蓄積時間に対して、撮像素子
からの信号の読み出し時間は相対的に少なくなり、撮像
領域中の読み出し範囲を少なくしても、全部の領域を読
み出したとしても、電荷蓄積時間に対しては、無視でき
る時間である。そのため、低照度時には、撮像領域の全
範囲の信号を読み出し、AF動作を並行してLCD上に映像
を表示するようにしている。
At low illuminance, it is necessary to lengthen the charge accumulation time. Therefore, the signal read time from the image pickup device is relatively shorter than the charge accumulation time, and the read range in the image pickup area is reduced. At least, even if the entire area is read, the charge accumulation time is negligible. Therefore, at low illuminance, signals in the entire range of the imaging region are read out, and an image is displayed on the LCD in parallel with the AF operation.

【0037】このように、被写体の明るさに応じて、適
切なAF動作を行うことが可能となる。
As described above, it is possible to perform an appropriate AF operation according to the brightness of the subject.

【0038】(第2の実施の形態)第1の実施の形態で
は、「313内での115TGの設定に関して、AF用
のブロック読み出しに合わせて、垂直同期信号の周波数
を早くするように115TGを設定する。そしてシャッ
ター速度もAF用のブロック読み出しに合わせて早くし
115TGを設定する。そして、AF測距枠に相当する
部分だけ撮像素子から読み出すようにブロック読み出し
を行うタイミングを115TGにセットする。」と示し
た。ここで、XYアドレス型の撮像素子ではブロック読
み出しを行うことができるため、AF測距枠の位置に関
係なく読み出したい部分から、読み出したい部分だけ蓄
積し読み出すことができる。例えば図5に示すように撮
影者は(a)の映像を撮影しようとしていて、AFの測
距枠は(a)の50の枠だとすると、撮像素子でブロッ
ク読み出しを行うと図5の(b)のように読み出すこと
ができる。AFの測距枠を少し大きくし(a)の51の
枠だとすると、撮像素子でブロック読み出しを行うと図
5の(c)のように読み出すことができる。従って。A
Fの測距枠の大きさに合わせて、AFが可能な映像信号
が抽出できるシャッター速度に合わせて、露光時間と垂
直同期期間を設定することで、より最適なAF動作が可
能となる。
(Second Embodiment) In the first embodiment, regarding the setting of 115TG in 313, 115TG is set so as to increase the frequency of the vertical synchronization signal in accordance with reading of the block for AF. Then, the shutter speed is set to 115 TG, which is faster than the block reading for AF, and the timing at which block reading is performed is set to 115 TG so that only the portion corresponding to the AF ranging frame is read from the image sensor. ". Here, since the XY address type image pickup device can perform block reading, it is possible to accumulate and read only the portion to be read from the portion to be read regardless of the position of the AF ranging frame. For example, as shown in FIG. 5, the photographer is going to shoot the image of FIG. 5A, and assuming that the AF distance measurement frame is 50 frames of FIG. Can be read as follows. Assuming that the AF distance measuring frame is slightly larger and is the 51 frame shown in FIG. 5A, when the block is read out by the image sensor, it can be read out as shown in FIG. 5C. Therefore. A
By setting the exposure time and the vertical synchronization period in accordance with the shutter speed at which a video signal capable of AF can be extracted in accordance with the size of the distance measuring frame of F, a more optimal AF operation can be performed.

【0039】(第3の実施の形態)第1の実施の形態で
は、「315では313と同様に、撮像素子からの映像
信号の読み出しとして、AE用のブロック読み出し処理
を行う。そして、その信号にしたがって、AEを行い、
316でAE処理が終了したか判断して、終了していな
ければ315に戻り、終了していれば317に進む。」
と示したが、AEのための測光枠は、撮影モード(プロ
グラムAE)によって異なるため、撮影時の撮影モード
に応じてAE用のブロック読み出しを行う範囲を決定す
ることで、より最適なAE動作が可能となる。
(Third Embodiment) In the first embodiment, as in the case of 313, as in 313, an AE block read process is performed to read a video signal from the image sensor. Perform AE according to
At 316, it is determined whether the AE process has been completed. If not completed, the process returns to 315, and if completed, the process proceeds to 317. "
However, since the photometric frame for the AE differs depending on the shooting mode (program AE), a more optimal AE operation can be performed by determining the range in which the AE block is read out according to the shooting mode at the time of shooting. Becomes possible.

【0040】以上の第1〜第3の実施の形態では、XY
アドレス型の撮像素子について説明したが、CCD等の
電荷転送型の撮像素子であってもよい。つまり、例え
ば、不要な領域の電荷を高速で転送した後、掃き捨てる
ようにしたり、不要な領域の電荷を垂直CCDと水平C
CDの間で掃き捨てる構造とすることによって、ブロッ
ク読み出しを達成してもよい。
In the first to third embodiments, XY
Although the address type image sensor has been described, a charge transfer type image sensor such as a CCD may be used. That is, for example, after the charges in the unnecessary areas are transferred at a high speed, they are swept away or the charges in the unnecessary areas are transferred to the vertical CCD and the horizontal CCD.
Block reading may be achieved by using a structure of sweeping between CDs.

【0041】(他の実施形態)また、本発明は、前述し
た実施形態の機能を実現するソフトウェアのプログラム
コードを記録した記憶媒体を、システムあるいは装置に
供給し、そのシステムあるいは装置のコンピュータ(ま
たはCPUやMPU)が記憶媒体に格納されたプログラ
ムコードを読出し実行することによっても、達成される
ことは言うまでもない。
(Other Embodiments) According to the present invention, a storage medium storing a program code of software for realizing the functions of the above-described embodiments is supplied to a system or an apparatus, and a computer (or a computer) of the system or apparatus is provided. It is needless to say that the present invention is also achieved when the CPU or the MPU reads and executes the program code stored in the storage medium.

【0042】この場合、記憶媒体から読出されたプログ
ラムコード自体が本発明の新規な機能を実現することに
なり、そのプログラムコードを記憶した記憶媒体は本発
明を構成することになる。
In this case, the program code itself read from the storage medium realizes the novel function of the present invention, and the storage medium storing the program code constitutes the present invention.

【0043】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、CD−ROM,C
D−R,磁気テープ不揮発性のメモリカード、ROMな
どを用いることができる。
As a storage medium for supplying the program code, for example, a floppy disk, hard disk, optical disk, magneto-optical disk, CD-ROM, C
DR, magnetic tape nonvolatile memory card, ROM, and the like can be used.

【0044】また、コンピュータが読出したプログラム
コードを実行することによって、前述した実施形態の機
能が実現される他、そのプログラムコードの指示に基づ
き、コンピュータ上で稼働しているOSなどが実際の処
理の一部または全部を行い、その処理によっても前述し
た実施形態の機能が実現され得る。
When the computer executes the readout program code, the functions of the above-described embodiment are realized. In addition, based on the instructions of the program code, the OS running on the computer performs actual processing. The functions of the above-described embodiment can be realized by performing a part or all of the above.

【0045】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、そ
の処理によっても前述した実施形態の機能が実現され得
る。
Further, after the program code read from the storage medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, based on the instructions of the program code, A CPU or the like provided in the function expansion board or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.

【0046】尚、本発明は、前述した実施形態の機能を
実現するソフトウェアのプログラムコードを記録した記
憶媒体からそのプログラムをパソコン通信等通信ライン
を介して要求者にそのプログラムを背信する場合にも適
用できることは言うまでも無い。
The present invention is also applicable to a case where the program is transferred from a storage medium storing a program code of software for realizing the functions of the above-described embodiments to a requester via a communication line such as a personal computer communication. It goes without saying that it can be applied.

【0047】[0047]

【発明の効果】本発明は、被写体の明るさに応じて、例
えば焦点調整動作中に映像表示を行ったり、行わなかっ
たりする等の、最適な動作で焦点調整を行うことができ
る。
According to the present invention, the focus can be adjusted by an optimal operation such as displaying or not displaying an image during the focus adjustment operation, according to the brightness of the subject.

【図面の簡単な説明】[Brief description of the drawings]

【図1】撮像装置の全体構成を示す図である。FIG. 1 is a diagram illustrating an overall configuration of an imaging apparatus.

【図2】AFの測距枠を示す図である。FIG. 2 is a diagram illustrating an AF ranging frame;

【図3】撮像装置の動作を表すフロ−チャ−トである。FIG. 3 is a flowchart showing the operation of the imaging apparatus.

【図4】撮像装置の駆動タイミングを表す図である。FIG. 4 is a diagram illustrating drive timing of the imaging apparatus.

【図5】AFの測距枠を示す図である。FIG. 5 is a diagram showing an AF ranging frame;

【符号の説明】[Explanation of symbols]

101,104 固定レンズ 102 フォ−カスレンズ 103 絞り 105 撮像素子 106 A/D変換回路 107 カメラ信号処理回路 108 D/A変換回路 109 LCD表示回路 110 LCD 111 AWB評価値処理回路 112 AE評価値処理回路 113 AF評価値処理回路 114 測距枠生成回路 115 TG 116 駆動回路 117 IGドライバ 118 IGメ−タ 119 駆動ドライバ 120 フォ−カスモ−タ 121 SW 122 記録用メモリ 123 マイコン 101, 104 Fixed lens 102 Focus lens 103 Aperture 105 Image sensor 106 A / D conversion circuit 107 Camera signal processing circuit 108 D / A conversion circuit 109 LCD display circuit 110 LCD 111 AWB evaluation value processing circuit 112 AE evaluation value processing circuit 113 AF evaluation value processing circuit 114 Distance measuring frame generation circuit 115 TG 116 drive circuit 117 IG driver 118 IG meter 119 drive driver 120 focus motor 121 SW 122 recording memory 123 microcomputer

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】 光電変換を行う撮像領域と、 被写体の明るさに応じて、前記撮像領域における電荷蓄
積時間を変化させるとともに、前記撮像領域から信号を
読み出す範囲を変更して読み出す駆動手段と、 前記撮像領域から読み出される信号に基いて焦点調整を
行う焦点調整手段と、 を有することを特徴とする撮像装置。
An imaging region for performing photoelectric conversion; a driving unit that changes a charge reading time in the imaging region according to brightness of a subject and changes and reads a signal reading range from the imaging region; An imaging apparatus, comprising: a focus adjustment unit that performs focus adjustment based on a signal read from the imaging area.
【請求項2】 前記駆動手段は、前記被写体が低照度の
場合に、前記電荷蓄積時間を前記低照度以外よりも長く
するとともに、前記前記撮像領域から信号を読み出す範
囲を前記低照度以外よりも大きくすることを特徴とする
請求項1に記載の撮像装置。
2. The method according to claim 1, wherein, when the subject has low illuminance, the charge accumulation time is longer than the low illuminance, and a range in which a signal is read from the imaging area is smaller than the low illuminance. The imaging device according to claim 1, wherein the size is increased.
【請求項3】 前記焦点調整と並行して、前記駆動手段
によって読み出される信号に基いて、映像を表示する映
像表示手段を有することを特徴とする請求項2に記載の
撮像装置。
3. The imaging apparatus according to claim 2, further comprising a video display unit that displays a video based on a signal read by the driving unit in parallel with the focus adjustment.
【請求項4】 前記駆動手段は、前記被写体が低照度以
外の場合に、前記電荷蓄積時間を前記低照度の場合より
も長くするとともに、前記被写体の明るさが、前記低照
度以外の場合に、前記撮像領域よりも小さい範囲の領域
から信号を読み出すことを特徴とする請求項1乃至請求
項3に記載の撮像装置。
4. The driving unit, when the object is other than the low illuminance, makes the charge accumulation time longer than the case of the low illuminance, and when the brightness of the object is other than the low illuminance. 4. The imaging apparatus according to claim 1, wherein a signal is read from an area smaller than the imaging area.
【請求項5】 前記被写体が低照度以外の場合に、前記
焦点調整動作が終了した後に、露出調整、及びホワイト
バランス調整を時系列的に行うことを特徴とする請求項
4に記載の撮像装置。
5. The image pickup apparatus according to claim 4, wherein, when the subject is other than low illuminance, exposure adjustment and white balance adjustment are performed in time series after the focus adjustment operation is completed. .
【請求項6】 光電変換を行う撮像領域と、 前記撮像領域からの信号に基いて焦点調整を行う焦点調
整手段と、 被写体の明るさに応じて、前記焦点調整動作と並行して
前記撮像領域からの信号に基いて映像を表示するモ−ド
と、前記焦点調整動作と並行して映像表示を行わないモ
−ドとを制御する制御手段と、 を有することを特徴とする撮像装置。
6. An image pickup area for performing photoelectric conversion, focus adjustment means for adjusting focus based on a signal from the image pickup area, and the image pickup area in parallel with the focus adjustment operation according to brightness of a subject. An image pickup apparatus comprising: a mode for displaying an image based on a signal from the control unit; and control means for controlling a mode for not displaying an image in parallel with the focus adjustment operation.
【請求項7】 映像信号を記録する記録手段と、 前記焦点調整を行わせる第1のスイッチ手段と、 前記記録手段に前記撮像領域からの信号に基く映像信号
を記録するタイミングを制御する第2のスイッチ手段
と、 を有することを特徴とする請求項6に記載の撮像装置。
7. A recording unit for recording a video signal, a first switch unit for performing the focus adjustment, and a second unit for controlling a timing at which the recording unit records a video signal based on a signal from the imaging area. The imaging device according to claim 6, further comprising: switch means.
【請求項8】 被写体の明るさに応じて、光電変換を行
う撮像領域における電荷蓄積時間を変化させるととも
に、前記撮像領域から信号を読み出す範囲を変更して読
み出し、前記撮像領域から読み出される信号に基いて焦
点調整を行う焦点調整方法。
8. A method according to claim 1, wherein a charge accumulation time in an imaging region where photoelectric conversion is performed is changed according to a brightness of a subject, and a signal reading range is changed and read out from the imaging region. A focus adjustment method for performing focus adjustment based on this.
【請求項9】 被写体の明るさに応じて、光電変換を行
う撮像領域における電荷蓄積時間を変化させるととも
に、前記撮像領域から信号を読み出す範囲を変更して読
み出す手順と、 前記撮像領域から読み出される信号に基いて焦点調整を
行う手順と、 を記憶したコンピュ−タが読み取り可能な記憶媒体。
9. A procedure for changing a charge accumulation time in an imaging region where photoelectric conversion is performed according to brightness of a subject, changing a range in which a signal is read from the imaging region, and reading the signal, and reading the signal from the imaging region. A computer-readable storage medium storing a procedure for performing focus adjustment based on a signal;
JP2000039329A 2000-02-17 2000-02-17 Imaging apparatus, focus adjustment apparatus, and focus adjustment method Expired - Fee Related JP4365973B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000039329A JP4365973B2 (en) 2000-02-17 2000-02-17 Imaging apparatus, focus adjustment apparatus, and focus adjustment method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000039329A JP4365973B2 (en) 2000-02-17 2000-02-17 Imaging apparatus, focus adjustment apparatus, and focus adjustment method

Publications (3)

Publication Number Publication Date
JP2001230964A true JP2001230964A (en) 2001-08-24
JP2001230964A5 JP2001230964A5 (en) 2007-03-22
JP4365973B2 JP4365973B2 (en) 2009-11-18

Family

ID=18562909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000039329A Expired - Fee Related JP4365973B2 (en) 2000-02-17 2000-02-17 Imaging apparatus, focus adjustment apparatus, and focus adjustment method

Country Status (1)

Country Link
JP (1) JP4365973B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085535A (en) * 2006-09-27 2008-04-10 Nikon Corp Imaging element, and imaging apparatus
JP2010224568A (en) * 2010-05-24 2010-10-07 Konica Minolta Opto Inc Automatic focusing device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085535A (en) * 2006-09-27 2008-04-10 Nikon Corp Imaging element, and imaging apparatus
US8310590B2 (en) 2006-09-27 2012-11-13 Nikon Corporation Image sensor and image-capturing device with image-capturing and focus detection pixels
JP2010224568A (en) * 2010-05-24 2010-10-07 Konica Minolta Opto Inc Automatic focusing device

Also Published As

Publication number Publication date
JP4365973B2 (en) 2009-11-18

Similar Documents

Publication Publication Date Title
KR100871639B1 (en) Camera and image processing method for camera
US6453124B2 (en) Digital camera
US7783190B2 (en) Image pick-up apparatus with a multi-area AF function
CN101360190B (en) Imaging device, and control method for imaging device
JP3106006B2 (en) Electronic still camera
JP2003307669A (en) Camera
JP2003244520A (en) Photographing device
JP2001275033A (en) Digital still camera
US20010050715A1 (en) Image photographing apparatus and method
JP2001004914A (en) Focusing controller
JPH0767027A (en) Camera for still picture and moving picture
JP3955493B2 (en) Digital camera and automatic focusing method thereof
JP2001133679A (en) Electronic camera and automatic focusing method
JP2005333542A (en) Electronic camera and image processing system
JP2002281375A (en) Electronic camera and image display method in the case of automatic focus adjustment
JP4365973B2 (en) Imaging apparatus, focus adjustment apparatus, and focus adjustment method
JP2000125204A (en) Electronic camera
JP2004145022A (en) Digital camera
JP5069076B2 (en) Imaging apparatus and continuous imaging method
JPH06133204A (en) Automatic focus adjustment device
JP2002300435A (en) Imaging device
JP4888068B2 (en) Electronic camera
JP2003319238A (en) Electronic camera
JP2000231055A (en) Automatic focusing camera
JP2001036787A (en) Electronic camera

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090818

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090824

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130828

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees