JP2003107338A - オートフォーカス装置 - Google Patents

オートフォーカス装置

Info

Publication number
JP2003107338A
JP2003107338A JP2001305061A JP2001305061A JP2003107338A JP 2003107338 A JP2003107338 A JP 2003107338A JP 2001305061 A JP2001305061 A JP 2001305061A JP 2001305061 A JP2001305061 A JP 2001305061A JP 2003107338 A JP2003107338 A JP 2003107338A
Authority
JP
Japan
Prior art keywords
camera shake
autofocus
block
camera
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001305061A
Other languages
English (en)
Other versions
JP3646124B2 (ja
Inventor
Noriyuki Nobuyuki
宣之 沖須
Keiji Tamai
啓二 玉井
Masahiro Kitamura
雅裕 北村
Motohiro Nakanishi
基浩 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP2001305061A priority Critical patent/JP3646124B2/ja
Priority to US10/256,509 priority patent/US20030063195A1/en
Publication of JP2003107338A publication Critical patent/JP2003107338A/ja
Application granted granted Critical
Publication of JP3646124B2 publication Critical patent/JP3646124B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/676Bracketing for image capture at varying focusing conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Focusing (AREA)

Abstract

(57)【要約】 【課題】 手ぶれが生じても、合焦させたい被写体がオ
ートフォーカスブロックから外れてしまうことを防止可
能なオートフォーカス装置を提供する。 【解決手段】 手ぶれの発生を予測したときに、また
は、手ぶれの発生を検出したときに、もともと小さかっ
たAFブロック3の大きさを変更し、被写体2がAFブ
ロック3から外れにくくする。具体的には、変更前に比
べて面積の大きな四角形のAFブロック3に変更する。
これにより、合焦させたい被写体がオートフォーカスブ
ロックから外れてしまうことを防止可能なオートフォー
カス装置を実現できる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、デジタルカメラ
やビデオカメラ等に内蔵して使用されるオートフォーカ
ス装置に関する。
【0002】
【従来の技術】一般に、オートフォーカス装置において
は、画像データ内の一部の領域(一般的には画面中央付
近の領域)を指定するオートフォーカスブロック(以
降、AFブロックと称する)の範囲内で光学的物理量を
算出し、これをオートフォーカス評価値(以降、AF評
価値と称する)とすることによって、デジタルカメラや
ビデオカメラのレンズの繰り出し位置を合焦状態に合わ
せる。
【0003】具体的には、レンズ繰り出し位置を前後さ
せつつ、その時々のAFブロック内の1つの光学的物理
量たるコントラストを計算して、これをAF評価値とす
るコントラストAF方式がよく採用されている。そし
て、コントラストが最大となったときを合焦状態と捉
え、そのときのレンズ繰り出し位置に再調整することで
オートフォーカス機能を実現している。なお、コントラ
ストの計算法については例えば、隣接画素ごとに輝度の
差をとり、その差をAFブロック全体で積分する方法な
どがある。
【0004】
【発明が解決しようとする課題】さて、図13は、被写
体2(ここでは「人」)をAFブロック1内に収め、被
写体2に合焦して撮影する場合の画像例を示す図であ
る。
【0005】このとき、レンズ繰り出し位置に対するA
F評価値の変化は、図15のグラフ31で示される。そ
して、グラフ31のうち、そのピークを示す点Pが合焦
状態のレンズ繰り出し位置と判断される。
【0006】ところが、デジタルカメラやビデオカメラ
のユーザーの手ぶれが原因で、グラフ31の点Pが合焦
状態とみなされない場合が生じ得る。図14は、そのよ
うな場合の画像例を示す図である。図14においては、
AFブロック1内から被写体2が外れてしまっている。
【0007】このように、手ぶれが原因でAFブロック
1から被写体2が外れてしまうと、AF評価値とレンズ
繰り出し位置との関係にも影響を及ぼしてしまう。すな
わち、図15において、レンズ繰り出し位置に対するA
F評価値の変化が、グラフ31ではなく例えばグラフ3
2のようになる。グラフ32では、点Qより右側の領域
においてAF評価値が下降し、AF評価値のピークの位
置が点Pではなく点Qに移動している。このため、合焦
状態のレンズ繰り出し位置は点Pではなく点Qにあると
誤判断され、合焦状態から外れてしまう。
【0008】そこで、この発明の課題は、手ぶれが生じ
ても、合焦させたい被写体がAFブロックから外れてし
まうことを防止可能なオートフォーカス装置を提供する
ことにある。
【0009】
【課題を解決するための手段】請求項1に記載の発明
は、画像データ内の一部の領域を指定するオートフォー
カスブロックの範囲内で光学的物理量を算出し、前記画
像データの合焦の度合いを判断するオートフォーカス制
御手段と、手ぶれの発生を予測または検出する手ぶれ発
生判断手段とを備え、前記オートフォーカス制御手段
は、前記手ぶれ発生判断手段が手ぶれの発生を予測また
は検出したときに、前記オートフォーカスブロックの大
きさを変更するオートフォーカス装置である。
【0010】請求項2に記載の発明は、請求項1に記載
のオートフォーカス装置であって、前記オートフォーカ
ス制御手段は、所定の時間間隔で前記画像データを取り
込んで、前記画像データの合焦の度合いを判断し、前記
手ぶれ発生判断手段は、撮像レンズの焦点距離の情報お
よび/または前記所定の時間間隔の情報に基づいて、手
ぶれの発生を予測するオートフォーカス装置である。
【0011】請求項3に記載の発明は、請求項2に記載
のオートフォーカス装置であって、前記手ぶれ発生判断
手段は、(a)前記焦点距離の値が第1の所定値以上で
あるときに手ぶれが発生すると予測し、および/また
は、(b)前記所定の時間間隔の値が第2の所定値以上
であるとき、に手ぶれが発生すると予測するオートフォ
ーカス装置である。
【0012】請求項4に記載の発明は、請求項1に記載
のオートフォーカス装置であって、前記手ぶれ発生判断
手段は、前記オートフォーカス装置によって焦点制御を
行う対象装置の速度要素または加速度要素の値を検出す
ることにより手ぶれを検出する手ぶれ検出装置であるオ
ートフォーカス装置である。
【0013】請求項5に記載の発明は、請求項1に記載
のオートフォーカス装置であって、前記オートフォーカ
スブロックの変更後の大きさは、変更前に比べ大きいオ
ートフォーカス装置である。
【0014】請求項6に記載の発明は、請求項1に記載
のオートフォーカス装置であって、前記手ぶれ発生判断
手段は、手ぶれ量および/または手ぶれ方向について
も、検出、または、前記画像データの変化に基づく予測
によって特定し、前記オートフォーカス制御手段は、前
記手ぶれ量および/または手ぶれ方向に応じて前記オー
トフォーカスブロックの大きさを変更するオートフォー
カス装置である。
【0015】請求項7に記載の発明は、請求項6に記載
のオートフォーカス装置であって、前記オートフォーカ
ス制御手段は、(a)前記手ぶれ量が大きいほど、前記
オートフォーカスブロックの大きさを変更前に比べてよ
り大きくする第1処理と、(b)前記手ぶれ方向と同じ
方向に伸びるよう前記オートフォーカスブロックを配置
する第2処理と、のうち少なくとも一方を行うオートフ
ォーカス装置である。
【0016】請求項8に記載の発明は、請求項6に記載
のオートフォーカス装置であって、前記手ぶれ量が第3
の所定の値を超える場合に、手ぶれ量が大きすぎる旨の
警告を出力する警告手段をさらに備えるオートフォーカ
ス装置である。
【0017】請求項9に記載の発明は、請求項6に記載
のオートフォーカス装置であって、前記オートフォーカ
ス制御手段が、前記手ぶれ量および/または手ぶれ方向
の情報に基づいて、前記オートフォーカスブロックの位
置を補正するオートフォーカス装置である。
【0018】
【発明の実施の形態】<実施の形態1>本実施の形態
は、手ぶれの発生を予測したときに、AFブロックの大
きさを変更し、被写体がAFブロックから外れにくくし
たオートフォーカス装置である。これにより、合焦させ
たい被写体がAFブロックから外れてしまうことを防止
可能なオートフォーカス装置を実現できる。
【0019】具体的には、図13および図14のような
四角形のAFブロック1を、図1に示すような、変更前
に比べて大きな四角形のAFブロック3に変更する。
【0020】このようにすれば、被写体の撮影時にたと
えユーザーが手ぶれを起こしたとしても、図2に示すよ
うにAFブロック3から被写体2が外れにくい。この場
合、AF評価値とレンズ繰り出し位置との関係は、図1
5内のグラフ31のままであり、AF評価値のピークの
位置が点Pからずれにくくなる。
【0021】図3は、本実施の形態に係るオートフォー
カス装置を含む装置例として、デジタルカメラの構成を
示すブロック図である。図3に示すように、デジタルカ
メラは、カメラ本体部200および撮像部300から構
成される。
【0022】撮像部300においては、ズームモータM
1、オートフォーカスモータM2、絞りモータM3が、
カメラ本体部200に設けられたズームモータ駆動回路
215、フォーカスモータ駆動回路214、絞りモータ
駆動回路216によってそれぞれ駆動される。また、各
駆動回路214〜216は、カメラ本体部200の全体
制御部270から与えられる制御信号に基づいて、各モ
ータM1〜M3を駆動する。
【0023】撮像部300のCCD303は、ズームレ
ンズ301によって結像された被写体の光像を、R
(赤)、G(緑)、B(青)の色成分の画像信号(各画
素で受光された画素信号の信号列からなる信号)に光電
変換して出力する。
【0024】タイミングジェネレータ314は、カメラ
本体部200のタイミング制御回路202から送信され
る基準クロックに基づきCCD303の駆動制御信号を
生成する。タイミングジェネレータ314は、例えば、
積分開始/終了(露出開始/終了)のタイミング信号、
各画素の受光信号の読出制御信号(水平同期信号、垂直
同期信号、転送信号等)等のクロック信号を生成し、C
CD303に出力する。
【0025】信号処理回路313は、CCD303から
出力される画像信号(アナログ信号)に所定のアナログ
信号処理を施すものである。信号処理回路313は、C
DS(相関二重サンプリング)回路とAGC(オートゲ
インコントロール)回路とを有し、CDS回路により画
像信号のノイズの低減を行い、AGC回路でゲインを調
整することにより画像信号のレベル調整を行う。
【0026】次に、カメラ本体部200のブロックにつ
いて説明する。
【0027】カメラ本体部200内において、A/D変
換器205は、画像の各画素の信号を例えば12ビット
のデジタル信号に変換(A/D変換)するものである。
A/D変換器205は、タイミング制御回路202から
入力されるA/D変換用の基準クロックに基づいて各画
素信号(アナログ信号)をデジタル信号に変換する。
【0028】タイミング制御回路202は、タイミング
ジェネレータ314、A/D変換器205に対する基準
クロックを生成するように構成されている。タイミング
制御回路202は、全体制御部270によって制御され
る。
【0029】A/D変換器205によって変換されたデ
ジタル信号は、画像処理部240及び全体制御部270
にそれぞれ入力される。画像処理部240に入力される
デジタル信号は、画像処理部240において各種画像処
理が施され、撮影画像としてメモリカード91へ記憶さ
れたり、ライブビュー表示画像として利用される。一
方、全体制御部270に入力されるデジタル信号は、全
体制御部270が被写体からの入射光の輝度、色バラン
ス、コントラスト等を演算するために利用される。
【0030】画像メモリ209は、画像処理部240か
ら出力される画像のデータを記憶するメモリである。画
像メモリ209は、1フレーム分の記憶容量を有してい
る。すなわち、画像メモリ209は、CCD303がn
行m列の画素を有している場合、n×m画素分のデータ
の記憶容量を有し、各画素のデータが対応するアドレス
に記憶される。
【0031】VRAM(ビデオRAM)210は、LC
D10に再生表示される画像のバッファメモリである。
VRAM210は、LCD10の画素数に対応した画像
データを格納することが可能な記憶容量を有している。
【0032】フラッシュ制御回路217は、内蔵フラッ
シュ5の発光を制御する回路であり、全体制御部270
からの発光開始信号に基づいて内蔵フラッシュ5を、所
定時間発光させる。
【0033】カードインターフェイス212は、カード
スロット17を介してメモリカード91への画像の書き
込みおよび読み出しを行うためのインターフェイスであ
る。
【0034】操作部250は、各種スイッチ、ボタンを
包括するものであり、ユーザによって操作入力される情
報は、操作部250を介して全体制御部270に伝達さ
れる。
【0035】全体制御部270は、マイクロコンピュー
タからなり、撮影機能及び再生機能を集中制御するもの
である。全体制御部270は、その本体部となるCPU
271と、上述した撮像部300内およびカメラ本体部
200内の各部材の駆動を有機的に制御するためのプロ
グラムが記憶されたROM273と、演算作業を行うた
めの作業領域となるRAM272を備えている。なお、
メモリカード91等の記録媒体に記録されているプログ
ラムをカードインターフェイス212を介して読み出
し、ROM273に格納することができるようになって
いる。
【0036】さて、図4は、全体制御部270における
機能を示すブロック図である。図4において、コントラ
スト演算部263、距離演算部264およびオートフォ
ーカス(AF)制御部265は、全体制御部270のR
OM273に格納されたプログラムによって実現される
機能を表した機能ブロックである。そして、コントラス
ト演算部263およびAF制御部265が一体となっ
て、本実施の形態におけるオートフォーカス装置の機能
を実現する。
【0037】本実施の形態のオートフォーカス制御にお
いても、コントラストAF方式が採用されている。すな
わち、A/D変換器205からの信号のコントラストを
コントラスト演算部263により評価し、コントラスト
がもっとも高くなるようにAF制御部265がフォーカ
スモータ駆動回路214に信号を与え、フォーカスレン
ズ311の位置を駆動させる。
【0038】なお、主被写体までの撮影距離は、AF制
御部265からフォーカスレンズ311の合焦位置の情
報を取得した距離演算部264によって算出される。
【0039】さて、本実施の形態においては、上述した
ように、手ぶれの発生を予測したときにAFブロックを
変更前に比べて大きくする。
【0040】AFブロックは、AF制御部265におい
て生成される。なお、撮像画面上へのAFブロック画像
の重ね合わせは、画像処理部240にて行われるが、A
Fブロック内のコントラストの演算は、コントラスト演
算部263にて行われる。
【0041】よって、AF制御部265が、手ぶれの発
生を予測し、AFブロックを図13および図14のよう
な小さな四角形のAFブロック1から、図1に示すよう
な大きな四角形のAFブロック3に変更すればよい。こ
のような手ぶれの発生予測と、AFブロックの大きさの
変更とは、全体制御部270のプログラムを変更するだ
けで容易に行える。
【0042】ここで、手ぶれの発生を予測する方法につ
いて説明する。
【0043】撮像レンズの焦点距離が長ければ長いほ
ど、被写体と撮像レンズとの距離も長くなる。被写体と
撮像レンズとの距離が長い場合と短い場合とを比較した
場合、手ぶれ量が同じであれば、その手ぶれが画像に及
ぼす影響は前者の方が大きい。距離が長い分、手ぶれに
よるカメラの回転量や移動量が増幅されて画面上に現れ
てしまうからである。
【0044】すなわち、撮像レンズの焦点距離が長けれ
ば長いほど、手ぶれの発生の可能性が高いと予測でき
る。よって、撮像レンズの焦点距離の値が所定の値(何
mmなど)以上であるときには手ぶれが発生すると予測
するよう、AF制御部265のプログラムを変更してお
けばよい。なお、焦点距離の情報は、ユーザによって設
定されたズームレンズ301のズーミング倍率をズーム
モータ駆動回路215からAF制御部265が取得する
ことによって算出される。この焦点距離の情報は、距離
演算部264に送信するために従来、算出されていた
が、本願では手ぶれ発生の予測にもこの情報を用いる。
【0045】また、コントラスト演算部263は、AF
制御部265が画像データの合焦の度合いを判断するオ
ートフォーカス演算用のために、所定の時間間隔で画像
データをA/D変換部205から取り込んで、AF制御
部265にその演算結果を受け渡している。この画像デ
ータの取り込みの時間間隔(AF演算用撮影間隔)が大
きいと、次のデータ取り込みまでの間に、手ぶれによっ
て撮像画像の内容が大きく変化している可能性が高い。
【0046】すなわち、合焦の度合いを判断するための
AF演算用撮影間隔が長ければ長いほど、手ぶれの発生
の可能性が高いと予測できる。よって、AF演算用撮影
間隔が所定の値(次のフレームを取得するまでコンマ何
秒など)以上であるときには手ぶれが発生すると予測す
るよう、AF制御部265のプログラムを変更しておけ
ばよい。なお、AF演算用撮影間隔の情報は、コントラ
スト演算部263からAF制御部265が取得する。
【0047】以上をまとめると、AF制御部265は、
撮像レンズの焦点距離、および、AF演算用撮影間隔の
情報に基づいて、手ぶれの発生を予測する手ぶれ発生判
断手段である。そして、それとともに、手ぶれの発生を
予測したときにはAFブロックの大きさを変更するオー
トフォーカス制御手段でもある。
【0048】また、AFブロック内でコントラストを算
出し、AF制御部265にその演算結果を与えて合焦の
度合いの判断に寄与していることから、コントラスト演
算部263もオートフォーカス制御手段を構成している
といえる。
【0049】よって、例えば被写体の撮影時に手ぶれが
生じても、AFブロックの大きさの変更によって合焦さ
せたい被写体がAFブロックから外れにくくなり、ユー
ザーの希望する被写体をオートフォーカスすることがで
きる。
【0050】また、手ぶれ発生判断手段たるAF制御部
265において、撮像レンズの焦点距離、および、AF
演算用撮影間隔の情報に基づいて、手ぶれの発生を予測
することで、ジャイロ等の手ぶれ検出装置を設けること
なく、安価に手ぶれの発生を予測することができる。
【0051】また、AF制御部265は、焦点距離の値
が所定値以上であるとき、および、AF演算用撮影間隔
の値が所定値以上であるときに手ぶれが発生すると予測
する。よって、それら所定値を適切に設定することで、
容易に手ぶれの発生を予測することができる。
【0052】図5は、上記の処理のフローをまとめて示
したフローチャートである。まず、AF制御部265
は、レンズ焦点距離の情報をズームモータ駆動回路21
5から取り込む(ステップST1a)。次に、AF制御
部265は、AF演算用撮影間隔の情報をコントラスト
演算部263から取り込む(ステップST2a)。
【0053】そして、AF制御部265は、レンズ焦点
距離の値が所定値以上であるかどうか、および、AF演
算用撮影間隔の値が所定値以上であるかどうか、を判断
し(ステップST3a)、ともに所定値以上であれば、
手ぶれ可能性ありと判断して、図1に示したような手ぶ
れ対策用のAFブロックのサイズを採用する(ステップ
ST5a)。一方、そうでない場合は、手ぶれ可能性な
しと判断して、図13および図14のような標準のAF
ブロックのサイズを採用する(ステップST4a)。
【0054】なお、撮像レンズの焦点距離、および、A
F演算用撮影間隔の情報のいずれをも、手ぶれ発生の予
測に用いてもよいし、あるいは、いずれか一方のみを手
ぶれ発生の予測に用いてもよい。
【0055】なお、AFブロックの大きさについては、
変更後の大きさが、変更前に比べ大きくなっておればよ
い。そうすれば、被写体がオートフォーカスブロックか
ら外れにくい。
【0056】<実施の形態2>本実施の形態は、実施の
形態1の変形例である。すなわち本実施の形態は、実施
の形態1において手ぶれ発生の予測をAF制御部265
により行っていたのを、その代わりにジャイロや加速度
センサ等の手ぶれ検出装置を採用して、手ぶれ検出装置
によって手ぶれ発生の判断を行うようにしたオートフォ
ーカス装置である。また、本実施の形態では、手ぶれ量
が一定量以上のときに、手ぶれ量が大きすぎる旨の警告
をユーザーに出力するようにもしている。
【0057】図6は、本実施の形態に係るオートフォー
カス装置を含むデジタルカメラの構成を示すブロック図
である。図6に示すように、このデジタルカメラは、図
3のデジタルカメラの構成に加えて、手ぶれ検出部28
0および警告部290をさらに備えている。
【0058】また図7は、図4と同様、本実施の形態に
おける全体制御部270の機能を示すブロック図であ
る。図7において図4と異なるのは、AF制御部265
が手ぶれ検出部280および警告部290と信号をやり
取りする点である。
【0059】手ぶれ検出部280は、デジタルカメラに
加わる速度要素(並進速度や角速度など)の値または加
速度要素(並進加速度や角加速度など)の値を検出する
ことにより手ぶれを検出する手ぶれ検出装置であって、
具体的には上述のジャイロや加速度センサ等である。こ
の手ぶれ検出部280が、本実施の形態における手ぶれ
発生判断手段である。
【0060】なお、手ぶれの検出は例えば、手ぶれ検出
部280に所定値以上の速度要素または加速度要素が加
わったときに、「手ぶれあり」の信号を手ぶれ検出部2
80がAF制御部265に出力することで行われる。ま
た、手ぶれ検出部280からは、加わった速度や加速度
の情報も、手ぶれ量の情報としてAF制御部265に伝
えられる。
【0061】また、警告部290は、例えばブザーなど
の警告音を鳴らす発音装置であったり、あるいは、警告
表示を画像にスーパーインポーズしてLCD10に表示
させる画像処理装置などである。AF制御部265は、
手ぶれ検出部280から送信された手ぶれ量の情報に基
づいて、手ぶれ量が所定の値を超えるかどうか判断し、
所定値を超える場合には、手ぶれ量が大きすぎる旨の警
告を出力するよう警告部290を制御する。その制御信
号を受けた警告部290は、上述のような警告音や警告
表示を発する。
【0062】上記のように、手ぶれ検出部280が、速
度要素または加速度要素を検出することにより手ぶれを
検出する手ぶれ検出装置であれば、確実に手ぶれの発生
を検出することができる。
【0063】また、手ぶれ量が所定の値を超える場合
に、警告部280が、手ぶれ量が大きすぎる旨の警告を
出力すれば、ユーザーに手ぶれを抑制するよう促すこと
ができる。
【0064】なお、その他の構成は実施の形態1に係る
オートフォーカス装置と同様のため、説明を省略する。
【0065】図8は、本実施の形態における処理のフロ
ーをまとめて示したフローチャートである。まず、AF
制御部265は、手ぶれ量の情報を手ぶれ検出部280
から取り込む(ステップST1b)。
【0066】そして、AF制御部265は、手ぶれ量の
値が所定値以上であるかどうかを判断し(ステップST
2b)、所定値以上であれば、手ぶれありと判断する。
そして、手ぶれ量が一定値以内にあるか(所定の値を超
えるか)どうか判断し(ステップST4b)、一定値以
内にない場合には、警告部290に警告音や警告表示を
発するよう指示を与える(ステップST5b)。その後
は再びステップST1bに戻って、AF制御部265は
手ぶれ量の情報を手ぶれ検出部280から取り込む。
【0067】手ぶれ量が一定値以内にある場合には、図
1に示したような手ぶれ対策用のAFブロックのサイズ
を採用する(ステップST6b)。また、ステップST
2bで手ぶれなしと判断された場合は、図13および図
14のような標準のAFブロックのサイズを採用する
(ステップST3b)。
【0068】なお、警告部290については、実施の形
態1に係るオートフォーカス装置に適用することも可能
である。その場合、AF制御部265は、手ぶれ量の情
報を手ぶれ検出部280以外の何処かの機能ブロックか
ら取得する必要があるが、例えば、コントラスト演算部
263がコントラスト演算用に取り込んだ画像データを
解析して手ぶれ量の情報を取得するようにすればよい。
【0069】すなわち、コントラスト演算部263が、
例えばある画像データと次フレームの画像データとを比
較して画像データの変化を認識し、両画像間でパターン
マッチングを行うことにより動きベクトルを作成して、
速度や加速度を検出するようにすればよい。
【0070】そうすれば、手ぶれ検出部280を有しな
い構成の実施の形態1に係るオートフォーカス装置にお
いても、手ぶれ量の情報を作成して手ぶれが大きすぎる
旨の警告を行うことが可能となる。
【0071】<実施の形態3>本実施の形態は、実施の
形態2の変形例である。すなわち本実施の形態は、手ぶ
れ量だけでなく手ぶれの方向も手ぶれ検出部280で検
出し、手ぶれ量および手ぶれ方向に応じてAFブロック
の大きさおよび配置を変更するオートフォーカス装置で
ある。また、本実施の形態では、手ぶれ量が一定量以上
のときに、手ぶれ量が大きすぎる旨の警告をユーザーに
出力しつつAFブロックの位置の補正まで行うようにも
している。
【0072】本実施の形態に係るオートフォーカス装置
を含むデジタルカメラの構成は、実施の形態2の場合と
同様のため、説明を省略する。
【0073】次に、本実施の形態に係るオートフォーカ
ス装置の動作について説明する。本実施の形態において
は、手ぶれ検出部280で手ぶれ量だけでなく手ぶれの
方向をも検出する。
【0074】ジャイロや加速度センサ等の手ぶれ検出装
置は、本来、速度や加速度の大きさの情報だけでなく、
その方向の情報についても取得している。本実施の形態
においては、その速度や加速度の方向の情報を、手ぶれ
方向の情報として手ぶれ検出部280がAF制御部26
5にさらに出力する。
【0075】AF制御部265においては、手ぶれ対策
用のAFブロックの配置を例えば複数種類、ROM27
3やRAM272に用意しておく。すなわち、例えば図
9〜図11のAFブロック14a〜14cに示すよう
に、手ぶれの方向に応じてAFブロックの配置を、RO
M273やRAM272に記憶された複数種類のAFブ
ロックから選択して変更する。ここでは、手ぶれ方向と
同じ方向に伸びるようAFブロックを配置する。これに
より、手ぶれの状態に応じて、より適切なAFブロック
の配置に変更することができる。
【0076】図9は、例として手ぶれ方向が画面に対し
て垂直であった場合を示しており(矢印は手ぶれの方向
を示す)、この場合、垂直方向に伸びるAFブロック3
aが選択されている。また、図10は、例として手ぶれ
方向が画面の右上から左下に伸びる方向に平行であった
場合を示しており、この場合、手ぶれ方向と同方向に伸
びるAFブロック3bが選択されている。また、図11
は、図10の場合とは逆に、手ぶれ方向が画面の左上か
ら右下に伸びる方向に平行であった場合を示しており、
この場合、手ぶれ方向と同方向に伸びるAFブロック3
cが選択されている。
【0077】なお、上記説明においては、ROM273
やRAM272に用意された複数種類のAFブロックの
配置から一つを選択する場合を示したが、その他にも例
えば、検出された手ぶれ方向に応じて、AF制御部26
5がリアルタイムにAFブロックの配置を生成するよう
にしてもよい。
【0078】また、手ぶれ量に応じてAFブロックの大
きさを変更するようにしてもよい。例えば図1において
は、手ぶれ量が大きいほどAFブロック3から被写体2
が外れやすい。この場合、手ぶれ量が大きいほど、AF
ブロック3の大きさを変更前に比べてより大きく(より
縦長あるいは横長に)するようにすればよい。そうすれ
ば、手ぶれの状態に応じて、より適切なAFブロックの
大きさに変更することができる。
【0079】上記のような手ぶれ量および手ぶれ方向に
応じたAFブロックの形状変更は、全体制御部270の
プログラムを変更するだけで容易に行える。
【0080】また、上記のような手ぶれ量および手ぶれ
方向に応じたAFブロックの大きさおよび配置の変更
は、実施の形態2に係るオートフォーカス装置に対して
だけでなく、実施の形態1に係るオートフォーカス装置
に対しても適用することが可能である。
【0081】その場合は、実施の形態2の終盤で述べた
ように、コントラスト演算部263に動きベクトルを作
成させ、手ぶれの方向も動きベクトルから検出しておけ
ばよい。そして、その手ぶれの方向の情報もコントラス
ト演算部263からAF制御部265に与えられるよう
にし、AF制御部265において上記のような手ぶれ量
および手ぶれ方向に応じたAFブロックの大きさおよび
配置の変更処理を行えばよい。
【0082】また、本実施の形態では、手ぶれ量が一定
量以上のときに、手ぶれ量が大きすぎる旨の警告をユー
ザーに出力しつつAFブロックの位置の補正まで行う。
【0083】手ぶれ検出部280またはコントラスト演
算部263から手ぶれ量および手ぶれ方向の情報を得た
場合、AF制御部265は、その手ぶれ量および手ぶれ
方向の情報を利用して、AFブロックの位置を補正する
ことが可能である。すなわち、手ぶれの方向とその移動
量とに基づいて、AFブロックの位置を手ぶれと反対の
方向に手ぶれの移動量と同じ分だけ移動させれば、同じ
被写体をAFブロック内に収めたままとすることができ
る。つまり、被写体がAFブロックから外れることをよ
り防止しやすい。
【0084】上記のような手ぶれ量および手ぶれ方向に
応じたAFブロックの位置補正は、全体制御部270の
プログラムを変更するだけで容易に行える。
【0085】図12は、本実施の形態における処理のフ
ローをまとめて示したフローチャートである。ステップ
ST1b〜ST4bまでのフローは図8の場合と同じで
ある。
【0086】本実施の形態の場合は、ステップST4b
で手ぶれ量が一定値以内にない場合には、警告部290
に警告音や警告表示を発するよう指示を与える(ステッ
プST5b)とともに、AFブロック位置の補正をも行
う(ステップST8b)。そして、その後は再びステッ
プST1bに戻って、AF制御部265は手ぶれ量の情
報を手ぶれ検出部280から取り込む。
【0087】また、手ぶれ量が一定値以内にある場合に
は、手ぶれ検出部280またはコントラスト演算部26
3において手ぶれ方向が算出され(ステップST7
b)、その情報および手ぶれ量の情報に基づいて、AF
制御部265は、図9〜図11に示したような、手ぶれ
の状態に適したサイズおよび配置のAFブロックを採用
する(ステップST6b)。
【0088】
【発明の効果】請求項1に記載の発明によれば、オート
フォーカス制御手段は、手ぶれ発生判断手段が手ぶれの
発生を予測または検出したときに、オートフォーカスブ
ロックの大きさを変更する。よって、被写体の撮影時に
手ぶれが生じても、オートフォーカスブロックの大きさ
の変更によって、合焦させたい被写体をオートフォーカ
スブロックから外れにくくすることができ、ユーザーの
希望する被写体をオートフォーカスすることができる。
【0089】請求項2に記載の発明によれば、手ぶれ発
生判断手段は、撮像レンズの焦点距離の情報および/ま
たは所定の時間間隔の情報に基づいて、手ぶれの発生を
予測する。よって、ジャイロ等の手ぶれ検出装置を設け
ることなく、安価に手ぶれの発生を予測することができ
る。
【0090】請求項3に記載の発明によれば、手ぶれ発
生判断手段は、焦点距離の値が第1の所定値以上である
ときに手ぶれが発生すると予測し、および/または、所
定の時間間隔の値が第2の所定値以上であるときに手ぶ
れが発生すると予測する。よって、第1および第2の所
定値を適切に設定することで、容易に手ぶれの発生を予
測することができる。
【0091】請求項4に記載の発明によれば、手ぶれ発
生判断手段は、速度要素値または加速度要素値を検出す
ることにより手ぶれを検出する手ぶれ検出装置である。
よって、手ぶれ発生判断手段が、確実に手ぶれの発生を
検出することができる。
【0092】請求項5に記載の発明によれば、オートフ
ォーカスブロックの変更後の大きさは、変更前に比べ大
きい。よって、被写体がオートフォーカスブロックから
外れにくい。
【0093】請求項6に記載の発明によれば、手ぶれ発
生判断手段は、手ぶれ量および/または手ぶれ方向につ
いても、検出、または、画像データの変化に基づく予測
によって特定し、オートフォーカス制御手段は、手ぶれ
量および/または手ぶれ方向に応じてオートフォーカス
ブロックの大きさを変更する。よって、手ぶれの状態に
応じて、より適切なオートフォーカスブロックの大きさ
に変更することができる。
【0094】請求項7に記載の発明によれば、オートフ
ォーカス制御手段は、(a)手ぶれ量が大きいほど、オ
ートフォーカスブロックの大きさを変更前に比べてより
大きくする第1処理と、および/または、手ぶれ方向と
同じ方向に伸びるようオートフォーカスブロックを配置
する第2処理と、のうち少なくとも一方を行う。よっ
て、手ぶれ量および/または手ぶれ方向に応じて、より
適切なオートフォーカスブロックの大きさおよび/また
は配置に変更することができる。
【0095】請求項8に記載の発明によれば、手ぶれ量
が第3の所定の値を超える場合に、手ぶれ量が大きすぎ
る旨の警告を出力する警告手段をさらに備える。よっ
て、ユーザーに手ぶれを抑制するよう促すことができ
る。
【0096】請求項9に記載の発明によれば、オートフ
ォーカス制御手段は、手ぶれ量および/または手ぶれ方
向の情報に基づいて、オートフォーカスブロックの位置
を補正する。よって、被写体がオートフォーカスブロッ
クから外れにくい。
【図面の簡単な説明】
【図1】手ぶれの発生が予測されたときの、AFブロッ
クの変更後の大きさを示す図である。
【図2】変更後のAFブロックから被写体が外れにくい
ことを説明する図である。
【図3】この発明の実施の形態1に係るオートフォーカ
ス装置を含むデジタルカメラの構成を示すブロック図で
ある。
【図4】図3のデジタルカメラの全体制御部270にお
ける機能を示すブロック図である。
【図5】この発明の実施の形態1に係るオートフォーカ
ス装置の処理を示したフローチャートである。
【図6】この発明の実施の形態2および3に係るオート
フォーカス装置を含むデジタルカメラの構成を示すブロ
ック図である。
【図7】図6のデジタルカメラの全体制御部270にお
ける機能を示すブロック図である。
【図8】この発明の実施の形態2に係るオートフォーカ
ス装置の処理を示したフローチャートである。
【図9】手ぶれの発生が検出されたときの、AFブロッ
クの変更後の配置の他の例を示す図である。
【図10】手ぶれの発生が検出されたときの、AFブロ
ックの変更後の配置の他の例を示す図である。
【図11】手ぶれの発生が検出されたときの、AFブロ
ックの変更後の配置の他の例を示す図である。
【図12】この発明の実施の形態3に係るオートフォー
カス装置の処理を示したフローチャートである。
【図13】被写体をAFブロック内に収め、合焦して撮
影する場合の画像例を示す図である。
【図14】デジタルカメラやビデオカメラのユーザーの
手ぶれが原因で、合焦状態から外れてしまう場合の画像
例を示す図である。
【図15】レンズ繰り出し位置に対するAF評価値の変
化を示す図である。
【符号の説明】
1,3,3a〜3c AFブロック 2 被写体 270 全体制御部 271 CPU 272 RAM 273 ROM 263 コントラスト演算部 265 AF制御部 280 手ぶれ検出部 290 警告部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/225 G02B 7/11 N 5/232 D G03B 3/00 A (72)発明者 北村 雅裕 大阪府大阪市中央区安土町二丁目3番13号 大阪国際ビル ミノルタ株式会社内 (72)発明者 中西 基浩 大阪府大阪市中央区安土町二丁目3番13号 大阪国際ビル ミノルタ株式会社内 Fターム(参考) 2H011 AA01 BA31 BB04 DA00 2H051 AA01 BA45 CE14 CE23 DA38 DA39 GA03 GA04 GA10 GA12 5C022 AB26 AB55 AB66 AC18 AC42 AC54 AC74

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 画像データ内の一部の領域を指定するオ
    ートフォーカスブロックの範囲内で光学的物理量を算出
    し、前記画像データの合焦の度合いを判断するオートフ
    ォーカス制御手段と、 手ぶれの発生を予測または検出する手ぶれ発生判断手段
    とを備え、 前記オートフォーカス制御手段は、前記手ぶれ発生判断
    手段が手ぶれの発生を予測または検出したときに、前記
    オートフォーカスブロックの大きさを変更するオートフ
    ォーカス装置。
  2. 【請求項2】 請求項1に記載のオートフォーカス装置
    であって、 前記オートフォーカス制御手段は、所定の時間間隔で前
    記画像データを取り込んで、前記画像データの合焦の度
    合いを判断し、 前記手ぶれ発生判断手段は、撮像レンズの焦点距離の情
    報および/または前記所定の時間間隔の情報に基づい
    て、手ぶれの発生を予測するオートフォーカス装置。
  3. 【請求項3】 請求項2に記載のオートフォーカス装置
    であって、 前記手ぶれ発生判断手段は、 (a)前記焦点距離の値が第1の所定値以上であるとき
    に手ぶれが発生すると予測し、および/または、 (b)前記所定の時間間隔の値が第2の所定値以上であ
    るとき、に手ぶれが発生すると予測するオートフォーカ
    ス装置。
  4. 【請求項4】 請求項1に記載のオートフォーカス装置
    であって、 前記手ぶれ発生判断手段は、前記オートフォーカス装置
    によって焦点制御を行う対象装置の速度要素または加速
    度要素の値を検出することにより手ぶれを検出する手ぶ
    れ検出装置であるオートフォーカス装置。
  5. 【請求項5】 請求項1に記載のオートフォーカス装置
    であって、 前記オートフォーカスブロックの変更後の大きさは、変
    更前に比べ大きいオートフォーカス装置。
  6. 【請求項6】 請求項1に記載のオートフォーカス装置
    であって、 前記手ぶれ発生判断手段は、手ぶれ量および/または手
    ぶれ方向についても、検出、または、前記画像データの
    変化に基づく予測によって特定し、 前記オートフォーカス制御手段は、前記手ぶれ量および
    /または手ぶれ方向に応じて前記オートフォーカスブロ
    ックの大きさを変更するオートフォーカス装置。
  7. 【請求項7】 請求項6に記載のオートフォーカス装置
    であって、 前記オートフォーカス制御手段は、 (a)前記手ぶれ量が大きいほど、前記オートフォーカ
    スブロックの大きさを変更前に比べてより大きくする第
    1処理と、 (b)前記手ぶれ方向と同じ方向に伸びるよう前記オー
    トフォーカスブロックを配置する第2処理と、のうち少
    なくとも一方を行うオートフォーカス装置。
  8. 【請求項8】 請求項6に記載のオートフォーカス装置
    であって、 前記手ぶれ量が第3の所定の値を超える場合に、手ぶれ
    量が大きすぎる旨の警告を出力する警告手段をさらに備
    えるオートフォーカス装置。
  9. 【請求項9】 請求項6に記載のオートフォーカス装置
    であって、 前記オートフォーカス制御手段が、前記手ぶれ量および
    /または手ぶれ方向の情報に基づいて、前記オートフォ
    ーカスブロックの位置を補正するオートフォーカス装
    置。
JP2001305061A 2001-10-01 2001-10-01 オートフォーカス装置 Expired - Fee Related JP3646124B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001305061A JP3646124B2 (ja) 2001-10-01 2001-10-01 オートフォーカス装置
US10/256,509 US20030063195A1 (en) 2001-10-01 2002-09-27 Automatic focusing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001305061A JP3646124B2 (ja) 2001-10-01 2001-10-01 オートフォーカス装置

Publications (2)

Publication Number Publication Date
JP2003107338A true JP2003107338A (ja) 2003-04-09
JP3646124B2 JP3646124B2 (ja) 2005-05-11

Family

ID=19124907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001305061A Expired - Fee Related JP3646124B2 (ja) 2001-10-01 2001-10-01 オートフォーカス装置

Country Status (2)

Country Link
US (1) US20030063195A1 (ja)
JP (1) JP3646124B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084995A (ja) * 2004-09-17 2006-03-30 Canon Inc 撮像装置及びその制御方法
JP2009069748A (ja) * 2007-09-18 2009-04-02 Fujifilm Corp 撮像装置およびその自動焦点調節方法
JP2010025962A (ja) * 2008-07-15 2010-02-04 Canon Inc 防振制御装置及び撮像装置
JP2010204461A (ja) * 2009-03-04 2010-09-16 Nikon Corp 焦点調節装置、撮像装置、及び焦点調節方法
JP2011182339A (ja) * 2010-03-03 2011-09-15 Nec Casio Mobile Communications Ltd 撮像装置及びプログラム
JP2012023768A (ja) * 2011-09-29 2012-02-02 Sanyo Electric Co Ltd 撮像装置
JP2017044983A (ja) * 2015-08-28 2017-03-02 キヤノン株式会社 画像処理装置及び画像処理方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4092636B2 (ja) * 2002-11-01 2008-05-28 フジノン株式会社 オートフォーカスシステム
JP4599116B2 (ja) * 2004-08-26 2010-12-15 富士フイルム株式会社 オートフォーカスシステム
JP2011217103A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 複眼撮影方法および装置
JP2011221337A (ja) * 2010-04-12 2011-11-04 Sanyo Electric Co Ltd 電子カメラ
US8593528B2 (en) * 2010-04-15 2013-11-26 Broadcom Corporation Method and system for mitigating seesawing effect during autofocus
US8135271B2 (en) * 2010-05-17 2012-03-13 Ability Enterprise Co., Ltd. Method of calibrating an autofocus lighting device of a camera

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2209901B (en) * 1987-09-11 1992-06-03 Canon Kk Image sensing device
US4969045A (en) * 1988-05-20 1990-11-06 Sanyo Electric Co., Ltd. Image sensing apparatus having automatic iris function of automatically adjusting exposure in response to video signal
US5629735A (en) * 1989-08-20 1997-05-13 Canon Kabushiki Kaisha Image sensing device having a selectable detecting area
JP3054603B2 (ja) * 1997-05-15 2000-06-19 三洋電機株式会社 自動焦点装置
US6081668A (en) * 1997-10-31 2000-06-27 Canon Kabushiki Kaisha Camera

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006084995A (ja) * 2004-09-17 2006-03-30 Canon Inc 撮像装置及びその制御方法
JP4646583B2 (ja) * 2004-09-17 2011-03-09 キヤノン株式会社 撮像装置及びその制御方法
JP2009069748A (ja) * 2007-09-18 2009-04-02 Fujifilm Corp 撮像装置およびその自動焦点調節方法
JP2010025962A (ja) * 2008-07-15 2010-02-04 Canon Inc 防振制御装置及び撮像装置
US8305455B2 (en) 2008-07-15 2012-11-06 Canon Kabushiki Kaisha Image stabilization control apparatus and imaging apparatus
JP2010204461A (ja) * 2009-03-04 2010-09-16 Nikon Corp 焦点調節装置、撮像装置、及び焦点調節方法
JP2011182339A (ja) * 2010-03-03 2011-09-15 Nec Casio Mobile Communications Ltd 撮像装置及びプログラム
JP2012023768A (ja) * 2011-09-29 2012-02-02 Sanyo Electric Co Ltd 撮像装置
JP2017044983A (ja) * 2015-08-28 2017-03-02 キヤノン株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JP3646124B2 (ja) 2005-05-11
US20030063195A1 (en) 2003-04-03

Similar Documents

Publication Publication Date Title
JP6062656B2 (ja) 撮像装置、制御方法、及びプログラム
TWI386040B (zh) 具備影像振動檢測機能的攝影裝置
US7830415B2 (en) Camera having an image stabilizer
JP4522207B2 (ja) カメラシステム、カメラ本体及び交換レンズ
US20060132612A1 (en) Motion picture taking apparatus and method
US7693406B2 (en) Image capturing apparatus, method of controlling the same, and storage medium
JP2007139952A (ja) 撮像装置
JP2005252657A (ja) 電子スチルカメラ
JP3646124B2 (ja) オートフォーカス装置
JP2006246354A (ja) 撮影装置及び撮影プログラム
JP5959871B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2007133301A (ja) オートフォーカスカメラ
JP5014267B2 (ja) 撮像装置
JP2009216743A (ja) 像振れ補正カメラ
JP2011217334A (ja) 撮像装置および撮像装置の制御方法
JP2010193324A (ja) カメラ装置、及びその撮影方法とプログラム
JP4670647B2 (ja) 撮像装置、制御方法および制御プログラム
JP2006211417A (ja) 撮像装置
JP2013012978A (ja) デジタルカメラ
JP2008141675A (ja) 撮像装置及びその制御方法
JP4905048B2 (ja) 撮像装置、撮像装置の制御方法および制御プログラム
JP2003107337A (ja) オートフォーカス装置
JP4471364B2 (ja) 画像処理装置及び画像処理方法
JP2008048152A (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP4933184B2 (ja) 光学装置及びその制御方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20031125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040121

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040217

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040412

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041014

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090218

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100218

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100218

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110218

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110218

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120218

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130218

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130218

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees