JP2005338633A - 焦点検出装置 - Google Patents

焦点検出装置 Download PDF

Info

Publication number
JP2005338633A
JP2005338633A JP2004159943A JP2004159943A JP2005338633A JP 2005338633 A JP2005338633 A JP 2005338633A JP 2004159943 A JP2004159943 A JP 2004159943A JP 2004159943 A JP2004159943 A JP 2004159943A JP 2005338633 A JP2005338633 A JP 2005338633A
Authority
JP
Japan
Prior art keywords
image
focus
focus detection
value
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004159943A
Other languages
English (en)
Other versions
JP4532169B2 (ja
Inventor
Masataka Ide
昌孝 井出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004159943A priority Critical patent/JP4532169B2/ja
Publication of JP2005338633A publication Critical patent/JP2005338633A/ja
Application granted granted Critical
Publication of JP4532169B2 publication Critical patent/JP4532169B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】 大ボケの合焦状態であるときや被写体のコントラストが低い場合でも、高い信頼性で焦点検出が可能か否かを判定する焦点検出装置を提供する。
【解決手段】 AFセンサ25は、基線長をもって結像された第1画像と第2画像の信号を出力する。コントローラ35は、このAFセンサ25の出力に基づき、第1画像から切り出すブロックと第2画像から切り出すブロックとの相対的な間隔を変更しながら一致度の高い組み合わせを求め、最も一致度の高い組み合わせの相関値を算出する。さらに、第1または第2画像が低周波画像であるか否かを判別する。そして、低周波画像であるときは、そうでないときよりも高い信頼性を要求する判定値を設定して、この判定値と相関値とを比較することにより焦点検出が可能であるか否かを判定し、焦点検出が可能であるときにのみ、撮影レンズの合焦位置からのズレ量を検出する。
【選択図】図5

Description

本発明は、焦点検出装置、より詳しくは、基線長をもつ2つの異なる光路を介してそれぞれ結像された第1画像と第2画像との相対的な間隔に応じて、撮影レンズの合焦位置からのズレ量を検出するようにした焦点検出装置に関する。
撮影レンズの合焦位置からのズレ量を検出する焦点検出装置は、従来より種々のものが提案されている。
このような焦点検出装置の一例として、基線長をもつ2つの異なる光路を介して第1画像と第2画像とをそれぞれ結像し、これらの画像の相対的な間隔に応じて、焦点検出を行うようにしたものが知られている。
例えば、特開昭60−247210号公報には、撮影レンズの光軸を挟む、該撮影レンズの第1の部分と第2の部分とをそれぞれ通過した被写体光束から作成される第1の部分と第2の部分とをそれぞれ通過した被写体光束から作られる第1と第2の二つの像の相対的な間隔を検出して、撮影レンズの合焦位置からのずれ量を検出する焦点検出装置において、各被写体光束をそれぞれ受光するように配置された、多数のホトダイオードセルが一列に配置されたホトダイオードアレイからなる第1および第2の受光手段と、両受光手段の出力を互いに比較して、最も一致度の高い組み合わせにおける相関値を求め、この相関値と一方の受光手段の出力から求めた被写体のコントラスト値とを比較して、この比較結果に応じて焦点検出が可能であるか否かを判定する手段と、を備えた焦点検出装置が記載されている。そして、このような構成により、被写体コントラストに依存しない量によって、焦点検出の可、不可を判定することができるとしている。
特開昭60−247210号公報
しかし、撮影レンズが大ボケの合焦状態であるときや被写体のコントラストが低い場合には、上記相関値と一方の受光手段の出力から求めた被写体のコントラスト値とを比較して、この比較結果に応じて焦点検出が可能であるか否かを判定しても、必ずしも正しい判定を行うことができるとは限らなかった。
すなわち、ピントが大ボケである場合には、本来の特徴部分が欠落してしまうために、被写体像データは緩やかカーブとなり、異なる被写体部分でも比較的似ている形状となり易い。このような場合に、上記特開昭60−247210号公報に記載の技術では、異なる被写体像に対して相関値が比較的小さい値となって、つまり相関度が高いと判断してしまうからである。
こうした課題について、図13から図15を参照して説明する。図13は被写体の一例と測距エリアとの関係を示す図、図14は上記図13に示した被写体に合焦しているときのAFセンサデータを示す線図、図15は上記図13に示した被写体に対して前ピンでかつ大ボケとなっているときのAFセンサデータを示す線図である。
被写体92は、図13に示すように、中央部縦方向の白部92aの中央に、縦方向の帯状をなす黒ライン部92bがあり、また白部92aの左側および右側はグレー部92cとなっているものとする。
そして、このような被写体92に対して、測距エリア91は、該図13に示すように、黒ライン部92bを中央にして白部92a内に収まるように位置しているものとする。
このような被写体92に対して、合焦しているときのAFセンサからの出力データは、例えば図14に示すようになる。ここに、図14(A)は左側のセンサデータを示し、図14(B)は右側のセンサデータを示している。なお、この図14および次の図15においては、上へ行くほど像の明るい部分に対応したセンサ出力となり、下へ行くほど像の暗い部分に対応したセンサ出力となっている。
すなわち、左側のセンサデータにおいては、上記黒ライン部92bに対応するセンサ出力93bLが得られ、その左右に上記白部92aに対応するセンサ出力93aLが得られていて、グレー部92cに対応するセンサ出力は得られていない。
同様に、右側のセンサデータにおいても、上記黒ライン部92bに対応するセンサ出力93bRが得られ、その左右に上記白部92aに対応するセンサ出力93aRが得られていて、グレー部92cに対応するセンサ出力は得られていない。
これに対して、いわゆる前ピンの状態(すなわち、被写体像の結像位置が、本来の結像面よりも撮影レンズ側に位置している状態)となっているときには、被写体の同一部位に対応するセンサ上の結像位置は、左側センサと右側センサとで互いに近付くことになる(本発明の実施例に係る図3等参照)。従って、このときには、図15に示すように、黒ライン部92bに対応する右側のセンサ出力94bRと左側のセンサ出力94bLとが互いに近接して、両センサの間となる中央部に寄っている。なお、上記図14と同様に、図15(A)は左側のセンサデータを示し、図15(B)は右側のセンサデータを示している。そして、白部92aに対応する右側のセンサ出力94aRおよび左側のセンサ出力94aLは、各センサ毎のほぼ中央部に位置している。さらに、センサの両側、つまり左側センサの左側と右側センサの右側とには、グレー部92cに対応するセンサ出力94cL,94cRがそれぞれ出現している。このようなケースでは、左側のセンサ出力と右側のセンサ出力との何れも、中央部の輝度が高く、両側の輝度が低い山型のカーブとなっており、類似した輝度分布となってしまう。その結果、従来の焦点検出装置では、左側センサのセンサ出力部分95Lと、右側センサのセンサ出力部分95Rとに、互いに相関があると判断されてしまうことがある。
本発明は上記事情に鑑みてなされたものであり、撮影レンズの焦点位置によることなく、または、被写体のコントラストによることなく、より高い信頼性で焦点検出が可能か否かを判定することができる焦点検出装置を提供することを目的としている。
上記の目的を達成するために、第1の発明による焦点検出装置は、基線長をもつ2つの異なる光路を介してそれぞれ結像された第1画像と第2画像との相対的な間隔に応じて、撮影レンズの合焦位置からのズレ量を検出するようにした焦点検出装置であって、上記第1画像と上記第2画像との最も一致度の高い組み合わせにおける相関値を求める演算手段と、上記第1画像と第2画像との少なくとも一方が低周波画像であるか否かを判別する判別手段と、上記判別手段の判別結果に応じて判定値を設定しこの判定値と上記相関値とを比較することにより焦点検出が可能であるか否かを判定する判定手段と、を具備したものである。
また、第2の発明による焦点検出装置は、基線長をもつ2つの異なる光路を介してそれぞれ結像された第1画像と第2画像との相対的な間隔に応じて、撮影レンズの合焦位置からのズレ量を検出するようにした焦点検出装置であって、上記第1画像と上記第2画像との最も一致度の高い組み合わせにおける相関値を求める演算手段と、上記第1画像と第2画像との少なくとも一方におけるピントボケ量の大きさを判別する判別手段と、上記判別手段の判別結果に応じて判定値を設定しこの判定値と上記相関値とを比較することにより焦点検出が可能であるか否かを判定する判定手段と、を具備したものである。
さらに、第3の発明による焦点検出装置は、上記第1または第2の発明による焦点検出装置において、上記判別手段が、上記第1画像と第2画像との少なくとも一方における、隣接する2つの画素の差分の大きさの最大値に基づいて、上記判別を行うものである。
第4の発明による焦点検出装置は、上記第1の発明による焦点検出装置において、上記判定手段が、上記判別手段により上記第1画像と第2画像との少なくとも一方が低周波画像であると判別されたときには、相関性があるか否かをより高い信頼性で判定するような判定値を設定するものである。
第5の発明による焦点検出装置は、上記第2の発明による焦点検出装置において、上記判定手段が、上記判別手段により上記第1画像と第2画像との少なくとも一方におけるピントボケ量が大きいと判別されたときには、相関性があるか否かをより高い信頼性で判定するような判定値を設定するものである。
第6の発明による焦点検出装置は、上記第4または第5の発明による焦点検出装置において、上記判定手段が、上記判別手段の判別結果に応じて、判定値を適応的に設定するものである。
本発明の焦点検出装置によれば、撮影レンズの焦点位置によることなく、または、被写体のコントラストによることなく、より高い信頼性で焦点検出が可能か否かを判定することができる。
以下、図面を参照して本発明の実施例を説明する。
図1から図12は本発明の実施例1を示したものであり、図1は焦点検出装置の概要を示すブロック図である。
まず、図1を参照して、焦点検出装置の概要について説明する。
この焦点検出装置は、光電変換手段1と、演算手段たる相関値演算手段2と、判別手段たる低周波被写体判別手段3と、判定手段4と、を有して構成されている。
上記光電変換手段1は、基線長を有する2系統の光学系を備えた焦点検出光学系(後述するように、焦点検出装置の光学系のことである。)により、異なる2つの光路を介して結像された2つの光学像を、電気的な信号に変換して出力するものであり、後述するAFセンサ25(図5参照)に対応している。
上記相関値演算手段2は、光電変換手段1から出力される信号に基づいて、焦点検出光学系により結像された2つの光学像の最も一致度の高い組み合わせにおける相関値を求めるものである。
上記低周波被写体判別手段3は、ピントボケ量大きさ判別手段を兼ねたものであり、焦点検出光学系により結像された2つの光学像が低周波画像であるか否かを判別し、あるいは、該2つの光学像のピントボケ量の大きさを判別するものである。この低周波被写体判別手段3は、後述するように、2つの光学像における隣接する2つの画素の差分の最大値の大きさを判別するものともなっている。
上記判定手段4は、上記低周波被写体判別手段3の判別結果に応じて判定値を設定し、この判定値と上記相関値演算手段2により演算された相関値とを比較することにより、焦点検出が可能であるか否かを判定するものである。
ここに、上記相関値演算手段2、低周波被写体判別手段3、および判定手段4は、後述するコントローラ35(図5参照)に対応している。
続いて、図2から図12を参照して、焦点検出装置についてより具体的に説明する。図2は、焦点検出装置が適用されたカメラの構成を示す断面図である。
このカメラ10は、TTL位相差検出方式が採用された一眼レフレックスタイプのデジタルカメラとなっている。
カメラ10は、カメラ本体11内の被写体側に、撮影レンズ12を配置して構成されている。この撮影レンズ12による撮影光束の光路上には、メインミラー13が配設されている。
このメインミラー13は、撮影光束の一部を上方へ反射するとともに、他の一部を透過させるようになっている。
上記メインミラー13により上方に反射された光束の光路上には、フォーカシングスクリーン14が配設されている。このフォーカシングスクリーン14は、上記撮影レンズ12による結像面の位置に配設されたものとなっている。
このフォーカシングスクリーン14に結像された被写体像は、ペンタプリズム15により正立正像に変換されて、接眼レンズ16から撮影者の眼に投影されるようになっている。これにより、撮影者は、後述する撮像素子26に結像される被写体像と実質的に同一の像を観察することができるようになっている。
一方、上記メインミラー13の背面側には、サブミラー17が配設されており、該メインミラー13を透過した光束を下方へ向けて反射するようになっている。
このメインミラー13は、例えばクイックリターンミラーとして構成されていて、撮影レンズ12の光路上から退避することができるようになっている。該メインミラー13がサブミラー17とともに光路上から退避すると、撮影レンズ12からの光束は、被写体像を光電変換するための撮像素子26上に結像されるようになっている。この撮像素子26は、光学的な被写体像を電気信号に変換して、画像データを出力するものである。
また、上記サブミラー17により反射された光束の光路上には、カメラ本体11の底面側となる部分に、焦点検出装置18が配設されている。
この焦点検出装置18は、上記サブミラー17により反射された光束の通過範囲を規定するための視野マスク19と、該視野マスク19を通過した光束から赤外光成分を除去するための赤外カットフィルタ20と、この赤外カットフィルタ20を通過した光束を集光するためのコンデンサレンズ21と、このコンデンサレンズ21を通過した光束の光路を例えばカメラ前方側(被写体側)へ向けて曲折するための全反射ミラー22と、この全反射ミラー22により反射された光束を分割するためのセパレータ絞り23と、このセパレータ絞り23により分割された光束をそれぞれ再結像するためのセパレータレンズ24と、このセパレータレンズ24により結像された被写体像を光電変換して焦点検出用の電気信号として出力するための光電変換手段たるAFセンサ25と、を有して構成されている。
次に、図3は、焦点検出装置の光学系の構成を示す図である。なお、この図3においては、説明を簡単にするために、上記メインミラー13、サブミラー17、赤外カットフィルタ20、および全反射ミラー22の図示を省略している。
この焦点検出装置の光学系(上述したように、適宜、焦点検出光学系と称する。)は、上述したように、撮影レンズ12、視野マスク19、コンデンサレンズ21、セパレータ絞り23、セパレータレンズ24を含んで構成されていて、これらの内の撮影レンズ12は、撮影光学系を兼ねたものとなっている。
上記視野マスク19は、上記撮像素子26および上記フォーカシングスクリーン14と光学的に等価な結像面Gの近傍に配設されていて、後述する図4に示すような焦点検出領域31を規定するためのものである。
上記セパレータ絞り23は、2つの開口部23a,23bを有して構成されていて、これらの開口部23a,23bは、上記撮影レンズ12の光軸に対して略対称に配置されている。
上記セパレータレンズ24は、上記セパレータ絞り23の開口部23a,23bに各対応して配置された一対のセパレータレンズ24a,24bを有して構成されている。
このような焦点検出光学系において、被写体光束が入射したときの光路は、次のようになっている。
まず、撮影レンズ12の領域12aを介して入射された被写体光束は、視野マスク19、コンデンサレンズ21、セパレータ絞り23の開口部23a、およびセパレータレンズ24aを介して、AFセンサ25内の光電変換素子アレイ27上に再結像される。
上記光電変換素子アレイ27は、上記セパレータレンズ24a,24bに各対応した複数の光電変換素子アレイを有して構成されていて、これらは、後述する図5等に示すように、光電変換素子アレイ27L,27Rとなっている。なお、光電変換素子アレイの符号に付された英字L,Rは、それぞれ左右を示しており、図3に示した符号に付された英字a,bは、これらL,Rの何れかに一対一に対応するようになっている。
また、撮影レンズ12の領域12bを介して入射された被写体光束についても、光軸Oを挟んで対称の光路を介して、上述と同様に、光電変換素子アレイ27上に再結像されるようになっている。
このような構成において、撮影レンズ12が合焦状態になったとき、すなわち被写体像Iが結像面G上に形成されるときには、この被写体像Iは、コンデンサレンズ21およびセパレータレンズ24a,24bによって、光軸Oに対して垂直な2次元結像面である光電変換素子アレイ27上に再結像されて、一方が第1像Ia、他方が第2像Ibとなる。
これに対して、撮影レンズ12が前ピンの状態になったとき、すなわち、結像面Gの前方(撮影レンズ12に近い側)に被写体像Fが形成されるときには、この被写体像Fは、お互いに近接するように、つまり、より光軸Oに近接するように、光軸Oに対して垂直な面内で再結像されて、一方が第1像Fa、他方が第2像Fbとなる。
また、撮影レンズ12が後ピンの状態になったとき、すなわち、結像面Gの後方(撮影レンズ12から遠い側)に被写体像Rが形成されるときには、この被写体像Rは、お互いに離隔するように、つまり、より光軸Oから離隔するように、光軸Oに対して垂直な面内で再結像されて、一方が第1像Ra、他方が第2像Rbとなる。
従って、これら第1像と第2像との間隔を検出することにより、撮影レンズ12の合焦状態を、前ピンであるか後ピンであるかを含めて、検出することができる。このとき、具体的には、第1像の光強度分布と第2像の光強度分布とを、光電変換素子アレイ27の出力信号に基づき求めて、後で詳しく説明するように両像の間隔を測定することになる。
図4は、撮影画面30内における焦点検出領域31の様子を示す図である。
図示のように、撮像素子26による撮影領域となる撮影画面30に対して、上記視野マスク19により規定される焦点検出領域31は、中心部における左右にやや長い矩形状の領域となっている。
図5は、カメラの電気的な構成を示すブロック図である。
このカメラ10は、制御装置としてコントローラ35を有している。このコントローラ35は、より詳しくは、CPU(中央処理装置)36と、ROM37と、RAM38と、EEPROM39と、A/Dコンバータ40と、を有して構成されていて、相関値演算手段、低周波被写体判別手段、ピントボケ量大きさ判別手段、判定手段を兼ねたものとなっている。
上記ROM37は、カメラのシーケンスプログラムや、カメラに設定するための初期値、カメラ固有の補正値、などを格納するものである。
上記CPU36は、上記ROM37に格納されたカメラのシーケンスプログラムに従って、カメラに関する一連の動作を制御するためのものである。
上記RAM38は、CPU36による作業用メモリである。
上記EEPROM39は、AF制御や測光等に関して取得したデータを、適宜記憶するものである。従って、該EEPROM39に記憶されているデータは、一般的には、カメラ10の個体毎に異なっている。
上記A/Dコンバータ40は、上記AFセンサ25から出力されるアナログのセンサ信号を、デジタル信号に変換するためのものである。従って、このコントローラ35内においては、該A/Dコンバータ40により処理された後のデジタル信号を用いて、各種の演算や処理が行われるようになっている。
上記コントローラ35には、AFセンサ25と、レンズ駆動部45と、エンコーダ48と、ズーム駆動部50と、測光部53と、ストロボ部54と、絞り駆動部55と、シャッタ駆動部56と、表示部58と、ファーストレリーズスイッチ(1RSW)61およびセカンドレリーズスイッチ(2RSW)62と、がそれぞれ接続されている。
上記AFセンサ25は、上記光電変換素子アレイ27L,27Rと、センサアレイ処理回路28と、を有して構成されている。ここに、光電変換素子アレイ27L,27Rは、フォトダイオード等の光電変換素子を例えば一ライン方向に配列して構成されたものであり、形成される被写体像に応じて電荷を蓄積するようになっている。また、センサアレイ処理回路28は、コントローラ35に含まれるCPU36の制御に基づいて、これら光電変換素子アレイ27L,27Rに蓄積された電荷を読み出し、該コントローラ35のA/Dコンバータ40へ出力するものである。
上記レンズ駆動部45には、レンズモータ(図中では、「ML」と記載している。)46が接続されている。そして、該レンズ駆動部45は、コントローラ35の制御に基づいて、このレンズモータ46を駆動することにより、上記撮影レンズ12に含まれるフォーカシングレンズ47を光軸方向に移動させるようになっている。
上記エンコーダ48は、フォーカシングレンズ47の移動を検出して、その検出結果をコントローラ35へ出力するものである。コントローラ35は、このエンコーダ48から受けた情報に基づいて、上記レンズ駆動部45を介してフォーカシングレンズ47の位置を制御するようになっている。
上記ズーム駆動部50は、コントローラ35の制御に基づいて、撮影レンズ12に含まれるズーム系レンズ49を駆動するものである。また、このズーム駆動部50は、ズーム系レンズ49の移動量(これは、撮影レンズ12の焦点距離fに対応した量である。)を検出して、その検出信号をコントローラ35へ出力するようになっている。
上記測光部53は、被写体の輝度に応じた検出信号を発生して、コントローラ35へ出力するものである。コントローラ35は、この測光部53から受けたアナログの測光出力を、上記A/Dコンバータ40によりデジタル信号に変換してから、測光値としてRAM38に格納し、その後の露出演算等に用いるようになっている。
上記ストロボ部54は、被写体が低輝度であるときに、該被写体に対して照明光を照射するために用いられるものである。このストロボ部54は、コントローラ35によって、充電、発光タイミング、発光量の制御が行われるようになっている。該ストロボ部35は、さらに、TTL位相差検出方式で被写体までの距離を測定しようとする際に、該被写体が低輝度となっていると、AF用補助光を照射するものとなっている。このときには、ストロボ部54は、AFセンサ25の蓄積タイミングに同期して、所定の発光量で間欠発光する。
上記絞り駆動部55は、コントローラ35の制御に基づき、撮影レンズ12に内蔵される図示しない絞りを駆動して、該コントローラ35から指令された絞り値となるように駆動するものである。コントローラ35は、上記測光部53から得られた測光値等に基づいて、該絞り値を演算するようになっている。
上記シャッタ駆動部56は、コントローラ35の制御に基づき、撮像素子26の露光時間を制御するものである。すなわち、このカメラ10に光学シャッタが設けられている場合には、該シャッタ駆動部56は、該光学シャッタを制御することにより、被写体光束の通過時間を制御して、露光時間の制御を行う。一方、いわゆる素子シャッタのみとなっている場合には、該シャッタ駆動部56は、撮像素子26を図示しない撮像素子制御回路を介して制御することにより、電荷の蓄積時間を制御し、すなわち露光時間の制御を行う。
上記表示部58は、例えばLCDやLED等を有して構成されており、このカメラ10に係る撮影モード、シャッタ速度、絞り値等を表示するためのものである。
上記1RSW61および2RSW62は、図示しないレリーズボタンの押し下げに連動して動作するスイッチとなっており、具体的には、レリーズボタンの第1段階の押し下げによって1RSW61がオンし、引き続く第2段階の押し下げにより2RSW62がオンするようになっている。コントローラ35は、1RSW61がオンしたことが検出されると、測光動作およびAF動作を行う。さらに、コントローラ35は、2RSW62がオンしたことが検出されると、露出動作、つまり撮像素子26への電荷の蓄積および蓄積後の電荷の読み出し、さらにその後の記録媒体への記録等を行うようになっている。
次に、図6は、カメラの動作を示すフローチャートである。この図6は、上記コントローラ35によりメインルーチンとして実行される動作を示したものとなっている。
図示しない電源スイッチがオンする等により、コントローラ35の動作が開始されると、この図6に示すような動作が実行されるようになっている。
すなわち、メインコントローラ35は、動作を開始すると、EEPROM39に予め記憶されているAF用あるいは測光用等の各種補正データを読み込んで、RAM38に展開する(ステップS1)。
次に、1RSW61がオンされているか否かを判断する(ステップS2)。ここで、1RSW61がオンである場合には、露出量を決定するために、測光部53を動作させて被写体輝度を測定する測光を行わせる(ステップS3)。
続いて、被写体に対する焦点状態が検出されて、その検出結果に基づいて撮影レンズ12内のフォーカシングレンズ47を合焦位置へ駆動させ、被写体にピントを合わせるAFが行われる(ステップS4)。
そして、このAF動作の結果、合焦したか否かを判断する(ステップS5)。ここで、合焦している場合には、さらに、2RSW62がオンしているか否かを判断する(ステップS6)。
2RSW62がオンしている場合には、露出動作を行う(ステップS7)。すなわち、まず、メインミラー13およびサブミラー17を撮影レンズ12の光路上から退避させる。そして、絞り駆動部55により、撮影レンズ12内の絞りを、上記ステップS3で求めた測光値に基づいて決定された絞り値に絞り込む。次に、シャッタ駆動部56によりシャッタを制御して、上記ステップS3で求めた測光値に基づいて決定された所定時間だけシャッタを開く。続いて、シャッタが開かれている所定時間だけ撮像素子26により電荷の蓄積を行い、その後に画像データとして読み出して記録する。なお、この露出時には、上記ステップS3で求めた測光値に基づいて、ストロボ発光が必要であるか否かを判断し、必要であると判断した場合には、シャッタが全開となったときにストロボ部54に発光信号を出力して、発光を行わせるようになっている。また、上記シャッタ動作が終了したら、絞りを開放状態に戻し、メインミラー13およびサブミラー17を初期状態に戻した後に、一連の撮影動作を終了する。
一方、上記ステップS2において、1RSW61がオンでない場合には、他のスイッチが操作されてオンになっているか否かを判定する(ステップS9)。これは、露出動作に関わる1RSW61や2RSW62以外のスイッチ、例えば図示しないズームスイッチや撮影モード設定スイッチ等が操作されている可能性があるためである。
ここで、オンになっているスイッチがある場合には、そのスイッチに応じた処理(例えばズーム処理など)を実行する(ステップS10)。
上記ステップS7の処理が終了した場合、このステップS10の処理が終了した場合、上記ステップS9において他のスイッチがオンになっていない場合、上記ステップS5において合焦していない場合、または上記ステップS6において2RSW62がオンしていない場合には、表示部58のLCDやLED等により各種の表示を行って(ステップS8)、次の撮影のために上記ステップS2へ移行する。
図7は、上記図6のステップS4におけるAF動作の詳細を示すフローチャートである。
この図7に示す処理は、該図6に示すメインルーチンからコールされるサブルーチンとなっている。
動作を開始すると、まず、AFセンサ25の蓄積動作の制御が行われる(ステップS11)。このときには、前回の焦点検出時のデータや、上記ステップS3で求めた測光値などの情報に基づいて、補助光が必要となる低輝度の被写体であるか否かの判断も行う。ここで、補助光が必要であると判断された場合には、AFセンサ25の蓄積動作を行っている最中に、上記ストロボ部54を複数回、間欠的に発光させることにより、AF用補助光を被写体に照射する。
こうしてAFセンサ25において信号が蓄積されたら、該信号をセンサデータとして読み出す(ステップS12)。すなわち、コントローラ35から読出クロックがAFセンサ25へ供給されると、この読出クロックに同期して、AFセンサ25からセンサデータが出力される。コントローラ35は、AFセンサ25からセンサデータを受信すると、上記A/Dコンバータ40によりデジタル信号に変換し、変換後のセンサデータをRAM38に格納する。
こうしてRAM38にセンサデータが格納されたら、後述するようなサブルーチン「焦点検出演算」を実行する(ステップS13)。
その後、焦点検出が不能であったか否かを判定する(ステップS14)。ここで、焦点検出が可能であった場合には、上記ステップS13により求められ、最終的に採用された後述するようなデフォーカス量が、合焦許容範囲内にあるか否かを判定する(ステップS15)。
ここで、デフォーカス量が合焦範囲内になく、非合焦状態であると判断された場合には、該デフォーカス量に基づいてレンズ駆動量を計算し、レンズ駆動部45を介してフォーカシングレンズ47を駆動する(ステップS16)。このレンズ駆動後は、上記ステップS11へ戻って、上述したような動作を、上記ステップS15において合焦したと判断されるまで繰り返して行う。
こうして、上記ステップS15において、デフォーカス量が合焦範囲内にあって、合焦状態であると判断された場合には、合焦表示を行ってから(ステップS17)、上記図6に示したメインルーチンへリターンする。なお、このステップS17の合焦表示においては、表示部58により例えばファインダ内のLEDを点灯させることにより合焦となったことを表示するようになっている。このときには、該表示とともに、あるいは該表示に代えて、図示しないPCVを発音することにより、合焦となったことを告知するようにしても構わない。
一方、上記ステップS14において、焦点検出が不能であると判断された場合には、上記表示部58により検出が不能である旨を表示を行い、あるいは上記PCVの発音によりその旨を告知してから(ステップS18)、上記図6に示したメインルーチンへリターンする。
続いて、図8は、上記図7のステップS13における焦点検出演算の処理の詳細を示すフローチャートである。
この処理においては、左側の光電変換素子アレイ27LからのセンサデータをL(i)(ここに、i=0〜64)、右側の光電変換素子アレイ27RからのセンサデータをR(i)(同様に、i=0〜64)として、それぞれ表している。
まず、変数SLに初期値として0を、また、変数SRに初期値として14を、それぞれ設定する(ステップS21)。ここに、変数SL,SRは、それぞれ、センサデータL(i),R(i)の内の相関演算を行うブロック画素列の先頭番号を記憶する変数である。
次に、変数Jに初期値として6を設定する(ステップS22)。この変数Jは、センサデータR(i)におけるブロックのシフト回数をカウントするための変数である。
その後、L(SL+i)(i=0〜26)で表される27画素の画素値の内の、最大値CMAXおよび最小値CMINを抽出し(ステップS23)、(CMAX−CMIN)が所定の閾値Cth以上であるか否かを判断する(ステップS24)。
ここで、閾値Cth以上である場合には、次の数式1に示すような計算を行う(ステップS25)。
[数1]
Figure 2005338633
ただし、s=SR−SLであり、相関を計算するブロックの画素数は上記ステップS23と同様に27画素としている。
次に、相関出力F(s)の最小値を検出するために、上記ステップS25で算出したF(s)と、過去に算出したF(s)の内の最小値を保持するFminと、を比較する(ステップS26)。ここで、ステップS25で算出したF(s)がFminよりも小さい場合には、このF(s)をFminに代入するとともに、そのときのSL,SRをSLM、SLRとしてそれぞれ記憶する(ステップS27)。なお、このステップS27の処理を少なくとも1度行うまでは、FminにはF(s)の最小値は記憶されないが、このようなときには、Fminに予め所定の初期値が設定されているものとする。
このステップS27が終了するか、上記ステップS26においてF(s)がFmin以上である場合、または上記ステップS24において(CMAX−CMIN)が所定の閾値Cth未満であった場合には、上述した変数SR,Jをそれぞれデクリメントして、次のセンサデータR(i)のブロックを指定する(ステップS28)。
その後、SRが0であるか否かを判定する(ステップS29)。ここで、SRが0でない場合には、さらに、Jが0に達したか否か(Jが0以下であるか否か)を判定する(ステップS30)。
ここで、Jが0に達しておらず、0よりも大きい場合には、上記ステップS23へ戻って、上述したような相関演算を繰り返して行う。つまり、上述したようなステップS23〜S30の処理を行うことにより、図9に示すように、センサデータL(i)のブロック位置を固定したまま、センサデータR(i)のブロック位置を1画素ずつシフトさせながら、相関演算を行う動作が回数J回だけ繰り返して行われる。なお、図9は、左右の光電変換素子アレイにおけるブロックの対応関係を示す図である。
こうして、上記ステップS30においてJが0に達したと判断された場合には、SLに4を加算して、センサデータL(i)上に新しいブロックを設定するとともに、次のシフト量Sが(SR−SL−1)となるように、SRに3を加算して、センサデータR(i)上に新しいブロックを設定する(ステップS31)。
そして、SR−SL(つまり、シフト量s)が所定値SLMT(この所定値SLMTは、シフト量sに係るリミット値となっている。)に等しいか否かを判定する(ステップS32)。ここで、等しくない場合には、上記ステップS22へ戻って、上述したような相関演算を繰り返して行う。一方、所定値SLMTに等しい場合には、相関に係る全ての演算が終了する。
このような処理を行うことにより、図9に示すように、検出ブロックがシフトされて、少ない演算量で効率的に全シフト量範囲の相関演算を行うことができ、相関出力の最小値Fminと、この最小値Fminが得られたブロックの位置SLM,SRMと、を検出することができる。
その後、上記ステップS32において、SR−SL=SLMTが成立している場合、または上記ステップS29においてSRが0である場合には、次のような処理を行う。ここに、図10は、最小値Fminの近傍における相関量F(s)の変化の様子を示す線図である。この最小値Fminは、上述したように、シフト量s=SRM−SLMのときの相関量F(s)の値となっていて、左右のセンサデータの相関が高いことを示している。
上述したように検出された最も相関性の高いブロックにおける検出結果について、その信頼性を判定するために、信頼性指数SKを計算する(ステップS33)。
この信頼性指数SKの計算は、具体的には、以下のような方法により行う。
まず、次に示すように、数式2によってFMを計算するとともに、数式3によってFPを計算する。
[数2]
Figure 2005338633
[数3]
Figure 2005338633
これらのFM,FPは、センサデータR(i)に係る、最も相関性の高いブロック位置SRMの前後に1画素ずつずらせたブロック(SRM−1、SRM+1)と、センサデータL(i)に係る、最も相関性の高いブロック位置(SLM)と、の相関を計算したものである。
このようにして求められたFM,FPを用いて、信頼性指数SKを、次の数式4に示すように求める。
[数4]
Figure 2005338633
この信頼性指数SKは、最小相関値Fminと2番目に小さい相関値FP(またはFM)との和を、被写体データのコントラスト相当の値(FM−FminまたはFP−Fmin)で規格化したものである。この信頼性指数SKは、値が小さいほど信頼性が高いことを表し、逆に、値が大きいほど信頼性が低いことを表している。
その後、この信頼性指数SKを、判定値となる所定の第1の閾値SKthと比較して、信頼性を判定する(ステップS34)。
ここで、信頼性指数SKが第1の閾値SKthよりも小さいと判定された場合には、検出ブロック内の隣接する画素間における画素値の差の絶対値の最大値△DMAXを計算し(ステップS35)(図12参照)、計算した△DMAXが所定の閾値△DMAXth以下であるか否かを判断する(ステップS36)。なお、図12は、隣接する画素間における画素値の差の絶対値を算出する様子を示す図である。
ここで、最大値△DMAXが閾値△DMAXth以下であると判断されたときには、さらに、信頼性指数SKが所定の第2の閾値SKth2よりも小さいか否かを判断する(ステップS37)。ここに、第2の閾値SKth2は、上記第1の閾値SKthよりも小さい値となるように設定されている。なお、この第2の閾値SKth2は、固定的な値とするに限るものではなく、動的に設定するようにしても構わない。例えば、上記最大値△DMAXに応じて、適応的に変更することが考えられる。
上記ステップS36において△DMAXが所定の閾値△DMAXthよりも大きい場合、または、上記ステップS37において信頼性指数SKが所定の第2の閾値SKth2よりも小さい場合には、予めクリアされている検出可能フラグをセットする(ステップS38)。
そして、検出可能フラグがセットされたら、デフォーカス量を、次のようにして計算する(ステップS39)。
上記相関量Fminは、画素単位での相関量F(s)の最小値であるが、焦点検出をより精密に行うためには、画素単位での最小値では十分とはいえない。そこで、次の数式5に示すような3点補間の方法を用いて、連続的な相関量に対する最小値F(s)min=F(x0)を与えるシフト量x0を求める(図11参照)。なお、図11は、3点補間により連続的な相関量に対する最小値を求める様子を示す線図である。
[数5]
Figure 2005338633
こうして求めたシフト量x0を用いて、被写体像面の予定焦点面に対するデフォーカス量DFを、次の数式6に示すように求める。
[数6]
Figure 2005338633
ここに、a,b,cは、焦点検出光学系に応じて決まる定数であり、xsは、合焦時のシフト量である。そして、これらのデータは、EEPROM39にそれぞれ記憶されている。
このステップS39の処理が終了した場合、上記ステップS34において信頼性指数SKが第1の閾値SKth以上である場合、または上記ステップS37において信頼性指数SKが第2の閾値SKth2以上である場合には、このサブルーチンから抜けて、上記図7に示した処理に復帰する。
このような実施例1によれば、検出するブロック内において隣接する画素の画素値の差の絶対値が、所定値以下である場合には、焦点検出の信頼性を示す信頼性指数を判定するための閾値を小さくするようにした(より高い信頼性で判定するような判定値を設定するようにした)ために、ピントが大ボケとなっているときに間違って左右のセンサ出力に相関性があると判断してしまうのを低減することができ、焦点検出の信頼性を向上することができる。
さらに、信頼性指数を判定するための閾値を適応的に変化させることにより、被写体の状態に応じてより適切に相関性を判断することができ、さらに焦点検出の信頼性を向上することができる。
そして、相関量F(s)は、ブロック内のセンサ出力の最大値と最小値との差が所定値以上であるときにのみ、算出するようにしたために、ある程度以上のコントラストが得られた状態のブロックの相関量を用いて焦点検出を行うことができ、信頼性の向上に寄与することができる。
なお、本発明は上述した実施例に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
本発明は、基線長をもつ2つの異なる光路を介してそれぞれ結像された第1画像と第2画像との相対的な間隔に応じて、撮影レンズの合焦位置からのズレ量を検出するようにした焦点検出装置に好適に利用することができる。
本発明の実施例1における焦点検出装置の概要を示すブロック図。 上記実施例1における焦点検出装置が適用されたカメラの構成を示す断面図。 上記実施例1における焦点検出装置の光学系の構成を示す図。 上記実施例1の撮影画面内における焦点検出領域の様子を示す図。 上記実施例1におけるカメラの電気的な構成を示すブロック図。 上記実施例1におけるカメラの動作を示すフローチャート。 上記図6のステップS4におけるAF動作の詳細を示すフローチャート。 上記図7のステップS13における焦点検出演算の処理の詳細を示すフローチャート。 上記実施例1において、左右の光電変換素子アレイにおけるブロックの対応関係を示す図。 上記実施例1において、最小値Fminの近傍における相関量F(s)の変化の様子を示す線図。 上記実施例1において、3点補間により連続的な相関量に対する最小値を求める様子を示す線図。 上記実施例1において、隣接する画素間における画素値の差の絶対値を算出する様子を示す図。 被写体の一例と測距エリアとの関係を示す図。 上記図13に示した被写体に合焦しているときのAFセンサデータを示す線図。 上記図13に示した被写体に対して前ピンでかつ大ボケとなっているときのAFセンサデータを示す線図。
符号の説明
1…光電変換手段
2…相関値演算手段(演算手段)
3…低周波被写体判別手段(ピントボケ量大きさ判別手段)(判別手段)
4…判定手段
10…カメラ
11…カメラ本体
12…撮影レンズ
13…メインミラー
14…フォーカシングスクリーン
15…ペンタプリズム
16…接眼レンズ
17…サブミラー
18…焦点検出装置
19…視野マスク
20…赤外カットフィルタ
21…コンデンサレンズ
22…全反射ミラー
23…セパレータ絞り
24…セパレータレンズ
25…AFセンサ(光電変換手段)
26…撮像素子
27…光電変換素子アレイ
27L…左側の光電変換素子アレイ
27R…右側の光電変換素子アレイ
28…センサアレイ処理回路
35…コントローラ(相関値演算手段、低周波被写体判別手段、ピントボケ量大きさ判別手段、判定手段)
36…CPU
37…ROM
38…RAM
39…EEPROM
40…A/Dコンバータ
45…レンズ駆動部
46…レンズモータ
47…フォーカシングレンズ
48…エンコーダ
49…ズーム系レンズ
50…ズーム駆動部
53…測光部
54…ストロボ部
55…絞り駆動部
56…シャッタ駆動部
58…表示部
61…ファーストレリーズスイッチ(1RSW)
62…セカンドレリーズスイッチ(2RSW)
代理人 弁理士 伊 藤 進

Claims (6)

  1. 基線長をもつ2つの異なる光路を介してそれぞれ結像された第1画像と第2画像との相対的な間隔に応じて、撮影レンズの合焦位置からのズレ量を検出するようにした焦点検出装置であって、
    上記第1画像と上記第2画像との最も一致度の高い組み合わせにおける相関値を求める演算手段と、
    上記第1画像と第2画像との少なくとも一方が低周波画像であるか否かを判別する判別手段と、
    上記判別手段の判別結果に応じて判定値を設定し、この判定値と上記相関値とを比較することにより、焦点検出が可能であるか否かを判定する判定手段と、
    を具備したことを特徴とする焦点検出装置。
  2. 基線長をもつ2つの異なる光路を介してそれぞれ結像された第1画像と第2画像との相対的な間隔に応じて、撮影レンズの合焦位置からのズレ量を検出するようにした焦点検出装置であって、
    上記第1画像と上記第2画像との最も一致度の高い組み合わせにおける相関値を求める演算手段と、
    上記第1画像と第2画像との少なくとも一方におけるピントボケ量の大きさを判別する判別手段と、
    上記判別手段の判別結果に応じて判定値を設定し、この判定値と上記相関値とを比較することにより、焦点検出が可能であるか否かを判定する判定手段と、
    を具備したことを特徴とする焦点検出装置。
  3. 上記判別手段は、上記第1画像と第2画像との少なくとも一方における、隣接する2つの画素の差分の大きさの最大値に基づいて、上記判別を行うものであることを特徴とする請求項1または請求項2に記載の焦点検出装置。
  4. 上記判定手段は、上記判別手段により上記第1画像と第2画像との少なくとも一方が低周波画像であると判別されたときには、相関性があるか否かをより高い信頼性で判定するような判定値を設定するものであることを特徴とする請求項1に記載の焦点検出装置。
  5. 上記判定手段は、上記判別手段により上記第1画像と第2画像との少なくとも一方におけるピントボケ量が大きいと判別されたときには、相関性があるか否かをより高い信頼性で判定するような判定値を設定するものであることを特徴とする請求項2に記載の焦点検出装置。
  6. 上記判定手段は、上記判別手段の判別結果に応じて、判定値を適応的に設定するものであることを特徴とする請求項4または請求項5に記載の焦点検出装置。
JP2004159943A 2004-05-28 2004-05-28 焦点検出装置 Expired - Fee Related JP4532169B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004159943A JP4532169B2 (ja) 2004-05-28 2004-05-28 焦点検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004159943A JP4532169B2 (ja) 2004-05-28 2004-05-28 焦点検出装置

Publications (2)

Publication Number Publication Date
JP2005338633A true JP2005338633A (ja) 2005-12-08
JP4532169B2 JP4532169B2 (ja) 2010-08-25

Family

ID=35492270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004159943A Expired - Fee Related JP4532169B2 (ja) 2004-05-28 2004-05-28 焦点検出装置

Country Status (1)

Country Link
JP (1) JP4532169B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013171840A1 (ja) * 2012-05-15 2016-01-07 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP2018031916A (ja) * 2016-08-25 2018-03-01 キヤノン株式会社 焦点調節装置、その制御方法及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05346536A (ja) * 1991-07-23 1993-12-27 Canon Inc 焦点検出装置
JPH07281082A (ja) * 1994-04-11 1995-10-27 Olympus Optical Co Ltd 測距装置
JPH085902A (ja) * 1994-06-24 1996-01-12 Olympus Optical Co Ltd 焦点検出装置
JPH0876007A (ja) * 1994-09-07 1996-03-22 Nikon Corp 焦点調節装置
JPH0875995A (ja) * 1994-09-07 1996-03-22 Nikon Corp 焦点検出装置
JPH1172818A (ja) * 1997-08-29 1999-03-16 Olympus Optical Co Ltd 多点測距装置
JP2001141987A (ja) * 1999-11-17 2001-05-25 Olympus Optical Co Ltd 測距装置
JP2002214521A (ja) * 2001-01-23 2002-07-31 Olympus Optical Co Ltd カメラの測距装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05346536A (ja) * 1991-07-23 1993-12-27 Canon Inc 焦点検出装置
JPH07281082A (ja) * 1994-04-11 1995-10-27 Olympus Optical Co Ltd 測距装置
JPH085902A (ja) * 1994-06-24 1996-01-12 Olympus Optical Co Ltd 焦点検出装置
JPH0876007A (ja) * 1994-09-07 1996-03-22 Nikon Corp 焦点調節装置
JPH0875995A (ja) * 1994-09-07 1996-03-22 Nikon Corp 焦点検出装置
JPH1172818A (ja) * 1997-08-29 1999-03-16 Olympus Optical Co Ltd 多点測距装置
JP2001141987A (ja) * 1999-11-17 2001-05-25 Olympus Optical Co Ltd 測距装置
JP2002214521A (ja) * 2001-01-23 2002-07-31 Olympus Optical Co Ltd カメラの測距装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013171840A1 (ja) * 2012-05-15 2016-01-07 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP2018031916A (ja) * 2016-08-25 2018-03-01 キヤノン株式会社 焦点調節装置、その制御方法及びプログラム

Also Published As

Publication number Publication date
JP4532169B2 (ja) 2010-08-25

Similar Documents

Publication Publication Date Title
JP5176483B2 (ja) 画像認識装置、画像追尾装置および撮像装置
JP5167750B2 (ja) 追尾装置、撮像装置、および追尾方法
JP5157256B2 (ja) 画像追尾装置および撮像装置
KR101395015B1 (ko) 카메라, 초점 검출방법, 및 제어방법
US20050212950A1 (en) Focal length detecting method, focusing device, image capturing method and image capturing apparatus
JP4872834B2 (ja) 画像認識装置、焦点調節装置および撮像装置
US20050099522A1 (en) Variable length encoding method and variable length decoding method
JP2007248782A (ja) 焦点調節装置およびカメラ
JP2009015117A (ja) 焦点調節装置および撮像装置
US7940323B2 (en) Image-pickup apparatus and control method thereof
JP2009109839A (ja) 画像追尾装置、撮像装置
JP2009015185A (ja) 画像検出装置、焦点調節装置および撮像装置
JP5402298B2 (ja) 焦点検出装置、および、カメラ
JP5115302B2 (ja) 焦点検出装置および焦点検出方法
JP2000155256A (ja) 交換式撮影レンズ装置、カメラボディ並びにカメラシステム
JP2009010672A (ja) 焦点検出装置および撮像装置
JP2008203428A (ja) 撮像装置
JP2000275512A (ja) カメラ
JP4532169B2 (ja) 焦点検出装置
JP4985155B2 (ja) 焦点調節装置および撮像装置
JP2009063689A (ja) 焦点検出装置および撮像装置
JP2006146031A (ja) カメラ
JP2010200138A (ja) 被写体追尾装置
JP2000131595A (ja) カメラ及び焦点調節装置
JP2006072084A (ja) 自動焦点検出装置およびカメラシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100608

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100610

R151 Written notification of patent or utility model registration

Ref document number: 4532169

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees