JP2011075841A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2011075841A
JP2011075841A JP2009227339A JP2009227339A JP2011075841A JP 2011075841 A JP2011075841 A JP 2011075841A JP 2009227339 A JP2009227339 A JP 2009227339A JP 2009227339 A JP2009227339 A JP 2009227339A JP 2011075841 A JP2011075841 A JP 2011075841A
Authority
JP
Japan
Prior art keywords
image
camera shake
unit
area
shake correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009227339A
Other languages
English (en)
Other versions
JP2011075841A5 (ja
JP5415208B2 (ja
Inventor
Kentaro Tokiwa
健太郎 常盤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2009227339A priority Critical patent/JP5415208B2/ja
Publication of JP2011075841A publication Critical patent/JP2011075841A/ja
Publication of JP2011075841A5 publication Critical patent/JP2011075841A5/ja
Application granted granted Critical
Publication of JP5415208B2 publication Critical patent/JP5415208B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】固体撮像素子内に設ける位相差検出用の画素を最小限にしつつ、撮影画面内の焦点調節を行うことができる範囲を拡大することができる撮像装置を提供する。
【解決手段】位相差検出用のAFセンサ部を有するCCDと手ブレ補正手段とを備えた撮像装置において、撮影画面上で任意に設定される被写体検出範囲(撮影者が画面内でピントを合わせたいと考えている被写体検出範囲)を取得し(ステップS40)、この被写体検出範囲内にAFセンサ部が存在するか否かを判別する(ステップS42)。存在しない場合には、被写体検出範囲とAFセンサ部との差分(ベクトル)を算出し(ステップS46)、その算出結果に基づいて前記被写体検出範囲にAFセンサ部が入るようにCCDを移動させる(ステップS48)。このようにして移動したCCDのAFセンサ部からの画像信号に基づいて焦点調節を行うようにしている。
【選択図】 図7

Description

本発明は撮像装置に係り、特に位相差検出方式の自動焦点調節(位相差AF)を行う撮像装置に関する。
一眼レフカメラ等に使用されている位相差検出方式のAF装置は、撮影レンズと固体撮像素子との間にビームスプリッタを配置し、ビームスプリッタで分岐された光を位相差検出用のAFセンサに入射させ、このAFセンサにより検出される位相差を示す検出信号に基づいてフォーカスレンズを制御するようにしている。
従来、上記ビームスプリッタや専用のAFセンサを設ける代わりに、固体撮像素子の一部に専用の位相差検出用の画素(AFセンサ部)を設けることで、位相差AFを行う技術が知られている(特許文献1)。
即ち、特許文献1に記載の固体撮像装置は、固体撮像素子の予め設定された所定範囲内の各素子の位置と、その上方に設けたレンズ(マイクロレンズ)とを相対的にずらし、一方の方向にずらした素子の出力信号と、他方の方向にずらした素子の出力信号との比較結果に基づいて合焦状態を検出するようにしている。
特許第2959142号公報
しかしながら、特許文献1に記載の固体撮像装置は、固体撮像素子のAFセンサ部が設けられた箇所でしか位相差AFの情報を検出することができないため、ピントを合わせたい被写体がAFセンサ部上に位置していない場合には、前記被写体にピントを合わせることができないという問題がある。
一方、ピントを合わせたい被写体がAFセンサ上に位置するように、画角をずらしてAFセンサ部上に被写体を位置させ、前記被写体にピントを合わせてから(フォーカスロックさせてから)画角を戻すといったカメラ操作を行う場合には、カメラ操作が煩雑になるとともに、撮影までに時間がかかるという問題がある。
また、位相差検出用の画素は、撮影画像用の画素として使用することができず、固体撮像素子に多くのAFセンサ部を設けると、画質が低下するという問題がある。
本発明はこのような事情に鑑みてなされたもので、固体撮像素子内に設ける位相差検出用の画素を最小限にしつつ、撮影画面内の焦点調節を行うことができる範囲を拡大することができる撮像装置を提供することを目的とする。
前記目的を達成するために請求項1に係る撮像装置は、撮影レンズと、位相差検出用の画素を含むAFセンサ部を有する固体撮像素子と、装置本体に加わる手ブレを検出する手ブレ検出手段と、前記手ブレ検出手段の検出出力に基づいて前記装置本体の手ブレによる像ブレを相殺するように前記固体撮像素子又は前記撮影レンズ内の手ブレ補正用の光学部材を駆動する手ブレ補正手段と、前記固体撮像素子から画像信号を読み出し、該画像信号のうちの前記AFセンサ部の画素に対応する画像信号に基づいて前記撮影レンズの焦点調節を行うフォーカス制御手段と、撮影画面上で任意に設定されるAF領域と前記固体撮像素子内のAFセンサ部との位置関係を算出する算出手段と、前記算出手段による算出出力に基づいて前記AF領域に前記AFセンサ部が入るように前記手ブレ補正手段を制御する制御手段と、を備えたことを特徴としている。
即ち、撮影画面上で焦点調節を行いたい任意のAF領域に、固体撮像素子内に設けたAFセンサ部が存在しない場合には、既存の手ブレ補正機能を使用して前記AF領域にAFセンサ部が入るように手ブレ補正手段を制御し、これにより焦点調節を行うことができる範囲を拡大できるようにしている。
請求項2に示すように請求項1に記載の撮像装置において、前記フォーカス制御手段は、前記AFセンサ部の画素に対応する画像信号に基づいて前記撮影レンズのデフォーカス量を算出するデフォーカス量算出手段を含み、前記算出されたデフォーカス量が0になるように前記撮影レンズを駆動させることを特徴としている。
請求項3に示すように請求項1又は2に記載の撮像装置において、前記固体撮像素子は、複数のAFセンサ部を有し、各AFセンサ部の間隔は、前記手ブレ補正手段により補正可能な像ブレ補正範囲以下であることを特徴としている。これにより、AFセンサ部をむやみに増やすことなく、焦点調節を行うことができる範囲を拡大できるようにしている。
請求項4に示すように請求項1から3のいずれかに記載の撮像装置において、前記固体撮像素子から得られる画像信号に基づいて特定対象が存在する領域を検出し、この検出した領域を前記AF領域として設定するAF領域設定手段を備えたことを特徴としている。
前記AF領域検出手段により検出される特定対象が存在する領域としては、人物の顔、ペット、花等の、撮影者が画面内でピントを合わせたいと考えているであろう特定対象が存在する領域であり、この領域がAF領域として自動的に設定される。
請求項5に示すように請求項1から4のいずれかに記載の撮像装置において、記録用の本画像の撮影前に前記固体撮像素子から連続して得られる画像信号に基づいてライブビュー画像を表示する画像表示手段を更に備えたことを特徴としている。
請求項6に示すように請求項5に記載の撮像装置において、前記表示制御手段は、前記AF領域に前記AFセンサ部が入るように前記手ブレ補正手段が制御されている期間、前記画像表示手段に表示されているライブビュー画像に代えて、前記AF領域を中心に前記ライブビュー画像を拡大した拡大画像を前記画像表示手段に表示させることを特徴としている。
即ち、前記AF領域に前記AFセンサ部が入るように前記手ブレ補正手段を制御すると、撮影画角が変化してライブビュー画像が移動することになるが、前記ライブビュー画像に代えて、前記AF領域を中心に前記ライブビュー画像を拡大した拡大画像を前記画像表示手段に表示させることにより、焦点調節が行われているAF領域を確認することができるとともに、ライブビュー画像の移動といった違和感をなくすことができる。
請求項7に示すように請求項5に記載の撮像装置において、前記表示制御手段は、前記AF領域に前記AFセンサ部が入るように前記手ブレ補正手段が制御されている期間、前記画像表示手段に表示されるライブビュー画像を静止させることを特徴としている。
これにより、前記AF領域に前記AFセンサ部を入れる手ブレ補正手段の制御時に、ライブビュー画像が移動するといった違和感をなくすことができる。
請求項8に示すように請求項5から7のいずれかに記載の撮像装置において、前記表示制御手段は、前記手ブレ補正手段の駆動により拡大される前記AFセンサによる焦点調節が可能な範囲を示す第1の指標を、前記画像表示手段の画面上に表示させることを特徴としている。これにより、予め撮影画角中のどの範囲の被写体にピントを合わせることができるかを知ることができる。
請求項9に示すように請求項5から8のいずれかに記載の撮像装置において、前記表示制御手段は、前記任意のAF領域に対するフォーカス制御が行われると、前記画像表示手段の画面上に前記AF領域を示す第2の指標を表示させることを特徴としている。これにより、撮影画角中のどの被写体に対してピントが合わされたかを知ることができる。
請求項10に示すように請求項1から9のいずれかに記載の撮像装置において、前記フォーカス制御手段は、前記撮影レンズの焦点調節が完了するまで、前記AFセンサ部の画素に対応する画像信号を複数回取得し、該複数回の画像信号の取得が終了するまで、前記AF領域に前記AFセンサ部が入るように前記手ブレ補正手段を制御することを特徴としている。これによれば、合焦状態を確認することができ、合焦精度を上げることができる。
請求項11に示すように請求項1から10のいずれかに記載の撮像装置において、前記制御手段は、前記AF領域に前記AFセンサ部を入れる前記手ブレ補正手段の制御時に、前記手ブレ検出手段の検出出力と前記算出手段による算出出力とに基づいて前記手ブレ補正手段を制御することを特徴としている。前記AF領域に前記AFセンサ部を入れる前記手ブレ補正手段の制御時(即ち、AFセンサ部の画素から画像信号を取得する時)に、手ブレ補正も行われるため、より良好な位相差検出用の画像信号を取得することができる。
請求項12に示すように請求項1から11のいずれかに記載の撮像装置において、前記制御手段は、前記AF領域に前記AFセンサ部を入れる前記手ブレ補正手段の制御と本撮影時に像ブレを補正する前記手ブレ補正手段の制御とを、シャッタボタンの半押し時と全押し時とで切り替えることを特徴としている。これにより、位相差AF時と手ブレ補正時とで、それぞれ最適な手ブレ補正手段の制御を行うことができる。
本発明によれば、撮影画面上で焦点調節を行いたい任意のAF領域に、固体撮像素子内に設けたAFセンサ部が存在しない場合には、既存の手ブレ補正機能を使用して前記AF領域にAFセンサ部が入るように手ブレ補正手段を制御するようにしたため、固体撮像素子内に設ける位相差検出用の画素を最小限にしつつ、焦点調節を行うことができる範囲を拡大することができる。
図1は本発明に係る撮像装置(デジタルカメラ)の実施の形態を示すブロック図である。 図2は本発明に係るCCDの要部拡大図である。 図3は図2に示したCCDの断面を模式的に示した図である 図4は焦点状態と位相差検出用の画素A、画素Bの出力(位相差)との関係を示す図である。 図5はCCDに設けられた位相差検出用のAFセンサ部の一例を示す図である。 図6は本発明に係る撮像装置(デジタルカメラ)の撮影前から画像記録までの処理手順を示すフローチャートである。 図7は本発明に係る位相差AF処理の第1の実施形態を示すフローチャートである。 図8は液晶モニタに表示される焦点調節が可能な範囲の表示例を示す図である。 図9は液晶モニタに表示される焦点調節が可能な範囲の他の表示例を示す図である。 図10は本発明に係るCCDの第2の構成例を示す図である。 図11は本発明に係るCCDの第3の構成例を示す図である。 図12は本発明に係る位相差AF処理の第2の実施形態を示すフローチャートである。 図13は手ブレ検出部を駆動している期間中のスルー画像の他の表示例を説明するために使用した図である。 図15は手ブレ検出部を駆動している期間中に被写体検出範囲にAFセンサ部が入るようにCCDを移動させたときのスルー画像の表示例を示す図である。 図15は本発明に係るCCDの第4の構成例を示す図である。 図16は本発明に係るCCDの第4の構成例を示す図である。 図17は本発明に係る位相差AF処理の第3の実施形態を示すフローチャートである。 図18は通常の手ブレ補正と本発明に係る第3の実施形態の手ブレ補正時にCCDの状態を示す図である。 図19は手ブレ補正時と本発明に係る第3の実施形態の手ブレ補正時のCCDの移動を示す波形図である。
以下、添付図面に従って本発明に係る撮像装置の実施の形態について説明する。
[撮像装置の全体構成]
図1は本発明に係る撮像装置(デジタルカメラ)10の実施の形態を示すブロック図である。
このデジタルカメラ10は、撮像した画像をメモリカード54に記録するもので、カメラ全体の動作は、中央処理装置(CPU)40によって統括制御される。
デジタルカメラ10には、シャッタボタン、モードダイヤル、再生ボタン、MENU/OKキー、十字キー、BACKキー等の操作部38が設けられている。この操作部38からの信号はCPU40に入力され、CPU40は入力信号に基づいてデジタルカメラ10の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、液晶モニタ30の表示制御などを行う。
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にONするS1スイッチと、全押し時にONするS2スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、及び動画を撮影する動画モードのいずれかを選択する選択手段である。
再生ボタンは、撮影記録した静止画又は動画を液晶モニタ30に表示させる再生モードに切り替えるためのボタンである。MENU/OKキーは、液晶モニタ30の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するOKボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン(カーソル移動操作手段)として機能する。また、十字キーの上/下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左/右キーは再生モード時のコマ送り(順方向/逆方向送り)ボタンとして機能する。BACKキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは1つ前の操作状態に戻らせる時などに使用される。
また、手ブレ検出部39は、例えば、カメラ本体の垂直方向及び水平方向の角速度を検出する2つの角速度センサと、これらの角速度センサによって検出された角速度をそれぞれ積分して垂直方向及び水平方向のブレ角を算出する積分手段とから構成されている。この手ブレ検出部39により検出されたカメラ本体の垂直方向及び水平方向のブレ角を示す検出信号は、CPU40に加えられる。
さて、撮影モード時において、被写体を示す画像光は、撮影レンズ12、絞り14を介してCCDイメージセンサである固体撮像素子(以下、「CCD」という)16の受光面に結像される。撮影レンズ12は、CPU40によって制御されるレンズ駆動部32によって駆動され、フォーカス制御、ズーム制御等が行われる。絞り14は、例えば、5枚の絞り羽根からなり、CPU40によって制御される絞り駆動部33によって駆動され、例えば、絞り値F2.8 〜F11まで1AV刻みで5段階に絞り制御される。
CPU40は、手ブレ検出部39から入力するカメラ本体の垂直方向及び水平方向のブレ角を示す検出信号に基づいて、カメラ本体の手ブレによる像ブレを相殺するようにCCD16を上下左右方向に駆動(振動)させる手ブレ補正部34を制御する。尚、CPU40は、位相差AF時にも手ブレ補正部34を制御するが、その詳細については後述する。
また、CPU40は、絞り駆動部33を介して絞り14を制御するとともに、CCD制御部36を介してCCD16での電荷蓄積時間(シャッタスピード)や、CCD16からの画像信号の読み出し制御等を行う。
<CCDの第1の構成例>
図2は本発明に係るCCD16の要部拡大図である。このCCD16は、ハニカム配列された光電変換用の画素であって、撮影レンズ12の射出瞳を通過する光束の受光方向の制限を受けない通常の画素と、撮影レンズ12の射出瞳を通過する光束の受光方向の制限を受ける位相差検出用の画素とを有しており、各画素上にはR、G、Bのカラーフィルタが設けられている。
通常の画素は、光電変換素子(フォトダイオード)PDの中心と、その上方に設けられたマイクロレンズL1の中心とが一致している。一方、位相差検出用の画素は、フォトダイオードPDの中心と、その上方に設けられたマイクロレンズL2の中心とがずれており、かつマイクロレンズL2は、マイクロレンズL1よりも小さいものとなっている。
また、図2上で符号A、Bで区別されているように、位相差検出用の画素は、フォトダイオードPDに対してマイクロレンズL2が右にずれているものと、左にずれているものとの2種類の画素を有している。
図3は上記CCD16の断面を模式的に示したものである。図3に示すように通常の画素は、撮影レンズ12の射出瞳を通過する光束の受光方向の制限を受けないようにマイクロレンズL1によりフォトダイオードPD上に集光されているが、位相差検出用の画素は、撮影レンズ12の射出瞳を通過する光束の受光方向の制限を受けるようにマイクロレンズL2とフォトダイオードPDとが配置されており、画素Aと画素Bとでは、光束の受光方向の制限方向が異なる。
従って、図4(A)〜(C)に示すように後ピン、合焦、前ピンの状態に応じて画素Aと画素Bの出力は、位相がずれ又は位相が一致する。上記位相差検出用の画素A,Bの出力信号の位相差は撮影レンズ12のデフォーカス量に対応するため、この位相差を検出することにより撮影レンズ12のAF制御を行うことができる。
上記位相差検出用の画素A,Bは、図5に示すようにCCD16の中央部の所定の領域に設けられており、以下、この領域をAFセンサ部17という。このAFセンサ部17は、図2に示したように通常の画素と、位相差検出用の画素A,Bとが混在して設けられている。尚、図2では、位相差検出用の画素A、Bがそれぞれ2個ずつ設けられているが、AFセンサ部17には、位相差を精度よく検出できるように、例えば、それぞれ10個ずつ設けることが好ましい。
ところで、位相差検出用の画素A,Bへの入射光量は、通常の画素の入射光量の30%程度となるため、位相差検出用の画素A,Bの画像信号は、本撮影時の画像信号としては使用できない。そこで、位相差検出用の画素A,Bの位置の画像信号は、その周囲の通常の画素の画像信号を補間して生成する。尚、位相差検出用の画素A,Bの画像信号を、通常の画素との入射光量の比率に応じて増幅し、本撮影時の画像信号として使用してもよい。
図1に戻って、CCD16に蓄積された信号電荷は、CCD制御部36から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。CCD16から読み出された電圧信号は、アナログ信号処理部18に加えられ、ここで各画素ごとのR、G、B信号がサンプリングホールドされ、増幅されたのちA/D変換器20に加えられる。A/D変換器20は、順次入力するR、G、B信号をデジタルのR、G、B信号に変換して画像入力コントローラ22に出力する。
デジタル信号処理部24は、画像入力コントローラ22を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・ コントロール処理、ガンマ補正処理、YC処理等の所定の信号処理を行う。
デジタル信号処理部24で処理された画像データは、VRAM50に入力する。VRAM50には、それぞれが1コマ分の画像を表す画像データを記憶するA領域とB領域とが含まれている。VRAM50において1コマ分の画像を表す画像データがA領域とB領域とで交互に書き換えられる。VRAM50のA領域及びB領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。VRAM50から読み出された画像データはビデオ・エンコーダ28においてエンコーディングされ、カメラ背面に設けられている液晶モニタ30に出力され、これにより被写体像が液晶モニタ30の表示画面上に表示される。
また、操作部38のシャッタボタンの第1段階の押下(半押し)があると、AF動作及びAE動作が開始する。即ち、A/D変換器20から出力される画像データのうちのAFセンサ部17に対応する画像データ(位相差検出用の画素の出力信号)が位相差検出部42に取り込まれる。位相差検出部42は、AFセンサ部17における画素Aの画像データと画素Bの画像データとの位相差を検出し、この位相差を示す情報をCPU40に出力する。CPU40は、位相差検出部42から入力する位相差情報に基づいてデフォーカス量を求め、このデフォーカス量が0になるようにレンズ駆動部32を介して撮影レンズ12内のフォーカスレンズの位置を制御する。
顔検出部46は、操作部38で顔検出機能をONにするボタン操作が行われると、動作可能となり、人物の顔検出を行う。この顔検出部46での顔検出は、撮影画像内で所定の対象領域の位置を移動させながら、対象領域の画像と顔画像テンプレートとを照合して両者の相関を調べ、相関スコアが予め設定された閾値を越えると、その対象領域を顔領域として検出する。その他、顔検出方法には、エッジ検出又は形状パターン検出による顔検出方法、色相検出又は肌色検出による顔検出方法等の公知の方法を利用することができる。
また、シャッタボタンの半押し時にA/D変換器20から出力される画像データは、AE検出部44に取り込まれる。AE検出部44では、画面全体のG信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたG信号を積算し、又は顔検出部46により検出された顔領域のG信号を積算し、その積算値をCPU40に出力する。CPU40は、AE検出部44から入力する積算値より被写体の明るさ(撮影Ev値)を算出し、この撮影Ev値に基づいて絞り14の絞り値及びCCD16の電子シャッタ(シャッタスピード)を所定のプログラム線図にしたがって決定し、その決定した絞り値に基づいて絞り駆動部33を介して絞り14を制御するとともに、決定したシャッタスピードに基づいてCCD制御部36を介してCCD16での電荷蓄積時間を制御する。
AE動作及びAF動作が終了し、シャッタボタンの第2段階の押下(全押し)があると、その押下に応答してA/D変換器20から出力される画像データが画像入力コントローラ22からメモリ(SDRAM) 48に入力し、一時的に記憶される。
メモリ48に一時的に記憶された画像データは、デジタル信号処理部24により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理(YC処理)を含む所定の信号処理が行われる。YC処理された画像データ(YCデータ)は、再びメモリ48に記憶される。続いて、YCデータは圧縮伸長処理部26に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行される。圧縮されたYCデータは、再びメモリ48に出力されて記憶されたのち、メディア・コントローラ52によって読み出され、メモリカード54に記録される。
[撮影動作]
次に、上記構成のデジタルカメラ10による撮影時の動作について説明する。
図6はデジタルカメラ10の撮影前から画像記録までの処理手順を示すフローチャートである。
図6において、CPU40は、操作部38のシャッタボタンが半押し(S1がON)されたか否かを判別する(ステップS10)。シャッタボタンのS1がONされていないと判別されると(「No」の場合)、ライブビュー画像(以下、「スルー画像」という)等を表示するためにCCD16から画像の読み出しを行い(ステップS12)、また、顔検出機能がONされている場合には、顔検出部46にて前記読み出した画像から顔領域の検出を行わせる(ステップS14)。そして、前記読み込んだ画像に基づいて液晶モニタ30にスルー画像を表示させ(ステップS16)、ステップS10に遷移させる。尚、顔検出部46にて顔検出がされている場合には、前記スルー画像上に顔検出枠が表示される。
撮影者は液晶モニタ30に表示されるスルー画像を見ながら構図を決定することができる。
一方、ステップS10において、シャッタボタンのS1がONさていると判別されると(「Yes」の場合)、CPU40は、CCD16から自動露出(AE)及び自動焦点調節(位相差AF)用の画像を読み出す(ステップS18)。CPU40は、AE検出部44を介して入力する前記読み出した画像の積算値に基づいて絞り14の絞り値及びCCD16の電子シャッタ(シャッタスピード)を決定するAE処理を行う(ステップS20)。
また、CPU40は、位相差AF処理を行う(ステップS22)。
<位相差AF処理の第1の実施形態>
図7は上記ステップS22における位相差AF処理の第1の実施形態を示すフローチャートである。
図7において、まず、撮影画面上で任意に設定される被写体検出範囲(AF領域)を取得する(ステップS40)。この被写体検出範囲としては、顔検出機能がONされている場合には、図6のステップS14で検出された顔検出範囲を使用し、また、顔検出機能がONされていない場合には、液晶モニタ30上で撮影者が十字キーやタッチパネル等を使用して指定した位置を中心とした所定の範囲を使用し、更に顔検出機能がONされず、かつ撮影者からのAF領域の指示がない場合には、撮影画面中央の所定の範囲を使用する。
また、インテリジェントAFの機能(画面内で撮影者がピントを合わせたいと考えているであろう被写体を予測し、その予測した被写体にピントを合わせる機能)を有するデジタルカメラにおいて、インテリジェントAFの機能がONされている場合には、インテリジェントAFにより予測した被写体の検出範囲を使用する。
次に、CPU40は、前記被写体検出範囲内にAFセンサ部17(図5参照)が存在しているか否かを判別する(ステップS42)。存在している場合(「Yes」の場合)には、ステップS44に遷移させ、存在していない場合(「No」の場合)には、ステップS46に遷移させる。
ステップS46では、CPU40は、被写体検出範囲に最も近いAFセンサ部17と被写体検出範囲との差分(ベクトル)を算出する(図5)。尚、図5の例では、AFセンサ部17は、1箇所だけであるため、このAFセンサ部17と被写体検出範囲との差分ベクトルを算出する。
続いて、CPU40は、上記算出された算出結果(ベクトル)に対応して手ブレ補正部34(図1)を制御し、CCD16を移動させる(ステップS48)。そして、CCD16を移動させた結果、被写体検出範囲内にAFセンサ部17が存在しているか否かを判別し(ステップS50)、存在していない場合(「No」の場合)には、ステップS46に遷移させ、ステップS46からステップS50の処理を繰り返す。このようにして、被写体検出範囲にAFセンサ部17が入るようにする。
ステップS42又はステップS50において、被写体検出範囲内にAFセンサ部17が存在していると判別されると(「Yes」の場合)、ステップS44に遷移する。ステップS44では、CCD16から位相差AF用の画像が読み出される。位相差検出部42は、読み出された画像中のAFセンサ部17に対応する画像(位相差検出用の画素の出力信号)に基づいて位相差を検出し、この位相差を示す情報(焦点検出情報)を取得する。
CPU40は、位相差検出部42から入力する焦点検出情報に基づいてデフォーカス量を求め、このデフォーカス量が0になるようにレンズ駆動部32を介して撮影レンズ12内のフォーカスレンズの位置を制御する(ステップS52)。これにより、任意の被写体検出範囲の被写体に合焦させる位相差AFを行うことができる。
図6に戻って、ステップS24では、ステップS20で決定された絞り値及びシャッタスピードが保持されるとともに、ステップS22での位相差AF処理によりAF制御されたフォーカスレンズの位置が保持される。尚、シャッタボタンの半押し時には、スルー画像の表示は静止させ、CCD16の移動時にスルー画像が移動しないようにしている。
続いて、CPU40は、操作部38のシャッタボタンが全押し(S2がON)されたか否かを判別する(ステップS26)。シャッタボタンのS2がONされていないと判別されると(「No」の場合)、ステップS28に遷移させ、ここでシャッタボタンが半押し(S1がON)されたか否かを判別する。半押しされている場合(「Yes」の場合)には、ステップS26に遷移させ、半押しされていない場合(「No」の場合)には、ステップS10に遷移させる。
ステップS26において、シャッタボタンのS2がONされていると判別されると(「Yes」の場合)、ステップS20でのAE処理にて決定したシャッタ速度、絞り値等の撮影条件で本撮影を行わせる(ステップS30)。この本撮影により撮影された画像がCCD16から読み出され(ステップS32)、その読み出された画像は、デジタル信号処理部24で画像処理された後、圧縮伸張処理部26で圧縮処理が施され、メモリカード54に記録される(ステップS34、S36)。
<焦点調節可能範囲の表示例>
図8は液晶モニタ30に表示される焦点調節が可能な範囲の表示例を示す図であり、図8(A)及び(B)はそれぞれスルー画像の表示中及びシャッタボタンの半押し中に関して示している。
図8(A)に示すようにスルー画像の表示中は、手ブレ補正部34によりCCD16を移動させることなく焦点調節が可能な領域(AF領域)を示す固定のAF枠60と、手ブレ補正部34によりCCD16(AFセンサ部17)を移動させることにより焦点調節が可能な範囲を示す枠62とを、液晶モニタ30のスルー画像上に表示させる。
これにより、撮影者は焦点調節が可能な範囲を確認しながら構図を決めることができる。
一方、図8(B)に示すようにシャッタボタンが半押し(S1がON)されると、画面内で撮影者がピントを合わせたいと考えているであろう特定対象(例えば、人物の顔、ペット、花等)を予測し、その特定対象が存在する領域にAF枠60を移動させる。
これにより、撮影者はどの被写体にピントが合わされたかを確認することができる。
尚、人物の顔を特定対象とする場合には、顔検出機能をONにさせ、また、人物の顔に限らず、画面内で撮影者がピントを合わせたいと考えているであろう各種の特定対象を予測させて、その位置をAF領域とする場合には、インテリジェントAFの機能を選択するようにする。
また、顔検出機能やインテリジェントAFの機能がOFFの場合には、枠62の表示は行われず、またAF枠60も移動しなくなることは言うまでもない。
図9は液晶モニタ30に表示される焦点調節が可能な範囲の他の表示例を示す図であり、図9(A)及び(B)はそれぞれスルー画像の表示中及びシャッタボタンの半押し中に関して示している。尚、図8と共通する部分には同一の符号を付し、その詳細な説明は省略する。
この表示例では、顔検出機能がONされている場合に、スルー画像上で検出された顔領域に顔検出枠64とAF枠60とを表示している。この顔検出枠64とAF枠60とは、一体となって顔を追尾するように移動する。
そして、シャッタボタンが半押し(S1がON)され、AF枠60内の顔に合焦すると、合焦を示す枠60’(AF枠60を小さくした枠)を表示させる。尚、小さい枠60’の代わりに、枠の色を変えるようにしてもよい。
<CCDの第2、第3の構成例>
図10及び図11は本発明に係るCCDの第2、第3の構成例を示す図である。
図5に示す第1の構成例のCCD16では、CCD16の中心にAFセンサ部17が一箇所だけ設けられているが、図10及び図11に示す第2、3の構成例のCCD161、162は、それぞれ5箇所及び9箇所にAFセンサ部17が設けられている点で相違する。
上記構成のCCD161、162によれば、第1の構成例のCCD16に比べて、画面内で焦点調節が可能な範囲を拡げることができ、また、各AFセンサ部の間隔を、手ブレ検出部39により手ブレ補正可能な像ブレ補正範囲よりも小さくすることで、特定対象にAFセンサ部を移動させる際の移動量を小さく抑えることができる。
そして、複数のAFセンサ部17が設けられたCCD161、162の場合には、図7のステップS46において、CPU40は、被写体検出範囲に最も近いAFセンサ部17と被写体検出範囲との差分(ベクトル)を算出する。この算出したベクトルに基づいて手ブレ検出部39を駆動してCCD161、162を移動させる。
<位相差AF処理の第2の実施形態>
図12は図6に示したステップS22における位相差AF処理の第2の実施形態を示すフローチャートである。尚、図7の第1の実施形態を示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
図12に示す位相差AF処理の第2の実施形態は、図7に示した第1の実施形態と比較して、ステップS60、S62、及びS64が追加されている点で相違する。
即ち、ステップS52にて、CPU40により焦点検出情報に基づいて合焦動作が実施された後、再度、CCD16から位相差AF用の画像を読み出し、焦点検出情報を取得する(ステップS60)。尚、ステップS52により合焦動作が実施された後の画像は、より鮮明な画像になっているため、精度の高い焦点検出情報を取得することができる。
上記取得した焦点検出情報により合焦が完了しているか否かを判別する(ステップS62)。ここで、焦点検出情報が位相差0を示す場合には、合焦が完了していると判別される。
合焦が完了していない場合(「No」の場合)には、ステップS52に遷移させ、最新の焦点検出情報に基づいて合焦動作を実施させ、合焦が完了している場合(「Yes」の場合)には、手ブレ検出部39の駆動を終了し、CCD16を元の位置に移動させる(ステップS64)。
図13及び図14は上記手ブレ検出部39を駆動している期間中のスルー画像の他の表示例を説明するための図である。
図13(A)に示すように左側の人物の顔(丸で囲んだ被写体検出範囲)に焦点を合わせる場合、図13(B)に示すように被写体検出範囲にAFセンサ部が入るようにCCD16を移動させる。
その結果、液晶モニタ30上にスルー画像を表示し続けると、図14(A)に示すようにスルー画像の画角が焦点検出位置変更動作によりずれる。このスルー画像の画角のずれによる違和感をなくすために、シャッタボタンの半押し時にスルー画像を静止させるようにしたが、この実施形態では、図14(B)に示すように被写体検出範囲(AF領域)を中心にスルー画像を拡大した拡大画像を液晶モニタ30に表示させるようにしている。
これにより、どの被写体検出範囲にピントを合わせようとしているかを確認することができるとともに、スルー画像の移動といった違和感をなくすことができる。
<CCDの第4の構成例>
図15及び図16は本発明に係るCCDの第4の構成例を示す図である。
図10及び図11に示す第2、3の構成例のCCD161、162は、5個、9個のAFセンサ部を十字に配置するようにしたが、図15、図16に示す第4の構成例のCCD163は、9個のAFセンサ部17がマトリクス状に配置されている。
図15は3行2列目のAFセンサ部17が焦点検出可能な範囲を示しており、図16は9個のAFセンサ部17がそれぞれ焦点検出可能な範囲を示している。
これによれば、CCD163による全撮影範囲内を焦点検出可能範囲とすることができる。
尚、CCDによる全撮影範囲を焦点検出可能範囲としてカバーする場合に限らず、全撮影範囲の周辺領域を除く範囲をカバーできるようにAFセンサ部を配置するようにしてもよい。また、図16に示すようにAFセンサ部17を配置する場合、各AFセンサ部17の間隔を手ブレ補正移動量以下にする。
<位相差AF処理の第3の実施形態>
図17は図6に示したステップS22における位相差AF処理の第3の実施形態を示すフローチャートである。尚、図12の第2の実施形態を示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
図17に示す位相差AF処理の第3の実施形態は、図12に示した第2の実施形態と比較して、ステップS70、S72、及びS74が追加されている点で相違する。
即ち、ステップS70では、手ブレ補正機能をONにしている。通常、カメラの手ブレ補正機能はONに設定されている(メニュー等を使用して手ブレ補正機能をOFFに設定することも可能である)が、第1、第2の実施形態では、被写体検出範囲(AF領域)にAFセンサ部17を入れるために手ブレ補正部34を駆動する場合には、通常の手ブレ補正機能は禁止させておく。
この第3の実施形態では、位相差AF処理時も手ブレ補正機能をON状態に維持する。そして、位相差AF処理用に手ブレ補正部34を駆動する場合には、被写体検出範囲(AF領域)にAFセンサ部17を入れるためのCCD16の移動量だけ、手ブレ補正駆動中心位置を移動させて手ブレ補正駆動を継続する(ステップS72)。
図18(A)は通常の手ブレ補正のみを行っているCCD16の状態を示し、図18(B)は手ブレ補正と位相差AFを行っているCCD16の状態を示している。図18(A)に示すように通常の手ブレ補正は、イメージサークル70の中心付近をブレ補正の中心位置として補正動作を行っているが、図18(B)に示すように位相差AF時には、ブレ補正の中心位置を、被写体検出範囲にAFセンサ部17を入れるためのCCD16の移動量だけシフトして、ブレ補正動作を行う。
そして、位相差AFによる合焦が完了すると、手ブレ補正中心を元の位置に戻し、引き続き手ブレ補正を行う(ステップS74)。
図19(A)と図19(B)、(C)はそれぞれ従来の手ブレ補正時と、本発明の第3の実施形態の手ブレ補正時のCCDの移動を示す波形図である。
図19(B)に示すように本発明の第3の実施形態では、シャッタボタンの半押し(S1のON)から全押し(S2のON)までの焦点情報の検出期間、CCD16の中心位置を、被写体検出範囲にAFセンサ部17を入れる移動量だけシフトさせ、手ブレ補正動作を続ける。
また、図19(C)に示すように、シャッタボタンの半押し(S1のON)から全押し(S2のON)までの焦点情報の検出期間、手ブレ補正の振幅を抑制し、カメラの手ブレに対して弱めに追従させるようにしてもよい。これにより、消費電力が過大にならないようにすることができる。
このように焦点情報の検出期間中も手ブレ補正を継続させることにより、手ブレのない画像を取り込むことができ、より良好な焦点検出情報を求めることができる。
<その他>
固体撮像素子に設けるAFセンサ部の数及び配置は、この実施形態に限定されない。また、手ブレ補正手段は、固体撮像素子を移動させるものに限らず、撮影光学系中の手ブレ補正用の光学部材を移動させるものでもよい。
また、光学ズームのズーム倍率により手ブレ補正手段による画角の移動量が異なるため、被写体検出範囲にAFセンサ部を入れるための手ブレ補正手段の制御は、ズーム倍率も制御のパラメータにする必要がある。
尚、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10…撮像装置(デジタルカメラ)、12…撮影レンズ、16、161、162、163…固体撮像素子(CCD)、17…AFセンサ部、24…デジタル信号処理部、30…液晶モニタ、32…レンズ駆動部、33…絞り駆動部、34…手ブレ補正部、36…CCD制御部、38…操作部、39…手ブレ検出部、40…中央処理装置(CPU)、42…位相差検出部、44…AE検出部、46…顔検出部、48…メモリ、54…メモリカード、60…AF枠、62…枠、64…顔検出枠、PD…フォトダイオード、L1,L2…マイクロレンズ

Claims (12)

  1. 撮影レンズと、
    位相差検出用の画素を含むAFセンサ部を有する固体撮像素子と、
    装置本体に加わる手ブレを検出する手ブレ検出手段と、
    前記手ブレ検出手段の検出出力に基づいて前記装置本体の手ブレによる像ブレを相殺するように前記固体撮像素子又は前記撮影レンズ内の手ブレ補正用の光学部材を駆動する手ブレ補正手段と、
    前記固体撮像素子から画像信号を読み出し、該画像信号のうちの前記AFセンサ部の画素に対応する画像信号に基づいて前記撮影レンズの焦点調節を行うフォーカス制御手段と、
    撮影画面上で任意に設定されるAF領域と前記固体撮像素子内のAFセンサ部との位置関係を算出する算出手段と、
    前記算出手段による算出出力に基づいて前記AF領域に前記AFセンサ部が入るように前記手ブレ補正手段を制御する制御手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記フォーカス制御手段は、前記AFセンサ部の画素に対応する画像信号に基づいて前記撮影レンズのデフォーカス量を算出するデフォーカス量算出手段を含み、前記算出されたデフォーカス量が0になるように前記撮影レンズを駆動させることを特徴とする請求項1に記載の撮像装置。
  3. 前記固体撮像素子は、複数のAFセンサ部を有し、各AFセンサ部の間隔は、前記手ブレ補正手段により補正可能な像ブレ補正範囲以下であることを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記固体撮像素子から得られる画像信号に基づいて特定対象が存在する領域を検出し、この検出した領域を前記AF領域として設定するAF領域設定手段を備えたことを特徴とする請求項1から3のいずれかに記載の撮像装置。
  5. 記録用の本画像の撮影前に前記固体撮像素子から連続して得られる画像信号に基づいてライブビュー画像を表示する画像表示手段を更に備えたことを特徴とする請求項1から4のいずれかに記載の撮像装置。
  6. 前記表示制御手段は、前記AF領域に前記AFセンサ部が入るように前記手ブレ補正手段が制御されている期間、前記画像表示手段に表示されているライブビュー画像に代えて、前記AF領域を中心に前記ライブビュー画像を拡大した拡大画像を前記画像表示手段に表示させることを特徴とする請求項5に記載の撮像装置。
  7. 前記表示制御手段は、前記AF領域に前記AFセンサ部が入るように前記手ブレ補正手段が制御されている期間、前記画像表示手段に表示されるライブビュー画像を静止させることを特徴とする請求項5に記載の撮像装置。
  8. 前記表示制御手段は、前記手ブレ補正手段の駆動により拡大される前記AFセンサ部による焦点調節が可能な範囲を示す第1の指標を、前記画像表示手段の画面上に表示させることを特徴とする請求項5から7のいずれかに記載の撮像装置。
  9. 前記表示制御手段は、前記任意のAF領域に対するフォーカス制御が行われると、前記画像表示手段の画面上に前記AF領域を示す第2の指標を表示させることを特徴とする請求項5から8のいずれかに記載の撮像装置。
  10. 前記フォーカス制御手段は、前記撮影レンズの焦点調節が完了するまで、前記AFセンサ部の画素に対応する画像信号を複数回取得し、該複数回の画像信号の取得が終了するまで、前記AF領域に前記AFセンサ部が入るように前記手ブレ補正手段を制御することを特徴とする請求項1から9のいずれかに記載の撮像装置。
  11. 前記制御手段は、前記AF領域に前記AFセンサ部を入れる前記手ブレ補正手段の制御時に、前記手ブレ検出手段の検出出力と前記算出手段による算出出力とに基づいて前記手ブレ補正手段を制御することを特徴とする請求項1から10のいずれかに記載の撮像装置。
  12. 前記制御手段は、前記AF領域に前記AFセンサ部を入れる前記手ブレ補正手段の制御と本撮影時に像ブレを補正する前記手ブレ補正手段の制御とを、シャッタボタンの半押し時と全押し時とで切り替えることを特徴とする請求項1から11のいずれかに記載の撮像装置。
JP2009227339A 2009-09-30 2009-09-30 撮像装置 Expired - Fee Related JP5415208B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009227339A JP5415208B2 (ja) 2009-09-30 2009-09-30 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009227339A JP5415208B2 (ja) 2009-09-30 2009-09-30 撮像装置

Publications (3)

Publication Number Publication Date
JP2011075841A true JP2011075841A (ja) 2011-04-14
JP2011075841A5 JP2011075841A5 (ja) 2012-09-27
JP5415208B2 JP5415208B2 (ja) 2014-02-12

Family

ID=44019895

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009227339A Expired - Fee Related JP5415208B2 (ja) 2009-09-30 2009-09-30 撮像装置

Country Status (1)

Country Link
JP (1) JP5415208B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013058145A1 (ja) * 2011-10-21 2013-04-25 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の制御方法
JP2014056000A (ja) * 2012-09-11 2014-03-27 Sony Corp 処理装置、処理方法、及び、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099119A (ja) * 2004-09-29 2006-04-13 Hewlett-Packard Development Co Lp 画像取込装置において移動を補償しながらオートフォーカスを実施する方法
JP2007201913A (ja) * 2006-01-27 2007-08-09 Matsushita Electric Ind Co Ltd 撮像装置および撮像システム
JP2010109923A (ja) * 2008-10-31 2010-05-13 Nikon Corp 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099119A (ja) * 2004-09-29 2006-04-13 Hewlett-Packard Development Co Lp 画像取込装置において移動を補償しながらオートフォーカスを実施する方法
JP2007201913A (ja) * 2006-01-27 2007-08-09 Matsushita Electric Ind Co Ltd 撮像装置および撮像システム
JP2010109923A (ja) * 2008-10-31 2010-05-13 Nikon Corp 撮像装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013058145A1 (ja) * 2011-10-21 2013-04-25 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の制御方法
JP2013088766A (ja) * 2011-10-21 2013-05-13 Olympus Corp 撮像装置及び内視鏡装置
CN103907042A (zh) * 2011-10-21 2014-07-02 奥林巴斯株式会社 拍摄装置、内窥镜装置以及拍摄装置的控制方法
US10129454B2 (en) 2011-10-21 2018-11-13 Olympus Corporation Imaging device, endoscope apparatus, and method for controlling imaging device
JP2014056000A (ja) * 2012-09-11 2014-03-27 Sony Corp 処理装置、処理方法、及び、プログラム
US10021307B2 (en) 2012-09-11 2018-07-10 Sony Corporation Processing apparatus for camera shake correction

Also Published As

Publication number Publication date
JP5415208B2 (ja) 2014-02-12

Similar Documents

Publication Publication Date Title
US8175447B2 (en) Image pickup apparatus and control method therefor
JP3823921B2 (ja) 撮像装置
US10986262B2 (en) Imaging apparatus, control method, and non-transitory storage medium
US20070269196A1 (en) System for and method of taking image
JP2011059337A (ja) 撮像装置
JP2013013050A (ja) 撮像装置及びこの撮像装置を用いた表示方法
JP2009225072A (ja) 撮像装置
KR20070086061A (ko) 카메라 및 카메라의 화상처리방법
JP4799366B2 (ja) 撮像装置及び画像再生装置
JP5302058B2 (ja) 撮像装置および撮像方法
JP2006091915A (ja) 撮像装置
EP2590024A1 (en) Imaging apparatus and imaging method
JP5409483B2 (ja) 撮像装置
JP4315341B2 (ja) 流し撮り方法および撮影装置
JP2007225897A (ja) 合焦位置決定装置及び方法
JP4898151B2 (ja) 撮像装置及び撮像方法
JP2006203346A (ja) 電子カメラ
JP5415208B2 (ja) 撮像装置
JP2009302794A (ja) 撮像装置
JP5354879B2 (ja) カメラ
US10999492B2 (en) Focus adjustment device and focus adjustment method
JP2012083584A (ja) 撮像装置
JP2011048265A (ja) 焦点検出装置及び焦点検出方法
JP2007248698A (ja) 撮像方法および装置
JP2003241066A (ja) カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130924

TRDD Decision of grant or rejection written
A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131113

R150 Certificate of patent or registration of utility model

Ref document number: 5415208

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees