JP2010020081A - 撮像装置及び撮像方法、並びに制御プログラム及び記憶媒体 - Google Patents

Abstract

【課題】焦点距離を変化させながら撮影した複数の画像の中から所望のエリアに合焦した画像を選択する撮像装置において、正しい合焦評価値を取得して、所望のエリアに合焦した画像を選択する。
【解決手段】焦点距離を変えながら指定枚数撮影した後に（Ｓ１〜Ｓ５）、ピントを合わせたいエリアを指定する（Ｓ６）。画像間ずれ量、各画像の焦点距離情報を基に、上記エリアの位置を画像間ずれ量で補正してから、設定されたフィルタを用いてそのエリアのＡＦ評価値を得る（Ｓ８〜Ｓ１２）。評価値の信頼度が十分でなければ（Ｓ１３：No）、周波数帯域がより低いフィルタに設定し直し（ステップＳ１４）、Ｓ９〜Ｓ１２を行う。信頼度が十分であれば（Ｓ１３：Yes）、ループを終了する。得られた全画像の評価値を比較し、最も評価値の高い画像を選択する（ステップＳ１５）。
【選択図】 図６

Description

本発明は、デジタルカメラに代表されるような撮像装置に関し、さら詳しくは、短時間に焦点距離を変えて撮影した複数の画像の中から、画面内の所望の部分に最もピントの合った画像を自動的に選択する機能を有する撮像装置及び撮像方法、並びにその撮像方法を実行させるための制御プログラム及び記憶媒体に関する。

デジタルカメラで被写体を撮影するときに所望の被写体にピントを合わせるには、一度その被写体にカメラを向けてシャッターボタンを半押しし、オートフォーカスをその被写体にロックさせてから撮影する必要がある。しかし、このシャッターボタンを半押しする操作は、カメラの操作に不慣れな人には難しく、ピンボケ写真の原因となっている。

そこで、このような問題に対処した撮像装置として、図１１に示すように、短時間に異なる焦点距離で複数の画像（ここでは５枚の画像P-1〜P-5）を撮影した後に、画面内でピントを合わせたい部分（合焦評価エリア）231を指定して、その部分に最もピントの合った画像を自動的に選択して表示することを可能にしたデジタルカメラが提案されている(特許文献１参照)。ここで、ピントが合っているか否かを評価するときには合焦評価値を用いる。合焦評価値とは、撮像信号からコントラスト信号に対応する高周波成分を抽出し、この高周波成分がピークとなるレンズ位置にフォーカスレンズを移動させる、所謂山登り方式と呼ばれる焦点調整方法における高周波成分であり、撮像信号をハイパスフィルタやバンドパスフィルタに通し、高周波成分の絶対値を積算することにより得られる。

しかしながら、このような所謂フォーカスブラケット機能を有するデジタルカメラでは、焦点距離を変えると光学系が変化するため複数の画像の間で倍率が変化してしまい、評価エリアも画像間でずれてしまうので、正しい評価値が得られず、所望の部分にピントの合った画像の自動選択に失敗する場合がある。即ち図１２に示すように、例えば画像P-1の場合、評価エリア231が被写体232の所望の部位をカバーしていたとしても、画像P-5では評価エリア231が被写体232から外れてしまうことが起こり得る。

また、図１３に示すように、短時間で撮影しても手ぶれなどの影響で複数の画像の間で被写体232の位置がずれてしまうことがあるため、評価エリア231と被写体232tとの関係が画像間でずれてしまうので、正しい評価値が得られず、所望の部分にピントの合った画像の自動選択に失敗する場合がある。

さらに、被写体のコントラストや輝度が低い場合、ノイズの影響を受け易いことから、合焦の精度が下がる場合があるため、正しい評価値が得られず、所望の部分にピントの合った画像の自動選択に失敗する場合がある。

特開２００４−１３５０２９号公報

本発明は、このような問題を解決するためになされたもので、その目的は、焦点距離を変化させながら同一の被写体を撮影した複数の画像の中から所望のエリアにピントの合った画像を選択する機能を有する撮像装置において、焦点距離の変化又は手ぶれ、及び画像のコントラスト又は輝度に関わらず、正しい評価値を取得して、所望のエリアにピントの合った画像を選択できるようにすることである。

本発明は、焦点距離を変化させながら同一の被写体を撮影した複数の画像の中から所望のエリアにピントの合った画像を選択する機能を有する撮像装置において、前記複数の画像間の被写体の位置変化に応じて、前記エリアの位置を補正する位置補正手段と、抽出する空間周波数帯域の異なる複数のフィルタ手段と、そのフィルタ手段を選択するフィルタ選択手段と、選択されたフィルタ手段により抽出された前記複数の画像の空間周波数成分から前記位置が補正されたエリアの合焦状態の評価値を算出する評価値算出手段と、算出された評価値が最も高い画像を選択する画像選択手段とを備えるとともに、前記フィルタ選択手段は、算出された評価値の信頼度を基に選択することを特徴とする撮像装置である。
また、本発明は、焦点距離を変化させながら同一の被写体を撮影した複数の画像の中から所望のエリアにピントの合った画像を選択する機能を有する撮像装置において、前記複数の画像間の被写体の位置変化に応じて、前記エリアの位置を補正するエリア位置補正手段と、抽出する空間周波数帯域の異なる複数のフィルタ手段と、そのフィルタ手段を選択するフィルタ選択手段と、選択されたフィルタ手段により抽出された前記複数の画像の空間周波数成分から前記位置が補正されたエリアの合焦状態の評価値を算出する評価値算出手段と、算出された評価値が最も高い画像を選択する画像選択手段と、前記エリアの画像のコントラスト及び／又は輝度を検出する手段を備えるとともに、前記フィルタ選択手段は、検出されたコントラスト及び／又は輝度に応じて選択することを特徴とする撮像装置である。
さらに、本発明は、焦点距離を変化させながら同一の被写体を撮影した複数の画像の中から所望のエリアにピントの合った画像を選択する撮像方法であって、焦点距離を変化させながら同一の被写体を複数回連続して撮影する工程と、その撮影された複数の画像間の被写体の位置変化に応じて、前記エリアの位置を補正する工程と、抽出する空間周波数帯域の異なる複数のフィルタの中から、前記位置補正済みのエリアの画像の抽出に用いるフィルタ手段を選択する工程と、その選択されたフィルタ手段を用いて前記複数の画像の前記位置補正済みのエリアの画像のフィルタリングを行う工程と、そのフィルタリングされた画像を用いて、前記複数の画像の前記位置補正済みのエリアの合焦状態の評価値を算出する工程と、その算出された評価値が最も高い画像を選択する工程とを備えるとともに、前記フィルタ手段を選択する工程は、算出された評価値の信頼度を基に選択することを特徴とする撮像方法である。
また、本発明は、焦点距離を変化させながら同一の被写体を撮影した複数の画像の中から所望のエリアにピントの合った画像を選択する撮像方法であって、焦点距離を変化させながら同一の被写体を複数回連続して撮影する工程と、その撮影された複数の画像間の被写体の位置変化に応じて、前記エリアの位置を補正する工程と、その位置補正済みのエリアのコントラスト又は輝度を検出する工程と、抽出する空間周波数帯域の異なる複数のフィルタの中から、前記位置補正済みのエリアの画像の抽出に用いるフィルタ手段を選択する工程と、その選択されたフィルタ手段を用いて前記複数の画像の前記位置補正済みのエリアの画像のフィルタリングを行う工程と、そのフィルタリングされた画像を用いて、前記複数の画像の前記位置補正済みのエリアの合焦状態の評価値を算出する工程と、その算出された評価値が最も高い画像を選択する工程とを備えるとともに、前記フィルタ手段を選択する工程は、前記検出されたコントラスト又は輝度に応じて選択することを特徴とする撮像方法である。

［作用］
本発明によれば、焦点距離を変化させながら同一の被写体を撮影した複数の画像の中から所望のエリアにピントの合った画像を選択するときに、複数の画像間の被写体の位置変化に応じて、前記エリアの位置を補正し、抽出する空間周波数帯域の異なる複数のフィルタの中から、前記位置補正済みのエリアの画像の抽出に用いるフィルタ手段を選択し、その選択されたフィルタ手段を用いて前記複数の画像の前記位置補正済みのエリアの画像のフィルタリングを行い、そのフィルタリングされた画像を用いて、前記複数の画像の前記位置補正済みのエリアの合焦状態の評価値を算出し、その算出された評価値が最も高い画像を選択するとともに、前記フィルタ手段の選択を、算出された評価値の信頼度と、又は検出されたコントラストと、又は検出された輝度のいずれか、或いはそれらの二つ以上の組み合わせを用いて行う。

本発明によれば、焦点距離を変化させながら同一の被写体を撮影した複数の画像の中から所望のエリアにピントの合った画像を選択する機能を有する撮像装置において、焦点距離の変化又は手ぶれ、及び画像にコントラスト又は輝度に関わらず、正しい評価値を取得して、所望のエリアにピントの合った画像を選択することができる。

以下、本発明の実施するための最良の形態について図面を参照しながら説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態の撮像装置であるデジタルカメラの背面図である。このデジタルカメラの背面には、光学ファインダ６、ＡＦ（オートフォーカス）−ＬＥＤ（発光ダイオード）８、ストロボＬＥＤ９、及び撮影した画像の表示や設定画面の表示を行うＬＣＤ（液晶表示装置）からなるＬＣＤモニタ10が配置されている。

このデジタルカメラの上面には、レリーズシャッタスイッチＳＷ１、及びモードダイヤルスイッチＳＷ２が配置されている。また、このデジタルカメラの背面には、広角方向ズームスイッチＳＷ３、望遠方向ズームスイッチＳＷ４、セルフタイマの設定及び解除スイッチＳＷ５、メニュースイッチＳＷ６、上移動及びストロボセットスイッチＳＷ７、右移動スイッチＳＷ８、下移動及びマクロスイッチＳＷ９、左移動および画像確認スイッチＳＷ10、ディスプレイスイッチＳＷ11、ＯＫスイッチＳＷ12、及び電源スイッチＳＷ13が配置されている。

図２は、このデジタルカメラ内部のシステム構成を示すブロック図である。
鏡胴ユニット７は、被写体の光学画像を取り込むズームレンズ7-1aとズーム駆動モータ7-1bとからなるズーム光学系7-1、フォーカスレンズ7-2aとフォーカス駆動モータ7-2bとからなるフォーカス光学系7-2、絞り7-3aと絞りモータ7-3bとからなる絞りユニット7-3、メカシャッタ7-4aとメカシャッタモータ7-4bとからなるメカシャッタユニット7-4、各モータを駆動するモータドライバ7-5を有する。そして、モータドライバ7-5は、リモコン受光部11の入力や操作キーユニットＳＷ１〜ＳＷ13の操作入力に基づく、後述するデジタルスチルカメラプロセッサ104内にあるＣＰＵブロック104-3からの駆動指令により駆動制御される。

ＣＣＤ101は、鏡筒ユニット７内を通った被写体の光学画像を光電変換して画像信号とするための固体撮像素子である。ＦＥ（フロントエンド）−ＩＣ102は、ＣＣＤ101から送出された画像信号中のノイズを除去するための相関二重サンプリングを行うＣＤＳ回路102-1と、利得調整を行うＡＧＣ回路102-2と、デジタル化を行うＡ／Ｄ変換回路102-3と、ＴＧ（タイミングジェネレータ）102-4とを有する。ＴＧ102-4は、デジタルスチルカメラプロセッサ104内のＣＣＤ１信号処理ブロック104-1より、垂直同期信号（以下、ＶＤ）、水平同期信号（以下、ＨＤ）を供給され、ＣＰＵブロック104-3によって制御されるＣＣＤ101、及びＦＥ−ＩＣ102の駆動タイミング信号を発生する。

ＲＯＭ108には、ＣＰＵブロック104-3にて解読可能なコードで記述された、制御プログラムや制御するためのパラメータが格納されている。このデジタルカメラの電源がオン状態になると、前記プログラムは不図示のメインメモリにロードされ、ＣＰＵブロック104-3はそのプログラムに従って装置各部の動作を制御するとともに、制御に必要なデータ等を、一時的にＲＡＭ107及び後述するデジタルスチルカメラプロセッサ104内のローカルＳＲＡＭ104-4に保存する。ＲＯＭ108として書き換え可能なフラッシュＲＯＭを使用することで、制御プログラムや制御するためのパラメータを変更することが可能となり、機能のバージョンアップが容易に行える。

デジタルスチルカメラプロセッサ104は、ＦＥ−ＩＣ102の出力データにホワイトバランス設定やガンマ設定を行い、又、前述したように、ＶＤ信号、ＨＤ信号を供給するＣＣＤ１信号処理ブロック104-1、フィルタリング処理により、輝度データ及び色差データへの変換を行うＣＣＤ２制御ブロック104-2、前述した装置各部の動作を制御するＣＰＵブロック104-3、前述した制御に必要なデータ等を一時的に保存するローカルＳＲＡＭ104-4、パーソナルコンピュータ（以下、パソコン）などの外部機器とＵＳＢ通信を行うＵＳＢブロック104-5、パソコンなどの外部機器とシリアル通信を行うシリアルブロック104-6、ＪＰＥＧ圧縮・伸張を行うＪＰＥＧコーデックブロック104-7、画像データのサイズを補間処理により拡大／縮小するリサイズブロック104-8、画像データを液晶モニタやＴＶなどの外部表示機器に表示するためのビデオ信号に変換するＴＶ信号表示ブロック104-9、撮影された画像データを記録するメモリカードの制御を行うメモリカードコントロールブロック104-10を有する。各ブロックはバスラインにより互いに接続されている。

ＵＳＢブロック104-5、シリアルブロック104-6、ＴＶ表示ブロック104-9、メモリカードコントローラブロック104-10は、それぞれＵＳＢコネクタ122、シリアルドライバ回路123-1、ＬＣＤドライバ117及びビデオアンプ118、メモリカードスロット121のカード接点に接続されている。また、シリアルドライバ回路123-1にはＲＳ−２３２Ｃコネクタ123-2が接続され、ＬＣＤドライバ117にはＬＣＤモニタ10が接続され、ビデオアンプ118にはビデオジャック119が接続されている。メモリカードスロット121には、メモリカード、ＬＡＮカード、無線ＬＡＮカード、及びBluetooth（登録商標）カードを着脱可能である。

ＵＳＢコネクタ122は、パソコンなどの外部機器とＵＳＢ接続を行う為のコネクタである。シリアルドライバ回路123-1は、パソコンなどの外部機器とシリアル通信を行うために、前述したシリアルブロック104-6の出力信号を電圧変換するための回路であり、ＲＳ−２３２Ｃコネクタ123-2は、パソコンなどの外部機器とシリアル接続を行う為のコネクタである。

ＬＣＤドライバ117は、ＬＣＤモニタ10を駆動するドライブ回路であり、ＴＶ信号表示ブロック104-9から出力されたビデオ信号を、ＬＣＤモニタ10に表示するための信号に変換する機能も有している。ＬＣＤモニタ10は、撮影前に被写体の状態を監視する、撮影した画像を確認する、メモリカードスロット121に装着されているメモリカードや内蔵メモリ120に記録した画像データを表示する、などを行うためのモニタである。

ビデオアンプ118は、ＴＶ信号表示ブロック104-9から出力されたビデオ信号を７５Ωにインピーダンス変換するためのアンプであり、ビデオジャック119は、ＴＶなどの外部表示機器と接続するためのジャックである。

デジタルスチルカメラプロセッサ104のバスラインには、前述したＲＯＭ108の他に、ＳＤＲＡＭ103、ＲＡＭ107、内蔵メモリ120、及びBluetooth（登録商標）回路130が接続されている。

ＳＤＲＡＭ103は、デジタルスチルカメラプロセッサ104で画像データに各種処理を施す際に、画像データを一時的に保存する。保存される画像データは、例えば、ＣＣＤ101からＦＥ−ＩＣ102経由で取り込んで、ＣＣＤ１信号処理ブロック104-1でホワイトバランス設定、ガンマ設定が行われた状態の「ＲＡＷ−ＲＧＢ画像データ」やＣＣＤ２制御ブロック104-2で輝度データ・色差データ変換が行われた状態の「ＹＵＶ画像データ」、ＪＰＥＧコーデックブロック104-7でＪＰＥＧ圧縮された「ＪＰＥＧ画像データ」などである。

内蔵メモリ120は、メモリカードスロット121にメモリカードが装着されていない場合でも、撮影した画像データを記憶できるようにするためのメモリである。

Bluetooth（登録商標）回路130はBluetooth（登録商標）機器への接続を行うための回路である。Bluetooth（登録商標）回路がない場合は、メモリカードスロット121にBluetooth（登録商標）カードを接続することにより、Bluetooth機器（登録商標）と接続することができる。イーサネット（登録商標）への接続は、イーサネット（登録商標）接続回路もしくは、無線イーサネット（登録商標）接続回路（図示せず）により行う。イーサネット（登録商標）回路がない場合は、メモリカードスロットル121にLANカードもしくは、無線LANカードを接続することにより、イーサネット（登録商標）に接続することができる。

サブＣＰＵ109は、ＲＯＭ及びＲＡＭをワンチップに内蔵したＣＰＵであり、操作キーユニットＳＷ１〜ＳＷ13やリモコン受光部11の出力信号をユーザの操作情報として、ＣＰＵブロック104-3に出力したり、ＣＰＵブロック104-3より出力されるカメラの状態を、後述するサブＬＣＤ１、ＡＦ−ＬＥＤ８、ストロボＬＥＤ９、ブザー113の制御信号に変換して出力したりする。

サブＬＣＤ１は、例えば、撮影可能枚数など表示するための表示部であり、ＬＣＤドライバ111は、前述したサブＣＰＵ109の出力信号より、サブＬＣＤ１を駆動するためのドライブ回路である。ＡＦ−ＬＥＤ８は、撮影時の合焦状態を表示するためのＬＥＤであり、ストロボＬＥＤ９は、ストロボ充電状態を表すためのＬＥＤである。尚、このＡＦ−ＬＥＤ８とストロボＬＥＤ９を、メモリカードアクセス中などの別の表示用途に使用しても良い。

操作キーＳＷ１〜13は、図１を参照しながら説明した各スイッチであり、リモコン受光部11は、利用者が操作したリモコン送信機の信号の受信部である。ＣＰＵブロック104-3により制御されるストロボ回路114は、ストロボ発光部３から照明光を発光させる。また、ＣＰＵブロック104-3により制御される測距ユニット５は被写体までの距離を測定する。

音声記録ユニット115は、利用者が音声信号を入力するマイク115-3、入力された音声信号を増幅するマイクアンプ115-2、増幅された音声信号を記録する音声記録回路115-3なる。音声再生ユニット116は、記録された音声信号をスピーカから出力できる信号に変換する音声再生回路116-1、変換された音声信号を増幅し、スピーカを駆動するためのオーディオアンプ116-2、音声信号を出力するスピーカ116-3からなる。

以上の構成を有するデジタルカメラは、通常の撮影の他に、短時間に異なる焦点距離で複数の画像を撮影することができる。具体的には、短時間に異なる焦点距離で複数の画像を撮影するモードが設定されている場合に、レリーズシャッタＳＷ１が「全押し」されて撮影記録が指示されたときには、ＣＰＵブロック104-3は、モータドライバ7-5を介してフォーカスモータ7-2bを駆動し、焦点距離を変えながら短時間に複数の画像を連続して撮影をするようになっている。撮影された画像データはＳＤＲＡＭ103に格納される。

さらに、ピントを合わせたいエリア（評価エリア）を指定して、そのエリアに最もピントの合った画像を自動選択する。このとき、指定した評価エリアが低コントラストや低輝度の場合、ノイズの影響を受けやすく、合焦の精度が下がるため、正しい評価値が得られず、所望のエリアにピントの合った画像の自動選択に失敗する場合がある

そこで、図３の空間周波数対透過率特性の特性曲線202に示すような抽出（通過）周波数帯域が低いバンドパスフィルタは、同図の特性曲線201に示すような抽出周波数帯域の高いバンドパスフィルタよりもノイズの影響を受けにくいという性質を利用して、抽出周波数帯域の異なる複数のフィルタを使い分けることにより、指定エリアが低コントラストや低輝度の場合でも、合焦の精度が下がりにくくなるようにした。

ただし、抽出周波数帯域の低いバンドパスフィルタは、ノイズに影響されにくいという利点があるものの、図４のピント位置対評価値特性の特性曲線211に示すように、ピークが緩やかになるため、ノイズが少ないときは精度がやや劣るという欠点がある。逆に、抽出周波数帯域の高いバンドパスフィルタは、ノイズの影響を受けやすいという欠点はあるものの、図４の特性曲線212に示すように、ピークが鋭くなるので、ノイズが少ないときは精度が高いという利点がある。

そこで、図５Ａのピント位置対評価値特性の特性曲線221に示すように、滑らかな一山で評価値の信頼度が高い場合は抽出周波数帯域の高いバンドパスフィルタを用い、図５Ｂのピント位置対評価値特性の特性曲線222に示すように、ギザギザで評価値の信頼度が低い場合は抽出周波数帯域の低いバンドパスフィルタを用いるようにした。

以下に、本実施形態の動作を図７のフローチャートに従って説明する。このフローは、手ぶれによる画像の位置ずれを補正し、かつ抽出周波数帯域の異なるフィルタを評価値の信頼性によって使い分けるフローである。

まず、焦点距離を変えながら連続撮影するモードを選択する（ステップＳ１）。次に、指定撮影枚数に達するまで、焦点距離を変えながら撮影する（ステップＳ２、Ｓ５:Yes）。このとき、撮影により取得した画像でデータをＳＤＲＡＭ103に記憶するとともに、画像間のずれ量を検出し（ステップＳ３）、その画像間のずれ量、及び各撮影時の焦点距離情報をローカルＳＲＡＭ104-4に保存する（ステップＳ４）。ここで、画像間のずれ量の検出は、ＣＰＵブロック104-3の動き検出機能を利用して行うことができる。

次に、ピントを合わせたい領域（評価エリア）をユーザインタフェースで指定する（ステップＳ６）。即ち例えば画像の１枚をＳＤＲＡＭ103から読み出し、ＬＣＤモニタ10で表示するとともに、操作キーユニットＳＷ１〜ＳＷ13のうちの所定のキーを操作することで、評価エリアを指定する。

次に、抽出周波数帯域が高いフィルタを設定する（ステップＳ７）。このフィルタはＣＰＵブロック104-3のソフトウェア処理で実現することができる。

次に、各撮影画像について、画像間ずれ量、焦点距離情報を読み出し、ピントを合わせたい領域の位置を画像間ずれ量で補正してから、設定されたフィルタを用いてその部分のＡＦ評価値を得る（ステップＳ８〜Ｓ１２）。なお、焦点距離情報は、焦点距離によって画像の大きさが微妙に異なる場合の補正や、ＡＦ評価値のピーク位置を直線近似で求める場合に利用する。

全画像についての評価値が得られたら（Ｓ１２：Yes）、その評価値のピークの信頼度を評価する（ステップＳ１３）。図５Ａのようにグラフが滑らかな一山の場合は評価値の信頼度が高く、図５Ｂのようにグラフがギザギザしていると評価値の信頼度が低い。

評価値の信頼度が十分でなければ（Ｓ１３：No）、フィルタを抽出周波数帯域がより低いものに設定し直し（ステップＳ１４）、再度Ｓ９〜Ｓ１２のループ処理を行う。評価値の信頼度が十分であれば（Ｓ１３：Yes）、ループを終了する。
最後に、得られた全画像の評価値を比較し、最も評価値の高い画像を選択して（ステップＳ１５）、その画像を出力（モニタ表示）する（ステップＳ１６）。

このように、本実施形態の撮像装置によれば、ＣＰＵブロック104-3の動き検出機能を利用して画像間のずれ量の検出を行い、そのずれ量に応じて評価エリアの位置を補正することにより、手ぶれなどの影響で複数の画像の間で位置がずれても正しい評価値が得られる。

また、利用者に指定された評価エリアのコントラストや輝度が高いためノイズが少なく、精度が高い抽出周波数帯域が高いフィルタでも信頼度の高いピークが検出できるときはそちらを用い、評価エリアのコントラストや輝度が低いためノイズが多く抽出周波数帯域が高いフィルタでは信頼度が下がる場合はノイズの影響を受けにくい抽出周波数帯域が低いフィルタを用いるようにフィルタ使い分けることにより、指定領域が低コントラストや低輝度の場合でも、合焦精度の低下を防止することができる。

［第２の実施形態］
本発明の第２の実施形態の撮像装置の構成は、図７に示す焦点距離と変倍率との関係を示すテーブルを備えていること以外は第１の実施形態と同じである。

図８は、本実施形態の撮像装置の動作を示すフローチャートである。このフローは、焦点距離の変化による変倍による位置ずれを補正し、かつ抽出周波数帯域の異なるフィルタを評価値の信頼性によって使い分けるフローである。この図において、図６（第１の実施形態）と同じステップには図６と同じ参照符号（ステップ番号）を付した。

焦点距離を変えながら連続撮影するモードを選択し（ステップＳ１）、指定撮影枚数に達するまで、焦点距離を変えながら撮影する（ステップＳ２、Ｓ５:Yes）ことは第１の実施形態と同じである。ただし、第１の実施形態では、画像間のずれ量を検出し（ステップＳ３）、その画像間のずれ量、及び各撮影時の焦点距離情報を保存する（ステップＳ４）のに対し、本実施形態では焦点距離情報を保存する（ステップＳ２１）点が異なる。

以後のステップでは、各撮影画像について、評価エリアのＡＦ評価値を得るときの処理の一部が第１の実施形態と異なる。即ち第１の実施形態では、画像間ずれ量、焦点距離情報を読み出し（ステップＳ９）、ピントを合わせたい領域の位置を画像間ずれ量で補正してから、設定されたフィルタを用いてその部分のＡＦ評価値を得る（ステップＳ１０）のに対し、本実施形態では、焦点距離情報を読み出し（ステップＳ２２）、焦点距離と変倍率のテーブル（図７）から変倍率を読み出し（ステップＳ２３）、ピントを合わせたい領域の位置を変倍率で補正してから、設定されたフィルタを用いてその部分のＡＦ評価を得る（ステップＳ２４）点が異なり、それ以外は第１の実施形態と同じである。

このように、本実施形態の撮像装置によれば、焦点距離の変化による光学系の変化による変倍率をテーブル化し、焦点距離に合わせて変倍率を求め、その変倍率に応じて評価エリアの位置を補正することにより、焦点距離が異なる画像間でも正しい評価値が得られる。

また、第１の実施形態と同様、利用者に指定された評価エリアのコントラストや輝度が高いためノイズが少なく、精度が高い抽出周波数帯域が高いフィルタでも信頼度の高いピークが検出できるときはそちらを用い、評価エリアのコントラストや輝度が低いためノイズが多く抽出周波数帯域が高いフィルタでは信頼度が下がる場合はノイズの影響を受けにくい抽出周波数帯域が低いフィルタを用いるようにフィルタ使い分けることにより、評価エリアが低コントラストや低輝度の場合でも、合焦精度の低下を防止することができる。

［第３の実施形態］
図９は、本発明の第３の実施形態の撮像装置の動作を示すフローチャートである。この図において、図６（第１の実施形態）と同じステップには、図６と同じ参照符号（ステップ番号）を付した。このフローは、手ぶれによる位置ずれを補正し、かつ評価エリアの画像のコントラスト値により抽出周波数帯域の異なるフィルタを使い分けるフローである。

焦点距離を変えながら連続撮影するモードを選択し（ステップＳ１）、指定撮影枚数に達するまで、焦点距離を変えながら撮影した後に、ピントを合わせたい領域（評価エリア）をユーザインタフェースで指定する（ステップＳ６）までは第１の実施形態と同じである。

次のステップＳ３１では、指定された評価エリアの画像のコントラスト値を検出し、それが高ければ抽出周波数帯域の高いフィルタを設定し、それが低ければ抽出周波数帯域の低いフィルタを設定する。なお、より細かく抽出周波数帯域を分けて３個以上のフィルタに選択的に設定可能にしてもよい。

次に、各撮影画像について、画像間ずれ量、焦点距離情報を読み出し、ピントを合わせたい領域の位置を画像間ずれ量で補正してから、設定されたフィルタを用いてその部分のＡＦ評価を得る（ステップＳ８〜Ｓ１２）。最後に、得られた評価値を比較し、最も評価値の高い画像を選択して、その画像を出力する（ステップＳ１５）。

このように、本実施形態の撮像装置によれば、画像間のずれ量の検出を行い、そのずれ量に応じて評価エリアの位置を補正することにより、手ぶれなどの影響で複数の画像の間で位置がずれても正しい評価値が得られる。

また、評価エリアのコントラストが高いためノイズが少ないときは精度が高い抽出周波数帯域が高いフィルタを用い、評価エリアのコントラストが低いためノイズが多いときはノイズの影響を受けにくい抽出周波数帯域が低いフィルタを用いるようにフィルタ使い分けることにより、評価エリアが低コントラストの場合でも、合焦精度の低下を防止することができる。

［第４の実施形態］
図１０は、本発明の第４の実施形態の撮像装置の動作を示すフローチャートである。この図において、図９（第３の実施形態）と同じステップには、図９と同じ参照符号（ステップ番号）を付した。このフローは、手ぶれによる位置ずれを補正し、かつ評価エリアの画像の輝度値により抽出周波数帯域の異なるフィルタを使い分けるフローである。

本実施形態は、第３の実施形態のステップＳ３１に代えて、「指定された評価エリアの画像のコントラスト値を検出し、それが高ければ抽出周波数帯域の高いフィルタを設定し、それが低ければ抽出周波数帯域の低いフィルタを設定する。」処理を行うステップＳ４１を用いたものであり、それ以外は第３の実施形態と同じである。

本実施形態の撮像装置によれば、本実施形態の撮像装置によれば、画像間のずれ量の検出を行い、そのずれ量に応じて評価エリアの位置を補正することにより、手ぶれなどの影響で複数の画像の間で位置がずれても正しい評価値が得られる。

評価エリアの輝度値が高いためノイズが少ないときは精度が高い抽出周波数帯域が高いフィルタを用い、評価エリアの輝度値が低いためノイズが多いときはノイズの影響を受けにくい抽出周波数帯域が低いフィルタを用いるようにフィルタ使い分けることにより、指定領域が低輝度の場合でも、合焦精度の低下を防止することができる。

なお、以上の実施形態では、評価値の信頼度、評価エリアのコントラスト値、評価エリアの輝度値に基づいてフィルタを選択したが、それらの任意の二つ以上の組み合わせに基づいてフィルタを選択してもよい。

本発明の第１の実施形態の撮像装置の背面図である。 本発明の第１の実施形態の撮像装置内部のシステム構成を示すブロック図である。 抽出周波数帯域の高いフィルタ及び低いフィルタの空間周波数対透過率特性のグラフを示す図である。 抽出周波数帯域の高いフィルタ、低いフィルタを用いた場合のピント位置対評価値特性のグラフを示す図である。 評価値の信頼度の高いグラフと低いグラフのピント位置対評価値特性を示す図である。 本発明の第１の実施形態の撮像装置の動作を示すフローチャートである。 本発明の第２の実施形態の撮像装置が有する焦点距離と変倍率との関係を示すテーブルを示す図である。 本発明の第２の実施形態の撮像装置の動作を示すフローチャートである。 本発明の第３の実施形態の撮像装置の動作を示すフローチャートである。 本発明の第３の実施形態の撮像装置の動作を示すフローチャートである。 短時間に異なる焦点距離で複数の画像を撮影した後に、画面内でピントを合わせたい部分を指定して、その部分に最もピントの合った画像を自動的に選択して表示する概念を示す図である。 焦点距離の変化による倍率の変化により正確な評価値が得られなくなることを示す図である。 手ぶれによる画像の位置ずれにより正確な評価値が得られなくなることを示す図である

符号の説明

7-1・・・ズーム光学系、7-2・・・フォーカス光学系、7-5・・・モータドライバ、103・・・ＳＤＲＡＭ、104・・・デジタルスチルカメラプロセッサ、107・・・ＲＡＭ、108・・・ＲＯＭ。

Claims (11)

1. 焦点距離を変化させながら同一の被写体を撮影した複数の画像の中から所望のエリアにピントの合った画像を選択する機能を有する撮像装置において、
   前記複数の画像間の被写体の位置変化に応じて、前記エリアの位置を補正する位置補正手段と、抽出する空間周波数帯域の異なる複数のフィルタ手段と、そのフィルタ手段を選択するフィルタ選択手段と、選択されたフィルタ手段により抽出された前記複数の画像の空間周波数成分から前記位置が補正されたエリアの合焦状態の評価値を算出する評価値算出手段と、算出された評価値が最も高い画像を選択する画像選択手段とを備えるとともに、前記フィルタ選択手段は、算出された評価値の信頼度を基に選択することを特徴とする撮像装置。
2. 焦点距離を変化させながら同一の被写体を撮影した複数の画像の中から所望のエリアにピントの合った画像を選択する機能を有する撮像装置において、
   前記複数の画像間の被写体の位置変化に応じて、前記エリアの位置を補正するエリア位置補正手段と、抽出する空間周波数帯域の異なる複数のフィルタ手段と、そのフィルタ手段を選択するフィルタ選択手段と、選択されたフィルタ手段により抽出された前記複数の画像の空間周波数成分から前記位置が補正されたエリアの合焦状態の評価値を算出する評価値算出手段と、算出された評価値が最も高い画像を選択する画像選択手段と、前記エリアの画像のコントラスト及び／又は輝度を検出する手段を備えるとともに、前記フィルタ選択手段は、検出されたコントラスト及び／又は輝度に応じて選択することを特徴とする撮像装置。
3. 請求項１又は２に記載された撮像装置において、
   前記複数の画像間のずれ量を検出するずれ量検出手段を備え、前記エリア位置補正手段は、そのずれ量に応じて前記エリアの位置を補正することを特徴とする撮像装置。
4. 請求項１又は２に記載された撮像装置において、
   前記焦点距離と変倍率との対応関係を示すテーブルを備え、前記エリア位置補正手段は、そのテーブルから読み出した変倍率データに基づいて、前記エリアの位置を補正することを特徴とする撮像装置。
5. 請求項１に記載された撮像装置において、
   前記フィルタ選択手段は、評価値の信頼度が不十分な場合、抽出する空間周波数帯域がより低いフィルタ手段を選択することを特徴とする撮像装置。
6. 請求項２に記載された撮像装置において、
   前記フィルタ選択手段は、検出されたコントラスト及び／又は輝度が相対的に低いときは、抽出する空間周波数帯域が相対的に低いフィルタ手段を選択することを特徴とする撮像装置。
7. 請求項１に記載された撮像装置において、
   前記エリアの画像のコントラスト及び／又は輝度を検出する手段を備え、前記フィルタ選択手段は、算出された評価値の信頼度と、検出されたコントラストと、検出された輝度の複数の組み合わせを基に選択することを特徴とする撮像装置。
8. 焦点距離を変化させながら同一の被写体を撮影した複数の画像の中から所望のエリアにピントの合った画像を選択する撮像方法であって、
   焦点距離を変化させながら同一の被写体を複数回連続して撮影する工程と、その撮影された複数の画像間の被写体の位置変化に応じて、前記エリアの位置を補正する工程と、抽出する空間周波数帯域の異なる複数のフィルタ手段の中から、前記位置補正済みのエリアの画像の抽出に用いるフィルタ手段を選択する工程と、その選択されたフィルタ手段を用いて前記複数の画像の前記位置補正済みのエリアの画像のフィルタリングを行う工程と、そのフィルタリングされた画像を用いて、前記複数の画像の前記位置補正済みのエリアの合焦状態の評価値を算出する工程と、その算出された評価値が最も高い画像を選択する工程とを備えるとともに、前記フィルタ手段を選択する工程は、算出された評価値の信頼度を基に選択することを特徴とする撮像方法。
9. 焦点距離を変化させながら同一の被写体を撮影した複数の画像の中から所望のエリアにピントの合った画像を選択する撮像方法であって、
   焦点距離を変化させながら同一の被写体を複数回連続して撮影する工程と、その撮影された複数の画像間の被写体の位置変化に応じて、前記エリアの位置を補正する工程と、その位置補正済みのエリアのコントラスト又は輝度を検出する工程と、抽出する空間周波数帯域の異なる複数のフィルタ手段の中から、前記位置補正済みのエリアの画像の抽出に用いるフィルタ手段を選択する工程と、その選択されたフィルタ手段を用いて前記複数の画像の前記位置補正済みのエリアの画像のフィルタリングを行う工程と、そのフィルタリングされた画像を用いて、前記複数の画像の前記位置補正済みのエリアの合焦状態の評価値を算出する工程と、その算出された評価値が最も高い画像を選択する工程とを備えるとともに、前記フィルタ手段を選択する工程は、前記検出されたコントラスト又は輝度に応じて選択することを特徴とする撮像方法。
10. 焦点距離を変化させながら同一の被写体を撮影した複数の画像の中から所望のエリアにピントの合った画像を選択する機能を有する撮像装置の制御プログラムであって、
    請求項８又は９に記載された撮像方法の各工程を前記撮像装置に実行させるための制御プログラム。
11. 請求項１０に記載された制御プログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images