JP2012150224A

JP2012150224A - 撮像装置および制御方法

Info

Publication number: JP2012150224A
Application number: JP2011008028A
Authority: JP
Inventors: Akira Yamazaki; 亮山▲崎▼
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-01-18
Filing date: 2011-01-18
Publication date: 2012-08-09
Anticipated expiration: 2031-01-18
Also published as: JP5773659B2

Abstract

【課題】ボケ修正が可能な画像処理を用いることによって、高精度な焦点調節と高速な撮影速度を両立する。
【解決手段】撮影レンズの焦点調節を行う焦点調節手段（Ｓ６０６）と、焦点調節手段による焦点調節後にレリーズ指示があった場合にレリーズ可能か否かを判定するレリーズ判定手段（Ｓ６０８）と、撮影画像に対してボケ修正画像処理手段によるボケ修正を行うことを前提としたボケ修正撮影モードを設定する操作手段と、ボケ修正撮影モードが設定されている際には、ボケ修正撮影モードが設定されていない場合に比べて、レリーズ判定手段の判定条件を焦点調節の精度が低下するように変更する制御手段（Ｓ６０７）とを有する。
【選択図】図１４

Description

本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に関し、特にボケ修正が可能な撮像装置および制御方法に関するものである。

従来、撮像装置としての一眼レフタイプのカメラにおいては、クイックリターン機構を採用したミラー系を介して２次結像系の位相差方式焦点検出装置を備える例が提案されている。位相差方式焦点検出装置は、撮影レンズのピントずれ量と方向を１回の検出動作で知ることができるため高速な焦点調節を実現することができる。また、この位相差方式焦点検出装置を用いて、複数回の焦点検出結果から移動する被写体に対するピントずれを予測して焦点調節を行う動体予測ＡＦ（ＡＦ：ＡｕｔｏＦｏｃｕｓ）も提案されている。

そして、クイックリターン機構によるミラー系を高速に駆動しながら動体予測ＡＦを行うことで、移動被写体に対する高速な焦点調節合わせが可能となり、主にスポーツ写真などの幅広い分野での撮影を実現している。

しかしながら、近年撮像素子の高画素化により拡大して画像を鑑賞する機会が増加する傾向にある。そうすると、撮影画像のわずかなピントずれが目立つようになり、動体予測ＡＦの焦点調節精度に対するユーザーの要望も高まっている。また、特にスポーツ写真などにおける動体撮影においては、秒間１０コマ程度の高速連写撮影を行うことが多い。これは、スポーツなどにおける一瞬の決定的瞬間を得るためであり、連写撮影速度の高速化への要望も高まっている。したがって、主にスポーツ写真などの分野においては、動体予測ＡＦによる連写撮影という使い方が一般的となっている。

そこで、動体予測ＡＦにおける連写撮影中においても、焦点調節状態をより高精度に調節してからレリーズ判定の可否を行い、撮影を実施するカメラが特開平５−５８２８号公報（特許文献１）により提案されている。このカメラでは、動体予測ＡＦにおける連写撮影中でも、焦点調節精度の高い画像を得ることが可能となっている。

特開平５−５８２８号公報

しかしながら、上記従来例には焦点調節精度を優先するがゆえに、連写撮影の速度が落ちてしまうという問題がある。また、被写体の明るさやコントラスト、周波数により焦点調節の精度が変化してしまうため、動体予測ＡＦのように、焦点検出領域で捉える被写体が逐次変化してしまう。このような場合には、捉える被写体によってレリーズ許可までの時間が変化してしまうため、連写速度がコマ間で不等間隔になってしまうという問題もある。

（発明の目的）
本発明の目的は、ボケ修正が可能な画像処理を用いることによって、高精度な焦点調節と高速な撮影速度を両立することができる撮像装置および制御方法を提供することである。

上記目的を達成するために、本発明の撮像装置は、撮影レンズの焦点調節を行う焦点調節手段と、前記焦点調節手段による焦点調節後にレリーズ指示があった場合にレリーズ可能か否かを判定するレリーズ判定手段と、撮影画像に対してボケ修正画像処理手段によるボケ修正を行うことを前提としたボケ修正撮影モードを設定する操作手段と、前記ボケ修正撮影モードが設定されている際には、前記ボケ修正撮影モードが設定されていない場合に比べて、前記レリーズ判定手段の判定条件を焦点調節の精度が低下するように変更する制御手段とを有することを特徴とするものである。

また、本発明の制御方法は、撮影レンズの焦点調節後にレリーズ指示があった場合にレリーズ可能か否かを判定するレリーズ判定工程と、撮影画像に対してボケ修正画像処理手段によるボケ修正を行うことを前提としたボケ修正撮影モードが設定されている際には、前記ボケ修正撮影モードが設定されていない場合に比べて、前記レリーズ判定工程の判定条件を焦点調節の精度が低下するように変更する制御工程とを有することを特徴とするものである。

本発明によれば、ボケ修正が可能な画像処理を用いることによって、高精度な焦点調節と高速な撮影速度を両立することができる。

本発明の実施例１であるカメラシステムの構成を示すブロック図である。撮像素子を示す平面図である。撮像用画素の構造を説明する図である。焦点検出用画素の構造を説明する図である。撮像素子と画像処理回路における焦点検出構成を概略的に示す図である。対の焦点検出用信号を示す図である。撮影画像全域での焦点検出結果の分布（デフォーカスマップ）を示す図である。予定結像面と焦点検出結果との関係を示す図である。図８の焦点検出結果を被写体距離に換算した図である。ボケ修正が行われる前の撮影画像を示す図である。ボケ修正が行われた後の撮影画像を示す図である。レリーズ判定の閾値と最高連写撮影速度との関係を示す図である。実施例１のカメラの動作を示すフローチャートである。ＡＦ処理のサブルーチンを示すフローチャートである。デフォーカスマップ作成のサブルーチンを示すフローチャートである。ボケ修正のサブルーチンを示すフローチャートである。ボケ関数作成のサブルーチンを示すフローチャートである。実施例２のカメラの動作を示すフローチャートである。

本発明を実施するための形態は、以下の実施例１および２に記載される通りである。

図１は本発明の撮像装置としての実施例１であるカメラシステムの構成を示す。図１のカメラシステムは、複数の撮影レンズが交換可能なカメラとその撮影レンズからなる。図１において、本実施例１のカメラシステムはカメラ１００とカメラ１００に交換可能に装着される撮影レンズ３００で構成されている。まずはじめに、カメラ１００側について詳細を説明する。

カメラ１００は、複数種類の撮影レンズ３００が存在するカメラシステムに対応しており、同一種類のレンズでも製造番号が異なるものが装着可能である。さらには焦点距離や開放Ｆナンバーが異なる、もしくはズーム機能を備えるなどの種類の異なる撮影レンズ３００も装着可能で、同種、異種の撮影レンズに関わらず交換可能な構成となっている。

このカメラ１００において、撮影レンズ３００を通過した光束は、カメラマウント１０６を通過し、メインミラー１３０により上方へ反射され光学ファインダ１０４に入射する。光学ファインダ１０４により、撮影者が被写体を光学像として観察しながら撮影することが出来る。そして、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が備えられている。

メインミラー１３０は半透過性のハーフミラーで構成され、メインミラー１３０に入射する光束のうち一部の光束はこのハーフミラー部を通過して、サブミラー１３１により下方へ反射され焦点検出装置１０５へ入射する。そして、焦点検出装置１０５は、得られた光学像を電気信号に変換し、焦点調節部４２へ送る。焦点検出装置１０５は２次結像光学系を採用した周知の位相差方式焦点検出装置であり、詳細な説明は省略する。焦点調節部４２では、この電気信号から焦点検出演算を行い、得られた演算結果に基づいてシステム制御回路５０が、撮影レンズ３００側のフォーカス制御部３４２に対して、焦点調節処理などの制御を行う。

撮影レンズ３００の焦点調節処理が終了し、撮影動作を行う際には、不図示のクイックリターン機構によりメインミラー１３０が撮影光束外に退避する。撮影レンズ３００を通過した光束は、露光量を制御するためのシャッター１２を介して、光学像を電気信号に変換する撮像素子１４に入射する。そして、撮影動作終了後には、メインミラー１３０は図示されるような位置に戻る。

撮像素子１４にて変換された電気信号はＡ／Ｄ変換器１６へ送られ、アナログ信号出力をディジタル信号（画像データ）に変換する。１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２およびシステム制御回路５０により制御される。

画像処理回路２０は、Ａ／Ｄ変換器１６からの画像データあるいはメモリ制御回路２２からの画像データに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、画像データを用いて所定の演算処理を行う。また、画像処理回路２０は、本発明のボケ修正画像処理手段としての機能も有し、後述するボケ修正撮影モードの設定に応じ、画像データに対してフィルター処理やデコンボリューション画像処理によるボケ修正処理を行う。なお、詳細な構成については後に説明する。

撮像素子１４は、本実施例１の焦点検出手段の一部の機能を有し、得られた画像データのうち焦点検出に対応する画像データは、画像処理回路２０で焦点検出用画像データに変換される。その後、システム制御回路５０を介して焦点調節部４２へ送られ、２次結像系の焦点検出装置０１５の場合と同様に撮影レンズ３００の焦点調節を行うことが可能となっている。なお、本実施例１の焦点検出手段に関する撮像素子１４の詳細な構成については後に説明する。

このように、本発明のカメラ１００は焦点検出装置１０５と撮像素子１４による焦点検出手段の２つの焦点検出手段を有する構成となっている。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長回路３２を制御する。そして、Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、あるいはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４あるいはメモリ３０に書き込まれる。

画像表示部２８は液晶モニタ等から構成され、画像表示メモリ２４に書き込まれた表示用の画像データを、Ｄ／Ａ変換器２６を介して受け取って表示する。画像表示部２８を用いて撮像した画像データを逐次表示することで、電子ファインダ機能を実現することが可能となっている。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ１００の電力消費を大幅に低減することが出来る。

そして、電子ファインダ時には、撮影動作時と同じように不図示のクイックリターン機構により主ミラー１３０とサブミラー１３１は撮影光束外へ退避してしまう。したがって、このときには焦点検出装置１０５による焦点検出自体ができなくなる。そこで、撮像素子１４が一部機能を有する焦点検出手段により焦点検出を行う構成としており、光学ファインダと電子ファインダの両者において撮影レンズ３００の焦点検出が可能となっている。したがって、光学ファインダ利用時には静止画像の撮影が好適であり、電子ファインダ利用時には静止画像および動画像の両方の撮影が可能な構成となっている。

メモリ３０は撮影した静止画像や動画像を記憶するためのものであり、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影、もしくは秒間３０フレーム程度の画像を撮影する動画像の場合においても、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

圧縮伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する機能を有し、メモリ３０に記憶された画像を読み込んで圧縮処理あるいは伸長処理を行い、処理を終えた画像データをメモリ３０に書き込む。

シャッター制御部３６は、測光部４６からの測光情報に基づいて、撮影レンズ３００側の絞り３１２を制御する絞り制御部３４４と連携しながら、シャッター１２を制御する。

インターフェース部３８とコネクタ１２２は、カメラ１００と撮影レンズ３００とを電気的に接続する。そしてこれらは、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧を供給する機能も備えている。また、電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。

測光部４６は、ＡＥ処理を行う。撮影レンズ３００を通過した光束を、カメラマウント１０６、ミラー１３０、そして不図示の測光用レンズを介して、測光部４６に入射させることにより、画像の露出状態を測定することが出来る。また、測光部４６は、フラッシュ４８と連携することによりＥＦ処理機能も有するものである。なお、ミラー１３０が撮影光束外へ退避している場合は、画像処理回路２０による撮像素子１４の画像データを演算した演算結果に基づき、システム制御回路５０が、シャッター制御部３６と撮影レンズ３００の絞り制御部３４４に対してＡＥ制御を行う。

フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

システム制御回路５０はカメラ１００の全体を制御し、メモリ５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶する。

表示部５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置である。カメラ１００の操作部近辺の視認し易い位置に単数あるいは複数個所設置され、例えばＬＣＤやＬＥＤ等の組み合わせにより構成されている。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、記録枚数や残撮影可能枚数等の撮影枚数に関する情報や、シャッタースピード、絞り値、露出補正、フラッシュ等の撮影条件に関する情報等がある。その他、電池残量や日付・時刻等も表示される。また、表示部５４は、前述したようにその一部の機能が光学ファインダ１０４内に備えられている。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６０、６２、６４、６６、６８および７０は、システム制御回路５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数あるいは複数の組み合わせで構成される。

モードダイアルスイッチ６０は、電源オフ、オート撮影モード、マニュアル撮影モード、パノラマ撮影モード、マクロ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

シャッタースイッチ６２（ＳＷ１）は、シャッターボタンが半押しされるとＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。

シャッタースイッチ６４（ＳＷ２）は、シャッターボタンが全押しされるとＯＮとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する処理とは、露光処理、現像処理および記録処理等のことである。露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データとして書き込む。現像処理では、画像処理回路２０やメモリ制御回路２２での演算を用いた現像を行う。記録処理では、メモリ３０から画像データを読み出し、圧縮伸長回路３２で圧縮を行い、記録媒体２００あるいは２１０に画像データを書き込む。

画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８のＯＮ／ＯＦＦを設定することが出来る。この機能により、光学ファインダ１０４を用いて撮影を行う際に、液晶モニタ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

クイックレビューＯＮ／ＯＦＦスイッチ６８は、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定する。

操作部７０は、各種ボタンやタッチパネル等からなる。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、選択移動ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。なお、本発明のボケ修正撮影モードの設定はこの操作部７０を操作することにより行われる。

電源制御部８０は、電池検出回路、ＤＣ／ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果およびシステム制御回路５０の指示に基づいてＤＣ／ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

コネクタ８２および８４は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等からなる電源部８６をカメラ１００と接続する。

インターフェース９０および９４は、メモリカードやハードディスク等の記録媒体との接続機能を有し、コネクタ９２および９６は、メモリカードやハードディスク等の記録媒体と物理的接続を行う。そして、記録媒体着脱検知部９８は、コネクタ９２または９６に記録媒体が装着されているかどうかを検知する。

なお、本実施例１では記録媒体を取り付けるインターフェースおよびコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェースおよびコネクタは、単数あるいは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェースおよびコネクタを組み合わせて備える構成としても構わない。また、インターフェースおよびコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。さらに、インターフェースおよびコネクタにＬＡＮカードやモデムカード等の各種通信カードを接続することで、コンピュータやプリンタ等の他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。

通信部１１０は、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。

コネクタ１１２は、通信部１１０によりカメラ１００を他の機器と接続し、無線通信の場合はアンテナである。

記録媒体２００および２１０は、メモリカードやハードディスク等である。記録媒体２００および２１０は、半導体メモリや磁気ディスク等から構成される記録部２０２、２１２、カメラ１００とのインターフェース２０４、２１４、カメラ１００と接続を行うコネクタ２０６、２１６を備えている。

次に撮影レンズ３００側について詳細を説明する。撮影レンズ３００は、カメラ１００に着脱可能に構成される。

レンズマウント３０６は、撮影レンズ３００をカメラ１００と機械的に結合し、カメラマウント１０６を介してカメラ１００に交換可能に取り付けられる。カメラマウント１０６およびレンズマウント３０６内には、撮影レンズ３００をカメラ１００と電気的に接続するコネクタ１２２およびコネクタ３２２の機能が含まれている。

レンズ３１１には被写体の焦点調節を行うフォーカスレンズが含まれ、絞り３１２は撮影光束の光量を制御する絞りである。

コネクタ３２２およびインターフェース３３８は、撮影レンズ３００をカメラ１００のコネクタ１２２と電気的に接続する。そして、コネクタ３２２は、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧を供給される或いは供給する機能も備えている。なお、コネクタ３２２は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。

ズーム制御部３４０はレンズ３１１のズーミングを制御し、フォーカス制御部３４２はレンズ３１１のフォーカスレンズ動作を制御する。なお、撮影レンズ３００がズーム機能のない単焦点レンズタイプであればズーム制御部３４０はなくてもよい。

絞り制御部３４４は、測光部４６からの測光情報に基づいて、シャッター１２を制御するシャッター制御部３６と連携しながら、絞り３１２を制御する。

レンズシステム制御部３４６は撮影レンズ３００全体を制御する。そして、レンズシステム制御部３４６は、撮影レンズ動作用の定数、変数、プログラム等を記憶するメモリの機能を備えている。

不揮発性メモリ３４８は、撮影レンズ固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、焦点検出結果の補正情報、現在や過去の各設定値などを記憶する。

以上が、本実施例１におけるカメラ１００と撮影レンズ３００からなるカメラシステムの構成である。次に、本実施例１における焦点検出手段の一部機能を有する撮像素子１４の詳細な構成を説明する。

図２は、図１のカメラシステムにおける撮像素子１４のうち被写体像が形成される受光画素を撮影レンズ３００側からみた平面図である。４００は撮像素子１４上に横方向ｍ画素、縦方向ｎ画素で形成される画素全体からなる撮影範囲で、４０１はそのうちの１つの画素部を示す。そして各画素部にはオンチップでベイヤー配列の原色カラーフィルタが形成され、２行×２列の４画素周期で並んでいる。なお、図２においては煩雑さをなくすために画素部としては左上側の１０画素×１０画素程度を表示し、その他の画素部は省略している。

図３、図４は、図２における画素部のうち撮像用画素と焦点検出用画素の構造を説明する図で、図１におけるレンズ３１１と撮像素子１４を光学ファインダ１０４側からみた図である。なお、説明に不要な部材については省略してある。本実施例１では、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素が配置される。なお、本実施例１に適用している焦点検出構成は、特開２０００−１５６８２３号公報に開示される構成を利用しており、撮影レンズ３００のピントずれ量と方向を一度の検出で求めることができる位相差方式焦点検出を可能としている。

図３に撮像用画素の配置と構造を示す。図３（ａ）は２行×２列の撮像用画素の平面図である。周知のように、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そして２行×２列の構造が繰り返し配置される。図３（ａ）におけるＡ−Ａ断面図を図３（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦ_ＲはＲ（赤色）のカラーフィルタ、ＣＦ_ＧはＧ（緑色）のカラーフィルタである。ＰＤ（ＰｈｏｔｏＤｉｏｄｅ）はＣＭＯＳイメージセンサの光電変換素子を模式的に示したものである。ＣＬ（ＣｏｎｔａｃｔＬａｙｅｒ）は、ＣＭＯＳイメージセンサ内の各種信号を伝達する信号線を形成するための配線層である。そして、図３は撮像素子１４のうち中心付近の画素、すなわち撮影レンズ３００の軸上付近の画素構造を示す図である。

ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換素子ＰＤは、撮影レンズ３００を通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影レンズ３００の射出瞳（ＥｘｉｔＰｕｐｉｌ）と光電変換素子ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換素子の有効面積は大面積に設計される。同図における光束４１０はその様子を示し、射出瞳４１１の全領域が光電変換素子ＰＤに取り込まれている。なお、本実施例１では撮影レンズ３００の射出瞳位置をおおよそ絞り３１２付近としているので、射出瞳４１１は絞り３１２の開口部に相当する。図３（ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ（青色）画素も同一の構造となっている。また、マイクロレンズＭＬまわりの部材は説明を理解しやすくするために拡大して表示してあるが、実際はミクロンオーダーの形状である。

図４は、撮影レンズ３００の水平方向（横方向）に瞳分割を行うための焦点検出用画素の配置と構造を示す。ここで水平方向とは、図２で示す撮像素子１４の長手方向を示す。図４（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。記録又は観賞のための画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認知されやすい。一方でＲ画素又はＢ画素は、色情報（色差情報）を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施例１においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素を焦点検出用画素に置き換える。この焦点検出用画素を図４（ａ）においてＳ_ＨＡ及びＳ_ＨＢと示す。

図４（ａ）におけるＡ−Ａ断面図を図４（ｂ）に示す。マイクロレンズＭＬと、光電変換素子ＰＤは図３（ｂ）に示した撮像用画素と同一構造である。そして、撮像素子１４のうち中心付近の画素、すなわち撮影レンズ３００の軸上付近の画素構造を示す図である。

本実施例１においては、焦点検出用画素の信号は画像生成には用いないため、色分離用カラーフィルタの代わりに透明膜ＣＦ_Ｗ（白色）が配置される。また、撮像素子でレンズ３１１の射出瞳を分割するため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏心している。具体的には、画素Ｓ_ＨＡの開口部ＯＰ_ＨＡはマイクロレンズＭＬの中心線に対して右側に４２１_ＨＡだけ偏心しているため、レンズ３１１の光軸Ｌを挟んで左側の射出瞳領域４２２_ＨＡを通過した光束４２０_ＨＡを受光する。同様に、画素Ｓ_ＨＢの開口部ＯＰ_ＨＢはマイクロレンズＭＬの中心線に対して左側に４２１_ＨＢだけ偏心しているため、レンズ３１１の光軸Ｌを挟んで右側の射出瞳領域４２２_ＨＢを通過した光束４２０_ＨＢを受光する。そして、図から明らかなように、偏心量４２１_ＨＡは偏心量４２１_ＨＢに等しい。このように、マイクロレンズＭＬと開口部ＯＰの偏心により撮影レンズ３００の異なる瞳領域を通過する光束４２０を取り出すことが可能となっている。

以上のような構成で、画素Ｓ_ＨＡを水平方向に複数配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素Ｓ_ＨＢも水平方向に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）が検出できる。

なお、図４は撮像素子１４の中央付近の焦点検出用画素についての説明だが、中央以外では、マイクロレンズＭＬと配線層ＣＬの開口部ＯＰ_ＨＡ、ＯＰ_ＨＢを図４（ｂ）とは異なる状態で偏心させることにより射出瞳を分割することができる。具体的には、開口部ＯＰ_ＨＡの方を例にとって説明すると、開口部ＯＰ_ＨＡの中心と射出瞳領域４２２_ＨＡ中心を結ぶ線上に略球状でできたマイクロレンズＭＬの球芯を合わせるよう偏心させることにより撮像素子１４の周辺部においても図４で示した中央付近の焦点検出用画素とほぼ同等の瞳分割を行うことができる。

ところで、上記画素Ｓ_ＨＡ及びＳ_ＨＢでは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。そのためには、撮影レンズの垂直方向（縦方向）にも瞳分割を行う画素も備えるよう構成すればよい。本実施例１では、図２、図３、図４で説明したような横方向にのみ焦点検出用の画素構造を備える構成とした。

また、上記焦点検出用画素は本来の色情報を有さないため、撮影画像形成にあたっては周辺部の画素信号から補間演算することによって信号を作成する。したがって、撮像素子１４に焦点検出用画素を連続的に並べるのではなく離散的に並べることで撮影画像の画質を低減させることもない。

図５は、撮像素子１４と画像処理回路２０における焦点検出構成を概略的に示す図である。なお、図１のカメラシステムの説明では、撮像素子１４で得られた画像データはＡ／Ｄ変換器１６を介して画像処理回路２０へ送られたが、分かりやすく説明するためにＡ／Ｄ変換器１６を省略してある。

撮像素子１４は、瞳分割された焦点検出用画素９０１ａと９０１ｂとで構成される焦点検出部９０１を複数有する。なお、焦点検出部９０１は図４（ａ）に相当し、焦点検出用画素９０１ａが画素Ｓ_ＨＡに、焦点検出用画素９０１ｂが画素Ｓ_ＨＢにそれぞれ対応する。また、撮像素子１４は撮影レンズ３００で結像された被写体像を光電変換するための撮像用画素を複数含む。

画像処理回路２０は、合成手段９０２と、連結手段９０３とを含む。また、画像処理回路２０は、複数の焦点検出部９０１を含むように、撮像素子１４の撮像面にセクション（領域）ＣＳＴを複数割り当てる。そして、画像処理回路２０はセクションＣＳＴの大きさ、配置、数等を適宜変更することができる。合成手段９０２は、撮像素子１４に割り当てられた複数のセクションＣＳＴの各々において、焦点検出用画素９０１ａからの出力信号を合成して１画素の第１の合成信号を得る処理を行う。合成手段９０２はまた、各セクションＣＳＴにおいて、焦点検出用画素９０１ｂからの出力信号を合成して１画素の第２の合成信号を得る処理を行う。連結手段９０３は、複数のセクションＣＳＴにおいて、第１の合成信号である各画素を連結して第１の連結信号を得る処理と、第２の合成信号である各画素を連結して第２の連結信号を得る処理とを行う。このように、焦点検出用画素９０１ａ及び９０１ｂのそれぞれに対して、セクション数の画素が連結された連結信号が得られる。システム制御回路５０は、第１の連結信号及び第２の連結信号に基づいて、結像光学系のデフォーカス量（焦点ずれ量）を演算する。このように、セクション内に配置された同一の瞳分割方向における焦点検出用画素の出力信号を合成するため、焦点検出部の１つ１つの輝度は小さい場合であっても、被写体の輝度分布を十分に検出することが可能となる。

図６は、図５の焦点検出部９０１、合成手段９０２、連結手段９０３により形成され、焦点調節部４２へ送られる対の焦点検出用信号を示す。同図において、横軸は連結された信号の画素並び方向を示し、縦軸は信号の強度である。焦点検出用信号４３０ａは焦点検出用画素９０１ａで、焦点検出用信号４３０ｂは焦点検出用画素９０１ｂでそれぞれ形成される信号である。そして、撮影レンズ３００が撮像素子１４に対してデフォーカスした状態であるため、焦点検出用信号４３０ａは左側に、焦点検出用信号４３０ｂは右側にずれた状態となっている。

この焦点検出用信号４３０ａ、４３０ｂのずれ量を焦点調節部４２では公知の相関演算などによって算出することにより、撮影レンズ１００がどれだけデフォーカスしているかを知ることができる。そして、このずれ量により算出されたデフォーカス量をもとに撮影レンズ３００のフォーカス制御部３４２により焦点合わせを行うことで、焦点調節が可能となっている。

以上のように、本実施例１では撮像素子１４に離散的に設けられた焦点検出用画素を用いて焦点調節を行う。すなわち、図２〜図６で説明した焦点検出に関する構成、システム制御回路５０及び焦点調節部４２が、本発明における焦点調節手段となる。そして、本実施例１の焦点検出手段は、焦点検出装置１０５と同様に周知の位相差方式を採用した焦点検出構成となっている。

上記焦点検出用画素を、撮像素子１４の全領域に渡って分布させることで、撮影画面全域での焦点検出が可能となっている。なお、撮影画面全域の焦点検出が可能であるため、この焦点検出結果と撮影レンズ３００の情報などに基づいて被写体距離を算出する。そして、撮影画面全域の被写体距離情報をもとに撮影画面全域での被写体距離分布を作成することで、画像処理回路２０に備えられたボケ修正画像処理手段で、撮影画像のボケを修正することが可能となる。以下、詳細を説明する。

図７は、撮影画像全域での焦点検出結果の分布（デフォーカスマップ）を示したものである。撮像素子１４では、図４、図５で説明したような焦点検出用画素Ｓ_ＨＡ、Ｓ_ＨＢが、全領域に渡って分布しているため、撮影画面の任意位置における焦点検出結果を取得することが可能となる。

そして、得られた焦点検出結果の中で、値の近い領域をつなぎ合わせてグルーピングすることで、撮影画面中に含まれる被写体の輪郭を抽出することが可能となる。Ｔａｒｇｅｔ１、Ｔａｒｇｅｔ２は抽出された被写体領域を示したものであり、ＢａｃｋＧｒｏｕｎｄ１は背景領域を示したものである。なお、この図において撮影者は被写体領域Ｔａｒｇｅｔ１に対して焦点調節手段により撮影レンズ３００のピント合わせを行ったものとする。

Ｄｅｆ１は被写体領域Ｔａｒｇｅｔ１における焦点検出結果、Ｄｅｆ２は被写体領域Ｔａｒｇｅｔ２における焦点検出結果、Ｄｅｆ３は背景領域ＢａｃｋＧｒｏｕｎｄ１における焦点検出結果である。Ｄｅｆ１が最も撮影者側に近く、Ｄｅｆ３は最も遠く位置する。

システム制御回路５０は、焦点検出用画素から得られる焦点検出結果から被写体の抽出を行うことでデフォーカスマップを作成し、被写体の分離を行う。

本実施例１では、このデフォーカスマップに基づいて、撮影画像のボケ修正を行う。ボケの生成過程は、カメラ１００の特性や撮影レンズ３００の特性から推定することが可能である。このボケの生成過程をモデル化したボケ関数を定義し、ウィーナーフィルタ等の一般にデコンボリューションと呼ばれる画像復元アルゴリズムによってボケ画像を復元処理することで、ボケ修正を行う。なお、ボケ修正方法の詳細については、特開２０００−２０６９１号公報などに開示されており、本実施例１での詳細な説明は省略する。

図８は、図７のデフォーカスマップにおける焦点検出結果を撮影レンズ３００のピント位置に置き換えた図で、撮影レンズ３００の予定結像面と、焦点検出結果Ｄｅｆ１、Ｄｅｆ２、Ｄｅｆ３との関係を示したものである。横軸は撮影レンズ３００のピント位置を表しており、「０」を中心にプラス方向は後ピン方向に、マイナス方向は前ピン方向に対応させている。
「０」は撮影レンズ３００の予定結像面位置を示し、ピント位置「０」と表現している。Ｄｅｆ１、Ｄｅｆ２、Ｄｅｆ３は、それぞれ被写体領域Ｔａｒｇｅｔ１、Ｔａｒｇｅｔ２、Ｔａｒｇｅｔ３の焦点検出結果である。Ｄｅｆ１１とＤｅｆ１２は、ボケ修正可能なピント範囲を示す。ボケ量が大き過ぎる場合にはボケ修正時に極端な変換処理が行われ、ノイズが発生しやすい。そのため、ボケ修正する場合には、ボケ量はＤｅｆ１１とＤｅｆ１２の範囲に収まっている必要がある。

ここで、撮影者は被写体領域Ｔａｒｇｅｔ１に対してピント合わせを行っているが、それに対応する焦点検出結果Ｄｅｆ１は、予定決像面位置「０」に対して、若干前ピン側へピント位置がずれている。これは焦点調節手段のノイズ、演算誤差、製造誤差などの様々な誤差によりずれが発生しているためである。また、焦点検出結果Ｄｅｆ１はボケ修正可能なピント範囲Ｄｅｆ１１〜Ｄｅｆ１２内にも含まれる。したがって、本実施例１では、この焦点検出結果Ｄｅｆ１のピントずれによるボケを修正することで、多少ピントがずれた画像であっても、主被写体に鮮鋭にピントが合った画像を形成することが可能となる。なお、このボケ修正可能なピント範囲Ｄｅｆ１１〜Ｄｅｆ１２は撮像素子１４のノイズに関する情報や撮影レンズ３００の情報を元に算出されるが、詳細については後に説明する。

図９は、図８の焦点検出結果を被写体距離に換算した図で、横軸は被写体距離を表している。図において、４４０は撮影者位置で、被写体距離Ｄｉｓｔ１は焦点検出結果Ｄｅｆ１に、被写体距離Ｄｉｓｔ２は焦点検出結果Ｄｅｆ２に、被写体距離Ｄｉｓｔ３は焦点検出結果Ｄｅｆ３に、それぞれ対応している。そして、至近側から被写体距離Ｄｉｓｔ１、Ｄｉｓｔ２、Ｄｉｓｔ３という順で並んでいるのが分かる。したがって、図７で説明したデフォーカスマップは、各被写体領域の焦点検出結果を被写体距離に置き換えて、被写体距離マップと考えることも可能となる。

なお、焦点検出結果から被写体距離を算出する方法としては、撮影レンズ３００の焦点距離やフォーカスレンズ位置情報などを用いて算出することが考えられるが、詳細な説明は省略する。また、撮影レンズ３００の情報が焦点距離情報しかない場合でも、焦点検出結果から周知のニュートンの公式などを用いて簡易的に被写体距離を算出することも可能である。

図１０は、画像処理回路２０に備えられたボケ修正画像処理手段によるボケ修正が行われる前の撮影画像を示したものである。図１０における撮影画像は、図７のデフォーカスマップの場合と同様である。ボケ修正が行われる前の撮影画像は、図１０に示すように、おおよそ被写体領域Ｔａｒｇｅｔ１にピントが合った状態となっているが、若干のピントずれが発生しているため、Ｔａｒｇｅｔ１には若干のボケが生じている。そして、Ｔａｒｇｅｔ２はさらにボケが生じていることが分かる。

図１１は、ボケ修正画像処理手段により撮影画像のボケが修正された後の撮影画像を示したものである。図１１における撮像画像は、図７及び図１０の撮像画像と同じものである。図１１は、被写体領域Ｔａｒｇｅｔ１の焦点検出結果Ｄｅｆ１に基づいて、ボケ修正を行った様子を示したものである。被写体領域Ｔａｒｇｅｔ１における焦点検出結果Ｄｅｆ１に対応したカメラ１００の特性情報及び撮影レンズ３００の特性情報から、ボケ関数を定義する。撮影画像全領域に対して、このボケ関数に基づいたボケ修正処理を行うことで、被写体領域Ｔａｒｇｅｔ１はボケ修正されて、ピントの合った画像となる。一方、被写体領域Ｔａｒｇｅｔ１以外の領域については、上記ボケ修正処理を行うことにより、撮影レンズ３００の焦点位置が焦点検出結果Ｄｅｆ１にピントが合った状態で生じるようなボケが再現される。こうすることで、図１１に示すような、被写体領域Ｔａｒｇｅｔ１だけにピントが鮮鋭にあった画像を取得することが可能となる。

図７〜図１１を用いて説明したように、撮影画面全域のデフォーカスマップが得られるカメラ１００、各被写体の焦点検出結果、カメラ１００の特性情報、撮影レンズ３００の特性情報に基づいてボケ修正することで、多少ピントがボケた画像であってもピントを鮮鋭に修正することが可能となる。

そこで、本実施例１では、このボケ修正によるピントずれの許容幅拡大を利用して、カメラ１００によるレリーズ判定手段の判定閾値を広げる（焦点調節の精度が低下するように閾値を大きくする）ことで、連写撮影速度の高速化を行う。

一般的に、単写撮影時に静止被写体を捕らえる場合、焦点検出装置１０５や撮像素子１４による焦点調節手段で撮影レンズ１００のピントを合わせた後、レリーズ判定の基準として、再度焦点検出動作を行い、所定のピント精度内にあるか否かを判別して、レリーズ動作を許可する。

しかしながら、連写撮影時に移動被写体を捕らえる場合においては、焦点検出に許容される時間は、コマ間のわずかな時間だけとなり、連写撮影速度が高速化するほどこの時間は短くなる。したがって、再度の焦点検出動作によるレリーズ判定を行うことはできず、図６の焦点検出用信号の状態や撮影レンズ３００のフォーカスレンズの停止精度状態などによりレリーズ判定を行うことが一般的である。すなわち、連写撮影中の動体予測ＡＦは、静止被写体時に比べて、速度優先のためレリーズ判定がある程度あまくなるため、ピント合わせ精度の低下してしまう。

そこで、従来例で説明したように、連写撮影中の動体予測ＡＦ時には、レリーズ判定の閾値を厳しくして、ピント合わせの精度を高める例が公開されている。しかしながら、この場合には、逆に連写撮影速度が低下してしまうという問題がある。本実施例１では、主に連写撮影中の動体予測ＡＦ時には、ボケ修正画像処理手段によるボケ修正を用いることで、ピント合わせの精度低下を回復させ、さらには、連写撮影速度の高速化も実現する。

図１２は、本実施例１のカメラが備えるボケ修正撮影モードと動体予測ＡＦモードの設定により、レリーズ判定の閾値と最高連写撮影速度がどのように変わるかを示す図である。閾値は数値で表され、大中小は数値の大きさを示す。大きい方がレリーズ判定の判定条件はあまくなり、焦点調節の精度は低下する。なお、ボケ修正撮影モードとは、図７〜図１１で説明した画像処理回路２０におけるボケ修正画像処理手段によるボケ修正を前提とした撮影を行う場合を示す。また、ボケ修正撮影モードと動体予測ＡＦモードの設定は、図１で説明した操作部７０を操作することにより設定することができる。

まず、ボケ修正撮影モードがＯＦＦの場合について説明する。この場合、動体予測ＡＦモードとして予測ＡＦモード１と予測ＡＦモード２が設定可能となる。予測ＡＦモード１において、レリーズ判定の閾値は従来と同程度の中レベルの設定となり、最高連写撮影速度は１０コマ／秒となる。そして、得られる撮影画像のピント精度は従来例と同レベルとなっている。ここで、レリーズ判定としては、焦点検出信号の信頼性判定、再焦点検出による合焦幅判定、レンズの停止精度判定などが考えられるが、本実施例１ではこれらを組み合わせた判定を行っている。

一方、予測ＡＦモード２において、レリーズ判定の閾値は小レベルの設定となり、最高連写撮影速度は５コマ／秒となり、予測ＡＦモード１の場合に比べて低下してしまう。しかしながら、得られる画像のピント精度は、予測ＡＦモード１の場合に比べて高くなっている。すなわち、これがピントを優先とした動体予測ＡＦモードとなっている。

次に、ボケ修正撮影モードがＯＮの場合について説明する。この場合、予測ＡＦモード３と予測ＡＦモード４が設定可能となる。予測ＡＦモード３において、レリーズ判定の閾値は、ボケ修正撮影モードがＯＦＦの場合の予測ＡＦモード１と同じで中レベルの設定となり、最高連写撮影速度は１０コマ／秒となる。そして、得られる撮影画像のピント精度も予測ＡＦモード１の場合と同レベルとなっている。しかしながら、ボケ修正撮影モードがＯＮの場合においては、その後撮影画像に対してボケ修正画像処理手段によるボケの修正が行われるため、撮影画像のピントはより鮮鋭となり、最終的なピント精度は高精度となっている。

一方、予測ＡＦモード４においては、レリーズ判定の閾値は大レベルの設定となり、最高連写撮影速度は１５コマ／秒となる。すなわち、予測ＡＦモード４はレリーズ判定の閾値を最も拡大し、その代わりに撮影速度を高速化したモードである。したがって、得られる画像のピント精度は、上記３つに比べて、もっとも悪くなる。しかしながら、前記の場合と同様にボケ修正が行われるため、最終的なピント精度は、高精度となる。

なお、本実施例ではボケ修正撮影モードＯＮ時の動体予測ＡＦモードとして、予測ＡＦモード３と予測ＡＦモード４の２つを用意した。これは、ボケ修正画像処理手段によるボケ修正後の撮影画像の画質が、修正するピントずれが大きいほど撮像素子１４のノイズなどの影響を受けて劣化するためである。したがって、ボケ修正撮影モードＯＮ時の予測ＡＦモード３の方が予測ＡＦモード４に比べてよりレリーズ判定を厳しくしているため、撮影画像のピントずれ量も小さくなり、ボケ修正後の画質もより良好である。したがって、撮影者は、ボケ修正撮影モードＯＮを選択した際に、より高画質画像を求める場合は予測ＡＦモード３を選択し、高速撮影を求める場合は予測ＡＦモード４を選択すればよい。また、本実施例１ではボケ修正撮影モードと動体予測ＡＦモードの設定を例に説明したが、これに依らず、ワンショットＡＦモードなどその他の設定状態においてもボケ修正撮影モードは設定可能である。

次に実際のカメラの動作について説明する。図１３は、カメラの動作を説明するためのフローチャートで、システム制御回路５０が行う処理である。そして、図１３のフローチャートはカメラ１００にて静止画像１枚を撮影する場合に対応している。したがって、図１２のように動体予測ＡＦや連写撮影を行う場合には、下記動作フローの所定部分が繰り返し実行されることとなる。

まずステップＳ５０１において、システム制御回路５０はシャッタースイッチＳＷ１が半押しされオンされたかを判別する。シャッタースイッチＳＷ１がオンされた場合のみステップＳ５０２へ進む。

次にステップＳ５０２では、装着された撮影レンズ３００の各種情報を読み取る。撮影レンズ３００からレンズ情報を取得する際には、インターフェース３８により撮影レンズ３００との通信を行い、撮影レンズ３００のレンズ情報を取得する。レンズ情報には、レンズ固有情報、焦点距離、絞り値、フォーカスレンズ位置などの情報が含まれている。

次にステップＳ５０３では、焦点検出装置１０５で得られた焦点検出情報に基づいて焦点調節部４２によりＡＦ処理サブルーチンを実行する。詳細については後に説明する。

次にステップＳ５０４では、所定時間内にシャッターボタンが全押しされてシャッタースイッチＳＷ２がオンされたことを検知すると、ステップＳ５０５へ進む。所定時間内にシャッターボタンが全押しされずシャッタースイッチＳＷ２がオンされなかった場合、ステップＳ５０１に戻り、再びシャッタースイッチＳＷ１オンの検出を行う。

次にステップＳ５０５では、メインミラー１３０とサブミラー１３１を不図示のクイックリターン機構により撮影光束外へ退避させる。

次にステップＳ５０６では、絞り制御部３４４とシャッター制御部３６により絞り３１２とシャッター１２を制御し、撮像素子１４への露光を行い、撮影画像を取得する。なお、本実施例１では、撮像素子１４に焦点検出用の画素が離散的に設けられており、この画素では撮影画像データを取得することができない。そこで、この焦点検出用画素は欠陥画素と同じ扱いとし、周辺の画像データから補間する公知の手法により画像データを形成する。したがって、焦点検出用画素がない場合と同レベルの撮影画像を取得することが可能となる。その後、メモリ３０に一旦格納する。

次にステップＳ５０７では、ボケ修正撮影モードがＯＮか否かを判別する。ボケ修正撮影モードＯＮの場合はステップＳ５０８へ進み、ＯＦＦの場合はステップＳ５１０へ進む。

次にステップＳ５０８では、図７で説明したようなデフォーカスマップ作成のサブルーチンを実行する。詳細な動作については後に説明する。

次にステップＳ５０９では、図１２で説明したようなボケ修正のサブルーチンを実行する。詳細な動作については後に説明する。

次にステップＳ５１０では、撮影画像に対して周知のγ補正、色変換、エッジ強調等の画像処理を行った後に圧縮処理を行い、記録媒体２００、２１０に画像データとして記録する。なお、ステップＳ５０９におけるボケ修正は、線形性のある画像に対して行う必要がある。当ステップの画像変換処理は不可逆処理を含むため、ステップＳ５０９のボケ修正の後の処理としている。

最後にステップＳ５１１では、撮影画像を画像表示部２８に表示する。

以上がカメラ１００の動作となる。

次にステップＳ５０３のＡＦ処理のサブルーチンについて詳細を説明する。図１４はＡＦ処理のサブルーチンを示すフローチャートである。なお、ＡＦ処理のサブルーチンに関する一連の動作も、システム制御回路５０が行う。

図１３のメインフローのステップＳ５０２から当サブルーチンのステップＳ６００にジャンプすると、ステップＳ６０１において、焦点検出装置１０５に備えられた不図示の焦点検出用センサの蓄積動作を開始する。

次にステップＳ６０２では、焦点検出用センサから位相差方式焦点検出を行うに必要な一対の焦点検出用信号を読み出す。

次にステップＳ６０３では、一対の焦点検出用信号に対して周知の相関演算を行い、焦点検出用信号のずれ量を算出する。

次にステップＳ６０４では、ステップＳ６０３で算出された相関演算結果の信頼性を判定する。ここで、信頼性とは一対の焦点検出用信号の一致度を指し、焦点検出用信号の一致度が良い場合は一般的に信頼性が高い。そこで、この一致度や焦点検出用信号のコントラスト情報などをもとに信頼性の判定を行う。

次にステップＳ６０５では、ステップＳ６０４で得られた焦点検出用信号のずれ量に対して、撮影レンズ３００のデフォーカス量（ピントずれ量）に変換する変換係数をかけることで、焦点検出結果であるところのデフォーカス量を算出する。

次にステップＳ６０６では、デフォーカス量に基づいて、フォーカス制御部３４２により撮影レンズ３００の焦点調節を行う。

次にステップＳ６０７では、レリーズ判定用の閾値を決定する。この閾値は図１２で説明したように、ボケ修正撮影モードの設定によって異なる。したがって、図１２に示すようなレリーズ判定閾値をあらかじめメモリ５２などに格納しておき、カメラ１００の各種設定状態に応じてその閾値を呼び出すことで決定する。

なお、ボケ修正撮影モードでは、撮像素子１４のノイズによってボケ修正後の画質が決まる。そこで、撮像素子１４の感度設定、蓄積時間や撮影レンズのＦナンバーなどノイズを左右するパラメータをもとに閾値を算出するようにしてもよい。この場合、ノイズが比較的少ない状況下では、閾値の幅を広げることが可能となる。なお、閾値としては、前に説明したように焦点検出用信号の信頼性、再焦点検出による合焦幅、レンズの停止精度などを閾値として設定している。

最後にステップＳ６０８は、焦点調節手段による焦点調節後にレリーズ指示があった場合にレリーズ可能か否かを判定するステップである。このステップでは、上記レリーズ判定用の閾値に基づきレリーズ動作がＯＫか否かを判定する。つまり、焦点検出結果が閾値（大、中、小）より大きいか小さいかを比較し、閾値より小さい場合にＯＫと判定する。なお、判定条件として、上記閾値の他に、焦点検出用信号の信頼性、再焦点検出による合焦幅、レンズの停止精度を組み合わせた結果などを加えてもよい。ＯＫと判定された場合は、ＡＦ処理サブルーチンを終了し、メインフロー内のステップＳ５０４に進む。一方、ＯＫと判定されない場合は、ステップＳ６０１へ戻り、一連の動作を繰り返す。

次にステップＳ５０８のデフォーカスマップ作成のサブルーチンについて詳細を説明する。図１５はデフォーカスマップ作成のサブルーチンを示すフローチャートである。なお、デフォーカスマップ作成のサブルーチンに関する一連の動作も、システム制御回路５０が行う。

図１３のメインフローのステップＳ５０７から当サブルーチンのステップＳ７００にジャンプすると、ステップＳ７０１において、撮影画像内における焦点検出領域の設定を行う。なお、焦点検出領域は、撮影画像内に複数設けられ、撮影画像の全領域をカバーするように設定されている。また、ステップＳ７０１〜Ｓ７０７までのフローを繰り返し行うことで、撮影画像の全領域における処理を行う。

次にステップＳ７０２では、撮影された画像からステップＳ７０１で設定された焦点検出領域付近の画像データを読み出す。

次にステップＳ７０３では、図５で説明した合成手段９０２と連結手段９０３により一対の焦点検出用信号を作成する。

次にステップＳ７０４〜Ｓ７０６までの処理は、図１４のステップＳ６０３〜ステップＳ６０５と同一なため説明を省略する。

次にステップＳ７０７では、撮影画像内のすべての焦点検出領域について焦点検出結果の算出が完了したか否かを判別する。すべて完了していないと判別されたときには、ステップＳ７０１に戻り、次の焦点検出領域が選択され、ステップＳ７０１〜Ｓ７０７までの処理が繰り返される。すべての焦点検出領域が完了したと判別されたときには、ステップＳ７０８に進む。

最後にステップＳ７０８では、ステップＳ７０１〜Ｓ７０７を繰り返すことで得られたすべての焦点検出領域における焦点検出結果から、撮影画面内の焦点検出結果の分布、すなわちデフォーカスマップを作成する。デフォーカスマップの作成にあたっては、得られた焦点検出結果の分布の中で、値の近い領域をつなぎ合わせてグルーピングし、撮影画像内に含まれる被写体の輪郭を抽出する。これにより、各被写体の領域と焦点検出結果を対応させたデフォーカスマップが得られることになる。なお、このデフォーカスマップは図９で説明したように被写体距離に換算できるため、被写体距離マップとすることも可能である。

ステップＳ７０８が終わったら、デフォーカスマップ作成サブルーチンを終了し、メインフロー内のステップＳ５０９に進む。

次にステップＳ５０９のボケ修正のサブルーチンについて詳細を説明する。図１６はボケ修正のサブルーチンを示すフローチャートである。なお、ボケ修正のサブルーチンに関する一連の動作も、システム制御回路５０が行う。

図１３のメインフローのステップＳ５０８から当サブルーチンのステップＳ８００にジャンプすると、まずステップＳ８０１では、ステップＳ５０８で作成したデフォーカスマップを取得する。

次にステップＳ８０２では、ボケ修正を行う被写体領域（ボケ修正領域とも記す）を設定する。また、その被写体領域における焦点検出結果も設定される。例えば、図７を用いると、被写体領域Ｔａｒｇｅｔ１とそのときの焦点検出結果Ｄｅｆ１が設定されることとなる。

次にステップＳ８０３では、メモリ３０に格納された画像データを取得する。なお、画像データとしては、ステップＳ８０２で設定されたボケ修正領域（被写体領域）近辺のみの画像データを取得すればよい。

次にステップＳ８０４では、ステップＳ８０２で設定されたボケ修正領域（被写体領域）に対応するボケ関数をＳ８０２で設定された焦点検出結果をもとに作成する。

次にステップＳ８０５では、ステップＳ８０４で作成したボケ関数を逆変換する。そして、この逆変換したボケ関数を画像データに対して処理することによりボケ修正処理を行う。なお、本実施例１では、一般的にデコンボリューション処理と呼ばれる画像復元アルゴリズムによってボケ修正処理を行う。なお、ボケ関数の逆変換処理によるボケ修正の方法は、特開２０００−２０６９１号公報に開示されているため、説明は省略する。

次にステップＳ８０６では、撮影画面内のボケ修正するすべての被写体領域に対して、ステップＳ８０１〜Ｓ８０５の処理が完了したか否かを判別する。完了した場合、ボケ修正サブルーチンを終了し、メインフロー内のステップＳ５１０に進む。一方、完了していない場合はステップＳ８０１へ戻る。なお、本実施例１の場合、修正するボケ量は、図１２によるレリーズ判定の閾値を広げたために生じるピントずれによるものなので、さほど大きくない。したがって、ボケ修正を行う被写体領域は主被写体のみとしてもよく、その方が処理負荷を低減することが可能となる。

次にステップＳ８０４のボケ関数作成のサブルーチンについて詳細を説明する。図１７はボケ関数作成のサブルーチンを示すフローチャートである。なお、ボケ関数作成のサブルーチンに関する一連の動作も、システム制御回路５０が行う。

図１６のサブルーチンのステップＳ８０３から当サブルーチンのステップＳ９００にジャンプすると、まずステップＳ９０１では、図１３のステップＳ５０２で通信を行って取得した撮影レンズ情報の中からボケ関数作成に必要な撮影レンズ特性情報を取得する。

次にステップＳ９０２では、ボケ関数を算出する際に用いるパラメータを算出する。ボケ関数は、撮影レンズ３００と撮像素子１４との間の光伝達特性によって決まる。そしてこの光伝達特性は、撮影レンズ３００の特性情報、撮像素子１４の特性情報、撮影画像内における被写体領域の位置、焦点検出結果などの複数要因によって変化する。そこで、ステップＳ９０２では、各要因をもとにシステム制御回路５０によりパラメータを算出する。

次にステップＳ９０３では、ステップＳ９０２で算出したボケ関数用のパラメータに基づいて、ボケ関数を決定する。ボケ関数の例としては、ボケ強度分布を正規分布関数で近似したガウシアン分布などがある。中心画素からの距離をｒ、ボケ広がり幅に関する係数をσとすると、ボケ関数ｈ（ｒ）は、下記のように与えられる。
ｈ（ｒ）＝｛１／σ√（２π）｝・ｅｘｐ（−ｒ^２／σ^２）・・・（１）
したがって、ステップＳ９０２のパラメータ算出においては、各要因をもとにこのｒとσを算出する。そして、ステップＳ９０３が終わったら、ボケ関数作成サブルーチンを終了し、ボケ修正サブルーチン内のステップＳ８０５に進む。

以上のような動作フローにより、本実施例１ではボケ修正撮影モードの設定に応じてレリーズ判定の判定条件を変更し、撮影を行い、撮影画像に対してボケ修正を行う。

なお、上記動作フローでは、１枚の画像を撮影する度にボケ修正画像処理手段にてボケ修正を行う構成としたが、ボケ修正の演算負荷や消費電力が大きい場合は、複数枚の撮影画像をメモリ３０などに一旦格納しておき、撮影後にまとめて行うようにしてもよい。

また、上記動作フローでは、撮影レンズ３００のピント合わせには焦点検出装置１０５を用い、ボケ修正を行うためのデフォーカスマップ作成には撮像素子１４による焦点検出手段を用いる構成としたが、両者共に撮像素子１４による焦点検出手段を用いる構成としてもよい。その際は、先にメインミラー１３０とサブミラー１３１を撮影光束外へ退避させてからステップＳ５０３のＡＦ処理を行うこととなる。そして、被写体の観察には光学ファインダ１０４が使用できなくなるため、画像表示部２８を用いたライブビュー撮影を行うのがよい。また、このような構成とすることで動画撮影にも対応が可能となる。

以上のように本実施例１では、撮影レンズ３００が交換可能なカメラ１００を用いて説明したが、撮影レンズが固定されているタイプのカメラに適用してもよい。また、静止画撮影の動作フローのみを説明したが、動画撮影時にも適用可能である。また、ボケ修正を行うためのデフォーカスマップを作成する焦点調節手段としては、撮像素子１４を用いたが、これに限定されることなく焦点検出装置１０５や外測三角測距タイプの焦点検出手段を用いてもよい。

以上、本発明の好ましい実施例１について説明したが、本発明はこの実施例１に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

実施例１ではカメラ１００にボケ修正画像処理手段が内蔵されるが、実施例２は、ボケ修正画像処理手段によるボケ修正をカメラ以外の外部機器で行うことを前提とした例である。ボケ修正画像処理は演算負荷が非常に大きいため、より演算処理能力の高いＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）などの外部機器でボケ修正を行うことにより、カメラ１００の処理を低減することができる。したがって、カメラとしてはより高速な撮影を行うことが可能となる。なお、基本的な構成は実施例１と同様なため詳細な説明は省略する。

図１８は、実施例２のカメラの動作を説明するためのフローチャートで、システム制御回路５０が行う処理である。そして、図１８のフローチャートはカメラ１００にて静止画撮影を行う場合に対応している。

ステップＳ１００１〜Ｓ１００５までは、実施例１の図１３のステップＳ５０１〜Ｓ５０５と同様なため説明を省略する。

ステップＳ１００６では、絞り制御部３４４とシャッター制御部３６により絞り３１２とシャッター１２を制御し、撮像素子１４への露光を行い撮影画像を取得する。

次にステップＳ１００７では、ボケ修正撮影モードがＯＮか否かを判別する。ボケ修正撮影モードＯＮの場合はステップＳ１００８へ進み、ＯＦＦの場合はステップＳ１００９へ進む。

次にステップＳ１００８では、焦点検出用画素データの格納との焦点検出用画素の補間処理を行う。まず、撮像素子１４に離散的に設けられた焦点検出用画素のデータのみを読み出し、記録媒体２００、２１０に焦点検出用画像データとして記録する。このとき、焦点検出用画像データは、後に記録される撮影画像データとの関連を付けて記録される。

次に、実施例１と同様に焦点検出用画素を欠陥画素と同じ扱いとし、周辺の画像データから補間する公知の手法により撮影画像としての画像データを形成する。

次にステップＳ１００９では、撮影画像に対して周知のγ補正、色変換、エッジ強調等の画像処理を行った後に圧縮処理を行い、記録媒体２００、２１０に撮影画像データとして記録する。なお、前述したように撮影画像データとステップＳ１００８で格納される焦点検出用画像データは関連付けて記録される。したがって、後に外部機器において、デフォーカスマップを作成し、ボケ修正を行うことが可能となる。

最後にステップＳ１０１０では、撮影画像を画像表示部２８に表示する。

以上が実施例２のカメラの動作となる。その後、外部機器において、記録媒体２００、２１０内に格納された撮影画像データと焦点検出用画像データを読み出し、図１５、図１６にて説明したデフォーカスマップ作成とボケ修正を行う。

以上のように、実施例２ではボケ修正撮影モードの設定に応じてレリーズ判定の判定条件を変更し、撮影を行い、外部機器でデフォーカスマップ作成とボケ修正を行うことを前提とした動作処理とした。したがって、カメラ１００の処理は実施例１に比べて大幅に低減できるため、より高速な撮影が可能となる。

１００カメラ
３００撮影レンズ
１４撮像素子
２０画像処理回路
４２焦点調整部
５０システム制御回路
７０操作部
１０５焦点検出装置

Claims

撮影レンズの焦点調節を行う焦点調節手段と、
前記焦点調節手段による焦点調節後にレリーズ指示があった場合にレリーズ可能か否かを判定するレリーズ判定手段と、
撮影画像に対してボケ修正画像処理手段によるボケ修正を行うことを前提としたボケ修正撮影モードを設定する操作手段と、
前記ボケ修正撮影モードが設定されている際には、前記ボケ修正撮影モードが設定されていない場合に比べて、前記レリーズ判定手段の判定条件を焦点調節の精度が低下するように変更する制御手段とを有することを特徴とする撮像装置。
前記ボケ修正画像処理手段は、撮像装置に内蔵されることを特徴とする請求項１に記載の撮像装置。
前記ボケ修正画像処理手段は、撮影画像の読み出しが可能な外部機器に備えられることを特徴とする請求項１に記載の撮像装置。
撮影レンズの焦点調節後にレリーズ指示があった場合にレリーズ可能か否かを判定するレリーズ判定工程と、
撮影画像に対してボケ修正画像処理手段によるボケ修正を行うことを前提としたボケ修正撮影モードが設定されている際には、前記ボケ修正撮影モードが設定されていない場合に比べて、前記レリーズ判定工程の判定条件を焦点調節の精度が低下するように変更する制御工程とを有することを特徴とする制御方法。