JP2008252226A

JP2008252226A - 撮像装置

Info

Publication number: JP2008252226A
Application number: JP2007087771A
Authority: JP
Inventors: Keiichi Nitta; 啓一新田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2007-03-29
Filing date: 2007-03-29
Publication date: 2008-10-16

Abstract

【課題】
フォーカスロック時に距離画像を作成した場合、フォーカスロック後に構図を変えて撮影すると、撮影画像と距離画像との位置がずれるという問題があった。
【解決手段】
複数のレンズを有する撮像光学系を介して入射した被写体光を光電変換する撮像部と、撮像部により光電変換された被写体画像データを記憶する記憶部と、撮像部による画像信号の取得を指示する撮像指示部材と、撮像領域内の複数の位置にそれぞれ対応する複数の焦点評価領域のデフォーカス情報を検出する焦点検出部と、複数の焦点評価領域の少なくとも一つの焦点評価領域のデフォーカス情報に基づき、撮像光学系の焦点状態を調整する焦点制御部と、撮像指示部材の操作に応じて、全ての焦点検出領域に対応するデフォーカス情報又は該デフォーカス情報を基に算出された距離情報を、該撮像指示部材の操作に応じて取得された画像データに関連付けて記憶部に記憶する制御部とを設けた。
【選択図】図１

Description

本発明は、デジタルカメラなどオートフォーカス（ＡＦ）機能を有する撮像装置に関する。

画像を撮影する際に測距装置によって得られる複数の測距点の値に基づいて距離画像を作成し、距離画像から人物部分の領域を検出する撮像装置が知られている（例えば、特許文献１参照）。
複数のＡＦエリアの一部を被写体に応じて選択しておき、撮影時にレリーズボタンを半押しすると、選択したＡＦエリアのデフォーカス情報からレンズのフォーカス制御を開始し、合焦位置でレンズを停止させフォーカスをロックする。さらにフォーカスロックしたまま（レリーズボタンを半押しした状態）で、撮像装置を上下左右に動かして構図を定めた後、レリーズボタンを全押しして撮影を行うことが可能な撮像装置が知られている（例えば、特許文献２参照）。
特開２００５−１２３０７号公報特開平０１−２７３０２３号公報

ところが、従来の撮像装置のように、フォーカスロックした状態のデフォーカス情報から距離画像を作成した場合、フォーカスロック後に構図を変えて撮影すると、撮影画像とデフォーカス情報から生成された距離画像との位置がずれて対応が取れなくなってしまうという問題があった。

本発明に係る撮像装置は、複数のレンズを有する撮像光学系を介して入射した被写体光を光電変換する撮像部と、前記撮像部により光電変換された被写体画像データを記憶する記憶部と、前記撮像部による画像信号の取得を指示する撮像指示部材と、撮像領域内の複数の位置にそれぞれ対応する複数の焦点評価領域のデフォーカス情報を検出する焦点検出部と、前記複数の焦点評価領域の少なくとも一つの焦点評価領域のデフォーカス情報に基づき、前記撮像光学系の焦点状態を調整する焦点制御部と、前記撮像指示部材の操作に応じて、全ての前記焦点検出領域に対応するデフォーカス情報又は該デフォーカス情報を基に算出された距離情報を、該撮像指示部材の操作に応じて取得された前記画像データに関連付けて前記記憶部に記憶する制御部とを有することを特徴とする。

さらに、前記焦点制御部による前記撮像光学系の焦点状態の調整を指示する焦点調節指示部材を有し、前記焦点制御部は、前記焦点調節指示部材の操作に応じて前記撮像光学系を合焦状態に一旦調整した後は、再度焦点調節指示部材が操作されるまで前記撮影光学系の焦点調節を停止させることを特徴とする。
特に、前記焦点検出部は、前記焦点調節が停止した後も焦点評価値情報を継続して検出することを特徴とする。

さらに、前記撮像光学系から入射した入射光を前記焦点検出部へ反射させる第１位置から、前記撮像光学系の光軸から待避した第２の位置へと移動可能なミラーを有し、前記制御部は、前記撮像指示部材の操作に応じて全ての前記焦点検出領域に対応するデフォーカス情報を前記焦点検出部から取得した後に、前記ミラーを前記第１位置から前記第２位置へ駆動させることを特徴とする。

特に、前記焦点検出部から連続して出力されるデフォーカス情報を記憶する記憶手段を有し、前記制御部は、前記ミラーを前記第１位置から前記第２位置に移動する直前に取得され前記記憶部に記憶されたデフォーカス情報又は該デフォーカス情報を基に算出された距離情報を、該撮像指示部材の操作に応じて取得された前記画像データに関連付けて前記記憶部に記憶することを特徴とする。

さらに、被写体を照明する照明部を有し、前記制御部は、前記全ての焦点検出領域から対応するデフォーカス情報を検出する際に前記照明部により被写体を照明させることを特徴とする。
また、前記記憶部に記憶された画像データに関連付けられたデフォーカス情報又は距離情報を基に該画像データを複数の分割領域に分割する画像領域分割部を有することを特徴とする。

特に、前記画像領域分割部は、前記分割領域に少なくとも一つの前記焦点検出領域に対応する領域が含まれるよう画像データを分割することを特徴とする。
或いは、前記画像領域分割部は、複数の前記デフォーカス情報又は距離情報の内、差が所定値以下となる焦点検出領域が対応する領域が一つの領域となるよう画像データを分割することを特徴とする。

さらに、前記分割された複数分割領域ごとに前記画像データの特徴点を抽出する画像特徴点抽出部を有することを特徴とする。

本発明によれば、フォーカスロック後に構図を変えて撮影しても、撮影画像と距離画像との位置のずれを少なくすることができる。

以下、図面を参照して本発明の各実施形態について詳しく説明する。
（第１の実施形態）
図１は第１の実施形態に係る撮像装置１０１を示す側面図である。撮像装置１０１はカメラ本体１０２と、撮影レンズ１０３を含む撮影光学系が収容された撮影レンズユニット１０４とで構成される。

カメラ本体１０２は、後述の撮影機構と、レリーズボタンなどが配置された操作部１０５と、制御部１０６と、画像処理部１０７と、メモリ１０８と、液晶モニタ１０９と、メモリカード１１０とを有している。
また、撮影機構として、カメラ本体１０２の中心部には、光軸に沿ってミラーボックス１１１と、フォーカルプレーンシャッタ１１２と、撮像素子１１３とが配置され、カメラ本体１０２の上部領域には、後述の光学ファインダ系が配置されている。さらに、カメラ本体１０２には、レンズ駆動部１１４と、ミラー駆動部１１５と、ＡＦ（オートフォーカス）センサ１１６と、ＡＦ（オートフォーカス）用補助光源１１７とが配置されている。

ここで、ミラーボックス１１１について説明する。ミラーボックス１１１の内部には、観察位置と退避位置とに切り替え可能なクイックリターンミラー１１８と、クイックリターンミラー１１８の背面に付設されたサブミラー１１９とが配置されている。観察位置でのクイックリターンミラー１１８は、フォーカルプレーンシャッタ１１２および撮像素子１１３の前方で傾斜しており、撮影レンズユニット１０４から撮像素子１１３までの撮影光路に対してクイックリターンミラー１１８が交差した状態にある。この観察位置のクイックリターンミラー１１８は、撮影レンズユニット１０４を通過した光束を上方に反射させてファインダ光学系に導くようになっている。一方、退避位置のクイックリターンミラー１１８は、点線で示したように、観察位置の上方に跳ね上げられて撮影光路から外れた状態にある。この退避位置では、撮影レンズユニット１０４を通過した光束はフォーカルプレーンシャッタ１１２および撮像素子１１３に導かれ、撮像素子１１３によって被写体像を撮影することができる。また、クイックリターンミラー１１８の中央部は光を透過するハーフミラーになっている。そして、観察位置のクイックリターンミラー１１８を透過した光束は、サブミラー１１９によって下方に反射され、ＡＦセンサ１１６に導かれる。

クイックリターンミラー１１９によって反射された被写体像は、不図示の二次結像レンズによりＡＦセンサ１１６上に再結像される。このような撮影レンズ１０３の焦点状態を検出する焦点検出光学系を、撮像素子１１３の撮影画面上の複数の位置に対応付けて複数設け、撮影画面内の複数のエリアにおける焦点検出状態が検出され、いわゆる位相差ＡＦ動作が実行される。

一方、光学ファインダ系は、焦点板１２０と、コンデンサレンズ１２１と、ペンタプリズム１２２と、接眼レンズ１２３とを有している。焦点板１２０は、ミラーボックス１１１の上方に位置し、観察位置のクイックリターンミラー１１８で反射された光束を一旦結像させる。焦点板１２０上で結像した光束はコンデンサレンズ１２１およびペンタプリズム１２２を通過し、ペンタプリズム１２２の入射面に対して９０°偏向した射出面からカメラ本体１０２の後方に導かれ、接眼レンズ１２３を介してファインダを覗く撮影者の眼に投影される。尚、操作部１０５のレリーズボタンを押すと、観察位置のクイックリターンミラー１１８およびサブミラー１１９を跳ね上げて待避位置に移動するよう制御部１０６はミラー駆動部１１５に指令する。また、焦点板１２０上で結像した光束の一部は、コンデンサレンズ１２１およびペンタプリズム１２２を通過して、ペンタプリズム１２２の近傍に設けられたＡＥセンサ１２４に導かれ、被写体の輝度値の測定を行う。

画像処理部１０７は、撮像素子１１３の出力に基づいて画像データを生成する。液晶モニタ１０９はカメラ本体１０２の背面に設けられ、撮像素子１１３で撮影した画像や、操作部１０５でカメラ本体１０２を操作する際の操作メニューや設定内容などが表示される。制御部１０６は、予め記憶されたプログラムに基づいて、カメラ本体１０２の各部の動作を制御する。例えば、使用するフォーカスモードやＡＦエリアの設定、ＡＦ演算やＡＥ演算、液晶モニタ１０９の表示制御、レンズ駆動部１１４の制御、ミラー駆動部１１５の制御などを実行する。

次に、ＡＦセンサ１１６について説明する。図２は、ＡＦセンサ１１６が焦点状態の測定（フォーカス測定）を行う領域（ＡＦエリア）を撮像素子１１３上の撮像画面２００に対応付けて＋印で示してある。使用者は、操作部１０５を操作して、撮影レンズ１０３のフォーカスを合わせる際に使用するＡＦエリア（焦点評価領域）を選択する。例えば、図２の撮影画面２００ａの場合は、制御部１０６はＡＦセンサ１１６から、領域２５１で示したＡＦエリア２０８，２１２，２１３，２１４，２１８の５つのＡＦエリアのデフォーカス量（合焦位置からのずれ）を入力して、レンズ駆動部１１４に撮影レンズ１０３を合焦位置に移動するよう指令を行う。同様に、図２の撮影画面２００ｂの場合は、制御部１０６はＡＦセンサ１１６から、領域２５２で示したＡＦエリア２０９，２１４の２つのＡＦエリアのデフォーカス量を入力して合焦位置を求め、レンズ駆動部１１４に撮影レンズ１０３を合焦位置に移動するよう指令を行う。尚、図２の例ではＡＦエリア２０１から２２５までの２５個のＡＦエリアを設けているが、ＡＦエリアの数は２，３個であっても構わないし、撮像素子１１３の画素毎に設けても構わない。また、オートフォーカス制御（自動合焦動作）に使用するＡＦエリアは、ＡＦセンサ１１６の全てのＡＦエリアを用いても構わないし、１つでも構わない。さらに、ＡＦエリア２０１と２２５などのように隣接していないＡＦエリアを組み合わせても構わない。

このようにして、使用者は、撮影する画像に合わせてフォーカス制御を行う領域を自由に選択することができる。ここで、本実施形態における撮影時の操作の流れを図３を用いて説明する。図３において、画面２００中の＋印は図２で説明したＡＦエリアを示しており、図３では中央のＡＦエリア２１３のみを用いて撮影レンズ１０３のフォーカス制御を行う例について示している。先ず、撮影する被写体に撮像装置１０１の撮影レンズ１０３を向けてファインダ画面３００を視野に捉える。この状態で、操作部１０５のレリーズボタンを半押しすると、自動合焦動作を開始し、制御部１０６はＡＦセンサ１１６からＡＦエリア２１３のデフォーカス量を入力して合焦位置を求め、レンズ駆動部１１４に撮影レンズ１０３を合焦位置に移動するよう指令を行う。この状態で、ファインダ画面３００の中央の人物に焦点が合わせられ、撮影レンズ１０３の位置が固定される（撮影レンズ１０３の駆動が停止される）。そのままレリーズボタンを全押しすると、ファインダ画面３００の構図の画像を撮影することができる。ここで、例えば、背景の山を中心とした構図に変えたい場合は、レリーズボタンの半押し状態を維持したままで、撮像装置１０１を右に振ってファインダ画面３０１のように構図を変更した後、レリーズボタンを全押しすると、ファインダ画面３０１の構図の画像を撮影することができる。

この時、レリーズボタンを半押しした状態（撮影レンズ１０３の駆動が停止された状態）で構図を変えているので、焦点は人物に合った状態のままである。このためレリーズボタンの全押し時点で、制御部１０６にＡＦセンサ１１６からデフォーカス量が入力されなくても、人物に焦点の合った適切な静止画撮影を行うことができる。ここで、本実施形態に係る撮像装置１０１では、さらにレリーズボタンの全押し操作時に、制御部１０６は、ＡＦエリア２０１から２２５の全ＡＦエリアのデフォーカス量をＡＦセンサ１１６から取得し、撮像素子１１３から取り込んだ画像データに関連付けてメモリ１０８に記憶する。尚、本実施形態では、図３に示されるように、レリーズボタンを半押しした時点では、撮影レンズ１０３を合焦状態に導くためのフォーカス制御は行うが、距離画像を得るためのデフォーカス量の取り込みは行わず、レリーズボタンを全押し操作した時点で、距離画像を得るためのデフォーカス量の取り込みを行う。

次に、本実施形態に係る撮像装置１０１の一連の動作について、図４を用いて詳しく説明する。
図４は、制御部１０６の処理を示したフローチャートである。ステップＳ５０１で撮像装置１０１の撮影処理を開始する。
（ステップＳ５０２）撮影者は、撮像装置１０１の撮影レンズ１０３を被写体に向け、操作部１０５のレリーズボタンを半押しする。
（ステップＳ５０３）ステップＳ５０２でレリーズボタンを半押しした時に、制御部１０６が、ＡＥセンサ１２４から入力した輝度値情報から、被写体が暗い（輝度値が所定値より低い）と判断した場合、ＡＦ用補助光源１１７を投光させる。尚、被写体が十分に明るい（輝度値が所定値より高い）と判断した場合は、このステップは行わない。
（ステップＳ５０４）レリーズボタンを半押しした状態で、制御部１０６は、前述のようにＡＦセンサ１１６の予め指定したＡＦエリアからデフォーカス量を取り込んで、撮影レンズ１０３の合焦位置を求める。
（ステップＳ５０５）制御部１０６は、ステップＳ５０５で求めた合焦位置に撮影レンズ１０３を合わせるように、レンズ駆動部１１４に指令する。
（ステップＳ５０６）レンズ駆動部１１４により、撮影レンズ１０３を合焦位置に移動させてフォーカスを固定する。

すなわち、レリーズボタンの半押し状態が維持されている間は撮影レンズ１０３の位置が固定され焦点状態が維持されている（フォーカスロック）。なお、フォーカスロック後は、レリーズボタンの半押状態が解除され、再度レリーズボタンが半押しされるまで撮影レンズ１０３の焦点調節動作は行われない。
（ステップＳ５０７）撮影者は、レリーズボタンを半押ししたまま撮像装置１０１を左右上下に動かして、ファインダ画面を見ながら撮影する構図を修正する。
（ステップＳ５０８）撮影者は、気に入った構図になったら、半押ししていたレリーズボタンをそのまま全押しして画像の撮影操作を行う。レリーズボタンが全押しされると、制御部１０６は、操作部１０５のレリーズボタンが全押しされたことを認識する。
（ステップＳ５０９）レリーズボタンの全押し操作が認識されると、ステップＳ５０２と同様に、被写体が暗い（輝度値が所定値より低い）と判断した場合、ＡＦ用補助光源１１７を投光させる。
（ステップＳ５１０）制御部１０６は、ＡＦセンサ１１６の全ＡＦエリアからデフォーカス量を取り込んで、メモリ１０８に記憶する。

ＡＦ補助光源１１７が投光されている場合は、ＡＦセンサ１１６によるデフォーカス量の取得が終了した後にＡＦ補助光源１１７を消灯する。
なお、デフォーカス情報としてのデフォーカス量にかえてデフォーカス量に所定の演算を施して算出された値をデフォーカス情報としてメモリ１０８に記憶するとしても良い。例えば、デフォーカス量に所定の演算を施して算出された各焦点評価領域に対応する被写体までの距離情報や、各焦点評価領域に対する被写体同士の相対的な距離情報等をデフォーカス情報（距離情報）としてメモリ１０８に記憶する。
（ステップＳ５１１）制御部１０６は、ミラー駆動部１１５に指令して、ミラーボックス１１１のクイックリターンミラー１１８およびサブミラー１１９を待避位置に待避させる。
（ステップＳ５１２）制御部１０６は、フォーカルプレーンシャッタ１１２を所定のシャッタ速度で開き、撮像素子１１３で光電変換された画像信号を画像処理部１０７で処理した結果得られた画像データを取り込んで、メモリ１０８に記憶する。

なお、ステップＳ５１０で取得されたデフォーカス情報及び、ステップＳ５１２で取得された画像データは互いに関連付けられてメモリ１０８に記憶される。
（ステップＳ５１３）制御部１０６は、フォーカルプレーンシャッタ１１２を閉じると共に、ミラー駆動部１１５に指令して、ミラーボックス１１１のクイックリターンミラー１１８およびサブミラー１１９を待避位置から観察位置に復帰させる。
（ステップＳ５１４）以上の撮影動作を終了して、再び、撮影待機状態に戻る。

尚、上記のフローチャートでは、ステップＳ５０８でレリーズボタンを全押ししてから撮影動作が終了するまでの処理を細かく分けて説明したが、実際には、ステップＳ５０８からＳ５１３までの動作は、非常に短い時間内に行われる。
また、本実施形態では、レリーズボタンを半押しした時は、ステップＳ５０４において撮影レンズ１０３の合焦位置を求めるためだけに、ＡＦセンサ１１６の予め指定したＡＦエリアに対応する各デフォーカス量を取り込むようにし、レリーズボタンを全押しした時にＡＦセンサ１１６の全ＡＦエリアに対応する各々のデフォーカス量を取り込むようにしたが、レリーズボタンを半押しした時点からＡＦセンサ１１６の全ＡＦエリアに対応する各々のデフォーカス量を連続して読み取り続けるようにして、ステップＳ５１１においてクイックリターンミラー１１８およびサブミラー１１９を待避位置に待避させる直前に読み取った各々のデフォーカス量をメモリ１０８に記憶するようにしても構わない。

また、レリーズボタンを半押ししたときは、ステップＳ５０４において撮影レンズ１０３の合鯉位置を求めるためだけに、ＡＦセンサ１１６の予め指定したＡＦエリアのデフォーカス量を取り込むようにし、撮影レンズ１０３が合焦状態となって、撮影レンズ１０３の駆動が停止された後に、全ＡＦエリアのデフォーカスデータを継続して読みとり続けるようにして、ステップＳ５１１においてクイックリターンミラー１１８およびサブミラー１１９を待避位置に待避させる直前に読み取ったデフォーカスデータをメモリ１０８に記憶するようにしても構わない。

このように、本実施形態に係る撮像装置１０１は、撮影者が撮影を意図した時点、つまりレリーズボタンを全押し操作した時点でＡＦセンサ１１６の全てのＡＦエリアのデフォーカス量を取り込むので、撮影画像と距離画像との間の位置関係のずれが少なくなり、両画像を正確に対応づけることができる。
なお、本実施形態では、ＡＦセンサ１１６を有する一眼レフカメラを想定して、ＡＦセンサ１１６を用いて周知の位相差方式によりデフォーカス情報（焦点評価値情報）を得る例について説明したが、被写体の深度方向の位置関係が取得できればその検出方式はどのようなものであっても良い。例えば、撮像素子１１３の画素の一部に位相差検出方式のセンサを設け、これによりデフォーカス量を算出するものでも良い。また撮影レンズの焦点調節光学系を駆動しながら取得した被写体画像のコントラスト値（焦点評価値）を評価し、撮影レンズの合焦位置を決定するコントラストＡＦ方式を用いても良い。この場合、焦点調節光学系を駆動しながら各ＡＦエリアごとの合焦時の撮影レンズの焦点調節光学系の位置を記憶して行き、該撮影レンズの焦点調節光学系の位置（およびレンズの焦点距離等の情報）を用いて各ＡＦエリアでの被写体の深度方向の位置関係（所定の合焦位置からのずれ）を算出することによりデフォーカス量を算出すればよい。

次に、撮影時にＡＦセンサ１１６から得られた全ＡＦエリアのデフォーカス量または距離情報を利用して、撮影画像を分離または合成する処理について説明する。特に、本実施形態に係る撮像装置１０１は、図５に示すように、撮影画像の領域を例えばブロック状に分割する。図５において、６００が全ＡＦエリアの配置を撮影画面に対応付けて示した画面、６０１は撮影画像を分割する領域（Ｂ１からＢ２５）を示した画面、６０２は分割する領域を示した画面６０２にＡＦエリアの配置を示した画面６０１を重ね合わせた画面、をそれぞれ示している。

このように、本実施形態では、分割された撮影画像の各ブロック領域に少なくとも１つのＡＦエリアが含まれるように構成されている。尚、図５では１つの分割領域に１つのＡＦエリアが含まれる例について示したが、１つの分割領域に複数のＡＦエリアが含まれるように分割しても構わない。特に、１つの分割領域に複数のＡＦエリアを含む場合は、複数のＡＦエリアのデフォーカス量を平均化して、その領域のデフォーカス量としても構わない。或いは、領域の中心部に位置するＡＦエリアのデフォーカス量と、領域の周辺部に位置するＡＦエリアのデフォーカス量とに重み付けを行うようにしても構わない。例えば、１つの分割領域に２つのＡＦエリアが含まれる場合、分割領域内の中心部のＡＦエリアのデフォーカス量に０．７の重み付けを行い、分割領域内の周辺部のＡＦエリアのデフォーカス量に０．３の重み付けを行って加算した値をその分割領域のデフォーカス量とする。

ここで、距離画像について、図６を用いて説明する。尚、図６では説明を簡単にするために、分割領域の数を９とし、各分割領域には１つのＡＦエリアが含まれるものとしている。各ＡＦエリアに対応する分割領域はＡＦ１からＡＦ９で示されている。今、ファインダ画像３００の構図の時にＡＦセンサ１１６から入力した全ＡＦエリアのデフォーカス量を距離に変換すると、距離画像４００が得られる。尚、図６の例では、各分割領域の距離データ（情報）を、各分割領域内のＡＦエリアのデフォーカス量（情報）から演算によって求められる距離データで代表して表すものとしている。図６の距離画像４００では、簡単のために、各ＡＦエリアに対応する被写体までの撮影距離が近いか遠いかで表示している。距離画像４００において、画面の中央部分に位置するＡＦエリアに対応する分割領域ＡＦ５とＡＦ８は、ファインダ画像３００の中央部分の人物位置に相当するので、撮像装置１０１と被写体（人物）との距離が近いことがわかる。逆に、ＡＦ５とＡＦ８を除く背景部分に位置する分割領域では、撮像装置１０１と被写体（背景部分）との距離が遠いことがわかる。

一方、背景の山を画面の中心とした構図に変えた場合は、撮影しようとする画像はファインダ画像３０１のようになり、この構図の時にＡＦセンサ１１６から入力した全ＡＦエリアのデフォーカス量を距離に変換すると、距離画像４０１が得られる。つまり、人物が立っている位置にあるＡＦ４およびＡＦ７の分割領域では被写体（人物）までの撮影距離が近く、それ以外の分割領域では被写体（背景）までの撮影距離が遠くなる。

このようにして、本実施形態に係る撮像装置１０１は、ＡＦセンサ１１６から入力する全ＡＦエリアのデフォーカス量から得られる距離画像を基にして、撮影画像の中の人物領域を判別することができる。特に、本実施形態では、レリーズボタンを半押ししてフォーカスをロックしたタイミングではなく、レリーズボタンを全押しして画像を撮影したタイミングで、ＡＦセンサ１１６から全ＡＦエリアのデフォーカス量を取り込んで距離画像を得るようにしたので、実際に撮影される撮影画像と距離画像との位置のずれをなくすことができる。例えば、図６において、レリーズボタンを半押ししてフォーカスロックした時の構図をファインダ画像３００とし、その後、レリーズボタンを全押しして画像を撮影した時の構図をファインダ画像３０１とした場合、レリーズボタンを半押しした時の距離画像は距離画像４００になるので、実際に撮影されるファインダ画像３０１と距離画像４００との位置が対応しなくなってしまう。これに対して、本実施形態では、レリーズボタンを全押しした時の距離画像４０１を得ることができるので、実際に撮影されるファインダ画像３０１と距離画像４０１との位置が正確に対応する。

次に、ファインダ画像３０１を距離画像４０１に基づいて分離する処理について説明する。図６の距離画像４０１において、被写体までの撮影距離が近い部分の領域と被写体までの撮影距離が遠い部分の領域とを区別することができるので、例えば、撮影距離が近い部分の位置に相当するファインダ画像３０１の領域を分離することで、人物部分の領域を抽出することができる。逆に、撮影距離が遠い部分を抽出すると、背景の山の部分の領域を抽出することができる。

このように、デフォーカス量や距離画像の領域毎の類似性を基に、撮影画像の複数の分割領域を統合し、さらに撮影画像を被写体毎の領域に分離することができる。例えば、図７に示すように、各分割領域のデフォーカス量を示す画像７００において、同じ値のデフォーカス量を代表値とする分割領域を統合して、撮影画像７０１を分離すると画像７０１のようになる。画像７０１において、統合領域７０２は画像７００の値１００の分割領域を統合したもので、画像７０１の両端の統合領域７０３は各々画像７００の値９０の分割領域を統合したものである。同様に、統合領域７０４は画像７００の値７０の分割領域を統合したもので、統合領域７０５は画像７００の値５０の分割領域を統合したものである。尚、図７の例では、同じデフォーカス量の値を代表値とする分割領域を統合するようにしたが、デフォーカス量の差や撮影距離の差が所定値以下の分割領域を類似した領域として統合するようにしても構わない。

或いは、高いビルなどを下から見上げて撮影した場合などは、得られるデフォーカス量や撮影距離が画面内の位置に対して連続性を持って変化するので、このような場合も同じ被写体として、分割領域を統合して撮影画像を被写体毎の領域（より正確には撮影距離毎の領域）に分離するようにしても構わない。
このようにして得られた撮影画像の各分離領域（分割領域を統合した統合領域）において、画像の特徴量を算出して各分離領域の被写体を認識する。例えば、特徴量として、分離された領域内の平均色や各色のヒストグラム、或いはエッジ量の最大値・最小値およびその方向のヒストグラムなどを算出する。算出した特徴量から人物の顔の特徴を有する部分を抜き出したり、特定の色彩の部分を抜き出すことによって、顔や花などを容易かつ迅速に認識することができる。さらに、分離された領域毎に、人物認識や、洋服や花の色合いの調整や、背景部分のぼかし処理などを行うことができる。

以上、説明してきたように、本実施形態に係る撮像装置１０１は、撮影者が撮影を意図した時点、つまりレリーズボタンを全押しした時点でＡＦセンサ１１６の全てのＡＦエリアのデフォーカス量を取り込むようにしたので、撮影画像と距離画像との間の位置関係のずれが少なくなり、両画像を正確に対応づけることができる。
なお、上記の実施形態においては、レリーズボタンの全押し操作、半押し操作は、同一操作部を有する複数の操作部材（２段のスイッチ）により構成される例について説明した。これに代えて、撮影画像の取得を指示する操作部材と、自動合焦動作を指示する操作部材を、撮像装置１０１の筐体表面で空間的に離間して、異なる操作部で、撮影画像の取得動作、自動合焦動作の実行を指示する構成としてもよい。

また、上記の実施形態においては、自動合焦動作が行われる際にデフォーカス惜報を取得する例を中心に説明したが、撮影者が焦点調整を行うマニュアルフォーカスモードにおいても、本発明を同様に適用することができる。この場合、ＡＦセンサ１１６は、静止画像撮像時のデフォーカス情報取得のために用いられ、自動合焦動作は行われない。すなわち、自動合焦モードで、自動合焦動作を行うための焦点検出部（ＡＦセンサ１１６）は、撮影画像取得時におけるデフォーカス情報取得のためのデフォーカス情報取得手段としての機能を司ることとなる。

また、デフォーカス情報取得を、撮影画像取得の後に行う構成としてもよい。また、高解像度の静止画像を撮像する前に、低解像度の動画像（スルー画像）を取得する撮像装置においても、同様に本発明を適用することができる。スルー画像は、これから撮影しようとする高解像度の静止画像の構図確認のために、液晶モニタ１０９に表示され、メモリ１０８には記憶されない。自動合焦モードに設定されている場合には、スルー画像の撮像中に自動合焦動作が実行される。すなわち、スルー画像の撮像中は、ＡＦセンサ１１６は自動合焦動作のために用いられ、その後の高解像度の静止画像の撮像指示に基づいて、全ＡＦエリアのデフォーカス情報を取得する。

本実施形態では、撮影画像の被写体ごとの領域への分離処理や分離した被写体ごとの各領域に施す画像の画像処理などを、撮像装置１０１自体で行う例について説明したが、撮影画像と共に距離画像（デフォーカス量でも構わない）も、着脱可能に装着されたメモリカード１１０に記憶するようにし、メモリカード１１０を取り外して、パソコンなどに接続し、パソコンのソフトウェアによって、撮影画像の被写体領域への分離処理や分離した各領域の画像データに対して被写体認識結果に基づいて個別の画像処理などを行うようにしても構わない。

また、一般的なデジタルカメラのフォーカス駆動方法として、本実施形態で説明したようにレリーズボタンを半押ししている間は合焦後のピント（合焦状態）が固定となるシングルＡＦサーボモードだけでなく、ピントは固定されずに被写体が動くとレンズは再駆動されてピントを追い続けるコンティニュアスＡＦサーボモード、撮影者がレンズの距離リングを回してピントを合わせるマニュアルフォーカスモード、カメラに近づいてくる被写体や遠ざかる被写体に対してピントを合わせてから露光するまでの間の被写体の動きを予測してフォーカスを調整する予測駆動フォーカスモードなど様々なフォーカス駆動方法が選択できるようになっている。これらの様々なフォーカス駆動方法であっても、本実施形態で説明したように、撮影者が撮影を意図した時点、つまりレリーズボタンを全押しした時点でＡＦセンサ１１６の全てのＡＦエリアのデフォーカス量を取り込むようにすることで、撮影画像と距離画像との位置がずれることなく、正確に領域分割を行うことが可能となる。

さらに、ＡＦモードにおいても、本実施形態で説明したように選択したＡＦエリアだけを使用してピント合わせを行いレリーズボタンを半押ししている間はフォーカスロックされるシングルエリアＡＦモードだけでなく、シングルエリアＡＦモードと基本的には同じだがピントが合う前に被写体が選択したフォーカスエリアから外れた場合に他のフォーカスエリアからのピント情報を利用してピント合わせを行うダイナミックＡＦモード、フォーカスエリアグループを選択してグループ内の所定のＡＦエリアでピントが合う前に所定のＡＦエリアから被写体が外れた場合にフォーカスエリアグループ内の他のフォーカスエリアからのピント情報を利用してピント合わせを行うグループダイナミックＡＦモード、最も手前にある被写体位置のＡＦエリアを使用してピント合わせを行う至近優先ダイナミックモードなど様々なＡＦモードが選択できるようになっている。

これらの様々なＡＦモードであっても、本実施形態で説明したように、撮影者が撮影を意図した時点、つまりレリーズボタンを全押しした時点でＡＦセンサ１１６の全てのＡＦエリアのデフォーカス量を取り込むようにすることで、撮影画像と距離画像との位置がずれることなく、正確に領域分割を行うことが可能となる。
また、本実施形態に係る撮像装置１０１は、分割領域に少なくとも１つのＡＦエリアが含まれるようにしたので、デフォーカス量や距離画像を基に撮影画像の領域を分離し、その分離した領域の中で画像の特徴量を算出するので、撮影画像全体から特徴量を算出して、領域分割を行う場合に比べて、正確な領域分割を行えるだけでなく、処理時間を短くすることができる。

第１の実施形態に係る撮像装置１０１の構成を示すブロック図である。ＡＦセンサ１１６のＡＦエリアを示す説明図である。画像撮影とフォーカス制御の流れを示す説明図である。撮像装置１０１の動作を示すフローチャートである。ＡＦエリアと領域分割の様子を示す説明図である。撮影画像と距離画像との関係を示す説明図である。領域統合の一例を示す説明図である。

符号の説明

１０１・・・撮像装置１０２・・・カメラ本体
１０３・・・撮影レンズ１０４・・・撮影レンズユニット
１０５・・・操作部１０６・・・制御部
１０７・・・画像処理部１０８・・・メモリ
１０９・・・液晶モニタ１１０・・・メモリカード
１１１・・・ミラーボックス１１２・・・フォーカルプレーンシャッタ
１１３・・・撮像素子１１４・・・レンズ駆動部
１１５・・・ミラー駆動部１１６・・・ＡＦセンサ
１１７・・・ＡＦ用補助光源１１８・・・クイックリターンミラー
１１９・・・サブミラー１２４・・・ＡＥセンサ

Claims

複数のレンズを有する撮像光学系を介して入射した被写体光を光電変換する撮像部と、
前記撮像部により光電変換された被写体画像データを記憶する記憶部と、
前記撮像部による画像信号の取得を指示する撮像指示部材と、
撮像領域内の複数の位置にそれぞれ対応する複数の焦点評価領域のデフォーカス情報を検出する焦点検出部と、
前記複数の焦点評価領域の少なくとも一つの焦点評価領域のデフォーカス情報に基づき、前記撮像光学系の焦点状態を調整する焦点制御部と、
前記撮像指示部材の操作に応じて、全ての前記焦点検出領域に対応するデフォーカス情報又は該デフォーカス情報を基に算出された距離情報を、該撮像指示部材の操作に応じて取得された前記画像データに関連付けて前記記憶部に記憶する制御部と
を有することを特徴とする撮像装置。
請求項１に記載の撮像装置はさらに、
前記焦点制御部による前記撮像光学系の焦点状態の調整を指示する焦点調節指示部材を有し、
前記焦点制御部は、前記焦点調節指示部材の操作に応じて前記撮像光学系を合焦状態に一旦調整した後は、再度焦点調節指示部材が操作されるまで前記撮影光学系の焦点調節を停止させることを特徴とする撮像装置。
請求項２に記載の撮像装置において、
前記焦点検出部は、前記焦点調節が停止した後も焦点評価値情報を継続して検出することを特徴とする撮像装置。
請求項１乃至３に記載の撮像装置はさらに、
前記撮像光学系から入射した入射光を前記焦点検出部へ反射させる第１位置から、前記撮像光学系の光軸から待避した第２の位置へと移動可能なミラーを有し、
前記制御部は、前記撮像指示部材の操作に応じて全ての前記焦点検出領域に対応するデフォーカス情報を前記焦点検出部から取得した後に、前記ミラーを前記第１位置から前記第２位置へ駆動させることを特徴とする撮像装置。
請求項４に記載の撮像装置はさらに、
前記焦点検出部から連続して出力されるデフォーカス情報を記憶する記憶手段を有し、
前記制御部は、前記ミラーを前記第１位置から前記第２位置に移動する直前に取得され前記記憶部に記憶されたデフォーカス情報又は該デフォーカス情報を基に算出された距離情報を、該撮像指示部材の操作に応じて取得された前記画像データに関連付けて前記記憶部に記憶することを特徴とする撮像装置。
請求項１乃至５に記載の撮像装置はさらに、
被写体を照明する照明部を有し、
前記制御部は、前記全ての焦点検出領域から対応するデフォーカス情報を検出する際に前記照明部により被写体を照明させることを特徴とする撮像装置。
請求項１乃至６に記載の撮像装置はさらに、
前記記憶部に記憶された画像データに関連付けられたデフォーカス情報又は距離情報を基に該画像データを複数の分割領域に分割する画像領域分割部を有することを特徴とする撮像装置。
請求項７に記載の撮像装置において、
前記画像領域分割部は、前記分割領域に少なくとも一つの前記焦点検出領域に対応する領域が含まれるよう画像データを分割することを特徴とする撮像装置。
請求項８に記載の撮像装置において、
前記画像領域分割部は、複数の前記デフォーカス情報又は距離情報の内、差が所定値以下となる焦点検出領域が対応する領域が一つの領域となるよう画像データを分割することを特徴とする撮像装置。
請求項７乃至９に記載の撮像装置はさらに、
前記分割された複数分割領域ごとに前記画像データの特徴点を抽出する画像特徴点抽出部を有することを特徴とする撮像装置。