JP2008005355A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】高精度な位置ずれを検出することができる画像処理装置及び画像処理方法を提供する。
【解決手段】複数の撮影画像に対してそれらの撮影時に合焦した焦点検出領域を特定し、前記撮影画像毎に、少なくとも、前記焦点検出領域から予め定められた範囲内にある第１の領域と、被写体までの距離が最も遠い第２の領域とに区分けする領域判定手段と、前記領域判定手段による区分けの結果に応じて前記複数の撮影画像間の位置ずれを検出する位置ずれ検出手段と、を有する。前記位置ずれ検出手段は、前記第１の領域における位置ずれを示す情報及び前記第２の領域における位置ずれを示す情報に対して互いに異なる重み付けを設定した上で前記位置ずれを検出する。
【選択図】図２

Description

本発明は、撮像した複数の画像からこれらの画像の位置ずれを検出する、デジタルカメラ、デジタルビデオカメラ、カメラつき携帯電話及びパーソナルコンピュータ等の画像処理装置及び画像処理方法に関する。

現在のカメラは露出決定やピント合わせ等の撮影にとって重要な作業は全て自動化され、カメラ操作に未熟な人でも撮影失敗を起こす可能性は非常に少なくなっている。また、最近では、カメラに加わる手ぶれを防ぐシステムも研究されており、撮影者の撮影ミスを誘発する要因は殆ど無くなってきている。手ぶれを防ぐ方法としては、加速度、角加速度、角速度、角変位等を検知するセンサを用いて手ぶれによる振動を検出し、その検出値に応じて手ぶれによる光軸変化を補正するように補正レンズを変位させる光学シフト式手ぶれ補正がある。また、手ぶれの生じないような短い露光時間で撮影を繰り返し、撮影された複数の画像の位置を合わせて合成することで、画像毎の構図の違いを補正しつつ、露出の不足を補完する画像合成式の手ぶれ補正も知られている。

画像合成方式の手ぶれ補正における位置合わせ方法は、例えば特許文献１に記載されている。この方法では、主要被写体が位置しそうな領域を避けた、フレームの周辺領域（背景）を使って動きベクトルを算出することとしている。これは、主要被写体として人物を想定した場合、目の瞬きや手の複雑な動きなどによって被写体ぶれに影響された位置合わせを行う可能性があるからである。

また、カラー画像の処理方法は、例えば特許文献２に記載されている。この方法では、色成分毎に位置合わせ演算を行い、特に人間の視覚特性上解像度に与える影響の大きい色成分（Ｇ成分）に関しては高精度に位置合わせ演算を行い、それ以外の色成分（Ｒ、Ｂ成分）に関しては、位置合わせ演算の処理を簡略化することとしている。

特開２００４−２１９７６５号公報 特開２００２−１１２００７号公報

しかしながら、画像合成式の手ぶれ補正においては、微妙に構図の異なる複数枚の画像に対して位置を合わせて合成を行うため、位置合わせの精度が悪い場合に適切に合成処理が行われず、合成画像にブレが生じてしまう。特に画像信号中のボケ量の大きな領域に対して動きベクトル算出演算を行う場合、精度よく位置合わせを行うことが難しいため、適切に画像合成がなされないことがある。そのため、主要被写体と背景とでボケ量が大きく異なるような画像信号においては、背景領域の動きベクトル算出結果の影響によって高精度な動きベクトルを求めることができず、主要被写体がぶれてしまうという問題があった。

例えば上記特許文献１においては、所期の目的を達成することはできるものの、フレーム周辺領域を使って動きベクトルを算出するため、背景のボケ量が大きい画像信号に対しては、精度の悪い位置合わせ結果しか得られないという問題がある。また、上記特許文献２についても、画像信号の色成分のみを用いて位置合わせ演算の精度を変更するため、例えば背景に青空等の青色が多いようなシーンに対しては、やはり同様の問題が生じてしまう。

本発明は、上記問題を鑑みてのものであり、高精度な位置ずれを検出することができる画像処理装置及び画像処理方法を提供することを目的とする。

本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。

本発明に係る画像処理装置は、複数の撮影画像に対してそれらの撮影時に合焦した焦点検出領域を特定し、前記撮影画像毎に、少なくとも、前記焦点検出領域から予め定められた範囲内にある第１の領域と、被写体までの距離が最も遠い第２の領域とに区分けする領域判定手段と、前記領域判定手段による区分けの結果に応じて前記複数の撮影画像間の位置ずれを検出する位置ずれ検出手段と、を有し、前記位置ずれ検出手段は、前記第１の領域における位置ずれを示す情報及び前記第２の領域における位置ずれを示す情報に対して互いに異なる重み付けを設定した上で前記位置ずれを検出することを特徴とする。例えば、特定のブロックの動きベクトルのみを算出して、全体の動きベクトルとする処理、つまり、特定のブロックの動きベクトルを大きくし、他のブロックの動きベクトルを０とする処理を行う。

本発明に係る画像処理方法は、複数の撮影画像に対してそれらの撮影時に合焦した焦点検出領域を特定し、前記撮影画像毎に、少なくとも、前記焦点検出領域から予め定められた範囲内にある第１の領域と、被写体までの距離が最も遠い第２の領域とに区分けする領域判定ステップと、前記領域判定ステップにおける区分けの結果に応じて前記複数の撮影画像間の位置ずれを検出する位置ずれ検出ステップと、を有し、前記位置ずれ検出ステップにおいて、前記第１の領域における位置ずれを示す情報及び前記第２の領域における位置ずれを示す情報に対して互いに異なる重み付けを設定した上で前記位置ずれを検出することを特徴とする。例えば、特定のブロックの動きベクトルのみを算出して、全体の動きベクトルとする処理、つまり、特定のブロックの動きベクトルを大きくし、他のブロックの動きベクトルを０とする処理を行う。

本発明によれば、測距結果を反映している領域判定の区分けの結果に応じて第１及び第２の領域に対して付与する重み付け量を調整しているため、適切な位置ずれ量を検出することができる。従って、この位置ずれ量を用いて画像合成式の手ぶれ補正を行えば、ピンボケや主要被写体のぶれ等の不具合を防止することができる。

以下、本発明の実施形態について添付の図面を参照して具体的に説明する。

（第１の実施形態）
先ず、本発明の第１の実施形態について、図１〜図５を参照しながら説明する。ここでは、位相差検出方式の自動焦点調節機能により、７点の焦点検出領域（以下、測距点と呼ぶ）を持ったデジタル一眼レフカメラを例にとって説明する。位相差検出方式の自動焦点調節機能は公知である。

先ず、本実施の形態における撮像装置の構成について説明する。図１は、本発明の第１の実施形態に係るカメラの概略構成を示す側方視断面図である。

本実施形態に係るカメラは、ＣＣＤ又はＣＭＯＳセンサ等の撮像素子を用いた単板式のデジタルカラーカメラであり、撮像素子を連続的又は単発的に駆動して静止画像を表す画像信号を得る。ここで、撮像素子は、受光した光を画素毎に電気信号に変換して光量に応じた電荷を蓄積し、この蓄積された電荷を読み出すタイプのエリアセンサである。

図１に示すように、カメラ本体１０１には、焦点距離の異なる複数のレンズ装置１０２が着脱可能であり、レンズ装置１０２を取り換えることにより様々な画角の撮影画面を得ることが可能である。

レンズ装置１０２は不図示の駆動機構を有しており、この駆動機構は結像光学系１０４の一部の要素であるフォーカシングレンズを光軸Ｌ１の方向に移動させることにより焦点調節を行わせる。

また、レンズ装置１０２内には、光通過口の開口面積を変化させて撮影光束の光量を調節する絞りと、この絞りを駆動する駆動機構（いずれも不図示）とが配置されている。

カメラ本体１０１内には、光軸Ｌ１に沿って、メインミラー１０５、サブミラー１０６、フォーカルプレンシャッター１０７、光学ローパスフィルター１０８及び撮像素子１０８が配置されている。

メインミラー１０５は、例えばハーフミラーから構成されている。メインミラー１０５は、レンズ装置１０２からの光束の一部を透過し、サブミラー１０６を介して後述のＡＦユニット１１４に導くと共に、残りの光束を反射させることにより、後述のファインダー光学系１０３へと導く。なお、メインミラー１０５及びサブミラー１０６は可動型となっており、撮影光路上（光軸Ｌ１上）に斜設された状態と、撮影光路上から退避した状態とを相互に切り替えられる。撮影光路上に斜設された状態では前述のように撮影光束をファインダー光学系１０３とＡＦユニット１１４とに分割するが、撮影光路から退避した状態においては、撮影光束をそのまま後述の撮像素子１０９へと導くようになっている。

フォーカルプレンシャッター（以下、シャッターと称す）１０７は、複数枚の遮光羽根で構成される先幕及び後幕を有している。シャッター１０７は、非撮影時には光通過口となるアパーチャを先幕又は後幕で覆うことにより撮影光束を遮光し、撮影時には先幕及び後幕がスリットを形成しながら走行することで撮影光束を像面側に通過させる。

光学ローパスフィルター１０８は、後述する撮像素子１０９に被写体像の必要以上に高い空間周波数成分が伝達されないように、入射光束の高周波成分を制限する。

撮像素子１０９は、例えばパッケージに収納されており、例えば、増幅型固体撮像素子の１つであるＣＭＯＳプロセスコンパチブルのセンサ（ＣＭＯＳセンサ）から構成されている。ＣＭＯＳセンサは、任意の画素へのランダムアクセスが可能という特徴を具備しており、ディスプレイ表示用に間引いた読み出しが容易であって、高い表示レートでリアルタイム表示を行うことができる。また、撮像素子１０９で捉えられた被写体像は、所定の画像処理を経て、ディスプレイユニット１１５上に表示される。ディスプレイユニット１１５は、カメラ本体１０１の背面に取り付けられており、撮影者がディスプレイユニット１１５に表示された画像を直接観察できる。ディスプレイユニット１１５としては、例えば液晶パネルが設けられている。

ＡＦユニット１１４は、７点の測距点を持つＡＦユニットであり、位相差検出方式により焦点調節状態を検出する。

ファインダー光学系１０３には、フォーカシングスクリーン１１０、ペンタプリズム１１１、ＡＥユニット１１２及び接眼レンズ１１３が設けられている。

フォーカシングスクリーン１１０は、例えば被写体像の予定結像面に配置されている。ペンタプリズム１１１は、メインミラー１０５からの光束を複数回反射（正立像に変換）させて接眼レンズ１１３に導く。接眼レンズ１１３は、フォーカシングスクリーン１１０上に形成された被写体像を観察するためのレンズであり、例えば３枚程度のレンズで構成されている。ＡＥユニット１１２は、自動測光を行うためのセンサである。

更に、２段階の押圧操作が可能な静止画撮影用のレリーズボタン１１６が設けられている。レリーズボタン１１６が半押し状態となると撮影準備動作（焦点調節動作および測光動作等）が開始され、全押し状態になると撮影動作が開始される。以下の説明では、レリーズボタン１１６の半押し状態をスイッチＳＷ１がＯＮした状態と表現し、レリーズボタン１１６の全押し状態をスイッチＳＷ２がＯＮした状態と表現する。

次に、本実施形態に係るカメラ（撮像装置）の機能的な構成について説明する。図２は、第１の実施形態に係るカメラの機能的な構成を示すブロック図である。

図２に示すように、撮影レンズ２０１（レンズ装置１０２）から入射した光線は、絞り２０２を通過し、ミラーボックス２０３に到達する。ミラーボックス２０３はメインミラー１０５及びサブミラー１０６から構成されている。ミラーボックス２０３を駆動することによって、入射光を透過光と反射光とに分割し夫々をＡＦユニット１１４及びＡＥユニット１１２へと導く状態と、入射光をそのまま撮像部２０９（撮像素子１０９）に導く状態とに切り替えることができる。撮像部２０９は、上述のように、例えばＣＭＯＳセンサ）から構成されている。

撮影レンズ２０１は、ピント調節のためにレンズ駆動部２０７によって駆動させ、絞り２０２は絞り駆動部２０５によって、ミラーボックスはミラー駆動部２０４によって、シャッター１０７はシャッター駆動部２０６によって、それぞれ駆動される。

撮影制御部２０８は、ＡＥユニット１１２からの測光情報に基づいて、露光時の絞り値、シャッタースピードを決定し、シャッター駆動部（ＳＨ駆動部）２０６及び絞り駆動部２０５を制御する。また、撮影制御部２０８は、ＡＦユニット１１４からの信号に基づいて、合焦させるために必要なレンズの駆動量を決定し、レンズ駆動部２０７を制御する。

露光時においては、ミラー駆動部２０４によって、メインミラー１０５及びサブミラー１０６を撮影光路上から退避させ、シャッター駆動部２０６によってシャッター１０７を駆動し、所定の露光時間だけ露光を行う。この結果、撮影レンズ２０１からの光束が撮像部２０９に結像する。

撮像部２０９から出力された映像信号は、Ａ／Ｄ変換部２１０によりデジタル信号に変換されて信号処理部２１１に入力される。信号処理部２１１は、輝度信号及び／又は色信号の生成等の信号処理を行い、この結果、カラー映像信号が生成される。

表示部２１５及び記録部２１６は、夫々、撮影した画像を表示、記録保存し、信号処理部２１１により生成されたカラー映像信号を表示、記録保存する。

本実施形態には、モードスイッチ（図示せず）が設けられており、撮影者が任意に通常撮影モードと画像合成モードとを設定することができる。上述の各部は、いずれの動作モードが選択されている場合でも動作するが、以下のずれ検出部２１２、座標変換部２１３、画像記憶部２１４及び画像合成部２１７は画像合成モードが選択されている場合に動作する。なお、通常撮影モードは、主に防振を必要としないような明るさの被写体を撮影する場合に選択する動作モードであり、画像合成モードは、例えば撮影被写体が暗く、露光秒時が長くなるために手ぶれが生じる虞がある場合に選択する動作モードである。画像合成モードが選択されている場合、撮影制御部２０８は、ＡＥセンサ１１２からの情報に基づいて撮影枚数を決定し、その枚数分の撮影の制御を行う。また、撮影制御部２０８は、撮影した枚数や、ぞれぞれの画像撮影時に選択された測距点の情報をずれ検出部２１２に受け渡す。

ずれ検出部２１２は、信号処理部２１１から受け取った複数の画像信号及び撮影制御部２０８から入力された情報に基づいて、２次元の相関演算を行い、各画像間の相対的な位置ずれ量（動きベクトル）を算出する。座標変換部２１３は、ずれ検出部２１２によって算出された動きベクトルに合わせて各画像の座標変換を行う。そして、画像記憶部２１４が座標変換後の各画像を記憶し、記憶された各画像が画像合成部２１７によって１枚の画像に合成される。この際、表示部２１５及び記録部２１６には、合成された画像が表示、保存される。

次に、上述のように構成された第１の実施形態に係るカメラの動作について説明する。図４−１乃至図４−３は、第１の実施形態に係るカメラの動作を示すフローチャートである。

先ず、図４−１に示すように、カメラの電源が投入されると、撮影制御部２０８は、ステップＳ４０１にて各種設定の初期化を行い、ステップＳ４０２へと進む。

ステップＳ４０２において、撮影制御部２０８は、カメラの撮影モードが複数枚の画像を撮影した後にそれらを合成する画像合成モードに設定されているか、通常の撮影モードに設定されているかを判断する。そして、画像合成モードに設定されている場合はステップＳ４０３に進み、通常撮影モードに設定されている場合はステップＳ４１９に進む。

ステップＳ４０３において、撮影制御部２０８は、ユーザによってレリーズボタン１１６が半押しされるまで待機する。そして、レリーズボタン１１６が半押しされるとステップＳ４０４に進む。

ステップＳ４０４では、自動的に焦点調節及び測光動作を行う。更に、このときの自動焦点調節動作に伴って、撮影制御部２０８が測距点を以下の５タイプに分類する。
タイプ１：合焦した測距点
タイプ２：タイプ１の測距点に近い測距結果を検出した測距点
タイプ３：全測距点の中で、被写体までの距離が一番遠い測距結果を検出した測距点
タイプ４：タイプ３の測距点に近い測距結果を検出した測距点
タイプ５：上記のどのタイプにも含まれない測距点

タイプ２の測距点の分類判定に際しては、例えば、予め閾値α、βをカメラ内部に保持しておき、判定式「α≦|defocus1-defocus|≦β」を満たす測距点をタイプ２として分類する。ここで、「defocus1」はタイプ１の測距点の測距結果であり、「defocus」は注目している測距点の測距結果である。

タイプ４の測距点の分類判定に際しても、タイプ２と同様に、例えば判定式「α≦|defocus3-defocus|≦β」を満たす測距点をタイプ４として分類する。ここで、「defocus3」はタイプ３の測距点の測距結果である。

このような分類基準によれば、タイプ１又は２に分類された測距点はピントの合っている測距点に相当し、タイプ３又は４に分類された測距点は背景部分の測距点に相当することとなる。

そして、撮影制御部２０８は、全測距点に関してタイプ別の分類を決定した後、その結果をバッファメモリに記憶し、ステップＳ４０５に進む。

ステップＳ４０５において、撮影制御部２０８は、ステップＳ４０４で得られたＡＥユニット１１２の測光結果に応じて、撮影予定枚数Ｎの決定を行う。撮影する枚数Ｎは、例えば、そのシーンで１枚撮影する場合に必要な本来の露光時間をＴ_S、複数枚撮影時の一枚あたりの露光時間をＴ_Mとしたとき、「Ｔ_S＝Ｔ_M×Ｎ」を満たすようにする。また、露光時間Ｔ_Mは、例えば、手ぶれしない露光時間の目安とされる１／ｆ秒（ｆは焦点距離）に一致させる。但し、露光時間Ｔ_M及び撮影枚数Ｎは、上述のものに限定されない。

次に、ステップＳ４０６において、撮影制御部２０８は、ユーザによってレリーズボタン１１６が全押しされたか判断し、全押しされている場合には、現在の撮影枚数のカウント値であるｎをｎ＝０とし、ステップＳ４０７に進み、Ｎ枚の連続撮影を開始する。なお、レリーズボタン１１６が全押しされていない場合には、ステップＳ４０３に戻る。

ステップＳ４０７において、撮影制御部２０８は、撮影時の焦点距離ｆ及び絞り値Ｆをバッファメモリに記憶する。

そして、ステップＳ４０８において、撮影処理を行った上で、撮影枚数ｎのカウントアップをする。

その後、ステップＳ４０９において、撮影制御部２０８は、現在の撮影枚数がステップＳ４０５で決定した撮影予定枚数Ｎに達したかを判定し、Ｎに達している場合、即ち必要な回数の撮影を終えていた場合はステップＳ４１１に進む。一方、撮影予定枚数Ｎに達していない場合はステップＳ４１０にて自動焦点調節動作を行い、ステップＳ４０７に戻る。なお、ステップＳ４１０の自動焦点調節動作においては、ステップＳ４０４と同様に、測距点を前述のタイプ別に分類し、バッファメモリに記憶する。このように、本実施形態では、自動焦点調節動作を行うたびに測距点をタイプ別に分類して記録する。

ステップＳ４１１では、ずれ検出部２１２が、撮影した複数枚の画像間の位置ずれ量を算出する。ここで、具体的な算出手順の一例について説明する。

先ず、ずれ検出部２１２が、信号処理部２１１から受け取った複数の画像信号の各々に対し、図３に示すように、複数のブロックに分割する。図３には、画像信号の長辺方向を８分割、短辺方向を６分割し、合計４８のブロックに分割する例を示しているが、ブロックの分割数は任意である。また、以下の説明では、図３に示すように、一番左上のブロックをＡ１と表し、その一つ右側のブロックをＢ１と表し、・・・、一番右下のブロックをＨ６と表す。つまり、各ブロックをＡ１〜Ｈ６の記号で表すこととする。

そして、ずれ検出部２１２は、複数の画像信号間において、同じ位置のブロック同士について、２次元の相関演算を行い、ブロック毎の位置ずれ量である動きベクトルを算出する。そして、算出された４８個のブロックの動きベクトルのヒストグラムを求め、その最頻値をもって画像全体の動きベクトルとする。

このような位置ずれ量の算出方法によれば、後に、各ブロックの動きベクトル演算結果に重み付けを行うことによって特定のブロックの動きベクトル演算結果を優先して最終的な画像信号全体の動きベクトル算出結果に反映させることが容易になる。また、全てのブロックのものを用いずに、特定のブロックのみを用いて、画像全体の動きベクトル算出を行うことも容易になる。

本実施形態では、後述のように、ブロック毎に重み付けを与えて最終的な画像全体の動きベクトルを決定するため、ステップＳ４１１では、全ブロックの動きベクトルを算出するところまでを行う。そして、その結果をバッファメモリに記録した上で、ステップＳ４１２に進む。

ステップＳ４１２では、ずれ検出部２１２が、最終的な画面全体の動きベクトル算出時に動きベクトル算出結果を優先して考慮するブロックに与える重み付け量Ｗを、撮影時の被写界深度に応じて決定する。後述のように、本実施形態では、各ブロックを次の３種のグループに分類する。
グループＡ：最終的な画面全体の動きベクトル算出時に、大きく優先して考慮するブロック
グループＢ：最終的な画面全体の動きベクトル算出時に、優先して考慮するブロック
グループＣ：最終的な画面全体の動きベクトル算出時に、特に優先、考慮しないブロック

そして、本実施形態では、ピントの合っている領域、即ちタイプ１又は２の測距点近傍の領域にあるブロックの動きベクトル算出結果を優先し、画像全体の動きベクトルを求めることとする。このため、ステップＳ４１２では、前もって、各グループに被写界深度に応じた重み付け量を決定する。

このとき、撮影時の被写界深度を考えると、被写界深度が浅い場合は、背景のボケ量が大きくなり、背景領域のブロックを用いて動きベクトルを算出した場合の精度は低くなってしまう。そのため、グループＣに属するブロックについては、小さな重み付け量を与え、逆にグループＡ及びＢに属するピントの合っているブロックについては、大きな重み付け量を与える。この結果、精度の良く動きベクトルを算出することが可能となる。一方、被写界深度が深い場合は、被写界深度が浅い場合に比べて合焦した測距点近傍の領域とそれ以外の領域でのボケ量の差が小さくなるため、グループ別の重み付け量に大きな差を設ける必要はない。

このように、重み付け量Ｗを決定する際に被写界深度を考慮することにより、より精度の良い動きベクトルを算出することが可能となる。被写界深度は、撮影時のレンズの焦点距離ｆが大きく絞り値Ｆが小さいほど浅くなり、逆に焦点距離ｆが小さく絞り値が大きいほど深くなる。そこで、重み付け量Ｗの決定のために、図５に示すような焦点距離ｆ及び絞り値Ｆから一意にＷ_A、Ｗ_B及びＷ_Cを特定するテーブルをカメラ内部に準備しておくことが好ましい。

図５に示す例では、テーブルの左上に近付く程、焦点距離ｆが大きく、かつ絞り値Ｆが小さくなるため、被写界深度が浅い状態を表することとなる。従って、重み付け量Ｗ_A及びＷ_Bとして大きな値を与え、重み付け量Ｗ_Cとして小さな値を与えることとしている。一方、テーブルの右下に近付く程、焦点距離ｆが小さく、かつ絞り値Ｆが大きくなるため、被写界深度が深い状態を表することとなる。従って、重み付け量Ｗ_A、Ｗ_B及びＷ_Cとして、あまり差の無いような値を用意してある。このようにＷ_A≧Ｗ_B≧Ｗ_Cを満たすような範囲内で、図５に示すようなテーブルを持つことで重み付け量Ｗを容易に決定することができる。ステップＳ４１２を終えると、ステップＳ４１３に進む。

ステップＳ４１３では、図４−２に示すように、ずれ検出部２１２が、撮影した全ての画像における測距点のタイプ別分類情報から、全測距点の最終的なタイプを決定する。例えば、図３のような測距点配置が設定され、連続して４枚の画像を撮影した場合の各測距点のタイプ別分類が表１のようになっている場合の処理は、次のようになる。

表１に示す結果が得られた場合、測距点１、３、５及び６については撮影したすべての画像において、測距点のタイプ別分類が同じであるため、これらの測距点については最終的なタイプ別分類も同じタイプとする。一方、測距点２、４及び７については、いずれか１枚の画像撮影時のみ分類されたタイプが異なっている。このような撮影中に１枚でもタイプ別分類の異なるものが含まれている測距点に対しては、総合的にはタイプ５（特に特徴のない測距点）に分類する。但し、タイプ３が１枚でも含まれている測距点に関しては、後の処理の関係上、必ずどこか１点の測距点がタイプ３に分類されるようにする。そこで、タイプ３に分類された回数（枚数）が最も多い測距点を強制的にタイプ３に分類する。このような規則に従って、測距点のタイプ別分類を行うと、最終的に、表２に示す結果が得られる。

一方、図３のような測距点配置が設定され、連続して４枚の画像を撮影した場合の各測距点のタイプ別分類が表３のようになっている場合の処理は、次のようになる。

表３に示す結果が得られた場合、測距点２、３、４、６及び７については撮影したすべての画像において、測距点のタイプ別分類が同じであるため、これらの測距点については最終的なタイプ別分類も同じタイプとする。一方、測距点１及び５については、いずれか１枚の画像撮影時のみ分類されたタイプが異なっている。このような撮影中に１枚でもタイプ別分類の異なるものが含まれている測距点に対しては、総合的にはタイプ５（特に特徴のない測距点）に分類する。このような規則に従って、測距点のタイプ別分類を行うと、最終的に、表４に示す結果が得られる。

更に、ステップＳ４１３では、ずれ検出部２１２が、撮影した全画像についてタイプ１に分類された測距点を読み込み、それらが全て同じであるかを判定する。そして、タイプ１の測距点が一致している場合にはステップＳ４１４に進み、一致していないものがある場合にはステップＳ４１５に進む。即ち、最終的な分類にタイプ１が存在することは、合焦した測距点が撮影した全ての画像において同一であることを意味するため、主要被写体が移動していないと判断することができる。一方、最終的な分類にタイプ１が存在しないことは、主要被写体が移動してしまったと判断することができる。ステップＳ４１４及びＳ４１５では、これらの事情に応じた処理を実行する。

これは、タイプ１の測距点が一致していることは主要被写体が移動していないことを意味しているが、仮にタイプ１の測距点が１回でも異なっている場合には、主要被写体が連続撮影中に動いていると考えられるからである。即ち、タイプ１の測距点近傍のブロックでは撮影したタイミングによって画像が異なって、相関演算時にマッチングがとれずに正確な動きベクトルを算出することができない可能性が高いためである。このため、このような場合には、タイプ１の測距点近傍のブロックよりも、背景と考えられるタイプ３の測距点近傍のブロックの動きベクトルを優先して画像全体の動きベクトルを算出する。

そこで、全画像についてタイプ１の測距点が同じであった場合は、タイプ１の測距点近傍のブロックの動きベクトルを優先して画像全体の動きベクトルを算出するステップＳ４１４に進む。一方、同じではなかった場合は、タイプ３の測距点近傍のブロックの動きベクトルを優先して画像全体の動きベクトルを算出するステップＳ４１５に進む。

例えば表１及び表２に示す結果が得られている場合には、タイプ１に分類された測距点がいずれも測距点５であるため、ステップＳ４１４に進む。一方、表３及び表４に示す結果が得られている場合には、タイプ１に分類された測距点が、１枚目、３枚目及び４枚目では測距点５であるのに対し、２枚目では測距点１であるため、ステップＳ４１５に進む。

ステップＳ４１４及びＳ４１５において、ずれ検出部２１２は、画面内のブロックを前述のグループＡ、Ｂ、Ｃに分類する。但し、ステップＳ４１４とステップＳ４１５とでは、主要被写体の移動の有無に応じた処理を行うために、分類に際して参照する基準が相違している。

ステップＳ４１４では、主要被写体が移動していないことを前提とした処理を行う。このため、ずれ検出部２１２は、主要被写体近傍のブロックに大きな重み付けがされる分類を行う。そこで、グループＡとしてタイプ１の測距点近傍のブロック、グループＢとしてタイプ２の測距点近傍のブロック、グループＣとしてこれら以外のブロックを設定する。例えば、表２に示す結果が得られている場合には、グループＡに、測距点５に相当するブロックＦ３及びＦ４を設定する（図３参照）。また、グループＢには、測距点１に相当するブロックＤ３、Ｄ４、Ｅ３及びＥ４を設定する。そして、グループＣには、これら以外の全ブロックを設定する。

一方、ステップＳ４１５では、主要被写体が移動してしまったことを前提とした処理を行う。このため、ずれ検出部は、背景と考えられるブロックに大きな重み付けがされる分類を行う。そこで、グループＡとしてタイプ３の測距点近傍のブロック、グループＢとしてタイプ４の測距点近傍のブロック、グループＣとしてこれら以外のブロックを設定する。例えば、表４に示す結果が得られている場合には、グループＡに、測距点２に相当するブロックＤ２及びＥ２を設定する。また、グループＢには、測距点４又は６に相当するブロックＢ３、Ｂ４、Ｃ３及びＣ４を設定する。そして、グループＣには、これら以外の全ブロックを設定する。

そして、ステップＳ４１４又はＳ４１５において各ブロックのグループ分けが終了した後には、ステップＳ４１６に進む。

ステップＳ４１６において、ずれ検出部２１２は、図３中の各ブロックに対して、ステップＳ４１４又はＳ４１５における分類の結果に基づいて、ステップＳ４１２において求めた重み付け量を付与する。即ち、グループＡに分類されたブロックには重み付け量Ｗ_Aを与え、グループＢに分類されたブロックには重み付け量Ｗ_Bを与え、グループＢに分類されたブロックには重み付け量Ｗ_Cを与える。そして、これらの重み付け量Ｗ_A、Ｗ_B又はＷ_Cを、ステップＳ４１１において求めた動きベクトルに付与した上で、動きベクトルのヒストグラムを作成する。

例えば、ステップＳ４１４の分類を行った場合には、グループＡにはタイプ１の測距点近傍のブロックが属し、グループＢにはタイプ２の測距点近傍のブロックが属し、グループＣにはその他のブロックが属する。一方、ステップＳ４１５の分類を行った場合には、グループＡにはタイプ３の測距点近傍のブロックが属し、グループＢにはタイプ４の測距点近傍のブロックが属し、グループＣにはその他のブロックが属する。そして、グループＸ（ＸはＡ、Ｂ、Ｃのいずれか）に含まれるブロックに重み付け量Ｗ_X（ただしＷ_A≧Ｗ_B≧Ｗ_C）を与えて、最終的な画面全体の動きベクトル算出に用いる。

重み付けの付与としては、例えば、重み付け量がＷのブロックでは、１つの動きベクトル１つにつきＷカウントする。そして、その出現頻度をヒストグラムにする。ヒストグラム作成後にはステップＳ４１７に進む。

ステップＳ４１７において、ずれ検出部２１２は、ステップＳ４１６にて作成したヒストグラムで最頻出となった動きベクトルを選び、当該動きベクトルをその画像全体の動きベクトルと決定する。

次いで、ステップＳ４１８において、座標変換部２１３が座標変換を行い、画像記憶部２１４が座標変換部２１３による変換後の画像を記憶し、画像合成部２１７が画像の合成を行う。但し、単に合成したのでは、構図のずれた画像が合成されることとなり、各画像が重ならない領域が発生してしまう。そこで、ステップＳ４１８においては、画像が重なり合わない領域はカットし、複数画像間で重なった領域のみの合成を行った上で拡散補完処理を行うことにより、元のフレームの大きさにする。そして、合成された画像は表示部２１５に表示され、また、記録部２１６に画像記録される。このようにして、一連の処理が終了する。

一方、ステップＳ４０２からステップＳ４１９に進んだ場合、ステップＳ４１９において、撮影制御部２０８は、ユーザによってレリーズボタン１１６が半押しされるまで待機する。そして、レリーズボタン１１６が半押しされるとステップＳ４２０に進む。

ステップＳ４２０では、自動的に焦点調節及び測光動作を行う。但し、ステップＳ４０４とは異なり、測距点の分類は行わない。

次いで、ステップＳ４２１において、撮影制御部２０８は、ユーザによってレリーズボタン１１６が全押しされたか判断し、全押しされている場合には、現在の撮影枚数のカウント値であるｎをｎ＝０とし、ステップＳ４０７に進み、Ｎ枚の連続撮影を開始する。なお、レリーズボタン１１６が全押しされていない場合には、ステップＳ４１９に戻る。

そして、ステップＳ４２２において、撮影処理を行った上で、撮影画像の表示部２１５への表示及び記録部２１６への保存を行う。このようにして、一連の処理が終了する。

このように、第１の実施形態では、合成画像モードが選択されている場合に、合焦している測距点を示すタイプ１に属するブロックの移動の有無に応じて、重み付け量を調整している。このため、主要被写体の移動の有無に応じた重み付けを行うことが可能となり、全体的な動きベクトルを高い精度で算出することができる。この結果、被写体のぶれが極めて少ない合成画像を得ることができる。

（第２の実施の形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態においては、先に撮影画像を分割した全てのブロックについて動きベクトルを計算し、その後、測距点のタイプ別分類に応じて重み付けを行った上で画像全体の動きベクトルを算出している。これに対し、第２の実施形態では、先に測距点をタイプ別に分類し、その後動きベクトルを優先して算出したいブロックに対してのみ動きベクトルを算出して、画像全体の動きベクトルを算出する。以下、第１の実施形態と相違する部分について詳述する。図６−１乃至図６−３は、第２の実施形態に係るカメラの動作を示すフローチャートである。

第２の実施形態では、図６−１に示すように、画像合成モードに設定されている場合、ステップＳ４０１〜ステップＳ４０９の処理を第１の実施形態と同様に行う。但し、ステップＳ４０９において、現在の撮影枚数が撮影予定枚数Ｎに達している場合、即ち必要な回数の撮影を終えていた場合、全ブロックの動きベクトルを算出することなくステップＳ４１２に進み、ずれ検出部２１２が重み付け量Ｗを計算する。

次いで、図６−２に示すように、ステップＳ４１３において、ずれ検出部２１２が、撮影した全ての画像における測距点のタイプ別分類情報から、全測距点の最終的なタイプを決定し、タイプ１の測距点が撮影した全画像について同じであるかを判定する。更に、ステップＳ４１３では、ずれ検出部２１２が、撮影した全画像についてタイプ１に分類された測距点を読み込み、それらが全て同じであるかを判定する。そして、タイプ１の測距点が一致している場合にはステップＳ５０１に進み、一致していないものがある場合にはステップＳ５０２に進む。

ステップＳ５０１及びＳ５０２において、ずれ検出部２１２は、画面内のブロックを前述のグループＡ、Ｂに分類する。但し、ステップＳ５０１とステップＳ５０２とでは、主要被写体の移動の有無に応じた処理を行うために、分類に際して参照する基準が相違している。

ステップＳ５０１では、主要被写体が移動していないことを前提とした処理を行う。このため、ずれ検出部２１２は、主要被写体近傍のブロックに大きな重み付けがされる分類を行う。そこで、グループＡとしてタイプ１の測距点近傍のブロック、グループＢとしてタイプ２の測距点近傍のブロックを設定する。例えば、表２に示す結果が得られている場合には、グループＡに、測距点５に相当するブロックＦ３及びＦ４を設定する（図３参照）。また、グループＢには、測距点１に相当するブロックＤ３、Ｄ４、Ｅ３及びＥ４を設定する。

一方、ステップＳ５０２では、主要被写体が移動してしまったことを前提とした処理を行う。このため、ずれ検出部は、背景と考えられるブロックに大きな重み付けがされる分類を行う。そこで、グループＡとしてタイプ３の測距点近傍のブロック、グループＢとしてタイプ４の測距点近傍のブロックを設定する。例えば、表４に示す結果が得られている場合には、グループＡに、測距点２に相当するブロックＤ２及びＥ２を設定する。また、グループＢには、測距点４又は６に相当するブロックＢ３、Ｂ４、Ｃ３及びＣ４を設定する。

そして、ステップＳ５０１又はＳ５０２において各ブロックのグループ分けが終了した後には、ステップＳ５０３に進む。

ステップＳ５０３において、ずれ検出部２１２は、グループＡ又はグループＢに分類されたブロックについてのみ、２次元の相関演算を行い、動きベクトルを算出する。

次いで、ステップＳ５０４において、ずれ検出部２１２は、重み付け量Ｗを考慮しつつ、動きベクトルのヒストグラムを作成する。

その後、第１の実施形態と同様の処理を行う。また、通常撮影モードに設定されている場合も、第１の実施形態と同様の処理を行う。

第２の実施形態においては、上述のように、最終的な画像全体の動きベクトル算出時に、優先して考慮するブロックに対してのみ動きベクトル算出処理を行うこととしている。このため、第１の実施形態と同様の効果の他に、動きベクトル算出にかかる処理時間をより一層短縮することができるという効果が得られる。

なお、第１及び第２の実施形態についての説明では、位相差ＡＦ方式を前提とした構成について説明しているが、本発明はこれに限ったものではなく、コントラスト検出方式の自動焦点検出を行うカメラについても適用することができる。コントラスト検出方式は、フレーム内の特定の領域（以下この領域のことをコントラスト評価領域と称する）について着目し、その部分のコントラスト評価値が最も高くなるようなレンズの位置をサーチする方式である。このような自動焦点検出の方式がコントラスト検出方式のカメラにおいては、コントラスト評価領域近傍のブロックの動きベクトル算出結果を優先するように重み付けを行えば、本発明を適用することができる。

また、第１及び第２の実施形態についての説明では、位相差ＡＦ方式を搭載したデジタル一眼レフカメラにおいて、オートフォーカス機能をＯＮにして複数枚撮影を行った場合について説明している。しかし、オートフォーカス機能をＯＦＦにして（マニュアルフォーカス状態）複数枚撮影を行った際にも、ＡＦユニット１１４からの焦点検出情報を取得できるため、ピントのあった領域近傍の領域を判定することができ、本発明を適用することができる。

更に、第１及び第２の実施形態についての説明では、複数の静止画像について、これらの構図ずれである動きベクトルを算出する方法について説明しているが、本発明を動画像に適用することもできる。動画の手ぶれ補正については、特定の画像を基準とし、これと連続した他の画像との位置ずれを検出してこれを補正した画像を再生する技術が公知である。この技術は、例えば特開平１１−１８７３０３号公報に記載されている。この技術に本発明を組み合わせることにより、動きベクトル算出の高精度化、処理時間の短縮が可能になるため、動画像の再生、記録時にも効果的である。なお、動画の手ぶれ補正に関しては、主要被写体が動くこと等による弊害を避けるため、主要被写体のない領域（背景）、即ち最も遠い測距結果を得られた測距点近傍のブロックの動きベクトルを優先することが望ましい。

また、撮像素子として、ＣＭＯＳセンサの替わりに、ＣＣＤセンサを用いてもよい。

また、これらの説明では、カメラ又はビデオカメラ内で動きベクトルの算出を行うこととしているが、本発明はこれに限定されるものではない。例えば、自動焦点検出時の情報がＥＸＩＦ領域等に書き込まれた画像であれば、カメラ又はネットワーク上から受け取った複数枚の画像に対してもＰＣ等の画像処理装置において、本発明の処理を実行することにより、動きベクトルを算出することができる。

つまり、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインタネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。

本発明の第１の実施形態に係るカメラの概略構成を示す側方視断面図である。 第１の実施形態に係るカメラの機能的な構成を示すブロック図である。 ブロックの分割の例を示す図である。 第１の実施形態に係るカメラの動作を示すフローチャートである。 図４−１に引き続き、第１の実施形態に係るカメラの動作を示すフローチャートである。 図４−１に引き続き、第１の実施形態に係るカメラの動作を示すフローチャートである。 重み付け量の決定テーブルを示す図である。 本発明の第２の実施形態に係るカメラの動作を示すフローチャートである。 図６−１に引き続き、第２の実施形態に係るカメラの動作を示すフローチャートである。 図６−１に引き続き、第２の実施形態に係るカメラの動作を示すフローチャートである。

符号の説明

１１４：ＡＦユニット
２０８：撮像制御部
２１２：ずれ検出部
２１３：座標変換手段
２１４：画像記憶手段
２１７：画像合成手段

Claims (12)

1. 複数の撮影画像に対してそれらの撮影時に合焦した焦点検出領域を特定し、前記撮影画像毎に、少なくとも、前記焦点検出領域から予め定められた範囲内にある第１の領域と、被写体までの距離が最も遠い第２の領域とに区分けする領域判定手段と、
   前記領域判定手段による区分けの結果に応じて前記複数の撮影画像間の位置ずれを検出する位置ずれ検出手段と、
   を有し、
   前記位置ずれ検出手段は、前記第１の領域における位置ずれを示す情報及び前記第２の領域における位置ずれを示す情報に対して互いに異なる重み付けを設定した上で前記位置ずれを検出することを特徴とする画像処理装置。
2. 前記複数の撮影画像間において前記焦点検出領域が一致している場合、前記位置ずれ検出手段は、前記第２の領域に対して設定する重み付け以上の重み付けを前記第１の領域に対して設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記領域判定手段は、前記撮影画像毎に、前記第１及び第２の領域以外の領域内で、前記第１の領域における測距結果から予め定められた範囲内の測距結果を示す領域を第３の領域として区分けし、
   前記位置ずれ検出手段は、前記第３の領域における位置ずれを示す情報に対して、前記第１及び第２の領域に対して設定した重み付けを、夫々上限及び下限とする範囲内の重み付けを設定した上で前記位置ずれを検出することを特徴とする請求項２に記載の画像処理装置。
4. 前記複数の撮影画像間に前記焦点検出領域が一致していないものが含まれている場合、前記位置ずれ検出手段は、前記第１の領域に対して設定する重み付け以上の重み付けを前記第２の領域に対して設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記領域判定手段は、前記撮影画像毎に、前記第１及び第２の領域以外の領域内で、前記第２の領域における測距結果から予め定められた範囲内の測距結果を示す領域を第３の領域として区分けし、
   前記位置ずれ検出手段は、前記第３の領域における位置ずれを示す情報に対して、前記第１及び第２の領域に対して設定した重み付けを、夫々下限及び上限とする範囲内の重み付けを設定した上で前記位置ずれを検出することを特徴とする請求項４に記載の画像処理装置。
6. 前記位置ずれ検出手段は、前記撮影画像の撮像時の被写界深度に応じて前記重み付けの比率を変更することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 複数の撮影画像に対してそれらの撮影時に合焦した焦点検出領域を特定し、前記撮影画像毎に、少なくとも、前記焦点検出領域から予め定められた範囲内にある第１の領域と、被写体までの距離が最も遠い第２の領域とに区分けする領域判定ステップと、
   前記領域判定ステップにおける区分けの結果に応じて前記複数の撮影画像間の位置ずれを検出する位置ずれ検出ステップと、
   を有し、
   前記位置ずれ検出ステップにおいて、前記第１の領域における位置ずれを示す情報及び前記第２の領域における位置ずれを示す情報に対して互いに異なる重み付けを設定した上で前記位置ずれを検出することを特徴とする画像処理方法。
8. 前記複数の撮影画像間において前記焦点検出領域が一致している場合、前記位置ずれ検出ステップにおいて、前記第２の領域に対して設定する重み付け以上の重み付けを前記第１の領域に対して設定することを特徴とする請求項７に記載の画像処理方法。
9. 前記領域判定ステップにおいて、前記撮影画像毎に、前記第１及び第２の領域以外の領域内で、前記第１の領域における測距結果から予め定められた範囲内の測距結果を示す領域を第３の領域として区分けし、
   前記位置ずれ検出ステップにおいて、前記第３の領域における位置ずれを示す情報に対して、前記第１及び第２の領域に対して設定した重み付けを、夫々上限及び下限とする範囲内の重み付けを設定した上で前記位置ずれを検出することを特徴とする請求項８に記載の画像処理方法。
10. 前記複数の撮影画像間に前記焦点検出領域が一致していないものが含まれている場合、前記位置ずれ検出ステップにおいて、前記第１の領域に対して設定する重み付け以上の重み付けを前記第２の領域に対して設定することを特徴とする請求項７乃至９のいずれか１項に記載の画像処理方法。
11. 前記領域判定ステップにおいて、前記撮影画像毎に、前記第１及び第２の領域以外の領域内で、前記第２の領域における測距結果から予め定められた範囲内の測距結果を示す領域を第３の領域として区分けし、
    前記位置ずれ検出ステップにおいて、前記第３の領域における位置ずれを示す情報に対して、前記第１及び第２の領域に対して設定した重み付けを、夫々下限及び上限とする範囲内の重み付けを設定した上で前記位置ずれを検出することを特徴とする請求項１０に記載の画像処理方法。
12. 前記位置ずれ検出ステップにおいて、前記撮影画像の撮像時の被写界深度に応じて前記重み付けの比率を変更することを特徴とする請求項７乃至１１のいずれか１項に記載の画像処理方法。

Images