JP2015034869A5 - - Google Patents

Description

動き検出部２８は、撮像画像データに現れる被写体の動き状況を検出する。例えば各フレームの画像の差分から被写体画像の動きの大きさを検出する。
この動き検出部２８は、例えばＹＣ生成部２３で得られる撮像画像信号（輝度信号／色信号）を対象として、各フレーム単位での画像解析処理を行い、画面を複数に分割した各エリアの動きベクトル（ローカルベクトル）を求める。またローカルベクトルから、画像全体のベクトル（グローバルベクトル）を求める場合もある。
動き検出部２８は、検出したローカルベクトル又はグローバルベクトルを動き情報として制御部３０に受け渡す。

このような撮像装置１０において、フォーカス評価値に関する処理の流れについて図５のブロック図で説明する。
図５ではデジタル信号処理部２０内の解像度変換部２４、コーデック部２５、表示データ生成部２６、フォーカス評価処理部２７を示すと共に、記録部１５，表示部３４、及び制御部３０における安定化パラメータ設定部３０ａを示している。

リミッタ処理は、例えば次のように行う。
生のフォーカス評価値（評価値生成部６１で求めた状態のフォーカス評価値）を“V_raw”、前フレームのフォーカス評価値を“V_previous”、現フレームのフォーカス評価値を“V_current”、リミット幅を“Ｅ”とした場合に、
・V_current＞V_previous＋Ｅのときは、V_current＝V_previous＋Ｅ
・V_current＜V_previous＋Ｅのときは、V_current＝V_previous−Ｅ
・他のときは、V_current＝V_raw
とする。
なお、本例のようにブロックＢＫ毎のリミッタ処理である場合、各ブロックの座標位置を“ｐ”として、上記各式は、“V_raw（ｐ）”“V_previous（ｐ）”“V_current（ｐ）”を使って表される。

即ちこのリミッタ処理は、各ブロックＢＫについての現フレームのフォーカス評価値は、前フレームの対応するブロックのリミッタ処理後のフォーカス評価値からの差分が、所定値としてのリミット幅Ｅ以内に制限されるようにするものである。差分がリミット幅Ｅ以内であれば生のフォーカス評価値V_raw（ｐ）がそのまま現フレームのフォーカス評価値V_current（ｐ）とされる。

このようにフォーカス評価値は、生成された後にリミッタ処理、空間フィルタ処理、時間フィルタ処理として安定化が行われる。そしてステップＦ１０７で表示データ生成部２６に供給される。表示データ生成部２６では、フォーカス情報付加部５１が、供給されてきたフォーカス評価値に基づいて、その時点で入力されているモニタリング画像データにフォーカス情報を付加する。例えばピーキングとしてのマーカー線をモニタリング画像データに重畳させる処理を行う。

なお、評価値生成や安定化のための処理の遅延が生ずることで、フォーカス情報付加部５１では、あるフレームＦ（ｘ）について生成及び安定化された評価値を用いて、より後のフレームＦ（ｙ）に対してフォーカス情報付加を行うことになる。
さらには、時間フィルタ６４ｂやリミッタ部６５の処理は、あるフレームＦ（ｘ）について過去のフレームＦ（ｘ−１）、Ｆ（ｘ−２）・・・のフォーカス評価値を反映させて安定化を行うため、フレームＦ（ｙ）に対しては、フレームＦ（ｘ）、Ｆ（ｘ−１）、Ｆ（ｘ−２）・・・から得られたフォーカス情報が付加される。
本実施の形態では、このようにフォーカス評価値生成とフォーカス情報付加には同期はとられていない。これは、表示データ生成部２６側で同期のためにモニタリング画像データに遅延を与えると、表示部３４に表示されるモニタリング画像自体が、実際の被写体状況からの遅れを大きくしてしまい、撮像装置のユーザに違和感を与えたり、シャッターチャンスを確認しづらいモニタリング画像としてしまうためである。

特に本実施の形態では図５，図８を参照して述べたように、ブロックＢＫごとのフォーカス評価値に対して、過去のフレームからの値の急激な変化を抑制するリミッタ処理をおこなって評価値を概ね安定化し（処理ａ）、概ね安定化された評価値に対して、フィルタ処理で空間方向、フレーム方向の平滑化をかけてさらに安定化された評価値を得て（処理ｂ）、安定化された評価値を使って、モニタリング画像へのフォーカス情報の重畳を制御する（処理ｃ）ようにしている。
このようにリミッタ処理、平滑化処理の両方でフォーカス評価値に含まれるノイズの影響を抑制して好ましい表示を実現する。
リミッタ処理と方向の平滑化処理を併用することで、フォーカス評価値の少ないフレーム遅れで、安定性の高いノイズ対策が可能になる。これは、フォーカス評価値の急激な変化がリミッタ処理により抑制され、さらにリミッタ処理を通過するフォーカス評価値の細かな変動が、平滑化処理で抑制されるようにできるためである。
仮に平滑化処理だけで同等の抑制効果を得ようとすると、時間フィルタ６４ｂのタップ数を大幅に増やすことが必要である。

空間フィルタ６４ａについてはフィルタ係数行列ａの有効係数範囲や係数値を変換させる。
例えば図１０Ａ、図１０Ｂ、図１０Ｃのように、３種類のフィルタ係数行列ａ＿ｌｏｗ、ａ＿ｍｉｄ，ａ＿ｈｉｇｈを用意する。
図１０Ｃのフィルタ係数行列ａ＿ｈｉｇｈは、図６Ｂに示した例と同様としているが、周囲２５ブロックについてフォーカス評価値を１／２５づつ反映させる空間ローパスフィルタを実現するパラメータである。
図１０Ｂのフィルタ係数行列ａ＿ｍｉｄは、自己ブロックを含め周囲９ブロックを用いて平滑化する空間ローパスフィルタを実現するパラメータである。即ち自己ブロックのフォーカス評価値について１／４、上下左右の隣接ブロックのフォーカス評価値について１／８、斜め方向の隣接ブロックのフォーカス評価値について１／１６を反映させて平滑化を行う。
図１０Ａのフィルタ係数行列ａ＿ｌｏｗは、自己ブロックを含め周囲５ブロックを用いて平滑化する空間ローパスフィルタを実現するパラメータである。即ち自己ブロックのフォーカス評価値について１／２、上下左右の隣接ブロックのフォーカス評価値について１／８を反映させて平滑化を行う。

各例はいずれも一例に過ぎないが、例えばこの図１０の場合、フィルタ係数行列ａ＿ｌｏｗは安定化効果は弱く、フィルタ係数行列ａ＿ｈｉｇｈは安定化効果が強いものとなる。
なお、図示していないが、もちろん自己ブロックのフォーカス評価値に対する係数を１とし、周囲の係数を０とすれば、空間フィルタ６４ａをバイパスする状態になる。
このように空間フィルタ６４ａについても、安定化効果の度合を可変設定したり、或いは安定化効果有効／無効を切り替えることができる。

上記図９のステップＦ１１０では、この指示ＳＳに応じてリミッタ部６５，空間フィルタ６４ａ、時間フィルタ６４ｂの全部又は一部で、フィルタモードの可変設定が行われる。
例えば空間フィルタ６４ａの場合、ステップＦ２０３で高感度用の安定化パラメータ設定が指示されたら、図１０Ｃの高感度用のフィルタ係数行列ａ＿ｈｉｇｈの設定を行う。
またステップＦ２０４で中感度用の安定化パラメータ設定が指示されたら、図１０Ｂの中感度用のフィルタ係数行列ａ＿ｍｉｄの設定を行う。
またステップＦ２０５で低感度用の安定化パラメータ設定が指示されたら、図１０Ａの低感度用のフィルタ係数行列ａ＿ｌｏｗの設定を行う。

制御部３０は、例えばデジタル信号処理部２０で撮像画像データの輝度値等から生成した露光制御値に基づいて、露光調整機能として、絞り機構の制御、イメージャ１２でのシャッタスピード制御や、ＡＧＣゲイン制御を行っている。
このうちで撮像画像データにおけるノイズに影響を与えるのはＡＧＣゲインとなる。制御部３０は、デジタル信号処理部２０からの露光制御値等の情報に認識したカメラ感度に応じてＡＧＣゲイン制御を行うため、カメラ感度に応じて撮像画像データ上のノイズ状況が把握できる。
即ちＡＧＣゲインを高めて高感度状態としているときは、ノイズの多い画像データとなるため、例えば高感度用のフィルタ係数行列ａ＿ｈｉｇｈを用いて安定化効果を高くする。逆にＡＧＣゲインを低くして低感度状態としているときは、ノイズの少ない画像データとなるため、安定化効果をさほど高めなくてよいため、例えば低感度用のフィルタ係数行列ａ＿ｌｏｗを用いて安定化効果を低くする。

ステップＦ２２２で制御部３０は、撮像されている画像（被写体）の動きの情報を取得する。具体的には制御部３０は、動き検出部２８からの動き情報を取得する。

例えば時間フィルタ６４ｂについて、ステップＦ２２５で有効安定化処理パラメータを指示する場合は、Ｃｏｅｆｆ＝［ｃ０ ｃ１ ｃ２］について例えばｃ０＝ｃ１＝ｃ２＝１／３とする設定を指示する。
またステップＦ２２６で無効安定化処理パラメータを指示する場合は、ｃ０＝１、ｃ１＝ｃ２＝０とする設定を指示する。
また空間フィルタ６４ａについて、ステップＦ２２５で有効安定化処理パラメータを指示する場合は、図６Ｂのフィルタ係数行列ａを指示し、ステップＦ２２６で無効安定化処理パラメータを指示する場合は、バイパス設定としてのフィルタ係数行列を指示する。
またリミッタ部６５について、ステップＦ２２５で有効安定化処理パラメータを指示する場合は、ある所定のリミット幅Ｅｘを指示し、ステップＦ２２６で無効安定化処理パラメータを指示する場合は、実質的にリミッタ処理自体が無効化されるリミット幅Ｅｙを指示する。
デジタル信号処理部２０（フォーカス評価処理部２７）側ではこのような指示ＳＳに応じて、図９のステップＦ１１０のフィルタモード設定を行う。

以上の例のように、カメラ操作の状況や画像の動き情報に応じて安定化度合を切り替えることで、状況に適したフォーカス情報表示が実現される。
空間フィルタ６４ａについて、パラメータ制御係数ｓに応じてフィルタ係数行列を変更することも当然に想定される。

このようなコンピュータ装置７０は、通信部７９による受信動作や、或いはドライブ８０（リムーバブルメディア８１）もしくは記憶部７８での再生動作等により、動画データを入力した際に、ＣＰＵ７１がプログラムに基づいて、上述の図３Ａ又は図３Ｂのような処理を実行することで、入力された画像データについてフォーカス評価値を求め、安定化し、それに応じたフォーカス情報表示を実行することができる。例えば撮像装置で撮像している画像データを入力することで、ユーザは、撮像装置側での合焦状態を、コンピュータ装置７０のディスプレイ（出力部７７）で確認できる。

Claims (15)

1. 対象とする画像データについて合焦度合いを示すフォーカス評価値を生成する評価値生成部と、
   前記評価値生成部で生成されたフォーカス評価値に対して安定化処理を行う評価値安定化部と、
   前記評価値安定化部で安定化処理が施されたフォーカス評価値を用いて、画像データにフォーカス情報を付加した表示データを生成する表示データ生成部と、を備えた
   画像処理装置。
2. 前記評価値安定化部における安定化処理の処理パラメータを可変設定する安定化パラメータ設定部を更に備えた、
   請求項１に記載の画像処理装置。
3. 前記評価値生成部は、対象とする１フレームの画像データについて、領域分割した複数のブロック毎にフォーカス評価値を生成する
   請求項１又は請求項２に記載の画像処理装置。
4. 前記評価値安定化部は、前記安定化処理として、対象とする１フレームの画像データのフォーカス評価値が、前フレームの画像データのフォーカス評価値との差が所定値以内となるようにするリミッタ処理を行う
   請求項１乃至請求項３のいずれかに記載の画像処理装置。
5. 前記評価値生成部は、対象とする１フレームの画像データについて、領域分割した複数のブロック毎にフォーカス評価値を生成し、
   前記評価値安定化部は、前記安定化処理として、各ブロックのフォーカス評価値が、前フレームの画像データの対応するブロックのフォーカス評価値との差が所定値以内となるようにするリミッタ処理を行う
   請求項１乃至請求項４のいずれかに記載の画像処理装置。
6. 前記評価値安定化部は、前記安定化処理として、対象とする１フレームの画像データについてのフォーカス評価値を、過去の１又は複数フレームの画像データのフォーカス評価値を用いて平滑化する時間フィルタ処理を行う
   請求項１乃至請求項５のいずれかに記載の画像処理装置。
7. 前記評価値生成部は、対象とする１フレームの画像データについて、領域分割した複数のブロック毎にフォーカス評価値を生成し、
   前記評価値安定化部は、前記安定化処理として、対象とする１フレームの画像データについての各ブロックのフォーカス評価値を、過去の１又は複数フレームの画像データの対応するブロックのフォーカス評価値を用いて平滑化する時間フィルタ処理を行う
   請求項１乃至請求項６のいずれかに記載の画像処理装置。
8. 前記評価値生成部は、対象とする１フレームの画像データについて、領域分割した複数のブロック毎にフォーカス評価値を生成し、
   前記評価値安定化部は、前記安定化処理として、対象とする１フレームの画像データについての各ブロックのフォーカス評価値を、隣接する１又は複数のブロックのフォーカス評価値を用いて平滑化する空間フィルタ処理を行う
   請求項１乃至請求項７のいずれかに記載の画像処理装置。
9. 前記安定化パラメータ設定部は、画像データに含まれるノイズ成分量に応じて、前記安定化処理の処理パラメータを可変設定する
   請求項２に記載の画像処理装置。
10. 前記安定化パラメータ設定部は、画像データを生成する撮像装置の操作情報に応じて、前記安定化処理の処理パラメータを可変設定する
    請求項２又は請求項９に記載の画像処理装置。
11. 前記安定化パラメータ設定部は、複数フレームの画像データから検出される画像内容の動き情報に応じて、前記安定化処理の処理パラメータを可変設定する
    請求項２、請求項９又は請求項１０に記載の画像処理装置。
12. 前記表示データ生成部は、前記フォーカス情報として合焦位置を示す画像を付加した表示データを生成する
    請求項１乃至請求項１１のいずれかに記載の画像処理装置。
13. 前記評価値生成部がフォーカス評価値を生成する対象とする画像データは、前記表示データを構成する各フレームの画像データであるとともに、
    前記表示データ生成部は、前記フォーカス情報を、そのフォーカス情報の元となるフォーカス評価値を生成したフレームとは同期合わせをせずに、前記表示データを構成する各フレームの画像データに対して付加して表示データを生成する
    請求項１乃至請求項１２のいずれかに記載の画像処理装置。
14. 対象とする画像データについて合焦度合いを示すフォーカス評価値を生成し、
    生成されたフォーカス評価値の安定化処理を行い、
    安定化処理が施されたフォーカス評価値を用いて、画像データにフォーカス情報を付加した表示データを生成する、
    画像処理方法。
15. 対象とする画像データについて合焦度合いを示すフォーカス評価値を生成する処理と、
    生成されたフォーカス評価値を安定化する処理と、
    安定化する処理が施されたフォーカス評価値を用いて、画像データにフォーカス情報を付加した表示データを生成する処理と、
    を演算処理装置に実行させるプログラム。