JP2016111484A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】手ブレに伴う位置ずれが目立たない手ブレ補正を実現する画像処理装置、画像処理方法、およびプログラムを提供する。【解決手段】複数のフレーム画像からなる動画像データを取得する取得手段３０２と、動画像データに写る被写体の動きベクトルを算出する動きベクトル算出手段３０３と、動きベクトルに基づいて、フレーム画像の位置ずれ量を手ブレ量として算出する手ブレ量算出手段３０４と、動きベクトルに基づいて、動画像データに写る被写体と被写体の周辺領域とにおける位置ずれの知覚量を算出する知覚量算出手段３０５と、知覚量に基づいて、位置ずれが検知される手ブレ量の閾値を設定する設定手段３０６と手ブレ量と閾値に基づいて、動画像データにおける手ブレを補正するための補正量を算出する補正量算出手段３０７と、補正量を用いて、動画像データを補正する補正手段３０８を有する。【選択図】図３

Description

本発明は、手ブレを補正する画像処理技術に関する。

近年、小型・軽量化が著しいビデオカメラや、デジタルカメラ、携帯電話などの撮像装置に動画撮像機能が搭載されるようになり、これらの撮像装置で動画を撮像する際に生じる手ブレ対策が重要となってきている。手ブレを防止する為に、手ブレを補正する様々な画像処理技術が提案されている。しかし、奥行きが異なる複数の被写体が写る動画像を手ブレ補正する際、奥行きの違いで手ブレに伴う位置ずれ量が変わる為、一方の被写体に合わせて手ブレを補正すると、他方の被写体に位置ずれが生じる問題があった。特に、一方の被写体が静止するような強い手ブレ補正を掛けると、他方の被写体の位置ずれが目立つ場合があった。手ブレ補正強度を調整する手法として、例えばユーザーがキー操作により手ブレ補正の強弱を指定すると、指定された操作量に応じて切り取り画角を増減するとともに、手ブレ補正の強弱を変更する手法が提案されている（特許文献１）。また、ジャイロセンサで撮像装置の手ブレを検出し、手ブレの大きさに応じて補正強度を調整する手法が提案されている（特許文献２）。

特開２００７−２７４０３１号公報 特開２０１３−０３３１６０号公報 Ｅｄｗａｒｄ Ｈ．Ａｄｅｌｓｏｎ ａｎｄ Ｊａｍｅｓ Ｒ．Ｂｅｒｇｅｎ： "Ｓｐａｔｉｏｔｅｍｐｏｒａｌ ｅｎｅｒｇｙ ｍｏｄｅｌｓ ｆｏｒ ｔｈｅ ｐｅｒｃｅｐｔｉｏｎ ｏｆ ｍｏｔｉｏｎ"， Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．Ａ／Ｖｏｌ．２，Ｎｏ．２ Ｆｅｂｒｕａｒｙ（１９８５） Ｄａｖｉｄ Ｊ．Ｈｅｅｇｅｒ： "Ｍｏｄｅｌ ｆｏｒ ｔｈｅ ｅｘｔｒａｃｔｉｏｎ ｏｆ ｉｍａｇｅ ｆｌｏｗ" Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．Ａ Ｖｏｌ．４，Ｎｏ．８ Ａｕｇｕｓｔ（１９８７） Ｉｋｕｙａ Ｍｕｒａｋａｍｉ，Ｓｈｉｎｓｕｋｅ Ｓｈｉｍｏｊｏ： "Ｍｏｔｉｏｎ Ｃａｐｔｕｒｅ Ｃｈａｎｇｅｓ ｔｏ Ｉｎｄｕｃｅｄ Ｍｏｔｉｏｎ ａｔ Ｈｉｇｈｅｒ Ｌｕｍｉｎａｎｃｅ Ｃｏｎｔｒａｓｔｓ，Ｓｍａｌｌｅｒ Ｅｃｃｅｎｔｒｉｃｉｔｉｅｓ，ａｎｄ Ｌａｒｇｅｒ Ｉｎｄｕｃｅｒ Ｓｉｚｅｓ" Ｖｉｓｉｏｎ Ｒｅｓ．Ｖｏｌ．３３，Ｎｏ．１５，ｐｐ．２０９１−２１０７，（１９９３） Ｊ．Ｌａｉｒｄ，Ｍ．Ｐｅｌｚ，Ｅ．Ｍｏｎｔａｇ，ａｎｄ Ｓ．Ｄａｌｙ： "Ｓｐａｔｉｏ−Ｖｅｌｏｃｉｔｙ ＣＳＦ ａｓ ａ Ｆｕｎｃｔｉｏｎ ｏｆ Ｒｅｔｉｎａｌ Ｖｅｌｏｃｉｔｙ Ｕｓｉｎｇ Ｕｎｓｔａｂｉｌｉｚｅｄ Ｓｔｉｍｕｌｉ"，Ｐｒｏｃ．ｏｆ ＳＰＩＥ，６０５７，（２００６）

しかしながら、特許文献１では手ブレ補正強度が手動設定の為、ユーザーが撮影の度に補正強度を設定する手間が発生してしまう問題があった。また、特許文献２では、撮像装置の手ブレ量に基づき補正強度を制御する為、奥行きが異なる一部の被写体の局所的な位置ずれを考慮することなく手ブレ補正強度が制御される。その為、補正強度が強すぎると一部の被写体の局所的な位置ずれが目立ってしまう問題があった。

そこで本発明では、被写体の動きに伴う人間の視覚の空間周波数特性に基づき、手ブレ補正強度を制御することで、手ブレに伴う位置ずれが目立たない手ブレ補正を実現することを目的とする。

上記課題を解決うるため本発明は、複数のフレーム画像からなる動画像データを取得する取得手段と、前記動画像データに写る被写体の動きベクトルを算出する動きベクトル算出手段と、前記動きベクトルに基づいて、前記フレーム画像の位置ずれ量を手ブレ量として算出する手ブレ量算出手段と、前記動きベクトルに基づいて、前記動画像データに写る被写体と前記被写体の周辺領域とにおける位置ずれの知覚量を算出する知覚量算出手段と、前記知覚量に基づいて、位置ずれが検知される手ブレ量の閾値を設定する設定手段と前記手ブレ量と前記閾値に基づいて、前記動画像データにおける手ブレを補正するための補正量を算出する補正量算出手段と、前記補正量を用いて、前記動画像データを補正する補正手段を有することを特徴とする。

本発明では、被写体の動きに伴う人間の視覚の空間周波数特性に基づき、手ブレ補正強度を制御することで、手ブレに伴う位置ずれが目立たない手ブレ補正を実現することができる。

ユーザーが撮像した動画像データのイメージ図である。 実施形態１のシステム構成図である。 実施形態１のブロック図である。 実施形態１の動作を示すフローチャートである。 動きベクトル算出部３０３の動作を示すフローチャートである。 動きベクトルのイメージ図である。 手ブレ速度を説明するイメージ図である。 手ブレ量を説明するイメージ図である。 位置ずれ知覚量算出部３０５の動作を示すフローチャートである。 位置ずれ知覚量と位置ずれ知覚速さの変換テーブルのイメージ図である。 位置ずれ知覚速度を説明するイメージ図である。 閾値を説明するイメージ図である。 手ブレ補正量を説明するイメージ図である。 横方向の動き検出フィルタを説明するイメージ図である。 縦方向の動き検出フィルタを説明するイメージ図である。 横方向の動きベクトル算出過程を説明するイメージ図である。 縦方向の動きベクトル算出過程を説明するイメージ図である。 位置ずれ知覚フィルタを説明するイメージ図である。 位置ずれ知覚フィルタ畳みこみ画像を説明するイメージ図である。 位置ずれ知覚量を説明するイメージ図である。 実施形態１の手ブレ補正処理後の手ブレ量を説明するイメージ図である。 実施形態１の手ブレ補正処理後の動画像データのイメージ図である。 ユーザーが動被写体を撮像した動画像データのイメージ図である。 実施形態２の動作を示すフローチャートである。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

＜第１実施形態＞
本実施形態では図１（ａ）に示すように、奥行きが異なる二つの矩形波チャートＡ、Ｂをユーザーが手持ち撮影しており、矩形波チャートＡ、Ｂは静止しているものとする。撮像時にはユーザーが画像上で水平方向に矩形波チャートＡが振幅ｘ_０（ｐｉｘｅｌ）、矩形波チャートＢが振幅ｘ_１（ｐｉｘｅｌ）、周期８（ｆｒａｍｅ／ｃｙｃｌｅ）の三角波の動きを繰り返す手ブレを生じさせている。尚、ｘ_０＜ｘ_１とする。図１（ｂ）は、ユーザーが撮像した動画像データ中の一部のフレーム画像であり、手ブレ時に各フレーム画像間で矩形波チャートＡは０．５ｘ_０、矩形波チャートＢは０．５ｘ_１の位置ずれが生じている。

本提案のシステム構成を図２を用いて説明する。撮像部２０１は、レンズ、絞り、シャッタ、光学ローパスフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤなどのセンサから構成され、被写体の光量を検知し、Ａ／Ｄ変換を経てデータ転送経路であるバス２１５にデジタルデータを出力する。フラッシュ２０２は、被写体に光を照射する。ＲＯＭ２０３とＲＡＭ２０４は、撮像や画像処理に必要なプログラム、データ、作業領域などをＣＰＵ２０５に提供する。ＣＰＵ２０５はＲＡＭ２０４をワークメモリとして、ＲＯＭ２０３やＲＡＭ２０４に格納されたプログラムを実行し、バス２１５を介して各構成を制御する。これにより、後述する様々な処理が実行される。撮像装置制御部２０６は、フォーカスを合わせる、シャッタを開く、絞りを調節するなどの、ＣＰＵ２０５から指示された撮像系の制御を行う。操作部２０７は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザー指示を受け取る。ＣＧ生成部２０８は、文字やグラフィックなどを生成する。表示部１０９は、一般的には液晶ディスプレイが広く用いられており、ＣＧ生成部２０８や後述のデジタル信号処理部２１０、画像処理部２１４から受け取った撮像画像や文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ユーザー指示を操作部２０７の入力として扱うことも可能である。デジタル信号処理部２１０は、デジタル値にホワイトバランス処理、ガンマ処理、ノイズ低減処理などを行い、デジタル画像を生成する。圧縮・伸張部２１１は、上記デジタル値をＪｐｅｇやＭｐｅｇなどのファイルフォーマットに変換する処理を行う。外部メモリ制御部２１２は、ＰＣその他メディア２１３（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）につなぐためのインターフェースである。画像処理部２１４は、撮像部２０１から得られたデジタル画像或いは、デジタル信号処理部から出力されるデジタル画像を利用して新たな画像を生成し、その結果をバス２１５へ出力する。

また、装置の構成要素は上記以外にも存在するが、本実施形態の主眼ではないので説明を省略する。

図３は、本実施形態に適用可能な画像処理装置の構成を示すブロック図である。動画像データ取得部３０２は、入力端子３０１を介して撮像装置で撮像した動画像データを取得する。動画像データとは、時系列の複数のフレーム画像からなる。取得した動画像データは動きベクトル算出部３０３、手ブレ補正動画像データ生成部３０８へ出力する。

動きベクトル算出部３０３は、動画像データに写る被写体の動きに応じて視覚の時空間周波数特性を算出する。さらに時空間周波数特性に基づいて、動画像データ取得部３０２で取得した動画像データから動画像データに写る被写体の動きベクトルを算出する。算出した動きベクトルは、手ブレ量算出部３０４、位置ずれ知覚量算出部３０５へ出力する。

手ブレ量算出部３０４は、動きベクトル算出部３０３で算出した動きベクトルから、撮像時の手ブレに伴う画像の位置ずれ量を手ブレ量として取得する。取得した手ブレ量は、手ブレ補正量算出部３０７へ出力する。

位置ずれ知覚量算出部３０５は、動きベクトル算出部３０３で算出した動きベクトルから、速度の空間分布に対する視覚の空間周波数特性に基づき、被写体と被写体の周辺領域との局所的な位置ずれの知覚量を算出する。算出した位置ずれ知覚量は手ブレ量閾値設定部３０６へ出力する。

手ブレ量閾値設定部３０６は、位置ずれ知覚量算出部３０５で算出した位置ずれ知覚量から、手ブレに伴う位置ずれが目立たない手ブレ量の下限値を、手ブレ量の閾値として算出する。算出した手ブレ量閾値は手ブレ補正量算出部３０７へ出力する。

手ブレ補正量算出部３０７は、手ブレ量算出部３０４で算出した手ブレ量と、手ブレ量閾値設定部３０６で算出した閾値から、手ブレに伴う位置ずれが目立たない手ブレ補正量を算出する。算出した手ブレ補正量は手ブレ補正動画像データ生成部３０８へ出力する。手ブレ補正動画像データ生成部３０８は、手ブレ補正量算出部３０８で算出した手ブレ補正量から、手ブレを補正した動画像データを生成する。生成した手ブレ補正動画像データは、出力端子３０９から出力される。

図４は、本実施形態の画像処理部２１４における画像処理の動作を示すフローチャートである。詳細には、図４のフローチャートに示す手順を記述したコンピュータで実行可能なプログラムをＲＯＭ２０３からＲＡＭ２０４上に読み込んだ後に、ＣＰＵ２０５によって該プログラムを実行することによって当該処理が実施される。

以下、図４に示す各処理について説明する。ステップＳ４０１では動画像データ取得部３０２が、撮像装置で撮像した動画像データを取得する。つまりフレーム番号ｉ（ｉ＝１〜Ｎ）の複数のフレーム画像を取得する。取得した動画像データはＲＯＭ２０３またはＲＡＭ２０４等の記憶領域に記憶する。

ステップＳ４０２において動きベクトル算出部３０３は、ステップＳ４０１で取得した動画像データから被写体の動きベクトルを算出する。動きベクトル算出処理の詳細は図５を用いて後述する。図６は、フレーム番号ｉの画像データ（フレーム画像）に対して算出した動きベクトルのイメージ図である。フレーム画像内の各画素に対して動きベクトルを算出しており、矢印の方向は速度の向き、矢印の大きさは速度の大きさを表している。各フレーム画像に対して動きベクトルを算出し、所定の記憶領域に記憶する。

ステップＳ４０３において手ブレ量算出部３０４は、ステップＳ４０２で算出した動きベクトルから、撮像時の手ブレに伴う画像の位置ずれ量を取得する。具体的には各フレーム画像に対して動きベクトルの大きさの頻度を示すヒストグラムを生成し、最頻値に対応する動きベクトルを手ブレ速度ｖ_ｂｌｕｒとして算出する。図７は、動きベクトルの大きさのヒストグラムである。縦軸は頻度、横軸は動きベクトルの大きさである。本実施形態では、手ブレ補正対象の被写体である背景の動きベクトルｖ_０（ｐｉｘｅｌ／ｆｒａｍｅ）が手ブレ速度ｖ_ｂｌｕｒとして算出されている。手ブレ速度ｖ_ｂｌｕｒを各フレーム画像に対して算出することにより、以下の式（１）に従い、撮像時の手ブレに伴う画像の位置ずれ量ｘ（ｉ）を算出することができる。
ｘ（ｉ）＝ｘ（ｉ−１）＋ｖ_ｂｌｕｒ（ｉ−１） 式（１）
但し、フレーム番号０の画像の位置ずれ量ｘ（０）＝０とする。図８は式（１）に従い算出した、撮像時の手ブレに伴う画像の位置ずれ量である。縦軸は手ブレに伴う画像の位置ずれ量（ｐｉｘｅｌ）、横軸は動画像データの各フレーム番号である。本実施形態では、背景であるチャートＡに合わせて手ブレ補正を行う為、チャートＡの水平方向に振幅ｘ_０（ｐｉｘｅｌ）、周期８（ｆｒａｍｅ／ｃｙｃｌｅ）の三角波の動きを手ブレ量として取得する。取得した各フレーム画像の手ブレ量ｘ（ｉ）は所定の記憶領域に記憶する。

ステップＳ４０４において位置ずれ知覚量算出部３０５は、被写体と被写体の周辺領域とにおける局所的な位置ずれの知覚量を算出する。位置ずれ知覚量算出処理の詳細は図９を用いて後述する。算出した位置ずれ知覚量は所定の記憶領域に記憶する。

ステップＳ４０５において手ブレ量閾値設定部３０６は、ステップＳ４０４で算出した位置ずれ知覚量から、手ブレに伴う位置ずれが目立たない手ブレ量の下限値を、手ブレ量の閾値として算出する。具体的には、予め算出しておいた位置ずれ知覚量と手ブレに伴う位置ずれを知覚する速さ｜ｖ_ＲＥＭ｜の変換テーブルを所定の記憶領域から取得する。図１０は、位置ずれ知覚量を手ブレに伴う位置ずれ知覚速さ｜ｖ_ＲＥＭ｜に変換するテーブルである。横軸は位置ずれ知覚量であり、縦軸は各位置ずれ知覚量おける位置ずれ知覚速さ（ｐｉｘｅｌ／ｆｒａｍｅ）である。変換テーブルに従い、ステップ４０４で算出した位置ずれ知覚量に対する位置ずれ知覚速さ｜ｖ_ＲＥＭ｜を取得する。次に、各フレーム画像ｉについて位置ずれ知覚速度ｖ_ＲＥＭ（ｉ）を、以下の式（２）に従い算出する。

図１１は、式（２）に従い算出した、各フレーム画像ｉの位置ずれ視覚速度ｖ_ＲＥＭ（ｉ）である。縦軸は各フレーム画像間の位置ずれ量（ｐｉｘｅｌ／ｆｒａｍｅ）、横軸は動画像データの各フレーム番号である。本実施形態では、位置ずれを知覚する速さはＶ_０（ｐｉｘｅｌ／ｆｒａｍｅ）である。また、位置ずれ知覚速さ｜ｖ_ＲＥＭ（ｉ）｜＜Ｖ_ｔｈを満たす小さい位置ずれの場合、手ブレに伴う位置ずれが十分小さいと見なし、手ブレ補正により被写体が静止するように｜ｖ_ＲＥＭ（ｉ）｜＝０としている。更に、以下の式（３）に従い、手ブレに伴う位置ずれが知覚されない手ブレ量ｘ_ＲＥＭ（ｉ）を算出する。
ｘ_ＲＥＭ（ｉ）＝ｘ_ＲＥＭ（ｉ−１）＋ｖ_ＲＥＭ（ｉ−１） 式（３）
但し、フレーム番号０の手ブレ量閾値ｘ_ＲＥＭ（０）＝ｘ（０）とする。図１２は式（３）に従い算出した、手ブレに伴う位置ずれが知覚されない手ブレ量ｘ_ＲＥＭ（ｉ）である。縦軸は手ブレに伴う位置ずれを知覚しない画像の位置ずれ量（ｐｉｘｅｌ）、横軸は動画像データの各フレーム番号である。本実施形態では、矩形波チャートＡ、Ｂの奥行きの違いが大きく、手ブレ補正によりチャートＡを静止させるとチャートＢの位置ずれが目立ってしまう。その為、位置ずれが目立たない程度にチャートＡに振幅Ｘ_０の三角波の手ブレが残るような手ブレ量となっている。算出した各フレーム画像の手ブレ量閾値（ｘ_ＲＥＭ（ｉ））は所定の記憶領域に記憶する。

ステップＳ４０６において手ブレ補正量算出部３０７は、ステップＳ４０５で算出した閾値から、手ブレに伴う位置ずれが目立たない手ブレ補正量を算出する。本実施形態では、手ブレ補正処理後の動画像データの手ブレ量が、手ブレに伴う位置ずれが目立たない手ブレ量の下限値と等しくなるまで手ブレ量を抑えた補正量を算出する。具体的には、ステップＳ４０２で取得した各フレーム画像の手ブレ量（ｘ（ｉ））と、ステップＳ４０５で算出した閾値（ｘ_ＲＥＭ（ｉ））から、以下の式（４）に従い、手ブレ補正量ｘ´（ｉ）を算出する。

図１３は手ブレに伴う位置ずれが目立たない手ブレ補正量である。縦軸は手ブレを補正する画像シフト量（ｐｉｘｅｌ）、横軸は動画像データの各フレーム番号、点線は撮像時の手ブレ量ｘ（ｉ）である。本実施形態では、矩形波チャートＡ、Ｂの奥行きの違いが大きく、手ブレ補正によりチャートＡを静止させるとチャートＢの位置ずれが目立つ為、位置ずれが目立たない程度にチャートＡに振幅ｘ_０−ｘ_０´の三角波の手ブレが残るような補正量となっている。算出した手ブレ補正量は所定の記憶領域に記憶する。ステップＳ４０７では、手ブレ補正動画像データ生成部３０８が、ステップＳ４０６で算出した手ブレ補正量から、アフィン変換や射影変換などを用いて手ブレを補正した動画像データを生成し、処理を終了する。

以下では、ステップＳ４０４の動きベクトル算出処理の詳細について、図５のフローチャートを用いて説明する。本実施形態では動画像データのフレーム画像ｉの動きベクトルは、対象のフレームと前後１フレームの計３枚のフレーム画像（フレーム番号：ｉ−１、ｉ、ｉ＋１）を用いて算出される。

ステップＳ５０１において動きベクトル算出部３０３は、フレーム画像ｉ−１、ｉ、ｉ＋１に対して、被写体の動きを検出するフィルタを畳み込んだ画像を生成する。本実施形態では、動き検出フィルタとして、被写体の動きに応じた視覚の時空間周波数特性の変化をモデル化した、非特許文献１、２記載の３Ｄ−Ｇａｂｏｒフィルタを用いる。具体的には、以下の式（５）に従い３Ｄ−Ｇａｂｏｒフィルタを生成する。

ω_ｘ、ω_ｙは、それぞれ横、縦方向の空間周波数応答のピーク周波数である。ω_ｔは、時間周波数応答のピーク周波数である。また、σ_ｘ＝１／２ω_ｘ、σ_ｙ＝１／２ω_ｙ、σ_ｔ＝１／２ω_ｔである。

図１４は、式（５）に従い算出した横方向の動きを検出する３Ｄ−Ｇａｂｏｒフィルタである。図１４（１）は、撮像したフレーム画像ｉ−１、ｉ、ｉ＋１である。図１４（２）は、フレーム画像ｉ−１、ｉ、ｉ＋１について、横方向の静止被写体を検出するフィルタであり、フレーム番号ｉ−１、ｉ、ｉ＋１の各フレーム間で空間方向の位相差は０である。図１４（３）は、（２）のフィルタに対して、空間方向の位相差が−π／２ずれたフィルタであり、図１４（２）のフィルタでフレーム画像を畳み込んだ際に出てくる空間方向の位相依存性を打ち消す働きをする。図１４（４）は、左方向に動く被写体を検出するフィルタであり、フレーム番号ｉ−１、ｉ、ｉ＋１の各フレーム間でフィルタの空間方向の位相差は−π／２である。図１４（５）は、図１４（４）に対して、空間方向の位相差が−π／２ずれたフィルタである。図１４（６）は、右方向に動く被写体を検出するフィルタであり、フレーム番号ｉ−１、ｉ、ｉ＋１の各フレーム間でフィルタの空間方向の位相差は＋π／２である。図１４（７）は、図１４（６）に対して、空間方向の位相差が−π／２ずれたフィルタである。図１４（８）、図１４（９）は、図１４（７）のフィルタに対し、空間周波数応答のピークを２倍、４倍に高周波側へシフトしたフィルタであり、右方向に図１４（７）の０．５倍、０．２５倍の速さで動く被写体を検出する。

本実施形態では、フィルタサイズが空間周波数応答のピークに反比例する為、図１４（７）のフィルタＦ×Ｆに対し、図１４（８）、（９）のフィルタサイズがそれぞれ０．５Ｆ×０．５Ｆ、０．２５Ｆ×０．２５Ｆとなっている。図１４（１０）は視覚特性に基づく動き検出の時間周波数特性であり、対象フレームｉに対するフレームｉ±１の相対的な応答強度を表している。フレームｉ±１に対応するフィルタに対して、相対的な応答強度に応じた重みづけが乗算されている。縦方向の動きについても同様に図１５に示す３Ｄ−Ｇａｂｏｒフィルタを算出する。算出した３Ｄ−Ｇａｂｏｒフィルタを動き検出フィルタとして、所定の記憶領域に記憶する。ステップＳ５０２では、動きベクトル算出部３０３が、フレーム番号ｉに対してｉ＝１に初期化する。ステップＳ５０３では、動きベクトル算出部３０３が、フレーム画像ｉ−１、ｉ、ｉ＋１に対して、ステップＳ５０１で生成した動き検出フィルタを畳み込んだ画像を生成する。図１６（１）はフレーム画像ｉ−１、ｉ、ｉ＋１であり、図１６（２）〜（９）は各フレーム画像に対して、動き検出フィルタを畳み込んだ画像である。同様に、図１７（２）〜（９）は、各フレーム画像に対して、縦方向の動きについて動き検出フィルタを畳み込んだ画像である。生成した畳み込み画像は所定の記憶領域に記憶する。

ステップＳ５０４において動きベクトル算出部３０３は、ステップＳ５０３で生成した動き検出フィルタ畳み込み画像から、以下の式（６）に従い、フレーム番号ｉ−１、ｉ、ｉ＋１の畳み込み画像を足し合わせた画像を前後フレーム和分画像として生成する。
Ｉ_ＳＵＭ（ｘ，ｙ）＝Ｉ_ｉ−１（ｘ，ｙ）＋Ｉ_ｉ（ｘ，ｙ）＋Ｉ_ｉ＋１（ｘ，ｙ） 式（６）
Ｉ_ＳＵＭ（ｘ，ｙ）は前後フレーム和分画像の画素位置（ｘ，ｙ）における画素値、Ｉ_ｉ−１（ｘ，ｙ）、Ｉ_ｉ（ｘ，ｙ）、Ｉ_ｉ＋１（ｘ，ｙ）はフレーム番号ｉ−１、ｉ、ｉ＋１の畳み込み画像の画素位置（ｘ，ｙ）における画素値である。図１６（１０）〜（１７）は、それぞれ図１６（２）〜（９）から、式（６）に従い生成した前後フレーム和分画像である。同様に、図１７（１０）〜（１７）に示すように、縦方向について前後フレーム和分画像を生成する。生成した前後フレーム和分画像は所定の記憶領域に記憶する。

ステップＳ５０５において動きベクトル算出部３０３は、ステップＳ５０４において生成した前後フレーム和分画像から、動き検出強度画像を生成する。本実施形態では、非特許文献１、２記載の３Ｄ−Ｇａｂｏｒフィルタを用いて生成される運動エネルギー画像を、視覚の時空間周波数特性に基づく動き検出強度画像として生成する。具体的には、以下の式（７）に従い、運動エネルギー画像を生成する。

Ｉ_ＳＴＥ（ｘ，ｙ）は式（７）に従い生成した運動エネルギー画像の画素位置（ｘ，ｙ）における画素値である。Ｉ_ｅｖｅｎ（ｘ，ｙ）は、図１４（２）、（４）、（６）、（８）、（９）に示すフィルタを畳み込んだ画像の画素位置（ｘ，ｙ）における画素値である。Ｉ_ｏｄｄ（ｘ，ｙ）は、前記フィルタに対し位相が−π／２ずれたフィルタ（図１４（３）、（５）、（７））を畳み込んだ画像の画素位置（ｘ，ｙ）における画素値である。図１６（１８）〜（２２）は、それぞれ図１６（１０）〜（１７）から、式（７）に従い生成した運動エネルギー画像である。同様に、図１７（１８）〜（２２）に示すように、縦方向について運動エネルギー画像を生成する。生成した運動エネルギー画像を動き検出強度画像として、所定の記憶領域に記憶する。

ステップＳ５０６において動きベクトル算出部３０３は、ステップＳ５０５で生成した動き検出強度画像から、以下の式（８）に従い、横方向について右方向と左方向の動き検出強度画像を差分した画像を正負方向差分画像として生成する。
Ｉ_ｏｐｐ（ｘ，ｙ）＝Ｉ_ＳＴＥ＋（ｘ，ｙ）−Ｉ_ＳＴＥ−（ｘ，ｙ） 式（８）
Ｉ_ｏｐｐ（ｘ，ｙ）は正負方向差分画像の画素位置（ｘ，ｙ）における画素値、Ｉ_ＳＴＥ＋（ｘ，ｙ）、Ｉ_ＳＴＥ−（ｘ，ｙ）は、右（正）、左（負）方向の動き検出強度画像の画素位置（ｘ，ｙ）における画素値である。図１６（２３）〜（２５）は、それぞれ図１６（１９）〜（２２）から、式（８）に従い生成した正負方向差分画像である。同様に、図１７（２３）〜（２５）に示すように、縦方向について正負方向差分画像を生成する。生成した正負方向差分画像は所定の記憶領域に記憶する。ステップＳ５０７では、動きベクトル算出部３０３が、ステップＳ５０６で生成した正負方向差分画像を比較し、各画素について画素値の大きさが最大となる画像を最大値画像として生成する。具体的には、横方向について図１６（２３）〜（２５）から、以下の式（９）に従い、各画素で大きさが最大となる画素値を算出する。

Ｉ_ＭＡＸ（ｘ，ｙ）は最大値画像の画素位置（ｘ，ｙ）における画素値である。Ｉ_{ｏｐｐω０}（ｘ，ｙ）、Ｉ_{ｏｐｐω１}（ｘ，ｙ）、Ｉ_{ｏｐｐω２}（ｘ，ｙ）は各々フィルタの空間周波数応答ピークがω_０、ω_１、ω_２の動き検出フィルタを用いて生成した正負方向差分画像の画素位置（ｘ，ｙ）における画素値である。本実施形態ではω_０＜ω_１＜ω_２である。図１６（２６）は、図１６（２３）〜（２５）から、式（９）に従い生成した最大値画像である。同様に、図１７（２６）に示すように、縦方向について最大値画像を生成する。生成した最大値画像は所定の記憶領域に記憶する。ステップＳ５０８では、動きベクトル算出部３０３が、正負方向差分画像を比較し、各画素について最大値画像と同じ空間周波数応答を持つフィルタで生成した静止被写体の検出強度画像の画素値を算出し、静止検出強度画像として生成する。具体的には、横方向について図１６（２３）〜（２５）から、以下の式（１０）に従い、各画素で最大値画像と同じ空間周波数応答を持つフィルタで生成した静止被写体の検出強度を算出する。

Ｉ_ＳＴＰ（ｘ，ｙ）は静止検出強度画像の画素位置（ｘ，ｙ）における画素値である。Ｉ_{ＳＴＥ０ω０}（ｘ，ｙ）、Ｉ_{ＳＴＥ０ω１}（ｘ，ｙ）、Ｉ_{ＳＴＥ０ω２}（ｘ，ｙ）は各々フィルタの空間周波数応答ピークがω_０、ω_１、ω_２の静止被写体検出フィルタを用いて生成した動き検出強度画像の画素位置（ｘ，ｙ）における画素値である。図１６（２７）は、図１６（２３）〜（２５）から、式（１０）に従い生成した静止検出強度画像である。本実施形態では、全画素についてフィルタの空間周波数応答ピークがω_０の動き検出フィルタで生成した動き検出強度画像の画素値の大きさが最大なので、図１６（２７）は図（１８）と同じ画像となる。同様に、図１７（２７）に示すように、縦方向について静止検出強度画像を生成する。生成した静止検出強度画像は所定の記憶領域に記憶する。ステップＳ５０９では、動きベクトル算出部３０３が、最大値画像と、静止検出強度画像から、以下の式（１１）に従い、横方向について最大値画像と静止検出強度画像を除算した画像を動きベクトルとして算出する。
ｖ（ｘ，ｙ）＝Ｉ_ＭＡＸ（ｘ，ｙ）／Ｉ_ＳＴＰ（ｘ，ｙ） 式（１１）
ｖ（ｘ，ｙ）は画素位置（ｘ，ｙ）における動きベクトル、Ｉ_ＭＡＸ（ｘ，ｙ）は最大値画像の画素位置（ｘ，ｙ）における画素値、Ｉ_ＳＴＰ（ｘ，ｙ）は静止検出強度画像の画素位置（ｘ，ｙ）における画素値である。図１６（２８）は図（２６）、（２７）から式（１１）に従い算出した動きベクトルである。同様に図１７（２８）に示すように、縦方向について動きベクトルを算出する。算出した動きベクトルは所定の記憶領域に記憶する。ステップＳ５１０では、動きベクトル算出部３０３が、フレーム番号ｉに対してｉ＝ｉ＋１に更新する。

ステップＳ５１１において動きベクトル算出部３０３は、フレーム番号ｉに対してｉ≧ｎ−１を満たすかどうかを判定する。ｉ≧ｎ−１を満たす場合は、全フレーム画像について動きベクトルを算出したと判定し、処理を終了する。ｉ≧ｎ−１を満たさない場合は、ステップＳ５０３に戻る。

全フレーム画像に対して以上の処理を行うことにより、各フレーム画像に写る動きベクトルが算出されている。図１４（７）〜（９）に示すように、人間は被写体の動きに応じて視覚の時空間周波数特性を変化させることにより、被写体の動きを検知している。従って、図１６（２０）〜（２２）に示すように、被写体の動きが速い場合、視覚の空間周波数応答ピークが低周波側にシフトする為、空間方向にボケた被写体が知覚される。

以下では、ステップＳ４０４の位置ずれ知覚量算出処理の詳細について図９のフローチャートを用いて説明する。ステップＳ９０１において位置ずれ知覚量算出部３０５は、位置ずれ知覚フィルタを生成する。本実施形態では、位置ずれ知覚フィルタとして、相対運動に対する視覚の空間周波数特性をモデル化した、非特許文献３記載のＤｏＧフィルタを用いる。具体的には式（１２）に従いＤｏＧフィルタを生成する。

但し、σ_０＜σ_１とする。図１８は式（１２）に従い算出した位置ずれを知覚するＤｏＧフィルタである。生成したＤｏＧフィルタを位置ずれ知覚フィルタとして、所定の記憶領域に記憶する。

ステップＳ９０２において位置ずれ知覚量算出部３０５は、フレーム番号ｉに対してｉ＝１に初期化する。ステップＳ９０３において位置ずれ知覚量算出部３０５は、ステップＳ４０２で算出した横方向の動きベクトルに対して、ステップＳ９０１で生成した位置ずれ知覚フィルタを畳み込んだ画像を生成する。図１９（ａ）は、図１６（２８）の動きベクトルに対して、図１８の位置ずれ知覚フィルタを畳み込んだ画像である。同様に図１９（ｂ）に示すように、縦方向についても位置ずれ知覚フィルタ畳み込み画像を生成する。生成した位置ずれ知覚フィルタ畳み込み画像は所定の記憶領域に記憶する。ステップＳ９０４では、位置ずれ知覚量算出部３０５が、ステップＳ９０３で算出した位置ずれ知覚フィルタを畳み込み画像から、以下の式（１３）に従い、横方向について位置ずれ知覚量を算出する。

Ｉ_ＲＥＭはフレーム画像ｉの位置ずれ知覚量、Ｉ_ＤｏＧ（ｘ，ｙ）は位置ずれ知覚フィルタ畳み込み画像の画素位置（ｘ，ｙ）における画素値である。ＩｍｇＸ、ＩｍｇＹはフレーム画像の横・縦方向のピクセル数である。同様に、縦方向についても位置ずれ知覚量を算出する。算出した位置ずれ知覚量は所定の記憶領域に記憶する。ステップＳ９０５では、位置ずれ知覚量算出部３０５が、フレーム番号ｉに対してｉ＝ｉ＋１に更新する。ステップＳ９０６では、位置ずれ知覚量算出部３０５が、フレーム番号ｉに対してｉ≧ｎ−１を満たすかどうかを判定する。ｉ≧ｎ−１を満たす場合は、全フレーム画像について位置ずれ知覚量を算出したと判定し、処理を終了する。ｉ≧ｎ−１を満たさない場合は、ステップＳ９０３に戻る。

各フレーム画像に対して位置ずれ知覚量を算出することにより、各フレーム画像の手ブレに伴う位置ずれ知覚量Ｉ_ＲＥＭが算出されている。図２０は式（１３）に従い算出した、各フレーム画像に対する位置ずれ知覚量である。本実施形態では、矩形波チャートＡ、Ｂの奥行きの違いが大きい為、手ブレに伴い強度Ｉ_０の位置ずれ知覚量が算出されている。

撮像装置で撮像した動画像データに対し、以上説明した手ブレ補正処理を行うことで、手ブレに伴う動きボケが目立たない手ブレ補正が可能となる（図２１）。縦軸は手ブレ補正後の画像の位置ずれ量（ｐｉｘｅｌ）、横軸は動画像データの各フレーム番号である。実線は手ブレ補正後の手ブレに伴う画像の位置ずれ量（ｐｉｘｅｌ）、点線は撮像画像の手ブレに伴う位置ずれ量（ｐｉｘｅｌ）である。本実施形態では、手ブレ補正処理後の動画像データの手ブレ量が、手ブレに伴う動きボケが目立たない手ブレ量の下限値と等しくなるまで手ブレ量を抑えている。その為、図２２に示すにように、手ブレに伴う位置ずれが目立たない程度に振幅ｘ_０−ｘ_０´（＝Ｘ_０）の手ブレが残った動画像データが生成される。

本実施形態では静止した矩形波チャートをユーザーが手持ち撮影しているとして、画像の位置ずれ量から手ブレ量を取得したが、ユーザーや被写体が動いていて、被写体をトラッキングしながら撮像している場合にも手ブレ量を取得することができる。その場合は、撮像時の撮像装置の三次元空間上の軌跡をＳｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎなどを用いて算出する。更に、撮像装置の軌跡にローパスフィルタを掛けた軌跡をカメラワークとして算出し、撮像装置の軌跡とカメラワークの差分を手ブレ量として取得すれば良い。

また、動きベクトルのヒストグラム上で最頻値に対応する動きベクトルを手ブレ速度として検出したが、レーザー照射により取得した距離情報から抽出した背景領域の動きベクトルを手ブレ速度としても良く、特に手ブレ量算出方法を限定するものではない。

また、視覚の時空間周波数特性に基づき動きベクトルを算出したが、ブロックマッチング法や勾配法などの位置合わせアルゴリズムを用いて取得しても良い。また、ジャイロセンサなどの外部装置を用いて取得しても良い。

また、手ブレ補正処理後の動画像データの手ブレ量が、手ブレに伴う位置ずれが目立たない手ブレ量の下限値と等しくなるように手ブレ補正量を算出したが、補正後の動画像データに対する画角維持等の条件を加えた重みづけ処理で算出しても良い。また、ユーザーがモードダイヤルなどで補正量の強弱を設定できるようにしても良い。

また、式（５）に基づき視覚の時空間周波数特性を算出したが、特定のモデルの時空間周波数特性に限定されるものではない。一般に、視覚の空間周波数特性は、バンドパスの特性を持っていることが知られている。例えば、静止被写体を観察する状況では、視覚の空間周波数特性は４〜５ｃｙｃｌｅｓ／ｄｅｇｒｅｅあたりにピークをもつバンドパス特性となる。これに対して、視線が被写体を追従する状況では、高周波側の感度が弱くなり、低周波側の感度が強くなることが知られている。このため、本実施形態で用いる追従視時の視覚の時空間周波数特性は、被写体の動きが速くなるにつれて、感度のピークが低周波側へシフトするバンドパス特性であればよい。例えば、非特許文献４など、他の視覚の時空間周波数特性や実測データ等を用いてもよい。

また、動きが速い／遅い被写体を検出する為に、空間周波数応答ピークが低周波／高周波の動き検出フィルタを用いたが、フィルタは変えずに、畳み込む動画像データの解像度を縮小／拡大しても良い。

＜第２実施形態＞
第１実施形態では、奥行きが異なる二つの静止被写体を撮像した場合に、手ブレに伴う位置ずれが目立たない手ブレ補正方法について説明した。本実施形態では、動被写体を撮像した場合に、手ブレに伴う位置ずれが目立たない手ブレ補正方法について説明する。

本実施形態では図２３（ａ）に示すように、三つの矩形波チャートＡ、Ｂ、Ｃをユーザーが手持ち撮影している。矩形波チャートＡの手前にＢ、Ｃが配置されており、Ｂ、Ｃの奥行きは同じである。矩形波チャートＡ、Ｂは静止しており、矩形波チャートＣは画像上でｘ_２（ｐｉｘｅｌ／ｆｒａｍｅ）の速さで左方向に動いているものとする。撮像時にはユーザーが画像上で水平方向に矩形波チャートＡが振幅ｘ_０（ｐｉｘｅｌ）、矩形波チャートＢが振幅ｘ_１（ｐｉｘｅｌ）、周期８（ｆｒａｍｅ／ｃｙｃｌｅ）の三角波の動きを繰り返す手ブレを生じさせている。尚、ｘ_０＜ｘ_１＜ｘ_２とする。図２３（ｂ）は、ユーザーが撮像した動画像データ中の一部のフレーム画像であり、手ブレ時に各フレーム画像間で矩形波チャートＡは０．５ｘ_０、Ｂは０．５ｘ_１、Ｃは０．５（ｘ_２−ｘ_１）又は０．５（ｘ_２＋ｘ_１）の位置ずれが生じている。

本実施形態の画像処理の流れは、ステップＳ４０３、Ｓ４０４以外は第１実施形態で図４を用いて説明した内容と同じである。以下、図２４を用いて本実施形態における画像処理の詳細を説明する。

ステップＳ２４０１、Ｓ２４０２は第１実施形態のステップＳ４０１、Ｓ４０２と同じである為、説明を省略する。ステップＳ２４０３では、手ブレ量算出部３０４が、第１実施形態で算出する手ブレ量ｘに加え、手ブレ量算出処理の途中過程で算出する手ブレ速度ｖ_ｂｌｕｒを所定の記憶領域に記憶する。ステップＳ２４０４では、位置ずれ知覚量算出部３０５が、ステップＳ２４０２で算出した動きベクトルとステップＳ２４０３で算出した手ブレ速度ｖ_ｂｌｕｒから、動画像データに写る静止被写体の画素領域を検出する。具体的には、各画素の動きベクトルｖ（ｘ，ｙ）に対し、｜ｖ（ｘ，ｙ）−ｖ_ｂｌｕｒ｜＜Δｖを満たすかどうかを判定する。｜ｖ（ｘ，ｙ）−ｖ_ｂｌｕｒ｜＜Δｖを満たす場合は静止被写体であると判定し、｜ｖ（ｘ，ｙ）−ｖ_ｂｌｕｒ｜＜Δｖを満たさない場合は動被写体であると判定する。静止被写体と判定した画素領域データを静止被写体領域として所定の記憶領域に記憶する。ステップＳ２４０５では、位置ずれ知覚量算出部３０５が、ステップＳ２４０２で算出した動きベクトルと、ステップＳ２４０４で検出した静止被写体領域から、静止被写体領域に対して、第１実施形態と同様に位置ずれ知覚量を算出する。算出した位置ずれ知覚量は所定の記憶領域に記憶する。ステップＳ２４０６〜ステップＳ２４０８は第１実施形態のステップＳ４０５〜ステップＳ４０７と同じである為、説明を省略する。

以上説明したように、静止被写体領域を検出できるようにすることで、動被写体を撮像した場合でも、手ブレに伴う位置ずれが目立たない手ブレ補正を行うことが可能となる。

本実施形態では、動きベクトルの大きさによって静止被写体領域を検出したが、背景差分法を用いて静止被写体領域を検出しても良く、特に静止被写体領域の検出手法を限定するものではない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０２ 動画像データ取得部
３０３ 動きベクトル算出部
３０４ 手ブレ量算出部
３０５ 位置ずれ知覚量算出部
３０６ 手ブレ量閾値算出部
３０７ 手ブレ補正量算出部
３０８ 手ブレ補正動画像データ生成部

Claims (9)

1. 複数のフレーム画像からなる動画像データを取得する取得手段と、
   前記動画像データに写る被写体の動きベクトルを算出する動きベクトル算出手段と、
   前記動きベクトルに基づいて、前記フレーム画像の位置ずれ量を手ブレ量として算出する手ブレ量算出手段と、
   前記動きベクトルに基づいて、前記動画像データに写る被写体と前記被写体の周辺領域とにおける位置ずれの知覚量を算出する知覚量算出手段と、
   前記知覚量に基づいて、位置ずれが検知される手ブレ量の閾値を設定する設定手段と、
   前記手ブレ量と前記閾値に基づいて、前記動画像データにおける手ブレを補正するための補正量を算出する補正量算出手段と、
   前記補正量を用いて、前記動画像データを補正する補正手段
   を有することを特徴とする画像処理装置。
2. 前記動きベクトル算出手段は、視覚の時空間の周波数特性に基づいて、前記動きベクトルを算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記知覚量算出手段は、前記動きベクトルの視覚の空間の周波数特性に基づいて、前記知覚量を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記知覚量算出手段は、前記動画像データに写る静止した被写体領域を検出し、前記静止した被写体領域に対して知覚量を算出することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
5. 前記位置ずれ量算出手段は、撮像装置の三次元空間上の位置に基づいて前記位置ずれ量を算出することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. 前記視覚の時空間の周波数特性は、前記動画像データに写る被写体の動きが大きくなるに従い、応答の最大値が低周波側にシフトするバンドパス特性の空間の周波数特性を持つことを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
7. 前記視覚の空間の周波数特性は、バンドパス特性の空間の周波数特性であることを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
8. コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
9. 複数のフレーム画像からなる動画像データを取得し、
   前記動画像データに写る被写体の動きベクトルを算出し、
   前記動きベクトルに基づいて、前記フレーム画像の位置ずれ量を手ブレ量として算出し、
   前記動きベクトルに基づいて、前記動画像データに写る被写体と前記被写体の周辺領域とにおける位置ずれの知覚量を算出し、
   前記知覚量に基づいて、位置ずれが検知される手ブレ量の閾値を設定し、
   前記手ブレ量と前記閾値に基づいて、前記動画像データにおける手ブレを補正するための補正量を算出し、
   前記補正量を用いて、前記動画像データを補正することを特徴とする画像処理方法。