JP2010258710A5 - - Google Patents

Description

この問題を解決するために、特許文献１には、各ブロック領域に対して、重み付けの係数を設定し、各重み係数と各ブロック領域のベクトル検出値から、画面全体の動きベクトルを算出するようにした技術が開示されている。特許文献１では、画面の中央は人などの移動する被写体が存在する可能性が高いため重み付けの係数を小さくし、画面の周辺部は重み付けの係数を大きくすることにより、移動する被写体に画面内の画像が引っ張られるような動きを回避している。

本発明は、上述した課題を解決するために、連続して撮像される画像のぶれを補正するために用いる、画像全体の動きベクトルを検出する動きベクトル検出装置であって、画像を所定サイズに分割したブロック毎に動きベクトルを検出する動きベクトル検出手段と、動きベクトル検出手段で検出された動きベクトルに基づき、ブロックのそれぞれをグループに分類する分類手段と、分類手段で分類されたグループに属するブロックの動きベクトルを代表する代表動きベクトルを算出する代表動きベクトル算出手段と、分類手段で分類されたグループが、第１のグループと、第１のグループに対して画像上で相対的に移動している第２のグループのいずれであるかを判定する第１の判定手段と、第１の判定手段により第２のグループと判定されたグループに含まれるブロックの数が閾値を超えていれば、画像全体の動きベクトルとして第２のグループに対応する代表動きベクトルを選択し、第２のグループに含まれるブロックの数が閾値を超えていなければ、画像全体の動きベクトルとして第１のグループに対応する代表動きベクトルを選択する選択手段とを有することを特徴とする動きベクトル検出装置である。

記録手段としての記録部１７は、画像メモリ１６から読み出された画像データを記録媒体１８に記録する。このとき、記録部１７は、画像データに対して所定の方式により圧縮符号化を施し、圧縮符号化された圧縮画像データを記録媒体１８に記録する。記録媒体１８としては、不揮発性の半導体メモリやハードディスク、光ディスクなどを適用することができる。表示部１９は、画像メモリ１６から読み出された画像データを表示デバイス２０の表示解像度に合わせて解像度変換し、表示デバイス２０に表示させる。

図２は、上述した、本発明に係る動きベクトル検出部１４の一例の構成を示す。信号処理回路から出力された例えばフィールド画像による画像データは、画像メモリ１６に記憶されると共に、フィルタ３３に供給される。フィルタ３３は、画像データから、空間周波数の低周波成分と高周波成分とを除去し、動きベクトル検出に有用な空間周波数成分を抽出する。フィルタ３３から出力された画像データは、２値化部３４で例えばゼロレベルを基準として２値化され、相関演算部３５に供給されると共に、メモリ３６に記憶される。メモリ３６は、画像データを１フィールド分遅延させるためのものである。

このとき、例えば画面水平方向における動きベクトルの大きさに基づく度数分布は、図６にヒストグラムで例示されるように、２つのピークが存在する形となる。このとき、１つのピークを構成する度数が属する階級に基づき、グループを形成する。図６の例では、領域４３以外の部分による、画面の左上方向に移動する動きベクトルの度数のピークに基づくグループ＃１と、領域４３による、画面の右上方向に移動する動きベクトルの度数のピークに基づくグループ＃２とが形成される。

図１８のフローチャートにおいて、ステップＳ４０〜ステップＳ４３の処理は、図１５のフローチャートにおけるステップＳ２０〜ステップＳ２３の処理と同様である。すなわち、ステップＳ４０で、動きベクトル制御部３２は、動きベクトル分類部３０が現在の画像データ、すなわち、現フィールドの画像データにおいて複数個のグループを検出したか否かを判定する。若し、検出されたグループが１つであると判定された場合は、処理はステップＳ４１に移行され、検出されたグループの代表動きベクトルを画面全体すなわち画像全体の動きベクトルとして採用する。そして、次のフィールド画像に対する処理が開始される（図示しない）。

Claims (19)

1. 連続して撮像される画像のぶれを補正するために用いる、画像全体の動きベクトルを検出する動きベクトル検出装置であって、
   画像を所定サイズに分割したブロック毎に動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトル検出手段で検出された前記動きベクトルに基づき、前記ブロックのそれぞれをグループに分類する分類手段と、
   前記分類手段で分類された前記グループに属する前記ブロックの前記動きベクトルを代表する代表動きベクトルを算出する代表動きベクトル算出手段と、
   前記分類手段で分類された前記グループが、第１のグループと、前記第１のグループに対して相対的に移動している第２のグループのいずれであるかを判定する第１の判定手段と、
   前記第１の判定手段により前記第２のグループと判定されたグループに含まれる前記ブロックの数が閾値を超えていれば、前記画像全体の動きベクトルとして該第２のグループに対応する前記代表動きベクトルを選択し、該第２のグループに含まれる該ブロックの数が該閾値を超えていなければ、該画像全体の動きベクトルとして前記第１のグループに対応する前記代表動きベクトルを選択する選択手段とを有することを特徴とする動きベクトル検出装置。
2. 前記撮像された画像について、前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択しているか否かを判定する第２の判定手段をさらに有し、
   前記選択手段は、
   前記第２の判定手段により、前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定されるか否かによって、前記閾値を変更して前記画像全体の動きベクトルとして用いる前記代表動きベクトルを選択することを特徴とする請求項１に記載の動きベクトル検出装置。
3. 前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定された際の前記閾値は、前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定されなかった際の前記閾値よりも小さいことを特徴とする請求項２に記載の動きベクトル検出装置。
4. 前記画像に対して時間的に直前の画像について、前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択しているか否かを判定する第２の判定手段と、
   前記第１のグループに対応する前記代表動きベクトルと、前記第２のグループに対応する前記代表動きベクトルとの差分を算出する差分算出手段と
   をさらに有し、
   前記選択手段は、前記第２の判定手段による判定結果と、前記差分算出手段で算出された前記差分とをさらに用いて、前記第１のグループに対応する前記代表動きベクトルと前記第２のグループに対応する前記代表動きベクトルとのうち前記画像全体の動きベクトルとして用いる代表動きベクトルを選択することを特徴とする請求項１に記載の動きベクトル検出装置。
5. 前記第１の判定手段により判定された前記第２のグループに含まれる前記ブロックの数が閾値を超え、かつ、前記第２の判定手段により前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定された際は、前記選択手段は、前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択することを特徴とする請求項４に記載の動きベクトル検出装置。
6. 前記第１の判定手段により判定された前記第２のグループに含まれる前記ブロックの数が閾値を超え、かつ、前記第２の判定手段により前記第１のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定された際は、前記選択手段は、前記差分が所定値より大きければ前記第１のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択することを特徴とする請求項４に記載の動きベクトル検出装置。
7. 前記第１の判定手段により判定された前記第２のグループに含まれる前記ブロックの数が閾値を超え、かつ、前記第２の判定手段により前記第１のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定された際は、前記選択手段は、前記差分が前記所定値以内であれば前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択することを特徴とする請求項４に記載の動きベクトル検出装置。
8. 前記第１の判定手段により判定された前記第２のグループに含まれる前記ブロックの数が前記閾値以下であり、かつ、前記第２の判定手段により前記第１のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定された際は、前記選択手段は、前記第１のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択することを特徴とする請求項４に記載の動きベクトル検出装置。
9. 前記第１の判定手段により判定された前記第２のグループに含まれる前記ブロックの数が前記閾値以下であり、かつ、前記第２の判定手段により前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定された際は、前記選択手段は、前記差分が所定値より大きければ前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択することを特徴とする請求項４に記載の動きベクトル検出装置。
10. 前記第１の判定手段により判定された前記第２のグループに含まれる前記ブロックの数が前記閾値以下であり、かつ、前記第２の判定手段により前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定された際は、前記選択手段は、前記差分が前記所定値以内であれば前記第１のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択することを特徴とする請求項４に記載の動きベクトル検出装置。
11. 前記選択手段は、
    前記第２の判定手段により、前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定されるか否かによって、前記閾値を変更して前記画像全体の動きベクトルとして用いる前記代表動きベクトルを選択することを特徴とする請求項５乃至請求項１０の何れか１項に記載の動きベクトル検出装置。
12. 前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定された際の前記閾値は、前記第２のグループに対応する前記代表動きベクトルを前記画像全体の動きベクトルとして選択していると判定されなかった際の前記閾値よりも小さいことを特徴とする請求項１１に記載の動きベクトル検出装置。
13. 前記選択手段は、
    前記第１の判定手段により判定された前記第２のグループに含まれる前記ブロックの数に基づき、前記第１のグループに対応する前記代表動きベクトルと、前記第２のグループに対応する前記代表動きベクトルとを所定の割合で合成し、前記画像全体の動きベクトルとして用いることを特徴とする請求項１に記載の動きベクトル検出装置。
14. 前記選択手段は、
    前記第１の判定手段により判定された前記第２のグループに含まれる前記ブロックの数が前記閾値を超えていた際は、前記第２のグループに対応する前記代表動きベクトルに対する前記所定の割合を増加させることを特徴とする請求項１３に記載の動きベクトル検出装置。
15. 前記画像から顔を検出する顔検出手段をさらに有し、
    前記第１の判定手段は、
    前記分類手段で前記ブロックが分類された前記グループの間で、前記顔検出手段で検出された前記顔の領域を含む該ブロック数を比較し、該ブロック数が多い方の該グループを前記第２のグループとし、該ブロック数が少ない方の該グループを前記第１のグループとすることを特徴とする請求項１乃至請求項１４の何れか１項に記載の動きベクトル検出装置。
16. 前記第１の判定手段は、さらに、
    前記分類手段で前記ブロックのそれぞれが３以上のグループに分類された場合、前記顔の領域を含むブロックが最も少ないグループを前記第１のグループとし、該第１のグループでない複数のグループのうち、分類された前記ブロックの数が最も多いグループを前記第２のグループとし、前記第１及び第２のグループでないグループを第３のグループとすることを特徴とする請求項１５に記載の動きベクトル検出装置。
17. 連続して撮像される画像のぶれを補正するために用いる、画像全体の動きベクトルを検出する動きベクトル検出装置の制御方法であって、
    検出手段が、画像を所定サイズに分割したブロック毎に動きベクトルを検出する動きベクトル検出ステップと、
    分類手段が、前記動きベクトル検出ステップで検出された前記動きベクトルに基づき、前記ブロックのそれぞれをグループに分類する分類ステップと、
    算出手段が、前記分類ステップで分類された前記グループに属する前記ブロックの前記動きベクトルを代表する代表動きベクトルを算出する代表動きベクトル算出ステップと、
    判定手段が、前記分類ステップで分類された前記グループが、第１のグループ及び前記第１のグループに対して相対的に移動している第２のグループのいずれであるか判定する第１の判定ステップと、
    選択手段が、前記第１の判定ステップにより前記第２のグループと判定されたグループに含まれる前記ブロックの数が閾値を超えていれば、前記画像全体の動きベクトルとして該第２のグループに対応する前記代表動きベクトルを選択し、該第２のグループに含まれる該ブロックの数が該閾値を超えていなければ、該画像全体の動きベクトルとして前記第１のグループに対応する前記代表動きベクトルを選択する選択ステップとを有することを特徴とする動きベクトル検出装置の制御方法。
18. 撮像光学系と、
    前記撮像光学系を介して入射された光を撮像して撮像信号として出力する撮像手段と、
    前記撮像信号に対して所定の信号処理を施して撮像画像として出力する信号処理手段と、
    前記信号処理手段から出力された前記撮像画像に基づき該撮像画像による画像全体の動きベクトルを求める請求項１乃至請求項１６の何れか１項に記載の動きベクトル検出装置と、
    前記動きベクトル検出装置で求められた前記画像全体の動きベクトルを用いて前記信号処理手段から出力された前記撮像画像のぶれを補正するぶれ補正手段とを有することを特徴とする撮像装置。
19. コンピュータを請求項１乃至請求項１６の何れか１項に記載の動きベクトル検出装置の各手段として機能させるためのプログラム。