JP2015121524A5 - - Google Patents

Description

上記課題を解決するために、本発明に係る装置は、画像処理装置であって、画像データおよび当該画像データに対応する奥行データを取得する取得手段と、前記画像データおよび前記奥行データから奥行ごとの位置姿勢変化を算出し、前記奥行ごとの位置姿勢変化の統計値に基づいて第１の位置姿勢変化のデータを算出する算出手段と、複数のフレームの前記画像データから画像の動きを検出してモーションごとの領域の位置姿勢変化を算出し、前記モーションごとの領域の位置姿勢変化から第２の位置姿勢変化のデータを算出する処理手段と、前記第１の位置姿勢変化のデータおよび前記第２の位置姿勢変化のデータを取得して画像の静止領域を決定する静止領域決定手段と、前記静止領域決定手段により決定された静止領域と、前記第１の位置姿勢変化のデータおよび前記第２の位置姿勢変化のデータとから、画像全体の位置姿勢変化を決定する決定手段と、を有する。

Claims (21)

1. 画像データおよび当該画像データに対応する奥行データを取得する取得手段と、
   前記画像データおよび前記奥行データから奥行ごとの位置姿勢変化を算出し、前記奥行ごとの位置姿勢変化の統計値に基づいて第１の位置姿勢変化のデータを算出する算出手段と、
   複数のフレームの前記画像データから画像の動きを検出してモーションごとの領域の位置姿勢変化を算出し、前記モーションごとの領域の位置姿勢変化から第２の位置姿勢変化のデータを算出する処理手段と、
   前記第１の位置姿勢変化のデータおよび前記第２の位置姿勢変化のデータを取得して画像の静止領域を決定する静止領域決定手段と、
   前記静止領域決定手段により決定された静止領域と、前記第１の位置姿勢変化のデータおよび前記第２の位置姿勢変化のデータとから、画像全体の位置姿勢変化を決定する決定手段と、を有することを特徴とする画像処理装置。
2. 前記算出手段により算出された奥行きごとの位置姿勢変化のデータに基づいて前記奥行データを複数のグループにまとめるグループ化手段を備えることを特徴とする請求項１に記載の画像処理装置。
3. 被写体像の占める領域が最大である領域を、前記静止領域決定手段が前記静止領域として決定した場合、前記決定手段は前記第２の位置姿勢変化のデータにより前記画像全体の位置姿勢変化を決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 奥行の占める割合が最大である領域を、前記静止領域決定手段が前記静止領域として決定した場合、前記決定手段は第１の位置姿勢変化のデータにより前記画像全体の位置姿勢変化を決定することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記静止領域の判断基準を操作にしたがって選択する選択手段を備え、
   前記静止領域決定手段は、前記選択手段により選択された前記判断基準に従って前記静止領域を決定することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記算出手段は、前記グループ化手段により得られた複数のグループのうち、奥行を占める割合が最大のグループを選択し、当該グループに対応する前記位置姿勢変化を選択することを特徴とする請求項２に記載の画像処理装置。
7. 前記処理手段は、前記モーションごとの領域のうちで画像全体に占める割合が最大の領域に対応する位置姿勢変化を選択することを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
8. 前記決定手段は、前記第１の位置姿勢変化のデータと前記第２の位置姿勢変化のデータとの差が閾値以下である場合、重み付け演算を行って前記画像全体の位置姿勢変化を決定することを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
9. 前記決定手段により決定された前記画像全体の位置姿勢変化のデータを記憶する記憶手段を備え、
   前記決定手段は、前記第１の位置姿勢変化のデータと前記第２の位置姿勢変化のデータとの差が閾値を超える場合、前記記憶手段に記憶されたデータを読み出して、前記第１の位置姿勢変化のデータと前記第２の位置姿勢変化のデータのうち、読み出した前記データの示す位置姿勢変化との差が小さい方の位置姿勢変化のデータを、前記画像全体の位置姿勢変化のデータとして決定することを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
10. 前記決定手段は、前記第１の位置姿勢変化のデータと前記第２の位置姿勢変化のデータとが異なり、かつ前記記憶手段に前記位置姿勢変化のデータが記憶されていない場合、前記第１の位置姿勢変化のデータおよび前記第２の位置姿勢変化のデータを、前記画像全体の位置姿勢変化のデータとして使用しないことを特徴とする請求項９の画像処理装置。
11. 前記算出手段は、前記奥行データから少なくとも最奥の奥行を含む同一の位置姿勢変化の奥行データを算出し、
    前記決定手段は、前記最奥の奥行を含む同一の位置姿勢変化の奥行データから第１の背景領域候補を推定することを特徴とする請求項１に記載の画像処理装置。
12. 前記画像の動きとは、動きベクトルまたは対応点または注目点の軌跡であることを特徴とする請求項１ないし１１のいずれか１項に記載の画像処理装置。
13. 前記処理手段は、前記モーションごとの領域について第２の背景領域候補を推定する第２の推定手段を備えることを特徴とする請求項１１または１２に記載の画像処理装置。
14. 前記第２の推定手段は、
    前記画像データから局所特徴量を抽出する第１の抽出手段と、
    事前に学習した画像の画像データから局所特徴量を抽出する第２の抽出手段と、
    前記第２の抽出手段が抽出した前記局所特徴量からデータベースを作成するデータベース作成手段と、
    前記第１の抽出手段が抽出した前記局所特徴量を前記データベースのデータと照合する照合手段と、を備え、
    前記照合手段が前記第２の背景領域候補を推定することを特徴とする請求項１３に記載の画像処理装置。
15. 前記静止領域決定手段は、前記第１の背景領域候補および前記第１の位置姿勢変化のデータと、前記第２の背景領域候補および前記第２の位置姿勢変化のデータによって背景領域を決定し、前記背景領域から前記静止領域を決定することを特徴とする請求項１３または１４に記載の画像処理装置。
16. 前記決定手段は、前記静止領域決定手段により前記背景領域から決定された前記静止領域と、前記第１の位置姿勢変化のデータと、前記第２の位置姿勢変化のデータとによって、前記画像全体の位置姿勢変化を決定することを特徴とする請求項１５に記載の画像処理装置。
17. 撮影光学系および撮像素子により撮像された画像の画像データを入力する第１入力手段と、
    前記画像データと対をなす奥行データを入力する第２入力手段と、
    請求項１ないし１６のいずれか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
18. 前記画像データに係る像振れ補正を行う補正手段と、
    前記決定手段によって決定された前記画像全体の位置姿勢変化のデータを取得して像振れ補正量を算出し、前記補正手段を制御する制御手段と、を備えることを特徴とする請求項１７に記載の撮像装置。
19. 画像処理装置にて実行される制御方法であって、
    前記画像処理装置により、
    画像データおよび当該画像データに対応する奥行データを取得するステップと、
    前記画像データおよび前記奥行データから奥行ごとの位置姿勢変化を算出し、前記奥行ごとの位置姿勢変化の統計値に基づいて第１の位置姿勢変化のデータを算出する算出ステップと、
    複数のフレームの前記画像データから画像の動きを検出してモーションごとの領域の位置姿勢変化を算出し、前記モーションごとの領域の位置姿勢変化から第２の位置姿勢変化のデータを算出する処理ステップと、
    前記第１の位置姿勢変化のデータおよび前記第２の位置姿勢変化のデータを取得して画像の静止領域を決定する静止領域決定ステップと、
    前記決定された静止領域と、前記第１の位置姿勢変化のデータおよび前記第２の位置姿勢変化のデータとから、画像全体の位置姿勢変化を決定する決定ステップと、を有することを特徴とする画像処理装置の制御方法。
20. 前記決定された前記画像全体の位置姿勢変化のデータを用いて像振れ補正を行う補正ステップを有することを特徴とする請求項１９に記載の画像処理装置の制御方法。
21. 請求項１９または２０に記載した画像処理装置の制御方法をコンピュータに実行させることを特徴とするプログラム。