JP2019029968A5 - - Google Patents

Claims (22)

1. 撮像手段により画像信号を取得する撮像装置であって、
   振れ検出手段によって検出される、前記撮像装置の振れを示す第１の振れ情報を取得する第１の取得手段と、
   前記撮像手段による画像信号から検出される、被写体の動きを示す第２の振れ情報を取得する第２の取得手段と、
   前記第１および第２の振れ情報を用いて前記撮像装置の位置または姿勢を推定する推定手段と、を備え、
   前記推定手段は、前記第１の振れ情報の周波数帯域を制限する帯域制限手段と、前記帯域制限手段の出力により前記撮像装置の位置または姿勢の推定値を算出する算出手段と、
   前記第２の振れ情報を用いて前記推定値に対する補正値を算出する補正手段を有し、前記推定値を前記補正値によって補正する
   ことを特徴とする撮像装置。
2. 撮像手段により画像信号を取得する撮像装置であって、
   振れ検出手段によって検出される、前記撮像装置の振れを示す第１の振れ情報を取得する第１の取得手段と、
   前記撮像手段による画像信号から検出される、被写体の動きを示す第２の振れ情報を取得する第２の取得手段と、
   前記撮像装置の位置または姿勢を推定する推定手段と、を備え、
   前記推定手段は、前記第１および第２の振れ情報により前記撮像装置の位置または姿勢の推定値を算出する算出手段と、前記第２の振れ情報を用いて前記推定値に対する補正値を算出する補正手段と、前記補正値によって補正された推定値に対して周波数帯域を制限する帯域制限手段を有する
   ことを特徴とする撮像装置。
3. 前記推定手段は推定誤差の評価値を算出する評価手段を備え、前記評価値にしたがって前記帯域制限手段により制限される周波数帯域を変更し、または前記推定値を前記補正値により補正する際の補正倍率を変更する
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記第２の振れ情報を用いて撮影画面上の被写体の座標値を算出して特徴点追跡を行う追跡手段を備え、
   前記推定手段は、前記第１の振れ情報および前記被写体の座標値から、前記撮像装置の位置もしくは姿勢、または位置および姿勢と、前記被写体と前記撮像装置との奥行きを含めた位置関係を表す特徴座標マップを生成する
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記補正手段は、前記特徴座標マップと前記撮像装置の位置または姿勢の推定値から前記被写体の撮影画面上の特徴座標を推定し、前記撮影画面上の特徴座標の推定値と前記追跡手段による特徴点の追跡座標から前記補正値を算出する
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記補正手段は、
   前記撮像装置の位置または姿勢の推定値と前記特徴座標マップを取得して撮影画面上の特徴座標への変換を行う変換手段と、
   前記追跡手段による特徴点の追跡座標から前記変換手段の出力を減算する減算手段と、
   前記減算手段の出力に対してゲイン値を乗算して前記補正値を算出するゲイン手段を備える
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記振れ検出手段は角速度センサもしくは加速度センサ、または角速度センサおよび加速度センサである
   ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記第２の振れ情報として動きベクトルを検出する検出手段を備える
   ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記評価手段は前記評価値により前記振れ検出手段のノイズ判定を行う
   ことを特徴とする請求項３に記載の撮像装置。
10. 前記振れ検出手段の出力または該出力の変動量が大きい場合の前記評価値は、前記振れ検出手段の出力または該出力の変動量が小さい場合の前記評価値よりも高い
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記第２の振れ情報を用いて撮影画面上の被写体の座標値を算出して特徴点追跡を行う追跡手段を備え、
    前記推定手段は、前記第１の振れ情報および前記被写体の座標値から、前記撮像装置の位置もしくは姿勢、または位置および姿勢と、前記被写体と前記撮像装置との奥行きを含めた位置関係を表す特徴座標マップを生成し、前記特徴点の追跡座標と、前記特徴座標マップを撮影画面上の特徴座標に変換した座標値との誤差である再射影誤差を算出する
    ことを特徴とする請求項３または請求項９に記載の撮像装置。
12. 前記再射影誤差が大きい場合の前記評価値は、前記再射影誤差が小さい場合の前記評価値よりも高い
    ことを特徴とする請求項１１に記載の撮像装置。
13. 前記撮像装置または当該撮像装置の本体部に装着されるレンズ装置が備える駆動手段の駆動量または駆動速度が大きい場合の前記評価値は、前記駆動手段の駆動量または駆動速度が小さい場合の前記評価値よりも高い
    ことを特徴とする請求項３または請求項９に記載の撮像装置。
14. 前記駆動手段は、撮像光学系を構成する、レンズまたは絞りまたはシャッタを駆動する
    ことを特徴とする請求項１３に記載の撮像装置。
15. 前記振れ検出手段のバイアス補正誤差が大きい場合の前記評価値は、前記振れ検出手段のバイアス補正誤差が小さい場合の前記評価値よりも高い
    ことを特徴とする請求項９に記載の撮像装置。
16. 前記推定手段は、前記評価値が高くなるにつれて前記帯域制限手段のカットオフ周波数を高くする
    ことを特徴とする請求項３、請求項９から１５のいずれか１項に記載の撮像装置。
17. 前記推定手段は、前記評価値が高くなるにつれて前記補正倍率または補正頻度を大きくする
    ことを特徴とする請求項３、請求項９から１６のいずれか１項に記載の撮像装置。
18. 前記推定手段は、前記評価値が高くなるにつれて推定の周期または前記補正値の演算を行う周期を短くする
    ことを特徴とする請求項３、請求項９から１７のいずれか１項に記載の撮像装置。
19. 撮像手段により画像信号を取得する撮像装置であって、
    振れ検出手段によって検出される、前記撮像装置の振れを示す第１の振れ情報を取得する第１の取得手段と、
    前記撮像手段による画像信号から検出される、被写体の動きを示す第２の振れ情報を取得する第２の取得手段と、
    前記撮像装置の位置または姿勢を推定する推定手段と、を備え、
    前記推定手段は、帯域制限された前記第１の振れ情報、または、前記第１および第２の振れ情報により、前記撮像装置の位置または姿勢の推定値を算出し、前記第２の振れ情報を用いて前記推定値に対する補正値を算出する
    ことを特徴とする撮像装置。
20. 撮像手段により画像信号を取得する撮像装置にて実行される制御方法であって、
    振れ検出手段によって検出される、前記撮像装置の振れを示す第１の振れ情報、および前記撮像手段による画像信号から検出される、被写体の動きを示す第２の振れ情報を取得する工程と、
    前記第１および第２の振れ情報を用いて前記撮像装置の位置または姿勢を推定する推定工程と、を有し、
    前記推定工程は、
    前記第１の振れ情報の周波数帯域を帯域制限手段によって制限する工程と、
    前記帯域制限手段の出力により前記撮像装置の位置または姿勢の推定値を算出する工程と、
    前記第２の振れ情報を用いて前記推定値を補正する工程を含む
    ことを特徴とする撮像装置の制御方法。
21. 撮像手段により画像信号を取得する撮像装置にて実行される制御方法であって、
    振れ検出手段によって検出される、前記撮像装置の振れを示す第１の振れ情報、および前記撮像手段による画像信号から検出される、被写体の動きを示す第２の振れ情報を取得する工程と、
    前記撮像装置の位置または姿勢を推定する推定工程と、を有し、
    前記推定工程は、
    前記第１および第２の振れ情報により前記撮像装置の位置または姿勢の推定値を算出する工程と、
    前記第２の振れ情報を用いて前記推定値に対する補正値を算出する工程と、
    前記補正値によって補正された推定値に対して周波数帯域を制限する工程を含む
    ことを特徴とする撮像装置の制御方法。
22. 撮像手段により画像信号を取得する撮像装置にて実行される制御方法であって、
    振れ検出手段によって検出される、前記撮像装置の振れを示す第１の振れ情報を取得する第１の取得工程と、
    前記撮像手段による画像信号から検出される、被写体の動きを示す第２の振れ情報を取得する第２の取得工程と、
    前記撮像装置の位置または姿勢を推定する推定工程と、を含み、
    前記推定工程は、帯域制限された前記第１の振れ情報、または、前記第１および第２の振れ情報により、前記撮像装置の位置または姿勢の推定値を算出し、前記第２の振れ情報を用いて前記推定値に対する補正値を算出する
    ことを特徴とする撮像装置の制御方法。