JP2019083407A5 - - Google Patents

Description

本発明の一実施形態の装置は、撮像装置に加わる振れにより生じる像振れを、振れ補正手段によって補正する像振れ補正装置であって、撮像画像の画像信号から得られる動きベクトル情報を用いて撮像画像における特徴点を抽出して追跡し、前記特徴点の座標を追跡情報として算出する追跡手段と、前記撮像装置に加わる振れに係る振れ情報および前記追跡情報を用いて前記撮像装置の位置姿勢情報を推定する第１の推定手段と、前記位置姿勢情報を用いて被写体と前記撮像装置との奥行きを含めた位置関係を示す前記特徴点の３次元座標を推定する第２の推定手段と、複数の撮像画像間の視差量および前記特徴点から前記特徴点の追跡期間を算出する第１の算出手段と、前記第１の算出手段から取得した前記追跡期間が長い場合に、前記追跡期間が短い場合よりも前記振れ情報に対する前記位置姿勢情報の割合を高くして前記振れ情報および前記位置姿勢情報を用いた演算を行い、前記振れ補正手段の制御量を算出する第２の算出手段と、前記制御量にしたがって前記振れ補正手段を制御する制御手段と、を備える。

Claims (11)

1. 撮像装置に加わる振れにより生じる像振れを、振れ補正手段によって補正する像振れ補正装置であって、
   撮像画像の画像信号から得られる動きベクトル情報を用いて撮像画像における特徴点を抽出して追跡し、前記特徴点の座標を追跡情報として算出する追跡手段と、
   前記撮像装置に加わる振れに係る振れ情報および前記追跡情報を用いて前記撮像装置の位置姿勢情報を推定する第１の推定手段と、
   前記位置姿勢情報を用いて被写体と前記撮像装置との奥行きを含めた位置関係を示す前記特徴点の３次元座標を推定する第２の推定手段と、
   複数の撮像画像間の視差量および前記特徴点から前記特徴点の追跡期間を算出する第１の算出手段と、
   前記第１の算出手段から取得した前記追跡期間が長い場合に、前記追跡期間が短い場合よりも前記振れ情報に対する前記位置姿勢情報の割合を高くして前記振れ情報および前記位置姿勢情報を用いた演算を行い、前記振れ補正手段の制御量を算出する第２の算出手段と、
   前記制御量にしたがって前記振れ補正手段を制御する制御手段と、を備える
   ことを特徴とする像振れ補正装置。
2. 前記第２の算出手段は、前記追跡期間に基づく前記３次元座標の推定の寄与度を算出し、前記追跡期間が長くなるにつれて前記寄与度を高くして前記振れ情報および前記位置姿勢情報を用いた演算を行う
   ことを特徴とする請求項１に記載の像振れ補正装置。
3. 前記第２の算出手段は、
   前記追跡期間に対応するゲインを前記位置姿勢情報に乗算する乗算手段と、
   前記振れ情報を前記ゲインが乗算された前記位置姿勢情報と加算する加算手段と、を備え、
   前記ゲインの値は、前記追跡期間が長い場合に前記追跡期間が短い場合よりも大きい ことを特徴とする請求項１または請求項２に記載の像振れ補正装置。
4. 前記第１の算出手段は、前記視差量が小さいほど前記追跡期間を短く算出する
   ことを特徴とする請求項１から３のいずれか１項に記載の像振れ補正装置。
5. 前記追跡手段は、前記撮像画像のフレームごとに特徴点を抽出する抽出手段と、撮像時刻の異なる複数の画像信号を記憶する記憶手段と、動きベクトルを検出する検出手段を備え、前記追跡情報を用いて複数の前記撮像画像における同一の特徴点を抽出して追跡する処理を行う
   ことを特徴とする請求項１または請求項２に記載の像振れ補正装置。
6. 前記検出手段は、
   前記追跡手段により追跡される前記特徴点に基づく第１の動きベクトルを検出する第１の検出手段と、
   前記複数の画像信号から第２の動きベクトルを検出する第２の検出手段と、を備える
   ことを特徴とする請求項５に記載の像振れ補正装置。
7. 前記第２の動きベクトルからグローバルベクトルを推定する第３の推定手段をさらに備え、
   前記第２の算出手段は、前記追跡期間に対応するゲインを前記グローバルベクトルに乗算する乗算手段と、
   前記振れ情報を前記ゲインが乗算された前記グローバルベクトルと加算する加算手段と、を備え、
   前記ゲインの値は、前記追跡期間が長い場合に前記追跡期間が短い場合よりも大きい
   ことを特徴とする請求項６に記載の像振れ補正装置。
8. 前記追跡情報の信頼度である追跡信頼度を算出する信頼度算出手段と、
   前記追跡信頼度を用いて追跡対象とする特徴点を設定する特徴点設定手段と、を備える ことを特徴とする請求項１から７のいずれか１項に記載の像振れ補正装置。
9. 前記信頼度算出手段は、前記動きベクトルが算出される際に用いられた複数の画像信号から演算される相関値、または追跡の前後における前記特徴点の特徴量の変化量により前記追跡信頼度を算出する
   ことを特徴とする請求項８に記載の像振れ補正装置。
10. 請求項１から９のいずれか１項に記載の像振れ補正装置を備える撮像装置。
11. 撮像装置に加わる振れにより生じる像振れを、振れ補正手段によって補正する像振れ補正装置にて実行される制御方法であって、
    撮像画像の画像信号から得られる動きベクトル情報を用いて撮像画像における特徴点を抽出して追跡し、前記特徴点の座標を追跡情報として算出する工程と、
    前記撮像装置に加わる振れに係る振れ情報および前記追跡情報を用いて前記撮像装置の位置姿勢情報を推定する工程と、
    前記位置姿勢情報を用いて被写体と前記撮像装置との奥行きを含めた位置関係を示す前記特徴点の３次元座標を推定する工程と、
    複数の撮像画像間の視差量および前記特徴点から前記特徴点の追跡期間を算出する工程と、
    前記追跡期間が長い場合に、前記追跡期間が短い場合よりも前記振れ情報に対する前記位置姿勢情報の割合を高くして前記振れ情報および前記位置姿勢情報を用いた演算を行い、前記振れ補正手段の制御量を算出する工程と、
    前記制御量にしたがって前記振れ補正手段を制御する工程と、を有する
    ことを特徴とする像振れ補正装置の制御方法。