JP2022052532A5

JP2022052532A5 -

Info

Publication number: JP2022052532A5
Application number: JP2020158971A
Authority: JP
Filing date: 2020-09-23
Publication date: 2023-09-20
Anticipated expiration: 2040-09-23

Claims

連続して撮影された複数の画像を位置合わせする第１の位置合わせ手段と、
前記複数の画像の位置合わせに要する処理時間が前記第１の位置合わせ手段が要する処理時間よりも長いが、前記第１の位置合わせ手段よりも位置合わせの精度の高い第２の位置合わせ手段と、
前記複数の画像の撮影条件に応じて、前記第１の位置合わせ手段と前記第２の位置合わせ手段から、前記複数の画像の位置合わせに用いる位置合わせ手段を選択する選択手段と、
前記選択手段で選択された位置合わせ手段を用いて位置合わせされた前記複数の画像を合成する合成手段と、
を備えることを特徴とする画像処理装置。
前記第１の位置合わせ手段は、前記画像を撮影する撮像手段の各画素に１つの色情報を持つ第１の画像を、画素の周期単位で並進移動させて、複数の画像を位置合わせすることを特徴とする請求項１に記載の画像処理装置。
前記第２の位置合わせ手段は、前記第１の画像を各画素に複数の色情報を持つ第２の画像に変換し、該第２の画像に、サブ画素精度で並進移動および回転を含む幾何変換を行い、複数の画像を位置合わせすることを特徴とする請求項２に記載の画像処理装置。
前記撮影条件は、前記複数の画像のそれぞれの露光時間、または連続して撮影する画像の枚数、または撮像装置の振れ、または撮影開始からの経過時間の少なくとも一つを含むことを特徴とする請求項１に記載の画像処理装置。
前記選択手段は、前記複数の画像のそれぞれの露光時間が所定時間以下の場合は、前記複数の画像の位置合わせに用いる位置合わせ手段として、前記第１の位置合わせ手段を選択することを特徴とする請求項４に記載の画像処理装置。
前記選択手段は、連続して撮影する画像の枚数が所定枚数以上の場合は、前記複数の画像の位置合わせに用いる位置合わせ手段として、前記第１の位置合わせ手段を選択することを特徴とする請求項４に記載の画像処理装置。
前記複数の画像を撮影する撮像装置に加わる振れを検出する振れ検出手段をさらに備えることを特徴とする請求項４に記載の画像処理装置。
前記選択手段は、前記振れ検出手段により検出された全撮影中の回転振れ量が所定量以下の場合は、前記複数の画像の位置合わせに用いる位置合わせ手段として、前記第１の位置合わせ手段を選択することを特徴とする請求項７に記載の画像処理装置。
前記画像から被写体を検出する被写体検出手段をさらに備えることを特徴とする請求項４に記載の画像処理装置。
前記選択手段は、前記被写体検出手段により取得された被写体の大きさが所定値以下の場合は、前記複数の画像の位置合わせに用いる位置合わせ手段として、前記第１の位置合わせ手段を選択することを特徴とする請求項９に記載の画像処理装置。
前記選択手段は、前記撮影条件の変化に応じて前記第１の位置合わせ手段と前記第２の位置合わせ手段の選択を変更することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
前記選択手段は、第１の期間では、前記第１の位置合わせ手段を選択し、前記第１の期間とは異なる第２の期間では、前記第２の位置合わせ手段を選択することを特徴とする請求項１１に記載の画像処理装置。
前記第１の期間は、撮影開始から所定の期間であり、前記第２の期間は、前記第１の期間に続く期間であることを特徴とする請求項１２に記載の画像処理装置。
振れ検出手段の出力に基づいて、像ブレを補正する補正手段を制御する補正制御手段をさらに備え、
前記補正制御手段は、前記第１の期間は、前記補正手段を駆動させずに、前記合成手段に前記複数の画像の合成を行わせ、前記第２の期間は、前記補正手段を駆動させて像ブレ補正を行わせることを特徴とする請求項１２又は１３に記載の画像処理装置。
撮像装置のそれぞれの要素の駆動状態に基づいて、前記第１の位置合わせ手段で用いるそれぞれの画像の露光時間を設定する制御手段をさらに備えることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
前記複数の画像を撮影する撮像装置のそれぞれの要素の駆動状態を取得し、前記駆動状態に基づいて、前記第１の位置合わせ手段で用いる画像の撮影枚数を設定する制御手段をさらに備えることを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
前記合成手段は、前記複数の画像を位置合わせして合成するか、位置合わせしないで合成するかを選択することを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
前記合成手段は、位置合わせしないで合成した画像をさらに合成することを特徴とする請求項１７に記載の画像処理装置。
画像を複数連続して撮影することが可能な撮像手段と、
請求項１乃至１８のいずれか１項に記載の画像処理装置と、を備えることを特徴とする撮像装置。
振れ検出手段の出力に基づいて、像ブレを補正する補正手段を制御する制御手段と、
撮像手段で撮像された複数の画像を位置合わせする位置合わせ手段と、
前記位置合わせ手段を用いて位置合わせされた前記複数の画像を合成する合成手段と、を備え、
前記制御手段は、第１の期間は、前記補正手段を駆動させずに、第２の期間は、前記補正手段を駆動させて像ブレ補正を行わせ、
前記合成手段は、前記第１の期間に撮影された複数の画像と、前記第２の期間に撮影された画像とを合成することを特徴とする撮像制御装置。
前記第１の期間は、撮影開始から所定の期間であり、前記第２の期間は、前記第１の期間に続く期間であることを特徴とする請求項２０に記載の撮像制御装置。
連続して撮影された複数の画像を位置合わせする第１の位置合わせ手段と、前記複数の画像の位置合わせに要する処理時間が前記第１の位置合わせ手段が要する処理時間よりも長いが、前記第１の位置合わせ手段よりも位置合わせの精度の高い第２の位置合わせ手段と、を備える画像処理装置を制御する方法であって、
前記複数の画像の撮影条件に応じて、前記第１の位置合わせ手段と前記第２の位置合わせ手段から、前記複数の画像の位置合わせに用いる位置合わせ手段を選択する選択工程と、
前記選択工程で選択された位置合わせ手段を用いて位置合わせされた前記複数の画像を合成する合成工程と、
を有することを特徴とする画像処理装置の制御方法。
振れ検出手段の出力に基づいて、像ブレを補正する補正手段を制御する制御工程と、
撮像手段で撮像された複数の画像を位置合わせする位置合わせ工程と、
前記位置合わせ工程において位置合わせされた前記複数の画像を合成する合成工程と、を有し、
前記制御工程では、第１の期間は、前記補正手段を駆動させずに、第２の期間は、前記補正手段を駆動させて像ブレ補正を行わせ、
前記合成工程において、前記第１の期間に撮影された複数の画像と、前記第２の期間に撮影された画像とを合成することを特徴とする撮像制御装置の制御方法。
請求項２２または２３に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。