JP2023065229A - 撮像装置及びその制御方法及びプログラム - Google Patents

撮像装置及びその制御方法及びプログラム Download PDF

Info

Publication number
JP2023065229A
JP2023065229A JP2021175905A JP2021175905A JP2023065229A JP 2023065229 A JP2023065229 A JP 2023065229A JP 2021175905 A JP2021175905 A JP 2021175905A JP 2021175905 A JP2021175905 A JP 2021175905A JP 2023065229 A JP2023065229 A JP 2023065229A
Authority
JP
Japan
Prior art keywords
image
correction
amount
imaging
shake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021175905A
Other languages
English (en)
Inventor
紘一郎 池田
Koichiro Ikeda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021175905A priority Critical patent/JP2023065229A/ja
Priority to US17/968,010 priority patent/US20230131656A1/en
Publication of JP2023065229A publication Critical patent/JP2023065229A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

【課題】 像振れが抑えられたノイズの少ない好適な合成画像を得る。【解決手段】 撮像部を有し、当該撮像部による連続撮影を行って得た複数の画像を合成し、合成画像を生成する撮像装置であって、撮像装置の振れ量を検出し、当該振れ量に基づいて、補正部材の位置を変更することで像振れ補正を行う補正部と、補正部材の現在の位置、及び、振れ量から、補正部による補正が可能な程度を表す補正可能量を取得する取得部と、合成画像を生成するための撮影を行っている場合、次の撮影における露光時間を取得部で取得した補正可能量に基づいて決定する決定部と、決定部による決定した露光時間に基づいて撮影して得た複数の画像を合成する合成部とを有する。【選択図】 図2

Description

本発明は、複数の撮像画像の合成技術に関するものである。
従来、像振れが生じない程度の露光時間で複数の画像を撮像し、得られた複数画像の位置ずれを修正しながら画像合成することで、像振れを防ぎつつノイズの少ない合成画像を生成する技術が知られている。
例えば、特許文献1には、設定された露光時間を分割露光し、得られた複数画像を合成するカメラシステムにおいて、レンズに加わる振れを検出し、振れの検出結果に基づいて前記露光時間を設定する技術が開示されている。
特開2006-86978号公報
しかしながら、上述の特許文献1に開示された方法では、分割露光時間を一律に設定してしまうため、複数の画像を撮像している途中で振れの状態に変化があった場合に、その露光時間が適切ではなくなる場合がある。例えば、カメラを安定して持ち続けるための技術力は人によってばらつきがあり、そのため撮影者によっては、撮像中に一定の振れ度合いを保てないことがある。
本発明は、上記問題に鑑み成されたものであり、像振れが抑えられたノイズの少ない好適な合成画像を得ることができる技術を提供しようとするものである。
この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像手段を有し、当該撮像手段による連続撮影を行って得た複数の画像を合成し、合成画像を生成する撮像装置であって、
撮像装置の振れ量を検出し、当該振れ量に基づいて、補正部材の位置を変更することで像振れ補正を行う補正手段と、
前記補正部材の現在の位置、及び、前記振れ量から、前記補正手段による補正が可能な程度を表す補正可能量を取得する取得手段と、
前記合成画像を生成するための撮影を行っている場合、次の撮影における露光時間を前記取得手段で取得した補正可能量に基づいて決定する決定手段と、
前記決定手段による決定した露光時間に基づいて撮影して得た複数の画像を合成する合成手段とを有する。
本発明によれば、像振れが抑えられたノイズの少ない好適な合成画像を得ることができる。
実施形態における撮像装置のブロック構成図。 実施形態における合成画像の生成処理の手順を示すフローチャート。 実施形態における振れ補正可能量の算出と、撮像条件の設定について説明する図。 実施形態における位置合わせ処理の手順を示すフローチャート。 実施形態における合成比率の設定法を説明するための図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
図1は、本実施形態における撮影装置100の構成を示すブロック図である。撮像装置としては、デジタルカメラ、デジタルビデオカメラが代表的であるが、撮像機能を有する装置、例えばスマートフォン、タブレットPC等であっても構わない。また、図1では、レンズ交換型の撮影装置を示しているが、レンズ一体型の撮影装置であっても構わない。
図1において、シャッタユニット105は、機械式のフォーカルプレーンシャッタであり、先幕羽根および後幕羽根を備える。シャッタユニット105は、非撮影時および動画撮影時は、その先幕羽根および後幕羽根を撮影光軸から退避した位置に移動させ、撮像素子106へ撮影光束を通過させる。また、シャッタユニット105は、撮影時は、先幕羽根が遮光位置から露光位置へ移動する露光走行を行うことにより撮影光束を通過させる。そして、設定された露光時間(シャッタ秒時)が経過した後、後幕羽根は露光位置から遮光位置へ移動する遮光走行を行い、これにより1つの画像データの撮影が完了する。
以上は、シャッタユニット105のメカ先幕とメカ後幕を使用して光量を調節する露出制御である。一方で、電気的なリセットとシャッタユニット105の後幕を組み合わせた電子先幕かつメカ後幕の露出制御の方式を採用することもできる。
レンズ交換型、もしくはレンズ一体型の撮影光学系を通過して結像された被写体像は、CCD(電荷結合素子)やCMOSセンサ(相補型金属酸化膜半導体)等を用いた撮像素子106の受光面に結像される。撮像素子106は、受光面に結像した光量を電気信号へ変換する。実施形態における撮像素子106は、光軸回りの回転方向及び光軸に垂直な方向に移動することにより光学的に像振れを補正する機構を有する。なお、撮影光学系に含まれるレンズを光軸に垂直な方向に移動することにより光学的に像振れを補正してもよいし、レンズと撮像素子106を組み合わせて像振れを補正してもよい。レンズを用いて像振れを補正する場合のレンズの目標移動量や、レンズと撮像素子106を組み合わせて像振れを補正する場合のそれぞれの目標移動量は、公知の方法で決定すればよい。また、光学的に像振れを補正する方法としてその他の公知の方法を用いてもよい。いずれの場合でも、振れ補正可能量の算出や振れ補正可能量に応じた露光時間の決定は後述するステップS204、S205と同様の考え方に基づいて実行すればよい。
ADコンバータ107は、撮像素子106から出力された電気信号に対して、ノイズ除去処理、ゲイン調整処理、AD変換処理を行う。タイミングジェネレータ108は、カメラ制御部115の指令に従い、撮像素子106の駆動タイミングとADコンバータ107の出力タイミングに係る信号を生成・出力し、それぞれを制御する。
画像処理回路109は、ADコンバータ107から出力される画像データに対して、画素補間処理や色変換処理等を施した後、処理された画像データを内部メモリ110に格納する。表示部111は内部メモリ110に保持されている画像データとともに、撮影情報などを表示する。圧縮伸長処理部131は、内部メモリ110に保存されているデータに対して、画像フォーマットに応じて圧縮処理または伸長処理を行う。記憶メモリ113は、パラメータなどの様々なデータをも記憶する。操作部114は、ユーザが各種のメニュー操作、モード切り換え操作を行うためのユーザインタフェースであり、各種スイッチ、ボタン、タッチパネル等で構成される。
カメラ制御部115は、CPU(中央演算処理装置)等の演算装置で構成される。そして、カメラ制御部115は、操作部114によるユーザの操作に応じて、内部メモリ110に記憶されている各種の制御プログラムを実行する。制御プログラムは、例えば像振れ補正制御、自動露出制御、自動焦点調節制御などを行うためのプログラムである。レンズ交換型の撮影装置の場合は、カメラ制御部115は通信部116により撮影装置とレンズ間の情報伝達を行う。
シャッタ駆動部128は、シャッタユニット105の駆動を行う。輝度信号検出部130は、撮像素子106から読み出され、ADコンバータ107を通過した信号を、被写体及び場面の輝度として検出する。
露出制御部129は、輝度信号検出部130により得られた輝度情報に基づいて露出値の1つである露光時間の演算を行い、その演算結果をシャッタ駆動部128へ通達する。また、露出制御部129は、撮像素子106から読み出された撮像信号を増幅する制御も同時に行う。このときの増幅率はISO感度に対応していて、撮影光学系の絞りの絞り値、露光時間、ISO感度を調整して自動露出制御(AE制御)が行われる。なお、詳細は後述するが、露出制御部129は、撮像素子位置検出部120,振れ検出部112からの情報に基づき、シャッタ駆動部128の制御も行う。
振れ検出部112は、撮像装置100に加わる振れ、揺れを検出する。一般的に、振れ、揺れ等の振動を検出するセンサとしては、ジャイロセンサ(以下、単にジャイロと呼ぶ)が用いられ、振れ、揺れの角速度を検出する。
撮像素子駆動部121は、撮像素子106の駆動を行う。撮像素子位置検出部120は、光軸と垂直な方向に駆動される撮像素子106の位置を検出する。撮像素子駆動部121は、撮像素子106の駆動を行う。撮像素子PID制御部122は、撮像素子106の目標移動量と撮像素子位置検出部120により検出される現在位置との偏差に対して、PID制御(比率制御、積分制御、微分制御)を行う。PID制御は一般的な技術であるため、その詳細な説明は省略する。
次に、撮像素子106の目標移動量の算出方法について説明する。
振れ検出部112が検出した角速度を、次元を1つ上げた角度に変換することで撮像素子106の位置制御が可能になる。角速度の次元を1つ上げる方法として、積分部125による積分処理、又はローパスフィルタ処理(LPF処理)を用いる方法があるが、本実施形態では積分処理を行うものとする。
振れ補正量演算部124は、積分部125の出力値に対して、通信部116により取得したレンズ敏感度情報を乗算して、像振れを補正するための撮像素子106の目標移動量を算出する。レンズ敏感度情報は、レンズの焦点距離、被写体距離に応じて変化する値であり、レンズ毎、及びレンズの状態毎に応じて、最適な振れ補正量の重み付けを行う。
次に、本実施形態における合成画像の生成方法について説明する。
図2は、本実施形態における合成画像の生成処理を示すフローチャートである。本実施例の連続撮影による合成画像生成処理は、ユーザが、操作部114を操作して、合成モードを選択した場合に実行されるものである。カメラ制御部115は、内部メモリ110に格納されたプログラムを実行して、画像処理回路109等を制御することにより、この合成画像生成処理を実現する。なお、処理プログラムは、例えば、コンピュータが読み取り可能な記録媒体に記録されていても良い。
まず、S201において、カメラ制御部115は、撮像対象の被写体に対する露光時間などの撮像条件を設定する。ここで設定する撮像条件は、一般的にレンズの焦点距離に応じて求まる、手振れが生じない露光時間などである。
S202にて、カメラ制御部115は、複数の画像の撮像を開始する。なお、合成画像を作成するために撮影する画像の枚数は、ユーザが事前に操作部114より設定できるものとする。ここでは、具現化するため、4枚の画像が撮像されるものとして説明を続ける。
S203にて、カメラ制御部115は、全画像の撮像が完了したか否かについて判定する。カメラ制御部115は、目的とする枚数(実施形態では4枚)の撮像が完了したと判定した場合はS207に、未完であると判定した場合はS204に処理を進める。
S204にて、カメラ制御部115は、振れ補正量演算部124を制御し、振れ補正可能量の算出を行う。なお、振れ補正可能量の算出については後述する。
S205にて、カメラ制御部115は、この後で行う撮像に対して、S204で算出された振れ補正可能量に応じた撮像条件の設定を行う。なお、撮像条件の設定については後述する。
S206にて、カメラ制御部115は、撮像素子106、露出制御部129を制御し、S205で設定した撮像条件で撮像を行わせる。撮像で得られた画像は、内部メモリ110に一時的に格納される。そして、カメラ制御部115は、処理をS203に戻す。
上記処理を繰り返して、内部メモリ110に目的とする枚数分の画像が格納されると、カメラ制御部115は、S207にて、内部メモリ110に格納された、各画像の位置合わせを行う。そして、S208にて、カメラ制御部115位置合わせ後の画像を用いて、合成画像を生成する。生成された合成画像は、例えば不図示の記憶媒体に画像ファイルとして格納される。
次に、図3(a)乃至(d)を参照し、本実施形態におけるステップS204における振れ補正可能量の算出と、ステップS205における撮像条件の設定と、ステップS206における撮像について、更に詳しく説明する。
図3(a)乃至(d)において、水平軸の右方向は時間の流れを示し、最初画像の撮像開始時刻を起点とする経過時間を表している。垂直軸は、像振れを補正するための撮像素子106の駆動量(位置)の時間変化を表している。垂直軸の中央の線は、撮像素子106の駆動が無い(駆動中心位置にある)状態の位置を表しており、上端と下端の線は、撮像素子106が限界まで駆動された状態の位置を表している。
図3(a)は、1番目の画像の露光を開始する前の状態を表しており、この時の撮像素子106の位置が中央の線上であるとする。カメラ制御部115は、現在の撮像素子106の位置から、その撮像素子106が移動可能範囲の最寄りの境界までの距離(上端或いは下端までの最短距離31)と、振れ検出部112によって検出される振れ量に基づき、この時の振れ補正可能量を算出する。振れ補正可能量が算出されると、カメラ制御部115は、振れ補正可能量が大きいほど露光時間が長くなるよう、1番目の撮像条件の変更を行う。
ここで、現在の撮像素子106の位置と位置駆動可能範囲の上端或いは下端のいずれか近い方の端部との距離をd、振れ検出部112により検出された振れ量をRとしたとき、カメラ制御部115は、d、Rを引数とする関数f(d、R)を用いて振れ補正可能量Cを算出する。関数f(d,R)の一例を示すのであれば次の通りである。
C=f(d、R)=α×d-β×R
ここで、α、βは正の係数である。上式の通り、振れ補正可能量Cは、距離dが大きく、振れ量Rが小さいほど、大きくなる。逆に、振れ補正可能量Cは、距離dが小さく、振れ量Rが大きいほど、小さくなる。
なお、振れ補正可能量Cは、上記関数f(d、R)に相当するテーブルを参照して、振れ補正可能量Cを求めても良い。
図3(b)は、2番目の画像の露光を開始する前の状態を表しており、撮像素子106が上端に近い位置となっている。この場合、撮像素子106から上端までの距離32が小さく、振れ補正を行う余裕がなくなってくるため、算出される振れ補正可能量は小さくなる。この結果、カメラ制御部115は、露光時間が短くなるよう、2番目の撮像条件の変更を行う。
図3(c)、(d)は、其々3番目と4番目の画像の露光を開始する前の状態を表しており、これまでの説明と同様の方法で、其々の撮像条件の判断を行う。
上記の具体例を以下に示す。S201にて設定した露光時間をTsとする。また、振れ補正可能量Cの最大値をCmax、最小値をCminと定義する。
この場合、カメラ制御部115は、S205にて、露光時間Tを、S201で設定した露光時間Tsを基準にして、例えば次式に従って決定する。
T=Ts+{C-Cmax}
上式によれば、振れ補正可能量Cが大きいほど(Cmaxに近いほど)、露光時間TはS205にて設定した露光時間Tsに近づく。一方、振れ補正可能量Cが小さいほど(Cminに近いほど)、露光時間Tは小さくなる(ただし、T>0を満たす)。
なお、撮像する被写体が移動体である場合、露光時間を必要以上に長くすると移動体の像振れの度合いが大きくなり易くなる。そのため、移動体が存在している事を検知した場合には、移動体が存在しない場合と比較し、カメラ制御部115が設定する露光時間の上限を小さくしても良い。また、露光時間Tを予め設定された複数の露光時間から振れ補正可能量Cに応じて選択するようにしてもよい。例えば、露光時間Tsを第1の露光時間、露光時間Tsよりも所定時間だけ短い露光時間を第2の露光時間とし、振れ補正可能量Cが閾値以上の場合は第1の露光時間、振れ補正可能量Cが閾値未満の場合は第2の露光時間を選択するようにしてもよい。また、各画像の露光時間が極端に異なってしまわないように、露光時間が所定の範囲内となるように上限値と下限値を設定してもよい。以上のようにして露光時間を決定した後、輝度情報に基づいて少なくともISO感度を設定する。絞り値に関してはユーザがマニュアル設定していなければISO感度とともに設定する。輝度情報に基づいてISO感度、絞り値を設定する方法は公知の方法を用いればよい。
次に、S207の位置合わせ処理を説明する。なお、本処理を行う場合、目的とする枚数の画像が既に取得されている点に注意されたい。以下、図4のフローチャートを参照して説明する。
S401にて、画像処理回路109は、内部メモリ110に格納されている画像の各々から、位置合わせのための基準画像を取得する。位置合わせの基準画像は、例えば撮像順番が最も早いものとする。そして、基準画像以外の画像を補正対象画像とする。
次に、S402では、画像処理回路109は、位置合わせの処理の1つの補正対象画像を取得する。補正対象画像は、S401で取得した基準画像以外の画像で、位置合わせの処理が済んでいないものとする。画像処理回路109は、撮像順番が最も早いものを基準画像とするならば、撮像した順番で順次に補正対象画像を取得すればよい。
S403にて、画像処理回路109は、基準画像と補正対象画像との位置のずれ量を算出する。算出方法の一例を以下に述べる。
まず、画像処理回路109は、基準画像に対して複数のブロックを設定する。ここで、各々のブロックのサイズが同じになるように設定することが好ましい。次に、画像処理回路109は、補正対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲に設定する。最後に、画像処理回路109は、補正対象画像のそれぞれの探索範囲に、基準画像のブロックとの輝度の差分絶対値和(Sum of Absolute Difference、以下、SADをいう)が最小となる対応点を算出する。画像処理回路109は、基準画像のブロックの中心と前述した対応点から、画像間の位置のずれをベクトルとして算出する。画像処理回路109は、前述する対応点の算出において、SADのほかに、差分二乗和(Sum of Squared Difference、以下SSDをいう)や正規化相互相関(Normalized Cross Correlation、以下NCCをいう)などを用いてもよい。
S404にて、画像処理回路109で、基準画像と対象画像との位置のずれ量から変換係数を算出する。画像処理回路109は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。
S405にて、画像処理回路109は、S404で算出した変換係数を用いて補正対象画像に対して変換を行い、ずれ量を補正した補正画像を生成する。
たとえば、画像処理回路109は、次式(1)に従って対象画像の変形を行い、補正画像I’を生成することができる。
Figure 2023065229000002
式(1)において、(x’、y’)は変形後の座標を示し、(x、y)は変形を行う前の座標を示す。行列Aは、S404で画像処理回路109が算出した変形係数を表す。
S406にて、画像処理回路109は、基準画像以外のすべての画像に対して位置合わせを行ったかどうか判定する。基準画像以外のすべての画像に対して位置合わせを行ったと判定した場合、画像処理回路109は、このフローチャートに示す処理を終了する。また、未処理の画像が存在すると判定した場合、画像処理回路109は処理をS402に戻す。
上記のようにして、複数枚撮像された全ての画像に対して位置合わせ処理が終了すると、S208の画像合成処理を行うことになる。
画像合成処理では、基準画像と、基準画像以外の位置合わせ処理が施された複数の補正画像との画像合成を行う。ここで、画像合成処理は、各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少する。
各画像の合成比率は、各画像の露光時間に応じたものとする。本実施形態では、図5で示すように、長い露光時間で撮像された画像であるほど、合成比率が高くなるように設定する。これにより、ランダムノイズが少ない画像の合成比率が相対的に高くなるため、合成画像のノイズを下げることが可能となる。また、露光時間が等しい場合は、各画像の合成比率は均一に設定する。なお、合成比率の決め方はこれに限らず、合成画像のランダムノイズが最も少なくするのであれば、別の方法を用いてもよい。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。上記の実施形態は、露光時間と輝度情報に基づいてISO感度が決定される構成であり、同じ輝度であれば露光時間が長くなるとISO感度が低くなる前提で、露光時間に応じて画像の合成比率を設定している。しかしながら、ISO感度が高い画像ほどランダムノイズの影響が大きくなるため、ISO感度に応じて画像の合成比率を設定する(ISO感度が低い画像ほど合成比率を大きくする)ようにしてもよい。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100…撮像装置、106…撮像素子、112…振れ検出部、115…カメラ制御部、120…撮像素子位置検出部、124…振れ補正量演算部、121…撮像素子駆動部

Claims (10)

  1. 撮像手段を有し、当該撮像手段による連続撮影を行って得た複数の画像を合成し、合成画像を生成する撮像装置であって、
    撮像装置の振れ量を検出し、当該振れ量に基づいて、補正部材の位置を変更することで像振れ補正を行う補正手段と、
    前記補正部材の現在の位置、及び、前記振れ量から、前記補正手段による補正が可能な程度を表す補正可能量を取得する取得手段と、
    前記合成画像を生成するための撮影を行っている場合、次の撮影における露光時間を前記取得手段で取得した補正可能量に基づいて決定する決定手段と、
    前記決定手段による決定した露光時間に基づいて撮影して得た複数の画像を合成する合成手段と
    を有することを特徴とする撮像装置。
  2. 前記取得手段は、前記補正部材の移動できる範囲の最寄りの境界からの距離と、前記振れ量に基づいて前記補正可能量を算出する
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記決定手段は、前記補正可能量が小さいほど露光時間を小さくするように決定する
    ことを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記合成手段は、
    前記複数の画像における予め設定された1つを基準画像、残りの画像を補正対象画像とし、前記基準画像と1つの補正対象画像との間のずれ量を表すベクトルを求め、前記1つの補正対象画像の画素の位置を前記ベクトルに応じて補正して補正画像を生成することを、残りの補正対象画像について実行し、
    前記基準画像及び補正対象画像それぞれの露光時間の比率に応じて、前記基準画像及び前記補正画像を合成する
    ことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記合成手段は、露光時間が長い画像ほど合成比率を大きくすることを特徴とする請求項4に記載の撮像装置。
  6. 前記補正部材は、前記撮像手段が有する撮像素子であることを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  7. 前記補正部材は、撮影光学系に含まれるレンズであることを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  8. 前記決定手段は、輝度情報及び決定した露光時間に基づいてISO感度を決定することを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  9. 撮像手段を有し、当該撮像手段による連続撮影を行って得た複数の画像を合成し、合成画像を生成する撮像装置の制御方法であって、
    撮像装置の振れ量を検出し、当該振れ量に基づいて、補正部材の位置を変更することで像振れ補正を行う補正工程と、
    前記補正部材の現在の位置、及び、前記振れ量から、前記補正工程による補正が可能な程度を表す補正可能量を取得する取得工程と、
    前記合成画像を生成するための撮影を行っている場合、次の撮影における露光時間を前記取得工程で取得した補正可能量に基づいて決定する決定工程と、
    前記決定工程による決定した露光時間に基づいて撮影して得た複数の画像を合成する合成工程と
    を有することを特徴とする撮像装置の制御方法。
  10. コンピュータが読み込み実行することで、前記コンピュータに、請求項9に記載の方法が有する各工程を実行させるためのプログラム。
JP2021175905A 2021-10-27 2021-10-27 撮像装置及びその制御方法及びプログラム Pending JP2023065229A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021175905A JP2023065229A (ja) 2021-10-27 2021-10-27 撮像装置及びその制御方法及びプログラム
US17/968,010 US20230131656A1 (en) 2021-10-27 2022-10-18 Image capturing apparatus and method for controlling the same, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021175905A JP2023065229A (ja) 2021-10-27 2021-10-27 撮像装置及びその制御方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2023065229A true JP2023065229A (ja) 2023-05-12

Family

ID=86057210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021175905A Pending JP2023065229A (ja) 2021-10-27 2021-10-27 撮像装置及びその制御方法及びプログラム

Country Status (2)

Country Link
US (1) US20230131656A1 (ja)
JP (1) JP2023065229A (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4164424B2 (ja) * 2003-08-29 2008-10-15 キヤノン株式会社 撮像装置及び方法
TW200945885A (en) * 2008-04-25 2009-11-01 Altek Corp Digital image processing method for correcting shaking blur
JP2009284394A (ja) * 2008-05-26 2009-12-03 Olympus Imaging Corp 撮像装置および撮像方法
JP5643563B2 (ja) * 2010-07-22 2014-12-17 キヤノン株式会社 画像処理装置及びその制御方法

Also Published As

Publication number Publication date
US20230131656A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
JP4900401B2 (ja) 撮影装置およびプログラム
JP4872797B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP2015012480A (ja) 画像処理装置及び画像処理方法
JP2016001807A (ja) 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム
JP2012029014A (ja) 画像処理装置及びその制御方法
JP2018107526A (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
JP2018116239A (ja) 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
JP2013165487A (ja) 画像処理装置、撮像装置、およびプログラム
JP6644641B2 (ja) 撮像装置、制御方法、及びプログラム
JP2017175364A (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
JP6037224B2 (ja) 画像処理装置、撮像装置、およびプログラム
JP2018037857A (ja) 画像処理装置、画像処理方法およびプログラム
JP2015204470A (ja) 撮像装置およびその制御方法ならびにプログラム
JP2008271024A (ja) 画像処理装置および方法並びにプログラム
JP2011066827A (ja) 画像処理装置、画像処理方法及びプログラム
KR101630307B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP2018148512A (ja) 撮像装置と撮像装置の制御方法、及びプログラム
JP2018142983A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP2019125880A (ja) 撮像装置およびその制御方法
JP2023065229A (ja) 撮像装置及びその制御方法及びプログラム
JP2017183983A (ja) 撮像装置、その制御方法、および制御プログラム
JP2017212698A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP2011135379A (ja) 撮像装置、撮像方法及びプログラム
JP5182395B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP2009159380A (ja) 撮像装置及び撮像方法