JP2021140078A - 撮像装置および制御方法 - Google Patents

Abstract

【課題】像ブレ補正特性の変更による像ブレ補正性能の低下を抑制することが可能な撮像装置を提供する。【解決手段】撮像手段と、撮像装置に加わる振れに係る振れ検出信号に対して信号処理を実行する信号処理部５２ａと、信号処理部５２ａの出力に基づいて、撮像手段を用いて取得する撮像画像に係る像ブレを補正する手振れ補正部５３とを有する撮像装置を設ける。撮像装置は、上記振れの特性の変化に応じて、信号処理部５２ａの信号処理特性を変更し、変更後の信号処理特性と変更前の信号処理特性とに基づいて、撮像画像の取得に用いる撮像手段の露光時間を制限する。【選択図】図６

Description

本発明は、撮像装置および制御方法に関する。

特許文献１は、撮像装置本体に加わる振れの特性に応じて、像ブレ補正の特性（像ブレ補正特性）を変更する撮像装置を開示している。具体的には、撮像装置は、振れに係る信号を処理して補正信号を生成する補正信号生成手段の特性（補償特性）を変更する。

特開平９−５１４６９号公報

装置に加わる振れの特性に応じて、像ブレ補正特性を変更すると、像ブレ補正特性の変更前は良好であった周波数に関する像ブレ補正性能が劣化する場合がある。本発明は、像ブレ補正特性の変更による像ブレ補正性能の低下を抑制することが可能な撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、撮像手段と、撮像装置に加わる振れに係る振れ検出信号に対して信号処理を実行する信号処理手段と、前記信号処理手段の出力に基づいて、前記撮像手段を用いて取得する撮像画像に係る像ブレを補正する補正手段と、前記振れの特性の変化に応じて、前記信号処理手段の信号処理特性を変更する特性変更手段と、前記変更後の前記信号処理特性と前記変更前の前記信号処理特性とに基づいて、前記撮像画像の取得に用いる前記撮像手段の露光時間を制限する露光制限手段と、を有する。

本発明の撮像装置によれば、像ブレ補正特性の変更による像ブレ補正性能の低下を抑制することが可能となる。

撮影シーンの一例を示す図である。 撮像装置に加わる振れを説明する図である。 像ブレ補正の周波数特性の一例を説明する図である。 ブレ補正残りの波形を示す図である。 撮像装置の像ブレ補正に関する機能ブロック図の一例を示す図である。 像ブレ補正の周波数特性の他の例を説明する図である。 ブレ補正利得差に応じた露光時間の制限の一例を説明する図である。 露光時間の制限処理を説明するフローチャートの一例である。

図１は、撮影シーンの一例を示す図である。
図１に示す例では、撮影者が、先端に本実施形態の光学機器の一例である撮像装置１１が取り付けられた自撮り棒１２を把持して、自身を撮影している。図１に示すような自撮り撮影シーンでは、自撮り棒１２の先端の重さと自撮り棒１２の長さとに応じて、所定の周期（特有周期）の振れが生じやすい。この特有周期の振れの周波数は、固有振動数に対応する。

図２は、撮像装置１１に加わる振れを説明する図である。
図２（Ａ）および図２（Ｂ）において、横軸は時間を示し、縦軸は撮像装置１１に加わる振れの量（振れ量）を示す。図２（Ａ）は、撮影者が自撮り棒１２を用いないで撮像装置１１を構えた時の振れの波形２１を示す。図２（Ｂ）は、図１に示す自撮り撮影シーンにおける振れの波形２２を示す。波形２２には、波形２１と異なり、撮像装置１１の配置状態に応じた特有周期（固有周期）の大きな振れが発生している。

図２（Ｃ）および図２（Ｄ）は、撮像装置１１に加わる振れにより生じる像ブレを補正した後の撮像面での補正残り量（ブレ補正残り量）を示す。図２（Ｃ）は、図２（Ａ）に示す波形２１に応じた像ブレを補正した後のブレ補正残り量の波形２３を示す。図２（Ｄ）は、図２（Ｂ）に示す波形２２に応じた像ブレを補正した後のブレ補正残り量の波形２４を示す。横軸は時間を示し、縦軸はブレ補正残り量を示す。図２（Ｃ）と図２（Ｄ）を参照すると、波形２４が示すブレ補正残りのほうが、波形２３が示すブレ補正残りよりも大きいことがわかる。

自撮り撮影シーンにおいて発生する特有周期の振れに対応する像ブレを効果的に補正する方法として、像ブレ補正の周波数特性を変更する方法が考えられる。ここで、撮像装置が、撮像装置１１に加わる振れに係る振れ検出信号に対して信号処理を実行して、像ブレ補正に用いられる駆動目標値の信号を出力する信号処理部を備えるものとする。像ブレ補正の周波数特性は、当該信号の周波数特性つまり信号処理部の信号処理特性に対応する。

図３は、像ブレ補正の周波数特性の一例を説明する図である。
図３の横軸は周波数である。縦軸は、像ブレ補正に用いられる信号の周波数特性による像ブレの補正性能を示す利得（ブレ補正利得）である。縦軸を下に向かうほど、ブレ補正利得が大きく、像ブレの補正性能が高くなる。

図３中の周波数特性３１は、自撮り撮影でない通常の撮影シーンで適用される周波数特性である。周波数特性３１は、自撮り撮影時に適用される周波数特性である。周波数特性３１に対して、後述する図５の特性変更部５２ｂとして機能するフィルタを適用することで、周波数特性３２が作成される。周波数特性３２を有する駆動目標値の信号によれば、自撮り撮影時に発生する特有周期の振れの周波数３３に対して、精度良く像ブレ補正を行うことができる。

図４は、周波数特性３２を有する駆動目標値の信号で像ブレ補正を行った場合のブレ補正残りの波形４１を示す図である。
波形４１と図２（Ｄ）に示すブレ補正残りの波形２４とを比較すると、周波数特性３２を有する駆動目標値の信号で像ブレ補正を行った場合には、特有周期の振れによる像ブレが効果的に補正されていることがわかる。ただし、波形４１と波形２３とを比較すると、周波数特性３２を有する駆動目標値の信号で像ブレ補正を行った場合には、低周波の繰り返しの振れが発生してしまうことがわかる。図３の特有周期の振れの周波数３３より低い周波数３４に関しては、自撮り撮影に応じて変更する前の周波数特性３１よりも周波数特性３２のほうが、ブレ補正利得が小さく、ブレ補正性能が矢印３５の利得差（ブレ補正利得差）分低いからである。しかし、周波数３４の周期は、自撮り撮影時の特有周期よりも長い。したがって、撮像装置１１は、撮像画像の取得に用いる撮像手段（撮像素子）の露光時間を制限する。これにより、自撮り撮影に応じて像ブレ補正の周波数特性を変更することによるブレ補正性能の低下を抑制することができる。

図４に示す所定の露出の露光時間４２に対して、短い露光時間４３で撮影した場合、像ブレを半分にすることができる。露出が足りない分は撮像ゲイン調整で補うことができるので、像ブレが大きくなるよりは画質の劣化が少ない。したがって、本実施形態では、撮像装置１１は、図３の矢印３５で示されるブレ補正利得差すなわち周波数特性３２のブレ補正性能に応じて、露光時間を制限する。これにより、画質の劣化を抑制することができる。

撮像装置１１は、ブレ補正利得差が大きいほど、露光時間の制限を強くし、短い露光時間を設定する。例えば、自撮り撮影でない通常の撮影シーンで適用される適正露出の露光時間が２秒である場合、ブレ補正利得差が第１の利得差であるときには、撮像装置１１は、露光時間を１秒に設定する。ブレ補正利得差が第１の利得差より大きい第２の利得差である場合には、撮像装置１１は、露光時間を１／４秒に設定する。なお、露光時間の制限のかけ方は特に限定されるものではなく、撮影者が設定できる露光時間自体に制限を設けてもよいし、撮影者が設定できる露光時間自体は制限せずに、撮影者によって設定された露光時間を撮像装置１１が変更して制限するようにしてもよい。

図５は、撮像装置１１の像ブレ補正に関する機能ブロック図の一例を示す図である。
撮像装置１１は、振動検出部５１、ＣＰＵ５２、手振れ補正部５３、シャッター５４を有する。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。また、図５では不図示であるが、撮像装置１１は、被写体光を光電変換して撮像画像に係る信号を出力する撮像素子を有する。

振動検出部５１は、撮像装置１１に加わる振れを検出し、検出した振れに係る振れ検出信号を出力する。この例では、振動検出部５１は、例えば角速度計であり、振れ検出信号として角速度信号を出力する。ＣＰＵ５２は、撮像装置１１全体を制御する。ＣＰＵ５２は、信号処理部５２ａ、特性変更部５２ｂ、特性変化検出部５２ｃ、利得比較部５２ｄ、露光制限部５２ｅ、露光部５２ｆ、特性切替部５２ｇを備える。

信号処理部５２ａは、振動検出部５１が出力する振れ検出信号（角速度信号）に対して信号処理を実行し、像ブレ補正に用いられる駆動目標値の信号を出力する。このために、信号処理部５２ａは、角速度信号に係る角速度を積分する積分器と、撮像装置１１が有する撮影光学系の焦点距離情報に基づいて、積分された角速度のゲインを変更する敏感度調整部とを有する。

特性変化検出部５２ｃは、振動検出部５１が出力する振れ検出信号に基づいて、特有周期における振れを検出し、振れの検出結果に基づいて、撮像装置１１に加わる振れの特性の変化を検出する。具体的には、特性変化検出部５２ｃは、検出した振れの振幅が自撮り撮影時に発生する振幅である場合に、自撮り撮影が行われていると判断するとともに、当該振れの振幅を撮像装置１１に加わる振れの特性の変化として検出する。

特有周期とは、図１に示す撮像装置１１が取り付けられた自撮り棒１２の長さなどで求まる周期である。特性変化検出部５２ｃは、特性変更部５２ｂに対して、信号処理部５２ａの出力の周波数特性つまり信号処理部５２ａの信号処理特性を、検出した振れの振幅の大きさに応じた周波数特性に変更するように指示する。

特性変更部５２ｂは、ブーストフィルタまたはノッチフィルタを有する。特性変更部５２ｂは、撮像装置１１に加わる振れの特性の変化に応じて、信号処理部５２ａの信号処理特性を変更する。特性変化検出部５２ｃによって検出された特有周期の振れの振幅が大きく、閾値以上である場合、特性変更部５２ｂは、以下の処理を実行する。特性変更部５２ｂは、信号処理部５２ａから出力される駆動目標値の信号の周波数特性を、例えば図３の波形３２のように、自撮り棒１２の特有周期にノッチがある周波数特性に変更する。これにより、特有周期の振れの周波数３３の振れに対するブレ補正性能が向上する。

図６は、像ブレ補正の周波数特性の他の例を説明する図である。
特性変化検出部５２ｃによって検出された特有周期の振幅が大きくなく、閾値未満である場合、特性変更部５２ｂは、信号処理部５２ａから出力される駆動目標値の信号を、例えば図６の波形６１が示す周波数特性に変更する。波形６１が示す周波数特性では、特有周期の振れの周波数３３に関するブレ補正性能は高くない。しかし、特有周期の振れの周波数３３より低い周波数３４に対応するブレ補正利得差６２は、図３を参照して説明したブレ補正利得差３５より小さい。

特性変更部５２ｂの出力は、特性切替部５２ｇを介して手振れ補正部５３に入力される。利得比較部５２ｄは、特有周期の振れの周波数３３より低い周波数３４における、波形３１と波形３２（図３）とのブレ補正利得、または波形３１と波形６１（図６）とのブレ補正利得を比較して、ブレ補正利得差３５またはブレ補正利得差６２を求める。本実施形態では、利得比較部５２ｄは、変更前の周波数特性の利得が最も高い周波数である周波数３４に対応するブレ補正利得差を求めるが、本発明の適用範囲は周波数３４に限定されない。

露光制限部５２ｅは、特性変更部５２ｂによる変更後の信号処理部５２ａの信号処理特性と、変更前の信号処理特性とに基づいて、撮像画像の取得に用いる露光時間を制限する。具体的には、露光制限部５２ｅは、利得比較部５２ｄが求めたブレ補正利得差に基づいて、露光時間の制限量を設定する。例えば、適正露光の露光時間が２秒であるものとすると、露光制限部５２ｅは、露光部５２ｆに指示して、ブレ補正利得差３５に対応する露光時間として１／４秒を設定する。また、露光制限部５２ｅは、ブレ補正利得差６２に対応する露光時間として１秒を設定する。

図７は、ブレ補正利得差に応じた露光時間の制限の一例を説明する図である。
図７の横軸は、ブレ補正利得差を示し、縦軸は、露光時間の上限を示す。変更後の周波数特性によってブレ補正利得差が変化し、ブレ補正利得差に応じて露光時間の上限が変化する。すなわち、図７に示す例では、露光制限部５２ｅは、ブレ補正利得差が大きいほど、設定する露光時間の上限を短くして露光時間の制限を強くし、ブレ補正利得差が小さいほど、設定する露光時間の上限を長くして露光時間の制限を弱める。

図５の説明に戻る。露光部５２ｆは、露光制限部５２ｅの指示に基づいて露光時間を設定し、露光タイミングを示す露光タイミング信号によりシャッター５４を駆動する。露光タイミング信号は特性切替部５２ｇにも出力される。手振れ補正部５３は、信号処理部５２ａが出力する駆動目標値の信号に基づいて、撮像画像に係る像ブレを補正する。例えば、手振れ補正部５３は、撮像光学系が有するレンズ（シフトレンズ）または撮像素子を光軸とは異なる方向（例えば、光軸と直交する方向）に駆動する。

特性切替部５２ｇは、露光部５２ｆから入力される露光タイミング信号に基づいて、露光時にのみ、手振れ補正部５３に対する信号処理部５２ａの出力を、特性変更部５２ｂによる変更後の周波数特性に応じた出力に切り替える。特性切替部５２ｇは、撮影準備中は、信号処理部５２ａの出力を、特性変更部５２ｂを介さずに手振れ補正部５３に対して入力する。撮影準備中も特性変更部５２ｂの出力を手振れ補正部５３に入力すると、自撮りによる大きな像ブレを補正するために手振れ補正部５３がその駆動範囲を使い切り、露光を始めるときには像ブレ補正をできなくなる可能性があるからである。なお、撮像装置１１は、ライブビュー撮影時には、撮像装置１１に加わる振れに応じて、撮像画像に対して画像処理を行って像ブレを行う電子防振を実行してもよい。

図８は、ブレ補正利得差に応じた露光時間の制限処理を説明するフローチャートの一例である。
図８に示すフローチャートは、撮像装置１１の主電源がオンになり、レリーズボタンの半押し操作などの操作が行われた場合に開始する。図８中のＳは、本フローチャートにおける各処理に対応するステップ番号である。

Ｓ８０１において、特性変化検出部５２ｃが、振動検出部５１が出力する振れ検出信号に基づいて、特有周期における振れを検出し、振れの検出結果に基づいて、自撮り撮影が行われているかを判断する。自撮り撮影が行われていない場合は、処理がＳ８０１に戻る。自撮り撮影が行われている場合は、処理がＳ８０２に進む。

Ｓ８０２において、特性変化検出部５２ｃが、Ｓ８０１で検出された特有周期における振れの振幅を撮像装置１１に加わる振れの特性の変化として検出する。特性変化検出部５２ｃは、特性変更部５２ｂに対して、信号処理部５２ａが出力する駆動目標値の信号の周波数特性を、検出した振れの振幅の大きさに応じた周波数特性に変更するように指示する。続いて、Ｓ８０３において、特性変更部５２ｂが、Ｓ８０２における特性変化検出部５２ｃからの指示に基づいて、信号処理部５２ａが出力する駆動目標値の信号の周波数特性を変更する。

次に、Ｓ８０４において、利得比較部５２ｄが、特有周期における振れの周波数より低い周波数に対応する、変更前後の周波数特性のブレ補正利得を比較して、ブレ補正利得差を求める（算出する）。例えば、利得比較部５２ｄは、図３に示すブレ補正利得差３５を求める。そして、Ｓ８０５において、露光制限部５２ｅが、Ｓ８０４で求められたブレ補正利得差に基づいて、露光時間を制限する。撮像装置１１によれば、自撮り撮影に応じて像ブレ補正の周波数特性を変更することによるブレ補正性能の低下を抑制することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

５２ ＣＰＵ
５２ｂ 特性変更部

Claims (7)

1. 撮像手段と、
   撮像装置に加わる振れに係る振れ検出信号に対して信号処理を実行する信号処理手段と、
   前記信号処理手段の出力に基づいて、前記撮像手段を用いて取得する撮像画像に係る像ブレを補正する補正手段と、
   前記振れの特性の変化に応じて、前記信号処理手段の信号処理特性を変更する特性変更手段と、
   前記変更後の前記信号処理特性と前記変更前の前記信号処理特性とに基づいて、前記撮像画像の取得に用いる前記撮像手段の露光時間を制限する露光制限手段と、を有する
   ことを特徴とする撮像装置。
2. 前記露光制限手段は、前記変更前の前記信号処理特性と前記変更後の前記信号処理特性の利得差に応じて、前記露光時間を制限する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記振れ検出信号に基づき所定の周期における振幅を検出することで、前記振れの特性の変化を検出する検出手段を有し、
   前記特性変更手段は、前記信号処理手段の信号処理特性を前記検出された振幅の大きさに応じた信号処理特性に変更する
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記所定の周期の振れの周波数より低い周波数に対応する、前記変更前の前記信号処理特性と前記変更後の前記信号処理特性の利得差を算出する算出手段を有する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記露光制限手段は、前記変更前の前記信号処理特性と前記変更後の前記信号処理特性の利得差が大きいほど、前記露光時間を短い露光時間に設定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 露光時にのみ、前記補正手段への前記信号処理手段の出力を前記変更後の前記信号処理特性に応じた出力に切り替える切り替え手段を有する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 信号処理手段により、撮像装置に加わる振れに係る振れ検出信号に対して信号処理を実行する工程と、
   前記信号処理手段の出力に基づいて、前記撮像装置の撮像手段を用いて取得する撮像画像に係る像ブレを補正する工程と、
   前記振れの特性の変化に応じて、前記信号処理手段の信号処理特性を変更する工程と、
   前記変更後の前記信号処理特性と前記変更前の前記信号処理特性とに基づいて、前記撮像画像の取得に用いる前記撮像手段の露光時間を制限する工程と、を有する
   ことを特徴とする撮像装置の制御方法。

Images