JP2011091648A

JP2011091648A - 撮像装置

Info

Publication number: JP2011091648A
Application number: JP2009243781A
Authority: JP
Inventors: Shinpei Miyahara; 晋平宮原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-10-22
Filing date: 2009-10-22
Publication date: 2011-05-06

Abstract

【課題】手振れ補正のゲインの自動調整をより精度よく行えるようにする。
【解決手段】撮像装置は、撮影光学系により結像された被写体像を撮像する撮像部と、撮像装置に加わる振れを検出する振れ検出部と、撮像部により連続して得られた２つの画像に基づいて動きベクトルを検出する動きベクトル検出部と、動きベクトル検出部により検出された動きベクトルの信頼性を判定する判定部と、振れ検出部により検出された振れ量と、判定部により信頼性があると判定された動きベクトルとに基づいて、動きベクトルに基づく信号がゼロになるように、撮影光学系の光軸に垂直な方向に補正部材を駆動する駆動信号を評価する評価値を算出する評価値算出部と、評価値算出部により算出された評価値に基づいて、補正部材を駆動する駆動部とを備える。
【選択図】図２

Description

本発明は、手振れ補正機能を有する撮像装置における、手振れ補正機能の自動調整技術に関するものである。

近年、デジタルカメラなどの撮像装置においては、小型化、軽量化、高倍率ズーム化が進み、手振れの影響がより顕著に現われやすくなってきている。この問題を解決するために、手振れ補正機能を備えた撮像装置が多く市場に出回っている。

この手振れ補正機能には、大きく分けて二つの方法があり、一般的に光学式手振れ補正と電子式手振れ補正と呼ばれている。この二つの手振れ補正機能の多くは、手振れ検知センサによって振れを検出したり、また、携帯電話などに内蔵されている超小型、軽量な撮像装置などでは撮像部から取り込んだ画像のズレから動きベクトルを検出し、振れ量を算出している。そして、光学式手振れ補正の場合は、検出した振れ量をキャンセルする方向にシフトレンズまたは撮像素子を動かすことにより振れを補正し、電子式手振れ補正の場合は、算出した振れ量をキャンセルするような画像処理を施すことで振れを補正している。

一方、手振れ補正機能の副次的な技術として、画像ズレによる振れ情報から動きベクトルを算出し、その動きベクトルデータから手振れ補正のゲインを調整することで手振れ補正機能の効果を高めるという技術が知られている。このような技術は、例えば、特許文献１及び２に記載されている。

特開２００５−２０３８６１号公報特開２００７−１５８８５３号公報

しかしながら、上記の特許文献１及び２に開示された技術においては、検出された動きベクトルに被写体振れなどの要素も含まれており、また動きベクトル自体の精度が振れ検知センサにより得られる手振れ信号（角速度信号）に比べて低い。そのため、手振れ情報としての信憑性が低く、最適な手振れ補正のゲインの調整が行えているとは必ずしも言えない。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、手振れ補正のゲインの自動調整をより精度よく行えるようにすることである。

本発明に係わる撮像装置は、撮影光学系により結像された被写体像を撮像する撮像手段と、撮像装置に加わる振れを検出する振れ検出手段と、前記撮像手段により連続して得られた２つの画像に基づいて動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段により検出された動きベクトルの信頼性を判定する判定手段と、前記振れ検出手段により検出された振れ量と、前記判定手段により信頼性があると判定された前記動きベクトルとに基づいて、前記動きベクトルに基づく信号がゼロになるように、前記撮影光学系の光軸に垂直な方向に補正部材を駆動する駆動信号を評価する評価値を算出する評価値算出手段と、前記評価値算出手段により算出された前記評価値に基づいて、前記補正部材を駆動する駆動手段と、を備えることを特徴とする。

本発明によれば、手振れ補正のゲインの自動調整をより精度よく行うことが可能となる。

本発明の一実施形態に係わる撮像装置の構成を示すブロック図である。振れ補正処理と振れ補正調整処理を行う回路とその周辺回路を含む振れ補正部の構成を示したブロック図である。振れ補正ゲイン自動調整の動作を示すフローチャートである。一実施形態における処理のタイミングチャートである。防振ＯＦＦ時とＯＮ時の、振れ量と動きベクトルの関係図、及び振れ補正ゲインと振れ補正ゲイン評価値の関係図である。

図１は、本発明の一実施形態に係わる撮像装置の構成を示すブロック図である。図１において、ズームレンズユニット１０１は変倍を行うズームレンズを含む。ズーム駆動制御部１０２はズームレンズユニット１０１を駆動制御する。シフトレンズユニット１０３は、光軸に略垂直な方向に移動可能なシフトレンズ（補正部材）を含む。シフトレンズ駆動制御部１０４は、シフトレンズユニット１０３を駆動制御する。なお、省電力時にはシフトレンズ駆動制御部１０４への電源供給が停止される。絞り・シャッタユニット１０５は絞り・シャッタ駆動制御部１０６によって駆動制御される。フォーカスレンズユニット１０７は、ピント調整を行うフォーカスレンズを含む。はフォーカス駆動制御部１０８はフォーカスレンズユニット１０７を駆動制御する。上記のズームレンズユニット１０１、シフトレンズユニット１０３、絞り・シャッタユニット１０５、フォーカスレンズユニット１０７により、被写体像を結像させる撮影光学系が構成されている。

撮像部１０９は撮像素子を備え、各レンズ群を通ってきた被写体像を電気信号に変換する。撮像信号処理部１１０は撮像部１０９から出力された電気信号を映像信号に変換処理する。映像信号処理部１１１は撮像信号処理部１１０から出力された映像信号を用途に応じて加工する。表示部１１２は映像信号処理部１１１から出力された信号に基づいて、必要に応じて画像表示を行う。振れ検出部１１４は後述する振れ検出センサ２０１，２０２を備え、撮影装置に与えられた振れの度合いを検知する。表示制御部１１３は撮像部１０９および表示部１１２の動作・表示を制御する。電源部１１５はシステム全体に用途に応じて電源を供給する。外部入出力端子部１１６は外部との間で通信信号及び映像信号を入出力する。操作部１１７はシステムを操作する。記憶部１１８は映像情報など様々なデータを記憶する。制御部１２０はシステム全体を制御する。

次に、上記の構成を持つ撮像装置の動作について説明する。操作部１１７は、押し込み量に応じて第１スイッチ（ＳＷ１）および第２スイッチ（ＳＷ２）が順にオンするように構成されたシャッタレリーズボタンを有している。シャッタレリーズボタンを約半分押し込んだときに第１スイッチがオンし、シャッタレリーズボタンを最後まで押し込んだときに第２スイッチがオンする構造となっている。

操作部１１７のシャッタレリーズボタンの第１スイッチがオンされると、フォーカス駆動制御部１０８がフォーカスレンズユニット１０７を駆動してピント調整を行う。それとともに、絞り・シャッタ駆動制御部１０６が絞り・シャッタユニット１０５を駆動して適正な露光量となるように制御する。さらに第２スイッチがオンされると、撮像部１０９に露光された光像から得られた画像データを記憶部１１８に記憶する。第１スイッチがＯＮされたとき操作部１１７から振れ補正機能オンの指示があれば、制御部１２０はシフトレンズ駆動制御部１０４に振れ補正動作を指示し、これを受けたシフトレンズ駆動制御部１０４は、振れ補正機能オフの指示がなされるまで振れ補正動作を行う。

また、操作部１１７のシャッタレリーズボタンが一定時間操作されなかった場合、制御部１２０は省電力のためにディスプレイの電源を遮断する指示を出す。またこの撮像装置では、静止画撮影モードと動画撮影モードとのうちの一方を操作部１１７より選択可能であり、それぞれのモードにおいて各アクチュエータ制御部の動作条件を変更することができる。

なお、操作部１１７に対してズームレンズによる変倍の指示があると、制御部１２０を介して指示を受けたズーム駆動制御部１０２がズームレンズユニット１０１を駆動して、指示されたズーム位置にズームレンズを移動する。それとともに、撮像部１０９から送られ各信号処理部１１０，１１１にて処理された画像情報に基づいて、フォーカス駆動制御部１０８がフォーカスレンズユニット１０７を駆動してピント調整を行う。

次に、図２は、振れ補正の自動調整機能を有する撮像装置の、振れ補正処理と振れ補正調整処理を行う回路（言い換えればシフトレンズ駆動制御部１０４）とその周辺回路を含む振れ補正部の構成を示したブロック図である。

振れ補正部は、振れ検出部１１４に含まれる振れ検出センサ２０１，２０２、Ａ／Ｄ変換部２０３，２０４、増幅部２０５，２０６、レンズ目標位置算出部２０７、レンズ位置制御部２０８を備える。また、レンズ駆動部２０９，２１０、レンズ位置検出素子２１１，２１２、シフトレンズユニット１０３、撮像素子２１４、Ａ／Ｄ変換部２１５、ＣＰＵ（動きベクトル検出部）２１６、振れ補正ゲイン自動制御部２１７も備える。そして、図３のフローチャートにしたがって処理が実行される。また、図３のフローチャートの処理は、動きベクトルの算出可能時間間隔である１フレームごとに繰り返し行われる。また、ピッチング方向の振れ補正ゲイン補正値演算とヨーイング方向の振れ補正ゲイン補正値演算は独立に行われるため、図３の処理は１フレームにピッチング方向とヨーイング方向で２回行われる。

振れ検出センサ２０１，２０２は、例えば角速度センサ（ジャイロセンサ）などであり、手振れによる撮像装置の振動量を検出し、検出した振動量を電気信号に変換して、Ａ／Ｄ変換部２０３，２０４に送る。Ａ／Ｄ変換部２０３，２０４によって手振れ信号がアナログ信号からデジタル信号に変換された後、所望の信号レベルに合わせるため、相応の倍率をもった増幅部２０５，２０６によって増幅される。増幅された信号はレンズ目標位置算出部２０７に送られ、手振れをキャンセルするようなシフトレンズのレンズ位置を計算し、その結果に基づいてレンズ位置制御部２０８によってシフトレンズユニット１０３を制御する。シフトレンズの位置はレンズ位置検出素子２１１，２１２によって検出され、その信号をレンズ位置制御部２０８にフィードバックさせることでレンズ位置を制御し、振れ補正が実行される。

一方、撮像素子２１４は被写体からの反射光を電気信号に変換することで画像情報を得る。その情報はアナログ信号であるためＡ／Ｄ変換部２１５に送られ、デジタル信号に変換される。デジタル信号に変換された画像情報はＣＰＵ（動きベクトル検出部）２１６に送られる。そして、あらかじめ記憶されている１フレーム前の画像と現在の画像（連続する２つの画像）を比較することで、画像の相対的なズレ情報から動きベクトルを算出する。このとき抽出する画像情報としては、画像全体を抽出してもよいし、画像の一部を抽出してもよい。また、画像をいくつかのエリアに分割して、その分割された小エリアで、それぞれ画像情報を比較し、動きベクトルを算出し、その中から最適な動きベクトルを選択してもよい。動きベクトルの算出方法としては一つに限定されない。

ＣＰＵ（動きベクトル検出部）２１６にて算出された動きベクトルは、振れ補正ゲイン自動制御部２１７に送られ、Ａ／Ｄ変換部２０３，２０４から送られてくる手振れ信号とともに振れ補正ゲイン評価値を算出する。そして振れ補正ゲイン自動制御部２１７は振れ補正ゲイン補正値（シフトレンズを駆動する駆動信号）を算出し、振れ補正ゲインを更新する。

次に図３のフローチャートに基づいて、具体的な動作を説明する。なお、振れ検知センサにより検出される撮像装置の振れ量と動きベクトルにはそれぞれピッチング方向の振れ情報とヨーイング方向の振れ情報との２つが存在する。そして、それぞれに対して振れ補正ゲイン補正値を算出するが、それぞれの演算は独立に同じ処理が行われるため、フローチャートには１方向分の振れ補正ゲイン補正値演算処理しか記載していない。

まず、フレームごとに算出される動きベクトルをステップＳ３０１で取得する。なお、ステップＳ３０１はフレーム毎に処理がスタートする。次にステップＳ３０２で動きベクトルを算出した時に使用した、２枚の画像の内の１枚目の画像取得時の振れ量を取得する。動きベクトルの演算には画像取得後にある程度時間がかかり、演算後の振れ検出センサの振れ量を取得しても、動きベクトルの振れ量と振れ検出センサの振れ量の位相が合わず評価値の精度がばらついてしまう。そのため、動きベクトル算出に用いた画像の取得時の振れ検出センサの振れ量を取得する。

ここで図４を用いて詳しく説明する。図４において、横軸は時間である。（ａ）の露光タイミングは、撮像素子の露光信号を表し、信号がＬｏｗの時は露光中を表している。（ｂ）の画像取得タイミングは、露光時間が終わった直後にそれぞれ矢印をもって画像取得時間を表している。（ｃ）の動きベクトル演算タイミングは、取得した最新の２枚の画像を用いて動きベクトルを計算する信号を表している。信号がＬｏｗの時に動きベクトルを計算中である。（ｄ）の動きベクトル取得タイミングは、動きベクトル演算終了直後に矢印をもって取得時間を表している。（ｅ）の振れ量取得タイミングは、矢印で振れ検出センサによる振れ量取得タイミングを表している。（ｆ）のゲイン評価値演算タイミングは、検出された振れ量と演算された動きベクトルを用いて、振れ補正ゲイン評価値を計算する信号を表している。信号がＬｏｗの時に振れ補正ゲイン評価値を計算中である。（ｇ）のレンズ位置取得タイミングは、（ｅ）の振れ量取得タイミングと同じタイミングであり、同様に矢印をもってレンズ位置検出素子によるシフトレンズユニット１０３の位置の取得タイミングを表している。

時刻Ｔ１に取得した画像１と時刻Ｔ２に取得した画像２の二つの画像データからの動きベクトルの演算処理は、時間（Ｔ１２−Ｔ２）だけかかり、動きベクトルは時刻Ｔ１２に生成される。このとき動きベクトルと位相の合った振れ量は、２枚の画像の露光時間である（Ｔ２−Ｔ０）の中間の時刻であるＴ１の時の振れ量となる。このため、時刻Ｔ１２に生成される動きベクトルと時刻Ｔ１の振れ量を使って振れ補正ゲイン補正値を算出することになる。

同様に時刻Ｔ２に取得した画像２と時刻Ｔ３に取得した画像３から生成した動きベクトル２３と、時刻Ｔ２に取得した振れ量２を用いて、振れ補正ゲイン評価値を計算する。このとき、動きベクトル生成時刻と、位相の合う振れ量には時間差が生じるため、振れ量は過去の数回分をバッファに保存しておく必要がある。

図３のフローチャートに戻ると、ステップＳ３０３では振れ量を検出したタイミングと同じタイミングでレンズ位置を取得する。次にステップＳ３０４で動きベクトル演算に用いた画像の露光中、パンニング動作が無かったかを判定する。パンニング動作があった場合は、パンニングフラグ（PanFlag）が１となり、その時の動きベクトルは信頼性がないと判断し、何もせず処理を終了する。

パンニング動作が無かった場合、ステップＳ３０５でレンズ位置（シフトレンズの撮影光学系の光軸中心からの距離）がある所定値α以内（所定値以下）であったかを判定する。ある所定値αより大きかった場合は、振れ補正においてシフトレンズの位置制御にブレーキ処理がかかっている場合があり、動きベクトルの信頼性を低下させるため、何もせず処理を終了する。

ステップＳ３０５でレンズ位置がある所定値α以内であった場合、ステップＳ３０６で振れ量がある所定値β以内であったかを判定する。振れ量がある所定値βより大きかった場合は、動きベクトルの演算に用いられる２枚の画像データ自体がそれぞれブレていて２枚の画像の差分から求まる動きベクトルの信頼性が低下しているため、何もせず終了する。

ステップＳ３０６で振れ量がある所定値β以内（所定値以下）であった場合、ステップＳ３０７で動きベクトル演算に使われた画像２枚のそれぞれの露光時間がある所定値（所定時間）γ以内であったか判定する。ある所定値γより大きかった場合、画像がそれぞれブレていて２枚の画像の差分から求まる動きベクトルの信頼性が低下しているため、何もせず終了する。なお、ステップＳ３０７の露光時間１と露光時間２は、動きベクトル演算に用いた２枚の画像のそれぞれの露光時間である。

ステップＳ３０７で２枚の画像の露光時間が所定値γ以内（所定時間以内）であった場合、ステップＳ３０８で動きベクトルの演算に使われた画像２枚のぞれぞれの輝度値の平均値がある所定値δ以上、ある所定値ε以内であったか判定する。ある所定値δより小さかった場合、若しくはある所定値εより大きかった場合は、動きベクトル演算に用いた画像が暗すぎ若しくは明るすぎで動きベクトルの信頼性が低下しているため、何もせず終了する。なお、ステップＳ３０８の輝度平均値１と輝度平均値２は、動きベクトル演算に用いた２枚の画像のそれぞれの輝度平均値である。

ステップＳ３０８で２枚の画像の輝度値の平均値が所定値δ以上、所定値ε以下（所定の範囲内）であった場合、ステップＳ３０９で振れ補正ゲイン評価値を演算する（評価値算出処理）。ステップＳ３１０ではカウンタを１カウントアップし、ステップＳ３１１でカウンタが所定値ζ以上であればステップＳ３１２で振れ補正ゲイン補正値を計算し（補正値算出処理）、ステップＳ３１３でその時の振れ補正ゲインと振れ補正ゲイン補正値を保存する。そして、ステップＳ３１４で振れ補正ゲインを更新し、ステップＳ３１５でカウンタと振れ補正ゲイン評価値を初期化して処理を終了する。ステップＳ３１１でカウンタが所定値ζに満たなければ、振れ補正ゲイン評価値の平均化処理が終わっていないため、振れ補正ゲイン補正値計算に進まず処理を終了する。

ここで振れ補正ゲイン評価値と平均化処理について詳しく説明する。振れ補正ゲイン評価値とは、図５のように、横軸に振れ量（ジャイロデータ）、縦軸に動きベクトルをとったときの、原点を通る近似直線の傾きに相当する。図５（ａ）のように防振がＯＦＦ（またはＯＮであるが振れ補正ゲインが最適でない）の場合、振れに応じて動きベクトルも発生するため、ある一定の傾きを持った直線となる。図５（ｂ）のように防振ＯＮで最適ゲインに追い込まれている場合、振れ量があっても動きベクトルはあまり発生しないため、傾きは小さい。この傾きの絶対値を評価値として、０に追い込むような振れ補正ゲイン補正値を算出すればよい。

しかしながら、動きベクトルの精度が良くないため、図５のように全てのデータが原点を通る直線上に乗るわけではなく、ばらつく。つまり動きベクトルと振れ量の相関係数は１より小さい。このため、動きベクトルと振れ量のデータ１点から振れ補正ゲイン補正値を求めてもゲインの追い込み方向を誤る可能性がある。そのため、データ複数個をもって原点を通る直線を最小二乗法により計算し、振れ補正ゲイン評価値である傾きを計算する。

動きベクトルと振れ量のデータ個数がζ個の場合の、振れ補正ゲイン評価値の計算方法を以下に示す。ただし、V_Pitchはピッチング方向の振れ補正ゲイン評価値であり、V_Yawはヨーイング方向の振れ補正ゲイン評価値である。またGyroDataPitch[i]はｉ番目に取得したピッチング方向の振れ量であり、MotionVectorPitch[i]はｉ番目に取得したピッチング方向の動きベクトルである。そして、GyroDataYaw[i]はｉ番目に取得したヨーイング方向の振れ量でありMotionVectorYaw[i]はｉ番目に取得したヨーイング方向の動きベクトルである。

図３のフローチャートでのステップＳ３０９での実際の処理では、取得した動きベクトルと振れ量を用いて以下のような演算が行われる。ただし、V_Pitch[i+1]はｉ＋１回目のピッチング方向の振れ補正ゲイン評価値演算結果であり、V_Pitch[i]はｉ回目のピッチング方向の振れ補正ゲイン評価値演算結果である。そして、V_Yaw[i+1]はｉ+１回目のヨーイング方向の振れ補正ゲイン評価値演算結果であり、V_Yaw[i]はｉ回目のヨーイング方向の振れ補正ゲイン評価値演算結果である。

以上より求められた振れ補正ゲイン評価値と振れ補正ゲインの関係を図５（ｃ）に示す。図５（ｃ）において、横軸を振れ補正ゲイン、縦軸を振れ補正ゲイン評価値Ｖとしたとき、その関係は下に凸な関数となる。前述したとおり、動きベクトルが０（ゼロ）となる点、すなわち評価値が０となるように振れ補正ゲインを追い込む（振れ補正ゲイン補正値を算出する）。

評価値Ｖを０に追い込む方法は１つに限定されないが、ここでは一般的な最急降下法につい記述する。最急降下法とはｎ回目のゲイン更新で用いる振れ補正評価値Ｖｎとその時の振れ補正ゲインＧｎ、ｎ−１回目のゲイン更新で用いた振れ補正評価値Ｖｎ-１とその時の振れ補正ゲインＧｎ-１を用いて以下の数式により、振れ補正ゲイン補正値ΔＧを計算する。

ここで、αは振れ補正ゲインの収束スピード、収束の精度を決定する係数である。これにより求められた振れ補正ゲイン補正値を現在の振れ補正ゲインに加算することで評価値の低い方向になるような次回の振れ補正ゲインが決定される（数６参照）。

以上説明したように、上記の実施形態の撮像装置は、振れ検知センサにより検出された振れ量と、動きベクトルに基づいた振れ量により振れ補正ゲイン評価値を算出し、その振れ補正ゲイン評価値を平均化することで、被写体振れなどのノイズ要素を軽減させた振れ補正ゲイン評価値を算出することが可能となり、それにより振れ補正の自律的な調整を精度良く行うことができる。

Claims

撮影光学系により結像された被写体像を撮像する撮像手段と、
撮像装置に加わる振れを検出する振れ検出手段と、
前記撮像手段により連続して得られた２つの画像に基づいて動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段により検出された動きベクトルの信頼性を判定する判定手段と、
前記振れ検出手段により検出された振れ量と、前記判定手段により信頼性があると判定された前記動きベクトルとに基づいて、前記動きベクトルに基づく信号がゼロになるように、前記撮影光学系の光軸に垂直な方向に補正部材を駆動する駆動信号を評価する評価値を算出する評価値算出手段と、
前記評価値算出手段により算出された前記評価値に基づいて、前記補正部材を駆動する駆動手段と、
を備えることを特徴とする撮像装置。
前記評価値は、前記振れ検出手段の出力を縦軸に、前記動きベクトル検出手段の出力を横軸に取ったときの近似直線の傾きに相当することを特徴とする請求項１に記載の撮像装置。
前記判定手段は、前記振れ検出手段により検出された振れ量が所定値以下の場合に、前記動きベクトルは信頼性があると判定することを特徴とする請求項１又は２に記載の撮像装置。
前記判定手段は、前記補正部材の前記撮影光学系の光軸中心からの距離が所定値以下の場合に、前記動きベクトルは信頼性があると判定することを特徴とする請求項１又は２に記載の撮像装置。
前記判定手段は、前記撮像装置のパンニングが行われていない場合に、前記動きベクトルは信頼性があると判定することを特徴とする請求項１又は２に記載の撮像装置。
前記判定手段は、前記連続して得られた２つの画像の露光時間が所定時間以内の場合に、前記動きベクトルは信頼性があると判定することを特徴とする請求項１又は２に記載の撮像装置。
前記判定手段は、前記連続して得られた２つの画像の輝度値が所定の範囲内の輝度値である場合に、前記動きベクトルは信頼性があると判定することを特徴とする請求項１又は２に記載の撮像装置。