JP2006101485A - 手ぶれ補正装置および撮像機器 - Google Patents

Abstract

【課題】 この発明の目的は、補正する揺れの周波数特性と画像切り出し位置のセンタリング特性を独立して所望の設定にでき、より良好に手ぶれ補正できる、手ぶれ補正装置を提供することにある。
【解決手段】 画像の揺れを検出する揺れ検出手段、ならびに揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度を制御するための減衰中心とに基づいて、画像切り出し位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度とが変更可能な補正量を生成する補正量生成手段を備えており、補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えている。
【選択図】 図１

Description

本発明は、例えばビデオカメラやデジタルカメラに搭載される手ぶれ補正装置およびビデオカメラやデジタルカメラ等の撮像機器に関する。

撮像装置の揺れ成分を検出する方法の一例が、１９８９年の第２０回画像光学コンファレンスで松下電器産業株式会社から発表されている。この方法は、昭和６１（１９８６）９月６日付で公開された特開昭６１−２０１５８１号［Ｈ０４Ｎ７／１３７］公報に記載されている代表点マッチング法から得られる動きベクトルを使って、画像情報から撮像装置の揺れ成分を検出するものである。この発表では、画像情報から得られる動きベクトルに基づいて手ぶれを補正する方法に、減衰係数を導入している。また、画面に４個の検出領域を配置しており、各検出領域毎に部分動きベクトルを算出している。

ここで、得られた部分動きベクトルに基づいて手ぶれ補正する方法について述べる。フレーム間の全体動きベクトルは、先に述べた４個の部分動きベクトルの平均等が用いられる。全体動きベクトルをＶ_n とすると積分ベクトルＳ_n は次式（１）で表される。

Ｓ_n ＝Ｋ・Ｓ_n-1 ＋Ｖ_n …（１）

上記式（１）において、Ｓ_n は現フレームの積分ベクトルを、Ｓ_n-1 は前フレームの積分ベクトルを、Ｖ_n は全体動きベクトルを、Ｋは積分ベクトルの減衰係数をそれぞれ示している。積分ベクトルの減衰係数Ｋは、１より小さい小数である。

このようにして得られた積分ベクトルＳ_n を使って、画像の切り出し位置を移動させることによって、手ぶれに基づく画像のぶれを補正する。積分ベクトルＳ_n は、図７に示すように、画像メモリ（フレームメモリ１５）の中心Ｏからの表示領域（切出し枠１００）の中心Ｏｔまでの距離と方向とを表す。

減衰係数Ｋを制御することで、揺れの周波数に対する補正残り率（補正する揺れの周波数特性）と、補正範囲を確保するために画像切り出し位置を画像メモリの中心に戻す速度（センタリング速度）とを変化させることができる。補正残り率は、補正前の揺れの振幅に対する補正後の揺れの振幅の割合〔％〕であると定義される。

図１９は、減衰係数Ｋによる揺れ周波数〔Ｈｚ〕と補正残り率〔％〕の関係を示している。

例えば、Ｋ＝１．０の場合には、検出した動きを完全に補正することになる。Ｋ＝０．９０の場合、２〔Ｈｚ〕の揺れが約５０％、５〔Ｈｚ〕の揺れが約７０％補正されることになる。つまり、減衰係数Ｋを小さくすればするほど、低周波数帯の揺れに対する補正度合いが弱まるということになる。

ところで、減衰係数Ｋは、補正する揺れの周波数特性とセンタリング速度とを制御する役割を兼ねているため、それぞれ独立した特性に設定することができない。例えば、低周波数帯の揺れを補正しないように減衰係数Ｋを小さくすると、センタリング速度が副次的に大きくなり、ビデオカメラの動きを止めても画像が遅れて動く現象（遅延揺れ）が顕著になるという問題があった。

また、逆に、低周波数帯の揺れを完全に補正するように減衰係数Ｋを１にすると、センタリングはされず、補正範囲が確保できなくなるという問題があった。この問題への対応例が、特開平７−２３２７６号公報に提案されている。該公報では、パン・チルト撮影後に遅延揺れが顕著であることに着目し、パン・チルト撮影中に動きベクトルの所定割合分だけ、画像の切り出し位置を画像メモリの中心側に移動させるというものである。しかし、パン・チルト撮影中には動きベクトルの誤検出が多発するため、パン・チルト撮影中の操作性が著しく低下するという問題があった。
特開昭６１−２０１５８１号公報 特開平７−２３２７６号公報 １９８９年の第２０回画像光学コンファレンス 「ビデオカメラの自動電子ゆれ補正方式」 魚森 謙也，森村 淳，石井 浩史 松下電気産業（株） 中央研究所 Ｐ１７７〜Ｐ１８０

この発明の目的は、補正する揺れの周波数特性と画像切り出し位置のセンタリング特性を独立して所望の設定にでき、より良好に手ぶれ補正できる、手ぶれ補正装置および撮像機器を提供することにある。

この発明による第１の手ぶれ補正装置は、画像の揺れを検出する揺れ検出手段、ならびに揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、揺れ量の減衰中心とに基づいて、補正位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と揺れ量の減衰中心とが変更可能な補正量を生成する補正量生成手段を備えていることを特徴とする。

この発明による第２の手ぶれ補正装置は、画像の揺れを検出する揺れ検出手段、ならびに揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、補正位置を補正前の初期位置に移動させるセンタリング速度を制御するための減衰中心とに基づいて、補正位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、補正位置を補正前の初期位置に移動させるセンタリング速度とが変更可能な補正量を生成する補正量生成手段を備えており、補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えていることを特徴とする。

この発明による第３の手ぶれ補正装置は、画像の揺れを検出する揺れ検出手段、撮影者の意図的なカメラ運動による揺れ状態と手ぶれ状態とを判別する状態判別手段、状態判別手段によって手ぶれ状態であると判別されているときには、揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、補正位置を補正前の初期位置に移動させるセンタリング速度を制御するための減衰中心とに基づいて、補正位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、補正位置を補正前の初期位置に移動させるセンタリング速度とが変更可能な補正量を生成する第１の補正量生成手段、状態判別手段によって撮影者の意図的なカメラ運動による揺れ状態であると判別されているときには、補正位置を算出するための補正量を、１フレーム前の補正量とする第２の補正量生成手段、ならびに状態判別手段によって、撮影者の意図的なカメラ運動による揺れ状態から手ぶれ状態に変化したことが検出されたときに、減衰中心をそのときの補正量に対応する補正位置に設定する手段を備えており、第１の補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えていることを特徴とする。

この発明による第４の手ぶれ補正装置は、画像の揺れを検出する揺れ検出手段、ならびに揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度を制御するための減衰中心とに基づいて、画像切り出し位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度とが変更可能な補正量を生成する補正量生成手段を備えており、補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えていることを特徴とする。

この発明による第５の手ぶれ補正装置は、画像の揺れを検出する揺れ検出手段、撮影者の意図的なカメラ運動による揺れ状態と手ぶれ状態とを判別する状態判別手段、状態判別手段によって手ぶれ状態であると判別されているときには、揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度を制御するための減衰中心とに基づいて、画像切り出し位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度とが変更可能な補正量を生成する第１の補正量生成手段、ならびに状態判別手段によって撮影者の意図的なカメラ運動による揺れ状態であると判別されているときには、画像切り出し位置を算出するための補正量を、１フレーム前の補正量とする第２の補正量生成手段、状態判別手段によって、撮影者の意図的なカメラ運動による揺れ状態から手ぶれ状態に変化したことが検出されたときに、減衰中心をそのときの補正量に対応する画像切り出し位置に設定する手段を備えており、第１の補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えていることを特徴とする。

この発明による第１の撮像機器は、画像の揺れを検出する揺れ検出手段、ならびに揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、揺れ量の減衰中心とに基づいて、補正位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と揺れ量の減衰中心とが変更可能な補正量を生成する補正量生成手段を備えていることを特徴とする。

この発明による第２の撮像機器は、画像の揺れを検出する揺れ検出手段、ならびに揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、補正位置を補正前の初期位置に移動させるセンタリング速度を制御するための減衰中心とに基づいて、補正位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、補正位置を補正前の初期位置に移動させるセンタリング速度とが変更可能な補正量を生成する補正量生成手段を備えており、補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えていることを特徴とする。

この発明による第３の撮像機器は、画像の揺れを検出する揺れ検出手段、撮影者の意図的なカメラ運動による揺れ状態と手ぶれ状態とを判別する状態判別手段、状態判別手段によって手ぶれ状態であると判別されているときには、揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、補正位置を補正前の初期位置に移動させるセンタリング速度を制御するための減衰中心とに基づいて、補正位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、補正位置を補正前の初期位置に移動させるセンタリング速度とが変更可能な補正量を生成する第１の補正量生成手段、状態判別手段によって撮影者の意図的なカメラ運動による揺れ状態であると判別されているときには、補正位置を算出するための補正量を、１フレーム前の補正量とする第２の補正量生成手段、ならびに状態判別手段によって、撮影者の意図的なカメラ運動による揺れ状態から手ぶれ状態に変化したことが検出されたときに、減衰中心をそのときの補正量に対応する補正位置に設定する手段を備えており、第１の補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えていることを特徴とする。

この発明による第４の撮像機器は、画像の揺れを検出する揺れ検出手段、ならびに揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度を制御するための減衰中心とに基づいて、画像切り出し位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度とが変更可能な補正量を生成する補正量生成手段を備えており、補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えていることを特徴とする。

この発明による第５の撮像機器は、画像の揺れを検出する揺れ検出手段、撮影者の意図的なカメラ運動による揺れ状態と手ぶれ状態とを判別する状態判別手段、状態判別手段によって手ぶれ状態であると判別されているときには、揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度を制御するための減衰中心とに基づいて、画像切り出し位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度とが変更可能な補正量を生成する第１の補正量生成手段、ならびに状態判別手段によって撮影者の意図的なカメラ運動による揺れ状態であると判別されているときには、画像切り出し位置を算出するための補正量を、１フレーム前の補正量とする第２の補正量生成手段、状態判別手段によって、撮影者の意図的なカメラ運動による揺れ状態から手ぶれ状態に変化したことが検出されたときに、減衰中心をそのときの補正量に対応する画像切り出し位置に設定する手段を備えており、第１の補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えていることを特徴とする。

この発明によれば、補正する揺れの周波数特性と画像切り出し位置のセンタリング特性を独立して所望の設定にでき、より良好に手ぶれ補正できるようになる。

以下、図面を参照して、この発明の実施例について説明する。

図１は、ビデオカメラの構成を示している。
ビデオカメラ１０は、レンズ１１から入力される被写体（図示せず）からの光信号を電気信号に変換するＣＣＤのような固体撮像素子１２を含んでいる。固体撮像素子１２からの電気信号はカメラ回路１３に入力される。カメラ回路１３は、周知のように、サンプルホールド回路を含み、固体撮像素子１２からの電気信号をサンプルホールドする。サンプルホールドされた電気信号のレベルがＡＧＣによって調整されるとともに、さらに同期信号付加回路によって同期信号が付加される。このようにして、カメラ回路１３は固体撮像素子１２からのイメージ信号をアナログビデオ信号に変換する。

カメラ回路１３から出力されるアナログビデオ信号は、さらに、Ａ／Ｄ変換器１４によってデジタルビデオ信号に変換される。Ａ／Ｄ変換器１４から出力されるデジタルビデオ信号は動き検出回路（揺れ検出手段）１８に与えられると同時に、メモリ制御回路２１により、フレームメモリ１５に書き込まれる。

図２は、動き検出回路１８の構成を示している。
動き検出回路１８は、たとえば周知の代表点マッチング法を用いて、動きベクトルを検出する。代表点マッチング法の概要について説明する。図３に示すように、各フレームの映像エリア内に、複数の動きベクトル検出領域Ｅ１〜Ｅ４が設定されている。各動きベクトル検出領域Ｅ１〜Ｅ４の大きさは同じである。また、各動きベクトル検出領域Ｅ１〜Ｅ４は、さらに複数の小領域ｅに分割されている。この例では、各動きベクトル検出領域Ｅ１〜Ｅ４は、３０個の小領域ｅに分割されている。各小領域ｅは、たとえば３２画素×１６行で構成される。そして、図４に示すように、各小領域ｅそれぞれに、複数のサンプリング点Ｓと、１つの代表点Ｒとが設定されている。

現フレームにおける小領域ｅ内の各サンプリング点Ｓの映像信号レベル（輝度レベル）と、前フレームにおける対応する小領域ｅの代表点Ｒの映像信号レベル（輝度レベル）との差（各サンプリング点における相関値）が、各動きベクトル検出領域Ｅ１〜Ｅ４毎に求められる。そして、各動きベクトル検出領域Ｅ１〜Ｅ４毎に、動きベクトル検出領域内の全ての小領域ｅ間において、代表点Ｒに対する偏位が同じサンプリング点Ｓどうしの相関値が累積加算される。したがって、各動きベクトル検出領域Ｅ１〜Ｅ４毎に、１つの小領域ｅ内のサンプリング点Ｓの数に応じた数の相関累積値が求められる。

そして、各動きベクトル検出領域Ｅ１〜Ｅ４内において、相関累積値が最小となる点の代表点Ｒに対する偏位、すなわち、相関性が最も高い点の偏位が、当該動きベクトル検出領域Ｅ１〜Ｅ４の動きベクトルとして抽出される。

動き検出回路１８は、Ａ／Ｄ変換器１４からのデジタルビデオ信号を受ける入力端３１を含み、この入力端３１から入力されたデジタルビデオ信号はフィルタ３２を通して代表点メモリ３３および減算回路３４に与えられる。フィルタ３２は、一種のデジタルローパスフィルタであり、Ｓ／Ｎ比を改善し、少ない代表点で十分な検出精度を確保するために用いられる。代表点メモリ３３は、図３に示す各動きベクトル検出領域Ｅ１〜Ｅ４の小領域ｅ毎に、代表点Ｒの位置データと輝度データとを記憶する。

減算回路３４は、各動きベクトル検出領域Ｅ１〜Ｅ４の小領域ｅ毎に、代表点メモリ３３から与えられる前フレームの代表点の輝度データと入力端３１から与えられる現フレームのサンプリング点Ｓの輝度データとを減算し、その絶対値（各サンプリング点における相関値）を算出する。求めた各サンプリング点における相関値を累積加算回路３５に与える。累積加算回路３５は、各動きベクトル検出領域Ｅ１〜Ｅ４毎に、動きベクトル検出領域内の全ての小領域間において、代表点Ｒに対する偏位が同じサンプリング点どうしの相関値を累積加算する。相関累積値は演算回路３６に与えられる。演算回路３６は、各動きベクトル検出領域Ｅ１〜Ｅ４毎に、相関累積値の平均値を求めるとともに、相関累積値が最小となる画素の位置データを求める。このようにして、各動きベクトル検出領域Ｅ１〜Ｅ４毎に得られた相関累積値の平均値、相関累積値の最小値および相関累積値が最小となる画素の位置データが出力端３７からマイクロコンピュータ２０（図１参照）に与えられる。

マイクロコンピュータ２０は、演算回路３６から与えられたデータに基づいて、画面全体の動きベクトル（以下、単に「全体動きベクトル」という）を算出する。まず、各動きベクトル検出領域Ｅ１〜Ｅ４毎に、相関累積値が最小となる画素の位置データに基づいて、相関累積値が最小となる画素の代表点に対する偏位を求め、その偏位を当該動きベクトル検出領域Ｅ１〜Ｅ４の動きベクトル（部分動きベクトル）とする。なお、部分動きベクトルの検出精度をよくするために、相関累積値が最小となる画素の周囲４画素の相関累積値を用いて内挿補間することによって、相関累積値が最小となる画素の位置データを計算するようにしてもよい。

マイクロコンピュータ２０は、相関累積値の平均値を相関累積値の最小値で除算した値が一定の閾値より大きいか否かおよび相関累積値の平均値が所定値以上であるか否かを各動きベクトル検出領域Ｅ１〜Ｅ４毎に判別し、各動きベクトル検出領域Ｅ１〜Ｅ４毎に求められた部分動きベクトルが信頼できるか否か、すなわち各動きベクトル検出領域Ｅ１〜Ｅ４が有効領域か無効領域かを判別する。ある動きベクトル検出領域において、相関累積値の平均値を相関累積値の最小値で除算した値が一定の閾値より大きく、かつ相関累積値の平均値が所定値以上であれば、その動きベクトル検出領域は有効領域とされる。

具体的には、動きベクトル検出領域が有効領域か否かは以下のように判断される。まず、画面のコントラストが低いときには、輝度差が小さいので、相関累積値が小さくなる。たとえば、画面全体が白いときには相関累積値は小さくなる。このような場合には、信頼性がなくなるため、相関累積値の平均値≧所定値のときに有効とされる。なお、所定値は実験により決定される。

また、動きベクトル検出領域内に動く物体があるときには、動く物体の占める部分と占めない部分とで相関累積値が異なり、かつ動く物体の占める部分は様々な相関累積値をとり、その相関累積値は一般的に大きな値となる（相関度は低い）。したがって、動きベクトル検出領域内に動く物体があるときには、相関累積値の最小値が大きくなる可能性が高く、動きベクトル検出領域に対する動きベクトル（部分動きベクトル）を誤検出するおそれがある。部分動きベクトルを誤検出すると、全体動きベクトルを誤検出してしまう。しかし、相関累積値の平均値が大きいときには相関累積値の最小値がある程度大きくても信頼できる。一方、相関累積値の平均値が小さいときには相関累積値の最小値はより少なくなければ信頼できない。したがって、具体的には、（相関累積値の平均値）／（相関累積値の最小値）＞５という条件を満たす動きベクトル検出領域を有効領域と判断し、この条件を満たさない動きベクトル検出領域の部分動きベクトルを用いないようにして、誤検出による弊害を防止する。

このような２つの条件によって、各動きベクトル検出領域が有効領域か否かが判断される。そして、有効領域であると判別された動きベクトル検出領域の部分動きベクトルの平均を求め、それをフレーム間の動き量すなわち全体動きベクトルＶ_n とする。全体動きベクトルＶ_n はフレーム間の動き量とその向きを表す。マイクロコンピュータ２０は、全体動きベクトルＶ_n を用いて積分ベクトルＳ_n を求める。積分ベクトルＳ_n の求め方については、後述する。積分ベクトルＳ_n は、フレームメモリ１５の中心からの表示領域（切出し枠）の中心までの距離と方向とを表す。

手ぶれ補正では、フレームメモリ１５内の表示領域の位置（画像切り出し位置）を変えることで補正が行われる。フレームメモリ１５と切り出し枠１００との関係を図５に示す。フレームメモリ１５内の切り出し枠１００で囲まれた領域が撮像画像として表示される。切り出し枠１００の初期位置は、その中心がフレームメモリ１５の中心に合致した位置に設定されている。そして、検出された動きベクトルに応じて、その位置が移動せしめられる。例えば、ビデオカメラを右に移動したときのフレームメモリ１５と切り出し枠１００との関係を図６に示す。ビデオカメラを右に移動すると、被写体はフレームメモリ内の左側に移動する。ここで、ビデオカメラの動き量分だけ、ビデオカメラの動きと反対方向に切り出し枠１００を移動することにより、表示される画像（構図）の変化はなくなり、手ぶれがキャンセルされる。

図７は、積分ベクトルＳと切り出し枠１００との関係を示している。切り出し枠１００の位置は、フレームメモリ１５の中心Ｏを原点としたＸＹ座標系において、切り出し枠１００の中心の座標Ｏｔで与えられる。現フレームの積分ベクトルをＳとすると、フレームメモリ１５の中心Ｏから、積分ベクトルＳで示される方向に、積分ベクトルＳで示される距離だけ移動した点が、切り出し枠１００の中心Ｏｔとなる。

ここで、手ぶれ補正の範囲は、図８に示すように、切り出し枠１００が、フレームメモリ１５の端に位置するまでの範囲となる。すなわち、積分ベクトルＳの水平成分Ｓｈ、垂直成分Ｓｖの範囲はそれぞれ、図８のＳｈ−ｍｉｎ〜Ｓｈ−ｍａｘ、Ｓｖ−ｍｉｎ〜Ｓｖ−ｍａｘとなる。

図９に示すように、ビデオカメラが大きく動き、積分ベクトルＳの水平成分Ｓｈが補正範囲の限界値を越えた場合は、水平成分ＳｈがＳｈ−ｍｉｎより小さければ水平成分ＳｈをＳｈ−ｍｉｎ（限界値）とし、水平成分ＳｈがＳｈ−ｍａｘより大きければ水平成分ＳｈをＳｈ−ｍａｘ（限界値）とする。積分ベクトルＳの垂直成分Ｓｖが補正範囲の限界値を越えた場合にも同様に、垂直成分ＳｖがＳｖ−ｍｉｎより小さければ垂直成分ＳｖをＳｖ−ｍｉｎ（限界値）とし、垂直成分ＳｖがＳｖ−ｍａｘより大きければ垂直成分ＳｖをＳｖ−ｍａｘ（限界値）とする。

積分ベクトルＳ_n の算出方法は、「手ぶれ状態」であるか、「パンまたはチルト状態」であるかによって異なる。これらの状態は、マイクロコンピュータ２０によって判別される。「手ぶれ状態」であるか、「パンまたはチルト状態」であるかを示すデータは、マイクロコンピュータ２０のメモリ（図示せず）に格納される。

「手ぶれ状態」では、マイクロコンピュータ２０は、焦点距離検出回路１９から取得した３５ｍｍフィルム換算のレンズ焦点距離Ｆと、予め設定されている焦点距離の最小値Ｆ_min および最大値Ｆ_max と、予め設定されている積分ベクトルの減衰係数の最小値Ｋ_min および最大値Ｋ_max とを用いて、次式（２）に従って、積分ベクトルの減衰係数Ｋを求める。

そして、次式（３）に基づいて、現フレームの積分ベクトルＳ_n を計算する。

Ｓ_n ＝Ｋ・（Ｓ_n-1 −Ｃ）＋Ｖ_n ＋Ｃ …（３）

上記式（３）において、Ｋは、上記式（２）に基づいて算出された積分ベクトルの減衰係数である。Ｖ_n は、前フレームと現フレームとの間の全体動きベクトルＶ_n である。Ｓ_n-1 は、前フレームの積分ベクトルである。Ｃは、減衰中心である。減衰中心Ｃの初期値は０であり、上記式（３）によって積分ベクトルＳ_n が算出される毎に、次式（４）に基づいて更新される。

Ｃ＝Ｋ_c ・Ｃ …（４）

上記式（４）において、Ｋ_c は、予め設定された減衰中心の減衰係数である。

「パンまたはチルト状態」では、次式（５）で示すように、マイクロコンピュータ２０は、マイクロコンピュータ２０のメモリ上に記憶された１つ前のフレームの積分ベクトルＳ_n-1 を現フレームの積分ベクトルＳ_n とする。つまり、手ぶれ補正を行わないことを意味する。

Ｓ_n ＝Ｓ_n-1 …（５）

「手ぶれ状態」から「パンまたはチルト状態」への遷移は、以下のいずれかの遷移条件（ａ），（ｂ），（ｃ）を満たした場合に行われる。

（ａ）「手ぶれ状態」から「パンまたはチルト状態」への第１の遷移条件：全体動きベクトルＶ_n の方向が同じ方向であるフレームが連続しておりかつその連続回数（連続フレーム数）が３０以上であること
具体的には、全体動きベクトルＶ_n の垂直成分の方向（上または下）が同じ方向であるフレームが連続しておりかつその連続回数が３０以上であることまたは全体動きベクトルＶ_n の水平成分の方向（左または右）が同じ方向であるフレームが連続しておりかつその連続回数が３０以上であること

（ｂ）「手ぶれ状態」から「パンまたはチルト状態」への第２の遷移条件：積分ベクトルＳ_n が補正範囲の限界値以上であるフレームが連続しており、その連続回数（連続フレーム数）が１０以上であること
具体的には、積分ベクトルＳ_n の垂直成分が補正範囲の限界値以上あるフレームが連続しておりかつその連続回数が１０以上であることまたは積分ベクトルＳ_n の水平成分が補正範囲の限界値以上あるフレームが連続しておりかつその連続回数が１０以上であること なお、上述したように、積分ベクトルＳ_n の垂直成分Ｓｖが補正範囲の限界値を越えた場合には、垂直成分ＳｖがＳｖ−ｍｉｎより小さければ垂直成分ＳｖがＳｖ−ｍｉｎ（限界値）とされ、垂直成分ＳｖがＳｖ−ｍａｘ（限界値）より大きければ垂直成分ＳｖがＳｖ−ｍａｘとされる。また、積分ベクトルＳ_n の水平成分Ｓｈが補正範囲の限界値を越えた場合は、水平成分ＳｈがＳｈ−ｍｉｎより小さければ水平成分ＳｈがＳｈ−ｍｉｎ（限界値）とされ、水平成分ＳｈがＳｈ−ｍａｘより大きければ水平成分ＳｈをＳｈ−ｍａｘ（限界値）とされる。

（ｃ）「手ぶれ状態」から「パンまたはチルト状態」への第３の遷移条件：全体動きベクトルＶ_n の方向が同じ方向であるフレームが連続しておりかつその同一方向に連続する全体動きベクトルＶ_n の積分値が画角（切り出し枠の画像サイズ）の２０％以上であること
具体的には、全体動きベクトルＶ_n の垂直成分の方向（上または下）が同じ方向であるフレームが連続しておりかつその同一方向に連続する全体動きベクトルＶ_n の垂直成分の積分値が切り出し枠の上下幅の２０％以上であるか、または全体動きベクトルＶ_n の水平成分の方向（左または右）が同じ方向であるフレームが連続しておりかつその同一方向に連続する全体動きベクトルＶ_n の水平成分の積分値が切り出し枠の左右幅の２０％以上であること

「パンまたはチルト状態」から「手ぶれ状態」への遷移は、以下のいずれかの遷移条件（ａ），（ｂ）を満たした場合に行われる。

（ａ）「パンまたはチルト状態」から「手ぶれ状態」への第１の遷移条件：全体動きベクトルＶ_n が０．５画素以下であるフレームが連続しておりかつその連続回数（連続フレーム数）が１０以上であること
具体的には、全体動きベクトルＶ_n の垂直成分が０．５画素以下であるフレームが連続しておりかつその連続回数が１０以上であることまたは全体動きベクトルＶ_n の水平成分が０．５画素以下であるフレームが連続しておりかつその連続回数が１０以上であること

（ｂ）「パンまたはチルト状態」から「手ぶれ状態」への第２の遷移条件：全体動きベクトルＶ_n の方向が、「手ぶれ状態」から「パンまたはチルト状態」に遷移したときの全体動きベクトルＶ_n の方向と反対方向であるフレームが連続しておりかつその連続回数が１０以上であること
具体的には、全体動きベクトルＶ_n の垂直成分の方向が、「手ぶれ状態」から「パンまたはチルト状態」に遷移したときの全体動きベクトルＶ_n の垂直成分の方向と反対方向であるフレームが連続しておりかつその連続回数が１０以上であることまたは全体動きベクトルＶ_n の水平成分の方向が、「手ぶれ状態」から「パンまたはチルト状態」に遷移したときの全体動きベクトルＶ_n の水平成分の方向と反対方向であるフレームが連続しておりかつその連続回数が１０以上であること

「パンまたはチルト状態」から「手ぶれ状態」に状態が遷移したときに、マイクロコンピュータ２０は、そのときの積分ベクトルＳ_n を減衰中心Ｃに設定する。つまり、マイクロコンピュータ２０のメモリ上の減衰中心Ｃを、そのときの積分ベクトルＳ_n と同じデータに更新する。

この実施例では、焦点距離の３８〜２８０ｍｍに対して、積分ベクトルの減衰係数Ｋが０．９〜０．９５となるようにした。また、減衰中心の減衰係数Ｋ_c を０．９８に設定した。積分ベクトルの減衰係数Ｋを制御することによって、補正する手ぶれの周波数の特性を変化させることができる。また、従来では、センタリング速度が早く構図の変化が大きかったパンまたはチルト操作後は、減衰中心Ｃがパンまたはチルト操作終了直後の積分ベクトルＳ_n に設定されるため、積分ベクトルの減衰係数Ｋによる急激なセンタリングが働かなくなる。その代わりに、減衰中心の減衰係数Ｋ_c （＝０．９８）によって緩やかなセンタリングが行われ、撮影者に気づかれることなく、補正範囲が確保されるようになる。

このようにして求められた積分ベクトルＳ_n はメモリ制御回路２１に与えられる。メモリ制御回路２１では、与えられた積分ベクトルＳ_n に基づいてフレームメモリ１５の読み出し開始アドレスを決定し、そのアドレスからフレームメモリ１５に蓄えられたデジタルビデオ信号を読み出す。すなわち、メモリ制御回路２１は、マイクロコンピュータ２０によって算出された積分ベクトルＳ_n に基づいて、フレームメモリ１５内の切り出し枠１００を移動させる。

メモリ制御回路２１によってフレームメモリ１５から読み出されたデジタルビデオ信号は、電子ズーム回路１６に送られる。電子ズーム回路１６は、フレームメモリ１５の大きさに相当するビデオ信号を得るために、フレームメモリ１５から読み出されたデジタルビデオ信号に基づいて内挿補間法を用いて画像を拡大する。電子ズーム回路１６から出力されるデジタルビデオ信号は、出力端子１７に送られる。

図１０は、１フレーム毎に行われるビデオカメラ１０の動作を示している。
Ｆｌａｇは、「手ぶれ状態」であるか「パンまたはチルト状態」であるを記憶するフラグとして用いられる。Ｆｌａｇがリセット（Ｆｌａｇ＝０）されている場合には状態が「手ぶれ状態」であることを示し、Ｆｌａｇがセット（Ｆｌａｇ＝１）されている場合には状態が「パンまたはチルト状態」であることを示す。

まず、Ｆｌａｇをリセット（Ｆｌａｇ＝０）する（ステップＳ１）。つまり、初期の状態として、「手ぶれ状態」が設定される。

各動きベクトル検出領域Ｅ１〜Ｅ４毎に、相関累積値が最小となる画素の位置データに基づいて、部分動きベクトルを求める（ステップＳ２）。

次に、各動きベクトル検出領域Ｅ１〜Ｅ４毎の相関累積値の平均値および相関累積値の最小値に基づいて、各動きベクトル検出領域Ｅ１〜Ｅ４が有効領域である無効領域であるかを判別する（ステップＳ３）。そして、有効領域が存在するか否かを判別する（ステップＳ４）。

有効領域が存在する場合には、有効領域の部分動きベクトルの平均を全体動きベクトルＶ_n とする（ステップＳ５）。そして、ステップＳ７に進む。有効領域が存在しない場合には、全体動きベクトルＶ_n を０に設定する（ステップＳ６）。そして、ステップＳ７に進む。ステップＳ７では、Ｆｌａｇ＝０であるか否かを判別する。つまり、「手ぶれ状態」であるか「パンまたはチルト状態」であるか否かを判別する。

Ｆｌａｇ＝０である場合、つまり、現在の状態が「手ぶれ状態」である場合には、焦点距離検出回路１９から３５ｍｍフィルム換算の焦点距離を取得し、上記式（２）に基づいて、減衰係数Ｋを算出する（ステップＳ８）。算出されたＫを用いて、上記式（３）に基づいて、積分ベクトルＳ_n を算出する（ステップＳ９）。この後、減衰中心Ｃを上記式（４）に基づいて更新する（ステップＳ１０）。そして、第１の状態判定処理を行った後（ステップＳ１１）、ステップＳ１４に進む。第１の状態判定処理については、後述する。

上記ステップＳ７において、Ｆｌａｇ＝１である場合、つまり、現在の状態が「パンまたはチルト状態」である場合には、上記式（５）に基づいて、積分ベクトルＳ_n を算出する（ステップＳ１２）。そして、第２の状態判定処理を行った後（ステップＳ１３）、ステップＳ１４に進む。第２の状態判定処理については、後述する。

ステップＳ１４では、上記ステップＳ９またはＳ１２で算出された積分ベクトルＳ_n に基づいて、切り出し枠の位置を算出する。そして、今回の処理を終了する。

図１１は、図１０のステップＳ１１の第１の状態判定処理の手順を示している。

まず、「手ぶれ状態」から「パンまたはチルト状態」への第１の遷移条件を満たしているか否かを判別する（ステップＳ２１）。つまり、全体動きベクトルＶ_n の方向が同じ方向であるフレームが連続しておりかつその連続回数（連続フレーム数）が３０以上であることという条件を満たしているか否かを判別する。上記第１の遷移条件を満たしている場合には、「パンまたはチルト状態」であると判定し、つまり、「手ぶれ状態」から「パンまたはチルト状態」に遷移したと判定し、Ｆｌａｇをセット（Ｆｌａｇ＝１）する（ステップＳ２５）。そして、図１０のステップＳ１４に移行する。

上記第１の遷移条件を満たしていない場合には、「手ぶれ状態」から「パンまたはチルト状態」への第２の遷移条件を満たしているか否かを判別する（ステップＳ２２）。つまり、積分ベクトルＳ_n が補正範囲の限界値以上であるフレームが連続しており、その連続回数（連続フレーム数）が１０以上であることという条件を満たしているか否かを判別する。上記第２の遷移条件を満たしている場合には、「パンまたはチルト状態」であると判定し、つまり、「手ぶれ状態」から「パンまたはチルト状態」に遷移したと判定し、Ｆｌａｇをセット（Ｆｌａｇ＝１）する（ステップＳ２５）。そして、図１０のステップＳ１４に移行する。

上記第２の遷移条件を満たしていない場合には、「手ぶれ状態」から「パンまたはチルト状態」への第３の遷移条件を満たしているか否かを判別する（ステップＳ２３）。つまり、全体動きベクトルＶ_n の方向が同じ方向であるフレームが連続しておりかつその同一方向に連続する全体動きベクトルＶ_n の積分値が画角（切り出し枠の画像サイズ）の２０％以上であることという条件を満たしているか否かを判別する。上記第３の遷移条件を満たしている場合には、「パンまたはチルト状態」であると判定し、つまり、「手ぶれ状態」から「パンまたはチルト状態」に遷移したと判定し、Ｆｌａｇをセット（Ｆｌａｇ＝１）する（ステップＳ２５）。そして、図１０のステップＳ１４に移行する。

上記第３の遷移条件を満たしていない場合には、「手ぶれ状態」であると判定し、Ｆｌａｇをリセット（Ｆｌａｇ＝０）する（ステップＳ２４）。そして、図１０のステップＳ１４に移行する。

図１２は、図１０のステップＳ１２の第２の状態判定処理の手順を示している。

まず、「パンまたはチルト状態」から「手ぶれ状態」への第１の遷移条件を満たしているか否かを判別する（ステップＳ３１）。つまり、全体動きベクトルＶ_n が０．５画素以下であるフレームが連続しておりかつその連続回数（連続フレーム数）が１０以上であることという条件を満たしているか否かを判別する。上記第１の条件を満たしている場合には、「手ぶれ状態」であると判定し、つまり、「パンまたはチルト状態」から「手ぶれ状態」に遷移したと判定し、減衰中心Ｃを現フレームの積分ベクトルＳ_n に設定した後（ステップ（ステップＳ３４）、Ｆｌａｇをリセット（Ｆｌａｇ＝０）する（ステップＳ３５）。そして、図１０のステップＳ１４に移行する。

上記第１の遷移条件を満たしていない場合には、「パンまたはチルト状態」から「手ぶれ状態」への第２の遷移条件を満たしているか否かを判別する（ステップＳ３２）。つまり、全体動きベクトルＶ_n の方向が、「手ぶれ状態」から「パンまたはチルト状態」に遷移したときの全体動きベクトルＶ_n の方向と反対方向であるフレームが連続しておりかつその連続回数が１０以上であることという条件を満たしているか否かを判別する。上記第２の遷移条件を満たしている場合には、「手ぶれ状態」であると判定し、つまり、「パンまたはチルト状態」から「手ぶれ状態」に遷移したと判定し、減衰中心Ｃを現フレームの積分ベクトルＳ_n に設定した後（ステップＳ３４）、Ｆｌａｇをリセット（Ｆｌａｇ＝０）する（ステップＳ３５）。そして、図１０のステップＳ１４に移行する。

上記第２の遷移条件を満たしていない場合には、「パンまたはチルト状態」であると判定し、Ｆｌａｇをセット（Ｆｌａｇ＝１）する（ステップＳ３３）。そして、図１０のステップＳ１４に移行する。

このように動作するビデオカメラ１０では、従来においてパンまたはチルト操作時にスティック感が顕著となる光学ワイド側（ズーム倍率小）では、積分ベクトルの減衰係数Ｋが小さくなる。このため、光学ワイド側では、低周波数帯の揺れの補正の度合いが弱まるので、たとえ、パン・チルト状態の検出に失敗した場合でも、パン・チルト操作開始時のビデオカメラの動きの幾分かは補正されずに残り、スティック感は軽減される。

従って、従来に比べて、光学ワイド側での操作性が向上し（カクカクした動きが低減され）、全ズーム領域で良好な操作性をもつ手ぶれ補正が可能となる。

また、「パンまたはチルト状態」から「手ぶれ状態」に状態が遷移したときには、減衰中心Ｃが現在の画像切り出し位置に移動し、その後、「手ぶれ状態」において減衰中心Ｃがフレームメモリ１５の中心に徐々にセンタリングされていく。したがって、従来のようにパンまたはチルト終了後に画像切り出し位置が急激にセンタリングされ、画像が見づらくなるといったことを解消できる。また、「パンまたはチルト状態」においては、手ぶれ補正が行われないため、パンまたはチルト時の操作性への悪影響はない。

この点について詳しく説明する。図１３は、上記式（１）に基づいて積分ベクトルＳ_n を算出する従来手法において、「パンまたはチルト状態」から「手ぶれ状態」に遷移してから２フレーム経過するまでの積分ベクトルＳ０〜Ｓ２の変化を示している。

図１３（ａ）に示すように、「パンまたはチルト状態」から「手ぶれ状態」に遷移したときの積分ベクトルをＳ０、次フレームの動きベクトルをＶ１、その次フレームの動きベクトルをＶ２とすると、１フレーム後の積分ベクトルＳ１は、図１３（ｂ）に示すように、Ｓ１＝Ｋ・Ｓ０＋Ｖ１となる。同様に、２フレーム後の積分ベクトルＳ２は、図１３（ｃ）に示すように、Ｓ２＝Ｋ・Ｓ１＋Ｖ２となる。

図１４は、本発明手法において、「パンまたはチルト状態」から「手ぶれ状態」に遷移してから３フレーム経過するまでの積分ベクトルＳ０〜Ｓ３の変化を示している。

図１４（ａ）に示すように、「パンまたはチルト状態」から「手ぶれ状態」に遷移したときの積分ベクトルをＳ０、減衰中心ＣをＣ０、次フレームの動きベクトルをＶ１、その次フレームの動きベクトルをＶ２、その次フレームの動きベクトルをＶ３とすると、１フレーム後の積分ベクトルＳ１は、図１４（ｂ）に示すように、Ｃ０＝Ｓ０なので、Ｓ１＝Ｋ・（Ｓ０−Ｓ０）＋Ｖ１＋Ｓ０＝Ｖ１＋Ｓ０となる。

次に、２フレーム後の積分ベクトルＳ２は、図１４（ｃ）に示すように、Ｓ２＝Ｋ・（Ｓ１−Ｃ１）＋Ｖ２＋Ｃ１となる。ここで、Ｃ１はＣ１＝Ｋｃ・Ｃ０で求めた新たな減衰中心である。同様に、３フレーム後の積分ベクトルＳ３は、図１４（ｄ）に示すように、Ｓ３＝Ｋ・（Ｓ２−Ｃ２）＋Ｖ３＋Ｃ２となる。ここで、Ｃ２はＣ２＝Ｋｃ・Ｃ１で求めた新たな減衰中心である。

従来手法では、図１３に示すように、点Ｏを中心に積分ベクトルＳ_n が減衰係数Ｋで減衰されることになる。一方、本発明手法では、図１４に示すように、点Ｃ_n を中心に点Ｃ_n からの積分ベクトル（Ｓ_n −Ｃ_n ）が減衰係数Ｋで減衰されることになる。これは、従来手法では、開始フレームを基準に減衰係数Ｋで手ぶれ補正するのに対して、本発明手法では、パンまたはチルト状態終了時のフレームを基準に減衰係数Ｋで手ぶれ補正することを意味する。

従って、従来手法では、積分ベクトルの減衰係数Ｋを小さくすればするほど、Ｓ_n が直接減衰され、その変化量ΔＳ_n は大きくなり、構図の変化が目立つが、本発明手法では、積分ベクトルの減衰係数Ｋを小さくしても、Ｓ_n −Ｃ_n の減衰速度、つまりＳ_n がＣ_n に近づく速度が速くなるだけであり、Ｓ_n の変化速度ΔＳ_n は、基本的にＣ_n の変化量に依存する、つまり、Ｓ_n の変化速度ΔＳ_n は、減衰中心の減衰係数Ｋｃに大きく依存し、積分ベクトルの減衰係数Ｋにはほとんど依存しない。従って、本発明手法では、手ぶれの揺れの周波数特性とは独立して、Ｓ_n の変化速度、すなわち、切出し枠（画像切り出し位置）のセンタリング速度を所望の値に調節可能となる。

図１５は、ビデオカメラを左方向にパンした後、ビデオカメラを固定した際の切出し枠と構図の変化を示している。

従来手法では、パン操作の初期では、「手ぶれ状態」であると判定されているので、図１５（ａ）〜図１５（ｂ）に示すように、カメラの動きに応じて、切出し枠１００が移動する。このとき、手ぶれ補正は、Ｓ_n ＝Ｋ・Ｓ_n-1 ＋Ｖ_n に基づいて行われるので構図はほとんど変化しない。

そして、図１５（ｂ）に示すように、切出し枠１００がフレームメモリ端に達すると、図１５（ｃ）に示すように、その後のフレームにおいても切出し枠１００はフレームメモリ端で固定される。切出し枠１００がフレームメモリ端で固定されると、実質的に、手ぶれ補正が行われなくなるので、カメラの移動量だけ構図は変化する。この状態が１０回連続すると、「手ぶれ状態」から「パンまたはチルト状態」に遷移したと判定され、切出し枠１００は固定された状態となる（Ｓ_n ＝Ｓ_n-1 ）。この場合、図１５（ｄ）に示すように、カメラの移動量だけ構図は変化する。

この後、カメラが固定されると、構図の変化はなくなり、「パンまたはチルト状態」から「手ぶれ状態」に遷移したと判定される。Ｖ_n ＝０なので、図１５（ｅ）〜図１５（ｆ）に示すように、Ｓ_n ＝Ｋ・Ｓ_n-1 で切出し枠１００が移動せしめられる。積分ベクトルの減衰係数Ｋを０．９とし、「パンまたはチルト状態」から「手ぶれ状態」への遷移時のＳ_n を６４画素とすると、その移動速度ΔＳ_n は、６．４画素／フレームとなる。

上記「パンまたはチルト状態」から「手ぶれ状態」への遷移時点からの経過時間（フレーム数）と切出し枠（構図）の位置との関係を図１６に示す。例えば、「パンまたはチルト状態」から「手ぶれ状態」に遷移した後、１秒間（３０フレーム）の構図変化量は５８画素となり、カメラが止まっているのに構図が大きく変化するため、不自然な映像になる。

一方、本発明手法では、パン操作の初期では、「手ぶれ状態」であると判定されているので、図１５（ａ）〜図１５（ｂ）に示すように、カメラの動きに応じて、切出し枠１００が移動する。このとき、減衰中心Ｃの初期値は０なので、手ぶれ補正が従来通り、Ｓ_n ＝Ｋ・Ｓ_n-1 ＋Ｖ_n に基づいて行われるため、構図はほとんど変化しない。

そして、図１５（ｂ）に示すように、切出し枠１００がフレームメモリ端に達すると、図１５（ｃ）に示すように、その後のフレームにおいても切出し枠１００はフレームメモリ端で固定される。切出し枠１００がフレームメモリ端で固定されると、実質的に、手ぶれ補正が行われなくなるので、カメラの移動量だけ構図は変化する。この状態が１０回連続すると、「手ぶれ状態」から「パンまたはチルト状態」に遷移したと判定され、切出し枠１００は固定された状態となる（Ｓ_n ＝Ｓ_n-1 ）。この場合、図１５（ｄ）に示すように、カメラの移動量だけ構図は変化する。

その後、カメラが固定されると、構図の変化はなくなり、「パンまたはチルト状態」から「手ぶれ状態」に遷移したと判定される。Ｖ_n ＝０なので、図１５（ｅ’）〜図１５（ｆ’）に示すように、Ｓ_n ＝Ｋ・（Ｓ_n-1 − Ｃ）＋Ｃ（ただし、Ｃ＝Ｋｃ・Ｃによって更新される）に基づいて、切出し枠１００が移動する。積分ベクトルの減衰係数Ｋを０．９とし、減衰中心の減衰係数Ｋｃを０．９８とし、「パンまたはチルト状態」から「手ぶれ状態」への遷移時のＳ_n （＝Ｃ）を６４画素とすると、その移動速度は、ΔＳ_n ＝ΔＣ＝１．２８画素／フレームとなる。

上記「パンまたはチルト状態」から「手ぶれ状態」への遷移時点からの経過時間（フレム数）と切出し枠（構図）の位置との関係を図１７に示す。例えば、「パンまたはチルト状態」から「手ぶれ状態」に遷移した後、１秒間（３０フレーム）の構図変化量は２０画素となり、カメラが固定された後、構図が徐々に変化するため、従来手法と比べて違和感のない映像となる。

図１８は、ビデオカメラ１０の実際の状態が、手ぶれ状態→パン状態→固定状態といように変化した場合の、フレーム数とビデオカメラ１０の表示画像（構図）の移動量との関係を示している。

図１８（ａ）は手ぶれ補正を行わない場合の構図の移動量を示し、図１８（ｂ）は上記式（１）に基づいて積分ベクトルＳ_n を算出する従来技術において、減衰係数Ｋを０．９として手ぶれ補正を行った場合（第１従来技術という）の構図の移動量を示し、図１８（ｃ）は上記式（１）に基づいて積分ベクトルＳ_n を算出する従来技術において、減衰係数Ｋを０．９８として手ぶれ補正を行った場合（第２従来技術という）の構図の移動量を示し、図１８（ｄ）は本実施例により手ぶれ補正を行った場合（便宜上、積分ベクトルの減衰係数Ｋを０．９とし、減衰中心の減衰係数Ｋｃを０．９８とした場合）の構図の移動量を示す。

期間Ｔ１に示すように実際の状態が手ぶれ状態である場合には、ビデオカメラ１０においても「手ぶれ状態」であると判定され、従来技術（図１８（ｂ），図１８（ｃ））および本実施例においても手ぶれ補正が行われる。

そして、期間Ｔ２に示すように、実際の状態が手ぶれ状態からパン状態に変化すると、変化後においても初めは「手ぶれ状態」と判定されているため、手ぶれ補正が行われているが、その後、「手ぶれ状態」から「パンまたはチルト状態」への第１の遷移条件、第２の遷移条件または第３の遷移条件のいずれかの条件が満たされ、ビデオカメラ１０による判定結果が「手ぶれ状態」から「パンまたはチルト状態」に遷移する。その結果、手ぶれ補正が行われなくなり、補正後の構図の動きは、手ぶれ補正を行わない場合と等しくなる。

実際の状態が手ぶれ状態からパン状態に変化した後から、ビデオカメラ１０による判定結果が「手ぶれ状態」から「パンまたはチルト状態」に遷移するまでの間において、第２従来技術（図１８（ｃ））では減衰係数Ｋが大きく、低周波成分の揺れまで強く補正するため、画面が意図した方向に動かない現象（スティック現象）が顕著に現れる。一方、第１従来技術（図１８（ｂ））および本実施例（図１８（ｄ））では、減衰係数Ｋが小さく、低周波成分の揺れに対する補正の度合いが弱いため、スティック現象が軽減される。

そして、期間Ｔ３に示すように、実際の状態がパン状態から固定状態に変化すると、「パンまたはチルト状態」から「手ぶれ状態」への第１の遷移条件または第２の遷移条件のいずれかの条件が満たされ、ビデオカメラ１０による判定結果が「パンまたはチルト状態」から「手ぶれ状態」に遷移する。

「パンまたはチルト状態」から「手ぶれ状態」に遷移すると、従来技術では積分ベクトルの減衰係数Ｋによって画像切り出し位置がセンタリングされていき、本実施例では、主として減衰中心Ｃの減衰係数Ｋｃによって画像切り出し位置がセンタリングされていく。第１従来技術（図１８（ｂ））では積分ベクトルの減衰係数Ｋが小さいため、画像切り出し位置のセンタリング速度が速く、構図が急激に変化する。一方、第２従来技術（図１８（ｃ））では積分ベクトルの減衰係数Ｋが大きく、本実施例（図１８（ｄ））では減衰中心Ｃの減衰係数Ｋｃが大きいため、画像切り出し位置のセンタリング速度が遅く、構図が緩やかに変化する。

つまり、従来技術では、１つの減衰係数Ｋが補正する揺れの周波数特性とセンタリング速度を兼ねていたため、パン開始時のスティック感とパン終了後のセンタリングの顕著さを共に低減することができなかったが、本実施例のビデオカメラ１０では、補正する揺れの周波数特性とセンタリング速度を独立した減衰係数で調整できるため、パン開始時のスティック感とパン終了後のセンタリングの顕著さを共に低減することができる。

なお、動きベクトルは、代表点マッチング法を用いて求める以外に、たとえば角速度センサを用いて求めてもよい。また、手ぶれ補正は画像メモリの切り出し位置を制御する以外に、例えば、レンズ角度、レンズ位置または受光素子の位置を制御してもよい。

また、上記実施例では、積分ベクトルの減衰係数Ｋをズーム倍率（焦点距離Ｆ）に応じて変化させているが、積分ベクトルの減衰係数Ｋを固定するようにしてもよい。
また、上記実施例では、図１０のステップＳ９において積分ベクトルＳｎを上記式（３）に基づいて算出した後、図１０のステップＳ１０において減衰中心Ｃを上記式（４）に基づいて更新しているが、減衰中心Ｃを更新しないようにしてもよい。つまり、図１０のステップＳ１０を省略してもよい。この場合には、減衰中心Ｃの初期値は０であるが、図１２のステップＳ３４に示すように、「パンまたはチルト状態」から「手ぶれ状態」に遷移したときには、Ｃ＝Ｓｎに設定される。図１０のステップＳ１０を省略した場合には、画像切り出し位置は減衰中心Ｃに向かって収束していく。

ビデオカメラの電気的構成を示すブロック図である。 動き検出回路の電気的構成を示すブロック図である。 映像エリア内に設定される複数の動きベクトル検出領域を示す模式図である。 図３の各動きベクトル検出領域内の小領域内に設定された複数のサンプリング点と、１つの代表点とを示す模式図である。 フレームメモリと切り出し枠との関係を示す模式図である。 ビデオカメラを右方向に移動したときのフレームメモリと切り出し枠との関係を示す模式図である。 積分ベクトルと切り出し枠との関係を示す模式図である。 手ぶれ補正範囲を説明するための模式図である。 手ぶれ補正範囲を越えた場合の処理を説明するための模式図である。 １フレーム毎に行われるビデオカメラ１０の動作を示すフローチャートである。 図１０のステップＳ１１の第１の状態判定処理の手順を示すフローチャートである。 図１０のステップＳ１３の第２の状態判定処理の手順を示すフローチャートである。 従来手法において、「パンまたはチルト状態」から「手ぶれ状態」に遷移してから２フレーム経過するまでの積分ベクトルＳ０〜Ｓ２の変化を示す模式図である。 本発明手法において、「パンまたはチルト状態」から「手ぶれ状態」に遷移してから３フレーム経過するまでの積分ベクトルＳ０〜Ｓ３の変化を示す模式図である。 ビデオカメラを左方向にパンした後、ビデオカメラを固定した際の切出し枠と構図の変化を示す模式図である。 従来手法を用いた場合の、図１５の「パンまたはチルト状態」から「手ぶれ状態」への遷移時点からの経過時間（フレーム数）と切出し枠（構図）の位置との関係を示すグラフである。 本発明手法を用いた場合の、図１５の「パンまたはチルト状態」から「手ぶれ状態」への遷移時点からの経過時間（フレーム数）と切出し枠（構図）の位置との関係を示すグラフである。 ビデオカメラ１０の実際の状態が、手ぶれ状態→パン状態→固定状態といように変化した場合の、フレーム数とビデオカメラ１０の表示画像（構図）の移動量との関係を示すグラフである。 減衰係数Ｋによる揺れ周波数と補正残り率の関係を示すグラフである。

符号の説明

１０ ビデオカメラ
１１ レンズ
１２ 固体撮像素子
１３ カメラ回路
１４ Ａ／Ｄ変換器
１５ フレームメモリ
１６ 電子ズーム回路
１８ 動き検出回路
１９ 焦点距離検出回路
２０ マイクロコンピュータ
２１ メモリ制御回路

Claims (10)

1. 画像の揺れを検出する揺れ検出手段、ならびに
   揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、揺れ量の減衰中心とに基づいて、補正位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と揺れ量の減衰中心とが変更可能な補正量を生成する補正量生成手段、
   を備えていることを特徴とする手ぶれ補正装置。
2. 画像の揺れを検出する揺れ検出手段、ならびに
   揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、補正位置を補正前の初期位置に移動させるセンタリング速度を制御するための減衰中心とに基づいて、補正位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、補正位置を補正前の初期位置に移動させるセンタリング速度とが変更可能な補正量を生成する補正量生成手段を備えており、
   補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えていることを特徴とする手ぶれ補正装置。
3. 画像の揺れを検出する揺れ検出手段、
   撮影者の意図的なカメラ運動による揺れ状態と手ぶれ状態とを判別する状態判別手段、 状態判別手段によって手ぶれ状態であると判別されているときには、揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、補正位置を補正前の初期位置に移動させるセンタリング速度を制御するための減衰中心とに基づいて、補正位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、補正位置を補正前の初期位置に移動させるセンタリング速度とが変更可能な補正量を生成する第１の補正量生成手段、
   状態判別手段によって撮影者の意図的なカメラ運動による揺れ状態であると判別されているときには、補正位置を算出するための補正量を、１フレーム前の補正量とする第２の補正量生成手段、ならびに
   状態判別手段によって、撮影者の意図的なカメラ運動による揺れ状態から手ぶれ状態に変化したことが検出されたときに、減衰中心をそのときの補正量に対応する補正位置に設定する手段を備えており、
   第１の補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えていることを特徴とする手ぶれ補正装置。
4. 画像の揺れを検出する揺れ検出手段、ならびに
   揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度を制御するための減衰中心とに基づいて、画像切り出し位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度とが変更可能な補正量を生成する補正量生成手段を備えており、
   補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えていることを特徴とする手ぶれ補正装置。
5. 画像の揺れを検出する揺れ検出手段、
   撮影者の意図的なカメラ運動による揺れ状態と手ぶれ状態とを判別する状態判別手段、 状態判別手段によって手ぶれ状態であると判別されているときには、揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度を制御するための減衰中心とに基づいて、画像切り出し位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度とが変更可能な補正量を生成する第１の補正量生成手段、
   状態判別手段によって撮影者の意図的なカメラ運動による揺れ状態であると判別されているときには、画像切り出し位置を算出するための補正量を、１フレーム前の補正量とする第２の補正量生成手段、ならびに
   状態判別手段によって、撮影者の意図的なカメラ運動による揺れ状態から手ぶれ状態に変化したことが検出されたときに、減衰中心をそのときの補正量に対応する画像切り出し位置に設定する手段を備えており、
   第１の補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えていることを特徴とする手ぶれ補正装置。
6. 画像の揺れを検出する揺れ検出手段、ならびに
   揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、揺れ量の減衰中心とに基づいて、補正位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と揺れ量の減衰中心とが変更可能な補正量を生成する補正量生成手段、
   を備えていることを特徴とする撮像機器。
7. 画像の揺れを検出する揺れ検出手段、ならびに
   揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、補正位置を補正前の初期位置に移動させるセンタリング速度を制御するための減衰中心とに基づいて、補正位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、補正位置を補正前の初期位置に移動させるセンタリング速度とが変更可能な補正量を生成する補正量生成手段を備えており、
   補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えていることを特徴とする撮像機器。
8. 画像の揺れを検出する揺れ検出手段、
   撮影者の意図的なカメラ運動による揺れ状態と手ぶれ状態とを判別する状態判別手段、 状態判別手段によって手ぶれ状態であると判別されているときには、揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、補正位置を補正前の初期位置に移動させるセンタリング速度を制御するための減衰中心とに基づいて、補正位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、補正位置を補正前の初期位置に移動させるセンタリング速度とが変更可能な補正量を生成する第１の補正量生成手段、
   状態判別手段によって撮影者の意図的なカメラ運動による揺れ状態であると判別されているときには、補正位置を算出するための補正量を、１フレーム前の補正量とする第２の補正量生成手段、ならびに
   状態判別手段によって、撮影者の意図的なカメラ運動による揺れ状態から手ぶれ状態に変化したことが検出されたときに、減衰中心をそのときの補正量に対応する補正位置に設定する手段を備えており、
   第１の補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えていることを特徴とする撮像機器。
9. 画像の揺れを検出する揺れ検出手段、ならびに
   揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度を制御するための減衰中心とに基づいて、画像切り出し位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度とが変更可能な補正量を生成する補正量生成手段を備えており、
   補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えていることを特徴とする撮像機器。
10. 画像の揺れを検出する揺れ検出手段、
    撮影者の意図的なカメラ運動による揺れ状態と手ぶれ状態とを判別する状態判別手段、 状態判別手段によって手ぶれ状態であると判別されているときには、揺れ検出手段によって検出された揺れ量と、揺れの周波数に対する補正残り率の特性を制御するための揺れ量の減衰係数と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度を制御するための減衰中心とに基づいて、画像切り出し位置を算出するための補正量であって、揺れの周波数に対する補正残り率の特性と、画像切り出し位置を撮像画像の中心に移動させるセンタリング速度とが変更可能な補正量を生成する第１の補正量生成手段、
    状態判別手段によって撮影者の意図的なカメラ運動による揺れ状態であると判別されているときには、画像切り出し位置を算出するための補正量を、１フレーム前の補正量とする第２の補正量生成手段、ならびに
    状態判別手段によって、撮影者の意図的なカメラ運動による揺れ状態から手ぶれ状態に変化したことが検出されたときに、減衰中心をそのときの補正量に対応する画像切り出し位置に設定する手段を備えており、
    第１の補正量生成手段は、予め設定された減衰中心の減衰係数に基づいて、減衰中心を更新させる手段を備えていることを特徴とする撮像機器。

Images