JP2005244780A

JP2005244780A - 撮像装置

Info

Publication number: JP2005244780A
Application number: JP2004054111A
Authority: JP
Inventors: Yasunori Kishi; 靖典岸; Toshiro Miyazaki; 俊郎宮崎
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-02-27
Filing date: 2004-02-27
Publication date: 2005-09-08

Abstract

【課題】光学ズーム機能と、映像信号からぶれ情報を検出する手ぶれ補正機能を有する撮像装置において、従来動きベクトルの発散度処理により光学ズーム動作中は手ぶれ補正機能が切られている状態になっていたのを、各領域で求めた動きベクトルから手ぶれ成分だけを抽出する処理を導入したことを特徴とするシステムを提供する。
【解決手段】画面を偶数個に分割した領域で各々の動きベクトルを検出、そして信頼性判定を行い、信頼性が有効である領域数別に、光学ズームで発生する動きベクトルをキャンセルする処理を施すことで、手ぶれの成分だけを抽出することが可能となる。
【選択図】図１

Description

本発明は映像信号から動きベクトルを検出し、この動きベクトルに応じて手ぶれ補正を行う光学ズーム付き撮像装置に関するものである。

近年、ビデオカメラやデジタルスチルカメラに代表される撮像装置において、小型化、高倍率化が進み、手ぶれによる画像の安定性が課題となってきており、手ぶれ補正機能を有するものが大半を占めている。

また、更なる小型化、及び低コスト化を進める上で、手ぶれの動き情報を映像信号から得る方式も製品化されている。

しかしながら、映像信号から動きベクトルを得る方式の場合、角速度センサーに代表されるセンサーからぶれ情報を得る方式と異なり、光学ズームが動作時においても、被写体が変化することで動きベクトルが発生し、誤動作の要因となる。

そこで、従来の撮像装置では、特開平１１−１７７８７６号公報にて説明されているように、光学ズーム動作時は、動きベクトルを強制的に「０」にして、誤動作を防止している（図１２を参照）。
特開平１１−１７７８７６号公報

しかしながら、従来の撮像装置のような構成では、撮像装置の光学ズームを動作させた時は無条件に手ブレ補正効果をオフする為に、例えば手ぶれが気になる低速ズーム動作ような撮影条件においても、手ぶれ補正が効かないという問題点を有していた。

上記問題点を解決するために本発明の第１の撮像装置は、被写体の大きさを光学ズーム機能により変化することを可能にするレンズと、前記光学ズームの倍率を検出するズーム位置検出回路と、前記ズーム位置検出回路より光学ズームが動作中であるか否かを判定するズーム動作判定回路と、前記被写体の情報を有する光学信号を映像信号として出力する撮像部と、前記映像信号を複数且つ偶数個の領域に分けて夫々の領域にて動きベクトルを検出する動きベクトル検出回路と、前記各領域で動きベクトルの有効性を判断する信頼性判定回路と、差分ベクトルを算出する手段として、前記信頼性判定回路で有効とした領域の中から画面全体の動きベクトルを求める差分ベクトル決定回路Ａと、前記信頼性判定回路で有効とした領域のベクトル、及び信頼性判定有効領域数と信頼性有効である領域の位置情報が含まれた各領域信頼性情報から画面全体の動きベクトルを求める差分ベクトル決定回路Ｂを設けて、前記ズーム動作判定回路からの出力情報により、光学ズームが動作していないと判定した時は前記差分ベクトルＡを選択し、光学ズームが動作していると判断した時は前記差分ベクトルＢを選択することを特徴とする構成であり、前記差分ベクトル決定回路Ｂは、前記信頼性判定回路で有効と判定された領域数が或値以上の場合、前記信頼性判定回路で有効とされた各領域の動きベクトルから、光学ズーム動作で発生する動きベクトルの成分を除去し、ブレ情報のみ含まれた動きベクトルを前記差分ベクトルＢとして出力することを特徴と機能を有している。

また、本発明の第２の撮像装置は、本発明の第１の撮像装置に対し、下記に示した機能、制御の変更を施した構成を有している。
・光学ズームの速度を任意に設定可能に出来るレンズ
・差分ベクトルを求める選択回路において、光学ズーム速度が或設定値以下（低速側）の場合は差分ベクトルＢを選択するが、或設定値以上の場合は、差分ベクトルを強制的にオフ（差分ベクトル＝零）する制御。但し、光学ズームが動作していない時は、第１の撮像装置と同様に差分ベクトルＡを選択する。

また、本発明の第３の撮像装置は、本発明の第２の撮像装置に対し、光学ズーム速度に設定値を２箇所以上のポイントを設けて、光学ズームが動作していない時は前記差分ベクトルＡを選択し、前記複数のポイントの中で、最も低速側のポイント以下の速度で光学ズームが動作している時は前記差分ベクトルＢを選択し、前記複数のポイントの中で、最も高速側のポイントから最高速までの間での光学ズームが動作している時は、強制的に前記差分ベクトルをオフ（差分ベクトル＝零）に設定し、前記最も低速側のポイントと、最も高速側のポイントと間の中間速度で光学ズームが動作している時は、光学ズーム速度で変化する或係数にて、前記差分ベクトルＢに対し重み付け制御を行うことを可能にする構成を有している。

本発明の構成により、光学ズーム動作中で、ぶれによる不安定さが大きい場合でも、手ぶれ補正が可能となり安定な画像を提供することが出来る。

本発明の請求項１に記載の発明は、被写体の大きさを光学的に変化することを可能にするレンズと、前記光学ズームの倍率を検出するズーム位置検出回路と、前記ズーム位置検出回路より光学ズームが動作中であるか否かを判定するズーム動作判定回路と、前記被写体の情報を有する光学信号を映像信号として出力する撮像部と、前記映像信号を複数且つ偶数個の領域に分けて夫々の領域にて動きベクトルを検出する動きベクトル検出回路と、前記各領域で動きベクトルの有効性を判断する信頼性判定回路と、画面全体の動きベクトルを算出する手段として前記信頼性判定回路で有効とした領域の中から画面全体の動きベクトルを求める差分ベクトル決定回路Ａと、前記信頼性判定回路で有効とした領域のベクトル及び信頼性判定有効領域数と信頼性有効である領域の位置情報が含まれた各領域信頼性情報から画面全体の動きベクトルを求める差分ベクトル決定回路Ｂとを備え、前記ズーム動作判定回路からの出力情報により、光学ズームが動作していないと判定した時は前記差分ベクトルＡを選択し、光学ズームが動作していると判断した時は前記差分ベクトルＢを選択することを特徴とするものである。

また請求項２に記載の発明は、差分ベクトル決定回路Ｂは、前記信頼性判定回路で有効と判定された領域数が或値以上の場合、前記信頼性判定回路で有効とされた各領域の動きベクトルから、光学ズーム動作で発生する動きベクトルの成分を除去し、ブレ情報のみ含まれた動きベクトルを前記差分ベクトルＢとして出力することを特徴とするものである。

また請求項３に記載の発明は、請求項１及び２で示した撮像装置に対し、光学ズームの速度を任意に設定可能にするレンズと、前記差分ベクトルＡと前記差分ベクトルＢと差分ベクトル強制ＯＦＦ回路の出力信号から選択する回路に変更し、光学ズームが動作していない時は前記差分ベクトルＡを選択し、光学ズーム速度が或設定値以下（低速側）で動作している時は前記差分ベクトルＢを選択し、光学ズーム速度が或設定値以上（高速側）で動作している時は前記差分ベクトルを強制的にオフ（差分ベクトル＝零）にすることを特徴とするものである。

また請求項４に記載の発明は、請求項１から３で示した撮像装置に対し、光学ズーム速度に設定値を２箇所以上のポイントを設けて、光学ズームが動作していない時は前記差分ベクトルＡを選択し、前記複数のポイントの中で、最も低速側のポイント以下の速度で光学ズームが動作している時は前記差分ベクトルＢを選択し、前記複数のポイントの中で、最も高速側のポイントから最高速までの間での光学ズームが動作している時は、強制的に前記差分ベクトルをオフ（差分ベクトル＝零）に設定し、前記最も低速側のポイントと、最も高速側のポイントと間の中間速度で光学ズームが動作している時は、光学ズーム速度で変化する或係数にて、前記差分ベクトルＢに対し重み付け制御を行うものである。

これにより、画面を４領域以上で且つ偶数領域数に分割し、各々の領域で算出した動きベクトルに対して信頼性判定処理を施し、前記信頼性判定処理にて有効と判断された動きベクトルを用いて光学ズームの要因で発生する動きベクトルをキャンセルするような処理を行うことにより、ブレの要因で発生する動きベクトルのみを抽出し、光学ズーム動作中の手ぶれ補正制御が可能となる。

（実施の形態１）
本発明の第１例の撮像装置について図１から図４を使用して説明する。

図１は、本実施の形態の撮像装置のブロック図であり、１は被写体の大きさを光学的に変化させる光学ズーム機能を有するレンズ、２は前記レンズ１のズーム機能で広角動作もしくは望遠動作の制御を行うズームスイッチ、３は光学ズーム位置（倍率）を検出するズーム位置検出回路、４は前記ズームスイッチ２の情報と前記ズーム位置検出回路の情報より現在光学ズーム動作を行っているか否かを判断するズーム動作判定回路、５は前記レンズ１を通して入力された被写体情報を有する光学信号を、２次元固体撮像素子で電気信号に変換し、さらに電気信号に処理を施し映像信号として出力する撮像部、６は前記映像信号を複数の領域に分割し、夫々の領域で動きベクトルを検出する動きベクトル検出回路、７は夫々の領域で検出した動きベクトルが有効かどうかを判断する信頼性判定回路、８は前記信頼性判定回路７にて有効と判断された領域のベクトルから画面全体のベクトルを決定する第１の差分ベクトル決定回路である差分ベクトル決定回路Ａ、１１は前記信頼性判定回路７から出力された有効と判定された動きベクトルと、有効と判定された領域数や有効と判定された領域の位置の情報が含まれている各領域信頼性情報より、光学ズーム動作中での画面全体のベクトルを算出する第２の差分ベクトル決定回路である差分ベクトル決定回路Ｂ、１０は前記差分ベクトル決定回路Ａ８の出力信号（第１の差分ベクトルである差分ベクトルＡ）と、前記差分ベクトル決定回路Ｂ１１の出力信号（第２の差分ベクトルである差分ベクトルＢ）のどちらか一方を、前記ズーム動作判定回路４の出力信号で選択する選択回路である。

また、本実施の形態は、前記動きベクトル検出回路６での一画面分割数を４つとする。

以上の構成からなる本発明第１例の撮像装置の動作原理について説明する。

まずは、レンズ１を通して得られる被写体の情報を有する光学信号を撮像部５で映像信号に変換する。そして、動きベクトル検出回路６にて、１画面を偶数個の複数領域に分割し前記映像信号に含まれている撮像装置の手ぶれ情報を、夫々の領域で動きベクトルとして抽出する。

なお、動きベクトル検出回路６の代表的な処理としては、現時間における映像信号と、１フィールド前、もしくは１フレーム前など２次元固体撮像素子から出力する単位時間毎の映像信号とで相関演算を行うことで算出する。なお、具体的な処理方法については特開昭６１−２６９４７５号公報や特開平２−２４１１８８号公報にて詳細に説明されているために、ここでは割愛する。

ここで、まずは、光学ズームが動作していない場合について説明する。
図２は、動きベクトル回路６において、右方向に発生した手ぶれに対して、各領域で算出される動きベクトルの様子を示した図であり、各領域にて、手ぶれの方向、及び大きさの情報を含む動きベクトルを検出する。そして、信頼性判定回路７において、これらの動きベクトルの信頼性があるかを、前述の相関演算を処理する際に得られる相関演算結果の平均値などから判定するが、本信頼性判定のアルゴリズムについては、Ｎａｔｉｏｎａｌ−ＴＥＣＨＮＩＣＡＬ−ＲＥＰＯＲＴ１９９１年６月号Ｐ５１−Ｐ５２に掲載されている「被写体条件の検出」に詳細に説明されているために、ここでは割愛する。

その後、差分ベクトル決定回路Ａにて、信頼性がある（有効と判断した）動きベクトルの中から、中央値選択のメディアンフィルタなどを使用して画面全体のベクトル、即ち差分ベクトルＡを算出する。この時、信頼性判定回路７で判定された有効の領域数により、メディアンフィルタの要素を変化させるが、このアルゴリズムについても、Ｎａｔｉｏｎａｌ−ＴＥＣＨＮＩＣＡＬ−ＲＥＰＯＲＴ１９９１年６月号Ｐ５０−Ｐ５１に掲載されている「動きベクトルのノイズ改善」で詳細に説明されているために、ここでは割愛する。

以上が、従来技術においても使用されている光学ズームが動作していない場合の制御である。

次に、光学ズームが動作している場合の制御について説明する。

図３は、図２と同様に手ぶれの成分による動きベクトルは右方向（細い実線）であるが、光学ズームの動作により各領域にて、異なる動きベクトル（太い実線）が発生する様子を示した図である。この各領域で算出された動きベクトルの中から、光学ズームが動作していない時と同様のアルゴリズムで制御すると、上述のメディアンフィルタにてどの領域のベクトルを選択しても画面全体のベクトルに光学ズームによる動きベクトル成分が含まれる為に、意図通りの動きベクトルが得られず、誤動作してしまう。そこで、差分ベクトル決定回路Ｂ１１にて、光学ズーム動作時用の画面全体ベクトル決定制御回路を設ける。

そこで、次に差分ベクトル決定回路Ｂ１１の具体的制御例について説明する。基本的な考え方としては、
（Ａ）光学ズームで発生する動きベクトル成分をキャンセルするようなアルゴリズムを導入する。
（Ｂ）項（Ａ）での目的を満足させる為に、信頼性のある領域数毎に処理を設けるとする。よって、以下、信頼性のある領域数別にアルゴリズムを説明する。

（１）信頼性のある領域数が４つの場合
単純に４つの領域の動きベクトルを加算平均する。加算することにより、図３における光学ズームによる動きベクトル（点線）成分がキャンセルされ、手ぶれ成分だけ抽出することが出来る。

（２）信頼性のある領域数が３つの場合
信頼性がない領域と、信頼性がない領域の対角領域を除く領域のベクトルで加算平均する。即ち、
・信頼性が無い領域が左上の場合は、右上と左下との領域の動きベクトルの加算平均
・信頼性の無い領域が右上の場合は、左上と右下との領域の動きベクトルの加算平均
・信頼性が無い領域が左下の場合は、左上と右下との領域の動きベクトルの加算平均
・信頼性の無い領域が右下の場合は、右上と左下との領域の動きベクトルの加算平均
である。

以上の処理を施すことにより、信頼性領域数が３つの場合は、手ぶれ成分だけ抽出することが出来る。

（３）信頼性のある領域数が２つの場合
該条件の場合は、２つのパターンに分けて処理を行う。

≪条件１≫
信頼性のある２つの領域が、対角の関係にある場合。即ち、有効な領域が左上と右下、若しくは、右上と左下の場合は、単純に加算平均することで、光学ズームの成分をキャンセルすることが出来る
≪条件２≫
信頼性のある２つの領域が、水平方向に並んでいる場合、即ち、有効な領域が左上と右上、若しくは、左下と右下の場合は、次のアルゴリズムで処理を行う。

本条件において、図４を使用して説明する。図４では、画面の上側の領域が有効である場合の例であるが、左上をＡ領域、右上をＢ領域とし、次のように夫々の動きベクトルに対して名称を付ける。

●Ａ領域
・動きベクトル検出回路６にて検出された動きベクトルの水平成分・・・ＴＶＥＣＴ＿Ａ＿Ｈ
・動きベクトル検出回路６にて検出された動きベクトルの垂直成分・・・ＴＶＥＣＴ＿Ａ＿Ｖ
・光学ズームを動作することで発生する動きベクトルの水平成分・・・ＺＶＥＣＴ＿Ａ＿Ｈ
・光学ズームを動作することで発生する動きベクトルの垂直成分・・・ＺＶＥＣＴ＿Ａ＿Ｖ
・手ぶれで発生する動きベクトルの水平成分（抽出したいベクトル）・・・ＨＶＥＣＴ＿Ａ＿Ｈ
・手ぶれで発生する動きベクトルの垂直成分（抽出したいベクトル）・・・ＨＶＥＣＴ＿Ａ＿Ｖ
●Ｂ領域
・動きベクトル検出回路６にて検出された動きベクトルの水平成分・・・ＴＶＥＣＴ＿Ｂ＿Ｈ
・動きベクトル検出回路６にて検出された動きベクトルの垂直成分・・・ＴＶＥＣＴ＿Ｂ＿Ｖ
・光学ズームを動作することで発生する動きベクトルの水平成分・・・ＺＶＥＣＴ＿Ｂ＿Ｈ
・光学ズームを動作することで発生する動きベクトルの垂直成分・・・ＺＶＥＣＴ＿Ｂ＿Ｖ
・手ぶれで発生する動きベクトルの水平成分（抽出したいベクトル）・・・ＨＶＥＣＴ＿Ｂ＿Ｈ
・手ぶれで発生する動きベクトルの垂直成分（抽出したいベクトル）・・・ＨＶＥＣＴ＿Ｂ＿Ｖ。

以上、各々の動きベクトルに対し、具体的処理について説明する。なお、処理の流れより、データとして明確になっているのは、動きベクトル検出回路６にて求められたＴＶＥＣＴ＿Ａ＿Ｈ、ＴＶＥＣＴ＿Ａ＿Ｖ、ＴＶＥＣＴ＿Ｂ＿Ｈ、ＴＶＥＣＴ＿Ｂ＿Ｖの４種動きベクトルである。

まずは水平方向から説明する。

動きベクトルＴＶＥＣＴ＿Ａ＿Ｈ、及びＴＶＥＣＴ＿Ｂ＿Ｈは、
ＴＶＥＣＴ＿Ａ＿Ｈ＝ＺＶＥＣＴ＿Ａ＿Ｈ＋ＨＶＥＣＴ＿Ａ＿Ｈ・・・式１
ＴＶＥＣＴ＿Ｂ＿Ｈ＝ＺＶＥＣＴ＿Ｂ＿Ｈ＋ＨＶＥＣＴ＿Ｂ＿Ｈ・・・式２
と表現出来る。

また、ＺＶＥＣＴ＿Ａ＿ＨとＺＶＥＣＴ＿Ｂ＿Ｈは、光学ズーム動作により発生する動きベクトルで、スカラー量は同じで、方向が１８０度反転していることより、
ＺＶＥＣＴ＿Ａ＿Ｈ＋ＺＶＥＣＴ＿Ｂ＿Ｈ＝０・・・式３
とおける。よって式１＋式２で、
ＴＶＥＣＴ＿Ａ＿Ｈ＋ＴＶＥＣＴ＿Ｂ＿Ｈ
＝ＨＶＥＣＴ＿Ａ＿Ｈ＋ＨＶＥＣＴ＿Ｂ＿Ｈ・・・式４
となり、ＨＶＥＣＴ＿Ａ＿ＨとＨＶＥＣＴ＿Ｂ＿Ｈは、手ぶれによって発生する動きベクトルであることより、
ＨＶＥＣＴ＿Ａ＿Ｈ＝ＨＶＥＣＴ＿Ｂ＿Ｈ・・・式５
と仮定すれば、水平方向の手ぶれ成分は、
（ＴＶＥＣＴ＿Ａ＿Ｈ＋ＴＶＥＣＴ＿Ｂ＿Ｈ）／２・・・式６
の計算で求めることが出来る。

次に、垂直方向であるが、水平方向での式１、式２と同様に、動きベクトルＴＶＥＣＴ＿Ａ＿Ｖ、及びＴＶＥＣＴ＿Ｂ＿Ｖは、
ＴＶＥＣＴ＿Ａ＿Ｖ＝ＺＶＥＣＴ＿Ａ＿Ｖ＋ＨＶＥＣＴ＿Ａ＿Ｖ・・・式７
ＴＶＥＣＴ＿Ｂ＿Ｖ＝ＺＶＥＣＴ＿Ｂ＿Ｖ＋ＨＶＥＣＴ＿Ｂ＿Ｖ・・・式８
と表現出来る。

ここで、目的は、ＨＶＥＣＴ＿Ａ＿Ｖ、ＨＶＥＣＴ＿Ｂ＿Ｖを求めることである為にＺＶＥＣＴ＿Ａ＿Ｖ、ＺＶＥＣＴ＿Ｂ＿Ｖをキャンセルするように「式７−式８」を行う。減算するのは、水平方向と異なり、ＺＶＥＣＴ＿Ａ＿Ｖ、ＺＶＥＣＴ＿Ｂ＿Ｖの方向は同一であるからである。

しかし、「式７−式８」は、
ＴＶＥＣＴ＿Ａ＿Ｖ−ＴＶＥＣＴ＿Ｂ＿Ｖ
＝ＨＶＥＣＴ＿Ａ＿Ｖ−ＨＶＥＣＴ＿Ｂ＿Ｖ・・・式９
となり、水平方向での式５と同様の考え方をとると、式９の右辺は０となり、結果を得ることが出来ない。

そこで、「式７＋式８」及び、水平方向での式５、及び、
ＺＶＥＣＴ＿Ａ＿Ｖ＝ＺＶＥＣＴ＿Ｂ＿Ｖ・・・式１０
の条件を入れて計算すると、
ＴＶＥＣＴ＿Ａ＿Ｖ＋ＴＶＥＣＴ＿Ｂ＿Ｖ
＝ＺＶＥＣＴ＿Ａ＿Ｖ＋ＺＶＥＣＴ＿Ｂ＿Ｖ＋ＨＶＥＣＴ＿Ａ＿Ｖ＋ＨＶＥＣＴ＿Ｂ＿Ｖ・・・式１１
ＨＶＥＣＴ＿Ａ＿Ｖ
＝（ＴＶＥＣＴ＿Ａ＿Ｖ＋ＴＶＥＣＴ＿Ｂ＿Ｖ）／２−ＺＶＥＣＴ＿Ａ＿Ｖ・・・式１２
となる。

ここで、ＺＶＥＣＴ＿Ａ＿Ｖを求める必要があるが、これは、以下の処理にて算出する。

まず、「式１−式２」を行うと同時に、式５の条件を使用すると、
ＴＶＥＣＴ＿Ａ＿Ｈ−ＴＶＥＣＴ＿Ｂ＿Ｈ
＝ＺＶＥＣＴ＿Ａ＿Ｈ−ＺＶＥＣＴ＿Ｂ＿Ｈ・・・式１３
式１３に対して、式３の条件を適用し、ＺＶＥＣＴ＿Ａ＿Ｈで解くと、
ＺＶＥＣＴ＿Ａ＿Ｈ
＝（ＴＶＥＣＴ＿Ａ＿Ｈ−ＴＶＥＣＴ＿Ｂ＿Ｈ）／２・・・式１４
ここで、ＺＶＥＣＴ＿Ａ＿ＶとＺＶＥＣＴ＿Ａ＿Ｈは、共に光学ズームにより発生する動きベクトルであることより、スカラー量は等しいと仮定すると、式１２は、
ＨＶＥＣＴ＿Ａ＿Ｖ
＝（ＴＶＥＣＴ＿Ａ＿Ｖ＋ＴＶＥＣＴ＿Ｂ＿Ｖ）／２ − （ＴＶＥＣＴ＿Ａ＿Ｈ−ＴＶＥＣＴ＿Ｂ＿Ｈ）／２・・・式１５
と表わすことが出来、垂直方向の手ぶれ成分は、
（ＴＶＥＣＴ＿Ａ＿Ｖ＋ＴＶＥＣＴ＿Ｂ＿Ｖ）／２ − （ＴＶＥＣＴ＿Ａ＿Ｈ−ＴＶＥＣＴ＿Ｂ＿Ｈ）／２・・・式１６
となる。以上より、本条件での手ぶれ成分のベクトルは、水平方向は式６、垂直方向は式１６で求めることが出来る。

また、Ａ領域、Ｂ領域の信頼性がなく、Ｃ領域、Ｄ領域（図４参照）の信頼性がある場合においても、上述と同手法にて、手ぶれ成分を抽出することが可能である。

また、Ａ領域とＣ領域、もしくはＢ領域とＤ領域の垂直方向の２領域が信頼性ある場合の処理は、上述の水平方向の処理と垂直方向の処理を入れ替えることで手ぶれ成分を抽出することが出来る。

（４）信頼性のある領域数が１つ以下の場合
本条件の場合は、光学ズーム制御による誤動作防止制御を行う以前に、動きベクトル検出回路６で求められる動きベクトルにおいて信頼度が低く、光学ズーム動作時は、動きベクトルを強制的に「０」にする処理を行う。

以上が、画面を４分割の領域に分割して動きベクトルを求める実施の形態である。

また、４領域以上の偶数領域で分割した場合においても、信頼性のある領域の中より、光学ズームで発生する成分を上記実施の形態にて説明した手法にてキャンセルすることで、手ぶれ成分を抽出することが可能となる。

（実施の形態２）
本発明の第２例の撮像装置について図５から図７を使用して説明する。

図５は、該撮像装置のブロック図であり、実施の形態１のブロック図（図１）と異なる点において、追加となったブロックは、９の差分ベクトルを強制的に零にする差分ベクトル強制ＯＦＦ回路、１２の光学ズームの速度を任意に設定するズーム速度設定回路であり、機能的に変化したのは、レンズ１が光学ズームの速度を可変に出来るようになったこと、ズームスイッチ２が実施の形態１では、ＯＮ−ＯＦＦの２値出力であったのに対し、本実施の形態では光学ズームの速度を制御する為に３値以上出力を可能にしたこと、ズーム動作判定回路４−ａが実施の形態１では光学ズームの動作有無だけを判定していたのに対して、本実施の形態では光学ズームの速度を検出可能になったこと、選択回路１０−ａが実施の形態１では、差分ベクトルＡと差分ベクトルＢを２入力１出力の選択回路であったのに対し、差分ベクトル小生ＯＦＦ回路９からの出力信号も含めて３入力１出力の選択回路になったことである。その他の同一番号でのブロックは実施の形態１と同一機能を有する。

以上の構成からなる本発明第２例の撮像装置の動作原理について、実施の形態１と異なる点を中心に説明する。

本実施の形態においては、光学ズーム速度が或値以上より速い場合は、従来と同様に差分ベクトルを強制的に零にして、手ぶれ補正を停止させる点がポイントとなる。

即ち、光学ズームの動作においても、比較的低速な場合は、光学ズームによる画角変化の小さく、手ぶれが目立つ為に手ぶれ補正機能が必要となるが、高速の場合は、手ぶれ以上に光学ズームによる画角変化が大きく、ブレによる違和感は特に問題とならない。

よって、図６や図７から明確なようにズームスイッチ２に掛かる圧力にて光学ズームの速度を制御する場合、ズーム動作判定回路４−ａにて、ズームスイッチ２に掛かる圧力を検出し、圧力が掛かっていないときは、差分ベクトルＡを、圧力が或値以下の時は差分ベクトルＢを、圧力が或値より大きい時は、差分ベクトル強制ＯＦＦ回路９の出力を、選択回路１０−ａで選択するような制御信号を発生させる。

以上の制御を施すことにより、光学ズームの速度が変化するような撮像装置においては、実動作に即した制御が可能となる。

（実施の形態３）
本発明の第３例の撮像装置について図８から図１１を使用して説明する。

図８は、該撮像装置のブロック図であり、実施の形態２のブロック図（図５）と異なる点において、追加となったブロックは、１２の差分ベクトルＢに対して１倍以下の値で重み付けを行うための乗算器であり、該乗算器を付加したために実施の形態２で付加した差分ベクトル強制ＯＦＦ回路９を削除する。また、機能的に変化したのは選択回路１０で、実施の形態２では３入力１出力の選択回路としたが、前述の通り差分ベクトル強制ＯＦＦ回路を削除したために、実施の形態１で使用した２入力１出力の選択回路に戻す。さらに、ズーム動作判定回路４−ｂでは、実施の形態２では、光学ズームの速度を検出し、選択回路１０−ａの制御信号を発生する機能を有していたが、実施の形態３では、選択回路１０の制御信号に対しては実施の形態１と同様に光学ズームの有無だけを判別する信号に戻すが、そこに差分ベクトル決定回路Ｂ１１の出力信号に対して重み付け係数を発生させる機能を付加する。その他の同一番号のブロックは、実施の形態２と同一機能を有する。

以上の構成からなる本発明第３例の撮像装置の動作原理について、実施の形態２と異なる点を中心に説明する。

本実施の形態のポイントはズーム動作判定回路４−ｂにて、光学ズーム速度を３つに分けて、境界点を夫々低速側からスピードα、スピードβとした場合、光学ズームを速度がどの領域で動作しているかを検出する。なお、図９、図１０に示すように、本実施の形態では実施の形態２と同様に光学ズーム速度を検出は、ズームスイッチ２に掛かる圧力により検出する方式を使用した。

そして、図１１に示すように、光学ズームが動作してから、スピードαまでは、比較的低速であると判断し、重み付け係数を１倍とし、スピードαからさらに速度が上がる毎に、重み付け係数も０に近付ける。そしてスピードβまで達した場合は、重み付け係数も０とし、即ち差分ベクトルを強制的に零にするのと同等である。

以上のように、除々に差分ベクトルに対し重み付け制御をことで、スムーズな手ぶれ補正制御が可能となる。

また、本実施の形態では、光学ズームの速度を３分割にしたが、それ以上の分割数を設けることで、よりスムーズな制御が可能となる。

また、本実施の形態では、図１１にてスピードαとスピードβ間の重み付け係数を求める際にリニアー特性としたが、曲線特性でも構わない。

本発明の構成で説明した制御をビデオカメラなどのように動画を主眼においた機器に導入することにより、これらの機器を使用して、撮影者がある特定の被写体（人物や、花など）をターゲットとして、画角を調整しながら撮影する場合などに効果を発揮することが出来る。

本発明の実施の形態１における基本構成を示すブロック図本発明の実施の形態１における動きベクトル検出回路６で算出された光学ズームＯＦＦ時各領域の動きベクトルの概念を示す模式図本発明の実施の形態１における動きベクトル検出回路６で算出された光学ズームＯＮ時各領域の動きベクトルの概念を示す模式図本発明の実施の形態１における動きベクトル検出回路６で算出された光学ズームＯＮ時各領域の動きベクトルにおいて、水平／垂直方向の成分に分けた概念を示す模式図本発明の実施の形態２における基本構成を示すブロック図本発明の実施の形態２におけるズームスイッチに掛かる圧力とズーム速度の関係を示す第１の特性図本発明の実施の形態２におけるズームスイッチに掛かる圧力とズーム速度の関係を示す第２の特性図本発明の実施の形態３における基本構成を示すブロック図本発明の実施の形態３におけるズームスイッチに掛かる圧力とズーム速度の関係を示す第１の特性図本発明の実施の形態３におけるズームスイッチに掛かる圧力とズーム速度の関係を示す第２の特性図本発明の実施の形態３におけるズーム速度と差分ベクトルＢに掛ける重み付け係数との関係を示す特性図従来の撮像装置における基本構成を示すブロック図

符号の説明

１光学ズーム機能を有するレンズ
２ズームスイッチ
３ズーム位置検出回路
４ズーム動作判定回路
５撮像部
６動きベクトル検出回路
７信頼性判定回路
８差分ベクトル決定回路Ａ
１０選択回路
１１差分ベクトル決定回路Ｂ

Claims

被写体の大きさを光学的に変化することを可能にするレンズと、前記光学ズームの倍率を検出するズーム位置検出回路と、前記ズーム位置検出回路より光学ズームが動作中であるか否かを判定するズーム動作判定回路と、前記被写体の情報を有する光学信号を映像信号として出力する撮像部と、前記映像信号を複数且つ偶数個の領域に分けて夫々の領域にて動きベクトルを検出する動きベクトル検出回路と、前記各領域で動きベクトルの有効性を判断する信頼性判定回路と、画面全体の動きベクトルを算出する手段として前記信頼性判定回路で有効とした領域の中から画面全体の動きベクトルを求める第１の差分ベクトル決定回路と、前記信頼性判定回路で有効とした領域のベクトル及び信頼性判定有効領域数と信頼性有効である領域の位置情報が含まれた各領域信頼性情報から画面全体の動きベクトルを求める第２の差分ベクトル決定回路とを備え、
前記ズーム動作判定回路からの出力情報により、光学ズームが動作していないと判定した時は前記第１の差分ベクトル決定回路からの第１の差分ベクトルを選択し、光学ズームが動作していると判断した時は前記第２の差分ベクトル決定回路からの第２の差分ベクトルを選択することを特徴とする撮像装置。
第２の差分ベクトル決定回路は、前記信頼性判定回路で有効と判定された領域数が或値以上の場合、前記信頼性判定回路で有効とされた各領域の動きベクトルから、光学ズーム動作で発生する動きベクトルの成分を除去し、ブレ情報のみ含まれた動きベクトルを前記第２の差分ベクトルとして出力することを特徴とする請求項１に記載する撮像装置。
請求項１、及び２で示した撮像装置に対し、光学ズームの速度を任意に設定可能にするレンズと、前記第１の差分ベクトルと前記第２の差分ベクトルと差分ベクトル強制ＯＦＦ回路の出力信号から選択する回路に変更し、光学ズームが動作していない時は前記第１の差分ベクトルを選択し、光学ズーム速度が或設定値以下（低速側）で動作している時は前記第２の差分ベクトルを選択し、光学ズーム速度が或設定値以上（高速側）で動作している時は前記差分ベクトルを強制的にオフ（差分ベクトル＝零）にすることを特徴とする撮像装置。
請求項１から３で示した撮像装置に対し、光学ズーム速度に設定値を２箇所以上のポイントを設けて、光学ズームが動作していない時は前記第１の差分ベクトルを選択し、前記複数のポイントの中で、最も低速側のポイント以下の速度で光学ズームが動作している時は前記第２の差分ベクトルを選択し、前記複数のポイントの中で、最も高速側のポイントから最高速までの間での光学ズームが動作している時は、強制的に前記差分ベクトルをオフ（差分ベクトル＝零）に設定し、前記最も低速側のポイントと、最も高速側のポイントと間の中間速度で光学ズームが動作している時は、光学ズーム速度で変化する或係数にて、前記第２の差分ベクトルに対し重み付け制御を行うことを特徴とする撮像装置。