JP2001145014A

JP2001145014A - 画像信号処理装置、画像信号処理方法及び記録媒体

Info

Publication number: JP2001145014A
Application number: JP32534399A
Authority: JP
Inventors: Kazuki Konishi; 一樹小西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-11-16
Filing date: 1999-11-16
Publication date: 2001-05-25

Abstract

(57)【要約】【課題】フレーム画像を領域分割して適切な画像処理
を行うことができる画像信号処理装置を提供することを
課題とする。【解決手段】本発明の画像信号処理装置は、画像デー
タを生成するイメージゾーン（３０）と、フレーム画像
を中央部と周辺部の領域に分割し、該領域に応じて異な
る画像処理を行う画像処理手段（３１）と、画像処理さ
れた画像データを記憶するメモリーゾーン（３２）と、
画像処理手段により画像処理された第１のフレーム画像
とその前のフレームである第２のフレーム画像との相関
演算を行う相関演算手段（１）と、相関演算の結果に応
じてカメラの手振れ量を検出する手振れ検出手段（１）
と、手振れ量に応じてレンズを駆動する駆動手段とを有
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理技術に関
し、特に、フレーム画像を領域分割して画像処理する画
像処理技術に関する。

【０００２】

【従来の技術】像ぶれ防止制御のためのイメージセンサ
ーを用いた技術としては、特開平６−３８０９１号公報
がある。特開平６−３８０９１号公報は、カメラ一体型
ＶＴＲにおいて、手振れ等によって生じる画像ブレの検
出および補正を行うものであり、以下のような構成を有
する。

【０００３】ｘ方向およびｙ方向のそれぞれについて入
力画像情報を加算平均し、その加算結果から得られる輝
度傾斜部に基づいて画像ブレを検出することにより、少
ない情報量で画像ブレが検出でき、また加算平均された
画像又は各傾斜部の重心を時間軸方向につなぎあわせて
画面全体として同一の波形パターンを確認すれば視覚的
に画像ブレを検出することができる。

【０００４】

【発明が解決しようとする課題】しかしながら、加算平
均回路などからなる画像ブレ検出回路や移動値演算部な
どからなる画像ブレ補正回路をすべてハードウエアで構
成するために回路規模が膨大になりコストが高いという
問題点を持っている。また、フレームのどの部分も同様
の画像処理を行っているため、フレーム中心部にいる主
被写体の動きと、手振れの分離が不十分になり、適切な
手振れ補正ができないという問題点がある。本発明の目
的は、フレーム画像を領域分割して適切な画像処理を行
うことができる画像信号処理装置、画像信号処理方法及
び記録媒体を提供することである。

【０００５】

【課題を解決するための手段】本発明の一観点によれ
ば、フレーム画像を複数の領域に分割し、該領域に応じ
て異なる画像処理を行う画像処理手段を有する画像信号
処理装置が提供される。本発明の他の観点によれば、フ
レーム画像を複数の領域に分割し、該領域に応じて異な
る画像処理を行うステップを有する画像信号処理方法が
提供される。本発明のさらに他の観点によれば、フレー
ム画像を複数の領域に分割し、該領域に応じて異なる画
像処理を行う手順をコンピュータに実行させるためのプ
ログラムを記録したコンピュータ読み取り可能な記録媒
体が提供される。上記のように本発明によれば、フレー
ム分割した領域に応じて異なる画像処理を行うことによ
り、領域の性質を活かした画像処理を行うことができ
る。例えば、フレームの中央部に存在する主被写体の動
きとカメラの手振れとを区別するために、フレームの中
央部とその周辺部とで異なる画像処理を行うことができ
る。

【０００６】

【発明の実施の形態】以下、本発明の実施形態を、実施
例に沿って図面を参照しながら説明する。本実施例は、
比較的低い振動を受ける機器（カメラ）の振動抑制の為
に用いられる装置に適用することができる。例えば、カ
メラ等の機器に生ずる１０Ｈｚ程度以下の周波数の振動
（手振れ等）を、イメージセンサーを用いて検出して、
これを像ぶれ防止の情報として像ブレ抑制を図るシステ
ムに適用することができる。（第１の実施例）図１に本発明の第１の実施例によるカ
メラのブロック図を示す。１はＭＰＵ（マイクロプロセ
ッシングユニット）、２はメモリー、４２はＡ／Ｄ変換
器、４５はタイマー、３はセンサー、４はピッチ（垂
直）方向に補正レンズ６を駆動するための補正レンズ駆
動装置、５はヨー（水平）方向に補正レンズ６を駆動す
るための補正レンズ駆動装置、６は手振れを補正するた
めの補正レンズ、４３はＥＥＰＲＯＭ、４４は補正レン
ズ６の位置を検出する位置センサーである。

【０００７】マイコン４１は、ＭＰＵ１、メモリー２、
タイマー４５及びＡ／Ｄ変換器４２を有する。センサー
３の出力は、マイコン４１のＡ／Ｄ変換器４２に入力さ
れる。Ａ／Ｄ変換器４２は、信号をアナログ形式からデ
ジタル形式に変換し、ＭＰＵ１又はメモリー２に出力す
る。ＭＰＵ１は、補正レンズ駆動装置４，５、位置セン
サー４４及びＥＥＰＲＯＭ４３を制御する。

【０００８】図２は、マイコン４１及びセンサー３の構
成を示すブロック図である。マイコン４１は、ＭＰＵ
１、メモリー２、タイマー４５及びＡ／Ｄ変換器４２を
有する。センサー３は、センサーのイメージゾーン（イ
メージセンサー）３０、画像処理部３１、メモリーゾー
ン３２、読み出し用のシフトレジスタ３３、読み出し用
のアンプ３４、及びセンサーのドライバー３５を有す
る。

【０００９】ＭＰＵ１は、駆動パルスや通信制御信号を
ドライバー３５に供給する。ドライバー３５は、イメー
ジゾーン３０、画像処理部３１、メモリーゾーン３２及
びシフトレジスタ３３を駆動する。図３は、イメージゾ
ーン３０、画像処理部３１及びメモリーゾーン３２の構
成を示す回路図である。

【００１０】３１０，３１１は減算器、３１２は加算
器、３１３はバッファ、３１４はコンパレーター、３１
５，３１６はスイッチである。センサー３は、イメージ
ゾーン３０、画像処理部３１、メモリーゾーン３２等を
含み、Ｃ−ＭＯＳプロセスによりワンチップ（半導体チ
ップ）上に形成される。

【００１１】図４は、本実施例によるカメラの処理を示
すフローチャートである。カメラのメインスイツチをオ
ンすると、カメラのメインシーケンスが開始される。ス
テップＳＡ１では、ＭＰＵ１が初期処理の一連の動作の
中でＥＥＰＲＯＭ４３から、各種のパラメータを読み込
み、メモリー２の所定のアドレスに格納する。

【００１２】次に、ステップＳＡ２では、撮影者が防振
システムの一連の動作を開始させるためのスイッチをオ
ンにするまで待機する。スイッチがオンにされると、ス
テップＳＡ３へ進む。ステップＳＡ３では、処理に用い
る変数の初期化等の処理を行う。ただし、ブレ補正は未
だ行わない。

【００１３】その後、ＭＰＵ１は、サンプリングのタイ
ミングを得るためにタイマー４５を起動する。このタイ
マー４５は、一定間隔毎に割り込みを発生するものであ
る。その間隔は、手振れの防止能力によって決定される
が、通常は１０ｍｓ〜３３ｍｓ程度になる。ＭＰＵ１
は、このタイマー４５からの割り込みが発生するたび
に、画像処理されたセンサー３の出力をＡ／Ｄ変換器４
２の入力端子に読み込み、補正レンズ６の駆動位置を求
める。また、イメージゾーン３０の画素数も仕様による
が、例えば１２８×１２８画素である。

【００１４】以下、その具体的な手順について説明す
る。まず、ステップＳＡ５では、ＭＰＵ１がセンサー３
の電荷蓄積（画像データ生成）を制御する。蓄積時間の
決定は、カメラのＡＥ（自動露出）情報により行っても
良いし、あらかじめ一定時間の予備蓄積を行い、その出
力値の平均値などを用いても良い。イメージゾーン３０
のクリア動作を行った後、イメージゾーン３０の電荷生
成及び電荷蓄積が開始する。

【００１５】ステップＳＡ６では、上記で決定した蓄積
時間が経過したら、イメージゾーン３０に蓄積された電
荷を読み出して画像処理を行い、メモリーゾーン３２ヘ
転送する。この画像処理は、画像処理部３１により行わ
れる処理であり、エッジ抽出と二値化もしくはいずれか
の処理である。本実施例ではエッジ抽出と二値化を行
い、その結果得られる信号によりブレ量の検出を行う。

【００１６】図３に示すように、イメージゾーン３０か
ら読み出された電荷はその画素と隣の画素の差が減算器
３１０，３１１で計算される。減算器３１０は、自分の
画素の電荷量から隣の画素の電荷量を引いた値を出力す
る。減算器３１１は、隣の画素の電荷量から自分の画素
の電荷量を引いた値を出力する。ただし、減算器３１
０，３１１の低電圧の基準はＧＮＤであるので、その値
が負のときは減算器３１０，３１１の出力電圧は０Ｖに
なる。

【００１７】加算器３１２は、減算器３１０の出力と減
算器３１１の出力とを加算する。加算器３１２の出力
は、自分の画素と隣の画素の電荷量の差の絶対値とな
り、画像の輝度値が大きく変化する画像のエッジ部分に
相当する部分で大きな出力となる。加算器３１２の出力
は、バッファ３１３に一時的に記憶される。コンパレー
タ３１４は、バッファ３１３の出力とリファレンス電圧
ｒｅｆとを比較し、二値化信号を出力する。バッファ３
１３の出力がリファレンス電圧ｒｅｆ未満のときは、コ
ンパレータ３１４は０Ｖ（論理値０）を出力する。バッ
ファ３１３の出力がリファレンス電圧ｒｅｆ以上のとき
は、コンパレータ３１４は電源電圧（論理値１）を出力
する。コンパレータ３１４の出力は、順次メモリーゾー
ン３２に転送される。

【００１８】上記の画像処理部３１は、画素ごとに同じ
構成のものを水平方向の画素数分用意する。コンパレー
タ３１４のアンプのゲインは可変であり、画像のブラン
ク信号を発生する期間はそのゲインを零にする。また、
バイパススイッチ３１５，３１６をオンにすることで、
画像処理をしない信号（生信号）を出力することもでき
る。バイパススイッチ３１５はエッジ抽出をバイパスす
るためのスイッチであり、バイパススイッチ３１６は二
値化をバイパスするためのスイッチである。スイッチ３
１５，３１６は、エッジ抽出及び二値化の選択を独立に
制御できるので、エッジ抽出のみ、又は二値化のみの画
像処理を行うことも可能である。ＭＰＵ１の能力が高い
ときは、エッジ抽出のみにした方が精度の高い動きベク
トルを得ることができるので、これを採用するのが好ま
しい。

【００１９】例えば、図３に示すように、イメージゾー
ン（例えば１２８×１２８画素）３０のフレームを１６
分割し、中央の４領域を中央部、周辺の１２領域を周辺
部とする。中央部の主被写体の動きとブレを区別（分
離）してブレ検出するために、周辺部の画像のみを用い
てブレ検出を行う。

【００２０】周辺部の１２領域をイメージゾーン３０か
らメモリーゾーン３２に転送する際には、コンパレータ
３１４のアンプのゲインを、画像処理するために適切な
ゲイン（通常は１）にし、中央部の４領域を転送する際
にはコンパレータ３１４のアンプのゲインを零にする。

【００２１】画像処理部３１は、各ラインの各画素につ
いて以下の処理を行う。０〜Ｌ−１ライン：すべての画素：二値化及びエッジ
抽出Ｌ〜Ｍ−１ライン：０〜Ｐ−１画素：二値化及びエッジ
抽出Ｌ〜Ｍ−１ライン：Ｐ〜Ｑ−１画素：ブランク（コンパ
レータのゲイン＝０）Ｌ〜Ｍ−１ライン：Ｑ〜ラスト画素：二値化及びエッジ
抽出Ｍ〜ラストライン：すべての画素：二値化及びエッジ
抽出

【００２２】この場合の実際の転送手順は、以下のよう
になる。ＭＰＵ１は、まず二値化及びエッジ抽出の画像
処理命令（バイパススイッチ３１５及び３１６をオフに
するための命令）をセンサー３に送る。センサー３内で
は、スイッチ３１５，３１６がオフされ、コンパレータ
３１４のゲインも適切な値（例えば１）に設定される。
この状態でＭＰＵ１は、垂直転送パルスをＬ個出力す
る。この垂直転送パルスにより、０〜Ｌ−１ラインの全
画素について二値化及びエッジ抽出の処理が行われ、イ
メージゾーン３０からメモリーゾーン３２にＬライン分
の画像信号が転送される。

【００２３】その垂直転送パルスを出力し終えたら、Ｌ
〜Ｍ−１ラインのＰ〜Ｑ−１画素に対応するコンパレー
タ３１４のアンプのゲインのみを零にする。そして、垂
直転送パルスを（Ｍ−Ｌ）個出力する。その垂直転送パ
ルスを出力し終えたら、Ｐ〜Ｑ−１画素に対応するコン
パレータ３１４のアンプのゲインを元にもどす。そし
て、垂直転送パルスを（ラスト−Ｌ）個出力する。垂直
転送パルスを出力するたびに、ライン毎に転送がなさ
れ、同時にエッジ抽出及び二値化の処理が一ラインのす
べての画素に対して行われ、メモリーゾーン３２に順次
転送され、記憶される。ただし、中央部の画素について
はコンパレータ３１４のアンプのゲインが０にされる。
その結果、メモリーゾーン３２には、中央部の画素値が
０（一定値）として記憶される。周辺部の画素は、エッ
ジ部が論理値１となり、その他が論理値０となる。

【００２４】ステップＳＡ７では、メモリーゾーン３２
にすべての画素の情報が転送されたら、ＭＰＵ１は、シ
フトレジスタ３３及びアンプ３４を介して、Ａ／Ｄ変換
器４２に画像信号を読み込む。アンプ３４のゲインは、
電荷蓄積の制御情報を用いて決定する。

【００２５】ステップＳＡ８では、１回目の処理か否か
を判断する。一回目の処理であるときには、ステップＳ
Ａ１４へ進む。ステップＳＡ１４では、垂直転送パルス
に続き、水平画素数分の水平転送パルスがＭＰＵ１から
出力されると、水平転送パルスに同期して画像信号はＡ
／Ｄ変換され、さらにＤＭＡ（ダイレクトメモリアクセ
ス）機能を用いてメモリー２へ転送される。これによ
り、メモリー転送中も画像信号の処理すなわちブレ検出
の演算を行うことが可能になる。この際のＡ／Ｄ変換は
１ビットで行い、メモリー２にもビット単位での転送が
なされる。Ａ／Ｄ変換された８画素の情報は、１バイト
として転送される。

【００２６】次に、ステップＳＡ５へ戻り、２回目のフ
レーム画像について上記の処理を繰り返す。ステップＳ
Ａ８において、２回目以降の電荷蓄積の場合、ステップ
ＳＡ９に進む。ステップＳＡ９では、ＭＰＵ１が今読み
込んだ画像信号と前回（１タイミング前の割り込み）の
画像信号の相関値を求める。次に、ステップＳＡ１０で
は、各領域（エリア）の動き量（動きベクトル）を求め
る。１回目の場合は、１６分割された各エリアの画像を
メモリー２へ記憶するのみで、補正レンズ６の駆動を行
わない。メモリー２に記憶された画像は二値化された値
なので、その容量も少なく、汎用のＭＰＵ１に内蔵され
るメモリーの容量でも十分記憶可能な量とすることがで
きる。

【００２７】また、イメージゾーン３０の画素数を１２
８×１２８画素とした場合、フレームを１６分割し、中
央の４領域を中央部、周辺の１２領域を周辺部とする
と、各領域の画素数は１０２４画素である。ここで、各
領域内の中央部の１／４領域を、以下、中央１／４領域
と呼ぶ。各領域の画素数を１０２４画素とすると、中央
１／４領域の画素数は２５６画素であり、中央１／４領
域の各ラインの画素数は１６画素である。

【００２８】例えば、各領域内の中央１／４領域につい
て、画像の動き量を演算してブレ量を求めるとする。中
央１／４領域の１ラインの画素数は１６画素であるの
で、この演算は、１６ビットマイコンのビット演算機能
を用いることで容易に実現でき、ＭＰＵ１にとって負荷
は重くない。ＭＰＵ１は、１６分割された各領域の前回
の画像の中央１／４領域を読み出し、各領域毎に画像の
相関をとっていく。各領域のデータは、二値化され記憶
されているので、各中央１／４領域のデータは１ライン
につき１６ビットとなっている（全画素１２８×１２８
画素とした場合）。

【００２９】次に、ＭＰＵ１は、メモリー２から読み出
したデータをレジスタに格納し、このデータと、メモリ
ー２にＤＭＡ転送された今回の電荷蓄積によるデータと
を比較する。この比較は、メモリー２に記憶した今回の
電荷蓄積によるデータの読み出し位置を１画素ずつずら
しながら行う。両者の各画素の差の和を求め、その値を
１画素ずらす毎に異なる領域に記憶していく。各画素の
差の和は、ビット比較を行い、異なるビットの数を数え
ることで行う。２ライン目以降も同様の比較を行い、そ
の際の各画素の差の和を１ライン目の値が記憶されてい
る領域に加算していく。これが相関値である。

【００３０】そして、記憶された相関値が最も小さくな
ったところが、その領域における前回からの動き量（動
きベクトル）となる。すなわち相関値が最小になった際
の中央部から垂直及び水平方向にずらした画素数が垂直
及び水平方向の動き量となる。この量を記憶する。

【００３１】同様の処理を、センサー３で画像処理を行
った周辺部の全領域について行う。ステップＳＡ１１で
は、全領域について処理が終了したか否かを判断する。
終了していなければ、ステップＳＡ９へ戻り、次の領域
の処理を繰り返す。終了していれば、ステップＳＡ１２
へ進む。

【００３２】ステップＳＡ１２では、求まった動きベル
トルの平均値を垂直（ピッチ）方向及び水平（ヨー）方
向について求める。このピッチ方向の量をＹｐ、このヨ
ー方向の量をＹｙとする。次に、１６分割された各領域
内の中央１／４領域のデータをメモリー２に記憶する。
また、ＭＰＵ１は、一方向の加算平均を求めて射影像を
つくり、その相関値から動きベクトルを求めても良い。
次に、ステップＳＡ１３では、ＭＰＵ１は、ピッチ方向
量Ｙｐから補正レンズ６の駆動位置を求める。本実施例
では、ムービングマグネット（ＭＭ）を用いてコイルに
流す電流に比例した位置に補正レンズ６が移動する駆動
装置を用いる。ＭＰＵ１は、ピッチ方向量Ｙｐの値から
コイルに与える電流値を求める。コイルに流す電流は、
アナログ量として与えるのではなく、ＰＷＭ（パルス幅
変調）したものをデジタル量として与えるようにしてい
る。これは、ＭＰＵ１を用いて電流を制御する際にコス
ト的に有利であるなどの理由による。

【００３３】ピッチ方向量Ｙｐの値からＰＷＭのデュテ
ィーを求めるテーブルを用意しておき、ＭＰＵ１はピッ
チ方向量Ｙｐの値から該当するＰＷＭのデュティーの値
が格納されているメモリーのアドレスを求め、その値を
読み込むことでＰＷＭのデュティーを設定する。なお、
このテーブルはＥＥＰＲＯＭ４３に設定しておくことが
のぞましい。

【００３４】このようにしてＰＷＭの周期、デュティー
が求まったならば、ＭＰＵ１は所定のレジスタにこの値
を設定する。これにより、ＰＷＭされた駆動信号が補正
レンズ駆動装置４に与えられる。駆動信号を与えられた
補正レンズ駆動装置４は、与えられた信号に比例する電
流値をコイルに流し、補正レンズ６をピッチ方向（垂直
方向）の所定位置に駆動する。すなわち、次の駆動信号
が与えられるまでは、いま与えられた駆動信号に従って
補正レンズ６を所定位置に保持する。

【００３５】次に、ＭＰＵ１は、ヨー方向量Ｙｙから補
正レンズ６の駆動位置を求める。ＭＰＵ１は、ヨー方向
量Ｙｙの値からコイルに与える電流値を求める。コイル
に流す電流は、アナログ量として与えるのではなく、Ｐ
ＷＭ（パルス幅変調）したデジタル量として与えるよう
にしている。ヨー方向量Ｙｙの値からＰＷＭのデュティ
ーを求めるテーブルを用意しておき、ＭＰＵ１はヨー方
向量Ｙｙの値から該当するＰＷＭのデュティーの値が格
納されているメモリーのアドレスを求め、その値を読み
込むことでＰＷＭのデュティーを設定する。なお、この
テーブルはＥＥＰＲＯＭ４３に設定しておくことがのぞ
ましい。

【００３６】このようにしてＰＷＭの周期、デュティー
が求まったならば、ＭＰＵ１は所定のレジスタにこの値
を設定する。これによりＰＷＭされた駆動信号が補正レ
ンズ駆動装置５に与えられる。駆動信号を与えられた補
正レンズ駆動装置５は、与えられた信号に比例する電流
値をコイルに流し、補正レンズ６をヨー方向（水平方
向）の所定位置に駆動する。すなわち、次の駆動信号が
与えられるまでは、いま与えられた駆動信号に従って補
正レンズ６を所定位置に保持する。

【００３７】このようにして、ＭＰＵ１は、補正レンズ
６の駆動を行う処理を行う。すなわち、上述のようにタ
イマー４５からの割り込みが生じるたびにイメージゾー
ン（イメージセンサー）３０のデータを画像処理した出
力をＡ／Ｄ変換器４２に読み込み、デジタル演算を行
い、その結果から所望の補正レンズ６の駆動位置を与え
るコイルに流す電流値（ＰＷＭのデュティー）を求め、
その値を所定のレジスタに設定することで補正レンズ６
を駆動する。

【００３８】次に、ステップＳＡ１４で上記と同様に読
み込んだデータをメモリー２に記憶し、ステップＳＡ５
に戻って処理を繰り返す。このような処理を繰り返すこ
とにより、動きベクトルを検出し、補正レンズを適切に
駆動することができる。本実施例において、イメージゾ
ーン３０の画素数を１２８×１２８画素としたが、これ
は説明上の都合からであり、本実施例は他の画素数のイ
メージゾーンにも適用可能である。またフレームを１６
分割したが、それ以外の分割数にフレームを分割した場
合にも本実施例は適用可能である。

【００３９】（第２の実施例）第２の実施例は、図１に
示す第１の実施例と比べ、センサー３のみが異なり、そ
の他の部分は同じである。図５は、第２の実施例による
マイコン４１及びセンサー３の構成を示すブロック図で
ある。

【００４０】マイコン４１は、ＭＰＵ１、メモリー２、
タイマー４５及びＡ／Ｄ変換器４２を有する。センサー
３は、センサーのイメージゾーン（イメージセンサー）
３０、メモリーゾーン３２、エッジ抽出及び二値化を行
う第1の画像処理部３１、射影像を求める第２の画像処
理部３６、アナログメモリ３７、読み出し用のシフトレ
ジスタ３３、読み出し用のアンプ３４、及びセンサーの
ドライバー３５を有する。

【００４１】ＭＰＵ１は、駆動パルスや通信制御信号を
ドライバー３５に供給する。ドライバー３５は、イメー
ジゾーン３０、メモリーゾーン３２、第１の画像処理部
３１、第２の画像処理部３６、アナログメモリ３７、及
びシフトレジスタ３３を駆動する。

【００４２】図６は、第２の画像処理部３６、アナログ
メモリ３７及びシフトレジスタ３３の構成を示す回路図
である。第２の画像処理部３６の上には、第１の画像処
理部３１が接続される。第１の画像処理部３１は、図３
に示す画像処理部３１と同じ構成である。すなわち、第
１の画像処理部３１のコンパレータ３１４の出力端子
は、第２の画像処理部３６のバッファ３６０の入力端子
に接続される。３６０，３６２，３６５はバッファ、３
６１，３６４は加算器、３６３はアナログスイッチであ
る。回路動作の説明は、後に行う。

【００４３】なお、このセンサー３は、イメージゾーン
３０、メモリーゾーン３２及び画像処理部３１，３６等
を含み、Ｃ−ＭＯＳプロセスによりワンチップ（半導体
チップ）上に形成される。

【００４４】図７は、第２の実施例によるカメラの処理
を示すフローチャートである。カメラのメインスイッチ
をオンにすると、カメラのメインシーケンスが開始す
る。ステップＳＢ１では、ＭＰＵ１が初期処理の一連の
動作の中でＥＥＰＲＯＭ４３から各種のパラメータを読
み込み、メモリー２の所定のアドレスに格納する。

【００４５】次に、ステップＳＢ２では、撮影者が防振
システムの一連の動作を開始させるためにスイッチをオ
ンにするまで待機する。スイッチがオンにされると、ス
テップＳＢ３へ進み、処理で用いる変数の初期化等を行
う。ただし、ブレ補正は未だ行っていない。

【００４６】その後、ＭＰＵ１は、サンプリングのタイ
ミングを得るためのタイマー４５を起動する。このタイ
マー４５は、一定間隔毎に割り込みを発生するものであ
る。その間隔は、手振れの防止能力によって決定される
が、通常は１０ｍｓ〜３３ｍｓ程度になる。ＭＰＵ１
は、このタイマー４５からの割り込みが発生するたび
に、画像処理されたセンサー３の出力をＡ／Ｄ変換器４
２に読み込み、補正レンズ６の駆動位置を求めていく。
また、イメージゾーン３０の画素数も仕様により異なる
が、例えば１２８×１２８画素である。

【００４７】次に、ステップＳＢ５では、ＭＰＵ１がイ
メージゾーン３０の電荷蓄積を制御する。蓄積時間の決
定は、カメラのＡＥ情報を基に行っても良いし、あらか
じめ一定時間の予備蓄積を行い、その出力値の平均値な
どを用いても良い。次に、ステップＳＢ６では、イメー
ジゾーン３０のクリア動作を行った後、決定した蓄積時
間が経過したら、イメージゾーン３０に蓄積された電荷
をメモリーゾーン３２ヘ転送する。

【００４８】次に、ステップＳＢ７では、メモリーゾー
ン３２に転送された信号は、第１の画像処理部３１に供
給される。第１の画像処理部３１は、エッジ抽出及び二
値化を行い、第２の画像処理部３２に出力する。第２の
画像処理部３６は、射影像を求める。第１及び第２の画
像処理部３１，３６は、全ての処理を行う必要はなく、
いずれかの処理を行ってもよい。本実施例では、エッジ
抽出、二値化及び射影像算出処理を行う。その結果、得
られる信号を基にブレ量の検出を行う。図３に示す第１
の画像処理部３１のバイパススイッチ３１５及び３１６
をオンにすると、画像処理をしない信号（生信号）を出
力することもできる。バイパススイッチ３１５及び３１
６は、それぞれ二値化及びエッジ抽出を行うか否かを選
択的に制御できるので、エッジ抽出のみ、又は二値化の
みの画像処理を行うことも可能である。

【００４９】本実施例では、バイパススイッチ３１６の
みをオンにする。エッジ抽出は、第１の実施例と同様に
行われる。すなわち、イメージゾーン３０から読み出さ
れた電荷は、その画素と隣の画素の差が減算器３１０，
３１１で計算される。減算器３１０は、自分の画素の電
荷量から隣の画素の電荷量を引いた値を出力し、減算器
３１１は、隣の画素の電荷量から自分の画素の電荷量を
引いた値を出力する。ただし、減算器３１０，３１１の
低電圧の基準はＧＮＤであるので、その値が負のときは
減算器３１０，３１１の出力電圧は０Ｖとなる。

【００５０】加算器３１２は、減算器３１０の出力と減
算器３１１の出力とを加算する。加算器３１２の出力
は、自分の画素と隣の画素の電荷量の差の絶対値とな
り、画像の輝度値が大きく変化する画像のエッジ部分に
相当する部分で大きな出力となる。バッファ３１３は、
加算器３１２の出力を一時的に記憶する。次いで、エッ
ジ抽出された信号は、バッファ３１３からバイパススイ
ッチ３１６を経由して、図６のバッファ３６０に記憶さ
れる。

【００５１】第１の画像処理部３１は、各画素ごとに同
じものを水平方向の画素数分用意される。加算器３１２
のアンプのゲインは可変であり、画像のブランク信号が
発生する期間ではそのゲインを零にする。例えば、フレ
ームを１６分割し、中央の４領域を中央部、周辺の１２
領域を周辺部とする。中央部の主被写体の動きとブレを
区別するために、周辺部の画像を用いてブレ検出を行
う。周辺部の１２領域を転送する際は、加算器３１２の
アンプのゲインを画像処理のために適切なゲイン（通常
は１）に設定し、中央部の４領域を転送する際は加算器
３１２のアンプのゲインを零に設定する。

【００５２】第１の画像処理部３１は、各ラインの各画
素について以下の処理を行う。０〜Ｌ−１ライン：すべての画素：エッジ抽出Ｌ〜Ｍ−１ライン：０〜Ｐ−１画素：エッジ抽出Ｌ〜Ｍ−１ライン：Ｐ〜Ｑ−１画素：ブランク（加算器
のゲイン＝０）Ｌ〜Ｍ−１ライン：Ｑ〜ラスト画素：エッジ抽出Ｍ〜ラストライン：すべての画素：エッジ抽出

【００５３】上記の場合の実際の転送手順は以下のよう
になる。ＭＰＵ１は、まずエッジ画像処理命令（バイパ
ススイッチ３１５をオフ、バイパススイッチ３１６をオ
ン）をセンサー３に送る。センサー３内では、スイッチ
３１５，３１６が所定の位置にセットされ、加算器３１
２のゲインが適切な値に設定される。この状態で、ＭＰ
Ｕ１は垂直転送パルスをＬ個出力する。パルスを出力し
終えたら、Ｐ〜Ｑ−１画素に対応する加算器３１２のア
ンプのゲインを零に設定する。そして、垂直転送パルス
を（Ｍ−Ｌ）個出力する。パルスを出力し終えたら、Ｐ
〜Ｑ−１画素に対応する加算器３１２のアンプのゲイン
を元にもどす。そして、垂直転送パルスを（ラスト−
Ｌ）個出力する。

【００５４】垂直転送パルスを出力するたびに、ライン
毎に転送がなされ、同時にエッジ抽出の処理が一ライン
のすべての画素に対して行われる。第２の画像処理部３
６は、バッファ３６０に記憶された信号を用いて射影像
を求める。垂直方向の射影像を求める回路は、垂直方向
の加算を行う加算器３６１とその加算結果を保持するメ
モリー３６２からなるユニットが水平方向の画素数分設
けられる。水平方向の射影像を求める回路は、水平方向
の加算を行う加算器３６４とその加算結果を保持するメ
モリー３６５からなるユニットが各エリア毎に垂直方向
の画素数分設けられる。

【００５５】まず、射影像を求めるモードに、センサー
３の第２の画像処理部３６を設定するとともに、バッフ
ァ（水平方向射影像値バッファ３６５、垂直方向射影像
値バッファ３６２）をクリアする。エッジ抽出された信
号がバッファ３６０に記憶された状態で、アナログスイ
ッチ３６３は一番上段のスイッチのみをオン、下の２段
のスイッチをオフにする。

【００５６】アナログスイッチ３６３の制御端子には、
垂直転送パルスＹＶがカウンター３６８でカウントされ
た後、エンコーダー３６７でエンコードされた信号が入
力される。ＭＰＵ１から垂直転送パルスＹＶがカウンタ
ー３６８に入力するたびに、アナログスイッチ３６３が
オンになる部分が変化する。垂直転送パルスＹＶが一つ
入力すると上から２段目のスイッチがオンし、さらにも
う一つの垂直転送パルスが入力すると上から３段目のス
イッチがオンする。

【００５７】この状態で、ＭＰＵ１から水平転送パルス
がセンサー３に入力されると、バッファ３６０は入力し
たパルス数分左方向に信号の転送を行う。アナログスイ
ッチ３６３のオンした部分に接続された加算器３６４の
一方の端子には、アナログスイッチ３６３を介して、バ
ッファ３６０の左端の信号が入力する。水平転送パルス
が入力するたびに、加算器３６４はバッファ３６５の信
号とバッファ３６０の信号とを加算する。すなわち、バ
ッファ３６０内の水平方向の信号が足し合わされ、分割
されたエリア内の水平方向の射影像が求められる。

【００５８】また、垂直転送パルスＹＶが入力するたび
に、バッファ３６５には垂直方向の次の画素の信号が記
憶されるので、分割されたエリア内の垂直方向の画素数
分だけ垂直転送パルスを入力すれば、そのエリア内にお
ける全ラインの水平方向の射影像を求めることができ
る。この動作は、水平方向に分割された各エリアで同時
に行われる。本実施例では、４分割されているので、４
つのエリアで各エリア内における水平方向の射影像を同
時に求めることができる。

【００５９】アナログスイッチ３６３が一番上段のスイ
ッチのみをオンにした状態で、加算器３６１は、垂直方
向の１番目の画素の信号とバッファ３６２の信号（＝
０）とを加算する。加算結果は、バッファ３６２に記憶
される。これは、水平方向の全ての画素について同時に
行われる。よって、垂直転送パルスが入力するたびに、
次の画素のエッジ抽出された信号がバッファ３６２の信
号に足し合わされる。分割されたエリア内の垂直方向の
画素数分だけ垂直転送パルスを入力すれば、そのエリア
内における垂直方向の射影像を求めることができる。

【００６０】水平方向には４分割されているので、水平
方向及び垂直方向のそれぞれ４個づつの射影像が求めら
れる。垂直方向の射影像は、エンコーダー３６７から供
給される転送信号により、バッファ３６２からアナログ
メモリー３７に転送される。水平方向の射影像は、エン
コーダー３６７から供給される転送信号により、バッフ
ァ３６５からアナログメモリー３７に転送される。

【００６１】以上のように、垂直転送パルスを出力する
たびに、ライン毎に転送がなされ、同時にエッジ抽出の
処理が一ラインのすべての画素に対して行われ、また適
切に水平転送パルスを与えてやることにより第２の画像
処理部３６で射影像の算出処理が行われ、処理された出
力はアナログメモリー３７に順次転送され、記憶され
る。

【００６２】次に、ステップＳＢ８では、アナログメモ
リー３７にすべての画素の信号が転送されたら、ＭＰＵ
１はシフトレジスタ３３、アンプ３４を介して、Ａ／Ｄ
変換器４２に画像信号を読み込む。アンプのゲインは、
電荷蓄積を制御したときの情報を基に決定する。

【００６３】ステップＳＢ９では、１回目の処理か否か
を判断する。一回目の処理であるときには、ステップＳ
Ｂ１５へ進む。ステップＳＢ１５では、垂直転送パルス
に続き、水平画素数分の水平転送パルスがＭＰＵ１から
出力されると、水平転送パルスに同期して、画像信号は
Ａ／Ｄ変換され、さらにＤＭＡ機能を用いてメモリー２
へ転送される。これにより、メモリー２への転送中も画
像信号の処理すなわちブレ検出の演算を行うことができ
る。

【００６４】次に、ステップＳＢ５へ戻り、２回目のフ
レーム画像について上記の処理を繰り返す。ステップＳ
Ｂ９において、２回目以降の電荷蓄積の場合はステップ
ＳＢ１０に進む。ステップＳＢ１０では、ＭＰＵ１は今
読み込んだ画像信号と前回（１タイミング前の割り込
み）の画像信号の相関をとり、ステップＳＢ１１でブレ
量を求める。１回目の場合、１６分割された各エリア内
の中央１／２領域のデータをメモリー２へ記憶する。補
正レンズの駆動は未だ行わない。

【００６５】読み込まれた画像は射影像なので、その容
量も少なく、汎用のＭＰＵ１に内蔵されるメモリーの容
量でも十分記憶可能な量とすることができる。ＭＰＵ１
は、１６分割された各エリアの前回の水平方向射影像の
中央１／２領域の部分を読み出し、各エリア毎に射影像
の相関をとる。メモリー２から読み出したデータをレジ
スタに格納し、これとメモリー２にＤＭＡ転送された今
回の蓄積によるデータとを比較する。この比較は、メモ
リー２に記憶した今回の蓄積によるデータの読み出し位
置を１画素ずつずらしながら行う。両者の各画素の差の
和を求め、その値を１画素ずらす毎に異なる領域に記憶
していく。そして、記憶された相関値が最小になったと
ころが、そのエリアにおける前回からの水平方向の動き
量（水平方向動きベクトル）となる。相関値が最小とな
る画素数を記憶する。

【００６６】同様の処理を垂直方向の射影像について行
い、垂直方向の動き量（垂直方向動きベクトル）を求
め、相関値が最小となる画素数を記憶する。次に、ステ
ップＳＢ１２では、全エリアの処理が終了したか否かを
判断する。終了していなければ、ステップＳＢ１０へ戻
り、同様の処理を、センサー３で画像処理した周辺部の
全エリアについて行う。全エリアの処理が終了したら、
ステップＳＢ１３へ進む。

【００６７】ステップＳＢ１３では、求まった動きベル
トルの平均値を垂直（ピッチ）方向及び水平（ヨー）方
向について求める。その垂直方向平均値をＹｐとし、そ
の水平方向平均値をＹｙとする。次に、１６分割された
各エリアの前回の水平方向射影像の中央１／２領域の部
分をメモリー２に記憶する。

【００６８】次に、ステップＳＢ１４では、ＭＰＵ１は
垂直方向平均値Ｙｐから補正レンズ６の駆動位置を求め
る。本実施例では、ムービングマグネット（ＭＭ）を用
いたコイルに流す電流に比例した位置に補正レンズ６が
移動する駆動装置４，５を用いる。

【００６９】ＭＰＵ１は、垂直方向平均値Ｙｐの値から
コイルに与える電流値を求める。コイルに流す電流はア
ナログ量として与えるのではなく、ＰＷＭ（パルス幅変
調）したものをデジタル量として与えるようにしてい
る。これは、ＭＰＵ１を用いて電流を制御する際にコス
ト的に有利であるなどの理由による。

【００７０】垂直方向平均値Ｙｐの値からＰＷＭのデュ
ティーを求めるテーブルを用意しておき、ＭＰＵ１は垂
直方向平均値Ｙｐの値から該当するＰＷＭのデュティー
の値が格納されているメモリーのアドレスを求め、その
値を読み込むことでＰＷＭのデュティーを設定する。な
お、このテーブルはＥＥＰＲＯＭ４３に設定しておくこ
とがのぞましい。

【００７１】このようにしてＰＷＭの周期、デュティー
が求まったならばＭＰＵ１は所定のレジスタにこの値を
設定する。これにより、ＰＷＭされた駆動信号が補正レ
ンズ駆動装置４に与えられる。駆動信号を与えられた補
正レンズ駆動装置４は、与えられた信号に比例する電流
値をコイルに流し、補正レンズ６をピッチ方向（垂直方
向）の所定位置に駆動する。すなわち、次の駆動信号が
与えられるまでは、いま与えられた駆動信号に従って補
正レンズ６を所定位置に保持する。

【００７２】ついで、ＭＰＵ１は、水平方向平均値Ｙｙ
から補正レンズ６の駆動位置を求める。ＭＰＵ１は、水
平方向平均値Ｙｙの値からコイルに与える電流値を求め
る。コイルに流す電流は、アナログ量として与えるので
はなく、ＰＷＭ（パルス幅変調）したデジタル量として
与えるようにしている。水平方向平均値Ｙｙの値からＰ
ＷＭのデュティーを求めるテーブルを用意しておき、Ｍ
ＰＵ１は、水平方向平均値Ｙｙの値から該当するＰＷＭ
のデュティーの値が格納されてしるメモリーのアドレス
を求め、その値を読み込むことでＰＷＭのデュティーを
設定する。なお、このテーブルはＥＥＰＲＯＭ４３に設
定しておくことがのぞましい。

【００７３】このようにしてＰＷＭの周期、デュティー
が求まったならばＭＰＵ１は所定のレジスタにこの値を
設定する。これによりＰＷＭされた駆動信号が補正レン
ズ駆動装置５に与えられる。駆動信号を与えられた補正
レンズ駆動装置５は、与えられた信号に比例する電流値
をコイルに流し、補正レンズ６をヨー方向（水平方向）
の所定位置に駆動する。すなわち、次の駆動信号が与え
られるまでは、いま与えられた駆動信号に従って補正レ
ンズ６を所定位置に保持する。

【００７４】このようにして補正レンズ６の駆動を行う
処理をＭＰＵ１が行う。すなわち、上述のようにタイマ
ー４５からの割り込みが生じるたびに、イメージゾーン
３０のデータを画像処理した出力をＡ／Ｄ変換器４２に
読み込み、デジタル演算を行い、その結果から所望の補
正レンズの駆動位置を与えるコイルに流す電流値（ＰＷ
Ｍのデュティー）を求め、その値を所定のレジスタに設
定することで補正レンズ６を駆動する。

【００７５】次に、ステップＳＢ１５で上記と同様に読
み込んだデータをメモリー２に記憶し、ステップＳＢ５
に戻って処理を繰り返す。このような処理を繰り返すこ
とにより、動きベクトルを検出し、補正レンズを適切に
駆動することができる。本実施例において、イメージゾ
ーン３０の画素数を１２８×１２８としたが、これは説
明上の都合からであり、本実施例は他の画素数のイメー
ジゾーンにも適用可能である。また、フレームを１６分
割したが、それ以外の分割数にフレームを分割した場合
にも本実施例は適用可能である。

【００７６】（第３の実施例）第３の実施例は、図１に
示す第１及び第２の実施例と比べ、センサー３のみが異
なり、その他の部分は同じである。図８は、第３の実施
例によるマイコン４１及びセンサー３の構成を示すブロ
ック図である。

【００７７】マイコン４１は、ＭＰＵ１、メモリー２、
タイマー４５及びＡ／Ｄ変換器４２を有する。センサー
３は、センサーのイメージゾーン（イメージセンサー）
３０、エッジ抽出、二値化及び射影像処理を行う画像処
理部３９、第１のメモリーゾーン３２０、第２のメモリ
ーゾーン３２１、第１の読み出し用のシフトレジスタ３
３０、第２の読出し用シフトレジスタ３３１、相関演算
を行う画像処理部３８、読み出し用のアンプ３４、及び
センサーのドライバー３５を有する。

【００７８】ＭＰＵ１は、駆動パルスや通信制御信号を
ドライバー３５に供給する。ドライバー３５は、イメー
ジゾーン３０、画像処理部３９、メモリーゾーン３２
０，３２１、及びシフトレジスタ３３０，３３１を駆動
する。なお、このセンサー３は、イメージゾーン３０、
画像処理部３８，３９、及びメモリーゾーン３２０，３
２１等を含み、Ｃ−ＭＯＳプロセスによりワンチップ
（半導体チップ）上に形成される。

【００７９】図９は、第３の実施例によるカメラの処理
を示すフローチャートである。カメラのメインスイッチ
をオンにすると、カメラのメインシーケンスが開始す
る。ステップＳＣ１では、ＭＰＵ１が初期処理の一連の
動作の中でＥＥＰＲＯＭ４３から各種のパラメータを読
み込み、メモリー２の所定のアドレスに格納する。

【００８０】次に、ステップＳＣ２では、撮影者が防振
システムの一連の動作を開始させるためのスイッチをオ
ンにするまで待機する。スイッチがオンにされると、ス
テップＳＣ３へ進み、処理で用いる変数の初期化等を行
う。ただし、ブレ補正は未だ行っていない。

【００８１】その後、ＭＰＵ１は、サンプリングのタイ
ミングを得るためのタイマー４５を起動する。このタイ
マー４５は、一定間隔毎に割り込みを発生するものであ
る。その間隔は、手振れの防止能力によって決定される
が、通常は１０ｍｓ〜３３ｍｓ程度である。ＭＰＵ１
は、このタイマー４５からの割り込みが発生するたび
に、センサー３の出力をＡ／Ｄ変換器４２に読み込み、
補正レンズ６の駆動位置を求める。また、イメージゾー
ン３０の画素数は、例えば１２８×１２８画素である。

【００８２】次に、ステップＳＣ５では、ＭＰＵ１がイ
メージゾーン３０の電荷蓄積を制御する。蓄積時間の決
定は、カメラのＡＥ情報を基に行っても良いし、あらか
じめ一定時間の予備蓄積を行いその出力値の平均値など
を用いても良い。次に、ステップＳＣ６では、イメージ
ゾーン３０のクリア動作を行った後、決定した蓄積時間
が経過したら、イメージゾーン３０に蓄積された電荷を
画像処理部３９に転送する。画像処理部３９は、エッジ
抽出、二値化、及び射影像算出もしくはいずれかの処理
を行う。画像処理部３９の構成は、図３及び図６に示し
た構成と同じである。

【００８３】図３に示すバイパススイッチ３１５，３１
６をオンすることにより、画像処理をしない信号（生信
号）を出力することもできる。バイパススイッチ３１
５，３１６は二値化及びエッジ抽出を選択的に独立して
制御できるので、エッジ抽出のみ、又は二値化のみの画
像処理を行うことも可能である。本実施例では、バイパ
ススイッチ３１６のみをオンにし、エッジ抽出及び射影
像算出処理を行い、その結果得られる信号によりブレ量
の検出を行う。

【００８４】エッジ抽出は、図３の回路を用い、第１及
び第２の実施例と同様に行われる。射影像算出処理は、
図６の回路を用い、第２の実施例と同様に行われる。す
なわち、イメージゾーン３０から読み出された電荷は、
その画素と隣の画素の差が減算器３１０，３１１で計算
される。減算器３１０は、自分の画素の電荷量から隣の
画素の電荷量を引いた値を出力し、減算器３１１は隣の
画素の電荷量から自分の画素の電荷量を引いた値を出力
する。ただし、減算器３１０，３１１の低電圧の基準
は、ＧＮＤであるので、その値が負のときは減算器３１
０，３１１の出力電圧は０Ｖとなる。そして、減算器３
１０，３１１の出力を加算器３１２で加算する。加算器
３１２の出力は、自分の画素と隣の画素の電荷量の差の
絶対値となり、画像の輝度値が大きく変化する画像のエ
ッジ部分に相当する部分で大きな出力となる。この出力
は、バッファ３１３に一時的に記憶される。次いで、バ
イパススイッチ３１６を経由してエッジ抽出された信号
は、バッファ３６０に記憶される。

【００８５】次に、この信号を用いて射影像を求める。
図６において、垂直方向の射影像を求める回路は、垂直
方向の加算を行う加算器３６１とその結果を保持するメ
モリー３６２からなるユニットが水平方向の画素数分あ
る。水平方向の射像を求める回路は、水平方向の加算を
行う加算器３６４とその結果を保持するメモリー３６５
からなるユニットがエリア内の垂直方向の画素数分あ
る。

【００８６】まず、射影像を求めるモードに画像処理部
３８を設定するとともに、バッファ（水平方向射影像値
バッファ３６５、垂直方向射影像値バッファ３６２）を
クリアする。バッファ３６０にエッジ抽出された信号が
記憶された状態で、アナログスイッチ３６３は一番上段
のスイッチのみをオン、下２段のスイッチをオフにす
る。アナログスイッチ３６３の制御端子には、垂直転送
パルスＹＶがカウンター３６８でカウントされた後、エ
ンコーダー３６７でエンコードされた信号が入力され
る。ＭＰＵ１から垂直転送パルスが入力されるたびに、
アナログスイッチ３６３のオンになる部分が変化する。
垂直転送パルスが一つ入力すると上から２番目のスイッ
チがオンし、さらにもう一つの垂直転送パルスが入力す
ると上から３番目のスイッチがオンする。

【００８７】この状態で、水平転送パルスが入力する
と、バッファ３６０は入力したパルス数分左方向に信号
の転送を行う。アナログスイッチ３６３のオンした部分
に接続された加算器３６４の一方の端子には、アナログ
スイッチ３６３を介して、バッファ３６０の左端の信号
が入力するので、水平転送パルスが入力するたびに、加
算器３６４でバッファ３６５の信号とバッファ３６０の
信号が順次たしあわされる。すなわち、バッファ３６０
の信号が足し合わされ、分割されたエリアの水平方向の
射影像が求められる。垂直転送パルスが入力するたび
に、バッファ３５０には垂直方向の次の画素の信号が記
憶されるので、分割されたエリアの垂直方向の画素数分
だけ垂直転送パルスを入力すれば、そのエリア内におけ
る全ラインの水平方向の射影像を求めることができる。
この動作は、水平方向に分割された各エリアで同時に行
われる。４分割されている場合には、４つのエリアで各
エリアにおける水平方向の射影像を同時に求めることが
できる。

【００８８】アナログスイッチ３６３は、一番上段のス
イッチのみがオンの状態では、加算器３６１で垂直方向
の１番目の画素の信号がバッファ３６２の信号（＝０）
とたされ、バッファ３６２に記憶される。この処理は、
水平方向の全ての画素について同時に行われる。垂直転
送パルスが入力するたびに、次の画素のエッジ処理され
た信号がバッファ３６２の信号にたしあわされるので、
分割されたエリアの垂直方向の画素数分だけ垂直転送パ
ルスを入力すれば、そのエリアにおける垂直方向の射影
像を求めることができる。

【００８９】水平方向には４分割されているので、水平
方向及び垂直方向のそれぞれ４個づつの射影像が求まっ
たことになる。この射影像の信号を、エンコーダー３６
７から出力される転送信号により、第１のメモリーゾー
ン３２０に転送する。このような画像処理部３９は、各
画素ごとに同じものを水平方向の画素数分用意される。
加算器３１２のアンプのゲインは可変であり、画像のブ
ランク信号を発生する期間のときはそのゲインを零にす
る。

【００９０】例えば、フレームを１６分割し、中央の４
領域を中央部、周辺の１２領域を周辺部として扱う。中
央付近の主被写体の動きとブレを区別するために、周辺
部の画像のみを用いてブレ検出を行う。周辺部の１２領
域を転送する際は加算器３１２のアンプのゲインを画像
処理するために適切なゲイン（通常は１）にし、中央部
の４領域を転送する際は加算器３１２のアンプのゲイン
を零にする。

【００９１】第１の画像処理部３９のうちの画像処理部
３１に相当する部分は、各ラインの各画素について以下
の処理を行う。０〜Ｌ−１ライン：すべての画素：エッジ抽出Ｌ〜Ｍ−１ライン：０〜Ｐ−１画素：エッジ抽出Ｌ〜Ｍ−１ライン：Ｐ〜Ｑ−１画素：ブランク（加算器
のゲイン＝０）Ｌ〜Ｍ−１ライン：Ｑ〜ラスト画素：エッジ抽出Ｍ〜ラストライン：すべての画素：エッジ抽出

【００９２】上記の場合の実際の転送手順は以下のよう
になる。ＭＰＵ１は、エッジ画像処理命令（バイパスス
イッチ３１５をオフ、バイパススイッチ３１６をオン）
をセンサー３に送る。バイパススイッ３１５，３１６は
所定の位置にセットされ、加算器３１２のゲインも適切
な値に設定される。この状態で、ＭＰＵ１は垂直転送パ
ルスをＬ個出力する。パルスを出力し終えたら、Ｐ〜Ｑ
−１画素に対応する加算器３１２のアンプのゲインを零
にする。そして、垂直転送パルスを（Ｍ−Ｌ）個出力す
る。パルスを出力し終えたら、Ｐ〜Ｑ−１画素に対応す
る加算器３１２のアンプのゲインを元にもどす。そし
て、垂直転送パルスを（ラスト−Ｌ）個出力する。

【００９３】垂直転送パルスを出力するたびに、ライン
毎に転送がなされ、同時にエッジ抽出の処理が一ライン
のすべての画素に対して行われ、また適切に水平転送パ
ルスを与えてやることにより射影像の算出の処理が行わ
れ、処理された出力は第１のメモリーゾーン３２０に順
次転送され、記憶される。

【００９４】もし２回目以降の蓄積であったならば、Ｍ
ＰＵ１は今読み込んだ画像信号と前回（１タイミング前
の割り込み）の画像信号の相関をとることによりブレ量
を求める。１回目の場合は、第１のメモリーゾーン３２
０の内容を第２のメモリーゾーン３２１に転送する動作
のみを行う。

【００９５】第１のメモリーゾーン３２０にすべての画
素の信号が転送されたら、ＭＰＵ１はまず水平方向の射
影像の相関値を画像処理部（相関演算回路）３８で求
め、アンプ３４を介して、Ａ／Ｄ変換器４２に読み込
む。アンプ３４のゲインは、蓄積を制御したときの情報
を用いて決定する。

【００９６】相関値の計算は、以下のように行う。ステ
ップＳＣ７では、水平方向の射影像を選択する。第１の
シフトレジスタ３３０には第１のメモリーゾーン３２０
の分割されたエリアの一番目のエリアの水平方向の射影
像のデータのうち中央１／２領域の部分を転送する。ま
た、第２のシフトレジスタ３３１には、第２のメモリー
ゾーン３２１の分割されたエリアの一番目のエリアの水
平方向の射影像のデータのうち先頭から１／２の部分を
転送する。

【００９７】次に、ステップＳＣ８では、二つのシフト
レジスタ３３０，３３１のデータを同期して出力し、そ
の差の絶対値の和（相関値）を求めていく。次に、ステ
ップＳＣ９では、シフトレジスタ３３０，３３１の全て
のデータの出力が終わったら、相関演算回路３８の出
力、すなわち二つのシフトレジスタ３３０，３３１のデ
ータの差の絶対値の和（相関値）をアンプ３４を介して
ＭＰＵ１が読み込み、その値をメモリー２に記憶する。

【００９８】次いで、ステップＳＣ１０では、第２のシ
フトレジスタ３３１に第２のメモリーゾーン３２１の分
割されたエリアの一番目のエリアの水平方向の射影像の
データを一画素ずらした（シフトした）ものを転送す
る。そして、二つのシフトレジスタ３３０，３３１のデ
ータを同期して出力し、その差の絶対値の和を求めてい
く。シフトレジスタ３３０，３３１の全てのデータの出
力が終わったら、相関演算回路３８の出力、すなわち二
つのシフトレジスタ３３０，３３１のデータの差の絶対
値の和（相関値）をアンプ３４を介してＭＰＵ１が読み
込み、その値をメモリー２に記憶する。

【００９９】次に、ステップＳＣ１１では、全画素（全
ビット）のシフトが終了したか否かを判断する。終了し
ていなければ、ステップＳＣ８へ戻り、上記の動作を第
２のメモリーゾーン３２１の分割されたエリアの一番目
のエリアの水平方向の射影像のデータの全ビットをずら
し終えるまで続ける。そして、全ビットずらし終えた
ら、記憶された相関値のうち、最小の値を与えるところ
が、そのエリアにおける前回からの水平方向の動き量
（水平方向動きベクトル）となる。このときの画素数を
記憶する。

【０１００】同様の処理を垂直方向の射影像についても
行い、そのときの画素数を記憶する。すなわち、ＭＰＵ
１は、まず垂直方向の射影像の相関値を相関演算回路３
８で求め、アンプ３４を介して、Ａ／Ｄ変換器４２に読
み込む。アンプ３４のゲインは蓄積を制御したときの情
報を用いて決定する。

【０１０１】相関値の計算は、以下のように行う。ま
ず、ステップＳＣ１２で垂直方向の射影像を選択する。
第１のシフトレジスタ３３０には第１のメモリーゾーン
３２０の分割されたエリアの一番目のエリアの垂直方向
の射影像のデータのうち中央１／２領域の部分を転送す
る。また、第２のシフトレジスタ３３１には第２のメモ
リーゾーン３２１の分割されたエリアの一番目のエリア
の垂直方向の射影像のデータのうち先頭から１／２の部
分を転送する。

【０１０２】次に、ステップＳＣ１３では、二つのシフ
トレジスタのデータを同期して出力し、その差の絶対値
の和（相関値）を求めていく。シフトレジスタ３３０，
３３１の全てのデータの出力が終わったら、ステップＳ
Ｃ１４において、相関演算回路３８の出力、すなわち二
つのシフトレジスタ３３０，３３１のデータの差の絶対
値の和（相関値）をアンプ３４を介してＭＰＵ１が読み
込み、その値をメモリー２に記憶する。次いで、ステッ
プＳＣ１５では、第２のシフトレジスタ３３１に、第２
のメモリーゾーン３２１の分割されたエリアの一番目の
エリアの垂直方向の射影像のデータを一画素ずらしたも
のを転送する。そして、二つのシフトレジスタ３３０，
３３１のデータを同期して出力し、その差の絶対値の和
を求めていく。シフトレジスタ３３０，３３１の全ての
データの出力が終わったら、相関演算回路３８の出力、
すなわち二つのシフトレジスタ３３０，３３１のデータ
の差の絶対値の和（相関値）をアンプ３４を介してＭＰ
Ｕ１が読み込み、その値をメモリー２に記憶する。

【０１０３】ステップＳＣ１６では、全画素（全ビッ
ト）のシフトが終了したか否かを判断する。終了してい
なければ、ステップＳＣ１３へ戻り、上記の動作を第２
のメモリーゾーン３２１の分割されたエリアの一番目の
エリアの垂直方向の射影像のデータの全ビットをずらし
終えるまで続ける。そして、記憶された相関値のうち、
最小値を与えるところが、そのエリアにおける前回から
の垂直方向の動き量（水平方向動きベクトル）となる。
このときの画素数を記憶する。

【０１０４】同様の処理を、センサー３で画像処理を行
った周辺部の全エリアについて行う。そして求まった動
きベルトルの平均値を垂直（ピッチ）方向及び水平（ヨ
ー）方向について求め、これらの量をそれぞれＹｐ，Ｙ
ｙとする。最後に、第１のメモリーゾーン３２０の内容
を第２のメモリーゾーン３２１に転送する。

【０１０５】ついで、ＭＰＵ１は、垂直方向平均値Ｙｐ
から補正レンズ６の駆動位置を求める。本実施例では、
ムービングマグネット（ＭＭ）を用いたコイルに流す電
流に比例した位置に補正レンズ６が移動する駆動装置
４，５を用いる。ＭＰＵ１は、垂直方向平均値Ｙｐの値
からコイルに与える電流値を求める。コイルに流す電流
はアナログ量として与えるのではなく、ＰＷＭ（パルス
幅変調）したデジタル量として与えるようにしている。
これはＭＰＵ１を用いて電流を制御する際にコスト的に
有利であるなどの理由による。垂直方向平均値Ｙｐの値
からＰＷＭのデュティーを求めるテーブルを用意してお
き、ＭＰＵ１は垂直方向平均値Ｙｐの値から該当するＰ
ＷＭのデュティーの値が格納されているメモリーのアド
レスを求め、その値を読み込むことでＰＷＭのデュティ
ーを設定する。なお、このテーブルはＥＥＰＲＯＭ４３
に設定しておくことがのぞましい。

【０１０６】このようにしてＰＷＭの周期、デュティー
が求まったならばＭＰＵ１は所定のレジスタにこの値を
設定する。これにより、ＰＷＭされた駆動信号が補正レ
ンズ駆動装置４に与えられる。駆動信号を与えられた補
正レンズ駆動装置４は、与えられた信号に比例する電流
値をコイルに流し、補正レンズ６をピッチ方向（垂直方
向）の所定位置に駆動する。すなわち、次の駆動信号が
与えられるまではいま与えられた駆動信号に従って補正
レンズ６を所定位置に保持する。

【０１０７】ついで、ＭＰＵ１は、水平方向平均値Ｙｙ
から補正レンズ６の駆動位置を求める。ＭＰＵ１は、水
平方向平均値Ｙｙの値からコイルに与える電流値を求め
る。コイルに流す電流は、アナログ量として与えるので
はなく、ＰＷＭ（パルス幅変調）したデジタル量として
与えるようにしている。水平方向平均値Ｙｙの値からＰ
ＷＭのデュティーを求めるテーブルを用意しておき、Ｍ
ＰＵ１は水平方向平均値Ｙｙの値から該当するＰＷＭの
デュティーが格納されているメモリーのアドレスを求
め、その値を読み込むことでＰＷＭのデュティーを設定
する。なお、このテーブルはＥＥＰＲＯＭ４３に設定し
ておくことがのぞましい。

【０１０８】このようにしてＰＷＭの周期、デュティー
が求まったならばＭＰＵ１は所定のレジスタにこの値を
設定する。これにより、ＰＷＭされた駆動信号が補正レ
ンズ駆動装置５に与えられる。駆動信号を与えられた補
正レンズ駆動装置５は、与えられた信号に比例する電流
値をコイルに流し、補正レンズ６をヨー方向（水平方
向）の所定位置に駆動する。すなわち、次の駆動信号が
与えられるまではいま与えられた駆動信号に従って補正
レンズ６を所定位置に保持する。

【０１０９】このようにして補正レンズ６の駆動を行う
処理をＭＰＵ１が行う。すなわち、上述のようにタイマ
ー４５からの割り込みが生じるたびに、イメージゾーン
３０のデータを画像処理した出力をＡ／Ｄ変換器４２に
読み込み、デジタル演算を行い、その結果から所望の補
正レンズ６の駆動位置を与えるコイルに流す電流値（Ｐ
ＷＭのデュティー）を求め、その値を所定のレジスタに
設定することで補正レンズ６を駆動する。

【０１１０】その後、ステップＳＣ５へ戻り、次のフレ
ーム画像の電荷蓄積（生成）を行い、上記と同様の処理
を繰り返す。本実施例において、イメージゾーン３０の
画素数を１２８×１２８としたが、これは説明上の都合
からであり、本実施例は他の画素数のイメージゾーンに
も適用可能である。また、フレームを１６分割したが、
それ以外の分割数にフレームを分割した場合にも本実施
例は適用可能である。

【０１１１】以上説明してきたように本実施例において
は、センサー３をＣ−ＭＯＳプロセスで製造することに
より、イメージゾーン（イメージセンサー）、メモリー
ゾーン、画像処理部などをワンチップ上に形成する。ま
た、第１及び第２の実施例では、画像処理の一部分をセ
ンサー３にて、残りの部分をＭＰＵ１などの演算手段に
て行うことで、比較的処理能力の低いマイコンを用いた
場合においても小さな回路規模で実時間処理を可能にす
る。すなわち、低コストで画像のブレ量を検出するシス
テムを構成することができる。

【０１１２】更に、画像処理のための画像データ生成の
ためのフレームを複数の領域に分割し、例えば中央部と
周辺部に分割し、各々の領域において生成された画像デ
ータの画像処理方法を異ならせることで、具体的には主
被写体の存在する確率が高いフレームの中央部において
はブランク信号（一定値）を出力するようにし、その確
率の低い周辺部はエッジ抽出、二値化、射影像の算出な
どの画像処理を行うことで、主被写体の動きと手振れの
分離を行い、適切な手振れ補正を行うことができる。

【０１１３】上述した実施例の機能を実現するべくコン
ピュータ（ＭＰＵ又はＣＰＵ）に対し、上記実施例の機
能を実現するためのソフトウェアのプログラムコードを
供給し、そのコンピュータに格納されたプログラムに従
って動作させることによって実施したものも、本発明の
範疇に含まれる。

【０１１４】この場合、上記ソフトウェアのプログラム
コード自体が上述した実施例の機能を実現することにな
り、そのプログラムコード自体、およびそのプログラム
コードをコンピュータに供給するための手段、例えばか
かるプログラムコードを格納した記録媒体は本発明を構
成する。かかるプログラムコードを記憶する記録媒体と
しては、例えばフロッピーディスク、ハードディスク、
光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テー
プ、不揮発性のメモリカード、ＲＯＭ等を用いることが
できる。

【０１１５】また、コンピュータが供給されたプログラ
ムコードを実行することにより、上述の実施例の機能が
実現されるだけでなく、そのプログラムコードがコンピ
ュータにおいて稼働しているＯＳ（オペレーティングシ
ステム）あるいは他のアプリケーションソフト等と共同
して上述の実施例の機能が実現される場合にもかかるプ
ログラムコードは本発明の実施例に含まれることは言う
までもない。

【０１１６】さらに、供給されたプログラムコードがコ
ンピュータの機能拡張ボードやコンピュータに接続され
た機能拡張ユニットに備わるメモリに格納された後、そ
のプログラムコードの指示に基づいてその機能拡張ボー
ドや機能拡張ユニットに備わるＣＰＵ等が実際の処理の
一部または全部を行い、その処理によって上述した実施
例の機能が実現される場合にも本発明に含まれることは
言うまでもない。

【０１１７】なお、上記実施例は、何れも本発明を実施
するにあたっての具体化のほんの一例を示したものに過
ぎず、これらによって本発明の技術的範囲が限定的に解
釈されてはならないものである。すなわち、本発明はそ
の精神、またはその主要な特徴から逸脱することなく、
様々な形で実施することができる。

【０１１８】

【発明の効果】以上説明したように本発明によれば、フ
レーム分割した領域に応じて異なる画像処理を行うこと
により、領域の性質を活かした画像処理を行うことがで
きる。例えば、フレームの中央部に存在する主被写体の
動きとカメラの手振れとを区別するために、フレームの
中央部とその周辺部とで異なる画像処理を行うことがで
きる。

【図面の簡単な説明】

【図１】本発明の第１、第２及び第３の実施例によるカ
メラを示すブロック図である。

【図２】第１の実施例のマイコン及びセンサーの内部構
造の概略図である。

【図３】第１の実施例のセンサー画像処理部の構造の概
略図である。

【図４】第１の実施例によるカメラの動作を示すフロー
チャートである。

【図５】第２の実施例のマイコン及びセンサーの内部構
造の概略図である。

【図６】第２の実施例のセンサー画像処理部の構造の概
略図である。

【図７】第２の実施例によるカメラの動作を示すフロー
チャートである。

【図８】第３の実施例のマイコン及びセンサーの内部構
造の概略図である。

【図９】第３の実施例によるカメラの動作を示すフロー
チャートである。

【符号の説明】

１ＭＰＵ（マイクロプロセッシングユニット）２メモリー３センサー４ピッチ方向に補正レンズを駆動するための補正レン
ズ駆動装置５ヨー方向に補正レンズを駆動するための補正レンズ
駆動装置６手振れを補正するための補正レンズ３０センサーのイメージゾーン３１エッジ抽出及び二値化を行う画像処理部３２メモリーゾーン３３読み出し用のシフトレジスタ３４読み出し用のアンプ３５センサーのドライバー３６射影像を求める画像処理部３７アナログメモリー３８相関演算を行う画像処理部３９エッジ抽出、二値化、射影像を求める画像処理部４１マイコン４２Ａ／Ｄ変換器４３ＥＥＰＲＯＭ４４位置センサー４５タイマー３１０，３１１減算器３１２加算器３１３バッファ３１４コンパレータ３６０，３６２，３６５バッファ３６１，３６４加算器３６３アナログスイッチ３２０．３２１メモリーゾーン３３０，３３１読み出し用のシフトレジスタ

Claims

【特許請求の範囲】

【請求項１】フレーム画像を複数の領域に分割し、該
領域に応じて異なる画像処理を行う画像処理手段を有す
る画像信号処理装置。
【請求項２】前記画像処理手段は、前記フレーム画像
を中央部と周辺部に分割して画像処理を行う請求項１記
載の画像信号処理装置。
【請求項３】さらに、画像データを生成するイメージ
ゾーンと、画像データを記憶するメモリーゾーンとを有し、前記画像処理手段は、前記イメージゾーンで生成された
画像データに対して画像処理を行い、前記メモリーゾーンは、前記画像処理手段により画像処
理された画像データを記憶する請求項１又は２記載の画
像信号処理装置。
【請求項４】前記画像処理手段は、分割された領域の
うちのいずれの領域については一定値の画像データを出
力する請求項１〜３のいずれかに記載の画像信号処理装
置。
【請求項５】前記画像処理手段は、エッジ抽出を行う
請求項１〜４のいずれかに記載の画像信号処理装置。
【請求項６】前記画像処理手段は、二値化処理を行う
請求項１〜４のいずれかに記載の画像信号処理装置。
【請求項７】前記画像処理手段は、射影像算出処理を
行う請求項１〜４のいずれかに記載の画像信号処理装
置。
【請求項８】さらに、前記画像処理手段により画像処
理された第１のフレーム画像とその前のフレームである
第２のフレーム画像との相関演算を行う相関演算手段を
有する請求項１〜７のいずれかに記載の画像信号処理装
置。
【請求項９】前記イメージゾーン、前記画像処理手段
及び前記メモリーゾーンがワンチップ上に形成されてい
る請求項３記載の画像信号処理装置。
【請求項１０】前記ワンチップは、Ｃ−ＭＯＳで形成
されている請求項９記載の画像信号処理装置。
【請求項１１】さらに、前記相関演算の結果に応じて
カメラの手振れ量を検出する手振れ検出手段と、前記手振れ量に応じてレンズを駆動する駆動手段とを有
する請求項８記載の画像信号処理装置。
【請求項１２】前記手振れ検出手段は、垂直方向及び
水平方向の手振れ量を検出し、前記駆動手段は、垂直方向及び水平方向にレンズを駆動
する請求項１１記載の画像信号処理装置。
【請求項１３】（ａ）フレーム画像を複数の領域に分
割し、該領域に応じて異なる画像処理を行うステップを
有する画像信号処理方法。
【請求項１４】さらに、（ｂ）前記ステップ（ａ）の
前に画像データを生成するステップと、（ｃ）前記ステップ（ａ）の後に前記画像処理された画
像データを記憶するステップとを有する請求項１３記載
の画像信号処理方法。
【請求項１５】さらに、（ｄ）前記ステップ（ａ）の
後に前記画像処理された第１のフレーム画像とその前の
フレームである第２のフレーム画像との相関演算を行う
ステップを有する請求項１３又は１４記載の画像信号処
理方法。
【請求項１６】さらに、（ｅ）前記相関演算の結果に
応じてカメラの手振れ量を検出するステップと、（ｆ）前記手振れ量に応じてレンズを駆動するステップ
とを有する請求項１５記載の画像信号処理方法。
【請求項１７】（ａ）フレーム画像を複数の領域に分
割し、該領域に応じて異なる画像処理を行う手順をコン
ピュータに実行させるためのプログラムを記録したコン
ピュータ読み取り可能な記録媒体。
【請求項１８】さらに、（ｂ）前記手順（ａ）の前に
画像データを生成する手順と、（ｃ）前記手順（ａ）の後に前記画像処理された画像デ
ータを記憶する手順とを有する請求項１７記載のコンピ
ュータ読み取り可能な記録媒体。
【請求項１９】さらに、（ｄ）前記手順（ａ）の後に
前記画像処理された第１のフレーム画像とその前のフレ
ームである第２のフレーム画像との相関演算を行う手順
を有する請求項１７又は１８記載のコンピュータ読み取
り可能な記録媒体。
【請求項２０】さらに、（ｅ）前記相関演算の結果に
応じてカメラの手振れ量を検出する手順と、（ｆ）前記手振れ量に応じてレンズを駆動する手順とを
有する請求項１９記載のコンピュータ読み取り可能な記
録媒体。