JP2009065283A - 画像ぶれ補正装置 - Google Patents

Abstract

【課題】画像ぶれを電子的にピクセル／ライン単位以上の高精細さで補正できる画像ぶれ補正装置を提供する。
【解決手段】入力画像信号の初期画像をメモリする第１画像メモリと、前記初期画像に隣接する現画像をメモリする第２画像メモリとを備え、現画像そのもの及び現画像中心部を座標原点とし複数方向に画像を一定量シフトさせて順次読み出した第２画像と、前記第１画像メモリから読み出した第１画像との各画像中央領域の画素ごとにブロックマッチング処理を行う動き推定手段と、該動き推定手段により得られた推定動き量で動き補正された第２画像と前記第１画像とにより各画像中央領域の１／２画素以下のサブピクセル／サブラインに相当する画素ごとの輝度値の時間的勾配と空間的勾配から輝度値の差分値の最小値を求めてぶれ補正値とし、該ぶれ補正値によって画像のぶれを補正している。
【選択図】 図２

Description

本発明は、画像ぶれが発生した映像信号のぶれ補正技術に係り、入力映像信号の画像のぶれを高品位かつ高精度に補正する技術に関する。

近年、撮像カメラはデジタル化され、その取扱いの容易さ及び多機能化が容易なことから目覚ましい発展を遂げ、汎用、監視用の用途に使用されることが多くなってきた。ことに監視系においては、防犯、情報、天気、河川など屋外の鉄塔上などから監視を行い撮影や撮影画像の収録を行う場合が多い。

この場合、設置した撮像装置自体又は固定台が風などの気象状況や大地からの振動の影響により揺れが発生し、撮影又は収録画像がぶれて画面が二重となり、ぼけ障害が発生し明瞭な画像が得られないことが多々ある。特に望遠レンズを使用した監視の場合は、これらの画像ぶれはさらに増大する。

現在、これら障害となる画像ぶれを補正する方法として撮像装置本体内にジャイロなどの加速度センサを用いて装置本体のぶれを検知し、レンズ系を機械的に移動させる光学的なぶれ補正方法と、撮影して画像となったデータを撮像装置本体、又は外部の映像装置に映像処理回路を設けデジタル技術を駆使して、ぶれ移動量や特徴を見つけ出し擬似的にぶれが無かった画像を作り出す電子式ぶれ補正方法がある。

電子的に画像ぶれを補正する映像装置の基本原理は、連続する画像から画像全体の大域的な動きを推定し、その推定結果に基づきぶれを除去するように画像を変換すればよい。例えば、画面全体がぶれによって右に動けば画像全体を左へ動かせばよい。画像全体がぶれによって上に動けば画面全体を下に動かせばよい。

図１に現在一般的に用いられているデジタル技術を使用した電子式画像ぶれ補正方法のブロック図を示す。
図において、カメラ撮影又は記録メディアに収録された画像ぶれを含む入力ビデオ信号２０１がＩＰ（インタレース走査信号・プログレッシブ走査信号）変換２０２へ入力される。ここではカメラの向き、位置などの変化によるぶれ動きを容易に推定させるため、飛び越し走査方式の入力信号（インタレース走査信号）を、同一フィールド内における注目ラインの前後２ラインの加算平均か、或は、さらなる複数ラインのフィールド内ラインで補間するため、順次走査信号（プログレッシブ走査信号）に変換する。

これら変換された連続するフレ−ム画像間の動きを参照し、動き推定２０３でブロックマッチング及びパタ−ンマッチング手法により動き推定をする。この動き推定結果、前記動き推定２０３から出力された動き量（動きベクトル量）２０４により動き補正２０５にてぶれ動きに応じて画像を移動させ補正する。

この動き補正を行う画像は、画像のぶれの大きさにより所定の画面サイズから画像の隅がはみ出し欠落してしまうため、これらが見切れないように画像拡大２０６で画像のフレーム拡大補間を行って所定の撮像画像サイズに見合う画像を確保させる必要がある。このため、予想されるぶれによる移動量を考慮して画像が見切れないような画像領域として、例えば、正規画像サイズの９０〜９５％の画像領域を設定し、かつ、予め設定した拡大率に基づいてフレーム拡大処理、又は、フィールド拡大処理を行って正規画像サイズとし、これをぶれ補正されたビデオ信号としている。

ぶれ補正後、画像拡大処理が行われた画像信号はＰＩ（プログレッシブ走査信号・インタレース走査信号）変換２０７でフォ−マット変換して元の飛び越し走査方式の走査信号に戻し、ぶれ補正後のビデオ信号として出力ビデオ信号２０８が出力される。
公開特許平０６−０３８０９１号公報

従来の画像ぶれ補正技術では、図１における動き推定２０３のような動き検出をブロックマッチング及びパタ−ンマッチング手法で行った場合、この動き検出の精度は水平方向であればピクセル単位であり垂直方向であればライン単位となるため、この単位精度以上の精度で画像ぶれ補正を行うことはできない。

また、例えば、取込み画像内に右方向や左方向に移動する部分的な移動物体が存在したとき、ブロックマッチング手法による動き検出では検出される動き方向（動きベクトル）が、あるブロックでは右方向、又は左方向と検出され、カメラ本体のぶれによる画面全体の動き推定に影響が生じ、画面全体のぶれ量が精度良く推定できないと言う問題がある。

さらに、ぶれ補正後の画像拡大補間処理において、これらが同一フィールドのライン画素で行われることから垂直方向の解像度が半減し明瞭な画像が得られないという問題も発生してしまう。

さらにまた、雑音を除去するため帯域制限を加えた画像からぶれ補正信号を得るとすれば、さらに精度の悪い補正方法となってしまう。

このほか、取込み画像の移動物体が背景画像領域より大きくなったり、画面全体が一様な輝度であった場合、又は、周期的な繰り返しパターン画像が存在するなどの特徴的な状態が見られる場合は的確に画面全体のぶれ動きを推定することができなくなるため、動き推定では実際の動きと異なった不安定な動きが検出され、この誤ったデ−タでぶれ補正されることになり、処理そのものに大きな補正誤差を生じかねないなどの欠点が存在する。

本願発明者は、上記に鑑み鋭意研究の結果、次の手段によりこの課題を解決した。
（１）入力画像信号の初期画像を第１画像としてメモリする第１画像メモリと、前記初期画像に隣接する現画像を第２画像としてメモリする第２画像メモリとを備え、
該第２画像メモリの読み出しアドレスを制御して、現画像そのもの及び現画像中心部を座標原点とし複数方向に画像を一定量シフトさせて順次読み出した第２画像と、前記第１画像メモリから読み出した第１画像との各画像中央領域の画素ごとにブロックマッチング処理を行う動き推定手段と、該動き推定手段により得られた推定動き量で動き補正された第２画像と前記第１画像とにより各画像中央領域の１／２画素以下のサブピクセル／サブラインに相当する画素ごとの輝度値の時間的勾配と空間的勾配から輝度値の差分値の最小値を求めてぶれ補正値とし、該ぶれ補正値によって画像のぶれを補正してなることを特徴とする画像ぶれ補正装置。

（２）入力画像信号の初期画像を第１画像としてメモリする第１画像メモリと、前記初期画像に隣接する現画像を第２画像としてメモリする複数の第２画像メモリを備え、
該複数の第２画像メモリの読み出しアドレスを制御して、現画像そのもの及び現画像中心部を座標原点とし複数方向に画像を一定量シフトさせて同時に読み出した第２画像と、前記第１画像メモリから読み出した第１画像との各画像中央領域の画素ごとにそれぞれブロックマッチング処理を行う動き推定手段と、該動き推定手段により得られた推定動き量で動き補正された第２画像と前記第１画像とにより各画像中央領域の１／２画素以下のサブピクセル／サブラインに相当する画素ごとの輝度値の時間的勾配と空間的勾配から輝度値の差分値の最小値を求めてぶれ補正値とし、該ぶれ補正値によって画像のぶれを補正してなることを特徴とする画像ぶれ補正装置。

（３）前記第２画像が、前記現画像の画像中心座標位置及び該中心座標位置を中心として少なくも８方向へ一定量シフトした現画像であることを特徴とする前項（１）又は（２）に記載の画像ぶれ補正装置。

（４）前記動き推定手段が、前記第１、第２の両画像メモリから読み出した第１画像及び第２画像共に偶数分の１の縮小画像を段階的に生成する複数の縮小画像生成手段を備え、
前記複数の縮小画像生成手段が、最初第１画像と第2画像の最小縮小画像生成手段間でブロックマッチング処理を行って推定動き量を求め、該推定動き量を初期オフセットアドレスとして順次次段の第１画像と第２画像の縮小画像生成手段間でブロックマッチング処理を行い、第１画像と第２画像の最終縮小画像手段間のブロックマッチング処理により推定動き量を求めてなることを特徴とする前項（１）〜（３）のいずれか１項に記載の画像ぶれ補正装置。

（５）前記画像ぶれ補正装置が、さらに前記入力画像信号における画像中の部分的な移動物体領域を検出する移動物体検出補正手段を備え、
前記移動物体検出補正手段が、前記ぶれ補正値で画像全体のぶれ補正された画像信号を入力信号とし、部分的な移動物体領域を前フィールド画像と現フィールド画像間、又は前フレーム画像と現フレーム画像間で差分画像比較をして移動物体領域を抽出する移動物体領域検出手段により検出し、かつ前記差分画像比較を繰り返して移動物体領域を逐次更新処理し、その結果で生成した差分値を部分的移動物体領域信号として出力し、前記部分的移動物体領域内の画素は前記ぶれ補正値生成のための動き推定処理に用いないことを特徴とする前項（１）〜（４）のいずれか１項に記載の画像ぶれ補正装置。

（６）前記画像ぶれ補正装置が、前記移動物体領域検出手段により得られた画像領域に応じて画像の縦・横サイズを正規化したフィールド拡大画像とフレーム拡大画像を生成し、これを適応的に選択制御するぶれ補正適応処理手段を備え、前記ぶれ補正適応処理手段が、前記移動物体領域検出手段により検出した部分的移動物体領域に応じて、予め設定した係数により部分的な移動物体の領域を検出したとき、この領域のみ前記フィールド拡大画像を選択し、部分的な移動物体領域以外の画像領域は前記フレーム拡大画像を選択してなることを特徴とする前項（５）に記載の画像ぶれ補正装置。

（７）前記画像ぶれ補正装置が、更に前記入力画像信号における空間的に平坦な画像領域や周期的な繰り返し画像領域、又は部分的な移動物体の存在する画像領域の画面全体に対する割合を検出し、画像特異性検出値として出力する画像特異性検出処理手段を備え、該画像特異性検出値が任意に設定したしきい値レベルを超えたとき画像ぶれ補正を停止させることを特徴とする前項（１）〜（６）のいずれか１項に記載の画像ぶれ補正装置。

本願発明によれば、次のような効果が発揮される。
１．本願発明の請求項１の発明によれば、
現画像そのもの及び現画像中心部を座標原点とし複数方向に画像を一定量シフトさせて順次読み出した画像のぶれ方向に最も近い第２画像を選択し、前記第１画像メモリから読み出した第１画像と比較しぶれ補正値を算出できるので、全画面から検索するよりも高速化され、かつ正確な画像ぶれ補正ができる。

また、１個の第２画像用メモリと共通の差分演算手段で輝度値の差分値を求める方式のため、少ない回路規模ながら高速で、かつ正確な画像ぶれ補正ができる。

さらに、機械的なぶれ補正機構を使用せず電子的にぶれ補正を行っているので、耐久性に優れ、かつ信頼性が向上する。さらにまた、電子的にぶれ補正を行っているので、記録メディアに収録された画像ぶれを含む映像信号のぶれ補正など、いずれの入力信号にも対応できる。

従来のブロックマッチングによる方法では動き検出精度が水平方向であればピクセル精度、或は、垂直方向であればライン精度であり、これでは精度が低く、高精度なぶれ補正ができないが、前記動き推定手段により得られた推定動き量で動き補正された第２画像と前記第１画像とにより各画像中央領域の１／２画素以下のサブピクセル／サブラインに相当する画素ごとの輝度値の時間的勾配と空間的勾配から輝度値の差分値の最小値を求めてぶれ補正値とし、該ぶれ補正値によって画像のぶれを補正する画像ぶれ補正装置なので、さらに高精度で、かつ精細な画像ぶれ補正ができる。

２．本願発明の請求項２の発明によれば、
現画像そのもの及び現画像中心部を座標原点とし複数方向に画像を一定量シフトさせて複数の第２画像メモリにメモリし、同時に読み出した第２画像と、前記第１画像メモリから読み出した第１画像と比較しぶれ補正値を算出できるので、全画面から検索するよりも高速化され、かつブロックマッチング処理と差分値の演算及び輝度値の差分値から最小値を求める累積加算処理が並列に同時処理されるので、さらに高速化され、正確な画像ぶれ補正ができる。

また、機械的なぶれ補正機構を使用せず電子的にぶれ補正を行っているので、耐久性に優れ、かつ信頼性が向上する。

さらに、電子的にぶれ補正を行っているので、記録メディアに収録された画像ぶれを含む映像信号のぶれ補正など、いずれの入力信号にも対応できる。

さらにまた、従来のブロックマッチングによる方法では動き検出精度が水平方向であればピクセル精度、或は、垂直方向であればライン精度であり、これでは精度が低く、高精度なぶれ補正ができないが、前記動き推定手段により得られた推定動き量で動き補正された第２画像と前記第１画像とにより各画像中央領域の１／２画素以下のサブピクセル／サブラインに相当する画素ごとの輝度値の時間的勾配と空間的勾配から輝度値の差分値の最小値を求めてぶれ補正値とし、該ぶれ補正値によって画像のぶれを補正する画像ぶれ補正装置なので、さらに高精度で、かつ精細な画像ぶれ補正ができる。

３．本願発明の請求項３の発明によれば、
前記請求項１又は２の効果に加えて、前記現画像の画像中心座標位置及び該中心座標位置を中心として少なくも８方向へ一定量シフトした現画像である第２画像と、前記第１画像間とのブロックマッチング処理及び輝度値の差分絶対値から最小値を求め画像のぶれ補正値とする画像ぶれ補正装置なので、画像のぶれ方向に最も近い第２画像を選択してぶれ補正値を算出できるので、全画面から検索するよりも高速化され、かつ正確な画像ぶれ補正ができる。

４．本願発明の請求項４の発明によれば、
前記請求項１〜３の効果に加えて、前記動き推定手段が、前記第１、第２の両画像メモリから読み出した第１画像及び第２画像共に偶数分の１の縮小画像を段階的に生成する複数の縮小画像生成手段を備えているので、例えば、前記入力画像に対して縦横ともに半分の走査面積とした１／２縮小画像と、さらにその半分とした１／４縮小画像及びさらにその半分の１／８縮小画像を生成する縮小画像生成手段を備えているので、大きな動き量が生じた画面でも縮小画像においては、小さな動き量と見なせるので、まず、画像の縦横ともに１／８縮小画像でブロックマッチングを行い、順次１／４縮小画像、１／２縮小画像とブロックマッチングを行えば、広範囲な動き量、即ち、ぶれの大きな画像の場合でも、即対応でき、かつ演算の高速化ができ、さらに正確な画像ぶれ補正ができる。

５．本願発明の請求項５の発明によれば、
前記請求項１〜４の効果に加えて、前記画像ぶれ補正装置が、さらに前記入力画像信号における画像中の部分的な移動物体領域を検出する移動物体検出補正手段を備え、前記移動物体検出補正手段が、前記ぶれ補正値で画像全体のぶれ補正された画像信号を入力信号とし、部分的な移動物体領域を前フィールド画像と現フィールド画像間、又は前フレーム画像と現フレーム画像間で差分画像比較をして移動物体領域を抽出する移動物体領域検出手段により検出し、かつ前記差分画像比較を繰り返して移動物体領域を逐次更新処理し、その結果で生成した差分値を部分的移動物体領域信号として出力し、前記部分的移動物体領域内の画素は前記ぶれ補正値生成のための動き推定処理に用いないため、部分的な移動物体が存在しても、背景画像に対するぶれ補正は安定的に補正し、かつ移動方向の動きが適正化された画像が得られる。

６．本願発明の請求項６の発明によれば、
前記請求項５の効果に加えて、前記画像ぶれ補正装置が、前記移動物体領域検出手段により得られた画像領域に応じて画像の縦・横サイズを正規化したフィールド拡大画像とフレーム拡大画像を生成し、これを適応的に選択制御するぶれ補正適応処理手段を備え、前記ぶれ補正適応処理手段が、前記移動物体領域検出手段により検出した部分的移動物体領域に応じて、予め設定した係数により部分的な移動物体の領域を検出したとき、この領域のみ前記フィールド拡大画像を選択し、部分的な移動物体領域以外の画像領域は前記フレーム拡大画像を選択する画像ぶれ補正装置なので、移動物体による画面全体の動き推定への影響を低減すると同時に、画像中の部分的な移動物体領域以外の背景領域に関しては垂直方向の解像度を保持した画像ぶれ補正処理を実現することができる。

７．本願発明の請求項７の発明によれば、
前記請求項１〜６の効果に加えて、前記画像ぶれ補正装置が、更に前記入力画像信号における空間的に平坦な画像領域や周期的な繰り返し画像領域、又は部分的な移動物体の存在する画像領域の画面全体に対する割合を検出し、画像特異性検出値として出力する画像特異性検出処理手段を備え、該画像特異性検出値が任意に設定したしきい値レベルを超えたとき画像ぶれ補正を停止させるため、前記入力画像信号が空間的に平坦又は周期的な繰り返し画像の場合や、部分的な移動物体の存在する画像領域の画面全体に対する割合が大きい場合は画面全体の動き推定処理結果の信頼性が低いと判断して動き推定処理を行わず、画面全体の動き推定処理の誤りを予測して回避し、信頼性の高い動き推定結果のみを用いて画像ぶれ補正を実現することができる。

本願発明を実施するための最良の形態を実施例図を用いて詳細に説明する。
図２は本願発明実施例の画像ぶれ補正装置の構成ブロック図であり、図３は同発明実施例のブロックマッチング手法での計算ブロック図であり、図４は同発明実施例の画像シフト方向説明図であり、図５は同発明実施例の縮小画像を利用したブロックマッチング処理のブロック図であり、図６は同発明実施例の時間的空間的勾配計算ブロック図であり、図７は同発明実施例の勾配要素計算ブロック図であり、図８は同発明実施例の移動物体検出処理ブロック図であり、図９は同発明実施例の２値多数決フィルタ処理ブロック図であり、図１０は同発明実施例の移動物体領域信号の更新処理のブロック図であり、図１１は同発明実施例の動き適応フィールド拡大／フレーム拡大処理のブロック図であり、図１２は同発明実施例の画像の輝度値の自己残差面の説明図であり、図１３は同発明実施例のヒストグラム計算回路のブロック図であり、図１４は同発明実施例の画像全体を４つのブロックに分割した場合のヒストグラム計算を行うブロック図であり、図１５は同発明実施例の複数の第２画像メモリと複数の演算回路を備えたブロックマッチング手法での計算ブロック図である。

前述の課題で記述した欠点を排除するため、以下に説明する手段を講じて改善を図ったものであり、本願発明のその要旨は次のとおりである。

ブロックマッチング手法による画像ぶれ動き推定と、輝度勾配情報による動き推定を効果的に組み合わせて精度の良いサブピクセル／サブラインに相当する画素単位の動き推定を行わせ高精度のぶれ補正を可能にしている。

また、画像内の移動物体の連続する移動領域の検出、及びこの移動物体による補正への影響を排除させるため、画像ぶれ動きと画像内の移動物体の動きを分離推定し、この推定結果によりフィールド拡大処理、及びフレーム拡大処理を適応的に切り替えて的確にぶれ補正を行うとともに、ぶれ補正後の垂直解像度改善を可能にしている。

さらに、取込み画像の輝度が平坦な画像や周期的な繰り返し画像の場合など特徴的な状態であったり、また画像内に占める部分的な移動物体がある一定以上の割合であるなど、ぶれ検出が不能な状態のとき、この状況を検出判定し画像ぶれ補正を行う際、ぶれ補正を取り止めフィールド拡大のみの適応処理とし適切なぶれ補正画像の確保を可能にしている。

図２において、本願発明の画像ぶれ補正装置は、入力ビデオ信号１の初期画像である第１画像と前記初期画像に隣接する現画像である第２画像の２つの縮小画像間で公知技術のブロックマッチング手法による推定動き量を算出し、さらに１／２画素以下のサブピクセル／サブラインに相当する画素ごとの動きを推定し、サブピクセル／サブラインぶれ補正処理する画像ぶれ補正処理手段Ａと、画像内の部分的な移動物体の存在する画像領域の画面全体に対する割合が予め設定したしきい値以上のとき、前記移動物体領域に画像ぶれ補正を行わないように制御補正する移動物体検出補正処理手段Ｂと、また、前記入力ビデオ信号１における空間的に平坦、又は周期的な繰り返し画像信号を検出する画像特異性検出・判定処理手段Ｄと、前記移動物体検出補正結果及び画像特異性検出・判定結果を加味し、ぶれ補正されたビデオ信号を出力するぶれ補正適応処理手段Ｃとで構成されている。

また、前記画像ぶれ補正処理手段Ａは、入力ビデオ信号１の初期画像を第１画像とし、前記初期画像に隣接する現画像を第２画像としてそれぞれの画像をメモリする画像メモリ１１と、該画像メモリ１１の第２画像メモリから現画像そのもの及び８方向へ一定量シフトした現画像を順次読み出し制御する画像シフト１２と、前記第１画像と、前記画像中心座標位置及び８方向へ一定量シフトした第２画像の２つの縮小画像間によるブロックマッチング手法で推定動き量１４を算出する動き推定ブロック１３と、前記第１画像及び第２画像の各画像中央領域のそれぞれの画素を１／２画素以下のサブピクセル／サブラインに相当する画素に分割し、各画像のサブピクセル／サブライン単位で輝度値の時間的空間的な勾配から画素ごとの輝度値の差分値を演算し加算するサブピクセル／サブラインぶれ補正ブロック１５とで構成されている。

前記移動物体検出補正処理手段Ｂは、前記画像ぶれ補正処理手段Ａでぶれ補正されたビデオ信号２を入力信号とし、前記入力ビデオ信号１に部分的な移動物体が存在したとき、画像中の部分的な移動物体を、ぶれによる画面全体の動き推定による動き補正結果からフィールド画像間の差分画像を求め、かつ差分画像比較を繰り返し、その結果、生成したより大きな差分値を部分的移動物体領域信号として抽出する移動物体領域検出ブロック６１と、連続して移動する移動物体が存在したとき、前記差分画像比較を繰り返して移動物体領域検出画面を更新する移動物体領域更新ブロック６３と、前記移動物体領域検出ブロック６１からの動き補正あり信号６４を受けたとき、部分的な移動物体は背景画像と同様のぶれ補正され、かつ移動方向が適正化された画像が得られ、補正なし信号６５を受けたとき、何もぶれ補正処理を行わないように制御する画像補正ブロック６２とで構成している。

また、前記画像特異性検出・判定処理手段Ｄは、前記入力ビデオ信号１における空間的に平坦、又は周期的な繰り返し画像信号を検出する画像特異性検出ブロック１１０と、前記移動物体領域更新ブロック６３からの移動物体領域信号６７の移動物体領域の画素数をカウントし、画像中に占める割合が予め設定したしきい値３以上のときぶれ補正を行わないように判定処理する画像特異性判定ブロック１１１とで構成されている。

図２の前記画像ぶれ補正処理手段Ａにおいて、入力された入力ビデオ信号１の初期画像を第１画像とし、前記初期画像に隣接する現画像を第２画像としてそれぞれの画像が画像メモリ１１へ入力されメモリされる。

前記画像メモリ１１から第１画像と第２画像をそれぞれ読み出し、動き推定ブロック１３で両画像間の動き推定処理は公知技術によるブロックマッチング処理により推定するが、隣接する第２画像を画像メモリ１１から読み出す際に、図４に示すように、画像２９内に座標軸Ｘ，Ｙを取り画像中心を座標原点と一致させ、水平方向Ｘの正の向きを画像右方向に、垂直方向Ｙの正の向きを画像上方向としたとき、図中の方向２１は水平、垂直ともに正方向への動きを表すものとし、方向２２は水平のみ正方向への動きを表したものである。以下、方向２３は水平に正方向、垂直に負方向への動きを表し、方向２４は垂直のみ負方向への動きを表す。方向２５は水平、垂直ともに負方向への動きを表す。方向２６は水平のみ負方向への動きを表す。方向２７は水平に負方向、垂直に正方向への動きを表す。方向２８は垂直のみ正方向への動きを表す。

前記画像２９で内側の破線の画像領域３０は、ぶれ補正により画像を移動させたとき、補正画像が正規画面サイズからはみ出してしまったり、画像が存在しない黒画面領域が発生することを防止するため、予想されるぶれによる移動量を考慮して画像が見切れないような画像領域として前記破線の画像領域３０を設定し、かつ、予め設定した拡大率に基づいてフィールド拡大処理、又はフレーム拡大処理を行って正規画像サイズとし、これを前記ぶれ補正適応処理手段Ｃ出力のぶれ補正ビデオ信号６としている。

図３はブロックマッチング手法での計算ブロック図で、第２画像メモリ３２に取り込まれた画像の読み出しアドレスをオフセットさせるよう構成させている。

図３において、第１画像メモリ３１から読み出した第１画像と、第２画像メモリ３２から第２画像そのもの、及び図４に示す８方向へ画像をある一定量シフトさせて読み出した第２画像とのそれぞれの画素の輝度値の差分絶対値を、共通の差分演算処理手段３４と演算回路３５ＡＢＳによって計算したのち、方向ごとに独立して用意された累積加算器３６ＡＣＣ１〜ＡＣＣ９で画素ごとの総和をメモリ／累積加算器コントローラ３３の読み出しアドレス制御に応じて切り替えて累積加算演算を行わせ、その結果を最小値選択３７で最小値を選択し、推定動き量１４として送出している。

又は、前記図３に示した実施例のほか、図１５に示すように、第２画像を独立した複数の第２画像メモリ３２−１〜３２−９にそれぞれ書き込み、読み出しアドレスをオフセットさせて第２画像そのもの及び図４に示す８方向へ画像を予め一定量シフトさせたものを同時に読み出し、画像間画素の輝度値の差分絶対値を求める差分演算処理手段３４−１〜３４−９と、演算回路３５ＡＢＳ１〜３５ＡＢＳ９、及びその画素ごとの総和を計算する累積加算器３６ＡＣＣ１〜３６ＡＣＣ９をそれぞれ独立して複数用意して処理し、その結果を最小値選択３７で最小値を選択し推定動き量１４として送出すれば、並列処理により、さらに計算速度を上げ同様の結果を得ることができる。

これらを次に示す数１の計算式で展開した結果、画素輝度値の差分絶対値が最も小さくなる値が、画面全体の推定動き量１４となり、方向ごとの累積加算器３６ＡＣＣ１〜３６ＡＣＣ９の算出最小値を最小値選択３７で選択することにより、その最小値を示す累積加算器３６の方向が「ぶれ動き方向」として判別される。

このような推定動き量１４を基本的には第２画像メモリ３２からの画素の読み出しアドレスを変えながらいろいろ探索することになるが、広範囲な画面全体の動き量を推定するためには、やみくもな探索では効率が悪い。そこで、第１画像・第２画像共に縮小画像を生成し、縮小画像間で組織的に動き量を探索する。本方式を用いれば、大きな動き量でも縮小画像においては小さな動き量と見なせるので、より広範囲な動き量にも対応できる。

最小縮小画像の画面中央領域の画素間のブロックマッチングによって得られた動き量の結果に基づき、より解像度の良い次段の縮小画像において再度ブロックマッチングを行い、最終縮小画像間のブロックマッチング処理により推定動き量を求めピクセル／ライン精度の動き量とする。

図５は縮小画像を利用したブロックマッチング処理のブロック図である。
図において、隣接する２画像が、それぞれ折り返し防止のローパスフィルタ４２ａ、４２ｂ、４４ａ、４４ｂによって平滑化し画素を間引いて縮小画像を生成する。図では、前記入力画像に対して縦横ともに半分のサイズとした縮小画像を１／２縮小画像４１ａ、４１ｂ、さらにその半分のサイズとした縮小画像を１／４縮小画像４３ａ、４３ｂ、さらにその半分のサイズとした縮小画像を１／８縮小画像４５ａ、４５ｂとし、これにより最小縮小画像から次々と次段の縮小画像で画面全体の動き量推定をツリー探索手法により推定している。

各々のサイズで生成された縮小画像は、図示しないメモリに書き込まれ、最初に１／８縮小画像４５ａ、４５ｂ間において、ブロックマッチング処理がブロックマッチングＢＭ４６ａで行われる。このときの探索画素の範囲は１／８縮小画像で４画素とする。

１／８縮小画像４５ａ、４５ｂにおいて得られた動き量を前記図示しないメモリからの画素読み出し初期オフセットアドレスとして、再び１／８縮小画像４５ａ、４５ｂに対して探索画素の範囲を２画素としてブロックマッチングＢＭ４６ｂで同様にブロックマッチング処理を行う。

次に、１／８縮小画像４５ａ、４５ｂにおいて２回のブロックマッチング処理で累積加算された動き量を２倍とし、これを前記メモリからの画素読み出し初期オフセットアドレスとして、１／４縮小画像４３ａ、４３ｂに対し探索画素の範囲を２画素としブロックマッチングＢＭ４６ｃで同様にブロックマッチング処理を行う。

１／４縮小画像４３ａ、４３ｂにおいて得られた動き量で累積加算した動き量を前記メモリからの画素読み出し初期オフセットアドレスとして、再び１／４縮小画像４３ａ、４３ｂに対し探索画素の範囲を１画素としてブロックマッチングＢＭ４６ｄで同様にブロックマッチング処理を行う。

さらに、１／４縮小画像４３ａ、４３ｂにおいて２回のブロックマッチング処理で累積加算された動き量を２倍とし、これをメモリからの画素読み出し初期オフセットアドレスとして、１／２縮小画像４１ａ、４１ｂに対し探索画素の範囲を１画素としてブロックマッチングＢＭ４６ｅで同様にブロックマッチング処理を行い、最終的に原画像におけるピクセル／ライン精度の動き量とする。

このようにして低解像度の縮小画像間でのブロックマッチング処理結果を、より高解像度の縮小画像間へのブロックマッチング処理に伝播させることによって広範囲な動き量の推定を可能としている。図５の実施例では、１／２縮小画像４１ａ、４１ｂにおいて、水平、垂直方向ともに最大±３１±１画素／ライン（縮小前の画像においては、最大±６２±２画素／ライン）の範囲と精度で動き量が推定できる。

しかし、このようなブロックマッチング手法により得られた動き量の精度は原画面におけるピクセル／ライン精度の動き量であるため、この動き量による補正では、精度の良い、より有効なぶれ補正は望めない。

本発明においては、さらにぶれ補正の精度を上げるため、サブピクセル／サブラインぶれ補正ブロック１５（図２）を図６及び図７に示すような、時間的空間的勾配計算ブロック、勾配要素計算ブロックで構成させ、補正精度の良いサブピクセル／サブライン単位の動き量が推定できるようにして、この推定量によりぶれ画像補正ができるようにしている。

サブピクセル／サブライン精度の動き推定原理は、今、図５の縮小画像を利用したブロックマッチング処理において、第２画像の画素のｘ、ｙ位置における輝度値Ｉ₍₂₎（ｘ、ｙ）が（ｕ、ｖ）だけ平行移動すれば、第１画像の画素のｘ、ｙ位置における輝度値Ｉ₍₁₎（ｘ、ｙ）に重なるとすると、次式が成り立つ。

数６のΣは２画像の重複した領域中のすべての画素にわたる和を表す。

数６を最小にするｕ，ｖ を定める。数６をｕ，ｖでそれぞれ微分して０と置くと次のようになる。

次の連立方程式を解いてｕ，ｖが求められる。これはサブピクセル／サブライン精度の動き量になる。

縮小画像を用いたブロックマッチング処理によって推定された１／２縮小画像における動き量（ピクセル／ライン精度量）だけシフトされた１／２縮小画像間で、以下に説明するような手段で画像の空間勾配、時間勾配の計算を行わせサブピクセル／サブライン精度の動き量を推定している。

数５の画像の時間的空間的勾配Ｉｘ、Ｉｙ、Ｉｔは次のように１／２縮小画像において画素ごとに計算する。

図６は時間的空間的勾配計算ブロック図で、図７は勾配要素計算ブロック図であり、これらを形成させることによりサブピクセル／サブラインの動き推定を行わせている。

図６（ａ）において、水平方向の空間勾配Ｉｘは、第１画像を画素単位の遅延素子Ｄにより遅延させ、第一画像と遅延画像を減算器４７により減算し、この結果を１／２することによって計算することができる。

同様に、垂直方向の空間勾配Ｉｙは、図６（ｂ）において、第１画像をライン単位の遅延素子Ｈにより遅延させ、第１画像と遅延画像を減算器４８によって減算し、この結果を１／２することによって計算することができる。

また、時間勾配Ｉｔは、図６（ｃ）において、第１画像とブロックマッチング処理による動き量によってシフトされた第２画像を、減算器４９によって減算することにより得られる。

図６の時間的空間的勾配計算ブロックによって計算された画素ごとの時間的空間的勾配Ｉｘ、Ｉｙ、Ｉｔは、図７の勾配要素計算ブロック図において、数９の連立方程式の各要素が計算される。画素ごとの時間的空間的勾配Ｉｘ、Ｉｙ、Ｉｔは、図に示すように、シーケンサ５０ＳＱＲ及び累積加算器５１ＡＣＣによって各々二乗、或は、互いに乗算器５２で乗算し、累積加算器５１ＡＣＣによって累積加算される。これにより得られた連立方程式の各要素をＣＰＵで読み込み、数９の連立方程式を解く。

画像の時間的空間的勾配によって得られたサブピクセル／サブライン精度の動き量を、さらにブロックマッチング処理によるピクセル／ライン精度の累積動き量に加算して、最終的なサブピクセル／サブライン精度の動き量を得ている。

得られた動き量に基づきこの量の符号を反転した分、画像を移動させることにより、第一段階の画像ぶれ補正を行わせている。サブピクセル／サブライン精度の画像の移動は、画素の内挿補間フィルタ処理によって実現しているが、同時に、移動により補正画像が画面サイズからはみ出てしまうので、前述したように、予想されるぶれによる移動量を考慮して画像が見切れないような画像領域とし、動き補正後に予め設定した拡大率で拡大処理し適性な画像サイズを確保している。

連続する画像列のぶれ補正は、第１画像を基準として、第２画像以降、隣接２画像間の動き量推定結果を水平、垂直方向それぞれ累積加算器５１ＡＣＣで累積加算する。累積加算された動き量に基づき、第ｎ画像を移動させることにより、第１画像を基準とした第ｎ画像のぶれ補正を実現することができる。

上記説明において、１／２縮小画像間のブロックマッチング処理によって推定された動き量で補正された画像に基づき、さらにサブピクセル／サブライン精度の動き量を補正する実施例について記述したが、他の実施例として、最終的に縮小前の画像間のブロックマッチング処理を行い、その結果に基づいて、さらにサブピクセル／サブライン精度の動き量を推定する方法でもよい。

以上、説明したように取込み画像にぶれ動きがある場合、画面全体のぶれ動きを検出して、この動き量によりぶれ補正を行わせているが、現実的に取込み画像には、画面全体のぶれ動き以外に画面中に部分的な移動物体が存在し、この移動物体に動きがあると画面全体のぶれ動き推定が大きく影響され適正なぶれ補正が困難になってしまう。

図２において、本発明では、これらの欠点を排除するため、移動物体領域検出ブロック６１、移動物体領域更新ブロック６３、及び画像補正ブロック６２を図８のような差分画像による移動物体検出補正処理手段Ｂを構成させるとともに移動物体更新ブロック６３により移動物体情報の検出を行い、これにより改善を図っている。

以下に移動物体領域検出ブロック６１、及び画像補正ブロック６２の動作を図８を用い、移動物体領域更新ブロック６３を図１０を用いて説明する。

部分的な移動物体が存在すると、これらによる画面全体のぶれ動き推定への影響は部分的な移動物体の占める割合により大きく左右される。

図８において、今、画面全体に対し部分的な移動物体領域の割合があるしきい値以上のとき、画像ぶれ補正処理手段Ａから出力された画像信号（ビデオ信号２）を動き推定処理６８にて後述する移動物体領域更新ブロック６３（図２）出力の前フレーム移動物体領域信号６７’で係数処理を行わせ、この結果を仮に動き補正処理６９とし、これらの値とその処理過程で発生した遅延と等価になるように遅延処理７０で遅延整合されたビデオ信号２との差分を差分演算器７１で計算させ、さらに絶対値処理７２で、その絶対値を取ると画面全体の動きによる差分と画面中の部分的な移動物体領域における大きな差分結果が得られる。

本発明では、このことに着目して以下のように移動物体検出処理を行わせている。
移動物体検出処理において、移動物体を２値化画像処理する場合、移動に伴って粒状の雑音が抽出され、これにより移動物体領域が欠落する。また、存在しない移動物体が抽出されるなど、障害が発生する。

移動物体検出処理における孤立画素や画像ノイズによる影響、移動物体領域の確定を行わせるため得られた差分結果の絶対値の違いをしきい値処理７３で処理し移動物体領域候補を抽出させ、さらに移動物体領域候補を表す２値化画像を２値多数決フィルタ処理７４によって移動物体領域を空間的にまとまった領域とみなすように、２値画像に対して連結成分の境界画素を外側に１画素分拡げる膨張処理、又は、１画素分狭くする縮退処理を繰り返し行わせ、孤立画素の除去及びノイズの除去を行っている。

これは、移動物体は空間的にある一定のまとまった領域をなすという事前知識によるものである。
この２値多数決フィルタ出力Ｉ₀（ｘ、ｙ）は、入力２値画像Ｉ_i（ｘ、ｙ）の注目画素、例えば、図９の周辺近傍領域８４に示す近傍カーネルに対して、次のような処理を施すものである。

図９は２値多数決フィルタ処理７４（図８）のブロック図である。
２値化された注目画素を含めた周辺近傍領域８４の画素を、ビット「１」の数をカウントするための１ビット加算器８５に入力する。１ビット加算器８５の加算器出力８６を比較器８８に入力する。

しきい値８７を「５」とすると、加算器出力８６が「５」以上のとき、比較器８８の比較器出力８９は「１」になる。

周辺近傍領域８４におけるビット「１」の数は、１ビット加算器８５により加算器出力８６が「６」になり、これはしきい値８７＝「５」以上であるから、比較器出力８９は「１」であり、これが２値多数決フィルタ処理７４の出力２値マスク画像信号７５（図８）である。

数１１において、ｓ＝１であれば、周辺近傍領域８４は３×３領域であり、１ビット加算器８５は９入力であり、しきい値８７は「５」である。ｓ＝２であれば、周辺近傍領域８４は５×５領域であり、１ビット加算器８５は２５入力であり、しきい値８７は「１３」である。ｓ＝３であれば、周辺近傍領域８４は７×７領域であり、１ビット加算器８５は４９入力であり、しきい値５は「２５」である。

図８において、そのようにして得られた移動物体領域を表す２値マスク画像信号７５を用いて、再び隣接する２画像間で画面全体の動きを動き推定処理７７で処理する。これは画面全体のぶれ動き推定に際し移動物体領域を表す２値マスク画像信号７５に含まれる画素を、ぶれ動き推定処理には用いないことを意味し、画面全体のぶれ動きのみ推定することができる。

そのようにして得られた画面全体の動き推定結果を用いて動き補正処理７８を行った結果の補正画像をぶれ補正ビデオ信号５とする。

さらに、前フレームにおける２画像間の画面中の部分的な移動物体の存在する領域の情報を加味させるため、そのぶれ補正ビデオ信号５と、第一段階での動き推定処理６８、動き補正処理６９、及び２値マスク画像信号７５を得るまでの処理による遅延量を遅延処理７６によって補正し、さらに第二段階での動き推定処理７７、動き補正処理７８による遅延量を遅延処理８０によって補正された画像との差分を差分演算器８１で計算し、絶対値処理８２によってその絶対値となった移動物体領域信号６７を、図１０に示す更新処理ブロックで数１２のような演算を行わせ、更新してフレームメモリ９３に書き込ませるように動作させている。

図１０は、数１２を実行するための移動物体領域信号の更新処理のブロック図である。図において、ビデオ信号２は、移動物体検出補正処理手段Ｂ（図８移動物体検出処理ブロック図）で処理され、引き続き下記のように処理される。

ここで、Ｍ（ｔ）は現フレームによる２画像間の画面全体の動き推定結果から得られた移動物体領域信号であり、Ｆ（ｔ−１）は、前フレームによる２画像間の画面全体の動き推定から得られた結果をフレームメモリ９３に書込み、読み出した移動物体領域信号６７（図８における移動物体領域信号６７）である。また、ｋは０＜ｋ＜１であり、最適な移動物体領域を選別するための任意に設定される値である。

時空間的に動きを伴った移動物体領域信号Ｍ（ｔ）を、乗算器９１で設定値ｋに係わる係数１−ｋを乗算した値と、フレームメモリ９３から読み出した移動物体領域信号Ｆ（ｔ−１）を乗算器９４で設定値ｋを乗算した値とを加算器９２で加算し、生成された移動物体領域信号Ｍ’（ｔ）を再度フレームメモリ９３へフィードバックして書込み処理を行い、時空間的に移動する移動物体領域の抽出を行っている。

このように処理することにより画面中、部分的な移動物体の存在する領域の時間的な拡張が可能で、設定値ｋの値を１に近づける程、より多くの時間的な拡張が可能になる。

以降、更新してフレームメモリ９３に書き込まれた移動物体領域信号Ｍ’（ｔ）を読み出し、しきい値処理ブロック９５で設定されたしきい値によって移動物体領域を表す２値マスク画像信号７５を生成して画面中の部分的な移動物体候補領域として、次フレームにおける移動物体領域検出処理に用いている。

これは、図８に示す第１段階での動き推定処理６８を行う際に用いる前フレーム移動物体領域信号６７’である。

これらの処理を繰り返すことによって、画面中に部分的な移動物体が存在しても、その影響を受けずに、画面全体の動きを推定することができる。

さらに、図２において、最終的に最適な解像度を保った画像ぶれ補正ビデオ信号６が得られるよう、この更新した移動物体領域信号６７によってフィールド画像とフレーム画像の補間処理を制御するぶれ補正適応処理手段Ｃを設けている。

図１１を用いてぶれ補正適応処理手段Ｃの動き適応フィールド／フレーム拡大処理動作を説明する。
ビデオ信号２の注目フィールドを移動物体検出補正処理手段Ｂ、及び図９の２値多数決フィルタ処理ブロックで処理した、前フィールド、或は、後フィールドのいずれか、或は、それらの加算平均、或は注目フィールドによるフィールド内補間画素値と比較してより近い値のフィールド画素を用いてフレーム画像を生成した後、フレーム拡大処理９８を行っている。

同時に、注目フィールドのフィールド拡大処理９７を行う。
図２の移動物体領域更新ブロック６３から移動情報として出力された移動物体領域信号６７を図１１における移動物体領域信号６７としてＬＵＴ（ルックアップテーブル）によるミックス係数生成９９、１００により適当なスケール変換、及びその補数変換（ミックス係数αに対して１−αを出力する変換）等を行って生成したミックス係数α、１−αをフィールド拡大処理９７とフレーム拡大処理９８の結果にそれぞれ乗算器１０１、１０１で乗算し、各々の出力を加算器１０２で加算を行うことによって最終的なぶれ補正ビデオ信号６を得ている。

これにより画面中に部分的な移動物体が存在しても、画面全体の動きの推定に影響を与えず、同時に、（画面中部分的な移動物体領域に関してはフィールド拡大画面であるが）画面中全体の動きの補正はフレーム拡大であるため、垂直方向の解像度がフレーム解像度を保ち、垂直解像度を最大限に保ったぶれ補正ができる。

しかしここで、取り込んだビデオ画像の輝度値が空間的に平坦であったり、周期的な構造を有している場合や（例えば、ブラインドのように垂直方向に輝度変化が繰り返している様な画像）、移動物体の占める領域が画像中ある一定以上の大きさになった場合は、ぶれ補正処理が適切に行われなくなり処理そのものが不安定になってしまう。

図２において、これらの現象が確認された場合、画像特異性検出・判定処理手段Ｄでは、画像の平坦性・周期性判定処理等を行う画像特異性検出ブロック１１０と、予め設定したしきい値３、及び移動物体領域更新ブロック６３の出力信号の移動物体領域信号６７で制御され移動物体領域の画素数をカウントする画像特異性判定ブロック１１１により動き推定結果の判定を行い、信頼性が低いと判断された場合は、ぶれ補正及び動き適応フィールド拡大／フレーム拡大は行わず、ぶれ補正量を０としてフィールド拡大となるよう動作させ、処理が不安定にならないようリセット信号４をぶれ補正適応処理手段Ｃへ出力して防止している。

画像の画像特異性検出・判定処理手段Ｄの動作を以下に説明する。画像の輝度値の自己残差は次のように数１３で計算される。

これは、ブロックマッチングにおける２枚の画像を同一の画像として、一方を水平、垂直方向にずらしながら重複する画面中央領域画素における輝度値の差分絶対値の総和を計算することである。

これを総和画素数で正規化した値を、２次元空間にプロットして得られたものを自己残差面と呼ぶことにする。水平、垂直方向の移動量がともに０の場合、当然自己残差は０である。

図１２において、平面の水平方向をＨ、垂直方向をＶ、輝度値をＪとすると、自己残差面は、一般的な画像では、水平、垂直の移動量が０の場合を最小とする非負の関数となるが下に凸となる図１２（ａ）、画像が空間的に特徴的な構造を有する場合には、水平方向に輝度値が一様に平坦となる図１２（ｂ）、垂直方向に輝度値が一様に平坦となる図１２（ｃ）、水平、垂直方向ともに輝度値が一様に平坦な場合図１２（ｄ）のようになる。

このような場合には、連続する画像間で画面全体の動きを推定できない。実際の画像では誤差により厳密に推定できないわけではないが、得られた推定結果は著しく信頼性が低い。

画素ごとの輝度値の自己残差の計算は、図３に示したブロックマッチング手法での計算ブロックを用いることで容易に計算することができる。得られた計算結果をＣＰＵが読み取り、次の数１４のような２次曲面を当てはめる。

当てはめる２次曲面の係数ａ₁、ａ₂、ａ₃は、次の数１５のような 最小二乗法から計算される。

自己残差面に２次曲面を当てはめ、その曲率から画像の輝度値が空間的に平坦な構造を有しているかどうかを判定する。当てはめた２次曲面の係数からなるヘッセ行列Ｈの行列式ｄｅｔＨ（当てはめた２次曲面の曲率に相当する）が０に近いことから判定する。

したがって、当てはめた２次曲面の係数からなるヘッセ行列の行列式がある小さなしきい値と比較することによって得られた画像の輝度値が、空間的に一様平坦な構造を有しているかどうかを判定する。

次に、画像の輝度値の空間的な一様平坦性に加えて、周期性を持つ場合の検出方法について述べる。画像を適当な複数のブロック領域に分割する。分割したブロックごとに画素の輝度値のヒストグラムを計算する。

図１３はヒストグラム計算回路のブロック図である。
図において、ヒストグラム計算のためのメモリ１１２には、例えば、読み出し書込みが２系統のものを用意すると回路接続が容易になる。メモリ１１２のアドレスＡＤＲ１には画像が入力される。読み出し書込み制御信号Ｒ／Ｗ−１を制御して、最初にアドレスＡＤＲ１に入力された画素値の該当するアドレスのデータＤＡＴ１を読み出し、その後、読み出したデータＤＡＴ１を加算器＋１によってインクリメントしたデータを再びアドレスＡＤＲ１に入力された画素値の該当するアドレスに書き込む。これを指定された領域中のすべての画素に対して行う。その結果をもう１系統のアドレスＡＤＲ２、データＤＡＴ２から読み出し書込み制御信号Ｒ／Ｗ−２を制御して、ＣＰＵなどを用いて垂直ブランキング期間にヒストグラム計算結果を読み出せばよい。読み出した後に、メモリ１１２は初期化を行う。

ブロックごとに得られた輝度値のヒストグラム相関を次のように比較する。

ｉ番目の分割ブロックのヒストグラムｈｉｓｔ_iと、ｊ番目の分割ブロックｈｉｓｔ_jを比較する。Ｎは画素のレベル数を表す。

画像の輝度値が空間的に一様平坦であったり、周期的な構造を有している場合、輝度値のヒストグラムは、ブロック間で高い相関を有することが期待される。したがって、数１７で計算されるブロック間における輝度値のヒストグラム相関があるしきい値以下であれば、その画像の輝度値は空間的に平坦であったり、周期的な構造を有していると判定する。

図１４は画像全体を４つのブロックに分割した場合のヒストグラム計算を行うブロック図を表す。図において、画像全体のブロックへの分割は、例えば、画像の中央部を４つの「田」の字状に分割することが考えられる。

図１３におけるヒストグラム計算回路を４つ用意して、各ブロックごとにひとつのヒストグラム計算回路１１４ａ、１１４ｂ、１１４ｃ、１１４ｄを割り当てる。各ヒストグラム計算回路１１４ａ〜ｄには画像の輝度信号を入力し、画像の水平同期信号、垂直同期信号に基づき、書込み制御１１３により分割した４つのブロックを指定する制御信号を生成し、それらによって、各ヒストグラム計算回路１１４ａ〜ｄを制御して、ブロックごとのヒストグラムを計算する。

ＣＰＵ１１６によってＣＰＵアドレスに基づく読み出し制御を行い、ＣＰＵデータを介してヒストグラム計算回路１１４ａ〜ｄの計算結果を画像の垂直ブランキング期間に読み込む。輝度値のヒストグラム計算回路１１４ａ〜ｄから得られる結果をＣＰＵ１１６によって読み込み、数１７の各ブロック間における輝度値のヒストグラム相関を計算する。

画像全体を４つのブロックに分割すると、４つのブロックから２つのブロックを選ぶ組み合わせの数は６通りである。相関値がしきい値を下回った組み合わせ数から、与えられた画像の輝度値が空間的に特異な構造であると判定する。
判定後は、すべてのヒストグラム計算回路１１４ａ〜ｄにおけるメモリを初期化する。これらの処理を１枚の画像ごとに行う。

したがって、与えられた画像の輝度値が空間的に特異な構造であると判定されると、ぶれ補正及び動き適応フィールド拡大／フレーム拡大（拡大補正）処理は行わず、フィールド拡大（拡大補正）のみとする。

輝度値のヒストグラムを計算するための画像は、縮小画像を利用したブロックマッチングにおける縮小画像でも構わない。縮小画像を用いることから、計算コストをより少なくすることができる。

画面中、背景以外の部分的な移動物体の占める領域が大きくなると背景領域画素が少なくなり、それから計算されるぶれによる画面全体の動き量の信頼性は低くなる。場合によっては、背景領域画素が十分得られず、得られた領域に注目すると、輝度値が一様平坦であったり空間的に特異な構造である場合も考えられる。

そこで、図１０移動物体領域信号の更新処理のブロックで得られた画面中の部分的移動物体領域を表す２値マスク画像信号７５の画素数をカウントし、画像中に占める割合があるしきい値以上になると、この場合も画面全体の動き量の計算が不可能、或は信頼性が低いと判断して、ぶれ補正及び動き適応フィールド拡大／フレーム拡大処理は行わず、ぶれ補正を０としてフィールド拡大のみとしている。

本実施例により画像の輝度値の空間的な構造を評価することによって、信頼性の高い動き推定処理が可能となり、動き適応フィールド拡大／フレーム拡大（拡大補正）処理を高い信頼性で実現することが可能となる。

電子的にぶれ補正を行っているので、記録メディアに収録された画像ぶれを含む映像信号のぶれ補正など、いずれの入力信号にも対応でき、かつ機械的なぶれ補正機構を使用せず電子的にぶれ補正を行っているので、耐久性に優れ、かつ信頼性が向上する。

従来の電子式画像ぶれ補正方法のブロック図。 本願発明実施例の画像ぶれ補正装置の構成ブロック図。 同発明実施例のブロックマッチング手法での計算ブロック図 。 同発明実施例の画像シフト方向説明図。 同発明実施例の縮小画像を利用したブロックマッチング処理のブロック図。 同発明実施例の時間的空間的勾配計算ブロック図。 同発明実施例の勾配要素計算ブロック図。 同発明実施例の移動物体検出処理ブロック図。 同発明実施例の２値多数決フィルタ処理ブロック図。 同発明実施例の移動物体領域信号の更新処理のブロック図。 同発明実施例の動き適応フィールド拡大／フレーム拡大処理のブロック図。 同発明実施例の画像の輝度値の自己残差面の説明図。 同発明実施例のヒストグラム計算回路のブロック図。 同発明実施例の画像全体を４つのブロックに分割した場合のヒストグラム計算を行うブロック図。 同発明実施例の複数の第２画像メモリと複数の演算回路を備えたブロックマッチング手法での計算ブロック図。

符号の説明

Ａ：画像ぶれ補正処理手段
Ｂ：移動物体検出補正処理手段
Ｃ：ぶれ補正適応処理手段
Ｄ：画像特異性検出・判定処理手段
Ｈ：水平方向
Ｖ：垂直方向
Ｊ：輝度値
Ｘ，Ｙ：座標軸
１：入力ビデオ信号
２：ビデオ信号
３：しきい値
４：リセット信号
５，６：ぶれ補正ビデオ信号
１１：画像メモリ
１２：画像シフト
１３：動き推定ブロック
１４：推定動き量
１５：サブピクセル／サブラインぶれ補正ブロック
２１〜２８：方向
２９：画像
３０：破線の画像領域
３１：第１画像メモリ
３２：第２画像メモリ
３３：メモリ／累積加算器コントローラ
３４：差分演算処理手段
３５：演算回路ＡＢＳ１〜９
３６：累積加算器ＡＣＣ１〜９
３７：最小値選択
４１ａ、４１ｂ：１／２縮小画像
４２ａ、４２ｂ、４４ａ、４４ｂ：ローパスフィルタＬＰＦ
４３ａ、４３ｂ：１／４縮小画像
４５ａ、４５ｂ：１／８縮小画像
４６ａ〜４６ｅ：ブロックマッチングＢＭ
４７，４８、４９：減算器
５０：シーケンサＳＱＲ
５１：累積加算器ＡＣＣ
５２：乗算器
６１：移動物体領域検出ブロック
６２：画像補正ブロック
６３：移動物体領域更新ブロック
６４：補正あり信号
６５：補正なし信号
６７：移動物体領域信号
６７’：前フレーム移動物体領域信号
６８：動き推定処理
６９：動き補正処理
７０：遅延処理
７１：差分演算器
７２：絶対値処理
７３：しきい値処理
７４：２値多数決フィルタ処理
７５：２値マスク画像信号
７６：遅延処理
７７：動き推定処理
７８：動き補正処理
７９：ぶれ補正ビデオ信号
８０：遅延処理
８１：差分演算器
８２：絶対値処理
８４：周辺近傍領域
８５：１ビット加算器
８６：加算器出力
８７：しきい値
８８：比較器
８９：比較器出力
９１、９４：乗算器
９２：加算器
９３：フレームメモリ
９５：しきい値処理ブロック
９７：フィールド拡大処理
９８：フレーム拡大処理
９９、１００：ミックス係数生成
１０１：乗算器
１０２：加算器
１１０：画像特異性検出ブロック
１１１：画像特異性判定ブロック
１１２：メモリ
１１３：書込み制御
１１４ａ、１１４ｂ、１１４ｃ、１１４ｄ：ヒストグラム計算回路
１１５：読み出し制御
１１６：ＣＰＵ
２０１：入力ビデオ信号
２０２：ＩＰ変換
２０３：動き推定
２０４：動き量
２０５：動き補正
２０６：画像拡大
２０７：ＰＩ変換
２０８：出力ビデオ信号

Claims (7)

1. 入力画像信号の初期画像を第１画像としてメモリする第１画像メモリと、前記初期画像に隣接する現画像を第２画像としてメモリする第２画像メモリとを備え、
   該第２画像メモリの読み出しアドレスを制御して、現画像そのもの及び現画像中心部を座標原点とし複数方向に画像を一定量シフトさせて順次読み出した第２画像と、前記第１画像メモリから読み出した第１画像との各画像中央領域の画素ごとにブロックマッチング処理を行う動き推定手段と、該動き推定手段により得られた推定動き量で動き補正された第２画像と前記第１画像とにより各画像中央領域の１／２画素以下のサブピクセル／サブラインに相当する画素ごとの輝度値の時間的勾配と空間的勾配から輝度値の差分値の最小値を求めてぶれ補正値とし、該ぶれ補正値によって画像のぶれを補正してなることを特徴とする画像ぶれ補正装置。
2. 入力画像信号の初期画像を第１画像としてメモリする第１画像メモリと、前記初期画像に隣接する現画像を第２画像としてメモリする複数の第２画像メモリを備え、
   該複数の第２画像メモリの読み出しアドレスを制御して、現画像そのもの及び現画像中心部を座標原点とし複数方向に画像を一定量シフトさせて同時に読み出した第２画像と、前記第１画像メモリから読み出した第１画像との各画像中央領域の画素ごとにそれぞれブロックマッチング処理を行う動き推定手段と、該動き推定手段により得られた推定動き量で動き補正された第２画像と前記第１画像とにより各画像中央領域の１／２画素以下のサブピクセル／サブラインに相当する画素ごとの輝度値の時間的勾配と空間的勾配から輝度値の差分値の最小値を求めてぶれ補正値とし、該ぶれ補正値によって画像のぶれを補正してなることを特徴とする画像ぶれ補正装置。
3. 前記第２画像が、前記現画像の画像中心座標位置及び該中心座標位置を中心として少なくも８方向へ一定量シフトした現画像であることを特徴とする請求項１又は２に記載の画像ぶれ補正装置。
4. 前記動き推定手段が、前記第１、第２の両画像メモリから読み出した第１画像及び第２画像共に偶数分の１の縮小画像を段階的に生成する複数の縮小画像生成手段を備え、
   前記複数の縮小画像生成手段が、最初第１画像と第２画像の最小縮小画像生成手段間でブロックマッチング処理を行って推定動き量を求め、該推定動き量を初期オフセットアドレスとして順次次段の第１画像と第２画像の縮小画像生成手段間でブロックマッチング処理を行い、第１画像と第２画像の最終縮小画像手段間のブロックマッチング処理により推定動き量を求めてなることを特徴とする請求項１〜３のいずれか１項に記載の画像ぶれ補正装置。
5. 前記画像ぶれ補正装置が、さらに前記入力画像信号における画像中の部分的な移動物体領域を検出する移動物体検出補正手段を備え、
   前記移動物体検出補正手段が、前記ぶれ補正値で画像全体のぶれ補正された画像信号を入力信号とし、部分的な移動物体領域を前フィールド画像と現フィールド画像間、又は前フレーム画像と現フレーム画像間で差分画像比較をして移動物体領域を抽出する移動物体領域検出手段により検出し、かつ前記差分画像比較を繰り返して移動物体領域を逐次更新処理し、その結果で生成した差分値を部分的移動物体領域信号として出力し、前記部分的移動物体領域内の画素は前記ぶれ補正値生成のための動き推定処理に用いないことを特徴とする請求項１〜４のいずれか１項に記載の画像ぶれ補正装置。
6. 前記画像ぶれ補正装置が、前記移動物体領域検出手段により得られた画像領域に応じて画像の縦・横サイズを正規化したフィールド拡大画像とフレーム拡大画像を生成し、これを適応的に選択制御するぶれ補正適応処理手段を備え、
   前記ぶれ補正適応処理手段が、前記移動物体領域検出手段により検出した部分的移動物体領域に応じて、予め設定した係数により部分的な移動物体の領域を検出したとき、この領域のみ前記フィールド拡大画像を選択し、部分的な移動物体領域以外の画像領域は前記フレーム拡大画像を選択してなることを特徴とする請求項５に記載の画像ぶれ補正装置。
7. 前記画像ぶれ補正装置が、更に前記入力画像信号における空間的に平坦な画像領域や周期的な繰り返し画像領域、又は部分的な移動物体の存在する画像領域の画面全体に対する割合を検出し、画像特異性検出値として出力する画像特異性検出処理手段を備え、
   該画像特異性検出値が任意に設定したしきい値レベルを超えたとき画像ぶれ補正を停止させることを特徴とする請求項１〜６のいずれか１項に記載の画像ぶれ補正装置。