JP2007336121A - 画像処理装置、画像処理方法、撮像装置および撮像方法 - Google Patents

画像処理装置、画像処理方法、撮像装置および撮像方法 Download PDF

Info

Publication number
JP2007336121A
JP2007336121A JP2006164209A JP2006164209A JP2007336121A JP 2007336121 A JP2007336121 A JP 2007336121A JP 2006164209 A JP2006164209 A JP 2006164209A JP 2006164209 A JP2006164209 A JP 2006164209A JP 2007336121 A JP2007336121 A JP 2007336121A
Authority
JP
Japan
Prior art keywords
block
motion vector
vector
absolute value
difference absolute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006164209A
Other languages
English (en)
Other versions
JP4178480B2 (ja
Inventor
Toru Kurata
徹 倉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006164209A priority Critical patent/JP4178480B2/ja
Priority to EP20070010921 priority patent/EP1868389A2/en
Priority to US11/757,134 priority patent/US7817185B2/en
Priority to KR20070057762A priority patent/KR20070119525A/ko
Priority to CN2007101086584A priority patent/CN101090456B/zh
Publication of JP2007336121A publication Critical patent/JP2007336121A/ja
Application granted granted Critical
Publication of JP4178480B2 publication Critical patent/JP4178480B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal

Abstract

【課題】ブロックマッチングを用いて手ぶれを補正した画像を得る場合において、手ぶれの平行移動成分のみではなく、回転成分をも補正して、高精度の補正を実現する。
【解決手段】画面単位で順次に入力される画像について、注目画面である参照画面と、当該参照画面よりも前の画面である元画面との間の動きベクトルを算出するに、元画面中の複数の所定の位置に、それぞれ複数の画素からなる所定の大きさのターゲットブロックを複数個設定して、参照画面との間でブロックマッチングを行い、前記複数のターゲットブロックのそれぞれについてのブロック毎動きベクトルを算出する。算出された複数のブロック毎動きベクトルから、元画面に対する参照画面の平行移動量と、元画面に対する参照画面の回転角を算出する。算出された平行移動量と、回転角とを用いて、複数枚の画面を重ね合わせて、手ぶれを補正した画像を得る。
【選択図】図１

Description

この発明は、例えば、デジタルスチルカメラやビデオカメラなどの撮像装置において撮像されて得られた画像情報に含まれるいわゆる手ぶれ成分を補正して、当該手ぶれの無い画像を得ることができるようにする画像処理装置、画像処理方法、撮像装置および撮像方法に関する。
一般に、デジタルスチルカメラやビデオカメラなどの撮像装置を手で持って構えて撮影をした場合、撮影時の手ぶれによる撮像装置の振動が、撮像画像の画面単位での振動となって現われる。
このような手ぶれによる撮像画像の振動を補正する方法として、昨今の市場においては、ジャイロセンサの低価格化、高性能化、小型化に伴い、ジャイロ（角速度）センサを用いた光学式の手ぶれ補正方式が主流を占めている。
しかし、ここ数年においては、デジタルスチルカメラの急速な普及と、それと機を同じくした急速な高画素化の流れが、新たな問題を生み始めている。それは、低照度（露光時間が長い）ときの静止画においても、手ぶれ補正が強く求められているものの、解がジャイロセンサ等のセンサを用いたものしか存在せず、ジャイロセンサ自体の検出精度の甘さなどのジャイロセンサの弱点やその他の問題が露呈しつつある点である。
現在市場に出回っている民生機における、静止画用途の手ぶれ補正は、全て、遍くジャイロセンサもしくは加速度センサを使って手ぶれベクトルを計測し、それを機構系にフィードバックして、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージャやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャなどのイメージセンサに射影される像が、ぶれを起こさないように高速に制御する、というものである。
ここでいう機構系としては、レンズ、プリズム、イメージャ（もしくはイメージャと一体化したモジュール）が提案されており、それぞれ、レンズシフト、プリズムシフト、イメージャシフトと呼ばれている。
このような方法で手ぶれ補正がなされている以上、先に挙げたジャイロセンサ自体の精度誤差に加え、機構系へのフィードバック遅延、もしくはフィードバック遅延を回避するための予測誤差、そして、機構系の制御誤差も重畳され、とてもピクセル精度で補正をかけることは不可能である。
以上に挙げたように、現状のセンサを使用した手ぶれ補正には、原理的に、精度を追求できない、という大きな問題があるにも関わらず、市場で高評価を得ているのは、手ぶれを補正できないまでも低減できるからである。
しかしながら、今後益々の高画素化が予想される中、ピクセルサイズが小さくなるに従って、補正限界がピクセル精度と益々開いて行かざるを得ない、という事実に市場が気付くのも時間の問題である。
一方、手ぶれによる撮像画像の振動を補正する方法の他の一つとして、撮像画像の画面単位の動きベクトルを算出し、この動きベクトルに基づいて、画像メモリに蓄えられている撮像画像データの読み出し位置をシフトして手ぶれ補正をするセンサレス手ぶれ補正方法が知られている。
撮像画像の画面単位の動きベクトルを撮像画像情報自身から検出する方法としては、２画面分の撮像画像間の相関を求めるブロックマッチングが知られている。このブロックマッチングを用いるセンサレス手ぶれ補正方法は、原理的に、ロール軸方向の回転成分を含んだピクセル精度の手ぶれベクトル検出が実現可能であり、また、ジャイロセンサなどの機械的な部品が不要なので、撮像装置の小型、軽量化を実現することができるという点でも有利である。
図７１および図７２は、ブロックマッチングの概要を図示したものである。また、図７３には、その処理フローチャートの一般例を示す。
ブロックマッチングは、撮像装置部からの撮像画像について、注目画面である参照画面と、当該参照画面よりも前、例えば１画面分前の撮像画面である元画面との間の１画面分単位での動きベクトルを、所定の大きさの矩形領域のブロックについて、参照画面と元画面との相関を算出することにより算出する方法である。
なお、ここで画面とは、１フレームまたは１フィールドの画像データからなる画像を意味しているが、この明細書では、説明の便宜上、画面は１フレームからなるものとして、画面をフレームと称することとする。したがって、参照画面は参照フレーム、元画面は元フレーム（ターゲットフレーム）と称する。
例えば、参照フレームの画像データは、撮像装置部からの現フレームの画像データ、または現フレームの画像データがフレームメモリに格納されて１フレーム分遅延されたものとされる。元フレームの画像データは、参照フレームの画像データがさらにフレームメモリに格納されて１フレーム分遅延されたものとされる。
ブロックマッチングにおいては、図７１に示すように、元フレーム１０１の任意の所定の位置において、水平方向の複数画素および垂直方向の複数ライン分からなる所定の大きさの矩形領域からなるターゲットブロック１０３が設定される。
これに対して、参照フレーム１０２において、元フレームのターゲットブロック１０３の位置と同じ位置に、ターゲットブロックの射影イメージブロック１０４（図７１の点線参照）を想定し、このターゲットブロックの射影イメージブロック１０４を中心としたサーチ範囲１０５（図７１の一点鎖線参照）を設定すると共に、ターゲットブロック１０３と同じ大きさの参照ブロック１０６を考える。
そして、この参照ブロック１０６の位置を参照フレーム１０２のサーチ範囲１０５内において移動させ、各位置において参照ブロック１０６に含まれる画像内容と、ターゲットブロック１０３の画像内容との相関を求め、最も相関が強いとして検出された参照ブロック１０６の位置を、元フレームのターゲットブロック１０３が、参照フレーム１０２において移動した位置として検出するようにする。そして、その検出した参照フレーム１０６の位置と、ターゲットブロックの位置との間の位置ずれ量を、方向成分を含む量としての動きベクトルとして検出するようにする。
この場合、参照ブロック１０６は、サーチ範囲１０５を、例えば水平方向および垂直方向に、１画素または複数画素単位で移動させるようにする。したがって、サーチ範囲１０５内には、複数個の参照ブロックが設定されることになる。
ここで、ターゲットブロック１０３と、サーチ範囲１０５内を移動する各参照ブロック１６との相関は、ターゲットブロック１０３内の各画素の輝度値と、参照ブロック１０６内の対応する各画素の輝度値との差分の絶対値の、ブロック内の全画素についての総和（この差分の絶対値の総和を差分絶対値和と呼ぶ。以下、この差分絶対値和をＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値と記載することとする）を求めることにより検出する。すなわち、ＳＡＤ値が最小となる位置の参照ブロック１０６が最も相関が強い参照ブロックとして検出され、その検出された参照ブロック１０６のターゲットブロック１０３の位置に対する位置ずれ量が動きベクトルとして検出される。
ブロックマッチングでは、サーチ範囲１０５内に設定される複数個の参照ブロック１０６のそれぞれの、ターゲットブロック１０３の位置に対する位置ずれ量は、方向成分を含む量としての参照ベクトル１０７（図７１参照）で表現される。各参照ブロック１０６の参照ベクトル１０７は、参照ブロック１０６の参照フレーム１０２上の位置に応じた値となるが、従来のブロックマッチングでは、ＳＡＤ値が最小値となる参照ブロック１０６の参照ベクトルを、ターゲットブロック１０３に対する動きベクトルとして検出するものである。
そこで、ブロックマッチングでは、一般に、図７２に示すように、サーチ範囲１０５内において設定される複数個の参照ブロック１０６のそれぞれとターゲットブロック１０３との間におけるＳＡＤ値（以下、説明の簡単のため参照ブロックについてのＳＡＤ値という）を、サーチ範囲１０５内におけるそれぞれの参照ブロック１０６の位置に応じた参照ベクトル１０７のそれぞれに対応させて、メモリに記憶しておき、そのメモリに記憶された全ての参照ブロック１０６についてのＳＡＤ値の中から、最小のＳＡＤ値の参照ブロック１０６を検出することで、ターゲットブロック１０３に対する動きベクトル１１０を検出するようにしている。
サーチ範囲１０５内に設定された複数個の参照ブロック１０６の位置に応じた参照ベクトル１０７のそれぞれに対応させて、それぞれの参照ブロック１０６についてのＳＡＤ値を記憶したものを、差分絶対値和テーブル（以下ＳＡＤテーブルという）と呼ぶ。図７２のＳＡＤテーブル１０８が、これを示しており、このＳＡＤテーブル１０８において、それぞれの参照ブロック１０６についてのＳＡＤ値をＳＡＤテーブル要素１０９という。
なお、上述の説明において、ターゲットブロック１０３および参照ブロック１０６の位置とは、それらのブロックの任意の特定の位置、例えば中心位置を意味するものであり、参照ベクトル１０７は、参照フレーム１０２におけるターゲットブロック１０３の射影イメージブロック１０４の位置と、参照ブロック１０６の位置との間のずれ量（方向を含む）を示すものである。図７１および図７２の例では、ターゲットブロック１０３は、フレームの中心位置にあるとしている場合である。
そして、各参照ブロック１０６に対応する参照ベクトル１０７は、参照フレーム１０２上のターゲットブロック１０３に対応する位置に対する当該各参照ブロック１０６の位置ずれとなっているので、参照ブロック１０６の位置が特定されると、その位置に対応して参照ベクトルの値も特定される。したがって、ＳＡＤテーブル１０８のメモリにおける参照ブロックのＳＡＤテーブル要素のアドレスが特定されると、対応する参照ベクトルは特定されることになる。
以上説明した従来のブロックマッチングの処理を、図７３のフローチャートを参照して説明すると、次のようになる。
先ず、サーチ範囲１０５内の１つの参照ブロックＩｉを指定するが、これは、当該参照ブロックＩｉに対応する参照ベクトルを指定することに等しい（ステップＳ１）。ここで、図７２において、（ｖｘ，ｖｙ）は、ターゲットブロックのフレーム上の位置を基準位置（０，０）としたときに、指定された参照ベクトルにより示される位置を示し、ｖｘは指定された参照ベクトルによる、基準位置からの水平方向のずれ量成分であり、また、ｖｙは指定された参照ベクトルによる、基準位置からの垂直方向成分のずれ量成分である。
ここでは、ずれ量ｖｘ、ｖｙは、画素を単位とした値とされ、例えばｖｘ＝＋１は、基準位置（０，０）に対して、水平方向の右方向に１画素分ずれた位置を示し、また、ｖｘ＝−１は、基準位置（０，０）に対して、水平方向の左方向に１画素分ずれた位置を示している。また、例えばｖｙ＝＋１は、基準位置（０，０）に対して、垂直方向の下方向に１画素分ずれた位置を示し、また、ｖｙ＝−１は、基準位置（０，０）に対して、垂直方向の上方向に１画素分ずれた位置を示している。
以上のように、（ｖｘ、ｖｙ）は、参照ベクトルで示される基準位置に対する位置（以下、簡単のため、参照ベクトルで示される位置という）を示しており、参照ベクトルのそれぞれに対応している。つまり、ｖｘおよびｖｙを整数としたとき、（ｖｘ、ｖｙ）は参照ベクトルのそれぞれを表すことになる。したがって、以下の説明においては、（ｖｘ、ｖｙ）の位置を示す参照ベクトルを、参照ベクトル（ｖｘ、ｖｙ）と記載することがある。
ここで、サーチ範囲の中心位置をターゲットブロックの位置、つまり前記基準位置（０，０）とし、サーチ範囲を、水平方向には±Ｒｘ、垂直方向には±Ｒｙとしたとき、
−Ｒｘ≦ｖｘ≦＋Ｒｘ、−Ｒｙ≦ｖｙ≦＋Ｒｙ
とされるものである。
次に、ターゲットブロックＩｏ内の１つの画素の座標（ｘ，ｙ）を指定する（ステップＳ２）。次に、ターゲットブロックＩｏ内の指定された１つの座標（ｘ，ｙ）の画素値Ｉｏ（ｘ，ｙ）と、参照ブロックＩｉ内の対応する画素位置の画素値Ｉｉ（ｘ＋ｖｘ，ｙ＋ｖｙ）との差分の絶対値αを算出する（ステップＳ３）。すなわち、差分絶対値αは、
α＝｜Ｉｏ（ｘ，ｙ）−Ｉｉ（ｘ＋ｖｘ，ｙ＋ｖｙ）｜ ・・・（式１）
として算出される。
そして、算出した差分絶対値αを、当該参照ブロックＩｉの参照ベクトル（ｖｘ，ｖｙ）が指し示すアドレス（テーブル要素）の、それまでのＳＡＤ値に加算し、その加算であるＳＡＤ値を、当該アドレスに書き戻すようにする（ステップＳ４）。すなわち、参照ベクトル（ｖｘ，ｖｙ）に対応するＳＡＤ値を、ＳＡＤ（ｖｘ，ｖｙ）と表すと、
ＳＡＤ（ｖｘ，ｖｙ）＝Σα＝Σ｜Ｉｏ（ｘ，ｙ）−Ｉｉ（ｘ＋ｖｘ，ｙ＋ｖｙ）｜
・・・（式２）
として算出し、当該参照ベクトル（ｖｘ，ｖｙ）が指し示すアドレスに書き込むようにする。
次に、ターゲットブロックＩｏ内の全ての座標（ｘ，ｙ）の画素について、上記の演算を行なったか否かを判別し（ステップＳ５）、ターゲットブロックＩｏ内の全ての座標（ｘ，ｙ）の画素については、未だ、演算は終了していないと判別したときには、ステップＳ２に戻り、ターゲットブロックＩｏ内の次の座標（ｘ，ｙ）の画素位置を指定し、このステップＳ２以降の処理を繰り返す。
また、ステップＳ５で、ターゲットブロックＩｏ内の全ての座標（ｘ，ｙ）の画素について、上記の演算を行なったと判別したときには、当該参照ブロックについてのＳＡＤ値の算出が終了したと判別して、サーチ範囲内の全ての参照ブロック、すなわち、全ての参照ベクトル（ｖｘ，ｖｙ）についての上記の演算処理を完了したか否か判別する（ステップＳ６）。
ステップＳ６で、未だ、上記の演算処理を完了していない参照ベクトル（ｖｘ，ｖｙ）があると判別すると、ステップＳ１に戻り、上記の演算処理を完了していない次の参照ベクトル（ｖｘ，ｖｙ）を設定して、このステップＳ１以降の処理を繰り返す。
そして、ステップＳ６で、上記の演算処理を完了していない参照ベクトル（ｖｘ，ｖｙ）はサーチ範囲内になくなったと判別すると、ＳＡＤテーブルが完成したとして、当該完成したＳＡＤテーブルにおいて、最小値となっているＳＡＤ値を検出する（ステップＳ７）。そして、当該最小値となっているＳＡＤ値のアドレスに対応する参照ベクトルを、ターゲットブロックＩｏに対する動きベクトルとして検出する（ステップＳ８）。ここで、ＳＡＤの最小値をＳＡＤ（ｍｘ，ｍｙ）と書き表すと、目的とする動きベクトルは、位置（ｍｘ，ｍｙ）を示すベクトル（ｍｘ，ｍｙ）として算出される。
以上で、１つのターゲットブロックに対するブロックマッチングによる動きベクトルの検出処理は、終了となる。
実際的には、一つのターゲットブロックについての動きベクトルでは、元フレームに対する参照フレームについての精度の良い手ぶれベクトルを得ることが困難である。そのため、元フレームにおいては、ターゲットブロックは、元フレームの全範囲をカバーするように、複数個が設定され、一方、参照フレームにおいては、図７４に示すように、その複数個のターゲットブロックの射影イメージ１０４、１０４、・・・について、それぞれサーチ範囲１０５、１０５、・・・を設定して、それぞれのサーチ範囲について、対応するターゲットブロックに対する動きベクトル１１０、１１０、・・・の検出を行うようにする。
そして、検出された複数個の動きベクトル１１０、１１０、・・・から、元フレームに対する参照フレームについての手ぶれベクトル（グローバル動きベクトル）を検出するようにする。
この複数個の動きベクトル１１０から、手ぶれベクトル（グローバル動きベクトル）を検出する手法としては、複数の動きベクトルの多数決によるもの、すなわち、複数個の動きベクトル１１０で、向きおよび大きさが同等である動きベクトルの数が最も多い動きベクトルをグローバル動きベクトルとする手法が主として提案されている。また、この多数決による手法と、時間軸方向の動きベクトルの変化量（周波数）による信頼性評価との併用方法が提案されている。
従来技術としてのセンサレス手ぶれ補正は、特許文献１（特開２００３-７８８０７号公報）に代表されるように、その殆どが動画をターゲットとしている。また、センサレス手ぶれ補正を静止画で実現する手法としては、特許文献２（特開平７−２８３９９９号公報）を始め、幾つか提案はされている。この特許文献２は、手ぶれの発生しない程度の短い露光時間で何枚かの静止画を連写撮影し、その静止画間の手ぶれベクトルを求め、その手ぶれベクトルに従って、前記連射撮影した複数枚の静止画を移動させながら加算して行くことで、最終的に手ぶれと低照度ノイズの無い高画質（高解像度）の静止画を得る、というアルゴリズムである。
実現できるレベルの現実的な提案としては、特許文献３（特開２００５−３８３９６公報）を挙げることができる。この特許文献３に示されたものは、画像を縮小変換したサイズで動ベクトルを求める手段と、同一のＳＡＤテーブルを複数のブロックで共有する手段から構成される。画像の縮小変換と、ＳＡＤテーブルの複数ブロックでの共有化は、ＳＡＤテーブルサイズの削減を実現するための、非常に良い手法であり、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）画像圧縮方式における動きベクトル検出やシーンチェンジ検出等、他分野でも使われている。
しかし、この特許文献３のアルゴリズムの問題点として、画像の縮小変換と、その際のメモリ（ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）））アクセスに、時間とメモリ容量を消費することと、ＳＡＤテーブルを複数ブロックで時分割アクセスする手法のため、メモリアクセスが非常に増加し、この処理にも時間を要してしまうという課題がある。動画の手ぶれ補正においては、リアルタイム性と同時にシステム遅延時間の短縮が求められるため、この処理時間の問題が課題となってしまうのである。
また、元画像を縮小変換する際には、エイリアシング（折り返し歪み）や、低照度ノイズ除去のためのローパスフィルタを、縮小処理の前処理として実装するが必要である。しかし、縮小倍率に応じて、ローパスフィルタの特性が変化する上、特に、垂直方向のローパスフィルタの場合、多タップのデジタルフィルタとした場合に、多くのラインメモリと演算ロジックを必要としなければならず、回路規模増加の問題が生じる。
上記の先行技術文献は、次の通りである。
特開２００３−７８８０７号公報 特開平７−２８３９９９号公報 特開２００５−３８３９６号公報
動画の手ぶれ補正システムにおいては、精度よりも処理時間を重視した、大まかな手ぶれベクトルのリアルタイム検出が求められており、従来技術によるセンサレス手ぶれ補正手法でも、殆どの状況において満足のいく結果が得られる。
一方、静止画の手ブレ補正システムにおける従来技術は、アイデアレベルの提案が多く、また、画素数が今日の１０００万画素レベルを想定していないことが多い。そのため、手ぶれの回転成分まで考慮されていなかったり、考慮されていても、膨大な演算量が必要であったりする等、デジタルスチルカメラなどの現在のモバイル機器をターゲットとした、現実的配慮に欠けていた。
しかし、前述の通り、デジタルカメラなどの撮像装置では、今後益々高密度画素化が進み、高性能化が求められると予想されるが、このような状況においては、静止画の撮影時の手ぶれ補正を、ジャイロ（角速度）センサを用いないセンサレスで実現する意義は非常に大きい。
そこで、上述したように、ブロックマッチングを用いて、センサレスで、手ぶれ動きベクトルを算出し、その検出した動きベクトルを用いて手ぶれ補正を行なうことが有望であり、上述した課題の解決が重要である。
この発明は、以上の点にかんがみ、上述した従来のセンサレス手ぶれ補正方式の問題点を解決して、高画質の画像を得ることができる画像処理方法および装置を提供することを目的とする。
上記の課題を解決するために、請求項１の発明は、
画面単位で順次に入力される画像について、注目画面である参照画面と、当該参照画面よりも前の画面である元画面との間の動きベクトルを算出するものであって、前記元画面中において、複数の所定の位置に、それぞれ複数の画素からなる所定の大きさのターゲットブロックを設定し、前記参照画面において、前記ターゲットブロックと同じ大きさの参照ブロックを、前記複数のターゲットブロックの位置に応じて設定された複数のサーチ範囲のそれぞれにおいて複数個設定してブロックマッチングを行い、前記複数のターゲットブロックのそれぞれについてのブロック毎動きベクトルを算出するブロック毎動きベクトル算出手段と、
前記ブロック毎動きベクトル算出手段で算出された複数の前記ブロック毎動きベクトルから、前記元画面に対する前記参照画面の平行移動量を算出する平行移動量算出手段と、
前記ブロック毎動きベクトル算出手段で算出された複数の前記ブロック毎動きベクトルから、前記元画面に対する前記参照画面の回転角を算出する回転角算出手段と、
前記平行移動量算出手段で算出された平行移動量と、前記回転角算出手段で算出された回転角とを用いて、複数枚の画面を重ね合わせる回転・平行移動加算手段と、
を備える画像処理装置を提供する。
上述の構成の請求項１の発明による画像処理装置においては、ブロック毎動きベクトル算出手段で算出された複数のブロック毎動きベクトルから、元画面に対する参照画面の平行移動量と回転角とが算出される。そして、算出された平行移動量と回転角とを用いて、複数枚の画面を順次に重ね合わせる。この重ね合わされた結果の画像は、例えば撮像画像の場合であれば、手ぶれが除去された高画質の画像となる。
また、請求項２の発明は、請求項１に記載の画像処理装置において、
前記元画面に対する前記参照画面全体についてのグローバル動きベクトルを生成するグローバル動きベクトル生成手段と、
前記グローバル動きベクトルを用いて、前記ブロック毎動きベクトル算出手段で求められた前記複数のブロック毎動きベクトルのそれぞれを評価する評価手段と、
を備え、
前記評価手段で付与された評価値が高い前記複数のブロック毎動きベクトルの数が予め定められた閾値未満である前記参照画面は、前記回転・平行移動加算手段において重ね合わせ画面から排除する
ことを特徴とする。
この請求項２の発明によれば、元画面に対する参照画面全体についてのグローバル動きベクトルが用いられて、複数のブロック毎動きベクトルのそれぞれが評価され、その評価値が高いブロック毎動きベクトルの数が予め定められた閾値未満であるような信頼性の低い参照画面は、回転・平行移動加算手段において重ね合わせ画面から排除される。
したがって、信頼性の高い参照画面のみが回転・平行移動加算手段において重ね合わされることになり、手ぶれの無い、より高画質の画像が得られると期待できる。
また、請求項３の発明は、請求項１に記載の画像処理装置において、
前記元画面に対する前記参照画面全体についてのグローバル動きベクトルを生成するグローバル動きベクトル生成手段と、
前記グローバル動きベクトルを用いて、前記ブロック毎動きベクトル算出手段で求められた前記複数のブロック毎動きベクトルのそれぞれを評価する評価手段と、
を備え、
前記平行移動量算出手段および前記回転角算出手段においては、前記評価手段で付与された評価値が高い複数個の前記ブロック毎動きベクトルのみから前記平行移動量および前記回転角を算出する
ことを特徴とする。
この請求項３の発明によれば、ブロック毎動きベクトル算出手段で算出された複数のブロック毎動きベクトルのうちの信頼性の高いブロック毎動きベクトルのみが用いられて、平行移動量および回転角が算出されるので、精度の良い平行移動量および回転角が算出される。
したがって、回転・平行移動加算手段においては、この精度の良い平行移動量および回転角が用いられて参照画像の重ね合わせがなされ、手ぶれの無い、より高画質の画像が得られると期待できる。
また、請求項４の発明は、請求項２または請求項３に記載の画像処理装置において、
前記ブロック毎動きベクトル算出手段は、
前記複数のターゲットブロックのそれぞれについて設定されるサーチ範囲のそれぞれにおいて、前記設定した前記複数個の参照ブロックのそれぞれについて当該参照ブロック内の各画素の画素値と、前記ターゲットブロック内で対応する位置の各画素の画素値との差分の絶対値の総和である差分絶対値和を求める差分絶対値和算出手段と、
前記差分絶対値和算出手段で算出された、前記サーチ範囲内の複数参照ブロック位置についての前記差分絶対値和を記憶する差分絶対値和テーブルを、前記複数個のサーチ範囲のそれぞれに対応して複数生成する差分絶対値和テーブル生成手段と、
前記差分絶対値和テーブルのそれぞれから前記複数のターゲットブロックに対応する複数の前記ブロック毎動きベクトルを算出する手段と、
を備え、
前記グローバル動きベクトル生成手段は、
前記複数の差分絶対値和テーブルのそれぞれの前記差分絶対値和について、前記複数のサーチ範囲のそれぞれで対応する参照ブロック位置のものを合算して合算差分絶対値和を求め、一つのサーチ範囲内の複数参照ブロック位置分の前記合算差分絶対値和を記憶する合算差分絶対値和テーブルを生成する合算差分絶対値和テーブル生成手段と、
前記合算差分絶対値和テーブル生成手段で生成された前記合算差分絶対値和テーブルから、前記グローバル動きベクトルを検出する手段と、
を備えることを特徴とする。
ブロック毎動きベクトル検出手段に関しては、参照画面のサーチ範囲内のそれぞれの参照ブロックと、元画面のターゲットブロックとの間の差分絶対値和（ＳＡＤ値）を求め、この差分絶対値和から差分絶対値和テーブルを生成し、その差分絶対値和テーブルからブロック毎動きベクトルを算出するのは従来と同様である。
この発明においては、グローバル動きベクトル生成手段では、前記参照画面について求められた複数の差分絶対値和テーブルのそれぞれの差分絶対値和について、複数のサーチ範囲のそれぞれで対応する参照ブロック位置のＳＡＤ値を合算し、合算差分絶対値和（合算ＳＡＤ値という）を求める。これにより、一つのサーチ範囲内の複数参照ブロック位置分の合算ＳＡＤ値が求められ、それらの合算ＳＡＤ値を記憶する合算差分絶対値和テーブルが生成される。そして、この合算ＳＡＤテーブルから、元画面に対する参照画面のグローバル動きベクトルが検出される。
従来は、元画面に設定された複数個のターゲットブロックのそれぞれについて、動きベクトル（ターゲットブロック毎動きベクトル）を求め、その求められた複数個の動きベクトルについての例えば多数決によりグローバル動きベクトルを算出するようにしていたが、これとは異なり、この発明における合算ＳＡＤ値からなる合算ＳＡＤテーブルは、フレーム全体をまとめてブロックマッチングした結果と等価になる。
このため、この合算ＳＡＤテーブルから求められたグローバル動きベクトルは、従来よりも高精度のグローバル動きベクトルとなる。
また、請求項５の発明は、請求項１に記載の画像処理装置において、
前記ブロック毎動きベクトル算出手段は、
前記複数のターゲットブロックのそれぞれについて設定されるサーチ範囲のそれぞれにおいて、前記設定した前記複数個の参照ブロックのそれぞれについて当該参照ブロック内の各画素の画素値と、前記ターゲットブロック内で対応する位置の各画素の画素値との差分の絶対値の総和である差分絶対値和を求める差分絶対値和算出手段と、
前記参照ブロックのそれぞれの前記参照画面上の位置の、前記ターゲットブロックの画面上の位置との位置ずれ量を、方向成分も含む参照ベクトルとし、当該参照ベクトルを所定の縮小率で縮小した参照縮小ベクトルを得る参照縮小ベクトル取得手段と、
前記複数のサーチ範囲のそれぞれのターゲットブロックについて、前記参照縮小ベクトルに応じた大きさの前記参照ベクトルを前記位置ずれ量とする、前記所定の縮小率に応じて削減された数の複数個の前記参照ブロックのそれぞれについての差分絶対値和を記憶する縮小差分絶対値和テーブルを生成する縮小差分絶対値和テーブル生成手段と、
前記縮小差分絶対値和テーブルのそれぞれから前記ブロック毎動きベクトルを算出する手段と、
を備え、
前記縮小差分絶対値和テーブル生成手段は、
前記参照縮小ベクトル取得手段で取得された前記参照縮小ベクトルの近傍値となる複数の前記参照ベクトルを検出する近傍参照ベクトル検出手段と、
前記差分絶対値和算出手段で算出された前記参照ブロックのそれぞれについての前記差分の絶対値の総和から、前記近傍参照ベクトル検出手段で検出された前記近傍の複数の前記参照ベクトルのそれぞれに対応する差分絶対値和のそれぞれを算出する分散差分絶対値和算出手段と、
前記分散差分絶対値和算出手段で算出した前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分絶対値和を、それまでの前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分絶対値和に加算する分散加算手段と、
を備えることを特徴とする。
この請求項５の発明においても、上述の請求項１と同様に、参照画面のサーチ範囲内のそれぞれの参照ブロックと、元画面のターゲットブロックとの間のＳＡＤ値を、ＳＡＤ算出手段で求めるのは従来と同様である。
この発明においては、求めた参照ブロックのＳＡＤ値を、その参照ブロックの参照ベクトルに対応して記憶するのではなく、その参照ベクトルを縮小した参照縮小ベクトルに対応して記憶する縮小差分絶対値和テーブル生成手段を備える。
この場合に、参照縮小ベクトルは、参照ブロックのそれぞれが対応する参照ベクトルとは一致していないので、縮小差分絶対値和テーブル生成手段は、先ず、参照縮小ベクトルの近傍の複数個の参照ベクトルを検出する。そして、それら近傍の複数の参照ベクトルのそれぞれに対応するＳＡＤ値を、ＳＡＤ算出手段で算出したＳＡＤ値から算出する。
そして、算出した近傍の複数の参照ベクトルのそれぞれに対応するＳＡＤ値を、それまでの当該近傍の複数の参照ベクトルのそれぞれに対応するＳＡＤ値に加算する。
こうして得られたＳＡＤテーブルは、参照縮小ベクトルのそれぞれの近傍の複数個の参照ベクトルのみについてのＳＡＤ値のテーブルとなっており、参照ベクトルの縮小率に応じて縮小されたものとなっている。
つまり、換言すると、生成されたＳＡＤ値のテーブルは、参照ベクトルの縮小率に応じて縮小されたフレーム画像についてのＳＡＤテーブルに対応する。この場合において、ターゲットブロックおよび参照ブロックの大きさは縮小されていないので、生成されたＳＡＤテーブル（縮小差分絶対値和テーブル）のサイズは、小さくなる。
請求項５の発明においては、このような縮小差分絶対値和テーブルが、複数個のターゲットブロックのそれぞれについて求められる。そして、求められた複数のターゲットブロックの縮小差分絶対値和テーブルのそれぞれからブロック毎動きベクトルが算出される。
そして、この請求項５の発明においては、縮小ＳＡＤテーブルは、上述したように、従来のブロックマッチングにおけるＳＡＤテーブルよりも容量の小さいものとなり、実現が現実的なものとなる。
この発明においては、ブロック毎動きベクトル算出手段で算出された参照画面についての複数のブロック毎動きベクトルから、元画面に対する参照画面の平行移動量と回転角とが算出され、その算出された平行移動量と回転角とが用いられて、複数枚の画面が順次に重ね合わせられる。この重ね合わされた結果の画像として、例えば撮像画像の場合であれば、手ぶれが除去された高画質の画像が得られる。
以下、この発明による画像処理方法および画像処理装置の実施形態を、撮像装置および撮像方法に適用した場合を例にとって、図を参照しながら説明する。
［この発明による画像処理方法の実施形態の概要］
以下に説明する実施形態は、主として静止画の手ぶれ補正システムに、この発明を適用した場合である。
この実施形態においては、入力画像フレームを参照フレームとして、この入力画像フレームと、入力画像フレームよりも前の元フレーム、例えば１フレーム遅延させた元フレームとの間で動きベクトル検出を行なう。そして、この実施形態における静止画についての手ぶれ補正は、連続的に撮影した複数枚の画像、例えば３ｆｐｓの画像を、手ぶれ補正を行いながら重ね合わせることにより行なう。
このように、この実施形態においては、撮影した静止画の手ぶれ補正を、連写した複数の画像について手ぶれ補正をかけながら重ね合わせて行くため、ピクセル精度（１画素精度）に近い精度が求められる。そして、この実施形態においては、手ぶれ動きベクトルとしてのフレーム間の水平方向および垂直方向の平行移動成分と同時に、フレーム間の回転成分も検出し、フレームの平行移動と共に回転移動させて、複数フレームを重ね合わせるようにする。
なお、以下に説明する実施形態は、静止画用に限定されるわけではなく、本質的には動画にも適用可能である。動画の場合には、リアルタイム性のため、後述する加算枚数（重ね合わせるフレーム数）に上限はあるが、フレーム毎にこの実施形態の手法を用いることにより、ノイズ・リダクション効果の高い動画を生成するシステムへの応用も、全く同じ手段で実現できる。
以下に説明する実施形態においても、上述したブロックマッチングを用いて、２フレーム間の動きベクトルを算出するに当たって、前述したように、元フレームについて、複数個のターゲットフレームを設定して、その複数個のターゲットフレームのそれぞれについてブロックマッチングを施す。
以下に説明する実施形態においては、元フレームに、例えば１６個のターゲットブロックＴＧｉ（ｉ＝０，１，２，・・・，１５）を設定し、参照フレーム１０２には、図２に示すように、元フレームの１６個のターゲットブロックＴＧｉに対応する１６個の射影イメージ１０４ｉ（ｉ＝０，１，２，・・・，１５）を設定する。そして、それぞれの射影イメージに対するサーチ範囲１０５ｉ（ｉ＝０，１，２，・・・，１５）を設定し、それぞれのサーチ範囲１０５ｉ（ｉ＝０，１，２，・・・，１５）において、対応するターゲットブロックについてのＳＡＤテーブルＴＢＬｉ（ｉ＝０，１，２，・・・，１５）を作成する。
そして、この実施形態では、作成されたＳＡＤテーブルＴＢＬｉのそれぞれから、各ターゲットブロックについての動きベクトル、すなわち、ブロック毎動きベクトルＢＬＫ＿Ｖｉを検出する。
そして、基本的には、これらの複数個のブロック毎動きベクトルＢＬＫ＿Ｖｉから、元フレームに対する参照フレームの平行移動成分を算出すると共に、回転角を算出し、その算出した平行移動成分および回転角を用いて、参照フレームを元フレームに重ね合わせるようにする。元フレームが、１フレーム毎に順次に次のフレームに更新される場合には、以上の処理を繰り返して、順次にフレームを重ね合わせることにより、手ぶれの除去された高品質の画像が得られることになる。
この場合において、２枚以上の複数枚のフレームを重ね合わせる際には、実際には、図３に示すように、１枚目を基準として、以降のフレームを重ね合わせることになる。このため、２枚目以降の、重ね合わせるフレームについての１フレーム前のフレームとの間の平行移動量と回転角とは、順次に積算されて、１枚目のフレームに対する平行移動量および回転角とされる。
［平行移動量および回転角度の算出方法の第１の例］
ブロックマッチング（ブロックマッチングを、この明細書では検波と呼ぶことにする）を用いて元フレームと参照フレームとの間の平行移動量および回転角度を求める方法の一つは、元フレームに対する参照フレーム全体としてのグローバル動きベクトルから求める方法である。すなわち、グローバル動きベクトルは、前のフレームに対する当該フレームの動きであるので、そのまま平行移動量とすることができる。
すなわち、グローバル動きベクトルの水平方向（ｘ方向）の成分が水平方向の平行移動量であり、また、グローバル動きベクトルの垂直方向（ｙ方向）の成分が垂直方向の平行移動量である。
また、前のフレームについて求められたグローバル動きベクトルに対する、今回の注目フレーム（参照フレーム）について求められたグローバル動きベクトルの相対的な回転角度は、今回の注目フレームの前のフレームに対する相対的な回転角度となる。
この場合におけるグローバル動きベクトルの算出方法としては、従来のブロックマッチングの場合と同様に、１６個のターゲットブロックについて検出されたブロック毎動きブロックＢＬＫ＿Ｖｉについて多数決を取り、多数決トップ（大きさおよび方向が同一または同等であるブロック毎動きベクトルの数が最大）のブロック毎動きベクトルを、グローバル動きベクトルとして算出する方法を採用することができる。
しかし、この多数決トップのブロック毎動きベクトルをグローバル動きベクトルとする場合には、被写体が動画の場合であって、当該動画撮影中の被写体が、例えば、細かい波面のある水面や木や草が風になびく情景などのときには、誤ったグローバル動きベクトル（手ぶれベクトル）を検出してしまう場合が多いという問題がある。最近のデジタルカメラにおいては、静止画のみでなく、動画を撮像記録の対象とするものも多いので、多数決方式によりグローバル動きベクトルを算出する方法は、実装上は、好ましくない。
そこで、この実施形態では、次に説明するような合算ＳＡＤ値を用いる合算ＳＡＤテーブルから、グローバル動きベクトルを算出するようにする。
すなわち、この実施形態では、前述のようにして作成した１６個のターゲットブロックについてのＳＡＤテーブルＴＢＬｉについて、図２に示すように、１６個のＳＡＤテーブルＴＢＬｉを重ね合わせるように縦方向に並べたときに、ＳＡＤテーブルＴＢＬｉのそれぞれを求めるサーチ範囲内で互いに対応する参照ブロック位置のＳＡＤ値を合算し、合算差分絶対値和（合算ＳＡＤ値という）を求める。そして、その合算ＳＡＤ値からなるＳＡＤテーブルとして、一つのサーチ範囲内の複数参照ブロック位置分についての合算ＳＡＤテーブルＳＵＭ＿ＴＢＬを生成する。
ここで、合算ＳＡＤテーブルＳＵＭ＿ＴＢＬの座標位置（ｘ，ｙ）の合算ＳＡＤ値ＳＵＭ＿ＴＢＬ（ｘ，ｙ）は、各ＳＡＤテーブルＴＢＬｉの対応する座標位置（ｘ，ｙ）のＳＡＤ値をＴＢＬｉ（ｘ，ｙ）とすると、
ＳＵＭ＿ＴＢＬ（ｘ，ｙ）＝ＴＢＬ１（ｘ，ｙ）＋ＴＢＬ２（ｘ，ｙ）＋・・・
＋ＴＢＬ１６（ｘ，ｙ）
＝ΣＴＢＬｉ（ｘ，ｙ）
となる（図４の（式３）参照）。
そして、この実施形態では、合算ＳＡＤテーブルＳＵＭ＿ＴＢＬから、元画面に対する参照画面の動きベクトル（グローバル動きベクトル；撮像装置における手ぶれベクトルとなる）を検出する。
合算ＳＡＤテーブルＳＵＭ＿ＴＢＬからグローバル動きベクトルを算出する方法としては、合算ＳＡＤテーブルＳＵＭ＿ＴＢＬにおいて合算ＳＡＤ値の最小値の位置を検出し、その検出した合算ＳＡＤ値の最小値位置に対応する参照ベクトルを、グローバル動きベクトルとして検出する従来の方法を用いることができる。
しかし、この最小値の合算ＳＡＤ値を用いる方法では、１画素単位の精度の動きベクトルしか得られないので、この実施形態では、合算ＳＡＤ値の最小値位置の合算ＳＡＤ値およびその近傍の複数個の合算ＳＡＤ値を用いて、近似曲面補間を行うことで、グローバル動きベクトルを算出する。すなわち、合算ＳＡＤ値の最小値位置の合算ＳＡＤ値およびその近傍の複数個の合算ＳＡＤ値を用いて、近似高次曲面を生成し、その近似高次曲面の極小値位置を検出することで、１画素単位以下の小数点精度で、グローバル動きベクトルを算出することができるようにしている。この近似曲面補間処理については、後で詳細に説明する。
こうして合算ＳＡＤテーブルから求められるグローバル動きベクトルは、合算ＳＡＤ値からなる合算ＳＡＤテーブルが、フレーム全体をまとめてブロックマッチングした結果と等価になるため、多数決方式が苦手とする前述したような動画の被写体の場合にも、誤りの少ないグローバル動きベクトルが得られる。
そこで、この合算ＳＡＤテーブルから求められるグローバル動きベクトルから、元フレームに対する平行移動量と回転角を求めて、上述のようなフレームの重ね合わせをすることができる。
なお、このときに求めるグローバル動きベクトルとしては、合算ＳＡＤテーブルから求める合算動きベクトルに限られるものではなく、例えば多数決方式により多数決トップのブロック毎動きベクトルをグローバル動きベクトルとするようにしてもよいが、上述のような理由で合算動きベクトルが好ましい。
［平行移動量および回転角度の算出方法の第２の例］
平行移動量および回転角度を算出する方法としては、グローバル動きベクトルを算出し、その算出したグローバル動きベクトルを用いて平行移動量や回転角度を算出するのではなく、参照フレームについて算出される複数個のブロック毎動きベクトルからフレームについての平行移動量および回転角を求める方法を採用することもできる。
フレームの平行移動量は、原理的には、１６個のブロック毎動きベクトルの水平方向および垂直方向の移動量の平均値として求める。ここで、複数のターゲットブロックに対応する複数の射影イメージに関するサーチ範囲を検波枠と称することとしたとき、この検波枠番号ｉ（＝０，１，２，・・・，１５）は、一つの参照フレーム上において、図５のように付与することができる。
そして、検波枠番号ｉのブロック毎動きベクトルの水平方向成分をＶｘｉ、垂直方向成分をＶｙｉとして、そのブロック毎動きベクトルを（Ｖｘｉ、Ｖｙｉ）と表すとすると、水平方向（ｘ方向）の平行移動量α、および垂直方向（ｙ方向）の平行移動量βは、図６の（式４）および（式５）に示すように、１６個のブロック毎動きベクトルの水平方向成分および垂直方向成分の平均値とすることができる。
また、フレームの回転角γは、原理的には、１６個のブロック毎動きベクトルを用いて次のようにして求めることができる。
すなわち、まず、図５と同様に図７（Ａ）に示すように一つの参照フレームについての検波枠番号を定義する。このとき、図７（Ａ）に示すように、一つの検波枠のサイズを、横（水平方向）２ａ、縦（垂直方向）２ｂとする。ここで、
ａ＝（１参照ブロックの水平画素数）＋（隣接参照ブロックとの水平間隔（画素数））
ｂ＝（１参照ブロックの垂直画素数）＋（隣接参照ブロックとの垂直間隔（画素数））
である。
次に、検波枠番号０〜１５のすべての検波枠の中心Ｏｃを原点として、図７（Ｂ）に示すように、座標系を取る。そして、検波枠番号ｉに対応する値Ｐｘｉおよび値Ｐｙｉを、図７（Ｃ）および（Ｄ）に示すように定義する。この値Ｐｘｉおよび値Ｐｙｉは、すべての検波枠の中心Ｏｃからの各検波枠の中心までの水平方向（ｘ方向）および垂直方向（ｙ方向）の距離の重みを表している。
この値Ｐｘｉおよび値Ｐｙｉを用いると、各検波枠番号ｉの検波枠の中心座標は、（Ｐｘｉ・ａ，Ｐｙｉ・ｂ）で表すことができる。
したがって、フレームについての平行移動量を（α，β）、回転角度をγとすると、検波枠番号ｉの理論的なブロック毎動きベクトルＷｉは、図８（Ａ）に示す（式６）に示すようなものとすることができる。
なお、複数の被験者による手ぶれによる回転角度γを測定したところ、例えば３ｆｐｓの場合には、
γ［ｒａｄ］＝ａｒｃｔａｎ１／６４＝０．０１５６２３７．．．
程度であり、ｃｏｓγ≒１、ｓｉｎγ≒γであるとすることができるので、（式６）のように表すことができる。
実際に検出された検波枠番号ｉのブロック毎動きベクトルＢＬＫ＿Ｖｉを、Ｖｉと略記すると、理論的なブロック毎動きベクトルＷｉと実際に検出されたブロック毎動きベクトルＶｉとの間のエラーεｉ２は、図８（Ｂ）の（式７）のようになるので、それを回転角度γで偏微分すると、図８（Ｃ）の（式８）のようになる。
なお、図８において、「δＦ（γ）／δγ」は、関数Ｆ（γ）に関する回転角度γについての偏微分を意味している。
参照フレームについて実際に検出されたブロック毎動きベクトルが実際の回転角度γを正しく含んでいるとすれば、参照フレームの複数個のすべてのブロック毎動きベクトルＶｉについてのエラーの総和Σεｉ２の回転角度γによる偏微分の値は、ゼロとなるはずであるので、回転角度γは、図８（Ｄ）の（式９）のようになる。
したがって、求めるべき参照フレームについて回転角度γは、図８（Ｅ）に示す（式１０）から求めることができる。
［より高精度の平行移動量および回転角度の算出方法の例］
ところで、静止画の場合には、このグローバル動きベクトルや複数個のブロック毎動きベクトルから求められた平行移動量や回転角度を用いたとしても、精度が足りないおそれがある。
そこで、この実施形態では、この点にかんがみ、さらに、より高精度で平行移動量や回転角度を算出し、その高精度の平行移動量および回転角度を用いてフレーム画像の重ね合わせができるように考慮している。
前述もしたように、動被写体などのために、一つの参照フレームについて求められた複数のブロック毎動きベクトルのすべてが、手ぶれベクトルの検出という観点からは信頼性の高いものとなっているわけではない。
そこで、この実施形態では、一つの参照フレームについて求められた複数のブロック毎動きベクトルについて、次のようにして信頼性の判定を行い、信頼性が高いと判定されたブロック毎動きベクトルのみを用いて平行移動量および回転角度の算出を行うことにより、算出される平行移動量および回転角度の精度を向上させるようにしている。
すなわち、この実施形態では、手ぶれによる画面全体の動きベクトルではない動被写体による動きベクトル成分を、できるだけ排除することにより、より精度の高い平行移動量および回転角度の算出ができるようにしている。
そのために、この実施形態では、当該参照フレームについて算出したグローバル動きベクトル、この例では合算ＳＡＤテーブルから求めたグローバル動きベクトル（以下、これを合算動きベクトルという）ＳＵＭ＿Ｖと、各ターゲットブロックについてのＳＡＤテーブルＴＢＬｉ（ｉ＝０，１，２，・・・，１５）から求められたブロック毎動きベクトルＢＬＫ＿Ｖｉとを比較して、両者が同一または近似している信頼性が高いブロック毎動きベクトルを探す。
信頼性の高いブロック毎動きベクトルの数が少なく、予め定めた閾値未満であるときには、この実施形態では、当該フレームは重ね合わせるフレームとは用いないと決定して、この実施形態における静止画処理を、当該フレームについてはスキップして、次のフレームの処理に移行する。
信頼性の高いブロック毎動きベクトルの数が、前記閾値以上であるときには、当該信頼性の高いブロック毎動きベクトルが算出されたターゲットブロックについてのＳＡＤテーブルから、後述するような１画素未満の精度の高精度ブロック毎動きベクトルの算出を行う。そして、算出した高精度ブロック毎動きベクトルのみを用いて、前述した平行移動量の算出および回転角度の検出を行う。
この場合において、平行移動量の算出の際には、上述の第１の例および第２の例を用いることができる。
例えば上述の第２の例を用いる場合においては、図５に示す１６個の検波枠のうちの、信頼性の高い検波枠番号ｉの検波枠のみについて求められた高精度ブロック毎動きベクトルを用いて平行移動量を算出するのである。ただし、この実施形態では、平行移動量の算出に当たっては、信頼性が低く平行移動量の算出から除外された検波枠番号ｑの検波枠のみではなく、当該除外された検波枠番号ｑに対して、すべての検波枠の中心Ｏｃに対して点対称の位置にある検波枠番号（１５−ｑ）の検波枠のブロック毎動きベクトルも、平行移動量の算出対象から除外する。
これは、この実施形態では、フレームの回転を考慮しているため、中心Ｏｃに対して点対称の位置にある一方の検波枠のブロック毎動きベクトルの信頼性が低いとして、それを平行移動量の演算対象から除外したときには、点対称の位置にある他方のブロック毎動きベクトルをも平行移動量の演算対象から除外しないと、平行移動量の算出結果に誤差が生じてしまうことになるからである。
これに対して、回転角度の演算時には、信頼性が低いとされた検波枠のブロック毎動きベクトルのみを、回転角度の演算対象から除外するだけで、その除外した検波枠と点対称の位置にある検波枠の高精度ブロック毎動きベクトルは、回転角度の演算対象に含めるようにする。
以上のようにして、信頼性の高い検波枠のみを用いてフレームの平行移動量および回転角度を算出することにより、高精度で平行移動量および回転角度を算出することができると期待できる。
以上説明したフレーム単位の信頼性の判定、つまり、フレーム内複数ブロック毎動きベクトルの信頼性の判定は、次のようにして行う。
まず、元フレームに設定された複数個、この例では１６個のターゲットブロックＴＧｉ（ｉ＝０，１，２，・・・，１５）のそれぞれに対するＳＡＤテーブルＴＢＬｉを求め、その最小ＳＡＤ値ＭＩＮｉの座標位置からブロック毎動きベクトルＢＬＫ＿Ｖｉ（図９（Ａ）参照）を求める。次に、前述した（式３）にしたがって、１６個のＳＡＤテーブルＴＢＬｉから合算ＳＡＤテーブルＳＵＭ＿ＴＢＬを求め、その最小ＳＡＤ値ＭＩＮｓの座標位置から合算動きベクトルＳＵＭ＿Ｖ（図９（Ｂ）参照）を求める。
次に、この実施形態においては、合算動きベクトルＳＵＭ＿Ｖ、すなわち、合算ＳＡＤテーブルＳＵＭ＿ＴＢＬの最小ＳＡＤ値ＭＩＮｓの座標位置を基準に、１６個のターゲットブロックのそれぞれの動きベクトルＢＬＫ＿Ｖｉ（すなわち、合算ＳＡＤテーブルＳＵＭ＿ＴＢＬの最小ＳＡＤ値ＭＩＮｓの座標位置）と、それぞれのＳＡＤ値とから、当該１６個のターゲットブロックのそれぞれについて、図１０に示すような条件の判定を行い、図１０に示すようなラベル付けおよびスコア（評価点）の算出を行う。
図１１に、このラベル付けおよびスコア算出の処理の一例のフローチャートを示す。この図１１の処理は、１枚の参照フレームについての処理であり、この図１１の処理が１フレーム毎に繰り返されるものである。
まず、ラベル付けおよびスコアの算出を行う対象ターゲットブロックについて求められた動きベクトルＢＬＫ＿Ｖｉと、合算動きベクトルＳＵＭ＿Ｖとが等しいかどうかを第１の条件とする判定をする（ステップＳ１１）。これは、対象ターゲットブロックのＳＡＤテーブルＴＢＬｉの最小ＳＡＤ値ＭＩＮｉの座標位置と、合算ＳＡＤテーブルＳＵＭ＿ＴＢＬの最小ＳＡＤ値ＭＩＮｓの座標位置が等しいか否かを条件判定することに等しい。
対象ターゲットブロックについて、この第１の条件に合致すると判定されると、当該対象ターゲットブロックについは「ＴＯＰ」というラベルが付与され、この例では最大のスコア値として「４」が割り当てられる（ステップＳ１２）。
対象ターゲットブロックについて、第１の条件には合致しないと判定されると、第２の条件に合致するかどうかの判定をする（ステップＳ１３）。この第２の条件は、対象ターゲットブロックについて求められた動きベクトルＢＬＫ＿Ｖｉと、合算動きベクトルＳＵＭ＿Ｖとが同一ではないが、ＳＡＤテーブル上で最も隣接するものとなっているかどうかであり、具体的には、対象ターゲットブロックのＳＡＤテーブルＴＢＬｉの最小ＳＡＤ値ＭＩＮｉの座標位置と、合算ＳＡＤテーブルＳＵＭ＿ＴＢＬの最小ＳＡＤ値ＭＩＮｓの座標位置が、上下、左右、斜めの方向に１座標値だけ異なる隣接するものであるかどうかである。
対象ターゲットブロックについて、この第２の条件に合致すると判定されると、当該対象ターゲットブロックについは「ＮＥＸＴ＿ＴＯＰ」というラベルが付与され、この例ではスコア値として「２」が割り当てられる（ステップＳ１４）。
対象ターゲットブロックについて、第２の条件には合致しないと判定されると、第３の条件に合致するかどうかの判定をする（ステップＳ１５）。この第３の条件は、対象ターゲットブロックのＳＡＤテーブルにおいて、動きベクトルＢＬＫ＿Ｖｉとなる座標位置のＳＡＤ値（最小ＳＡＤ値ＭＩＮｉ）と、合算動きベクトルＳＵＭ＿Ｖとなる合算ＳＡＤテーブル上の座標位置（最小ＳＡＤ値ＭＩＮｓの座標位置）に対応する座標位置のＳＡＤ値との差が、所定の閾値以下であるかどうかである。ここで、所定の閾値は、１画素あたりに換算したときの閾値とすることが望ましい。これは、この実施形態では、１画素精度の手ぶれ補正を想定しているためである。
対象ターゲットブロックについて、この第３の条件に合致すると判定されると、当該対象ターゲットブロックについは「ＮＥＡＲ＿ＴＯＰ」というラベルが付与され、この例ではスコア値として「１」が割り当てられる（ステップＳ１６）。
対象ターゲットブロックについて、第３の条件には合致しないと判定されると、当該対象ターゲットブロックについは「ＯＴＨＥＲＳ」というラベルが付与され、この例ではスコア値として「０」が割り当てられる（ステップＳ１７）。
ステップＳ１２、ステップＳ１４、ステップＳ１６およびステップＳ１７のラベル付けおよびスコアの割り当てが終了した後には、割り当てられたスコアを累積加算して、合計スコアｓｕｍ＿ｓｃｏｒｅを算出する（ステップＳ１８）。
次に、１フレーム内の１６個のすべてのターゲットブロックについて上記の処理が終了したか否かを判別し（ステップＳ１９）、終了していなければ、次のターゲットブロックのラベル付けおよびスコア算出を指示し（ステップＳ２０）、その後、ステップＳ１１に戻って、上述した処理を繰り返す。
１フレーム内の１６個のすべてのターゲットブロックについて上記の処理が終了したと判別したときには、この１フレーム内の１６個のターゲットブロックについてラベル付けおよびスコア算出の処理ルーチンを終了する。このときにステップＳ１８で算出されている合計スコアｓｕｍ＿ｓｃｏｒｅは、１６個のターゲットブロックのすべてのスコアの合計となっている。
なお、図１１のフローチャートは一例であり、第１の条件、第２の条件および第３の条件の合致判定は、順序不動であり、いずれを先に行ってもよい。
以上のような１フレーム内の１６個のターゲットブロックについてラベル付けおよびスコア算出の処理ルーチンが終了したら、算出した合計スコアｓｕｍ＿ｓｃｏｒｅと、信頼性についての閾値とを比較する。このとき、合計スコアｓｕｍ＿ｓｃｏｒｅが閾値よりも小さいときには、当該フレームで求められる動きベクトルは、グローバル動きベクトルの検出のためには信頼性が低いと判定することができる。
あるいは、第１の条件および第２の条件を満足するため信頼性が高いとして付与された、ラベルが「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」のターゲットブロックのブロック毎動きベクトルの数を算出し、その数が、予め定められた閾値数未満であるときに、当該フレームで求められる動きベクトルは、グローバル動きベクトルの検出のためには信頼性が低いと判定するようにしてもよい。
合計スコアｓｕｍ＿ｓｃｏｒｅが閾値以上であること、あるいはラベルが「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」のターゲットブロックのブロック毎動きベクトルの数が予め定められた閾値数以上であることは、当該フレームで求められるグローバル動きベクトルの検出は、一応の信頼性が得られると判定できることになる。
したがって、合計スコアｓｕｍ＿ｓｃｏｒｅが閾値以上であると判定されたとき、または、ラベルが「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」のターゲットブロックのブロック毎動きベクトルの数が予め定められた閾値数以上であるときには、高い第１の条件および第２の条件を満足する信頼性の高いターゲットブロック（ラベル「ＴＯＰ」およびラベル「ＮＥＸＴ＿ＴＯＰ」）のＳＡＤテーブルのＳＡＤ値のみを用いて合算ＳＡＤテーブルを再度生成して、その再度生成した合算ＳＡＤテーブルに基づいてグローバル動きベクトルとしての合算動きベクトルを再度算出し、その再算出した合算動きベクトルからフレームの平行移動量および回転角度を算出するようにすることができる。
このときに求めるグローバル動きベクトルとしては、合算ＳＡＤテーブルから求める合算動きベクトルに限られるものではなく、例えば信頼性の高いブロック毎動きベクトルについて多数決をとることにより得られるものであっても良い。
また、上述したように、グローバル動きベクトルから平行移動量および回転角を算出するのではなく、信頼性の高いラベル「ＴＯＰ」およびラベル「ＮＥＸＴ＿ＴＯＰ」のブロック毎動きベクトルのみを用いて、図６〜図８を用いて説明した（式４）〜（式１０）に基づいて、平行移動量（α，β）および回転角度γを求めることができる。
上述もしたように、この実施形態では、信頼性の高いラベル「ＴＯＰ」およびラベル「ＮＥＸＴ＿ＴＯＰ」のブロック毎動きベクトルのみを用いて平行移動量（α，β）および回転角度γを算出する方法を採用する。
しかし、この実施形態では、より高い信頼性を得るために、さらに次のような処理を施すようにする。
すなわち、この実施形態では、各ターゲットブロックに対するサーチ範囲を、徐々に絞り込んで、ブロックマッチング処理（ここでは、参照フレーム全体についてのブロックマッチングを検波と呼ぶことにする）を複数段階行うようにする。以下の実施形態では、ブロックマッチング（検波）は、２段階で行う。
そして、図１２（Ａ）に示すように、各ターゲットブロックＴＧｉ毎の１回目のサーチ範囲ＳＲ＿１は最大にして、上述のような複数個のブロック毎動きベクトルＢＬＫ＿Ｖｉを求める。そして、１回目の検波が終了して複数個のターゲットブロックについてのブロック毎動きベクトルを算出したら、それらの複数個のブロック毎動きベクトルを評価して、評価値の高いブロック毎動きベクトルを探索し、その評価値の高いブロック毎動きベクトルのみを用いて、前述した（式４）および（式５）を実行し、１回目の平行移動量（α，β）を求める。そして、この１回目の平行移動量から、各ターゲットブロックについての２回目のサーチ範囲を定める。
あるいは、評価値の高いブロックのみからグローバル動きベクトル（手ぶれベクトル）を算出し、そのグローバル動きベクトルから１回目の平行移動量を算出し、その１回目の平行移動量から、各ターゲットブロックについての２回目のサーチ範囲を定めるようにしてもよい。
図１２（Ａ）に示すように、１回目の処理で設定されたサーチ範囲ＳＲ＿１において、各ターゲットブロックＴＧｉについての動きベクトルＢＬＫ＿Ｖｉが算出され、それら複数個のブロック毎動きベクトルから平行移動量が算出され、あるいはグローバル動きベクトルから平行移動量が算出されると、その算出された平行移動量から、参照フレームと元フレームとの間で、相関のあるブロック範囲がおおよそ検出できる。
そこで、各ターゲットブロックについての２回目の検波処理のサーチ範囲ＳＲ＿２としては、図１２（Ｂ）に示すように、その相関のあるブロック範囲を中心とした、１回目よりも狭い範囲に絞ったサーチ範囲を設定することができる。この場合、図１２（Ｂ）に示すように、１回目のサーチ範囲ＳＲ＿１の中心位置ＰＯｉ＿１と、２回目のサーチ範囲ＳＲ＿２の中心位置ＰＯｉ＿２との間の位置ずれ（サーチ範囲オフセット）が、１回目で検出された平行移動量（グローバル動きベクトルに対応）に相当している。
このように、各ターゲットブロックに対して、絞り込んだサーチ範囲ＳＲ＿２として検波処理をすることにより、２回目の検波の結果は、１段階検波処理よりも高精度のブロックマッチング結果が得られる。
そこで、この実施形態では、この２回目の検波で得られたブロック毎動きベクトルのうちで、高評価のブロック毎動きベクトルを用いて、上述のようにして、フレームについての平行移動量および回転角度の算出を行うことにより、高精度の平行移動量および回転角度を得ることができる。
ところで、この実施形態で用いる合算ＳＡＤテーブルは、ブロック毎のＳＡＤテーブルではなく、フレーム全体をまとめてブロックマッチングした結果とほぼ等価である。通常の被写体においては、従来技術で説明した多数決により勝ち残った動きベクトル、つまり多数決トップの動きベクトルと、合算ＳＡＤテーブルから求められる合算動きベクトルは、等しいものとなる。しかし、複数枚のフレームを重ね合わせる場合において、他人がフラッシュを炊いたりしてフレーム全体が明滅する場合や水面の波面等の被写体の場合、多数決の結果は、信頼性が低く、ランダムに近い動きベクトルとなるのに対し、合算動きベクトルは、比較的正解に近い結果を導き出す可能性が高い。
したがって、合算ＳＡＤテーブルから求めた合算動きベクトルと、多数決により決定したグローバル動きベクトルという、両者の結果を比較することにより、少なくとも、現在のフレームの結果の信頼性を、定量的に判定することが可能となる。従来提案では、各ブロックの動きベクトルの信頼性を判定することに主眼が置かれていたが、この実施形態では、フレーム全体の信頼性を重視し、疑わしきは重ね合わせ対象から除外する、という方針のもと、違和感の少ない、安定した手ぶれ補正システムを実現する点が特徴である。
この点を考慮して、この実施形態の一つの方法では、従来のブロックマッチングの場合と同様に、１６個のターゲットブロックについて検出されたブロック毎動きブロックＢＬＫ＿Ｖｉについて多数決を取り、多数決トップ（大きさおよび方向が同一または同等であるブロック毎動きベクトルの数が最大）の動きベクトルを算出する。
そして、この検出した多数決トップの動きベクトルを、図１０における合算動きベクトルに代わる基準として用いて、１６個のターゲットブロックについて検出されたブロック毎動きブロックＢＬＫ＿Ｖｉと、それぞれのＳＡＤ値とから、図１０に示したようなラベル付けおよびスコア割り当てを行う。
これは、図１０において、合算動きベクトルＳＵＭ＿Ｖに代えて、多数決トップの動きベクトルが用いられることに等しい。
すなわち、第１の条件は、ラベル付けおよびスコアの算出を行う対象ターゲットブロックについて求められた動きベクトルＢＬＫ＿Ｖｉと、多数決トップの動きベクトルとが等しいかどうかである。つまり、対象ターゲットブロックのＳＡＤテーブルＴＢＬｉの最小ＳＡＤ値ＭＩＮｉの座標位置と、多数決トップの動きベクトルとなる座標位置とが等しいか否かを条件判定するものである。
また、第２の条件は、対象ターゲットブロックについて求められた動きベクトルＢＬＫ＿Ｖｉと、多数決トップの動きベクトルとが同一ではないが、ＳＡＤテーブル上で最も隣接するものとなっているかどうかであり、具体的には、対象ターゲットブロックのＳＡＤテーブルＴＢＬｉの最小ＳＡＤ値ＭＩＮｉの座標位置と、多数決トップの動きベクトルに対応する座標位置とが、上下、左右、斜めの方向に１座標値だけ異なる隣接するものであるかどうかである。
また、第３の条件は、対象ターゲットブロックのＳＡＤテーブルにおいて、動きベクトルＢＬＫ＿Ｖｉとなる座標位置のＳＡＤ値（最小ＳＡＤ値ＭＩＮｉ）と、多数決トップの動きベクトルに対応するＳＡＤテーブル上の座標位置のＳＡＤ値との差が、所定の閾値以下であるかどうかである。
以上のようにして、１フレームについての１６個のターゲットブロックについての動きベクトルについて、その多数決トップの動きベクトルを基準にしたラベル付けおよびスコア割り当てを行う。そして、割り当てられたスコアの合計スコアｍａｎｙ＿ｓｃｏｒｅを算出する。
そして、この実施形態では、合算動きベクトルＳＵＭ＿Ｖに対応する最小ＳＡＤ値の座標位置と、多数決トップの動きベクトルに対応するＳＡＤ値の座標位置との差が所定以内、例えば前記差が１隣接画素以内であって、前記合計スコアｓｕｍ＿ｓｃｏｒｅが所定の閾値以上、かつ、前記合計スコアｍａｎｙ＿ｓｃｏｒｅが所定の閾値以上、であるときに、当該フレームについて求められる動きベクトルは信頼性が高いと判定する。
逆に、合算動きベクトルＳＵＭ＿Ｖに対応する最小ＳＡＤ値の座標位置と、多数決トップの動きベクトルに対応するＳＡＤ値の座標位置との差が所定以内、例えば前記差が１隣接画素以内でないときには、当該フレームからは信頼性の高い手ぶれベクトルが検出できないと判定して、当該フレームは、複数枚のフレームの重ね合わせ対象から除外する。
また、合計スコアｓｕｍ＿ｓｃｏｒｅが所定の閾値未満、または、前記合計スコアｍａｎｙ＿ｓｃｏｒｅが所定の閾値未満であるときにも、当該フレームからは信頼性の高い手ぶれベクトルが検出できないと判定して、当該フレームは、複数枚のフレームの重ね合わせ対象から除外する。
そして、前記ように信頼性が高いと判定されたときにのみ、この例では、合算動きベクトルを基準にしてラベル付けされたターゲットブロックのラベルのうち、「ＴＯＰ」および「ＮＥＸＴ＿Ｔｏｐ」が付与されたターゲットブロックについてのＳＡＤテーブルのＳＡＤ値のみを用いて、再合算ＳＡＤテーブルＲＳＵＭ＿ＴＢＬを生成する。
そして、この再合算ＳＡＤテーブルＲＳＵＭ＿ＴＢＬの最小ＳＡＤ値およびその近傍座標位置のＳＡＤ値について、近似曲面補間を適用してグローバル動きベクトル（合算動きベクトル）を算出するものである。そして、算出した合算動きベクトルを用いて２回目検波の際のサーチ範囲を決定し、あるいは、平行移動量および回転角度を算出する。
または、「ＴＯＰ」および「ＮＥＸＴ＿Ｔｏｐ」が付与されたターゲットブロックについてのブロック毎動きベクトルのみを用いて、前記（式４）、（式５）を用いて、平行移動量を算出して２回目検波の際のサーチ範囲を決定し、または、前記（式４）〜前記（式１０）を基にした演算をして、平行移動量および回転角度を算出する。
なお、従来から提案されている、時間軸方向の動きベクトルの周波数から、動きベクトル（グローバル動きベクトル）を予測する手法と、上述したこの発明の実施形態の手法とを組み合わせることにより、更なる信頼性並びに精度の向上を図るようにしても良い。
上述したように、この実施形態では、１フレーム内の複数個のターゲットブロックのそれぞれについて、ＳＡＤテーブルを生成し、ブロック毎動きベクトルを算出するようにする。この場合に、この実施形態では、現在の５００万画素オーバーの撮像素子を用いる撮像装置に適用しようとすると、１画面分の画素数に比例してＳＡＤテーブルの規模が増加するため、現実的な回路規模で実現するのが困難であるという問題がある。
実現できるレベルの現実的な提案としては、前述した特許文献３（特開２００５−３８３９６公報）を挙げることができる。この特許文献３に示されたものは、画像を縮小変換したサイズで動ベクトルを求める手段と、同一のＳＡＤテーブルを複数のブロックで共有する手段から構成される。画像の縮小変換と、ＳＡＤテーブルの複数ブロックでの共有化は、ＳＡＤテーブルサイズの削減を実現するための、非常に良い手法であり、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）画像圧縮方式における動きベクトル検出やシーンチェンジ検出等、他分野でも使われている。
しかし、この特許文献３のアルゴリズムの問題点として、画像の縮小変換と、その際のメモリ（ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）））アクセスに、時間とメモリ容量を消費することと、ＳＡＤテーブルを複数ブロックで時分割アクセスする手法のため、メモリアクセスが非常に増加し、この処理にも時間を要してしまうという課題がある。動画の手ぶれ補正においては、リアルタイム性と同時にシステム遅延時間の短縮が求められるため、この処理時間の問題が課題となってしまうのである。
多人数評価の結果、例えば３フレーム／秒（３ｆｐｓ）の静止画の場合における手ぶれ範囲は、全フレームを１００%として±１０％程度であることが判明している。既に高級機では世に出ている１２００万画素を仮定し、現状で提案されている技術のまま、必要なＳＡＤテーブルサイズを見積もると、約８０メガビットである。しかも、現実的な処理速度を満たそうとすると、このＳＡＤテーブル情報を格納するメモリは、内蔵ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））であることが求められる。半導体プロセスルールが進んだとは言え、このサイズは、ほぼ３桁程度、現実的なレベルからはかけ離れている。
また、元画像を縮小変換する際には、エイリアシング（折り返し歪み）や、低照度ノイズ除去のためのローパスフィルタを、縮小処理の前処理として実装するが必要である。しかし、縮小倍率に応じて、ローパスフィルタの特性が変化する上、特に、垂直方向のローパスフィルタの場合、多タップのデジタルフィルタとした場合に、多くのラインメモリと演算ロジックを必要としなければならず、回路規模増加の問題が生じる。
そこで、この実施形態では、以上の点にかんがみ、ブロックマッチングを用いて２フレーム間のグローバル動きベクトルを算出する場合において、ＳＡＤテーブルサイズの大幅な削減が可能である画像処理方法および装置を用いる。
また、特許文献３に記載された画像の縮小変換によるＳＡＤテーブルの削減手法に関して、画像の縮小変換に伴う処理時間の増大並びにメモリ容量の消費と、画像の縮小変換に伴うエイリアシング回避のための適切なローパスフィルタの実装に伴う回路増大という、２つの問題を提起した。この実施形態では、これらの問題点をも解決することができるようにしている。
すなわち、この実施形態では、ターゲットブロックと参照ブロック間において求められるＳＡＤ値を、参照ブロックの参照ベクトルに対応して記憶するのではなく、当該参照ベクトルを縮小し、その縮小した参照縮小ベクトルに対応する、当該参照縮小ベクトルの近傍の複数の参照ベクトルに分散加算して記憶するようにする。
これにより、従来のＳＡＤテーブルに比較して、ＳＡＤテーブルのサイズを大幅に縮小すると共に、画像の縮小変換に伴う処理時間の増大並びにメモリ容量の消費と、画像の縮小変換に伴うエイリアシング回避のための適切なローパスフィルタの実装に伴う回路増大という、２つの問題を解決するようにしている、
図１３〜図１５は、この実施形態で用いる新規なブロックマッチング方法の概要を説明するための図である。図１３は、従来のＳＡＤテーブルＴＢＬｏと、実施形態の画像処理方法において生成される縮小ＳＡＤテーブルＴＢＬｓとの関係を示すものである。
この実施形態においても、図７４に示したように、従来と同様に参照フレームにおいて、元フレームに設定された複数個、この例では１６個のターゲットブロックの位置のそれぞれを中心として複数個のサーチ範囲が設定される。そして、この複数個のサーチ範囲のそれぞれにおいて、前述したような複数の参照ブロックが設定され、各参照ブロック内の画素とターゲットブロック内の対応する画素の輝度値の差分の絶対値の総和、つまり、ＳＡＤ値が求められる。
従来は、求められたＳＡＤ値は、図１３に示すように、対象となっている参照ブロックの参照ベクトルＲＶに対応するアドレスのテーブル要素ｔｂｌとしてＳＡＤテーブルＴＢＬｏに書き込まれる。
したがって、従来のブロックマッチングでは、ターゲットブロックと参照ブロックとのフレーム画像上における位置ずれ量を表わす参照ベクトルＲＶと、ＳＡＤテーブルＴＢＬｏの各テーブル要素である参照ブロックのＳＡＤ値とは、１対１に対応している。すなわち、従来のＳＡＤテーブルＴＢＬｏでは、サーチ範囲で取り得る参照ベクトルＲＶと等しい数のＳＡＤ値のテーブル要素数を備えるものとなっている。
これに対して、この実施形態におけるブロックマッチングでは、図１３および図１４（Ａ）、（Ｂ）に示すように、対象となっている参照ブロックの参照ベクトルＲＶは、縮小率１／ｎ（ｎは自然数）で縮小されて参照縮小ベクトルＣＶとされる。
ここで、以下の説明においては、説明の便宜上、水平方向縮小倍率と垂直方向の縮小倍率とを同じとしているが、水平方向縮小倍率と垂直方向の縮小倍率とは独立の異なる値でも良い。また、後で述べるが、水平方向縮小倍率と垂直方向の縮小倍率とを独立に任意の自然数分の１として設定できるようにしておく方が、柔軟性も高く好都合である。
この実施形態においても、前述の従来例で説明したのと同様に、サーチ範囲の中心とされるターゲットブロックの位置を基準位置（０，０）とし、参照ベクトルは、当該基準位置からの画素単位の水平方向および垂直方向のずれ量（ｖｘ，ｖｙ）（ｖｘ、ｖｙは、整数）を指し示すものとされ、参照ベクトルＲＶのそれぞれは、参照ベクトル（ｖｘ，ｖｙ）で表される。
参照ベクトル（ｖｘ，ｖｙ）が、水平方向および垂直方向のそれぞれについて１／ｎに縮小された参照縮小ベクトル（ｖｘ／ｎ，ｖｙ／ｎ）で示される位置（ｖｘ／ｎ，ｖｙ／ｎ）は、整数ではなく、小数成分が発生することがある。このため、この実施形態では、縮小前の元の参照ベクトルＲＶに対応して求められたＳＡＤ値を、参照縮小ベクトルＣＶに最も近い１つの参照ベクトルに対応するテーブル要素として記憶してしまうと誤差が生じることになる。
そこで、この実施形態では、まず、参照縮小ベクトルＣＶで示される位置（ｖｘ／ｎ，ｖｙ／ｎ）の近傍の複数の参照ベクトルで示される複数の位置（テーブル要素）を検出する。そして、参照ベクトルＲＶの参照ブロックについて求められたＳＡＤ値は、その検出した近傍の複数の参照ベクトルに対応するＳＡＤ値に分散して加算するようにする。
この場合に、この実施形態では、参照縮小ベクトルＣＶで示される位置の近傍の周囲の複数個の参照ベクトルで示される位置に対応するテーブル要素ｔｂｌに書き込むべき成分として分散加算する値は、縮小前の元の参照ベクトルＲＶに対応して求められたＳＡＤ値から、参照縮小ベクトルとその近傍の参照ベクトルとのそれぞれが示す位置の関係を用いて、前記近傍の参照ベクトルのそれぞれに対応して分散加算するＳＡＤ値を算出し、算出したＳＡＤ値のそれぞれを、対応する参照ベクトルのテーブル要素成分として加算するようにする。
ここで、分散するだけでなく加算するというのは、参照縮小ベクトルの近傍の複数の参照ベクトルは、異なる複数の参照縮小ベクトルについて重複して検出されることになるので、１つの参照ベクトルについて、重複したＳＡＤ値は加算するという意味である。
なお、参照縮小ベクトルＣＶが示す位置（ｖｘ／ｎ，ｖｙ／ｎ）が、参照ベクトルが示す位置に一致する場合、つまり、ｖｘ／ｎおよびｖｙ／ｎの値が整数であるときには、周辺の複数の参照ベクトルを検出する必要はなく、当該位置（ｖｘ／ｎ，ｖｙ／ｎ）を示す参照ベクトルに対応して、縮小前の元の参照ベクトルＲＶに対応して求められたＳＡＤ値を記憶するようにするものである。
次に、具体例を挙げて、以上の処理を説明する。例えば、ターゲットブロックの位置を基準（０，０）としたときに、図１４（Ａ）に示すように、（−３，−５）の位置を示す参照ブロックＲＶを、水平方向および垂直方向に、１／ｎ＝１／４倍に縮小すると、その参照縮小ベクトルＣＶで示される位置は、図１４（Ｂ）に示すように、（−０．７５，−１．２５）となる。
したがって、参照縮小ベクトルＣＶで示される位置は小数成分が発生し、参照ベクトルで示される位置とは一致しない。
そこで、この場合には、図１５に示すように、当該参照縮小ベクトルＣＶが示す位置の近傍位置を示す複数個の近傍参照ベクトルが検出される。図１５の例では、１つの参照縮小ベクトルＣＶに対して、４個の近傍参照ベクトルＮＶ１，ＮＶ２，ＮＶ３，ＮＶ４が検出される。
そして、前述したように、この実施形態では、参照ベクトルＲＶの参照ブロックについて求められたＳＡＤ値は、これら４個の近傍参照ベクトルＮＶ１，ＮＶ２，ＮＶ３，ＮＶ４に対応するＳＡＤ値として分散加算される。
この場合に、この実施形態では、４個の近傍参照ベクトルＮＶ１，ＮＶ２，ＮＶ３，ＮＶ４のそれぞれに分散加算するＳＡＤ値は、参照縮小ベクトルＣＶで示される位置Ｐ０（図１５において×印として示す）と、４個の近傍参照ベクトルＮＶ１，ＮＶ２，ＮＶ３，ＮＶ４のそれぞれで示される位置Ｐ１，Ｐ２，Ｐ３，Ｐ４（図１５において○印として示す）との位置関係を用いて線形加重分散値として算出する。
図１５の例の場合には、参照縮小ベクトルＣＶで示される位置Ｐ０は、周辺近傍の４個の参照ベクトルＮＶ１，ＮＶ２，ＮＶ３，ＮＶ４のそれぞれで示される位置Ｐ１，Ｐ２，Ｐ３，Ｐ４を、水平方向に１：３、垂直方向に３：１に内分する位置にある。
そこで、縮小前の元の参照ベクトルＲＶに対応して求められたＳＡＤ値をＳαとしたとき、周辺近傍の４個の参照ベクトルＮＶ１，ＮＶ２，ＮＶ３，ＮＶ４のそれぞれで示される位置Ｐ１，Ｐ２，Ｐ３，Ｐ４に対応するＳＡＤテーブル要素に分散加算する値ＳＡＤｐ１，ＳＡＤｐ２，ＳＡＤｐ３，ＳＡＤｐ４のそれぞれは、
ＳＡＤｐ１＝Ｓα×９／１６
ＳＡＤｐ２＝Ｓα×３／１６
ＳＡＤｐ３＝Ｓα×３／１６
ＳＡＤｐ４＝Ｓα×１／１６
となる。
そして、この実施形態では、求められた値ＳＡＤｐ１，ＳＡＤｐ２，ＳＡＤｐ３，ＳＡＤｐ４のそれぞれを、近傍の４個の参照ベクトルＮＶ１，ＮＶ２，ＮＶ３，ＮＶ４のそれぞれで示される位置Ｐ１，Ｐ２，Ｐ３，Ｐ４に対応するＳＡＤテーブル要素にそれぞれ加算する。
この実施形態では、以上の処理を、サーチ範囲内のすべての参照ブロックについて行なう。
以上のことから、この実施形態では、参照ベクトルＲＶを１／ｎに縮小する場合には、全ての参照ベクトルに１対１に対応する従来サイズのＳＡＤテーブルＴＢＬｏに対して、水平方向に１／ｎ、また、垂直方向に１／ｎに縮小した縮小ＳＡＤテーブルＴＢＬｓを用意して、この縮小ＳＡＤテーブルＴＢＬｓのテーブル要素として、参照縮小ベクトルＣＶの近傍の参照ベクトルに対応するＳＡＤ値を求めるようにすれば良い（図１３参照）。
したがって、この実施形態の場合には、縮小ＳＡＤテーブルＴＢＬｓのテーブル要素の数は、従来のＳＡＤテーブルＴＢＬｏのテーブル要素数の１／ｎ２となり、テーブルサイズを大幅に小さくすることが可能である。
なお、上述の実施形態の説明においては、参照縮小ベクトルＣＶの近傍の４個の参照ベクトルを検出し、当該４個の近傍参照ベクトルに対応するＳＡＤテーブル要素に対して、対照の参照ブロック（参照ベクトルＲＶ）について算出したＳＡＤ値を線形加重分散加算するようにしたが、参照縮小ベクトルＣＶの近傍の複数の参照ベクトルの選び方およびその近傍参照ベクトルに対応するＳＡＤテーブル要素に対する分散加算の方法は、上述の例に限られるものではない。
例えば、参照縮小ベクトルＣＶの近傍の９個もしくは１６個の参照ベクトルを検出し、当該９個もしくは１６個の近傍参照ベクトルに対応するＳＡＤテーブル要素に対して、いわゆるキュービック（Ｃｕｂｉｃ）補間による分散加算を行なうようにすれば、より精度は高くなる。しかし、リアルタイム性と演算回路の削減を重視すると、上述した近傍４個の参照ベクトルに対応するテーブル要素への線形加重分散加算が、より有効である。
この実施形態においても、参照ブロックをサーチ範囲内で遍く移動させ、全ての参照ブロックのＳＡＤ値に対してＳＡＤテーブル（この実施形態では縮小ＳＡＤテーブル）への代入を行う点は、従来手法と同じである。
ただし、従来は、参照ベクトルとＳＡＤテーブル要素のアドレスが１対１に対応していたため、ＳＡＤテーブルへは単なる代入で済んだが、この実施形態による手法では、参照ブロックについて算出したＳＡＤ値を分散加算させるため、縮小ＳＡＤテーブルにおいて、参照ベクトル（縮小参照ベクトル）とテーブルアドレスは１対１ではない。したがって、この実施形態の手法の場合には、ＳＡＤ値のテーブルアドレスへの単なる代入ではなく、加算して代入する、いわゆる代入加算である必要がある。また、そのため、ＳＡＤテーブル（縮小ＳＡＤテーブル）の各テーブル要素は、最初に初期化（０クリア）しておかなければならない。
ところで、従来のブロックマッチングでは、以上のようにして完成させたＳＡＤテーブルにおいて、ＳＡＤ値が最小値となるテーブル要素を探索し、その最小値となるテーブル要素のテーブルアドレスを、参照ベクトルに変換すれば、動ベクトルの検出を完了した。
これに対して、この実施形態による手法では、ＳＡＤテーブルは、参照ベクトルを縮小した縮小参照ベクトルに対応した縮小ＳＡＤテーブルであるため、当該縮小ＳＡＤテーブルの最小値がそのまま正確な動きベクトルには対応していない。
もっとも、ある程度の誤差を許す装置の場合には、縮小ＳＡＤテーブルの最小値となるテーブル要素のテーブルアドレスを、参照ベクトルに変換したものを、さらに縮小率１／ｎの逆数倍、つまりｎ倍することで、動きベクトルを算出するようにすることもできる。
しかし、より正確な動きベクトルを算出するようにする場合には、以下に説明するように、縮小ＳＡＤテーブルのテーブル要素値に対して補間処理を施すことで、元のベクトル精度で、正確な動きベクトル（ブロック毎動きベクトル）を検出するようにする。
なお、上述の説明において、縮小参照ベクトルを用いない従来の参照ベクトルを用いるブロックマッチング手法を用いて複数個のターゲットブロックについてのＳＡＤテーブルを求め、そして、求めた複数個のＳＡＤテーブルの対応する座標位置のＳＡＤ値を合算することで合算ＳＡＤテーブルを求め、その合算ＳＡＤテーブルについて、近似曲線補間を行うことによりグローバル動きベクトルを算出することを記述したが、以下に説明する補間処理は、この場合の近似曲線補間として用いることができるものでもある。
［より正確な動きベクトルを算出するための補間処理の第１の例］
より正確な動きベクトルを算出するための補間処理の第１の例は、縮小ＳＡＤテーブルにおける複数個のＳＡＤテーブル要素値（ＳＡＤ値）を、１つの２次曲面で近似する手法である。
すなわち、縮小ＳＡＤテーブルにおいて、ＳＡＤ値が最小値となるテーブル要素（整数精度最小値テーブル要素（整数精度テーブルアドレス））と、この整数精度最小値テーブル要素を中心とする複数の整数精度テーブル要素とを求め、それらのテーブル要素のＳＡＤ値を用いて、最小自乗法によりＳＡＤ値の２次曲面を決定し、この２次曲面の最小値となるＳＡＤ値を検出し、当該検出した最小値となるＳＡＤ値に対応する位置（参照フレーム上において、基準位置に対してずれた位置）を検出し、当該検出した位置を小数精度の最小値テーブルアドレス（縮小ＳＡＤテーブルにおいてＳＡＤ値が最小値となるベクトル（最小値ベクトルという）に対応）とする。
この場合、一意の２次曲面を定めるためには、図１６（Ａ）または（Ｂ）に示すように、整数精度最小値テーブル要素ｔｍと、当該テーブル要素ｔｍをその両側から挟む位置の、当該テーブル要素ｔｍの近傍の４個の整数精度テーブル要素ｔ１，ｔ２，ｔ３，ｔ４が最低限必要である。
そして、図１７に示すように、参照フレームのサーチ範囲内の縮小ＳＡＤテーブルに対応する参照縮小ベクトルの範囲内において、ターゲットフレームの位置を基準位置（０，０）として、水平方向および垂直方向のずれ量（参照縮小ベクトルに対応）の軸ｖｘ／ｎおよび軸ｖｙ／ｎを考えると共に、これらの軸ｖｘ／ｎおよび軸ｖｙ／ｎに垂直な軸として、ＳＡＤ値の軸を考え、これら３軸からなる座標空間を想定する。
そして、例えば、整数精度最小値テーブル要素ｔｍのＳＡＤ値と、当該整数精度最小値テーブル要素ｔｍを挟む２個のテーブル要素ｔ１、ｔ３のＳＡＤ値とから、図１７の座標空間において２次曲線を生成する。また、整数精度最小値テーブル要素ｔｍのＳＡＤ値と、当該最小値テーブル要素ｔｍを挟む他の２個のテーブル要素ｔ２、ｔ４のＳＡＤ値とから、図１７の座標空間において、他の２次曲線を生成する。そして、これら２個の２次曲線を含む２次曲面２０１を、最小自乗法により求め、その２次曲面２０１を、図１７に示すように、座標空間において生成する。
そして、生成されたＳＡＤ値の２次曲面２０１の最小値２０２を検出し、その最小値を取るＳＡＤ値に対応する位置（ｖｘ／ｎ，ｖｙ／ｎ）（図１７の位置２０３）を検出し、当該検出した位置（ｖｘ／ｎ，ｖｙ／ｎ）を、小数精度のテーブル要素（テーブルアドレス）として検出する。そして、検出した小数精度テーブル要素に対応するベクトル（最小値ベクトル）２０４を、図１８に示すようにｎ倍して、元の大きさ精度の動きベクトル２０５を得る。
例えば、図１８に示すように、参照ベクトルを１／４に縮小した場合における縮小ＳＡＤテーブルＴＢＬｓの、小数精度テーブル要素の最小値アドレスから求められる最小値ベクトル２０４が、（−０．７７７，−１．４９２）の場合に、これらを4倍した（−３．１０８，−５．９６８）が、動きベクトル２０５となる。この動きベクトル２０５は、元画像のスケールにおける動きベクトルを再現したものとなっている。
以上の説明は、整数精度最小値テーブル要素ｔｍと、その近傍の４テーブル要素を用いた場合として説明したが、ＳＡＤ値の２次曲面を最小自乗法により求めるためには、より多くの複数近傍テーブル要素を用いたほうがよい。そこで、一般には、整数精度最小値テーブル要素ｔｍを中心として、その周囲の水平方向×垂直方向＝ｍ×ｍ個（ｍは３以上の整数）の矩形領域のテーブル要素を用いるようにする。
しかし、この複数近傍テーブル要素の数は、多ければ良いというものではなく、広い範囲のテーブル要素を用いると、演算量の増加を招く上、画像パターンに依存するローカルミニマムの偽値を使用してしまう可能性も高まるので、適切な複数近傍テーブル要素の数からなる矩形領域のテーブル要素を用いるようにする。
適切な複数近傍テーブル要素の数からなる矩形領域のテーブル要素の例として、この実施形態では、整数精度最小値テーブル要素ｔｍを中心として、その周囲の水平方向×垂直方向＝３×３個の矩形領域のテーブル要素を用いるようにする例と、整数精度最小値テーブル要素ｔｍを中心として、その周囲の水平方向×垂直方向＝３×３個の矩形領域のテーブル要素を用いるようにする例とについて説明する。
［３×３個の矩形領域のテーブル要素を用いる例］
図２０に、整数精度最小値テーブル要素ｔｍを中心として、その周囲の水平方向×垂直方向＝３×３個の矩形領域（図２０で塗りを付して示してある）のテーブル要素を用いるようにする例を示す。
この図２０の例の場合には、図２０（Ａ）に示すように、整数精度最小値テーブル要素ｔｍと、その近傍の８個の近傍テーブル要素のＳＡＤ値を用いて、図２０（Ｂ）に示すような２次曲面２０１を、最小自乗法により生成する。そして、生成されたＳＡＤ値の２次曲面２０１の最小値２０２を検出し、その最小値を取るＳＡＤ値に対応する位置（ｖｘ／ｎ，ｖｙ／ｎ）（図２０（Ｂ）の位置２０３）を検出し、当該検出した位置２０３を、小数精度の最小値テーブル要素位置（小数精度最小値テーブルアドレス）として検出する。
そして、検出した小数精度テーブル要素位置２０３に対応するベクトル（最小値ベクトル）２０４を、前述した図１８に示すようにｎ倍して、元の大きさ精度の動きベクトル２０５を得る。
ここで、ＳＡＤ値の２次曲面２０１の最小値２０２に対応する位置２０３の算出方法は、次のようになる。すなわち、図２１に示すように、整数精度最小値テーブル要素ｔｍの位置を原点（０，０）とする（ｘ，ｙ）座標を考える。この場合、周辺の８個のテーブル要素の位置は、３個のｘ軸方向の位置、すなわち、ｘ＝−１、ｘ＝０、ｘ＝１と、３個のＹ軸方向の位置、すなわち、ｙ＝−１、ｙ＝０、ｙ＝１との繰り合わせで表され、（−１，−１）、（０，−１）、（１，−１）、（−１，０）、（０，１）、（−１，１）、（０，１）、（１，１）の８位置となる。
そして、図２１のテーブルにおける各テーブル要素のＳＡＤ値を、Ｓｘｙとする。したがって、例えば、整数精度最小値テーブル要素ｔｍ（位置（０，０））のＳＡＤ値はＳ００と表され、また、右下の位置（１，１）のテーブル要素値のＳＡＤ値はＳ１１と表される。
すると、整数精度最小値テーブル要素ｔｍの位置を原点（０，０）とする（ｘ，ｙ）座標における小数精度の位置（ｄｘ、ｄｙ）は、図２２に示す（式Ａ）および（式Ｂ）により、求めることができる。
図２２の（式Ａ）および（式Ｂ）において、
ｘ＝−１のとき、Ｋｘ＝−１
ｘ＝０のとき、Ｋｘ＝０
ｘ＝０のとき、Ｋｘ＝１
となる。また、
ｙ＝−１のとき、Ｋｙ＝−１
ｙ＝０のとき、Ｋｙ＝０
ｙ＝０のとき、Ｋｙ＝１
となる。
こうして求められた小数精度の位置（ｄｘ，ｄｙ）は、整数精度最小値テーブル要素ｔｍの位置を原点（０，０）とする位置であるので、この小数精度の位置（ｄｘ，ｄｙ）と整数精度最小値テーブル要素ｔｍの位置とから、求めるサーチ範囲の中心位置からの位置２０３を検出することができる。
［４×４個の矩形領域のテーブル要素を用いる例］
図２３に、整数精度最小値テーブル要素ｔｍをほぼ中心として、その周囲の水平方向×垂直方向＝４×４個の矩形領域のテーブル要素（図２３で塗りを付して示してある）を用いるようにする例を示す。
この場合に、整数精度最小値テーブル要素ｔｍと、その近傍の８テーブル要素（３×３）や、その近傍の２４テーブル要素（５×５）のように、前記ｍの値が奇数である場合には、整数精度最小値テーブル要素ｔｍは、常に、使用する矩形領域の複数のテーブル要素の中心になるため、使用するテーブル範囲は単純に決定する。
これに対して、近傍の１５テーブル要素（４×４）のように、ｍが偶数である場合には、整数精度最小値テーブル要素ｔｍは、使用する矩形領域の複数のテーブル要素の中心位置とはならないので、若干の工夫が必要となる。
つまり、整数精度最小値テーブル要素ｔｍから見て、水平方向に左右の隣接テーブル要素のＳＡＤ値を比較し、小さい値となった側の方向の、当該方向の隣接テーブル要素に隣接するテーブル要素を近傍テーブル要素の４列目として採用する。同様に、垂直方向に上下の隣接テーブル要素のＳＡＤ値を比較し、小さい値となった側の方向の、当該方向の隣接テーブル要素に隣接するテーブル要素を近傍テーブル要素の４行目として採用する。
図２３の例では、整数精度最小値テーブル要素ｔｍの水平方向に左右の隣接テーブル要素のＳＡＤ値は、「１７７」と「１７３」であるので、ＳＡＤ値が小さい右隣の値「１７３」のテーブル要素のさらに右隣の列を第４列目として採用する。また、整数精度最小値テーブル要素ｔｍの垂直方向に上下の隣接テーブル要素のＳＡＤ値は、「１６８」と「１８２」であるので、ＳＡＤ値が小さい上隣の値「１６８」のテーブル要素のさらに上隣の行を第４行目として採用する。
そして、図２３の例の場合には、整数精度最小値テーブル要素ｔｍと、その近傍の１５個の近傍テーブル要素のＳＡＤ値を用いて、２次曲面２０１を、最小自乗法により生成する。そして、生成されたＳＡＤ値の２次曲面２０１の最小値２０２を検出し、その最小値を取るＳＡＤ値に対応する位置（ｖｘ／ｎ，ｖｙ／ｎ）（図２３の位置２０３）を検出し、当該検出した位置２０３を、小数精度の最小値テーブル要素位置（小数精度最小値テーブルアドレス）として検出する。
そして、検出した小数精度テーブル要素位置２０３に対応するベクトル（最小値ベクトル）２０４を、前述した図１８に示すようにｎ倍して、元の大きさ精度の動きベクトル２０５を得る。
ここで、この例の場合におけるＳＡＤ値の２次曲面２０１の最小値２０２に対応する位置２０３の算出方法は、次のようになる。すなわち、図２４に示すように、整数精度最小値テーブル要素ｔｍの位置を原点（０，０）とする（ｘ，ｙ）座標を考える。
この例の場合には、１６テーブル要素からなる矩形領域中における整数精度最小値テーブル要素ｔｍの位置に応じて、図２４（Ａ），（Ｂ），（Ｃ），（Ｄ）のような４通りのテーブル要素配置を考える必要がある。
この場合、周辺の１５個のテーブル要素の位置は、図２４（Ａ），（Ｂ），（Ｃ），（Ｄ）から分かるように、４個のｘ軸方向の位置、すなわち、ｘ＝−１、ｘ＝０、ｘ＝１、ｘ＝２またはｘ＝−２と、４個のＹ軸方向の位置、すなわち、ｙ＝−１、ｙ＝０、ｙ＝１、ｙ＝２またはｙ＝−２との繰り合わせで表される１５位置となる。
そして、図２４のテーブルにおける各テーブル要素のＳＡＤ値を、Ｓｘｙとする。したがって、例えば、整数精度最小値テーブル要素ｔｍ（位置（０，０））のＳＡＤ値はＳ００と表され、また、位置（１，１）のテーブル要素値のＳＡＤ値はＳ１１と表される。
すると、整数精度最小値テーブル要素ｔｍおよびその周辺の１６テーブル要素からなる矩形領域中の中心位置を原点（０，０）とする（ｘ，ｙ）座標における小数精度の位置（ｄｘ，ｄｙ）は、図２５に示す（式Ｃ）および（式Ｄ）により、求めることができる。
ここで、図２５の（式Ｃ）および（式Ｄ）において、ＫｘおよびＫｙは、図２６に示すように、整数精度最小値テーブル要素ｔｍおよびその周辺の１６テーブル要素からなる矩形領域中の中心位置を原点（０，０）とする（Ｋｘ，Ｋｙ）座標を考えたときの、前記図１７（Ａ），（Ｂ），（Ｃ），（Ｄ）に示した４通りのテーブル要素配置に応じた値となる。
すなわち、前記図２４（Ａ）に対応する場合には、
ｘ＝−２のとき、Ｋｘ＝−１．５
ｘ＝−１のとき、Ｋｘ＝−０．５
ｘ＝０のとき、Ｋｘ＝０．５
ｘ＝１のとき、Ｋｘ＝１．５
となる。また、
ｙ＝−２のとき、Ｋｙ＝−１．５
ｙ＝−１のとき、Ｋｙ＝−０．５
ｙ＝０のとき、Ｋｙ＝０．５
ｙ＝１のとき、Ｋｙ＝１．５
となる。
また、前記図２４（Ｂ）に対応する場合には、
ｘ＝−２のとき、Ｋｘ＝−１．５
ｘ＝−１のとき、Ｋｘ＝−０．５
ｘ＝０のとき、Ｋｘ＝０．５
ｘ＝１のとき、Ｋｘ＝１．５
となる。また、
ｙ＝−１のとき、Ｋｙ＝−１．５
ｙ＝０のとき、Ｋｙ＝−０．５
ｙ＝１のとき、Ｋｙ＝０．５
ｙ＝２のとき、Ｋｙ＝１．５
となる。
また、前記図２４（Ｃ）に対応する場合には、
ｘ＝−１のとき、Ｋｘ＝−１．５
ｘ＝０のとき、Ｋｘ＝−０．５
ｘ＝１のとき、Ｋｘ＝０．５
ｘ＝２のとき、Ｋｘ＝１．５
となる。また、
ｙ＝−２のとき、Ｋｙ＝−１．５
ｙ＝−１のとき、Ｋｙ＝−０．５
ｙ＝０のとき、Ｋｙ＝０．５
ｙ＝１のとき、Ｋｙ＝１．５
となる。
また、前記図２４（Ｄ）に対応する場合には、
ｘ＝−１のとき、Ｋｘ＝−１．５
ｘ＝０のとき、Ｋｘ＝−０．５
ｘ＝１のとき、Ｋｘ＝０．５
ｘ＝２のとき、Ｋｘ＝１．５
となる。また、
ｙ＝−１のとき、Ｋｙ＝−１．５
ｙ＝０のとき、Ｋｙ＝−０．５
ｙ＝１のとき、Ｋｙ＝０．５
ｙ＝２のとき、Ｋｙ＝１．５
となる。
また、図２５の（式Ｃ）および（式Ｄ）におけるΔｘおよびΔｙは、（Ｋｘ，Ｋｙ）座標に対する図２４（Ａ），（Ｂ），（Ｃ），（Ｄ）の各テーブル要素配置における（ｘ，ｙ）座標とのずれ量を表しており、図２６から分かるように、
図２４（Ａ）に対応する場合には、Δｘ＝−０．５、Δｙ＝−０．５、
図２４（Ｂ）に対応する場合には、Δｘ＝−０．５、Δｙ＝０．５、
図２４（Ｃ）に対応する場合には、Δｘ＝０．５、Δｙ＝−０．５、
図２４（Ｄ）に対応する場合には、Δｘ＝０．５、Δｙ＝０．５、
となる。
こうして求められた小数精度の位置（ｄｘ，ｄｙ）は、整数精度最小値テーブル要素ｔｍの位置を原点（０，０）とする位置であるので、この小数精度の位置（ｄｘ，ｄｙ）と整数精度最小値テーブル要素ｔｍの位置とから、求めるサーチ範囲の中心位置からの位置２０３を検出することができる。
［より正確な動きベクトルを算出するための補間処理の第２の例］
より正確な動きベクトルを算出するための補間処理の第２の例は、縮小ＳＡＤテーブルにおける整数精度最小値テーブル要素を含む複数個の水平方向のテーブル要素のＳＡＤ値を用いて水平方向の３次曲線を生成すると共に、整数精度最小値テーブル要素を含む複数個の垂直方向のテーブル要素のＳＡＤ値を用いて垂直方向の３次曲線を生成し、それぞれの３次曲線の極小値となる位置（ｖｘ，ｖｙ）を検出して、検出した位置を小数精度の最小値アドレスとするものである。
図２７は、この第２の例を説明するための図である。前述の第１の例と同様にして、整数精度最小値テーブル要素ｔｍと、この整数精度最小値テーブル要素を中心とする複数の整数精度テーブル要素、図２７の例では、４×４＝１６個のテーブル要素を求める（図２７（Ａ）で塗りを付した部分参照）。
次に、第１の例と同様にして、図２７（Ｂ）に示すように、参照フレームのサーチ範囲内の縮小ＳＡＤテーブルに対応する参照縮小ベクトルの範囲内において、ターゲットフレームの位置を基準位置（０，０）として、水平方向および垂直方向のずれ量（参照縮小ベクトルに対応）の軸ｖｘ／ｎおよび軸ｖｙ／ｎを考えると共に、これらの軸ｖｘ／ｎおよび軸ｖｙ／ｎに垂直な軸として、ＳＡＤ値の軸を考え、これら３軸からなる座標空間を想定する。
次に、整数精度最小値テーブル要素ｔｍの周囲の１６個のテーブル要素のうち、整数精度最小値テーブル要素ｔｍを含む４個の水平方向のテーブル要素のＳＡＤ値を用いて、前記座標空間に水平方向の３次曲線２０６を生成する。この水平方向の３次曲線２０６の極小値に対応する水平方向の位置ｖｘ／ｎとして、小数精度最小値テーブル要素位置の水平方向位置を検出する。
次に、整数精度最小値テーブル要素ｔｍの周囲の１６個のテーブル要素のうち、整数精度最小値テーブル要素ｔｍを含む４個の垂直方向のテーブル要素のＳＡＤ値を用いて、前記座標空間に垂直方向の３次曲線２０７を生成する。この垂直方向の３次曲線２０７の極小値に対応する垂直方向の位置ｖｙ／ｎとして、小数精度最小値テーブル要素位置の垂直方向位置を検出する。
以上により求めた小数精度最小値テーブル要素位置の水平方向の位置と、垂直方向の位置から、小数精度最小値テーブル要素位置（小数精度最小値テーブルアドレス）２０８を検出する。そして、当該検出した小数精度テーブル要素位置２０８に対応するベクトル（最小値ベクトル）２０９を、前述した図１８に示すようにｎ倍して、元の大きさ精度の動きベクトルを得る。
すなわち、第２の例は、第１の例で説明した方法により、水平方向、垂直方向のそれぞれの４個のテーブル要素を確定し、図２７（Ｂ）に示すように、水平方向、垂直方向のそれぞれで、３次曲線を一意に定める手法である。
ここで、ＳＡＤ値の３次曲線２０６および２０９の最小値２０２に対応する位置２０８の算出方法は、次のようになる。すなわち、水平方向または垂直方向のいずれかの方向における３次曲線において、最小値の近傍の４点のＳＡＤ値を、前記水平方向または垂直方向のいずれかの方向に沿った順番に、Ｓ０、Ｓ１、Ｓ２、Ｓ３としたとき、小数精度の最小値が、図２８に示す３つの区間Ｒａ，Ｒｂ，Ｒｃのいずれにあるかにより、最小値を取る小数成分ｕを算出する式が異なる。
ここで、区間ＲａはＳＡＤ値Ｓ０となる位置とＳＡＤ値Ｓ１となる位置との間の区間、ＲｂはＳＡＤ値Ｓ１となる位置とＳＡＤ値Ｓ２となる位置との間の区間、ＲｃはＳＡＤ値Ｓ２となる位置とＳＡＤ値Ｓ３となる位置との間の区間である。
そして、小数精度の最小値が、図２８に示す区間Ｒａにあるときには、図２９の（式Ｅ）により、整数精度の最小値の位置に対する最小値を取る位置までのずれの小数成分ｕが算出される。
また、同様に、小数精度の最小値が、図２８に示す区間Ｒｂにあるときには、図２９の（式Ｆ）により、整数精度の最小値の位置に対する最小値を取る位置までのずれの小数成分ｕが算出される。
さらに、小数精度の最小値が、図２８に示す区間Ｒｃにあるときには、図２９の（式Ｇ）により、整数精度の最小値の位置に対する最小値を取る位置までのずれの小数成分ｕが算出される。
そして、小数精度の最小値が、図２８に示す３つの区間Ｒａ，Ｒｂ，Ｒｃのいずれにあるかの判別は、次のようにして行なう。
すなわち、図３０は、その判別を説明するための図である。図３０（Ａ），（Ｂ），（Ｃ）に示すように、先ず、整数精度のＳＡＤ値の最小値Ｓｍｉｎと、２番目に小さい整数精度のＳＡＤ値Ｓｎ２とを検出し、小数精度の最小値は、検出された整数精度のＳＡＤ値の最小値Ｓｍｉｎの位置と、２番目に小さい整数精度のＳＡＤ値Ｓｎ２の位置との間の区間に存在するとして検出する。次に、整数精度のＳＡＤ値の最小値Ｓｍｉｎと、２番目に小さい整数精度のＳＡＤ値Ｓｎ２とが、図２８に示したＳＡＤ値Ｓ０、Ｓ１、Ｓ２、Ｓ３のいずれの位置となっているかにより、検出した区間が区間Ｒａ，Ｒｂ，Ｒｃのいずれであるかの判別を行なう。
なお、図３０（Ｄ）に示すように、整数精度のＳＡＤ値の最小値ＳｍｉｎがＳＡＤ値のまたは位置にあって、４個のテーブル要素値の端に位置する場合には、最小位置が推定できないとして、この実施形態では、エラーとして扱い、最小値位置の算出は行なわないようにする。もっとも、この図３０（Ｄ）のような場合においても、最小値位置を算出するようにしてもよい。
以上のようにして、この実施形態によれば、１／ｎ２にスケールダウンした小さいサイズの縮小ＳＡＤテーブルを用いて、元の画像スケールにおける動きベクトルを算出することができる。この場合に、１／ｎ２にスケールダウンした小さいサイズの縮小ＳＡＤテーブルを用いているにも関わらず、従来とほぼ同様のベクトル検出結果が得られることを図３１に示す。
図３１の横軸は、水平方向または垂直方向の一方についての１次元方向の縮小倍率ｎであり、また、縦軸は、検出される動きベクトルについての誤差（ベクトル誤差）を示している。図３１のベクトル誤差の数値は画素数で表されている。
図３１において、曲線３０１は、縮小倍率に対するベクトル誤差の平均値である。また、曲線３０２は、縮小倍率に対するベクトル誤差の分散σの３倍値（３σ（９９．７％））を示している。曲線３０３は、曲線３０２の近似曲線を示している。
図３１は、１次元方向の縮小倍率ｎに対するベクトル誤差を示しているが、ＳＡＤテーブルは２次元のため、図３１に示されるものの２乗の割合でテーブルサイズ（テーブル要素数）が削減されるのに対し、ベクトル誤差は、線形程度にしか増加しないことから、この実施形態による手法の有用性が分かる。
また、ｎ＝６４（縮小率１／６４）倍の縮小倍率でも、ベクトル誤差は小さく、全く異なる動きベクトルを算出出力とするような破綻は見られないことから、実質、１／４０９６に、ＳＡＤテーブルのサイズを削減可能であると言える。
また、前述したように、動画の手ぶれ補正においては、リアルタイム性とシステム遅延の削減が強く求められるのに対し、精度については、破綻した全く異なる動きベクトルが検出される場合を除き、ある程度のベクトル検出誤差に対して寛容である。したがって、破綻しないままＳＡＤテーブルのサイズを大きく削減することができる、この実施形態は有用性が高いと言える。
そして、この実施形態では、前述したように、参照フレーム１０２を複数の領域、この例では１６領域に分割し、それぞれの分割領域において動きベクトル（ブロック毎動きベクトル）２０５を検出するようにする。これは、前述したように、フレーム内には動く被写体が含まれる可能性も高いため、例えば、図３２のように参照フレーム１０２の１フレーム内において１６個の動きベクトル２０５を検出し、過去のフレームにおけるそれらの動きベクトル２０５からの推移も加味しながら統計的に処理することで、１フレームについて１つのグローバル動きベクトル、即ち、フレームの手ぶれベクトルを確定するようにするためである。
この場合、図３２に示すように、１回目の検波においては、検出したい１６個の動きベクトル２０５の基準位置ＰＯ１〜ＰＯ16のそれぞれを中心とするサーチ範囲ＳＲ１，ＳＲ２，・・・，ＳＲ16を定め、各サーチ範囲において、ターゲットブロックの射影イメージブロックＩＢ１，ＩＢ２，・・・，ＩＢ16を想定する。
そして、この射影イメージブロックＩＢ１，ＩＢ２，・・・，ＩＢ16と同じ大きさの参照ブロックを設定し、各サーチ範囲ＳＲ１，ＳＲ２，・・・，ＳＲ16内を、設定した参照ブロックを移動させて、上述と同様にして、縮小ＳＡＤテーブルを生成すると共に、各サーチ範囲ＳＲ１，ＳＲ２，・・・，ＳＲ16における動きベクトル２０５を検出するようにする。したがって、この実施形態では、ＳＡＤテーブルＴＢＬｉは、縮小ＳＡＤテーブルの構成である。
そして、この実施形態では、１６個のサーチ範囲のターゲットブロックについて求めた１６個の縮小ＳＡＤテーブルを、図２に示したように、重ね合わせるように並べて、サーチ範囲内で互いに対応する参照ブロック位置、つまり、縮小ＳＡＤテーブルで同じ座標位置のＳＡＤ値を合算し、合算ＳＡＤ値を求める。そして、その合算ＳＡＤ値からなるＳＡＤテーブルとして、一つのサーチ範囲内の複数参照ブロック位置分についての合算縮小ＳＡＤテーブルを生成する。したがって、この実施形態では、合算ＳＡＤテーブルＳＵＭ＿ＴＢＬは、合算縮小ＳＡＤテーブルの構成である。
そして、この実施形態では、この縮小ＳＡＤテーブルＴＢＬｉ、この縮小ＳＡＤテーブルＴＢＬｉについて上述のような近似補間処理をすることで求められるブロック毎動きベクトル２０５、および合算ＳＡＤテーブルＳＵＭ＿ＴＢＬを用いて、図１０〜図１１に示したような信頼性の判定処理、および信頼性の高いブロック毎動きベクトルが得られるターゲットブロックについての再合算ＳＡＤテーブルＲＳＵＭ＿ＴＢＬの生成、さらに、生成した再合算ＳＡＤテーブルＲＳＵＭ＿ＴＢＬの最小ＳＡＤ値およびその近傍の複数個のＳＡＤ値を用いた曲線近似補間処理をすることにより、高精度のグローバル動きベクトルを算出する。
以上説明した実施形態の縮小ＳＡＤテーブルを用いる画像処理方法は、従来手法として説明した特許文献３に記載された画像を縮小変換したサイズで動きベクトルを算出する手法に比べて、次に挙げる２つの点において、大きく異なるメリットを有するものである。
まず、第一に、この実施形態による手法は、特許文献３に記載された従来手法と異なり、画像を縮小変換するプロセスを全く必要としない。この実施形態による手法においては、参照ブロックについて算出したＳＡＤ値を、ＳＡＤテーブル（縮小ＳＡＤテーブル）に代入加算する際に、同時に縮小倍率に相当するアドレス変換を行なうからである。
これにより、この実施形態による手法においては、特許文献３に記載された従来手法のような画像の縮小変換のためのロジックも、縮小した画像をメモリに格納する時間およびバンド幅の浪費も、縮小画像をメモリに貼る領域確保も必要ない、というメリットを有する。
特許文献３に記載された従来手法のもう１つ重要な問題点として、前述も使用にしたように、画像を縮小変換する際のエイリアシング（折り返し歪み）や、低照度ノイズ除去のためのローパスフィルタの存在の問題がある。すなわち、画像縮小する際には、適切なローパスフィルタを通してからリサンプリングを行なわなければならず、さもないと、不要なエイリアシングが発生し、その縮小画像を用いた動きベクトルの精度が著しく損なわれるからである。
縮小変換の際の理想的なローパスフィルタの特性としては、ｓｉｎｃ関数に類似した関数であることが、理論的に証明されている。ｓｉｎｃ関数自体は、ｓｉｎ（ｘπ）／（ｘπ）の形で表されるカットオフ周波数ｆ／2の無限タップのＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタであるが、縮小倍率１／nのときの理想的なカットオフ周波数ｆ／（２ｎ）のローパスフィルタとしては、ｓｉｎ（ｘπ/ｎ）／（ｘπ/ｎ）と表される。しかし、これもｓｉｎｃ関数の一形態として良い。
図３３〜図３５の上側には、それぞれ縮小倍率が１／２倍、１／４倍、１／８倍のときのｓｉｎｃ関数（ローパスフィルタの理想特性）の形状を示す。この図３３〜図３５から、縮小倍率が大きくなればなる程、関数がタップ軸方向に拡大して行くことが分かる。つまり、無限タップのｓｉｎｃ関数を主要な係数のみで近似する場合にも、ＦＩＲフィルタのタップ数を増加させなければならないと言える。
また、一般的に、より低い帯域のカットオフ周波数を実現するフィルタは、フィルタ形状よりもタップ数が、その性能に対して支配的になって行くことが知られている。
したがって、特許文献３に記載の従来手法の縮小画像を用いる動きベクトル演算手法の場合、画像の縮小倍率が大きくなればなる程、そのＳＡＤテーブル削減効果が大きいにも関わらず、画像生成する際の前処理用フィルタとしてのローパスフィルタは、縮小倍率が大きくなればなる程、コストが増加してしまう、という矛盾を併せ持つのである。
一般に、高次タップのＦＩＲフィルタを実現する場合、演算ロジックのコストがタップ数の２乗に比例して増加するため、問題となるが、より大きい問題は、垂直フィルタ実現のためのラインメモリ数の増加である。近年のデジタルスチルカメラにおいては、画素数向上に伴うラインメモリのサイズ削減のため、いわゆる短冊処理を行なっているが、例え、１ライン当たりのサイズを削減したとしても、ラインメモリそのものの本数が増加することは、物理レイアウトエリアで換算されるトータルコストを著しく押し上げる。
以上、述べたように、特許文献３に記載の従来手法の画像縮小によるアプローチは、特に垂直ローパスフィルタの実現において、大きな壁が立ちはだかっていることが分かる。それに対し、この実施形態の手法は、全く異なる形で簡潔にこの問題を解決している。
図３３〜図３５の下側に、この実施形態による手法におけるローパスフィルタのイメージを示す。この実施形態による手法においては、画像縮小処理を伴っていないが、縮小ＳＡＤテーブルの生成演算過程におけるローパスフィルタのイメージを図示したものである。
図３３〜図３５の下側に示されるように、このローパスフィルタの特性は、ｓｉｎｃ関数の主要係数部分を線形で近似した、シンプルなフィルタ特性ではあるものの、縮小倍率に連動してタップ数が増加していることが分かる。これは、先に述べた、カットオフ周波数が低くなる程、ローパスフィルタの性能はタップ数が支配的になる、という事実に好適である。つまり、実施形態の線形加重分散加算を行なう処理のような、この実施形態におけるＳＡＤ値の分散加算を行なう処理そのものが、倍率連動の高性能ローパスフィルタを、シンプルな回路で実現していることと等価なのである。
このローパスフィルタに絡んで、他にもメリットがある。特許文献３に記載の従来手法では、ローパスフィルタをかけた後、リサンプリングすることで画像を縮小するが、この時点で相当数の画像情報が失われる。つまり、ローパスフィルタの演算において、画像情報の輝度値の語長は大幅に丸められてメモリに格納され、殆どの画素情報の下位ビットは、縮小後の画像に影響を与えないのである。
一方、この実施形態による手法においては、全ての画素の輝度値の全ビット情報を、遍く平等に使用してＳＡＤ値を演算し、その分散加算値を求めて縮小ＳＡＤテーブルに加算する。縮小ＳＡＤテーブルの各テーブル要素値の語長さえ増やせば、最終的なＳＡＤ値の出力まで、一切の丸め誤差を含まない形で演算可能である。縮小ＳＡＤテーブルの面積はフレームメモリに比較して小さいため、縮小ＳＡＤテーブルの語長拡張は大きな問題にならない。その結果として、縮小ＳＡＤテーブル並びに動きベクトル検出を、高精度に実現できるのである。
［この発明による画像処理装置の第１の実施形態］
次に、この発明による画像処理方法を用いた画像処理装置の第１の実施形態として、撮像装置の場合を例にとって、図を参照しながら説明する。図１は、この発明の画像処理装置の実施形態としての撮像装置の一例のブロック図を示すものである。
この図１の第１の実施形態は、静止画の手ぶれ補正システムに、この発明を適用した場合である。なお、この実施形態は、静止画用に限定されるわけではなく、本質的には動画にも適用可能である。動画の場合には、リアルタイム性のため加算枚数（フレーム数）に上限はあるが、フレーム毎に本手法を用いることにより、ノイズ・リダクション効果の高い動画を生成するシステムへの応用も、全く同じ手段で実現できる。
この第１の実施形態においては、入力画像フレームを参照フレームとして、この入力画像フレームと、フレームメモリ内の入力画像フレームを１フレーム遅延させた画像フレームとの間で動きベクトル検出を行なう。そして、この第１の実施形態における静止画についての手ぶれ補正は、連続的に撮影した複数枚の画像、例えば３ｆｐｓの画像を、手ぶれ補正を行いながら重ね合わせることにより行なう。
このように、第１の実施形態においては、撮影した静止画の手ぶれ補正を、連写した複数の画像について手ぶれ補正をかけながら重ね合わせて行くため、ピクセル精度（１画素精度）に近い精度が求められる。つまり、第１の実施形態においては、前述したように、手ぶれ動きベクトルとしてのフレーム間の水平方向および垂直方向の平行移動成分と同時に、フレーム間の回転成分も検出するようにする。
図１に示すように、この実施形態の撮像装置は、システムバス２にＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１が接続されると共に、システムバス２に、撮像信号処理系１０や、ユーザ操作入力部３、画像メモリ部４、記録再生装置部５などが接続されて構成されている。なお、この明細書においては、ＣＰＵ１は、種々のソフトウエア処理を行なうプログラムを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やワークエリア用ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含むものとしている。
ユーザ操作入力部３を通じた撮像記録開始操作を受けて、図１の例の撮像装置は、後述するような撮像画像データの記録処理を行なう。また、ユーザ操作入力部３を通じた撮像記録画像の再生開始操作を受けて、図１の例の撮像装置は、記録再生装置部５の記録媒体に記録された撮像画像データの再生処理を行なう。
図１に示すように、撮像レンズ１０Ｌを備えるカメラ光学系（図示は省略）を通じた被写体からの入射光は、撮像素子１１に照射されて撮像される。この例では、撮像素子１１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージャで構成されている。なお、撮像素子１１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャで構成してもよい。
この例の撮像装置においては、撮像記録開始操作がなされると、撮像素子１１からは、タイミング信号発生部１２からのタイミング信号によりサンプリングされることにより、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色から構成されるベイヤー配列のＲＡＷ信号であるアナログ撮像信号が出力される。出力されたアナログ撮像信号は、前処理部１３に供給され、欠陥補正やγ補正等の前処理が施され、データ変換部１４に供給される。
データ変換部１４は、これに入力されたアナログ撮像信号から、輝度信号成分Ｙと、色差信号成分Ｃｂ／Ｃｒとにより構成されるデジタル撮像信号（ＹＣデータ）に変換し、そのデジタル撮像信号をシステムバス２を介して、画像メモリ部４に供給する。
画像メモリ部４は、この図１の例においては、３個のフレームメモリ４１，４２および４３からなり、データ変換部１４からのデジタル撮像信号は、先ず、フレームメモリ４１に格納される。そして、１フレーム経過すると、フレームメモリ４１に記憶されているデジタル撮像信号が、フレームメモリ４２に転送されると共に、フレームメモリ４１には、データ変換部１４からの新たなフレームのデジタル撮像信号が書き込まれる。したがって、フレームメモリ４２には、フレームメモリ４１に格納されているフレーム画像よりも１フレーム分前のフレーム画像が格納されている。
そして、手ぶれベクトル検出部１５は、システムバス２を介して、これら２個のフレームメモリ４１およびフレームメモリ４２をアクセスして、その格納データを読み出し、前述したような、１フレーム当たり１６個のＳＡＤテーブル生成処理、ブロック毎動きベクトル検出処理、合算ＳＡＤテーブル生成処理、再合算ＳＡＤテーブル生成処理、グローバル動きベクトル検出処理などの処理、さらにフレームについての平行移動量および回転角度の算出処理を実行する。
この場合、フレームメモリ４２に格納されているフレーム画像は、元フレームの画像とされ、また、フレームメモリ４１に格納されているフレーム画像は、参照フレームの画像とされる。なお、実際には、フレームメモリ４１と４２とは、ダブルバッファとしてローテーションされる。
この第１の実施形態における手ぶれベクトル検出部１５においては、前述したように、サーチ範囲を絞りながら、かつ、必要に応じて縮小倍率を変更しながら、２段階以上、縮小ＳＡＤテーブルおよび合算ＳＡＤテーブルを用いた動きベクトル検出処理を繰り返すようにする。
特に、静止画についての手ぶれベクトル検出および手ぶれ補正処理においては、リアルタイム性の制約が少なく、画素数が多く、高精度の動きベクトルの検出が必要であるので、複数段階の階層的な動きベクトル検出処理が非常に有効である。
この第１の実施形態においては、画像メモリ４には、複数枚のフレームを回転および平行移動させて重ね合わせた結果を記憶するためのフレームメモリ４３を設ける。前述したように、画像フレームの重ね合わせは、１枚目の基準画像（図３の画像フレーム１２０参照）に対して行うようにする。
複数枚のフレームを回転および平行移動させて重ね合わせる基準となる１枚目のフレームの画像データは、図１において破線で示すように、フレームメモリ４３にも書き込まれる。
そして、２枚目以降の画像フレームについては、フレームメモリ４２に格納された後、フレームメモリ４１に格納されている画像データを用いて、常に１フレーム前の画像との相対的な手ぶれベクトルの検出が、手ぶれベクトル検出部１５で実行される。このとき、１枚目の基準画像との相対手ぶれを算出するために、それまでの手ぶれベクトルを積分しておくようにする。また、手ぶれベクトル検出部１５では、２枚目以降の画像フレームの、１枚目の基準画像フレームに対する相対的な回転角度が検出される。
手ぶれベクトル検出部１５は、検出した１枚目の画像フレームに対する２枚目以降の画像フレームのそれぞれについての相対的な手ぶれベクトルと回転角度の情報をＣＰＵ１に供給する。
そして、フレームメモリ４２に格納されている２枚目以降の画像は、算出された１枚目のフレームの基準画像との相対手ぶれ成分（平行移動量の成分）を相殺するように、ＣＰＵ１の制御により、フレームメモリ４２から読み出されて、回転・平行移動加算部１９に供給される。このフレームメモリ４２からの相対手ぶれ成分にしたがった切り出しにより、回転平行移動加算部１９には、手ぶれによる平行移動量が除去された状態で供給される。
回転・平行移動加算部１９では、ＣＰＵ１からの制御信号により、１枚目の基準画像フレームに対する相対回転角度に応じてフレームメモリ４２から読み出された２枚目以降の画像フレームのそれぞれが回転させられて、フレームメモリ４３から読み出された画像フレームに対して加算もしくは平均化される。その加算もしくは平均結果の画像フレームは、フレームメモリ４３に書き戻される。
そして、フレームメモリ４４の画像フレームのデータは、ＣＰＵ１の制御指示に応じた所定の解像度および所定の画像サイズとなるように切り出されて解像度変換部１６に供給される。解像度変換部１６は、ＣＰＵ１からの制御を受けて、ＣＰＵ１の制御指示に応じた所定の解像度および所定の画像サイズの画像データを生成して、出力する処理を実行する。
この解像度変換部１６からの手ぶれが除去された画像データは、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）エンコーダ１８によりＮＴＳＣ方式の標準カラー映像信号に変換され、電子式ビューファインダーを構成するモニターディスプレイ６に供給され、撮影時の画像がその表示画面にモニター表示される。
このモニター表示と並行して、解像度変換部１６からの手ぶれが除去された画像データはコーデック部１７で記録変調などのコーディング処理された後、記録再生装置部５に供給されて、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの光ディスクやハードディスクなどの記録媒体に記録される。
この記録再生装置部５の記録媒体に記録された撮像画像データは、ユーザ操作入力部３を通じた再生開始操作に応じて読み出され、コーデック部１７に供給されて、再生デコードされる。そして、再生デコードされた画像データはＮＴＳＣエンコーダ１８を通じてモニターディスプレイ６に供給され、再生画像がその表示画面に表示される。なお、図１では、図示を省略したが、ＮＴＳＣエンコーダ１８からの出力映像信号は、映像出力端子を通じて外部に導出することが可能とされている。
上述した手ぶれベクトル検出部１５は、ハードウエアにより構成することできるし、また、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を用いて構成することもできる。さらには、ＣＰＵ１によりソフトウエア処理とすることもできる。また、ハードウエアやＤＳＰ処理と、ＣＰＵ１によるソフトウエア処理との組み合わせとすることもできる。
手ぶれベクトル検出部１５では、相対的なフレーム間のブロック毎動きベクトルおよびグローバル動きベクトルの算出のみを行い、相対的な高精度のグローバル動きベクトルや平行移動量、回転角度の算出、また、１枚目に対する平行移動量および回転角度の算出処理は、ＣＰＵ１が実行するようにしても良い。
なお、この実施形態では、回転・平行移動加算部１９においては、後述するように、「単純加算」、「平均加算」、「トーナメント加算」の３通りのフレーム加算処理方法が、実行できるようにされている。そして、ユーザ操作入力部３には、それら３通りのフレーム加算処理方法のいずれを実行するかを指定する選択指定操作手段（図１では図示を省略）が設けられ、ＣＰＵ１は、ユーザのこの選択指定操作手段を通じた選択指定に応じた選択制御信号を回転・平行移動加算部１９に供給する。回転・平行移動加算部１９は、３通りのフレーム加算処理方法のうちの、ＣＰＵ１からの選択制御信号により指定されるフレーム加算処理方法を実行する。
［手ぶれベクトル検出部１５における処理動作］
［第１の例］
この実施形態における手ぶれベクトル検出部１５における処理動作の流れの第１の例を、図３６〜図３９のフローチャートを参照して、以下に説明する。この第１の例は、参照フレームについてのグローバル動きベクトルから平行移動量および回転角度を算出するようにする場合である。
なお、この図３６〜図３９は、一つの参照フレームについての処理であり、この図３６〜図３９の処理ルーチンが各参照フレームにおいて実行されるものである。この場合に、ステップＳ３１の１回目のサーチ範囲の設定処理は、最初の参照フレームについて設定したら、その後の参照フレームにおいては省略することができる。
まず、１回目検波について説明する。前述の図３２に示したように、１６個のターゲットブロックについての１６個のサーチ範囲について、それぞれのターゲットブロックの中心位置を、それぞれのサーチ範囲の中心としてサーチ範囲のオフセットをゼロに設定すると共に、それぞれのサーチ範囲を、この実施形態において想定される最大範囲に設定する（図３６のステップＳ３１）。
次に、１６個のターゲットブロックについて、それぞれ設定されたサーチ範囲において前述した縮小ＳＡＤテーブルおよびブロック毎動きベクトルの算出処理を実行する（ステップＳ３２）。このステップＳ３２の詳細処理ルーチンは後述する。
そして、１６個のターゲットブロックについての縮小ＳＡＤテーブルの生成が終了すると、１６個の縮小ＳＡＤテーブルにおいて、図４に示した（式３）により、サーチ範囲のそれぞれで対応する参照ブロック位置のＳＡＤ値を合算する処理を行い、縮小ＳＡＤテーブルと同一サイズである一つのサーチ範囲内の複数参照ブロック位置分の合算縮小ＳＡＤテーブルを生成する（ステップＳ３３）。
次に、生成した合算縮小ＳＡＤテーブルにおいて、最小ＳＡＤ値を検出し、検出した最小ＳＡＤ値とその近傍の複数ＳＡＤ値を用いて、前述した近似曲面補間の処理を行って、合算動きベクトルを算出する（ステップＳ３４）。
次に、ステップＳ３４で算出された合算動きベクトルを基準にして、１６個の縮小ＳＡＤテーブルのＳＡＤ値と、ブロック毎動きベクトルとから、図１０に示した条件の判定を行い、１６個のターゲットブロックのそれぞれについての縮小ＳＡＤテーブルについての前述したような「ＴＯＰ」、「ＮＥＸＴ＿ＴＯＰ」、「ＮＥＡＲ＿ＴＯＰ」、「ＯＴＨＥＲＳ」のラベル付けおよび当該参照フレームについての合計スコアｓｕｍ＿ｓｃｏｒｅの算出処理を行う。そして、算出されたそれらのラベル付け結果および合計スコアｓｕｍ＿ｓｃｏｒｅを保持する（ステップＳ３５）。なお、このとき、「ＮＥＡＲ＿ＴＯＰ」、「ＯＴＨＥＲＳ」のラベル付けをしたターゲットブロックについては、信頼性が低いため使用しないことを意味するマスクフラグが設定される。
次に、ステップＳ３２で算出された１６個のブロック毎動きベクトルについて多数決を取り（ステップＳ３６）、多数決トップのブロック毎動きベクトルを基準にして、１６個の縮小ＳＡＤテーブルのＳＡＤ値と、ブロック毎動きベクトルとから、前述したような図９に対応する条件の判定を行い、１６個のターゲットブロックのそれぞれについてのＳＡＤテーブルについての前述したような「ＴＯＰ」、「ＮＥＸＴ＿ＴＯＰ」、「ＮＥＡＲ＿ＴＯＰ」、「ＯＴＨＥＲＳ」のラベル付けおよび当該参照フレームについての合計スコアｍａｎｙ＿ｓｃｏｒｅの算出処理を行い、算出されたそれらのラベル付け結果および合計スコアｍａｎｙ＿ｓｃｏｒｅを保持する（ステップＳ３７）。
そして、ステップＳ３４で算出した合算動きベクトルと、ステップＳ３６での多数決処理の結果、検出される多数決トップの動きベクトルとを比較し、両動きベクトルが縮小ＳＡＤテーブル上の座標位置として、１隣接以内（座標位置が上下左右斜め方向に１位置しか違わない）であるか否か判別する（ステップＳ３８）。
ステップＳ３８で、合算動きベクトルと多数決トップの動きベクトルとの差異が１隣接以内ではないと判別したときには、当該参照フレームのグローバル動きベクトルは信頼性が無いと判断して、当該参照フレームは、静止画手ぶれ補正のための重ね合わせ処理をするフレームから除外し、その後の処理をスキップする（ステップＳ３９）。そして、この処理ルーチンを終了する。
また、ステップＳ３８で、合算動きベクトルと多数決トップの動きベクトルとの差異が１隣接以内であると判別したときには、ステップＳ３５で求められた合計スコアｓｕｍ＿ｓｃｏｒｅが予め定められた所定の閾値θth１以上であり、かつ、ステップＳ３７で求められた合計スコアｍａｎｙ＿ｓｃｏｒｅが予め定められた所定の閾値θth２以上であるか否か判別する（図３７のステップＳ４１）。
ステップＳ４１で、合計スコアｓｕｍ＿ｓｃｏｒｅおよび合計スコアｍａｎｙ＿ｓｃｏｒｅの一方または両者が、閾値θth１および閾値θth２以上である条件を満足しなかったときには、ステップＳ３９に進んで、当該参照フレームは、静止画手ぶれ補正のための重ね合わせ処理をするフレームから除外し、その後の処理をスキップする。そして、この処理ルーチンを終了する。
また、ステップＳ４１で、合計スコアｓｕｍ＿ｓｃｏｒｅおよび合計スコアｍａｎｙ＿ｓｃｏｒｅの両者が、閾値θth１および閾値θth２以上である条件を満足したときには、ステップＳ３５でラベル付けされたターゲットブロックに対するＳＡＤテーブルのうち、「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」のラベルが付与されたＳＡＤテーブルのＳＡＤ値のみを用いて、合算ＳＡＤ値を再算出し、合算縮小ＳＡＤテーブルを再算出する（ステップＳ４２）。
そして、再作成により求めた再合算縮小ＳＡＤテーブルにおける最小ＳＡＤ値の座標位置およびその近傍座標位置の複数個のＳＡＤ値を用いて近似曲面補間処理を行う（ステップＳ４３）。この例では、このステップＳ４３では、図２０を用いて説明した３×３個の矩形領域のテーブル要素を用いる近似曲面補間処理を実行する。
そして、この近似曲面補間処理の結果として検出される動きベクトルを、グローバル動きベクトルとして、２回目検波の際のサーチ範囲オフセットを設定するために用いるために確保する（ステップＳ４４）。
次に、手ぶれベクトル検出部１５は、図３８および図３９に示す２回目検波を続いて実行する。
すなわち、１６個のターゲットブロックについての１６個のサーチ範囲を、図１２（Ｂ）に示したように、ステップＳ３９で確保した１回目検波で得られたグローバル動きベクトル分、つまり、平行移動量分だけオフセットした位置を中心としたものとし、かつ、１回目検波時よりも狭い範囲として設定する（図３８のステップＳ５１）。
次に、１６個のターゲットブロックについて、それぞれ設定されたサーチ範囲において前述した縮小ＳＡＤテーブルおよびブロック毎動きベクトルの算出処理を実行する（ステップＳ５２）。
そして、ステップＳ５２での複数個のターゲットブロックについての縮小ＳＡＤテーブルの生成が終了すると、１回目検波でマスクフラグが立てられたターゲットブロックを除く、ラベル「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」のターゲットブロックについての縮小ＳＡＤテーブルにおいて、図４に示した（式３）により、サーチ範囲のそれぞれで対応する参照ブロック位置のＳＡＤ値を合算する処理を行い、縮小ＳＡＤテーブルと同一サイズである一つのサーチ範囲内の複数参照ブロック位置分の合算縮小ＳＡＤテーブルを生成する（ステップＳ５３）。なお、ステップＳ５２の縮小ＳＡＤテーブルおよびブロック毎動きベクトルの算出処理を、１回目検波でマスクフラグが立てられたターゲットブロックを除く、ラベル「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」のターゲットブロックについてのみ行うようにしても良い。
次に、ステップＳ５３で生成した合算縮小ＳＡＤテーブルにおいて、最小ＳＡＤ値を検出し、検出した最小ＳＡＤ値とその近傍の複数ＳＡＤ値を用いて、前述した近似曲面補間の処理を行って、小数精度の合算動きベクトルを算出する（ステップＳ５４）。
次に、ステップＳ５４で算出された合算動きベクトルを基準にして、１回目検波でマスクフラグが立てられていないターゲットブロックについての縮小ＳＡＤテーブルのＳＡＤ値と、そのブロック毎動きベクトルとから、図１０に示した条件の判定を行い、前記のターゲットブロックのそれぞれについての縮小ＳＡＤテーブルについての前述したような「ＴＯＰ」、「ＮＥＸＴ＿ＴＯＰ」、「ＮＥＡＲ＿ＴＯＰ」、「ＯＴＨＥＲＳ」のラベル付けおよび当該参照フレームについての合計スコアｓｕｍ＿ｓｃｏｒｅの算出処理を再度行い、算出されたそれらのラベル付け結果および合計スコアｓｕｍ＿ｓｃｏｒｅを保持する（ステップＳ５５）。なお、この際にも、新たに「ＮＥＡＲ＿ＴＯＰ」、「ＯＴＨＥＲＳ」のラベル付けがなされたターゲットブロックについては、信頼性が低いため使用しないことを意味するマスクフラグが設定される。
次に、ステップＳ５２で算出されたブロック毎動きベクトルのうちの、１回目検波でマスクフラグが立てられていないターゲットブロックについてのブロック毎動きベクトルについて多数決を取り（ステップＳ５６）、その結果としての多数決トップのブロック毎動きベクトルを基準にして、前記マスクフラグが立てられていないターゲットブロックの縮小ＳＡＤテーブルのＳＡＤ値と、そのブロック毎動きベクトルとから、前述したような図９に対応する条件の判定を行い、前述したような「ＴＯＰ」、「ＮＥＸＴ＿ＴＯＰ」、「ＮＥＡＲ＿ＴＯＰ」、「ＯＴＨＥＲＳ」のラベル付けおよび当該参照フレームについての合計スコアｍａｎｙ＿ｓｃｏｒｅの算出処理を行い、算出されたそれらのラベル付け結果および合計スコアｍａｎｙ＿ｓｃｏｒｅを保持する（ステップＳ５７）。
そして、ステップＳ５４で算出した合算動きベクトルと、ステップＳ５６での多数決処理の結果、検出される多数決トップの動きベクトルとを比較し、両動きベクトルが縮小ＳＡＤテーブル上の座標位置として、１隣接以内（座標位置が上下左右斜め方向に１位置しか違わない）であるか否か判別する（ステップＳ５８）。
ステップＳ５８で、合算動きベクトルと多数決トップの動きベクトルとの差異が１隣接以内ではないと判別したときには、当該参照フレームのグローバル動きベクトルは信頼性が無いと判断して、当該参照フレームは、静止画手ぶれ補正のための重ね合わせ処理をするフレームから除外し、その後の処理をスキップする（ステップＳ５９）。そして、この処理ルーチンを終了する。
また、ステップＳ５８で、合算動きベクトルと多数決トップの動きベクトルとの差異が１隣接以内であると判別したときには、ステップＳ５５で求められた合計スコアｓｕｍ＿ｓｃｏｒｅが予め定められた所定の閾値θth３以上であり、かつ、ステップＳ３７で求められた合計スコアｍａｎｙ＿ｓｃｏｒｅが予め定められた所定の閾値θth４以上であるか否か判別する（図３９のステップＳ６１）。
ステップＳ６１で、合計スコアｓｕｍ＿ｓｃｏｒｅおよび合計スコアｍａｎｙ＿ｓｃｏｒｅの一方または両者が、閾値θth３および閾値θth４以上である条件を満足しなかったときには、ステップＳ５９に進んで、当該参照フレームは、静止画手ぶれ補正のための重ね合わせ処理をするフレームから除外し、その後の処理をスキップする。そして、この処理ルーチンを終了する。
また、ステップＳ６１で、合計スコアｓｕｍ＿ｓｃｏｒｅおよび合計スコアｍａｎｙ＿ｓｃｏｒｅの両者が、閾値θth３および閾値θth４以上である条件を満足したときには、ステップＳ５５でラベル付けされたターゲットブロックに対するＳＡＤテーブルのうち、「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」のラベルが付与されたＳＡＤテーブルのＳＡＤ値のみを用いて、合算ＳＡＤ値を再算出し、合算縮小ＳＡＤテーブルを再算出する（ステップＳ６２）。
そして、再作成により求めた再合算縮小ＳＡＤテーブルにおける最小ＳＡＤ値の座標位置およびその近傍座標位置の複数個のＳＡＤ値を用いて近似曲面補間処理を行い、グローバル動きベクトルとしての合算動きベクトルを算出し、保持する（ステップＳ６３）。この例では、このステップＳ６３では、図２０を用いて説明した３×３個の矩形領域のテーブル要素を用いる近似曲面補間処理を実行する。
そして、算出された合算動きベクトルにより、当該フレームの静止画についての一つ前フレームに対する相対的な平行移動量を決定し、この決定した平行移動量を積算することにより、１枚目のフレームに対する平行移動量を算出する（ステップＳ６４）。
次に、一つ前のフレームについて同様にして検出されて保持されている合算動きベクトルと、ステップＳ６３で検出された当該フレームの合算動きベクトルとの間の回転角度として、当該フレームの静止画についての一つ前のフレームに対する相対的な回転角度を算出し、この算出した回転角度を積算することにより、１枚目のフレームに対する回転角度を算出する（ステップＳ６５）。
手ぶれベクトル検出部１５は、以上により手ぶれによるフレーム単位の平行移動量および回転角度の算出処理を終了し、算出結果の平行移動量および回転角度をＣＰＵ１に供給する。そして、算出結果の平行移動量および回転角度が用いられて、回転・平行移動加算部１９で、１枚目のフレームに対する重ね合わせの処理が実行される。
なお、上述の説明では、ステップＳ６４およびステップＳ６５では、１枚目のフレームに対する平行移動量および回転角度をも算出するようにしたが、これらのステップＳ６４およびステップＳ６５では、一つ前のフレームに対する相対的な平行移動量および回転角度の算出のみを行うようにして、１枚目のフレームに対する平行移動量および回転角度の算出は、ＣＰＵ１が行うようにしても良い。
以上で、１つの参照フレームについての手ぶれベクトル検出部１５における処理動作は終了となる。
なお、図３６および図３７、また、図３８および図３９のフローチャートにおいて、ステップＳ３１〜ステップＳ３４までの処理、また、ステップＳ５１〜ステップＳ５４までの処理を手ぶれベクトル検出部１５で行い、それ以降の処理をＣＰＵ１がソフトウエアにより処理するように構成してもよい。
また、手ぶれベクトル（グローバル動きベクトル）の検出に際しては、上述のようにしてグローバル動きベクトルを確保する処理手法に、さらに、従来から提案されている時間軸方向の動きベクトルの周波数から、グローバル動きベクトルを予測する手法を組み合わせることにより、更なる信頼性並びに精度の向上を図るようにしても良い。
また、上述の例では、再合成縮小ＳＡＤテーブルは、ステップＳ３５またはステップＳ５５でラベル付けをした各ブロックのうちの「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」のラベルが付与されたブロックの縮小ＳＡＤテーブルのＳＡＤ値のみを用いるようにしたが、ステップＳ３７またはステップＳ５７でラベル付けした各ブロックのうちの「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」のラベルが付与されたブロックの縮小ＳＡＤテーブルのＳＡＤ値のみを用いるようにしても良いし、さらには、ステップＳ３５またはステップＳ５５とステップＳ３７またはステップＳ５７の両方でラベル付けをした各ブロックのうちの「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」のラベルが付与されたブロックの縮小ＳＡＤテーブルのＳＡＤ値を用いて、再合算縮小ＳＡＤテーブルを生成するようにしても良い。
また、上述の例においては、各ブロック毎動きベクトルに付与したラベルに対応するスコアの合計ｓｕｍ＿ｓｃｏｒｅおよびｍａｎｙ＿ｓｃｏｒｅを、動きベクトルを算出している対象の参照フレームについてのグローバル動きベクトルの評価判定の一つの材料としたが、この合計スコアの代わりに、ブロック毎動きベクトルに付与されたラベルが「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」の数が所定の閾値以上であるか否かを評価判定の材料とし、ラベルが「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」の数が所定の閾値以上であれば、高評価であると判定するようにしても良い。
［第２の例］
この実施形態における手ぶれベクトル検出部１５における処理動作の流れの第２の例を、図４０〜図４２のフローチャートを参照して、以下に説明する。この第２の例は、参照フレームについてのブロック毎動きベクトルのうちの、信頼性の高いブロック毎動きベクトルのみを用いて、前述した図５〜図８に示したような手法により、参照フレームについての平行移動量および回転角度を算出するようにする場合である。
この図４０〜図４２の処理も、一つの参照フレームについての処理であり、この図４０〜図４２の処理ルーチンが各参照フレームにおいて実行されるものである。この場合に、ステップＳ７１の１回目のサーチ範囲の設定処理は、最初の参照フレームについて設定したら、その後の参照フレームにおいては省略することができる。
まず、１回目検波について説明する。前述の図３２に示したように、１６個のターゲットブロックについての１６個のサーチ範囲について、それぞれのターゲットブロックの中心位置を、それぞれのサーチ範囲の中心としてサーチ範囲のオフセットをゼロに設定すると共に、それぞれのサーチ範囲を、この実施形態において想定される最大範囲に設定する（図４０のステップＳ７１）。
次に、１６個のターゲットブロックについて、それぞれ設定されたサーチ範囲において前述した縮小ＳＡＤテーブルおよびブロック毎動きベクトルの算出処理を実行する（ステップＳ７２）。このステップＳ７２の詳細処理ルーチンは後述する。
そして、１６個のターゲットブロックについての縮小ＳＡＤテーブルの生成が終了すると、１６個の縮小ＳＡＤテーブルにおいて、図４に示した（式３）により、サーチ範囲のそれぞれで対応する参照ブロック位置のＳＡＤ値を合算する処理を行い、縮小ＳＡＤテーブルと同一サイズである一つのサーチ範囲内の複数参照ブロック位置分の合算縮小ＳＡＤテーブルを生成する（ステップＳ７３）。
次に、生成した合算縮小ＳＡＤテーブルにおいて、最小ＳＡＤ値を検出し、検出した最小ＳＡＤ値とその近傍の複数ＳＡＤ値を用いて、前述した近似曲面補間の処理を行って、合算動きベクトルを算出する（ステップＳ７４）。
次に、ステップＳ７４で算出された合算動きベクトルを基準にして、１６個の縮小ＳＡＤテーブルのＳＡＤ値と、ブロック毎動きベクトルとから、図１０に示した条件の判定を行い、１６個のターゲットブロックのそれぞれについての縮小ＳＡＤテーブルについての前述したような「ＴＯＰ」、「ＮＥＸＴ＿ＴＯＰ」、「ＮＥＡＲ＿ＴＯＰ」、「ＯＴＨＥＲＳ」のラベル付けを行う。このとき、「ＮＥＡＲ＿ＴＯＰ」、「ＯＴＨＥＲＳ」のラベル付けをしたターゲットブロックについては、信頼性が低いため使用しないことを意味するマスクフラグを立てる（ステップＳ７５）。
次に、ラベル「ＴＯＰ」が付与されたターゲットブロックの数が、予め定められた所定の閾値θth５未満であるか否か判別する（ステップＳ７６）。ラベル「ＴＯＰ」が付与されたターゲットブロックの数が、閾値θth５未満であると判別したときには、ラベル「ＮＥＸＴ＿ＴＯＰ」が付与されたターゲットブロックの数が、予め定められた所定の閾値θth６未満であるか否か判別する（ステップＳ７７）。
このステップＳ７７で、ラベル「ＮＥＸＴ＿ＴＯＰ」が付与されたターゲットブロックの数が、閾値θth６未満であると判別したときには、当該参照フレームは、静止画手ぶれ補正のための重ね合わせ処理をするフレームから除外し、その後の処理をスキップする（ステップＳ７８）。そして、この処理ルーチンを終了する。
また、ステップＳ７６でラベル「ＴＯＰ」が付与されたターゲットブロックの数が、閾値θth５以上であると判別したとき、また、ステップＳ７７でラベル「ＮＥＸＴ＿ＴＯＰ」が付与されたターゲットブロックの数が、閾値θth６以上であると判別したときには、マスクフラグが立っていないラベルが「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」のターゲットブロックの縮小ＳＡＤテーブルについて、前述した図１７、図２０、図２３、図２７により説明したような近似曲面補間の処理を行って、高精度（小数点精度）のブロック毎動きベクトルを算出する（ステップＳ７９）。
次に、前述の図５および図６を用いて説明したようにして、ステップＳ７９で算出された信頼性の高いブロック毎動きベクトルのみを用いて当該フレームについての前フレームに対する平行移動量の算出を行う（ステップＳ８０）。ここで、算出された平行移動量は、前述の第１の例におけるグローバル動きベクトルに対応するものであり、これは２回目検波の際のサーチ範囲のオフセットの設定に利用される。以上で、１回目検波の処理は終了である。
次に、手ぶれベクトル検出部１５は、図４１および図４２に示す２回目検波を続いて実行する。
すなわち、１６個のターゲットブロックについての１６個のサーチ範囲を、図１２（Ｂ）に示したように、ステップＳ８０で確保した１回目検波で得られた平行移動量分だけオフセットした位置を中心としたものとし、かつ、１回目検波時よりも狭い範囲として設定する（図４１のステップＳ８１）。
次に、１６個のターゲットブロックについて、それぞれ設定されたサーチ範囲において前述した縮小ＳＡＤテーブルおよびブロック毎動きベクトルの算出処理を実行する（ステップＳ８２）。
そして、ステップＳ８２での複数個のターゲットブロックについての縮小ＳＡＤテーブルの生成が終了すると、１回目検波でマスクフラグが立てられたターゲットブロックを除く、ラベル「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」のターゲットブロックについての縮小ＳＡＤテーブルにおいて、図４に示した（式３）により、サーチ範囲のそれぞれで対応する参照ブロック位置のＳＡＤ値を合算する処理を行い、縮小ＳＡＤテーブルと同一サイズである一つのサーチ範囲内の複数参照ブロック位置分の合算縮小ＳＡＤテーブルを生成する（ステップＳ８３）。なお、ステップＳ８２の縮小ＳＡＤテーブルおよびブロック毎動きベクトルの算出処理を、１回目検波でマスクフラグが立てられたターゲットブロックを除く、ラベル「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」のターゲットブロックについてのみ行うようにしても良い。
次に、ステップＳ８３で生成した合算縮小ＳＡＤテーブルにおいて、最小ＳＡＤ値を検出し、検出した最小ＳＡＤ値とその近傍の複数ＳＡＤ値を用いて、前述した近似曲面補間の処理を行って、小数精度の合算動きベクトルを算出する（ステップＳ８４）。
次に、ステップＳ８４で算出された合算動きベクトルを基準にして、１回目検波でマスクフラグが立てられていないターゲットブロックについての縮小ＳＡＤテーブルのＳＡＤ値と、そのブロック毎動きベクトルとから、図１０に示した条件の判定を行い、前記のターゲットブロックのそれぞれについての縮小ＳＡＤテーブルについての前述したような「ＴＯＰ」、「ＮＥＸＴ＿ＴＯＰ」、「ＮＥＡＲ＿ＴＯＰ」、「ＯＴＨＥＲＳ」のラベル付け行うとともに、「ＮＥＡＲ＿ＴＯＰ」、「ＯＴＨＥＲＳ」のラベル付けをしたターゲットブロックについては、信頼性が低いため使用しないことを意味するマスクフラグを立てる（ステップＳ８５）。
次に、マスクフラグが立てられていないターゲットブロックの数が、予め定められている所定の閾値θth７未満であるか否か判別し（ステップＳ８６）、所定の閾値θth７未満であると判別したときには、当該参照フレームは、静止画手ぶれ補正のための重ね合わせ処理をするフレームから除外し、その後の処理をスキップする（ステップＳ８７）。そして、この処理ルーチンを終了する。
ステップＳ８６で、マスクフラグが立てられていないターゲットブロックの数が、予め定められている所定の閾値θth７以上であると判別したときには、マスクフラグが立っていないラベルが「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」のターゲットブロックの縮小ＳＡＤテーブルについて、前述した図１７、図２０、図２３、図２７により説明したような近似曲面補間の処理を行って、高精度（小数点精度）のブロック毎動きベクトルを算出する（ステップＳ８８）。
次に、前述の図５および図６を用いて説明したようにして、ステップＳ８８で算出された信頼性の高いブロック毎動きベクトルのみを用いて当該フレームについての前フレームに対する平行移動量（α，β）の算出を行う（図４２のステップＳ９１）。
また、前述の図６〜図８を用いて説明したようにして、ステップＳ８８で算出された信頼性の高いブロック毎動きベクトルのみを用いて当該フレームについての前フレームに対する回転角度γの算出を行う（ステップＳ９２）。
次に、ステップＳ９１で求められた平行移動量（α，β）と、ステップＳ９２で求められた回転角度γとを元にして、各ターゲットブロックについての理想的なブロック毎動きベクトルを算出し、その理想的なブロック毎動きベクトルと、実際に算出された各ターゲットブロックについてのブロック毎動きベクトルＶｉとの誤差ＥＲＲｉを計算するとともに、その総和ΣＥＲＲｉを算出する（ステップＳ９３）。ここで、誤差ＥＲＲｉは、図４３の（式Ｈ）により算出することができる。そして、算出された誤差の総和ΣＥＲＲｉは、当該フレームの誤差の総和となる。
なお、前述の（式６）について説明したように、複数の被験者による手ぶれによる回転角度の測定値は、非常に小さいことが確認されており、このため、回転行列Ｒについては、ｃｏｓγ≒１、ｓｉｎγ≒γであるとすることができるので、図４３のように表すことができるものである。
次に、ステップＳ９３で算出された誤差の総和ΣＥＲＲｉが、予め定められている所定の閾値θth８未満であるか否か判別し（ステップＳ９４）、所定の閾値θth８未満ではないと判別したときには、ステップＳ９３で算出された各ターゲットブロックについてのブロック毎動きベクトルＶｉの誤差ＥＲＲｉのうちで、最大値となっているターゲットブロックについてマスクフラグを立てる（ステップＳ９５）。
そして、ステップＳ９５の次には、図４１のステップＳ８３に戻り、マスクフラグが立てられたターゲットブロックを除くターゲットブロックについての縮小ＳＡＤテーブルにおいて、図４に示した（式３）により、サーチ範囲のそれぞれで対応する参照ブロック位置のＳＡＤ値を合算する処理を再度行い、縮小ＳＡＤテーブルと同一サイズである一つのサーチ範囲内の複数参照ブロック位置分の合算縮小ＳＡＤテーブルを生成する。そして、前述したステップＳ８４以降の処理を繰り返すようにする。
また、ステップＳ９４で、ステップＳ９３で算出された誤差の総和ΣＥＲＲｉが、所定の閾値θth８未満であると判別したときには、ステップＳ９１およびステップＳ９２で算出された平行移動量（α，β）および回転角度γを、手ぶれ成分として確定し、この２回目検波処理を終了する。
そして、手ぶれベクトル検出部１５は、算出結果の平行移動量および回転角度をＣＰＵ１に供給する。ＣＰＵ１は、受け取った算出結果の平行移動量および回転角度から、１枚目のフレームに対する平行移動量および回転角度を算出し、それを回転・平行移動加算部１９に渡す。そして、回転・平行移動加算部１９では、受け取った平行移動量および回転角度を用いて、１枚目のフレームに対する重ね合わせの処理を実行する。
なお、この第２の例においても、手ぶれベクトル検出部１５で、１枚目のフレームに対する平行移動量および回転角度を算出してもよい。
また、この例においても、図４０のステップＳ７１〜ステップＳ７４までの処理、および図４１のステップＳ８１〜ステップＳ８４までの処理を手ぶれベクトル検出部１５で行い、それ以降の処理をＣＰＵ１がソフトウエアにより処理するように構成してもよい。
また、上述の例では、ブロック毎動きベクトルの信頼性の判定を行うグローバル動きベクトルは、合算動きベクトルを用いるようにしたが、多数決トップの動きベクトルを基準に用いても良い。
なお、１回目検波の場合には、上述した図３５に示したような第１の例の方法を用いて、グローバル動きベクトルとしての合算動きベクトルから第２の検波のサーチ範囲オフセットを定め、２回目検波は、図４１および図４２を用いて説明した第２の例の方法を用いるようにしても良い。
すなわち、１回目検波の場合、元々、各ブロック毎動きベクトルの精度がそれほど期待できないため、図５および図６を用いた平行移動量を求める手法を用いずに、ラベル「ＴＯＰ」および「ＮＥＸＴ＿ＴＯＰ」のターゲットブロックについてのブロックマッチングの結果から求めたグローバル動きベクトルにより、２回目の検波のサーチ範囲オフセットを定めるようにしても良い。
一般に、手ぶれに回転成分が含まれている場合には、より確度の高い手ぶれの平行移動成分の算出方法として、図５および図６を用いて説明した手法が有効であるが、この手法が活かせるのは、精度の高いブロック毎動きベクトルが得られる２回目以降の検波時であるからである。
なお、１回目検波の後、グローバル動きベクトルや平行移動量のみにより２回目検波のサーチオフセットを定めるのではなく、１回目検波の後、前のフレームのグローバル動きベクトルとの間での回転角度や、前述した図７および図８を用いて説明した回転角度の算出方法により回転角度までも算出しておき、２回目検波のサーチ範囲オフセットを、回転角度にも併せて、各ターゲットブロック毎に独立して設定するようにしても良い。このようにした場合には、よりサーチ範囲を限定することができて、精度や処理速度の向上が期待できる。
また、上述の説明では、１回目検波および２回目検波の両方において、合算動きベクトルに近似するブロック毎動きベクトルを有効なブロック毎動きベクトルとしたが、２回目検波では、１回目検波でマスクフラグが立てられたターゲットブロック以外のすべてのターゲットブロックについてのブロック毎動きベクトルを有効とするようにしてもよい。２回目検波では、各ブロック毎動きベクトルの精度が高く、手ぶれの回転成分まで検出可能であるため、これらは平均化された合算動きベクトルトルと類似するとは限らない場合があるからである。
上述した手ぶれベクトル検出処理は、静止画の場合には、動画に比較して処理時間に余裕がある代わりに精度が要求されるため、非常に有効である。より精度を高めるために、上述のような２回検波ではなく、３回以上の複数回の検波を行うようにしても良い。その場合には、最終回までは、サーチ範囲オフセットを伴うサーチ範囲の絞り込み、および高信頼度のブロック毎動きベクトルの探索を行い、最終回において、例えば図４１および図４２に示したようにして、平行移動量および回転角度の算出をする。
［ステップＳ３２、Ｓ５２、Ｓ７２、Ｓ８２の処理ルーチン例］
次に、図３６のステップＳ３２、図３８のステップＳ５２、図４０のステップＳ７２および図４１のステップＳ８２における各ターゲットブロックについての縮小ＳＡＤテーブル生成処理およびブロック毎動きベクトル算出の処理ルーチンの例を説明する。
＜第１の例＞
図４４および図４５は、ステップＳ３２、Ｓ５２、Ｓ７２、Ｓ８２における各ターゲットブロックについての縮小ＳＡＤテーブルおよびブロック毎動きベクトル算出処理ルーチンの第１の例を示すものである。
先ず、前述の図３２に示したようなサーチ範囲ＳＲ内の１つの参照ブロック位置に対応する参照ベクトル（ｖｘ、ｖｙ）を指定する（ステップＳ１０１）。前述したように、（ｖｘ，ｖｙ）は、ターゲットブロックのフレーム上の位置（サーチ範囲の中心位置である）を基準位置（０，０）としたときに、指定された参照ベクトルにより示される位置を示し、ｖｘは指定された参照ベクトルによる、基準位置からの水平方向のずれ量成分であり、また、ｖｙは指定された参照ベクトルによる、基準位置からの垂直方向成分のずれ量成分である。そして、前述の従来例で述べたのと同様に、ずれ量ｖｘ、ｖｙは、画素を単位とした値とされている。
ここで、サーチ範囲の中心位置を前記基準位置（０，０）とし、サーチ範囲を、水平方向には±Ｒｘ、垂直方向には±Ｒｙとしたとき、
−Ｒｘ≦ｖｘ≦＋Ｒｘ、−Ｒｙ≦ｖｙ≦＋Ｒｙ
とされるものである。
次に、ターゲットブロックＩｏ内の１つの画素の座標（ｘ，ｙ）を指定する（ステップＳ１０２）。次に、ターゲットブロックＩｏ内の指定された１つの座標（ｘ，ｙ）の画素値Ｉｏ（ｘ，ｙ）と、参照ブロックＩｉ内の対応する画素位置の画素値Ｉｉ（ｘ＋ｖｘ，ｙ＋ｖｙ）との差分絶対値αを、前述した（式１）に示したようにして算出する（ステップＳ１０３）。
そして、算出した差分絶対値αを、当該参照ブロックＩｉの参照ベクトル（ｖｘ，ｖｙ）が指し示すアドレス（テーブル要素）の、それまでのＳＡＤ値に加算し、その加算であるＳＡＤ値を、当該アドレスに書き戻すようにする（ステップＳ１０４）。すなわち、参照ベクトル（ｖｘ，ｖｙ）に対応するＳＡＤ値を、ＳＡＤ（ｖｘ，ｖｙ）と表したとき、これを、前述した（式２）、すなわち、
ＳＡＤ（ｖｘ，ｖｙ）＝Σα＝Σ｜Ｉｏ（ｘ，ｙ）−Ｉｉ（ｘ＋ｖｘ，ｙ＋ｖｙ）｜
・・・（式２）
として算出し、当該参照ベクトル（ｖｘ，ｖｙ）が指し示すアドレスに書き込むようにする。
次に、ターゲットブロックＩｏ内の全ての座標（ｘ，ｙ）の画素について、上記のステップＳ１０２〜ステップＳ１０４の演算を行なったか否かを判別し（ステップＳ１０５）、ターゲットブロックＩｏ内の全ての座標（ｘ，ｙ）の画素については、未だ、その演算は終了していないと判別したときには、ステップＳ１０２に戻り、ターゲットブロックＩｏ内の次の座標（ｘ，ｙ）の画素位置を指定し、このステップＳ１０２以降の処理を繰り返す。
以上のステップＳ１０１〜ステップＳ１０５までの処理は、図７３に示したフローチャートのステップＳ１〜ステップＳ５と全く同様である。
この実施形態では、ステップＳ１０５で、ターゲットブロックＩｏ内の全ての座標（ｘ，ｙ）の画素について、上記の演算を行なったと判別したときには、縮小倍率を１／ｎとして、参照ベクトル（ｖｘ，ｖｙ）を１／ｎに縮小した参照縮小ベクトル（ｖｘ／ｎ，ｖｙ／ｎ）を算出する（ステップＳ１０６）。
次いで、参照縮小ベクトル（ｖｘ／ｎ，ｖｙ／ｎ）の近傍の複数の参照ベクトル、この例では、上述したように４個の近傍参照ベクトルを検知する（ステップＳ１０７）。そして、検知した４個の近傍参照ベクトルのそれぞれに対応するテーブル要素として分散加算すべき値を、前述したように、参照縮小ベクトルと近傍参照ベクトルとがそれぞれ示す位置の関係に基いて、ステップＳ１０４で求めたＳＡＤ値から、線形加重分散値として求める（ステップＳ１０８）。そして、求めた４個の線形加重分散値を、近傍参照ベクトルのそれぞれに対応するＳＡＤテーブル要素値に加算する（ステップＳ１０９）。
このステップＳ１０９が終了すると、注目中の参照ブロックについてのＳＡＤ値の算出が終了したと判別して、サーチ範囲内の全ての参照ブロック、すなわち、全ての参照ベクトル（ｖｘ，ｖｙ）についての上記のステップＳ１０１からステップＳ１０９までの演算処理を完了したか否か判別する（図４５のステップＳ１１１）。
ステップＳ１１１で、未だ、上記の演算処理を完了していない参照ベクトル（ｖｘ，ｖｙ）があると判別すると、ステップＳ１０１に戻り、上記の演算処理を完了していない次の参照ベクトル（ｖｘ，ｖｙ）を設定して、このステップＳ１０１以降の処理を繰り返す。
そして、ステップＳ１１１で、上記の演算処理を完了していない参照ベクトル（ｖｘ，ｖｙ）はサーチ範囲内になくなったと判別すると、縮小ＳＡＤテーブルが完成したとして、当該完成した縮小ＳＡＤテーブルにおいて、最小値となっているＳＡＤ値を検出する（ステップＳ１１２）。
次に、当該最小値となっているテーブル要素アドレス（ｍｘ，ｍｙ）のＳＡＤ値（最小値）と、その近傍の複数個、この例では、上述したように１５個の近傍テーブル要素のＳＡＤ値を用いて２次曲面を生成し（ステップＳ１１３）、その２次曲面の最小値のＳＡＤ値が対応する小数精度の位置を示す最小値ベクトル（ｐｘ，ｐｙ）を算出する（ステップＳ１１４）。この最小値ベクトル（ｐｘ，ｐｙ）は、小数精度の最小テーブル要素アドレスに対応している。
そして、算出した小数精度の位置を示す最小値ベクトル（ｐｘ，ｐｙ）をｎ倍することにより、求めるべく動きベクトル（ｐｘ×ｎ，ｐｙ×ｎ）を算出する（ステップＳ１１５）。
以上で、１つのターゲットブロックに対する、この実施形態におけるブロックマッチングによる動きベクトルの検出処理は、終了となる。図３２に示したような、１フレームについて設定した複数個、この例では、１６個のターゲットブロックについての縮小ＳＡＤテーブルおよび動きベクトルを算出する場合、対象とするターゲットブロックを変える毎に、サーチ範囲および縮小倍率１／ｎを再設定して、上述の図４４および図４５に示した処理を、各分割領域について繰り返すものである。
なお、小数精度の位置を示す最小値ベクトル（ｐｘ，ｐｙ）を算出する方法としては、前述した水平方向および垂直方向の３次曲線を用いる方法を用いても良いことは言うまでもない。
なお、図４４および図４５のフローチャートにおいて、ステップＳ１０１〜ステップＳ１１１までの処理を手ぶれベクトル検出部１５で行い、それ以降の処理をＣＰＵ１がソフトウエアにより処理するように構成してもよい。
＜第２の例＞
上述の第１の例においては、１つの参照ブロック（参照ベクトル）について、そのＳＡＤ値を求めた後、そのＳＡＤ値から、参照縮小ベクトルの近傍の複数参照ベクトルについての分散加算値を求め、分散加算処理を行なうようにした。
これに対して、この第２の例においては、参照ブロック内の各画素の、ターゲットブロックの画素との差分を検出したときに、その差分値から、参照縮小ベクトルの近傍の複数参照ベクトルについての分散加算値（ＳＡＤ値ではなく差分値）を求め、求めた差分値を分散加算処理するようにする。この第２の例によれば、１つの参照ブロック内のすべての画素についての差分演算を終了したときには、縮小ＳＡＤテーブルが生成されることになる。
図４６および図４７は、この第２の例による動きベクトル検出処理のフローチャートを示すものである。
図４６のステップＳ１２１〜ステップＳ１２３までの処理は、図４４のステップＳ１０１〜ステップＳ１０３までの処理と全く同様であるので、ここでは、その詳細な説明は省略する。
この第２の例においては、ステップＳ１２３で、座標（ｘ，ｙ）の画素についての参照ブロックとターゲットブロック間での差分値αが算出すると、次には、縮小倍率を１／ｎとして、参照ベクトル（ｖｘ，ｖｙ）を１／ｎに縮小した参照縮小ベクトル（ｖｘ／ｎ，ｖｙ／ｎ）を算出する（ステップＳ１２４）。
次に、参照縮小ベクトル（ｖｘ／ｎ，ｖｙ／ｎ）の近傍の複数の参照ベクトル、この例では、上述したように４個の近傍参照ベクトルを検知する（ステップＳ１２５）。そして、検知した４個の近傍参照ベクトルのそれぞれに対応するテーブル要素として分散加算すべき差分値を、前述したように、ステップＳ１２３で求めた差分値αから、参照縮小ベクトルと近傍参照ベクトルとがそれぞれ示す位置の関係に基いて、線形加重分散値（差分値）として求める（ステップＳ１２６）。
そして、求めた４個の線形加重分散値を、近傍参照ベクトルのそれぞれに対応するテーブル要素値に加算する（ステップＳ１２７）。
このステップＳ１２７が終了したら、ターゲットブロックＩｏ内の全ての座標（ｘ，ｙ）の画素について、上記のステップＳ１２２〜ステップＳ１２７の演算を行なったか否かを判別し（ステップＳ１２８）、ターゲットブロックＩｏ内の全ての座標（ｘ，ｙ）の画素については、未だ、その演算は終了していないと判別したときには、ステップＳ１２２に戻り、ターゲットブロックＩｏ内の次の座標（ｘ，ｙ）の画素位置を指定し、このステップＳ１２２以降の処理を繰り返す。
ステップＳ１２８で、ターゲットブロックＩｏ内の全ての座標（ｘ，ｙ）の画素について、上記の演算を行なったと判別したときには、注目中の参照ブロックについてのＳＡＤ値の算出が終了したと判別して、サーチ範囲内の全ての参照ブロック、すなわち、全ての参照ベクトル（ｖｘ，ｖｙ）についての上記のステップＳ１２１からステップＳ１２８までの演算処理を完了したか否か判別する（図４７のステップＳ１３１）。
ステップＳ１３１で、未だ、上記の演算処理を完了していない参照ベクトル（ｖｘ，ｖｙ）があると判別すると、ステップＳ１２１に戻り、上記の演算処理を完了していない次の参照ベクトル（ｖｘ，ｖｙ）を設定して、このステップＳ１２１以降の処理を繰り返す。
そして、ステップＳ１２１で、上記の演算処理を完了していない参照ベクトル（ｖｘ，ｖｙ）はサーチ範囲内になくなったと判別すると、縮小ＳＡＤテーブルが完成したとして、当該完成した縮小ＳＡＤテーブルにおいて、最小値となっているＳＡＤ値を検出する（ステップＳ１３２）。
次に、当該最小値となっているテーブル要素アドレス（ｍｘ，ｍｙ）のＳＡＤ値（最小値）と、その近傍の複数個、この例では、上述したように１５個の近傍テーブル要素のＳＡＤ値を用いて２次曲面を生成し（ステップＳ１３３）、その２次曲面の最小値のＳＡＤ値が対応する小数精度の位置を示す最小値ベクトル（ｐｘ，ｐｙ）を算出する（ステップＳ１３４）。この最小値ベクトル（ｐｘ，ｐｙ）は、小数精度の最小テーブル要素アドレスに対応している。
そして、算出した小数精度の位置を示す最小値ベクトル（ｐｘ，ｐｙ）をｎ倍することにより、求めるべく動きベクトル（ｐｘ×ｎ，ｐｙ×ｎ）を算出する（ステップＳ１３５）。
以上で、１つのターゲットブロックに対する、この第２の例におけるブロックマッチングによる動きベクトルの検出処理は、終了となる。図３２に示したような、１フレームについて設定した複数個、この例では、１６個のターゲットブロックについての縮小ＳＡＤテーブルおよび動きベクトルを算出する場合、対象とするターゲットブロックを変える毎に、サーチ範囲および縮小倍率１／ｎを再設定して、上述の図４６および図４７に示した処理を、各分割領域について繰り返すものである。
なお、この第２の例においても、小数精度の位置を示す最小値ベクトル（ｐｘ，ｐｙ）を算出する方法としては、前述した水平方向および垂直方向の３次曲線を用いる方法を用いても良いことは言うまでもない。
なお、図４６および図４７のフローチャートにおいて、ステップＳ１２１〜ステップＳ１３１までの処理を手ぶれベクトル検出部１５で行い、それ以降の処理をＣＰＵ１がソフトウエアにより処理するように構成してもよい。
＜第３の例＞
図３１に示したように、この実施形態による動きベクトルの検出手法を用いた場合には、参照ベクトルの縮小倍率が１／６４の場合でも、全く異なる動きベクトルを出力するような破綻は見られないことから、実質的に１／４０９６に、ＳＡＤテーブルを削減可能である。
つまり、１／４０９６に削減した縮小ＳＡＤテーブルを用意しておき、縮小倍率１／６４で１回目の動きベクトルを算出する。次に、１回目で検出したその動きベクトルを中心にしてサーチ範囲を狭め、２回目の検出を、１回目よりも小さい例えば縮小倍率１／８で行なうようにすればよい。すなわち、１回目と２回目とで縮小倍率を変えて、１回目のベクトル誤差範囲内に収まるように、２回目の縮小倍率を設定すれば、かなりの高精度で、動きベクトル検出が可能である。
この第３の例の場合における動きベクトル検出処理を、図４８〜図７１のフローチャートを参照しながら説明する。
この図４８〜図７１に示す第３の例は、基本的な動き検出処理として上述した第１の例を用いている。したがって、図４８のステップＳ１４１〜ステップＳ１４９の処理ステップおよび図４９のステップＳ１５１〜ステップＳ１５５までの処理ステップは、図４４のステップＳ１０１〜ステップＳ１０９の処理ステップおよび図４５のステップＳ１１１〜ステップＳ１１５までの処理ステップと全く同様である。
この第３の例においては、図４９のステップＳ１５５で動きベクトルを算出したら、そこで処理を終了するのではなく、当該ステップＳ１５５で算出した動きベクトルは、１回目の動きベクトルとして、次のステップＳ１５６において、この１回目で算出した動きベクトルに基づき、同じ参照フレーム内で、サーチ範囲を絞り、また、参照ベクトルの縮小倍率を、１回目の縮小倍率１／ｎａよりも小さい縮小倍率１／ｎｂ（ここで、ｎａ＞ｎｂである）に変更する。
すなわち、図７２に示すように、１回目の処理で設定されたサーチ範囲ＳＲ＿１において、ターゲットブロックＴＢについての動きベクトルＢＬＫ＿Ｖｉが算出されると、その算出された動きベクトルＢＬＫ＿Ｖｉから、参照フレームと元フレームとの間で、相関のあるブロック範囲がおおよそ検出できる。そこで、２回目の処理のサーチ範囲ＳＲ＿２としては、図７２の下側に示すように、その相関のあるブロック範囲を中心とした、絞ったサーチ範囲を設定することができる。この場合、図７２に示すように、１回目のサーチ範囲ＳＲ＿１の中心位置ＰＯｉ＿１と、２回目のサーチ範囲ＳＲ＿２の中心位置ＰＯｉ＿２との間の位置ずれ（サーチ範囲オフセット）が、１回目で検出された動きベクトルＢＬＫ＿Ｖｉに相当している。
そして、この実施形態では、さらに、１回目よりも参照ベクトルに対する縮小倍率を小さくすることで、より誤差の少ない状態で、２回目の動きベクトルの算出が可能になると期待できる。
こうして、ステップＳ１５６で、絞ったサーチ範囲を設定し、新たな縮小倍率を設定したら、１回目と全く同様にして、２回目の動きベクトルの検出処理を、ステップＳ１５７〜ステップＳ１５８、図５０のステップＳ１６１〜ステップＳ１６８、さらに、図７１のステップＳ１７１〜ステップＳ１７４により実行する。これらのステップの処理は、図４４のステップＳ１０１〜ステップＳ１０９の処理ステップおよび図４５のステップＳ１１１〜ステップＳ１１５までの処理ステップと全く同様である。
こうして、最終的に、ステップＳ１７４において、２回目の動きベクトルとして、目的とするブロック毎動きベクトルが得られる。
以上の例は、ブロック毎動きベクトルの検出方法として、前述した第１の例を用い、それを２段階、繰り返した場合であるが、サーチ範囲をさらに絞り、かつ、必要に応じて縮小倍率を変更しながら、２段階以上、繰り返すようにしても、勿論良い。
また、ブロック毎動きベクトルの検出方法としては、前述した第１の例の代わりに、前述した第２の例を用いることができることは言うまでもない。また、小数精度の位置を示す最小値ベクトル（ｐｘ，ｐｙ）を算出する方法としては、前述した水平方向および垂直方向の３次曲線を用いる方法を用いても良いことは前述の例と同様である。
なお、図４８〜図７１のフローチャートにおいて、ステップＳ１４１〜ステップＳ１６８までの処理を手ぶれベクトル検出部１５で行い、それ以降の処理をＣＰＵ１がソフトウエアにより処理するように構成してもよい。
［回転・平行移動加算部１９での加算処理］
以上のようにして、手ぶれによる平行移動成分（フレームの平行移動量）と回転成分（フレームの回転角度）が、静止画のフレーム単位に求められると、回転・平行移動加算部１９で、加算（重ね合わせ）処理が行われる。
この実施形態では、前述したように、様々な被写体に対して、ユーザが意図する通りに、いわゆる絵作りを行えるようにするため、この例では、３通りの加算手法を予め撮像装置に用意しておき、ユーザがその３通りの加算手法の中から、意図する絵作りに応じた加算手法を、ユーザ操作入力部３を通じて選択操作をすることにより、選択することができるようにしている。
なお、前述もしたように、この実施形態では、説明の簡単のために、静止画の被写体のみの場合としているが、本質的には動画にも適用可能である。動画の場合、リアルタイム性のため加算枚数に上限はあるが、フレーム毎にこの実施形態の手法を用いることにより、ノイズ・リダクション効果の高い動画を生成するシステムへの応用も、全く同じ手段で実現することができる。
この実施形態では、加算（重ね合わせ）手法として、単純加算手法、平均加算手法、トーナメント加算手法の３つの手法を、選択的に実現できるように、図１の例の撮像装置の回転・平行移動加算部１９は構成されている。以下に、各手法の詳細を順に説明する。なお、この実施形態では、重ね合わせる画像フレームの枚数は、例えば８枚とされている。
（１）単純加算手法
この単純加算手法の場合における回転・平行移動加算部１９と、画像メモリ４との関係を考慮したブロック図を図７３に示す。この場合、回転・平行移動加算部１９には、回転・平行移動処理部１９１と、ゲインアンプ１９２および１９３と、加算部１９４とが設けられる。
前述したように、画像メモリ４のフレームメモリ４３は、加算後の画像フレームＦｍを格納するが、順次画像フレームが入力されて来る場合、１枚目の画像フレームＦ１が基準となるため、１枚目の画像フレームＦ１は、直接、このフレームメモリ４３に書き込まれる。一方、２枚目以降の画像フレームＦｊ（ｊ＝２，３，４・・・）は、画像メモリ４のフレームメモリ４２に格納された後、回転・平行移動加算部１９に供給される。なお、画像フレームの加算結果は平行移動量（α、β）および回転角度γに応じた分のずれ分を見込んだ画像フレームの大きさを想定する必要があるので、画像メモリ４の少なくともフレームメモリ４３は、１フレーム分よりも平行移動（α、β）および回転角度γに応じた分のずれ分を見込んだ分だけ広い領域分を備えるメモリとされている。
回転・平行移動処理部１９１は、ＣＰＵ１からの１枚目の画像フレームＦ１に対する平行移動量（α，β）および回転角度γの情報を受けて、２枚目以降の画像フレームＦｊを平行移動させ、また、回転させる。回転・平行移動処理部１９１は、１枚目の画像フレームＦ１に対する相対手ぶれを相殺するように、２枚目以降の画像フレームＦｊを、フレームメモリ４２から読み出すことで平行移動および回転処理をする。
すなわち、回転・平行移動処理部１９１は、フレームメモリ４３からの１枚目または加算結果後の画像フレームＦｍの画素と重ね合わせるべきフレームメモリ４２からの２枚目以降の画像フレームの画素アドレスを、ＣＰＵ１からの、画像フレームＦｊについての１枚目の画像フレームに対する平行移動量（α，β）および回転角度γの情報から計算し、フレームメモリ４２の、その計算結果のアドレスから画像フレームＦｊの画素データを読み出す。
なお、この実施形態では、フレームメモリ４２からの２枚目以降の画像フレームの加算処理時には、フレームメモリ４３からは、１枚目の画像フレームが書き込まれたアドレス位置の画素データが順次に読み出されるものとされる。そして、回転・平行移動処理部１９１は、フレームメモリ４３の読み出しアドレス位置に対応する、２枚目以降の画像フレームについてのフレームメモリ４２の画素アドレスを順次に計算するものである。
ゲインアンプ１９２は、回転・平行移動処理部１９１からの、平行移動され、また、回転された２枚目以降の画像フレームＦｊの画素データ（輝度信号成分および色差信号成分）のそれぞれを、ゲイン（乗算係数）ｗ１倍して、加算部１９４に供給する。また、ゲインアンプ１９３は、フレームメモリ４３からの１枚目あるいは加算後の画像フレームＦｍの画素データのそれぞれを、ゲイン（乗算係数）ｗ２倍して、加算部１９４に供給する。
加算部１９４は、加算後の画像フレームＦｍの画素データのそれぞれを、フレームメモリ４３の同じアドレスに書き戻す（上書きする）。
この実施形態では、読み出された２枚目以降の画像フレームＦｊ（加算画像という）の画素データに対するゲインアンプ１９２のゲインｗ１は、常に、ｗ１＝１とされる。
一方、フレームメモリ４３からの１枚目あるいは加算結果の画像フレームＦｍ（被加算画像という）の画素データに対するゲインアンプ１９３のゲインｗ２は、２枚目以降の画像フレームＦｊに、対応する加算すべき画素があるときと、対応する加算すべき画素が存在しないとき（２枚の画像フレームが平行移動および回転により重なっていない領域であるとき）とで、異なるものとされる。
すなわち、加算画像を回転および平行移動させる結果、被加算画像に加算すべき加算画像の画素が存在しない領域が必ず存在するが、ゲインｗ２は、加算すべき画素があるときには、ｗ２＝１とされる。また、加算すべき画素が無いときには、重ね合わせられる加算画像フレームＦｊが何枚目であるかにより異なる値となり、ｊ枚目の画像フレームについてのゲインｗ２は、ｗ２＝ｊ／（ｊ−１）とされる。
この実施形態では、このようにすることにより、加算結果の画像において、加算すべき画素が存在している領域と存在していない領域との境界部分における違和感を削減するようにしている。
このようなゲイン制御のため、この実施形態では、回転・平行移動処理部１９１では、画像フレームＦｍの画素と重ね合わせるべきフレームメモリ４２からの２枚目以降の画像フレームの画素アドレスが、フレームメモリ４２にあるか否か、つまり、加算すべき画素があるか無いか、を示す情報ＥＸを、ＣＰＵ１に供給するようにする。ＣＰＵ１は、これを受けて、ゲインアンプ１９３のゲインｗ２を制御するようにする。
なお、ＣＰＵ１がゲインアンプ１９３のゲインｗ２を制御するのではなく、回転・平行移動処理部１９１が、画像フレームＦｍの画素と重ね合わせるべきフレームメモリ４２からの２枚目以降の画像フレームの画素アドレスがフレームメモリ４２にあるか否かに応じたゲインｗ２をゲインアンプ１９３に供給するように構成しても良い。
この単純加算手法の場合における各ｊ枚目の画像フレームについての加算の様子を、図７４に示す。図７４には、加算部１９４とフレームメモリ４３とが繰り返し使用されて、複数枚、図７４の例では８枚の画像フレームが重ね合わされる様子を示している。図７４において、丸数字は、何枚目の画像フレームであるかを示しており、また、被加算画像のゲイン（乗算係数）ｗ２のうち、括弧で括った値は、加算画素が存在しない場合の値である。
図５５に、この実施形態の撮像装置における、この単純加算手法を回転・平行移動加算部１９で実行する場合の処理手順を説明するためのフローチャートを示す。なお、この図５５のフローチャートにおける各ステップは、主としてＣＰＵ１の制御に基づいてなされるものである。
まず、ＣＰＵ１は、１枚目の画像フレームをフレームメモリ４３に保存するように制御する（ステップＳ１８１）。次に、ＣＰＵ１は、処理対象の画像フレームの枚数を示す変数ｊを、２枚目を示すｊ＝２にする（ステップＳ１８２）。
そして、ＣＰＵ１は、ｊ枚目の画像フレームをフレームメモリ４２に保存するように制御する（ステップＳ１８３）。次に、前述したように、ＣＰＵ１の制御指示の下、手ぶれベクトル検出部１５は、１枚目の画像フレームに対するｊ枚目の画像フレームのグローバル動きベクトルあるいは平行移動量と、回転角度とを算出し、算出した平行移動量および回転角度をＣＰＵ１に送る（ステップＳ１８４）。
次に、回転・平行移動加算部１９は、ＣＰＵ１からの平行移動量と、回転角度とを受けて、ｊ枚目の画像フレームを、回転および平行移動させながら、フレームメモリ４２から読み出す。また、同時に、フレームメモリ４３からは１枚目あるいは加算結果の画像フレームを読み出す（ステップＳ１８５）。なお、フレーム４２から読み出された画像を、ここでは加算画像と称し、また、フレーム４３から読み出された画像を被加算画像と称することとする。
次に、回転・平行移動加算部１９は、加算画像の画素データと被加算画像の画素データとを、ゲインｗ１およびｗ２を両方とも「１」として加算する。ただし、被加算画像のうち加算画像と重ならない領域、すなわち、被加算画像の画素データに対して加算する加算画像の画素データが存在しないときには、加算画像の画素データに対するゲインｗ１は、ｗ１＝０、被加算画像の画素データに対するゲインｗ２は、ｗ２＝ｊ／（ｊ−１）とする（ステップＳ１８６）。
そして、回転・平行移動加算部１９は、加算結果の画像データを、フレームメモリ４３に書き戻す（ステップＳ１８７）。
次に、ＣＰＵ１は、所定の枚数の画像フレームを重ね合わせたか否か判別し（ステップＳ１８８）、所定の枚数の重ね合わせを終了していないと判別したときには、処理対象の画像フレームの枚数を示す変数ｊをインクリメントして、ｊ＝ｊ＋１にする（ステップＳ１８９）。そして、ステップＳ１８３に戻り、このステップＳ１８３以降の処理を繰り返す。
また、ステップＳ１８８で、所定の枚数の重ね合わせを終了したと判別したときには、ＣＰＵ１は、この図５５の処理ルーチンを終了する。
この単純加算手法は、加算画素が存在しない領域を除けば、被加算画像と加算画像とを、輝度信号および色差信号の区別無く、常に両者のゲインを「１」として加算してゆくものであり、加算画像は徐々に明るくなってゆく。
このため、この単純加算手法を用いる場合には、連写を繰り返しながら、途中の加算結果（被加算画像）をモニター表示し、画像が意図した明るさに達した時点で、ユーザが連写を止める、といった撮影モードを実現することができる。
本来ならば長時間露光が必要な低照度の被写体を、カメラのＩＳＯ感度を抑えながら連写するため、ユーザは、加算画像が徐々に明るくなって行く様子を確認でき、これは長時間露光のイメージと合っている。途中加算画像と同時に、そのヒストグラムをモニターできるようにすれば、なお好適である。また、当然、撮像装置側で自動的に加算枚数を決定しても良い。
（２）平均加算手法
この平均加算手法は、上述した単純加算手法と類似しているが、加算画像および被加算画像についてのゲインｗ１およびｗ２の値が、単純加算手法とは異なる。すなわち、この平均加算手法においては、１枚目画像に対する２枚目画像の加算においては、ゲインｗ１およびｗ２の値は、ともに１／２としてゲインを掛けて加算するが、ｊ枚目の加算時には、加算画像のゲインｗ１は、ｗ１＝１／ｊ、非加算画像のゲインｗ２は、ｗ２＝（ｊ−１）／ｊとして加算する。
つまり、加算結果である被加算画像の明るさを、加算枚数に依らず一定にしつつ、ｊ枚の加算画像のそれぞれの重みを等しくするようにする。ただし、平行移動及び回転により、被加算画像の画素と加算するべき加算画像の画素が存在しない場合は、被加算画像の画素データに対するゲインｗ２を１とすることで、加算結果の明るさを、フレーム全体に渡って維持するようにする。
この平均加算手法の場合における回転・平行移動加算部１９と、画像メモリ４との関係を考慮したブロック図を図５６に示す。この場合、回転・平行移動加算部１９には、回転・平行移動処理部１９１と、ゲインアンプ１９２および１９３と、加算部１９４とが設けられるのは、図７３に示した単純加算手法の場合と同じであるが、ゲインアンプ１９３および１９４のゲインｗ１およびゲインｗ２を、加算する画像フレームが何枚目であるかにより異なるので、これらゲインｗ１およびゲインｗ２の値が、ＣＰＵ１から供給されるようにされる点が、単純加算手法の場合と異なる。
この平均加算手法の場合における各ｊ枚目の画像フレームについての加算の様子を、図５７に示す。図５７には、加算部１９４とフレームメモリ４３とが繰り返し使用されて、複数枚、図５７の例では８枚の画像フレームが重ね合わされる様子を示している。図５７において、丸数字は、何枚目の画像フレームであるかを示しており、また、被加算画像のゲイン（乗算係数）ｗ２のうち、括弧で括った値は、加算画素が存在しない場合の値である。
図５７に示すように、ｊ枚目の加算画像のゲインｗ１は、ｗ１＝１／ｊとされ、また、ｊ枚目の加算における非加算画像のゲインｗ２は、ｗ２＝（ｊ−１）／ｊとされる。
図５８に、この実施形態の撮像装置における、この平均加算手法を回転・平行移動加算部１９で実行する場合の処理手順を説明するためのフローチャートを示す。なお、この図５８のフローチャートにおける各ステップは、主としてＣＰＵ１の制御に基づいてなされるものである。
まず、ＣＰＵ１は、１枚目の画像フレームをフレームメモリ４３に保存するように制御する（ステップＳ１８１）。次に、ＣＰＵ１は、処理対象の画像フレームの枚数を示す変数ｊを、２枚目を示すｊ＝２にする（ステップＳ１９２）。
そして、ＣＰＵ１は、ｊ枚目の画像フレームをフレームメモリ４２に保存するように制御する（ステップＳ１９３）。次に、前述したように、ＣＰＵ１の制御指示の下、手ぶれベクトル検出部１５は、１枚目の画像フレームに対するｊ枚目の画像フレームのグローバル動きベクトルあるいは平行移動量と、回転角度とを算出し、算出した平行移動量および回転角度をＣＰＵ１に送る（ステップＳ１９４）。
次に、回転・平行移動加算部１９は、ＣＰＵ１からの平行移動量と、回転角度とを受けて、ｊ枚目の画像フレームを、回転および平行移動させながら、フレームメモリ４２から読み出す。また、同時に、フレームメモリ４３からは１枚目あるいは加算結果の画像フレームを読み出す（ステップＳ１９５）。なお、フレーム４２から読み出された画像を、ここでは加算画像と称し、また、フレーム４３から読み出された画像を被加算画像と称することとする。
次に、回転・平行移動加算部１９は、加算画像の画素データに対するゲインｗ１を、ｗ１＝１／ｊとし、被加算画像の画素データに対するゲインｗ２を、（ｊ−１）／ｊとして、加算を実行する。ただし、被加算画像のうち加算画像と重ならない領域、すなわち、被加算画像の画素データに対して加算する加算画像の画素データが存在しないときには、加算画像の画素データに対するゲインｗ１は、ｗ１＝０、被加算画像の画素データに対するゲインｗ２は、ｗ２＝１とする（ステップＳ１９６）。
そして、回転・平行移動加算部１９は、加算結果の画像データを、フレームメモリ４３に書き戻す（ステップＳ１９７）。
次に、ＣＰＵ１は、所定の枚数の画像フレームを重ね合わせたか否か判別し（ステップＳ１９８）、所定の枚数の重ね合わせを終了していないと判別したときには、処理対象の画像フレームの枚数を示す変数ｊをインクリメントして、ｊ＝ｊ＋１にする（ステップＳ１９９）。そして、ステップＳ１９３に戻り、このステップＳ１９３以降の処理を繰り返す。
また、ステップＳ１９８で、所定の枚数の重ね合わせを終了したと判別したときには、ＣＰＵ１は、この図５８の処理ルーチンを終了する。
この平均加算手法を用いるアプリケーションとして、この実施形態の撮像装置では、動被写体が消えて行くギミック（特殊効果）の機能を備えるものである。すなわち、この平均加算手法によれば、１枚目の加算時から画像の明るさは変わらないものの、連写する毎に、画像フレーム内の動いている部分（動被写体）が、少しずつボケて消えて行くような、今までに無い撮影モードが実現できるものである。なお、画像フレームの加算を繰り返す毎に、その加算効果で、画像フレーム内のノイズも無くなって行くが、これは副次的な効果となる。
（３）トーナメント加算手法
単純加算手法や平均加算手法の場合、常に１枚目を基準画像とし、１枚目に対して、２枚目以降の画像の位置合わせをして加算して行く。これに対して、トーナメント加算手法の場合、いずれの画像も等しく扱う。そのため、基準画像を１枚目の画像に限らず、何枚目の画像に設定しても構わない。その代わりに、加算対象の２枚の画像を、いずれも平行移動並びに回転させる必要がある。
このトーナメント加算手法の場合における回転・平行移動加算部１９と、画像メモリ４との関係を考慮したブロック図を図５９に示す。この場合、回転・平行移動加算部１９には、２個の回転・平行移動処理部１９５および１９６と、ゲインアンプ１９７および１９８と、加算部１９９とが設けられる。
画像メモリ４には、前述したように、手ぶれベクトル検出部１５での手ぶれベクトル検出処理のために、少なくとも２個のフレームメモリ４１，４２が設けられると共に、画像加算結果の画像フレームが格納されるフレームメモリ４３が設けられるが、このトーナメント加算手法のためには、さらに、画像メモリ４３には、加算する枚数分の画像フレームを格納することができるように構成されている。
すなわち、このトーナメント加算手法が選択されたときには、撮像装置は、加算する枚数分だけ連写し、そのすべての画像フレームを画像フレーム４３に蓄積した上で、基準画像をいずれかに設定し、加算処理を開始する。
以下に説明する例では、８枚の画像フレームを用いてトーナメント加算するようにする。図５９において、画像メモリ４３内において、丸で囲んで示されるＦ１〜Ｆ８は、連写されて蓄積された８枚の画像フレームを示している。
手ぶれベクトル検出部１５により、８枚の画像フレームについての各ブロック毎動きベクトル、グローバル動きベクトルなどは、加算処理が開始される時点では、すべて算出済みであるとする。
しかし、上述したように、手ぶれベクトル検出部１５では、直前のフレームとの相対動きベクトルか、１枚目を基準とした動きベクトルしか検出できないため、累積誤差を許すか、設定した基準画像を使って検波し直す必要がある。
図６０は、このトーナメント加算手法の概要を示すものである。図６０において、丸数字は、８枚の画像フレームＦ１〜Ｆ８に対応しており、この例では、まず、第１段階の加算として、画像フレームＦ１とＦ２、画像フレームＦ３とＦ４、画像フレームＦ５とＦ６、画像フレームＦ７とＦ８、の加算を行う。
この第１段階の加算においては、それぞれ加算を行う２枚の画像フレームについて、設定された基準画像に対する相対手ぶれ分だけ、それぞれ回転・平行移動処理部１９５，１９６において、平行移動および回転する処理がなされる。
この第１段階の加算が終了したら、当該第１段階での加算結果の画像について、第２段階の加算を行う。この第２段階の加算は、図６０の例では、画像フレームＦ１とＦ２の加算結果と画像フレームＦ３とＦ４の加算結果との加算と、画像フレームＦ５とＦ６の加算結果と画像フレームＦ７とＦ８の加算結果との加算を行う。この第２段階の加算においては、加算しようとする画像フレームのそれぞれは、基準画像に合致するようにされているので、回転・平行移動処理部１９５，１９６においては、平行移動および回転する処理は不要である。
そして、第２段階の加算が終了したら、当該第２段階での加算結果の画像について、第３段階の加算を行う。この第３段階の加算は、図６０の例では、画像フレームＦ１とＦ２とＦ３とＦ４の加算結果と、画像フレームＦ５とＦ６とＦ７とＦ８の加算結果との加算を行う。この第３段階の加算においては、加算しようとする画像フレームのそれぞれは、基準画像に合致するようにされているので、回転・平行移動処理部１９５，１９６においては、平行移動および回転する処理は不要である。
図５９に戻った説明をするに、加算処理が開始されると、まず、ＣＰＵ１は第１段階の加算をすべき２枚の画像フレームを設定し、その設定した画像フレームについての、例えば基準画像に対する平行移動量および回転角度を、回転・平行移動処理部１９５および１９６に供給する。
回転・平行移動処理部１９５および１９６のそれぞれは、ＣＰＵ１から受け取った画像フレームの平行移動量および回転角度を用いて、画像メモリ４から、対応する２枚の画像フレームの画像データを、基準画像に対する相対手ぶれを相殺するように、平行移動および回転を伴って読み出す。
そして、回転・平行移動処理部１９５および１９６からの２枚の画像フレームは、それぞれゲインアンプ１９７および１９８により、それぞれゲインｗ３倍およびゲインｗ４倍された後、加算部１９９において加算される。そして、その加算後の画像データは、画像メモリ４のバッファメモリに書き込まれる。
ＣＰＵ１は、図６０に示した第１段階の加算をすべき他の２枚の画像フレームについて、上述と同様の処理をする。したがって、これに対応して、回転・平行移動処理部１９５および１９６が上述と同様にして、指定された他の２枚の画像フレームについての平行移動および回転をしながらの加算を行い、その加算結果を画像メモリ４に格納するようにする。
そして、第１段階の加算が終了すると、ＣＰＵ１は、第２段階の加算を行うべく、画像メモリ４から読み出すべき画像フレームを、第１段階の加算結果の画像フレームに設定し、平行移動量および回転角度はゼロとして、回転・平行移動処理部１９５および１９６に読み出し指示する。
回転・平行移動処理部１９５および１９６は、このＣＰＵ１からの情報および指示に応じて、第１段階の加算結果の画像フレームの画像データを読み出して、図６０に示した第２段階の加算処理をする。
そして、第２段階の加算が終了すると、ＣＰＵ１は、第３段階の加算を行うべく、画像メモリ４から読み出すべき画像フレームを、第２段階の加算結果の画像フレームに設定し、平行移動量および回転角度はゼロとして、回転・平行移動処理部１９５および１９６に読み出し指示する。
回転・平行移動処理部１９５および１９６は、このＣＰＵ１からの情報および指示に応じて、第２段階の加算結果の画像フレームの画像データを読み出して、図６０に示した第３段階の加算処理をする。以上で、この例のトーナメント加算を終了する。
このトーナメント加算手法の場合における８枚の画像フレームについての加算におけるゲインアンプ１９７，１９８におけるゲイン（乗算係数）ｗ３、ｗ４、およびその加算処理の流れの様子を、図６１に示す。
図６１に示した乗算係数ｗ３、ｗ４は、前述した平均加算手法に基づいた例であり、２枚の画像フレームで重なり合う領域では、ｗ３＝ｗ４＝１／２とされ、また、重なり合わない領域では、ｗ３＝１、ｗ４＝１とされる。
なお、乗算係数ｗ３，ｗ４は、平均加算手法に基づいた値に限らず、単純加算手法に基づいて値を用いるようにしても良い。
上述の説明においては省略したが、この実施形態のトーナメント加算手法においては、第２階層以降の加算において、第１階層の加算をする２枚の画像について基準画像に対して回転および平行移動をするために、基準画像の領域においては、２枚共に、対応する画素が存在しない画素位置を判定できる仕組みを設けるようにしている。
すなわち、第１階層の加算時に、加算結果の輝度成分Ｙの画素値が「０」のものを、「１」に値を置き換える。そして、その代わりに、平行移動と回転の結果、第１段階の加算を行う２枚の画像共に、対応する画素が存在しない画素位置の加算結果の輝度成分Ｙの画素値を「０」とする。
そして、第２階層以降の加算では、２枚共に輝度成分Ｙの画素値が「０」の場合、加算後の輝度成分Ｙも「０」にする。全ての画像を加算したとき、必ず全ての画素には有効画素（基準画像の画素）が含まれるため、輝度値が「０」の画素は、基準画像の画素値に置き換るようにする。
このように、輝度成分Ｙの画素値「０」を無効画素フラグとすることで、画像データのフォーマットを維持したまま、容量を増加させずに、重ね合わせ際の有効画素が存在しない画素の判定フラグを設けることができる。
勿論、上述のような重ね合わせ際の有効画素が存在しない画素位置に対して、無効画素フラグを１ビット別途設けても構わないし、また、輝度成分Ｙ、色差成分Ｃｂ／Ｃｒに依らず、どの画素値をフラグとして用いても構わない。しかし、コストや画質への影響を鑑みると、上述したこの実施形態の無効画素フラグの手法が最適であると考えられる。
図６２および図６３に、この実施形態の撮像装置における、上述したトーナメント加算手法を回転・平行移動加算部１９で実行する場合の処理手順を説明するためのフローチャートを示す。なお、この図６２および図６３のフローチャートにおける各ステップは、主としてＣＰＵ１の制御に基づいてなされるものである。
まず、ＣＰＵ１は、１〜８枚目までの画像フレームの画像データを、順次に画像メモリ４のフレームメモリに書き込んで保存する（ステップＳ２０１）。次に、ＣＰＵ１は、１〜８枚目までの画像の中で、基準画像を１枚設定する（ステップＳ２０２）。そして、ＣＰＵ１は、１〜８枚目までの画像フレームについて、基準画像の画像フレームに対する平行移動量および回転角度の算出をしておく（ステップＳ２０３）。
次に、ＣＰＵ１は、第１段階の加算処理を開始し、１枚目と２枚目の画像フレームについての基準画像フレームに対する平行移動量および回転角度の情報の回転・平行移動加算部１９を供給する。回転・平行移動加算部１９は、１枚目と２枚目の画像フレームの画像データを、ＣＰＵ１からの、その２枚の画像フレームについての平行移動量および回転角度の情報を元にして、基準画像の画像フレームに対する回転角度および平行移動量を相殺するように、画像メモリ４の対応するフレームメモリから同時に読み出す（ステップＳ２０４）。
そして、回転・平行移動加算部１９は、ＣＰＵ１の制御の下、１枚目と２枚目の画像フレームの画像データを読み出しながら、ゲインｗ３＝１／２、ゲインｗ４＝１／２として加算処理を実行し、その加算結果を画像メモリ４のフレームメモリに書き込む（ステップＳ２０５）。
そして、ステップＳ２０５では、基準画像の画像フレーム領域内の画素位置（加算後の画素データを書き込む画素位置）を順次に設定し、その設定した画素位置のそれぞれについて、１枚目と２枚目の画像フレームの画像データ中から、対応する画素を検索して読み出し、その画素同士を加算するようにするが、１枚目と２枚目の画像フレームのうちで一方の画素が存在しない場合には、当該画素が存在しない方の画像フレームの画像データのゲインは「０」とし、画素が存在する方の画像フレームの画像データのゲインは「１」とする。
さらに、ステップＳ２０５では、１枚目と２枚目の画像フレームに、対応する画素が共に存在しない場合には、加算結果の輝度成分Ｙの画素値は「０」とする。また、対応する画素が存在している場合の画素データの加算結果が「０」となっている場合には、その画素値は「１」に変更しておく。
次に、ＣＰＵ１は、３枚目と４枚目、５枚目と６枚目、７枚目と８枚目についても、ステップＳ２０４およびステップＳ２０５の処理を行うように、回転・平行移動加算部１９に対して指示を行い、回転・平行移動加算部１９がその処理を実行する（図６３のステップＳ２１１）。
次に、ＣＰＵ１は、第２段階の加算処理を開始するように、回転・平行移動加算処理部１９に指示する。回転・平行移動加算処理部１９は、ＣＰＵ１からの指示に応じて、１枚目と２枚目の画像の加算結果の画像データと、３枚目と４枚目の加算結果の画像データとを、画像メモリ４から、平行移動および回転を行わずに読み出す。そして、ゲインｗ３およびｗ４を、共に１／２として、前記２つの画像データの加算を行う（ステップＳ２１２）。
そして、このステップＳ２１２においては、加算しようとする１枚目と２枚目の画像の加算結果の画素データの輝度成分Ｙ、または、３枚目と４枚目の加算結果の画素データの輝度成分Ｙの一方が「０」である場合には、加算使用とする２枚の画像のうち、輝度成分Ｙが「０」である画像の画素データのゲインは「０」とし、他方の画像の画素データのゲインは「１」とする。
また、さらに、ステップＳ２１２において、加算しようとする２つの画像の画素データの輝度成分Ｙが共に「０」の場合には、その加算結果の輝度成分Ｙの値も「０」とする。
次に、ＣＰＵ１は、５枚目と６枚目の画像の加算結果の画像データと、７枚目と８枚目の加算結果の画像データとについても、上述のステップＳ２１２の処理を行うように、回転・平行移動加算部１９に指示し、回転・平行移動加算部１９はその処理を実行する（ステップＳ２１３）。
次に、ＣＰＵ１は、第３段階の加算、つまり、１〜４枚目の画像フレームの加算結果と、５〜８枚目の画像フレームの加算結果とについて、上述したステップＳ２１２の処理を行うように、回転・平行移動加算部１９に指示し、回転・平行移動加算部１９はその処理を実行する（ステップＳ２１４）。
以上で、この実施形態のトーナメント加算手法による複数枚の画像フレームの加算処理を終了する。
以上説明したこの実施形態のトーナメント加算手法におけるポイントは２つあり、１つは、トーナメントの第１段階（初段）では、基準画像以外は、２枚の加算画像のいずれも、平行移動と回転を伴いながら加算するのに対し、第２段階以降は、平行移動も回転も行わずに加算することである。第１段階の加算が、図６２のＡの処理に相当し、第段階以降の加算が、図６３のＢの処理に相当する。
この実施形態のトーナメント加算手法における、もう１つのポイントは、第２段階以降の加算において、第１段階の２枚の画像が、両画像共に画素が存在しない画素位置を、判定できる仕組みを設けた点である。
なお、上述の例では、８枚の画像フレームをトーナメント加算する例を示したが、この実施形態のトーナメント加算手法では、予め連写した画像を画像メモリ４に溜めておくことが重要であり、枚数は重要ではない。ただし、トーナメント加算手法の性質を考慮すると、２のベキ乗で表される加算枚数が好ましい。
この実施形態のトーナメント加算手法のメリットは、２つある。１つは、先述したように、加算しようする全ての画像を撮影しておいてから、任意の基準画像を選択できることである。連写しながら手ぶれベクトルを求めておき、連写中の手ぶれ軌跡の中央に位置するフレームを、基準画像として選択すれば、加算結果画像の有効領域を最も広く取れるというメリットがある。
もう１つのメリットは、各フレームの画像を完全に等価に扱うことができる点である。例えば、既説した平均加算手法の場合も、加算結果における各フレームの比重が等しくなるように、加算係数をフレーム枚数に応じて変化させているが、どうしてもデジタルの丸め誤差が発生する。その結果として、各フレームの比重は完全に同じにはならない。それに対し、この実施形態のトーナメント加算手法の場合は、完全に同じ係数で各フレームを加算するため、丸め誤差の影響に偏りがないのである。
ただし、トーナメント加算手法においては、予め全ての画像をメモリに格納しておく方式のため、大量にメモリを必要とすることと、そのため、連写枚数に上限があり、先述した単純加算手法や平均加算手法のような、無限に加算し続けることはできないという問題がある。
しかし、例えば、ハードディスクのような、ビット単価の極めて安い外部ストレージに、連写した画像を一時保存するアーキテクチャを採れば、上記の問題は回避可能である。
ところで近年、手ぶれだけでなく、動被写体ぶれも防ぐための手法として、手ぶれも動被写体ぶれも発生しにくい、１／６０秒程度の短い露光時間で高感度に撮影する、高感度撮影が市場の耳目を集めている。
この場合に問題となるのが、Ｓ／Ｎを抑えながら、どこまでのＩＳＯ感度に対応できるか、である。通常、感度を向上させると、同時に画像のノイズも目立ってしまうため、デジタルカメラ各社は、様々な手法を用いてノイズ・リダクションを行い、一定水準のＳ／Ｎを維持できる、最高ＩＳＯ感度の数値の大きさを、性能として謳っている。
この実施形態で主題としている静止画の手ぶれ補正も、目的の１つはノイズ・リダクションであり、複数枚の画像の加算を行う際に、動被写体部分を検出し、加算を行わないか、その部分だけ別途サーチし、追跡加算を行うことで、動被写体ぶれにも対応した、見かけ上の高感度なノイズ・リダクションを実現することは可能である。
ランダムノイズを対象とした場合、Ｎ枚の画像を加算すれば、統計的にそのノイズ成分はNの平方根の比率に削減される。つまり、ＩＳＯ３２００相当の実力値を持つデジタルカメラにおいて、動被写体に対応した１６枚加算を行えば、そのセットのＩＳＯ感度を、４倍のＩＳＯ１２８００として謳うことができるのである。
この場合に求められる加算の方式としては、固定枚数の加算でも、処理時間を多少要しても構わない代わりに、できるだけ高画質なものである。この要件を満たすものが、この実施形態のトーナメント加算手法であり、逆に言うと、トーナメント加算手法に好適なアプリケーションとして、高感度撮影時のＩＳＯ感度向上が挙げられる。
上述したように、この実施形態の撮像装置は、単純加算手法、平均加算手法、トーナメント加算手法の３つの加算手法を具備している。上記の３つの加算手法のそれぞれには、それぞれに最適なデジタルカメラのアプリケーションがあることは上述した。
この実施形態の撮像装置においては、これら３つの加算方式のうちのいずれを使用するかを、ユーザ操作入力部３を通じて、ユーザが選択することができるので、ユーザは、自分が欲する加算結果に応じて、加算手法を選択することができるというメリットがある。
なお、ユーザが直接的に３種の加算手法のいずれかを選択するのではなく、撮像装置が、上述した３種の加算手法に最適なアプリケーションを選択可能な機能として備えるように構成し、ユーザがいずれかアプリケーションを選択したときに、ＣＰＵ１が、各アプリケーションに最適な加算手法を自動的に選択するように構成することもできる。
そして、１つのデジタルカメラで、手持ち長時間露光撮影、動被写体が徐々に消えて行くギミック、実力値以上の高感度撮影、の３つの新しいアプリケーションが同時に実装できるというメリットもある。
［画像処理装置の第２の実施形態］
上述した画像処理装置の第１の実施形態としての撮像装置における手ぶれベクトル検出部１５においては、図１に示したように、画像メモリ部４は、２枚の画像、つまり元フレームの画像と、参照フレームの画像とが、両方共、フレームメモリに格納されていることを前提にしていた。このため、動きベクトルの検出タイミングは、１フレーム分遅延されることとなる。
これに対して、この第２の実施形態では、撮像素子１１からの垂れ流し画像データを参照フレームとする構成として、ラスタスキャンのストリームデータに対して、リアルタイムでＳＡＤ値を演算することができるようにしている。
図６４に、この第２の実施形態の場合における撮像装置の構成例のブロック図を示す。この図６４から分かるように、撮像信号処理系１０の構成ブロックおよびその他の構成ブロックは、図１に示した第１の実施形態と全く同様であるが、この第２の実施形態においては、画像メモリ部４は２個のフレームメモリ４４および４５からなる。フレームメモリ４４は、動きベクトル検出処理用であり、フレームメモリ４５は、フレーム画像の重ね合わせ用である。
なお、実際的には、書き込みと読み出しとが同時にできないフレームメモリを用いる場合、フレームメモリ４４は、周知のように、２枚のフレームメモリを、書き込みと、読み出しで１フレーム毎に交互に切り替えて用いるものである。
手ぶれベクトル検出部１５は、後述するように、データ変換部１４からの入力画素データを、参照フレームの画素データとすると共に、フレームメモリ４３の格納データを元フレームのデータとして、縮小ＳＡＤテーブル生成処理、ブロック毎動きベクトルの検出処理、合算ＳＡＤテーブル生成処理およびグローバル動きベクトル（手ぶれベクトル）検出処理を行なう。そして、この第２の実施形態においては、手ぶれベクトル検出部１５では、前述と同様に、グローバル動きベクトル（手ぶれの平行移動成分）や平行移動量（α、β）に加えて、参照フレームの元フレームに対する回転角度γを検出する。
なお、この例の場合、手ぶれベクトル検出部１５では、常に１フレーム前の画像との相対手ぶれベクトルを求めることになるので、１枚目の基準画像（図３の画像フレーム１２０参照）との相対手ぶれを算出するために、１枚目からそれまでの手ぶれ成分を積分しておくものである。
そして、回転・平行移動加算部１９は、上述した第１の実施形態と全く同様にして、この検出された手ぶれの平行移動成分と回転角度に従って、1フレーム遅延の後、フレームメモリ４４に格納されている画像フレームを、切り出しと同時に回転させながら、フレームメモリ４５の画像に加算もしくは平均化して行く。この過程を繰り返すことにより、フレームメモリ４５には、手ぶれの無い、より高Ｓ／Ｎで、より高解像度の静止画像の画像フレーム１２０が生成される（図３参照）。
そして、解像度変換部１６は、フレームメモリ４５のフレーム画像から、ＣＰＵ１からの制御指示に応じた所定の解像度および所定の画像サイズを切り出して、前述したように、記録撮像画像データとしてコーデック部１７に供給すると共に、モニター画像データとしてＮＴＳＣエンコーダ１８に供給する。
この第２の実施形態では、元フレームがフレームメモリ４４に格納されており、参照フレームは、データ変換部１４からストリームで入力されて来るものとされる。手ぶれベクトル検出部１５は、第１の実施形態では、２個のフレームメモリ４１，４２に格納された２枚の画像データを用いて、参照ブロックについてのＳＡＤ値を求める処理をするようにした。これに対して、この第２の実施形態では、図６４に示すように、データ変換部１４からのストリーム画像データを参照フレームの画像データとすると共に、フレームメモリ４４に格納されている画像データを元フレームの画像データとして、参照ブロックについてのＳＡＤ値を求めるようにする。
上述したように、この第２の実施形態では、データ変換部１４からのストリーム画像データを参照フレームの画像データとする。このため、ある入力画素に対して、この画素を要素とする参照ブロックが、参照フレーム上に同時に複数存在することになる。図６５は、そのことを説明するための図である。
すなわち、参照フレーム１０２上のサーチ範囲１０５における入力画素Ｄｉｎは、例えば、参照ベクトル１０７１が対応する参照ブロック１０６１の左側に位置する画素であると共に、参照ベクトル１０７２が対応する参照ブロック１０６２の右上に位置する画素となっていることが、この図６５から分かる。
したがって、入力画素Ｄｉｎが参照ブロック１０６１に属するとした場合には、ターゲットブロック１０３の画素Ｄ１を読み出して、その差分を算出する必要がある。また、入力画素Ｄｉｎが参照ブロック１０６２に属するとした場合には、ターゲットブロック１０３の画素Ｄ２を読み出して、その差分を算出する必要がある。
図６５および後述の図６６では簡単のため、２つの参照ブロックのみを図示しているが、実際上は、入力画素Ｄｉｎを、その参照ブロック内の画素とする参照ブロックは多数となる。
この第２の実施形態の場合のＳＡＤ演算は、入力画素Ｄｉｎの輝度値Yと、各々の参照ブロック内の入力画素Ｄｉｎの位置に対応した、ターゲットブロック内の画素の輝度値Ｙとの差分絶対値を算出し、その算出した差分絶対値を、それぞれの参照ブロックに対応した参照ベクトルに従って、ＳＡＤテーブルに加算してゆくようにして行なう。
例えば、入力画素Ｄｉｎが参照ブロック１０６１に属するとした場合における、ターゲットブロック１０３の画素Ｄ１と入力画素Ｄｉｎとの差分絶対値は、図６６に示すように、ＳＡＤテーブル１０８の参照ベクトル１０７１が対応するＳＡＤテーブル要素１０９２のＳＡＤ値に加算して書き込むようにする。また、入力画素Ｄｉｎが参照ブロック１０６２に属するとした場合における、ターゲットブロック１０３の画素Ｄ２と入力画素Ｄｉｎとの差分絶対値は、図６６に示すように、ＳＡＤテーブル１０８の参照ベクトル１０７２が対応するＳＡＤテーブル要素１０９２のＳＡＤ値に加算して書き込むようにする。
したがって、サーチ範囲内の全ての領域の入力画素が入力されて処理が終了したときには、ＳＡＤテーブルが完成することになる。
図６６の説明は、従来手法に、リアルタイムＳＡＤ算出処理を適用した場合である。この第２の実施形態においては、図６５において、ＳＡＤテーブル１０８の参照ベクトル１０７１または１０７２が対応するＳＡＤテーブル要素１０９１または１０９２のＳＡＤ値として、算出した差分絶対値のそれぞれを、加算して書き込むのではなく、前述した第１の実施形態のように、参照ベクトル１０７１，１０７２を縮小倍率１／ｎで縮小した参照縮小ベクトルを算出し、その参照縮小ベクトルの近傍の複数の参照ベクトルに、前記算出した差分絶対値から、それぞれを分散加算するための分散加算値を求め、求めた分散加算値を、前記近傍の複数の参照ベクトルに対応するＳＡＤ値に加算するようにするものである。
ＳＡＤテーブル（縮小ＳＡＤテーブル）が完成した後の正確な動きベクトルを算出するための処理は、この第２の実施形態においても、前述した第１の実施形態で述べた手法と全く同様にして、２次曲面や、水平方向および垂直方向の３次曲線を用いた手法を用いることができる。
この第２の実施形態の場合の手ぶれベクトル検出部１５における、前記図３６のステップＳ３２、図３８のステップＳ５２、図４０のステップＳ７２および図４１のステップＳ８２における各ターゲットブロックについての縮小ＳＡＤテーブル生成処理およびブロック毎動きベクトル検出処理の動作のフローチャートを図６７および図６８に示す。
先ず、手ぶれベクトル検出部１５では、入力画像のフレーム（参照フレーム）の任意の位置（ｘ，ｙ）の画素データＤｉｎ（ｘ，ｙ）を受け取る（ステップＳ２２１）。次に、当該画素の位置（ｘ，ｙ）を含む複数の参照ブロックの一つに対応する参照ベクトル（ｖｘ，ｖｙ）を設定する（ステップＳ２２２）。
次に、設定された参照ベクトル（ｖｘ，ｖｙ）の参照ブロックＩｉの当該画素値Ｉｉ（ｘ，ｙ）と、これに対応するターゲットブロックＩｏ内の画素値Ｉｏ（ｘ−ｖｘ，ｙ−ｖｙ）との差分の絶対値αを算出する（ステップＳ２２３）。すなわち、差分絶対値αは、
α＝｜Ｉｏ（ｘ−ｖｘ，ｙ−ｖｙ）−Ｉｉ（ｘ，ｙ）｜ ・・・（式４）
として算出される。
次に、縮小倍率を１／ｎとして、参照ベクトル（ｖｘ，ｖｙ）を１／ｎに縮小した参照縮小ベクトル（ｖｘ／ｎ，ｖｙ／ｎ）を算出する（ステップＳ２２４）。
次いで、参照縮小ベクトル（ｖｘ／ｎ，ｖｙ／ｎ）の近傍の複数の参照ベクトル、この例では、上述したように４個の近傍参照ベクトルを検知する（ステップＳ２２５）。そして、検知した４個の近傍参照ベクトルのそれぞれに対応するテーブル要素として分散加算すべき値（差分絶対値）を、前述したように、参照縮小ベクトルと近傍参照ベクトルとがそれぞれ示す位置の関係に基いて、ステップＳ２２３で求めた差分絶対値αから、線形加重分散値として求める（ステップＳ２２６）。そして、求めた４個の線形加重分散値を、近傍参照ベクトルのそれぞれに対応するＳＡＤテーブル要素値に加算する（ステップＳ２２７）。
次に、入力画素Ｄｉｎ（ｘ，ｙ）を含む参照ブロックの全てについての上記ステップＳ２２２〜ステップＳ２２７の演算を行なったか否か判別し（ステップＳ２２８）、当該入力画素Ｄｉｎ（ｘ，ｙ）を含む他の参照ブロックがあると判別したときには、ステップＳ２２２に戻り、当該入力画素Ｄｉｎを含む他の参照ブロック（ｖｘ，ｖｙ）を設定し、このステップＳ２２２〜ステップＳ２２７の処理を繰り返す。
また、ステップＳ２２８で、入力画素Ｄｉｎ（ｘ，ｙ）を含む参照ブロックの全てについての上記ステップＳ２２２〜ステップＳ２２７の演算を行なったと判別したときには、サーチ範囲内の全ての入力画素Ｄｉｎについて、上記の演算ステップの処理を終了したか否か判別し（図６８のステップＳ２３１）、終了していないと判別したときには、ステップＳ２２１に戻り、サーチ範囲内の次の入力画素Ｄｉｎを取り込み、このステップＳ２２１以降の処理を繰り返す。
そして、ステップＳ２３１で、サーチ範囲内の全ての入力画素Ｄｉｎについて、上記の演算ステップの処理を終了したと判別すると、縮小ＳＡＤテーブルが完成したとして、当該完成した縮小ＳＡＤテーブルにおいて、最小値となっているＳＡＤ値を検出する（ステップＳ２３２）。
次に、当該最小値となっているテーブル要素アドレス（ｍｘ，ｍｙ）のＳＡＤ値（最小値）と、その近傍の複数個、この例では、上述したように１５個の近傍テーブル要素のＳＡＤ値を用いて２次曲面を生成し（ステップＳ２３３）、その２次曲面の最小値のＳＡＤ値が対応する小数精度の位置を示す最小値ベクトル（ｐｘ，ｐｙ）を算出する（ステップＳ２３４）。この最小値ベクトル（ｐｘ，ｐｙ）は、小数精度の最小テーブル要素アドレスに対応している。
そして、算出した小数精度の位置を示す最小値ベクトル（ｐｘ，ｐｙ）をｎ倍することにより、求める動きベクトル（ｐｘ×ｎ，ｐｙ×ｎ）を算出する（ステップＳ２３５）。
なお、この例においても、小数精度の位置を示す最小値ベクトル（ｐｘ，ｐｙ）を算出する方法としては、前述した水平方向および垂直方向の３次曲線を用いる方法を用いても良いことは前述の例と同様である。
また、前述の第１の実施形態において、図４８〜図７１のフローチャートを参照しながら説明した第３の例と同様にして、この第２の実施形態においても、サーチ範囲を絞りながら、かつ、必要に応じて縮小倍率を変更しながら、２段階以上、縮小ＳＡＤテーブルを用いた動きベクトル検出処理を繰り返すようにしても、勿論良い。
この第２の実施形態のメリットは、フレームメモリを、第１の実施形態に比べて１枚分削減できることと、フレームメモリに入力画像を格納する時間を短縮できることである。メモリ削減の効果は言うまでもないが、処理時間の短縮も、近年、重要視されて来ている。
［第３の実施形態］
上述の第２の実施形態では、入力画像に対し、常に１フレーム前の画像との比較によって、手ぶれベクトルと回転角度を求める方式であったが、前述もしたように、実際には、図３に示したように、１枚目を基準として、以降のフレームを足し合わせるため、動きベクトル検出も１枚目を基準にする方が誤差は小さくなる。第３の実施形態は、この点を考慮したものである。
図６９に、この第３の実施形態による撮像装置の構成例のブロック図を示す。
すなわち、この図６９の例においては、画像メモリ部４には、図６４の第２の実施形態におけるフレームメモリ４４およびフレームメモリ４５に加えて、フレームメモリ４６を設ける。そして、データ変換部１４からの画像データは、フレームメモリ４４とフレームメモリ４６とに書き込むようにする。
そして、この第３の実施形態においては、フレームメモリ４６を、ターゲットとなる１枚目のフレーム（元フレームおよび基準画像のフレーム）格納用として用いて、常に、この画像に対する入力画像の参照ベクトルを算出するシステムの構成を示す。この構成においても、フレームメモリ４５に加算画像結果が格納される。
この例においても、基準となる１枚目のフレームの画像データは、図６９において破線で示すように、フレームメモリ４５にも書き込むようにする。
そして、２枚目以降の画像フレームは、フレームメモリ４４に書き込むと共に、手ぶれベクトル検出部１５に供給する。手ぶれベクトル検出部１５では、データ変換部１４からの２枚目以降の画像フレームのそれぞれと、フレームメモリ４６から読み出された１枚目の画像データとの間の相対的な手ぶれベクトルの検出を行うと共に、回転角度の検出を行う。
手ぶれベクトル検出部１５は、検出した１枚目の画像フレームに対する２枚目以降の画像フレームのそれぞれについての相対的な手ぶれベクトルと回転角度の情報をＣＰＵ１に供給する。
そして、フレームメモリ４４に格納されている２枚目以降の画像は、算出された１枚目のフレームの基準画像との相対手ぶれ成分を相殺するように、ＣＰＵ１の制御により、フレームメモリ４４から読み出されて、回転・平行移動加算部１９に供給される。そして、回転・平行移動加算部１９では、ＣＰＵ１からの制御信号により、１枚目の基準画像フレームに対する相対回転角度に応じて２枚目以降の画像フレームのそれぞれが回転させられて、フレームメモリ４６から読み出された画像フレームに対して加算もしくは平均化される。その加算もしくは平均結果の画像フレームは、フレームメモリ４６に書き戻される。
そして、フレームメモリ４６の画像フレームのデータは、ＣＰＵ１の制御指示に応じた所定の解像度および所定の画像サイズで切り出されて解像度変換部１６に供給される。そして、解像度変換部１６は、前述したように、記録撮像画像データとしてコーデック部１７に供給すると共に、モニター画像データとしてＮＴＳＣエンコーダ１８に供給する。
なお、上述の第３の実施形態において、入力画像の１フレーム目を基準画像として、無限加算もしくは無限平均加算も可能なシステムを示したが、もしメモリ容量がふんだんに存在するか、記録再生装置部５への一時的な退避が許されるならば、予め加算対象の画像を全て保存しておき、それらをトーナメント加算手法による加算、もしくは平均加算手法による加算をしてゆく方法を採用しても良い。
［第６の実施形態］
以上説明した第１〜第３の実施形態によるセンサレス手ブレ補正と、現存技術である光学手ぶれ補正とを組み合わせることによって、より高い効果が得られる。
冒頭で説明したように、ジャイロセンサを用いる光学手ぶれ補正は、大まかな補正を得意としており、また、回転補正が難しいのに対し、ブロックマッチングを使用したセンサレス手ブレ補正は、回転補正も含めた精度は高いが、サーチ範囲が広くなると、ＳＡＤテーブルのコストが急上昇するか、この実施形態の手法を用いたとしても、複数段階の動き検出処理による場合には処理時間を要するからである。
したがって、光学手ぶれ補正で大まかに補正して、センサレベル手ぶれ補正のための動きベクトル検出用のサーチ範囲を狭め、そのサーチ範囲において、動きベクトルを算出して、センサレス手ブレ補正をかけることにより、低コスト、高精度、高速の手ぶれ補正システムが実現できる。
［実施形態の効果］
上述の第１〜第３の実施形態のブロックマッチング手法を用いたセンサレス手ぶれ補正手法は、これまで提案されている、センサレス静止画手ぶれ補正技術に対しては、コスト、精度、処理時間、ロバスト性の、いずれにおいても優位に立つ。
現在市場に出回っている静止画の手ぶれ補正の全ては、ジャイロセンサとレンズシフト等の光学補正を組み合わせて用いたシステムであるが、誤差が大きく、満足のいく画質ではなかった。これに対して、この発明による手法により、センサや機構部分を無くした、低コストかつ高精度の手ぶれ補正が実現する。
［その他の変形例］
上述の実施形態の説明では、参照ベクトルに対する縮小倍率は水平方向と垂直方向とで同一としたが、水平方向と、垂直方向とで、縮小倍率を異ならせるようにしても良いことは前述した通りである。
また、上述の実施形態では、参照ブロックおよびターゲットブロック内の全ての画素についてＳＡＤ値を求めるようにしたが、例えばｋ個（ｋは自然数）おきの画素のみを用いてＳＡＤ値を求めるようにしても良い。
また、リアルタイム処理の動きベクトル検出システムでは、演算コストと処理時間削減を目的として、ターゲットブロック内の代表点のみを参照ブロック内でサーチする、ＳＡＤ演算がしばしば行われている。
すなわち、図７０に示すように、ターゲットブロック１０３を、例えば横×縦＝ｎ×ｍ個（ｎ、ｍは１以上の整数）からなる複数画素毎に分割し、その分割単位である複数画素のうちの１点の画素を代表点ＴＰとする。そして、ＳＡＤ演算においては、ターゲットブロック１０３については、このようにして定めた複数個の代表点ＴＰのみを使用する。
一方、参照ブロック１０６では全画素をＳＡＤ値演算の対象とするもので、ターゲットブロック１０３の一つの代表点ＴＰに対しては、一つの参照ブロック１０６において、代表点ＴＰが設定される分割単位であるｎ×ｍ個からなる複数画素の領域ＡＲに含まれる全画素を使用する。
そして、ターゲットブロック１０３と、一つの参照ブロック１０６との間においては、ターゲットブロック１０２の各代表点ＴＰの画素値と、参照ブロック１０６の、各代表点ＴＰに対応するそれぞれの領域ＡＲに含まれるｎ×ｍ個からなる複数の画素のそれぞれの画素値との差分の合計が求められ、そして、求められた代表点ＴＰについての差分の合計が、ターゲットブロック１０３のすべての代表点ＴＰについて合計されることになる。これが、ＳＡＤテーブルの一つの要素値となる。
そして、ターゲットブロック１０３についてのサーチ範囲のすべての参照ブロックについて、上記と同様の代表点ＴＰを用いた差分演算が行われて、ＳＡＤテーブルが生成されることになる。ただし、この例の場合には、サーチ範囲に設定する複数個の参照ブロックは、前述した分割単位であるｎ×ｍ個からなる複数画素毎、あるいは当該複数画素の整数倍毎にずれたものとされる。
上述のようにターゲットブロックについて代表点を用いるようにする場合には、ＳＡＤ値を算出する際のターゲットブロックについてのメモリアクセスは、参照ブロックの領域ＡＲの複数画素毎に対して、一つの代表点ＴＰの１回でよくなり、メモリアクセス数を大幅に少なくすることができる。
また、代表点ＴＰのみを用いる場合には、ターゲットブロックのデータとしては、ブロック内の全画素のうちの代表点ＴＰの画素データのみを記憶すればよいので、元フレーム（ターゲットフレーム）のターゲットブロックのデータを記憶するフレームメモリの容量を削減することができる。
また、フレームメモリとは別に、小規模な代表点メモリ（ＳＲＡＭ）をローカルで持ち、当該ローカルメモリに元フレーム（ターゲットフレーム）のターゲットブロックのデータを保持するようにすることにより、画像メモリ４（ＤＲＡＭ）の帯域削減を図っても良い。
ターゲットブロックについて代表点を用いる場合の処理に関する以上の説明は、図７１〜図７３を用いて説明した手法におけるものについてであるが、図６５〜図６８を用いて説明した第２の実施の形態における手法の場合にも適用できることは言うまでもない。
この第２の実施形態における手法において、ターゲットブロックについて代表点ＴＰのみを用いる場合には、入力される参照フレームの画素（入力画素）ごとに、サーチ範囲の全範囲において、当該入力画素を含む領域ＡＲ（当該画素の位置は領域ＡＲにおいて同じではない）を備えるすべての参照ブロックを検出し、その検出したすべての参照ブロックのそれぞれにおける領域ＡＲに対応するターゲットブロックの代表点を判定する。
そして、その判定結果として得られる複数個の代表点の画素値を、元フレーム（ターゲットフレーム）の画像データを記憶するメモリからそれぞれ読み出して、その代表点の画素値と当該入力画素との差分をそれぞれ演算し、その演算結果を、ＳＡＤテーブルにおいて、対応する参照ブロック（参照ベクトル）の座標位置に累積するようにする。
この場合には、メモリアクセスは、ターゲットブロックの代表点のみを読み出すだけであるので、メモリアクセス数を大幅に削減することができるものである。
なお、代表点を用いる処理は、上述した縮小ＳＡＤテーブルを用いる場合にも適用できることは言うまでもない。
なお、上述の実施形態では、画素の差分値およびＳＡＤ値は、画素の輝度値Ｙのみを用いて演算するものとしたが、動ベクトル検出のために、輝度値Ｙだけでなく、色差成分Ｃｂ／Ｃｒを用いてもよい。また、データ変換部１４で輝度値Ｙおよび色差成分Ｃｂ／Ｃｒに変換される前のＲＡＷデータを対象として、動きベクトル検出処理を行ってもよい。
また、前述もしたが、手ぶれベクトル検出部１５は、ハードウエア処理による構成とする場合に限定されるものではなく、ソフトウエアで実現しても良い。
この発明による画像処理装置の第１の実施形態の構成例を示すブロック図である。 この発明による画像処理方法の実施形態の概要を説明するために用いる図である。 この発明による画像処理方法の実施形態の概要を説明するために用いる図である。 この発明による画像処理方法の実施形態の概要を説明するために用いる図である。 この発明による画像処理方法の実施形態においてフレームの手ぶれの平行移動成分を算出する処理を説明するために用いる図である。 この発明による画像処理方法の実施形態においてフレームの手ぶれの平行移動成分を算出する処理を説明するために用いる図である。 この発明による画像処理方法の実施形態においてフレームの手ぶれの回転成分を算出する処理を説明するために用いる図である。 この発明による画像処理方法の実施形態においてフレームの手ぶれの回転成分を算出する処理を説明するために用いる図である。 この発明による画像処理方法の実施形態の概要を説明するための図である。 この発明による画像処理方法の実施形態の概要を説明するために用いる図である。 この発明による画像処理方法の実施形態の概要を説明するために用いるフローチャートを示す図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを複数段階に渡って算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理の例を説明するための図である。 この発明による画像処理方法の実施形態において、ブロック毎動きベクトルを算出するための処理例の処理性能を説明するための図である。 この発明による画像処理方法の実施形態の概要を説明するための図である。 この発明による画像処理方法の実施形態の特徴を、従来の手法と比較して説明するために用いる図である。 この発明による画像処理方法の実施形態の特徴を、従来の手法と比較して説明するために用いる図である。 この発明による画像処理方法の実施形態の特徴を、従来の手法と比較して説明するために用いる図である。 この発明による画像処理装置の第１の実施形態の手ぶれの平行移動成分および回転成分を検出する処理例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第１の実施形態の手ぶれの平行移動成分および回転成分を検出する処理例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第１の実施形態の手ぶれの平行移動成分および回転成分を検出する処理例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第１の実施形態におけるブロック毎動きベクトル検出処理の第１の例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第１の実施形態の手ぶれの平行移動成分および回転成分を検出する処理例の他の例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第１の実施形態の手ぶれの平行移動成分および回転成分を検出する処理例の他の例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第１の実施形態の手ぶれの平行移動成分および回転成分を検出する処理例の他の例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第１の実施形態の手ぶれの平行移動成分および回転成分を検出する処理例の他の例を説明するための図である。 この発明による画像処理装置の第１の実施形態におけるブロック毎動きベクトル検出処理の第１の例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第１の実施形態におけるブロック毎動きベクトル検出処理の第１の例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第１の実施形態におけるブロック毎動きベクトル検出処理の第２の例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第１の実施形態におけるブロック毎動きベクトル検出処理の第２の例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第１の実施形態におけるブロック毎動きベクトル検出処理の第３の例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第１の実施形態におけるブロック毎動きベクトル検出処理の第３の例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第１の実施形態におけるブロック毎動きベクトル検出処理の第３の例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第１の実施形態におけるブロック毎動きベクトル検出処理の第３の例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第１の実施形態におけるブロック毎動きベクトル検出処理の第３の例を説明するために用いる図である。 この発明による画像処理装置の第１の実施形態における回転・平行移動加算部１９の構成例を示すブロック図である。 この発明による画像処理装置の第１の実施形態における回転・平行移動加算部１９の構成例を説明するための図である。 この発明による画像処理装置の第１の実施形態における回転・平行移動加算部１９の処理例を説明するためのフローチャートを示す図である。 この発明による画像処理装置の第１の実施形態における回転・平行移動加算部１９の構成例を示すブロック図である。 この発明による画像処理装置の第１の実施形態における回転・平行移動加算部１９の構成例を説明するための図である。 この発明による画像処理装置の第１の実施形態における回転・平行移動加算部１９の処理例を説明するためのフローチャートを示す図である。 この発明による画像処理装置の第１の実施形態における回転・平行移動加算部１９の構成例を示すブロック図である。 この発明による画像処理装置の第１の実施形態における回転・平行移動加算部１９の構成例を説明するための図である。 この発明による画像処理装置の第１の実施形態における回転・平行移動加算部１９の処理例を説明するためのフローチャートを示す図である。 この発明による画像処理装置の第１の実施形態における回転・平行移動加算部１９の処理例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第１の実施形態における回転・平行移動加算部１９の処理例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第３の実施形態の構成例を示すブロック図である。 この発明による画像処理装置の第２の実施形態におけるブロック毎動きベクトル検出処理を説明するための図である。 この発明による画像処理装置の第２の実施形態におけるブロック毎動きベクトル検出処理を説明するための図である。 この発明による画像処理装置の第２の実施形態におけるブロック毎動きベクトル検出処理の例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第２の実施形態におけるブロック毎動きベクトル検出処理の例を説明するためのフローチャートの一部を示す図である。 この発明による画像処理装置の第３の実施形態の構成例を示すブロック図である。 この発明による画像処理方法の他の例を説明するために用いる図である。 ブロックマッチングにより動きベクトルを算出する処理を説明するための図である。 ブロックマッチングにより動きベクトルを算出する処理を説明するための図である。 ブロックマッチングにより動きベクトルを算出する処理を説明するための図である。 ブロックマッチングにより動きベクトルを算出する処理を説明するための図である。
符号の説明
１０１…元フレーム、１０２…参照フレーム、１０３…ターゲットブロック、１０５…サーチ範囲、１０６…参照ブロック、１０７…参照ベクトル、１５…手ぶれ動きベクトル検出部、４１〜４５…フレームメモリ、ＴＢＬｉ…ＳＡＤテーブル、ＳＵＭ＿ＴＢＬ…合算ＳＡＤテーブル、ＴＢＬｓ…縮小ＳＡＤテーブル、ＴＢＬｏ…従来のＳＡＤテーブル、ＲＶ…参照ベクトル、ＣＶ…参照縮小ベクトル、ＮＶ１〜ＮＶ４…近傍参照ベクトル、ＢＬＫ＿Ｖｉ…ブロック毎動きベクトル、ＳＵＭ＿Ｖ…合算動きベクトル

Claims (28)

  1. 画面単位で順次に入力される画像について、注目画面である参照画面と、当該参照画面よりも前の画面である元画面との間の動きベクトルを算出するものであって、前記元画面中において、複数の所定の位置に、それぞれ複数の画素からなる所定の大きさのターゲットブロックを設定し、前記参照画面において、前記ターゲットブロックと同じ大きさの参照ブロックを、前記複数のターゲットブロックの位置に応じて設定された複数のサーチ範囲のそれぞれにおいて複数個設定してブロックマッチングを行い、前記複数のターゲットブロックのそれぞれについてのブロック毎動きベクトルを算出するブロック毎動きベクトル算出手段と、
    前記ブロック毎動きベクトル算出手段で算出された複数の前記ブロック毎動きベクトルから、前記元画面に対する前記参照画面の平行移動量を算出する平行移動量算出手段と、
    前記ブロック毎動きベクトル算出手段で算出された複数の前記ブロック毎動きベクトルから、前記元画面に対する前記参照画面の回転角を算出する回転角算出手段と、
    前記平行移動量算出手段で算出された平行移動量と、前記回転角算出手段で算出された回転角とを用いて、複数枚の画面を重ね合わせる回転・平行移動加算手段と、
    を備えることを特徴とする画像処理装置。
  2. 請求項１に記載の画像処理装置において、
    前記元画面に対する前記参照画面全体についてのグローバル動きベクトルを算出するグローバル動きベクトル算出手段と、
    前記グローバル動きベクトルを用いて、前記ブロック毎動きベクトル算出手段で求められた前記複数のブロック毎動きベクトルのそれぞれを評価する評価手段と、
    を備え、
    前記評価手段で付与された評価値が高い前記複数のブロック毎動きベクトルの数が予め定められた閾値未満である前記参照画面は、前記回転・平行移動加算手段において重ね合わせ画面から排除する
    ことを特徴とする画像処理装置。
  3. 請求項１に記載の画像処理装置において、
    前記元画面に対する前記参照画面全体についてのグローバル動きベクトルを生成するグローバル動きベクトル生成手段と、
    前記グローバル動きベクトルを用いて、前記ブロック毎動きベクトル算出手段で求められた前記複数のブロック毎動きベクトルのそれぞれを評価する評価手段と、
    を備え、
    前記平行移動量算出手段および前記回転角算出手段においては、前記評価手段で付与された評価値が高い複数個の前記ブロック毎動きベクトルのみから前記平行移動量および前記回転角を算出する
    ことを特徴とする画像処理装置。
  4. 請求項２または請求項３に記載の画像処理装置において、
    前記ブロック毎動きベクトル算出手段は、
    前記複数のターゲットブロックのそれぞれについて設定されるサーチ範囲のそれぞれにおいて、前記設定した前記複数個の参照ブロックのそれぞれについて当該参照ブロック内の各画素の画素値と、前記ターゲットブロック内で対応する位置の各画素の画素値との差分の絶対値の総和である差分絶対値和を求める差分絶対値和算出手段と、
    前記差分絶対値和算出手段で算出された、前記サーチ範囲内の複数参照ブロック位置についての前記差分絶対値和を記憶する差分絶対値和テーブルを、前記複数個のサーチ範囲のそれぞれに対応して複数生成する差分絶対値和テーブル生成手段と、
    前記差分絶対値和テーブルのそれぞれから前記複数のターゲットブロックに対応する複数の前記ブロック毎動きベクトルを算出する手段と、
    を備え、
    前記グローバル動きベクトル生成手段は、
    前記複数の差分絶対値和テーブルのそれぞれの前記差分絶対値和について、前記複数のサーチ範囲のそれぞれで対応する参照ブロック位置のものを合算して合算差分絶対値和を求め、一つのサーチ範囲内の複数参照ブロック位置分の前記合算差分絶対値和を記憶する合算差分絶対値和テーブルを生成する合算差分絶対値和テーブル生成手段と、
    前記合算差分絶対値和テーブル生成手段で生成された前記合算差分絶対値和テーブルから、前記グローバル動きベクトルを検出する手段と、
    を備えることを特徴とする画像処理装置。
  5. 請求項１に記載の画像処理装置において、
    前記ブロック毎動きベクトル算出手段は、
    前記複数のターゲットブロックのそれぞれについて設定されるサーチ範囲のそれぞれにおいて、前記設定した前記複数個の参照ブロックのそれぞれについて当該参照ブロック内の各画素の画素値と、前記ターゲットブロック内で対応する位置の各画素の画素値との差分の絶対値の総和である差分絶対値和を求める差分絶対値和算出手段と、
    前記参照ブロックのそれぞれの前記参照画面上の位置の、前記ターゲットブロックの画面上の位置との位置ずれ量を、方向成分も含む参照ベクトルとし、当該参照ベクトルを所定の縮小率で縮小した参照縮小ベクトルを得る参照縮小ベクトル取得手段と、
    前記複数のサーチ範囲のそれぞれのターゲットブロックについて、前記参照縮小ベクトルに応じた大きさの前記参照ベクトルを前記位置ずれ量とする、前記所定の縮小率に応じて削減された数の複数個の前記参照ブロックのそれぞれについての差分絶対値和を記憶する縮小差分絶対値和テーブルを生成する縮小差分絶対値和テーブル生成手段と、
    前記縮小差分絶対値和テーブルのそれぞれから前記ブロック毎動きベクトルを算出する手段と、
    を備え、
    前記縮小差分絶対値和テーブル生成手段は、
    前記参照縮小ベクトル取得手段で取得された前記参照縮小ベクトルの近傍値となる複数の前記参照ベクトルを検出する近傍参照ベクトル検出手段と、
    前記差分絶対値和算出手段で算出された前記参照ブロックのそれぞれについての前記差分の絶対値の総和から、前記近傍参照ベクトル検出手段で検出された前記近傍の複数の前記参照ベクトルのそれぞれに対応する差分絶対値和のそれぞれを算出する分散差分絶対値和算出手段と、
    前記分散差分絶対値和算出手段で算出した前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分絶対値和を、それまでの前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分絶対値和に加算する分散加算手段と、
    を備えることを特徴とする画像処理装置。
  6. 請求項１に記載の画像処理装置において、
    前記ブロック毎動きベクトル算出手段は、
    前記複数のターゲットブロックのそれぞれについて設定されるサーチ範囲のそれぞれにおいて、前記設定した前記複数個の参照ブロックのそれぞれについて当該参照ブロック内の各画素の画素値と、前記ターゲットブロック内で対応する位置の各画素の画素値との差分を求める差分算出手段と、
    前記参照ブロックのそれぞれの前記参照画面上の位置の、前記ターゲットブロックの画面上の位置との位置ずれ量を、方向成分も含む参照ベクトルとし、当該参照ベクトルを所定の縮小率で縮小した参照縮小ベクトルを得る参照縮小ベクトル取得手段と、
    前記複数のサーチ範囲のそれぞれのターゲットブロックについて、前記参照縮小ベクトルに応じた大きさの前記参照ベクトルを前記位置ずれ量とする、前記所定の縮小率に応じて削減された数の複数個の前記参照ブロックのそれぞれについての縮小差分絶対値和を記憶する縮小差分絶対値和テーブルを生成する縮小差分絶対値和テーブル生成手段と、
    前記縮小差分絶対値和テーブルのそれぞれから前記ブロック毎動きベクトルを算出する手段と、
    を備え、
    前記縮小差分絶対値和テーブル生成手段は、
    前記参照縮小ベクトル取得手段で取得された前記参照縮小ベクトルの近傍値となる複数の前記参照ベクトルを検出する近傍参照ベクトル検出手段と、
    前記差分算出手段で算出された前記参照ブロックのそれぞれについての前記差分値から、前記近傍参照ベクトル検出手段で検出された前記近傍の複数の前記参照ベクトルのそれぞれに対応する差分値のそれぞれを算出する分散加算値算出手段と、
    前記分散加算値算出手段で算出された前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分値を、それまでの前記近傍の複数の前記参照ベクトルに対応する前記差分絶対値和に加算する加算手段と、
    を備えることを特徴とする画像処理装置。
  7. 請求項１に記載の画像処理装置において、
    前記ブロック毎動きベクトル算出手段における前記ブロックマッチングの結果から前記参照画面全体についてのグローバル動きベクトルを算出するグローバル動きベクトル算出手段を設け、
    前記ブロック毎動きベクトル算出手段では、一つの前記参照画面についての前記ブロックマッチングの処理を複数回、各回における前記サーチ範囲を、その前の回のブロックマッチングの結果から求められる前記グローバル動きベクトル算出手段で算出される前記グローバル動きベクトルに応じてオフセットさせた範囲とすると共に、前の回のサーチ範囲よりも狭めた範囲として実行し、
    前記平行移動量算出手段および前記回転角算出手段は、前記ブロック毎動きベクトル算出手段における最終回のブロックマッチングにより得られる複数個のブロック毎動きベクトルから、前記平行移動量および前記回転角を算出する
    ことを特徴とする画像処理装置。
  8. 請求項７に記載の画像処理装置において、
    各回のブロックマッチングの結果から求められる前記参照画面全体についてのグローバル動きベクトルを用いて、当該回のブロックマッチングで求められたブロック毎動きベクトルのそれぞれを評価する評価手段を備え、
    前記グローバル動きベクトル算出手段では、前記評価手段における評価により信頼性が低いとされたブロック毎動きベクトルが得られたターゲットブロックについては、次回のグローバル動きベクトルの算出の際には、計算対象から外すようにし、
    前記平行移動量算出手段および前記回転角算出手段においては、前記ブロック毎動きベクトル算出手段における最終回のブロックマッチングにより得られる複数個のブロック毎動きベクトルのうちの、前記計算対象から外されたターゲットブロック以外のターゲットブロックについてのブロック毎動きベクトルのみから前記平行移動量および前記回転角を算出する
    ことを特徴とする画像処理装置。
  9. 請求項７に記載の画像処理装置において、
    各回のブロックマッチングの結果から求められる前記参照画面全体についてのグローバル動きベクトルを用いて、当該回のブロックマッチングで求められた複数のブロック毎動きベクトルのそれぞれを評価する評価手段を備え、
    前記評価手段で付与された評価値が高い前記複数のブロック毎動きベクトルの数が予め定められた閾値未満の前記参照画面は、前記回転・平行移動加算手段において重ね合わせる画面から排除する
    ことを特徴とする画像処理装置。
  10. 請求項７に記載の画像処理装置において、
    各回のブロックマッチングの結果から求められる前記参照画面全体についてのグローバル動きベクトルを用いて、当該回のブロックマッチングで求められた複数のブロック毎動きベクトルのそれぞれを評価する評価手段を備え、
    前記評価手段で付与された評価値が高い前記複数のブロック毎動きベクトルの数が所定数以上であるときには、当該評価値が高い前記複数のブロック毎動きベクトルから、当該回のグローバル動きベクトルを再算出し、前記再算出したグローバル動きベクトルに基づいてその次の回のサーチ範囲の前記オフセットを決める
    ことを特徴とする画像処理装置。
  11. 請求項７〜請求項１０に記載の画像処理装置において、
    前記ブロック毎動きベクトル算出手段は、
    前記サーチ範囲内の複数参照ブロック位置についての前記差分絶対値和を記憶する差分絶対値和テーブルを、前記複数個のサーチ範囲に対応して複数生成する差分絶対値和テーブル生成手段と、
    前記差分絶対値和テーブル生成手段で生成された前記複数の差分絶対値和テーブルのそれぞれから、前記ブロック毎動きベクトルのそれぞれを算出する手段と、
    を備えると共に、
    前記グローバル動きベクトル算出手段は、
    前記複数のサーチ範囲のそれぞれにおいて前記差分絶対値和算出手段で算出された前記差分絶対値和について、前記複数のサーチ範囲のそれぞれで対応する参照ブロック位置のものを合算して合算差分絶対値和を求め、一つのサーチ範囲内の複数参照ブロック位置分の前記合算差分絶対値和を記憶する合算差分絶対値和テーブルを生成する合算差分絶対値和テーブル生成手段と、
    前記合算差分絶対値和テーブル生成手段で生成された前記合算差分絶対値和テーブルから、前記元画面に対する前記参照画面の前記グローバル動きベクトルを算出する算出手段と、
    を備えることを特徴とする画像処理装置。
  12. 請求項１〜請求項１１のいずれかに記載の画像処理装置において、
    前記平行移動量算出手段で算出された前記平行移動量および前記回転角算出手段で算出された前記回転角に対する、前記ブロック毎動きベクトルのそれぞれが示す平行移動量および回転角の誤差を求める誤差算出手段と、
    前記誤差算出手段で求めた前記誤差の前記複数のブロック毎動きベクトルについての総和が所定の閾値未満であるか否かを判定する判定手段と、
    前記判定手段で、前記複数のブロック毎動きベクトルについての総和が所定の閾値未満であるときに、前記回転・平行移動加算手段における処理を実行するように制御する制御手段と
    を設けることを特徴とする画像処理装置。
  13. 請求項１２に記載の画像処理装置において、
    前記判定手段で、前記複数のブロック毎動きベクトルについての総和が所定の閾値以上であるときには、前記誤差算出手段で求められた前記誤差が最大の前記ブロック毎動きベクトルを排除して、前記平行移動量算出手段および前記回転角算出手段による前記平行移動量および回転角を再算出する
    ことを特徴とする画像処理装置。
  14. 請求項１〜請求項１３のいずれかに記載の画像処理装置において、
    前記回転・平行移動加算手段では、前記複数枚の画面を、単純加算する
    ことを特徴とする画像処理装置。
  15. 請求項１〜請求項１３のいずれかに記載の画像処理装置において、
    前記回転・平行移動加算手段では、前記複数枚の画面を、平均値加算する
    ことを特徴とする画像処理装置。
  16. 請求項１〜請求項１３のいずれかに記載の画像処理装置において、
    前記回転・平行移動加算手段では、前記複数枚の画面を、トーナメント加算する
    ことを特徴とする画像処理装置。
  17. 撮像部と、
    前記撮像部からの前記撮像画像について、注目画面である参照画面と、当該参照画面よりも前の画面である元画面との間の動きベクトルを算出するものであって、前記元画面中において、複数の所定の位置に、それぞれ複数の画素からなる所定の大きさのターゲットブロックを設定し、前記参照画面において、前記ターゲットブロックと同じ大きさの参照ブロックを、前記複数のターゲットブロックの位置に応じて設定された複数のサーチ範囲のそれぞれにおいて複数個設定してブロックマッチングを行い、前記複数のターゲットブロックのそれぞれについてのブロック毎動きベクトルを算出するブロック毎動きベクトル算出手段と、
    前記ブロック毎動きベクトル算出手段で算出された複数の前記ブロック毎動きベクトルから、前記元画面に対する前記参照画面の平行移動量を算出する平行移動量算出手段と、
    前記ブロック毎動きベクトル算出手段で検出された複数の前記ブロック毎動きベクトルから、前記元画面に対する前記参照画面の回転角を算出する回転角算出手段と、
    前記平行移動量算出手段で算出された平行移動量と、前記回転角算出手段で算出された回転角とを用いて、前記撮像部からの前記撮像画像の複数枚の画面を重ね合わせる回転・平行移動加算手段と、
    前記回転・平行移動加算手段で重ね合わされた撮像画像のデータを記録媒体に記録する記録手段と、
    を備えることを特徴とする撮像装置。
  18. 請求項１７に記載の撮像装置において、
    前記回転・平行移動加算手段は、
    前記複数枚の画像を単純加算する単純加算手段と、
    前記複数枚の画像を平均値加算する平均値加算手段と、
    前記複数枚の画像をトーナメント加算するトーナメント加算手段と、
    前記単純加算手段と、前記平均値加算手段と、前記トーナメント加算手段と、
    のいずれかを選択する選択手段と、
    を備え、
    前記単純加算手段、前記平均値加算手段または前記トーナメント加算手段のいずれを前記回転・平均移動加算手段で行わせるかのユーザ選択操作入力を受け付けるユーザ入力受付手段と、
    前記ユーザ入力受付手段で受け付けられたユーザ選択操作入力に応じて、前記選択手段制御する制御手段と、
    を設けることを特徴とする画像処理装置。
  19. 画面単位で順次に入力される画像について、注目画面である参照画面と、当該参照画面よりも前の画面である元画面との間の動きベクトルを算出するものであって、前記元画面中において、複数の所定の位置に、それぞれ複数の画素からなる所定の大きさのターゲットブロックを設定し、前記参照画面において、前記ターゲットブロックと同じ大きさの参照ブロックを、前記複数のターゲットブロックの位置に応じて設定された複数のサーチ範囲のそれぞれにおいて複数個設定してブロックマッチングを行い、前記複数のターゲットブロックのそれぞれについてのブロック毎動きベクトルを算出するブロック毎動きベクトル算出工程と、
    前記ブロック毎動きベクトル算出工程で算出された複数の前記ブロック毎動きベクトルから、前記元画面に対する前記参照画面の平行移動量を算出する平行移動量算出工程と、
    前記ブロック毎動きベクトル算出工程で算出された複数の前記ブロック毎動きベクトルから、前記元画面に対する前記参照画面の回転角を算出する回転角算出工程と、
    前記平行移動量算出工程で算出された平行移動量と、前記回転角算出工程で算出された回転角とを用いて、複数枚の画面を重ね合わせる回転・平行移動加算工程と、
    を備えることを特徴とする画像処理方法。
  20. 請求項１９に記載の画像処理方法において、
    前記元画面に対する前記参照画面全体についてのグローバル動きベクトルを生成するグローバル動きベクトル生成工程と、
    前記グローバル動きベクトルを用いて、前記ブロック毎動きベクトル算出手段で求められた前記複数のブロック毎動きベクトルのそれぞれを評価する評価工程と、
    を備え、
    前記評価工程で付与された評価値が高い前記複数のブロック毎動きベクトルの数が予め定められた閾値未満である前記参照画面は、前記回転・平行移動加算手段において重ね合わせ画面から排除する
    ことを特徴とする画像処理方法。
  21. 請求項２０に記載の画像処理方法において、
    前記ブロック毎動きベクトル算出工程は、
    前記複数のターゲットブロックのそれぞれについて設定されるサーチ範囲のそれぞれにおいて、前記設定した前記複数個の参照ブロックのそれぞれについて当該参照ブロック内の各画素の画素値と、前記ターゲットブロック内で対応する位置の各画素の画素値との差分の絶対値の総和である差分絶対値和を求める差分絶対値和算出工程と、
    前記差分絶対値和算出工程で算出された、前記サーチ範囲内の複数参照ブロック位置についての前記差分絶対値和を記憶する差分絶対値和テーブルを、前記複数個のサーチ範囲のそれぞれに対応して複数生成する差分絶対値和テーブル生成工程と、
    前記差分絶対値和テーブルのそれぞれから前記複数のターゲットブロックに対応する複数の前記ブロック毎動きベクトルを算出する工程と、
    を備え、
    前記グローバル動きベクトル生成工程は、
    前記複数の差分絶対値和テーブルのそれぞれ前記差分絶対値和について、前記複数のサーチ範囲のそれぞれで対応する参照ブロック位置のものを合算して合算差分絶対値和を求め、一つのサーチ範囲内の複数参照ブロック位置分の前記合算差分絶対値和を記憶する合算差分絶対値和テーブルを生成する合算差分絶対値和テーブル生成工程と、
    前記合算差分絶対値和テーブル生成工程で生成された前記合算差分絶対値和テーブルから、前記グローバル動きベクトルを検出する工程と、
    を備えることを特徴とする画像処理方法。
  22. 請求項２０に記載の画像処理方法において、
    前記ブロック毎動きベクトル算出工程は、
    前記複数のターゲットブロックのそれぞれについて設定されるサーチ範囲のそれぞれにおいて、前記設定した前記複数個の参照ブロックのそれぞれについて当該参照ブロック内の各画素の画素値と、前記ターゲットブロック内で対応する位置の各画素の画素値との差分の絶対値の総和である差分絶対値和を求める差分絶対値和算出工程と、
    前記参照ブロックのそれぞれの前記参照画面上の位置の、前記ターゲットブロックの画面上の位置との位置ずれ量を、方向成分も含む参照ベクトルとし、当該参照ベクトルを所定の縮小率で縮小した参照縮小ベクトルを得る参照縮小ベクトル取得工程と、
    前記複数のサーチ範囲のそれぞれのターゲットブロックについて、前記参照縮小ベクトルに応じた大きさの前記参照ベクトルを前記位置ずれ量とする、前記所定の縮小率に応じて削減された数の複数個の前記参照ブロックのそれぞれについての差分絶対値和を記憶する縮小差分絶対値和テーブルを生成する縮小差分絶対値和テーブル生成工程と、
    前記縮小差分絶対値和テーブルのそれぞれから前記ブロック毎動きベクトルを算出する工程と、
    を備え、
    前記縮小差分絶対値和テーブル生成工程は、
    前記参照縮小ベクトル取得工程で取得された前記参照縮小ベクトルの近傍値となる複数の前記参照ベクトルを検出する近傍参照ベクトル検出工程と、
    前記差分絶対値和算出工程で算出された前記参照ブロックのそれぞれについての前記差分の絶対値の総和から、前記近傍参照ベクトル検出工程で検出された前記近傍の複数の前記参照ベクトルのそれぞれに対応する差分絶対値和のそれぞれを算出する分散差分絶対値和算出工程と、
    前記分散差分絶対値和算出工程で算出した前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分絶対値和を、それまでの前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分絶対値和に加算する分散加算工程と、
    を備えることを特徴とする画像処理方法。
  23. 請求項２０に記載の画像処理方法において、
    前記ブロック毎動きベクトル算出工程は、
    前記複数のターゲットブロックのそれぞれについて設定されるサーチ範囲のそれぞれにおいて、前記設定した前記複数個の参照ブロックのそれぞれについて当該参照ブロック内の各画素の画素値と、前記ターゲットブロック内で対応する位置の各画素の画素値との差分を求める差分算出工程と、
    前記参照ブロックのそれぞれの前記参照画面上の位置の、前記ターゲットブロックの画面上の位置との位置ずれ量を、方向成分も含む参照ベクトルとし、当該参照ベクトルを所定の縮小率で縮小した参照縮小ベクトルを得る参照縮小ベクトル取得工程と、
    前記複数のサーチ範囲のそれぞれのターゲットブロックについて、前記参照縮小ベクトルに応じた大きさの前記参照ベクトルを前記位置ずれ量とする、前記所定の縮小率に応じて削減された数の複数個の前記参照ブロックのそれぞれについての縮小差分絶対値和を記憶する縮小差分絶対値和テーブルを生成する縮小差分絶対値和テーブル生成工程と、
    前記縮小差分絶対値和テーブルのそれぞれから前記ブロック毎動きベクトルを算出する工程と、
    を備え、
    前記縮小差分絶対値和テーブル生成工程は、
    前記参照縮小ベクトル取得工程で取得された前記参照縮小ベクトルの近傍値となる複数の前記参照ベクトルを検出する近傍参照ベクトル検出工程と、
    前記差分算出工程で算出された前記参照ブロックのそれぞれについての前記差分値から、前記近傍参照ベクトル検出工程で検出された前記近傍の複数の前記参照ベクトルのそれぞれに対応する差分値のそれぞれを算出する分散加算値算出工程と、
    前記分散加算値算出工程で算出された前記近傍の複数の前記参照ベクトルのそれぞれに対応する前記差分値を、それまでの前記近傍の複数の前記参照ベクトルに対応する前記差分絶対値和に加算する加算工程と、
    を備えることを特徴とする画像処理方法。
  24. 請求項２０に記載の画像処理方法において、
    前記ブロック毎動きベクトル算出工程では、一つの前記参照画面についての前記ブロックマッチングの処理を複数回、各回における前記サーチ範囲を、その前の回のブロックマッチングの結果から求められる前記参照画面全体についてのグローバル動きベクトルに応じてオフセットさせた範囲とすると共に、前の回のサーチ範囲よりも狭めた範囲として実行し、
    前記平行移動量算出工程および前記回転角算出工程は、前記ブロック毎動きベクトル算出手段における最終回のブロックマッチングにより得られる複数個のブロック毎動きベクトルから、前記平行移動量および前記回転角を算出する
    ことを特徴とする画像処理方法。
  25. 請求項２４に記載の画像処理方法において、
    前記ブロック毎動きベクトル算出工程では、各回のブロックマッチングの結果から求められる前記参照画面全体についてのグローバル動きベクトルを用いて、当該回のブロックマッチングで求められたブロック毎動きベクトルのそれぞれを評価し、当該評価により信頼性が低いとされたブロック毎動きベクトルが得られたターゲットブロックについては、次回のグローバル動きベクトルの算出の際には、計算対象から外すようにし、
    前記平行移動量算出工程および前記回転角算出工程においては、前記ブロック毎動きベクトル算出工程における最終回のブロックマッチングにより得られる複数個のブロック毎動きベクトルのうちの、前記計算対象から外されたターゲットブロック以外のターゲットブロックについてのブロック毎動きベクトルのみから前記平行移動量および前記回転角を算出する
    ことを特徴とする画像処理方法。
  26. 請求項２４に記載の画像処理方法において、
    前記グローバル動きベクトルを用いて、当該回のブロックマッチングで求められた複数のブロック毎動きベクトルのそれぞれを評価する評価工程を備え、
    前記評価工程で付与された評価値が高い前記複数のブロック毎動きベクトルの数が予め定められた閾値未満の前記参照画面は、前記回転・平行移動加算手段において重ね合わせ画面から排除する
    ことを特徴とする画像処理方法。
  27. 請求項２４に記載の画像処理方法において、
    前記グローバル動きベクトルを用いて、当該回のブロックマッチングで求められた複数のブロック毎動きベクトルのそれぞれを評価する評価工程を備え、
    前記評価工程で付与された評価値が高い前記複数のブロック毎動きベクトルの数が所定数以上であるときには、当該評価値が高い前記複数のブロック毎動きベクトルから、当該回のグローバル動きベクトルを再算出し、前記再算出したグローバル動きベクトルに基づいてその次の回のサーチ範囲の前記オフセットを決める
    ことを特徴とする画像処理方法。
  28. 撮像部からの前記撮像画像について、注目画面である参照画面と、当該参照画面よりも前の画面である元画面との間の動きベクトルを算出するものであって、前記元画面中において、複数の所定の位置に、それぞれ複数の画素からなる所定の大きさのターゲットブロックを設定し、前記参照画面において、前記ターゲットブロックと同じ大きさの参照ブロックを、前記複数のターゲットブロックの位置に応じて設定された複数のサーチ範囲のそれぞれにおいて複数個設定してブロックマッチングを行い、前記複数のターゲットブロックのそれぞれについてのブロック毎動きベクトルを算出するブロック毎動きベクトル算出工程と、
    前記ブロック毎動きベクトル算出工程で算出された複数の前記ブロック毎動きベクトルから、前記元画面に対する前記参照画面の平行移動量を算出する平行移動量算出工程と、
    前記ブロック毎動きベクトル算出工程で検出された複数の前記ブロック毎動きベクトルから、前記元画面に対する前記参照画面の回転角を算出する回転角算出工程と、
    前記平行移動量算出工程で算出された平行移動量と、前記回転角算出工程で算出された回転角とを用いて、前記撮像部からの前記撮像画像の複数枚の画面を重ね合わせる回転・平行移動加算工程と、
    前記回転・平行移動加算工程で重ね合わされた撮像画像のデータを記録媒体に記録する記録工程と、
    を備えることを特徴とする撮像方法。
JP2006164209A 2006-06-14 2006-06-14 画像処理装置、画像処理方法、撮像装置および撮像方法 Expired - Fee Related JP4178480B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006164209A JP4178480B2 (ja) 2006-06-14 2006-06-14 画像処理装置、画像処理方法、撮像装置および撮像方法
EP20070010921 EP1868389A2 (en) 2006-06-14 2007-06-01 Motion estimation for camera stabilitsation
US11/757,134 US7817185B2 (en) 2006-06-14 2007-06-01 Image processing device, image processing method, image pickup device, and image pickup method for superimposing a plurality of pictures on each other
KR20070057762A KR20070119525A (ko) 2006-06-14 2007-06-13 화상 처리 장치, 화상 처리 방법, 촬상 장치 및 촬상 방법
CN2007101086584A CN101090456B (zh) 2006-06-14 2007-06-14 图像处理装置和方法、图像拾取装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006164209A JP4178480B2 (ja) 2006-06-14 2006-06-14 画像処理装置、画像処理方法、撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JP2007336121A true JP2007336121A (ja) 2007-12-27
JP4178480B2 JP4178480B2 (ja) 2008-11-12

Family

ID=38353705

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006164209A Expired - Fee Related JP4178480B2 (ja) 2006-06-14 2006-06-14 画像処理装置、画像処理方法、撮像装置および撮像方法

Country Status (5)

Country Link
US (1) US7817185B2 (ja)
EP (1) EP1868389A2 (ja)
JP (1) JP4178480B2 (ja)
KR (1) KR20070119525A (ja)
CN (1) CN101090456B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009278578A (ja) * 2008-05-19 2009-11-26 Sony Corp 画像処理装置および画像処理方法
JP2011050430A (ja) * 2009-08-31 2011-03-17 Nidek Co Ltd 眼底画像処理装置
US8731327B2 (en) 2010-09-03 2014-05-20 Pentax Ricoh Imaging Company, Ltd. Image processing system and image processing method

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8130330B2 (en) * 2005-12-05 2012-03-06 Seiko Epson Corporation Immersive surround visual fields
JP2007325027A (ja) * 2006-06-01 2007-12-13 Oki Electric Ind Co Ltd 画像分割方法、画像分割装置、および画像分割プログラム
JP2008219141A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 動きベクトル検出装置、それを用いた画像符号化装置および撮像装置
FR2919143B1 (fr) * 2007-07-16 2009-10-23 Commissariat Energie Atomique Procede et dispositif de detection de mouvement a algorithme sigma-delta a seuil adaptatif
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
JP2009290827A (ja) * 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
US20110211633A1 (en) * 2008-11-12 2011-09-01 Ferran Valldosera Light change coding
US20110216828A1 (en) * 2008-11-12 2011-09-08 Hua Yang I-frame de-flickering for gop-parallel multi-thread viceo encoding
WO2010056327A1 (en) * 2008-11-13 2010-05-20 Thomson Licensing Multiple thread video encoding using hrd information sharing and bit allocation waiting
US8107750B2 (en) * 2008-12-31 2012-01-31 Stmicroelectronics S.R.L. Method of generating motion vectors of images of a video sequence
US9208690B2 (en) * 2009-03-18 2015-12-08 Saab Ab Calculating time to go and size of an object based on scale correlation between images from an electro optical sensor
BRPI0924384B1 (pt) * 2009-03-18 2024-01-30 Saab Ab Método e sistema de cálculo do tempo para chegada e do tamanho de um objeto com base em uma escala de correlação entre as imagens provenientes de um sensor eletro-óptico
US9113169B2 (en) * 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
EP3651466A1 (fr) * 2009-07-03 2020-05-13 Orange Prédiction d'un vecteur mouvement d'une partition d'image courante de forme géometrique ou de taille différente de celle d'au moins une partition d'image de référence voisine, codage et decodage utilisant une telle prediction
EP2523161A1 (en) * 2010-01-08 2012-11-14 Nec Corporation Similarity degree calculation device, similarity degree calculation method, and program
KR101682147B1 (ko) * 2010-04-05 2016-12-05 삼성전자주식회사 변환 및 역변환에 기초한 보간 방법 및 장치
JP2011254125A (ja) * 2010-05-31 2011-12-15 Sony Corp 画像処理装置、カメラシステム、画像処理方法、およびプログラム
KR101030744B1 (ko) * 2010-08-20 2011-04-26 엘아이지넥스원 주식회사 동영상 압축 장치 및 방법, 동영상 압축/복원 시스템 및 방법
EP2732615A1 (en) * 2011-07-13 2014-05-21 Entropic Communications, Inc. Method and apparatus for motion estimation in video image data
JP5988213B2 (ja) * 2011-11-28 2016-09-07 パナソニックＩｐマネジメント株式会社 演算処理装置
US8731335B2 (en) * 2011-11-28 2014-05-20 Ati Technologies Ulc Method and apparatus for correcting rotation of video frames
CN103150542A (zh) * 2011-12-06 2013-06-12 联咏科技股份有限公司 在动态图像中搜寻移动小物体的方法
WO2013105791A1 (ko) * 2012-01-09 2013-07-18 삼성전자 주식회사 움직임 벡터 정규화에 기초한 영상의 부호화 방법 및 장치, 영상의 복호화 방법 및 장치
TWI466538B (zh) * 2012-01-20 2014-12-21 Altek Corp 影像處理方法及其裝置
ITVI20120087A1 (it) 2012-04-17 2013-10-18 St Microelectronics Srl Stabilizzazione video digitale
JP6074198B2 (ja) * 2012-09-12 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
US9111444B2 (en) * 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
KR101749925B1 (ko) * 2012-12-05 2017-06-23 한화테크윈 주식회사 영상 처리 방법 및 장치
US9596481B2 (en) * 2013-01-30 2017-03-14 Ati Technologies Ulc Apparatus and method for video data processing
JP6135220B2 (ja) * 2013-03-18 2017-05-31 富士通株式会社 動画処理装置、動画処理方法および動画処理プログラム
CN104122770A (zh) * 2013-04-27 2014-10-29 京东方科技集团股份有限公司 一种偏差补正方法和装置
WO2015177845A1 (ja) * 2014-05-19 2015-11-26 株式会社島津製作所 画像処理装置
JP6370140B2 (ja) * 2014-07-16 2018-08-08 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体
CN104182940B (zh) * 2014-08-20 2017-04-19 阔地教育科技有限公司 一种模糊图像恢复方法及系统
JP6390275B2 (ja) * 2014-09-01 2018-09-19 株式会社ソシオネクスト 符号化回路、符号化方法
JP6394876B2 (ja) * 2014-09-17 2018-09-26 株式会社ソシオネクスト 符号化回路、符号化方法
CN107409167B (zh) * 2015-01-15 2020-01-21 株式会社岛津制作所 图像处理装置
US20160232672A1 (en) * 2015-02-06 2016-08-11 Qualcomm Incorporated Detecting motion regions in a scene using ambient-flash-ambient images
JP6497987B2 (ja) * 2015-03-12 2019-04-10 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
TWI562635B (en) * 2015-12-11 2016-12-11 Wistron Corp Method and Related Camera Device for Generating Pictures with Object Moving Trace
WO2018051629A1 (ja) * 2016-09-14 2018-03-22 富士フイルム株式会社 撮像装置及び撮像制御方法
US11240407B2 (en) * 2016-10-31 2022-02-01 Eizo Corporation Image processing device, image display device, and program
CN106651918B (zh) * 2017-02-16 2020-01-31 国网上海市电力公司 抖动背景下的前景提取方法
JP6932531B2 (ja) * 2017-03-28 2021-09-08 キヤノン株式会社 像ブレ補正装置、撮像装置および撮像装置の制御方法
EP3613015A4 (en) 2017-04-21 2021-02-24 Zenimax Media Inc. SYSTEMS AND PROCEDURES FOR TOY GENERATED MOTION VECTORS
GB2562529B (en) * 2017-05-18 2019-12-11 Samsung Electronics Co Ltd Method and apparatus for stabilising 360 degree video
WO2018212514A1 (ko) * 2017-05-18 2018-11-22 삼성전자 주식회사 360도 영상을 처리하는 방법 및 장치
CN109672818B (zh) * 2017-10-16 2020-12-22 华为技术有限公司 一种调整图像质量的方法及装置
CN108648173A (zh) * 2018-03-30 2018-10-12 湖北工程学院 合拼面膜位置校正方法和装置
JP7319365B2 (ja) 2018-11-22 2023-08-01 北京字節跳動網絡技術有限公司 サブブロックに基づくインター予測のための調整方法
CN109788200B (zh) * 2019-01-31 2021-04-06 长安大学 一种基于预测分析的摄像稳定控制方法
RU2701058C1 (ru) * 2019-04-12 2019-09-24 Общество с ограниченной ответственностью "Научно-производственная фирма "САД-КОМ" Способ компенсации движения и устройство для его реализации
CN110458820A (zh) * 2019-08-06 2019-11-15 腾讯科技（深圳）有限公司 一种多媒体信息植入方法、装置、设备及存储介质
WO2021027862A1 (en) * 2019-08-13 2021-02-18 Beijing Bytedance Network Technology Co., Ltd. Motion precision in sub-block based inter prediction
JP7481430B2 (ja) 2019-08-13 2024-05-10 北京字節跳動網絡技術有限公司 サブブロックに基づくインター予測における動き精度
TWI733188B (zh) * 2019-09-11 2021-07-11 瑞昱半導體股份有限公司 用於獨立物件之運動估計的裝置以及方法
CN114762330A (zh) 2019-09-22 2022-07-15 北京字节跳动网络技术有限公司 视频的子图片编码和解码
CN112084286B (zh) * 2020-09-14 2021-06-29 智慧足迹数据科技有限公司 空间数据处理方法、装置、计算机设备及存储介质
CN112422773B (zh) * 2020-10-19 2023-07-28 慧视江山科技(北京)有限公司 基于块匹配的电子稳像方法及系统
CN112383677B (zh) * 2020-11-04 2023-04-28 三星电子（中国）研发中心 视频处理方法及装置
US11494881B2 (en) * 2020-12-29 2022-11-08 Hb Innovations, Inc. Global movement image stabilization systems and methods

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07283999A (ja) 1994-04-07 1995-10-27 Sony Corp 画像合成装置及び画像撮影装置
JP3006560B2 (ja) 1997-09-10 2000-02-07 日本電気株式会社 位置合わせ装置及び位置合わせプログラムを記録したコンピュータが読み取り可能な記録媒体
JP3679988B2 (ja) * 2000-09-28 2005-08-03 株式会社東芝 画像処理装置及び画像処理方法
JP4639555B2 (ja) 2001-08-31 2011-02-23 ソニー株式会社 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
CN1332556C (zh) * 2002-12-26 2007-08-15 三菱电机株式会社 修正抖动的图像处理装置和图像处理方法
JP4613510B2 (ja) 2003-06-23 2011-01-19 ソニー株式会社 画像処理方法および装置、並びにプログラム
JP4340968B2 (ja) * 2004-05-07 2009-10-07 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4408779B2 (ja) * 2004-09-15 2010-02-03 キヤノン株式会社 画像処理装置
JP4507855B2 (ja) * 2004-11-25 2010-07-21 ソニー株式会社 撮影装置の制御方法および制御装置、並びに制御プログラム
JP4695972B2 (ja) * 2005-12-14 2011-06-08 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法
JP4620607B2 (ja) * 2006-02-24 2011-01-26 株式会社モルフォ 画像処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009278578A (ja) * 2008-05-19 2009-11-26 Sony Corp 画像処理装置および画像処理方法
JP4506875B2 (ja) * 2008-05-19 2010-07-21 ソニー株式会社 画像処理装置および画像処理方法
US8885715B2 (en) 2008-05-19 2014-11-11 Sony Corporation Image processing apparatus and image processing method
JP2011050430A (ja) * 2009-08-31 2011-03-17 Nidek Co Ltd 眼底画像処理装置
US8731327B2 (en) 2010-09-03 2014-05-20 Pentax Ricoh Imaging Company, Ltd. Image processing system and image processing method

Also Published As

Publication number Publication date
CN101090456A (zh) 2007-12-19
US20080175439A1 (en) 2008-07-24
US7817185B2 (en) 2010-10-19
CN101090456B (zh) 2011-12-07
KR20070119525A (ko) 2007-12-20
EP1868389A2 (en) 2007-12-19
JP4178480B2 (ja) 2008-11-12

Similar Documents

Publication Publication Date Title
JP4178480B2 (ja) 画像処理装置、画像処理方法、撮像装置および撮像方法
JP4178481B2 (ja) 画像処理装置、画像処理方法、撮像装置および撮像方法
JP4304528B2 (ja) 画像処理装置および画像処理方法
JP4655957B2 (ja) 撮像画像の歪み補正方法、撮像画像の歪み補正装置、撮像方法および撮像装置
JP4340915B2 (ja) 撮像画像信号の歪み補正方法、撮像画像信号の歪み補正装置、撮像方法および撮像装置
US7692688B2 (en) Method for correcting distortion of captured image, device for correcting distortion of captured image, and imaging device
JP4882956B2 (ja) 画像処理装置および画像処理方法
JP4754939B2 (ja) 画像処理装置
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
JP2009071689A (ja) 画像処理装置、画像処理方法および撮像装置
WO2011129249A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP2009105533A (ja) 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法
US20080218606A1 (en) Image processing device, camera device, image processing method, and program
JP4904925B2 (ja) 画像処理装置および画像処理方法
JP4670630B2 (ja) 画像処理装置、画像処理方法、撮像装置および撮像方法
JP2007323458A (ja) 画像処理装置および画像処理方法
JP2006279144A (ja) 歪補正装置
JP2009116763A (ja) 画像処理装置および画像データのメモリアクセス方法
JP4998134B2 (ja) 画像処理装置および画像処理方法
JP4888306B2 (ja) 画像処理装置および画像処理方法
JP2020088419A (ja) 撮像装置、画像補正方法、プログラム
JP2009065323A (ja) 画像処理装置、画像処理方法、撮像装置および撮像方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080731

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080813

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120905

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees