JP2009071759A - 手振れ補正システム - Google Patents

Abstract

【課題】手振れ補正して撮像した映像に対して、再生装置上でマッチング法の欠点を取り除いた高性能な電子式手振れ補正を実現する。
【解決手段】再生装置２０は、撮像装置により手振れ補正して撮像された映像信号を符号化した映像符号化ストリームと、手振れ補正して得られる振れ補正量とが撮像装置から入力される。復号部２１は映像符号化ストリームを復号する。手振れ補正部２４は、動きベクトル検出部２２から供給された各分割領域のマッチング処理に利用した相関値情報と動きベクトル、及び撮像装置から転送された振れ補正量とに基づいて、手振れと画像の動きの混合した値の動きベクトルを有する画像部分が存在したとしても、その画像部分の平均動きベクトルが振れ補正量と類似していないことを判定して無効グループと決定して手振れ補正に用いないことで、従来のマッチング法に比べて正確な手振れ補正を行う。
【選択図】図２

Description

本発明は手振れ補正システムに係り、特に角速度センサ等の振動検出センサを利用する撮像装置で保存した映像に対して、映像再生を行う再生装置で手振れ補正を行う手振れ補正システムに関する。

近年、ビデオカメラ等の撮像装置に適用され、撮像装置に生じた手振れを検出し、その検出した手振れに応じて、撮像した画像の手振れ補正を行う手振れ補正装置が一般的に知られている（例えば、特許文献１参照）。

この一般的な手振れ補正装置では、ビデオカメラ等の撮像装置に角速度センサ等の振動検出センサを備えており、この振動検出センサの出力値により手振れの振れ角速度を算出し、算出した振れ角速度を積分することによって振れ角度を算出する。そして、この振れ角度を打ち消すように補正量を算出し、算出した補正量に基づいて撮影光学系に配置された補正レンズを制御することにより光学式の手振れ補正を行う。あるいは、算出した補正量に基づいて撮像素子の読み出し位置を変更することで電子式の手振れ補正を行う。

また、動画像の手振れ補正性能を向上させるために、ブロックマッチングあるいは代表点マッチング法を用いた電子式の手振れ補正装置も従来知られている（例えば、特許文献２参照）。更に、より高性能な補正ができるように、光学式手振れ補正方式と電子式手振れ補正方式を併用するハイブリッド方式の手振れ補正装置も提案されている（例えば、特許文献３参照）。

特開２００６−１７１０８２号公報 特許第２９４４３６９号公報 特開平５−１４８０１号公報

しかしながら、振動検出センサを用いた手振れ補正装置では、ブロックマッチングあるいは代表点マッチング法を用いた電子式手振れ補正装置に比べ、振動検出センサのノイズ等の影響で完璧に画像を静止させることができない。両者の差は光学倍率が高くなるにつれ、顕著に現れる。

一方、マッチング法を用いた手振れ補正装置では、時間的に連続する画像間の相関をみることから、２枚以上の画像を用いた１フィールド単位の補正しかできない。このため、この方式は動画撮影時のみ利用され、１枚しか画像が存在しない静止画の撮影には不適だとされている。しかし、最近のビデオカメラは静止画撮影にも力を入れているため、静止画撮影にも適用できるように、振動検出センサを用いてレンズの揺れ量を検出し、その揺れ量に応じて１フィールド期間に数回レンズを微小に動かして撮影する位置を微妙にずらすレンズ補正制御を行う光学式手振れ補正方式を搭載したビデオカメラが市場に増えてきている。

また、光学式手振れ補正方式と電子式手振れ補正方式を併用するハイブリッド方式は回路規模の増大を導く。特に、光学倍率が低いときは、手振れ自体それほど目立たないため、光学式手振れ補正のみでも十分であり、複数の手振れ補正方式を兼ね備える必要はない。しかし、光学倍率が高いときは、動画像の振れをより精度良く補正したいという要求が生じる。

一方、撮像装置に備えられた光学式あるいは電子式の手振れ補正装置は、リアルタイム制御にて手振れ補正を行うため、時間的拘束やハード規模などの制約があり、十分な手振れ補正ができず、また手振れの上限値が定められているので、上限値よりも大きな手振れは補正しきれない。

以上の点から、撮像装置においてリアルタイム制御にて手振れ補正をして撮影して記録媒体に保存した動画像に対し、更に映像再生装置で処理時間の制約なしにマッチング法を用いた手振れ補正を行うことがある。この機能により、保存済みの画像に対し、光学倍率が高くても、また手振れが大きくても動画像の振れをより精度良く補正して再生することが可能である。

しかしながら、マッチング法を用いた手振れ補正方式がすべての図柄に対して万能であるかというと、そうではない。画像内に動く物体が存在するとき、マッチング法では手振れ成分と動く物体成分を区別できず、両者が混合してしまい補正が十分に行えないという欠点が常に存在する。

本発明は上記の点に鑑みてなされたものであり、手振れ補正して撮像した映像に対して、再生装置上でマッチング法の欠点を取り除いた高性能な電子式手振れ補正を実現する手振れ補正システムを提供することを目的とする。

本発明は上記目的を達するため、手振れ補正のための振れ検出機能を少なくとも備えた撮像装置と、撮像装置で撮像した画像を手振れ補正して再生する再生装置とからなる手振れ補正システムであって、
上記撮像装置は、
本装置に生じる振れを検出する振れ検出手段と、振れ検出手段より検出した振れを所定周期毎にサンプリングし、振れを打ち消す補正量を算出する補正量算出手段と、被写体像を撮像素子により光電変換して得られた映像信号を符号化して映像符号化ストリームを生成する映像符号化手段と、映像符号化ストリームと補正量とを転送する転送手段とを有し、上記再生装置は、
撮像装置から転送された映像符号化ストリームを復号する復号手段と、復号手段から出力された映像信号による画像の一画面の領域を複数のブロックに分割する分割手段と、複数のブロックのそれぞれについて、マッチング法により動きベクトルを検出する動きベクトル検出手段と、動きベクトル検出手段において複数のブロックのそれぞれについてマッチング法による処理に利用した相関値情報及び動きベクトルと、転送手段から転送された補正量とに基づいて、画面全体の動きベクトルを求める手振れ補正手段と、復号手段から出力された映像信号による画像の振れを、画面全体の動きベクトルを用いて補正する振れ補正手段とを有することを特徴とする。

ここで、上記撮像装置は、上記映像符号化手段から出力された映像符号化ストリームと補正量算出手段により算出された補正量とを保存する補助記憶手段を更に有し、上記転送手段は、補助記憶手段に保存された映像符号化ストリームと補正量とを転送する手段としてもよい。また、上記補助記憶手段は、補正量を映像符号化ストリームとは別ファイルとして、又は補正量を映像符号化ストリームに多重して記録媒体に保存する手段であってもよい。

また、上記の目的を達成するため、上記の手振れ補正手段は、
動きベクトル検出手段で動きベクトルを検出するときに、代表点マッチング法で得られる相関値情報を用いて、動きベクトルが検出された各ブロックの信頼性を判定するブロック信頼性判定手段と、ブロック信頼性判定手段により信頼性有りと判定された複数のブロックについて、検出された動きベクトルの値が類似するブロック毎にグループ化するグループ化手段と、グループ化手段により得られたグループのそれぞれについて、同一グループに属する全てのブロックの動きベクトルの平均値である平均動きベクトルを算出する平均動きベクトル算出手段と、グループ毎の平均動きベクトルのそれぞれについて、撮像装置から転送された補正量と比較し、その中で補正量と類似の平均動きベクトル値を示すグループを有効グループと決定するグループ信頼性判定手段と、グループ信頼性判定手段により決定された有効グループの平均動きベクトルを用いて、画面全体の動きベクトルを検出する全体動きベクトル検出手段とからなる構成であってもよい。

この発明では、撮像装置において振れ検出手段より検出した振れを所定周期毎にサンプリングして算出した振れを打ち消す補正量と、被写体像を撮像素子により光電変換して得られた映像信号を符号化して得た映像符号化ストリームとを補助記憶手段に保存する。

一方、再生装置では、上記の撮像装置から転送された映像符号化ストリームを復号して得た画像の一画面を複数のブロックに分割し、ブロック毎の動きベクトルをブロックマッチング法あるいは代表点マッチング法により検出する。そして、ブロック毎に動きベクトルの信頼性を判定し、信頼性があると判定したブロックの動きベクトルをその向きと大きさの類似性によりグループ化する。一画面内に複数のグループが存在する場合は、そのうちの一つのグループが手振れ成分のある画像のグループで、残りのグループは非被写体である動く物体、あるいは、誤検出した信頼性に乏しい動きの画像部分のグループである。

また、撮像装置から転送された振れ量は精度こそ今ひとつであるかもしれないが、複数あるグループを区別するには十分な性能を保持しているので、この発明ではグループ毎の平均動きベクトルのそれぞれについて、撮像装置から転送された補正量と比較し、その中で補正量と類似の平均動きベクトル値を示すグループを有効グループと決定し、その有効グループの平均動きベクトルを用いて、画面全体の動きベクトルを検出する。この復号手段から出力された映像信号による画像の振れを、画面全体の動きベクトルを用いて補正する。

本発明によれば、従来のマッチング法では手振れ補正が十分に行えない、手振れとトラックの動きの混合した値の動きベクトルを有する画像部分が存在したとしても、従来のマッチング法に比べて正確な手振れ補正ができ、これにより、保存済みの画像に対し、光学倍率が高くても、また手振れが撮像装置の手振れ補正では取りきれないほど大きくても、動画像の振れをより精度良く補正して再生することができる。

次に、本発明の実施の形態について図面と共に詳細に説明する。

図１は本発明になる手振れ補正システムの要部である撮像装置の一実施の形態のブロック図、図２は本発明になる手振れ補正システムの他の要部である再生装置の一実施の形態のブロック図を示す。本実施の形態の手振れ補正システムは、図１の撮像装置１０と図２の再生装置２０とからなる。

図１において、撮像装置１０は、撮像素子の一例としてのＣＣＤ（Charge Coupled Devise）１１と、公知の撮像信号処理を行う信号処理部１２と、映像信号を所定の符号化方式で符号化する符号化部１３と、符号化部１３で符号化して得られた映像符号化ストリームと手振れ補正部１６からの補正量とを任意の記録媒体に記録する補助記録部１４と、振動検出センサの一例としての角速度センサ１５と、角速度センサ１５からの検出信号により手振れを公知の方法で補正する手振れ補正部１６と、手振れ補正信号に基づいて補正制御信号を生成する補正制御部１７と、補正制御信号に基づいて光学式手振れ補正を行う補正光学系１８と、補助記録部１４で記録された信号を外部へ転送する転送部１９とより構成される。

次に、この撮像装置１０の動作について説明する。補正光学系１８を含む光学系を透過してＣＣＤ１１の受光面に結像した被写体像は、ここで光電変換されて電気信号である撮像信号に変換された後、信号処理部１２に供給されて相関二重サンプリング（ＣＤＳ）によるノイズ低減処理、ホワイトバランス補正、ガンマ補正処理などの撮像信号に対する公知の信号処理を受けて符号化部１３に供給され、ここで公知の符号化方式で符号化されて映像符号化ストリームとなる。

一方、角速度センサ１５は、この撮像装置１０の揺れ（手振れ）を検出して、その検出成分を例えば１フィールド期間内で１６回の割合の周期でサンプリングした値を生成して、手振れ補正部１６に供給する。手振れ補正部１６は、角速度センサ１５から供給された手振れ検出値の不要帯域をフィルタにて除去した後に、積分し更に信号値の大きさを調整することで、上記の振れを打ち消す振れ補正量を算出する。この手振れ補正部１６による振れ補正量算出動作は公知である。

補正制御部１７は、手振れ補正部１６から出力された振れ補正量が供給され、ここで振れ補正量に応じて、レンズ等の補正光学系１８を制御して、ＣＣＤ１１に入射する被写体像の位置を角速度センサ１５で検出された手振れを打ち消すように変位させることで、リアルタイムで手振れを光学式に補正する。

また、手振れ補正部１６から出力された振れ補正量は、符号化部１３から出力された映像符号化ストリームと共に、補助記録部１４に供給されて記録媒体に記録される。ここで、補助記録部１４は、上記の振れ補正量を上記の映像符号化ストリームと別ファイルとして記録媒体に一緒に記録するか、又は映像符号化ストリームに多重して記録媒体に記録する。このようにして、補助記録部１４において記録された振れ補正量と映像符号化ストリームとからなるファイルは、それぞれ任意のタイミングで転送部１９から図２の再生装置２０へ転送される。

なお、角速度センサ１５のサンプリング周期は上記の例に限定されるものではない。また、手振れ補正は、センサを用いて補正量を算出しフィールド単位にメモリ上で補正してもよいし、また、全く手振れ補正を行わなくても構わない。更に、振動検出手段として角速度センサ１５を利用しているが、この代わりに角加速度センサ等を利用してもよい。

次に、再生装置２０について説明する。図２に示すように、再生装置２０は、映像符号化ストリームの復号を行う復号部２１と、復号輝度信号に基づいてマッチング法を適用して動きベクトルを検出する動きベクトル検出部２２と、メモリ２３と、所定の方法で手振れ補正を行う手振れ補正部２４とから構成され、撮像装置１０で既に撮影されて保存した映像に対して、本実施形態特有のマッチング法にて更に手振れ補正を行う。この再生装置２０は、例えばコンピュータプログラムにより実現されるが、コンピュータプログラムに限定されるものではない。

次に、再生装置２０の動作について説明する。図１の転送部１９から再生装置２０に転送された振れ補正量と映像符号化ストリームとからなるファイルは、映像符号化ストリームが復号部２１に供給され、振れ補正量が手振れ補正部２４に供給される。復号部２１は、供給された映像符号化ストリームを復号して、被写体画像の輝度信号Ｙ、色信号Ｃｂ及び色信号Ｃｒ（以下、ＹＣｂＣｒ信号という）を生成してメモリ２３に供給すると共に、輝度信号Ｙは更に動きベクトル検出部２２にも供給する。

動きベクトル検出部２２は、周知の代表点マッチング法を用いて、輝度信号Ｙによる画像を複数の分割領域に分割し、各分割領域毎に探索範囲内でマッチング処理を行い、各分割領域毎に相関値情報を算出して、連続する２つの画像の対応する分割領域の相対位置関係を示す動きベクトルを検出する。この際の画像単位は復号単位に一致し、フィールド単位でもフレーム単位でも構わない。図４は画像の分割例を示す。図４では、一画面の画像領域が、縦方向４分割、横方向４分割の計１６個の分割領域に分割されている。

手振れ補正部２４は、後述するように、動きベクトル検出部２２から供給された各分割領域のマッチング処理に利用した相関値情報と動きベクトル、及び撮像装置１０から転送された振れ補正量とに基づいて、画面全体の動きベクトルを求め、それをメモリ２３に読み出しアドレスとして出力する。ただし、ユーザーが手振れ補正処理を選択しない場合は、動きベクトル検出部２２及び手振れ補正部２４の処理はスルーとし、常に同じ位置（すなわち、画像先頭）より画像を読み出す。

なお、メモリ２３から読み出しを行うときは、電子式の手振れ補正のためにある程度のメモリ容量を使用するため、メモリ２３から読み出す画像のサイズは、元のサイズより小さくなる。このため、メモリ２３から読み出した画像に拡大処理を施して、元のサイズと同じにしてもよい。

次に、本実施の形態の特徴である手振れ補正部２４の構成及び動作について更に詳細に説明する。図３は図２の手振れ補正部２４の一実施の形態のブロック図を示す。図３に示すように、手振れ補正部２４は、動きベクトル検出部２２から各分割領域（以下、ブロックともいう）のマッチング処理に利用した相関値情報と動きベクトルとが供給されるブロック信頼性判定部２４１と、ブロック信頼性判定部２４１の判定結果に基づいて、有効ブロックをグループ分けする有効ブロックのグループ類別部２４２と、各グループの平均動きベクトルを算出するグループの平均動きベクトル算出部２４３と、グループの平均動きベクトル算出部２４３で算出されたグループ毎の平均動きベクトルと、撮像装置１０の転送部１９から転送された振れ補正量３１とを比較し、グループの信頼性を判定するベクトル比較によるグループ信頼性判定部２４４と、有効であると判定したグループの平均動きベクトルを用いて、画面全体の動きベクトルを検出する画面全体の動きベクトル検出部２４５とから構成される。

次に、図３の構成の手振れ補正部２４の動作について説明する。まず、ブロック信頼性判定部２４１は、動きベクトル検出部２２から供給された各分割領域（各ブロック）のマッチング処理に利用した相関値情報と、各分割領域（各ブロック）毎に検出された動きベクトルのうち、相関値の最小値、平均値、勾配等を公知の方法で算出して各ブロックの信頼性判定を行い、信頼性有りと判定したブロックは有効ブロックとし、信頼性無しと判定したブロックは無効ブロックと決定する。無効ブロックは以降の処理には利用しない。

次に、有効ブロックのグループ類別部２４２は、ブロック信頼性判定部２４１で判定された各有効ブロックに対して、動きベクトルが類似している有効ブロック同士をグループ分けする。具体的には、下記のように比較する２つの有効ブロック１及び２のうち、有効ブロック１の動きベクトルが（Ｘ１、Ｙ１）、有効ブロック２の動きベクトルが（Ｘ２、Ｙ２）で表されるものとすると、それら動きベクトルの水平方向、垂直方向の差分絶対値和を算出して任意の値αと比較する。

｜Ｘ１−Ｘ２｜＋｜Ｙ１−Ｙ２｜＜α
上記の不等式が成立する場合、すなわち、動きベクトルの水平方向、垂直方向の差分絶対値和が任意の値αより小さい時は、比較する２つの有効ブロック１及び２は同じグループであると判定する。以下、同様にして、有効ブロックのグループ類別部２４２は、ブロック信頼性判定部２４１で判定された全ての有効ブロックに対して、上記の方法でグループ分けを行う。

図５は上記のグループ分けをした一画像例を示す。図５において、一画面は縦方向４ブロック、横方向４ブロックの計１６個のブロックに分割されており（図４のブロック（１）〜に相当）、このうち空を示す１行目の右側２個のブロック（図４のブロック（３）、（４）に相当）はブロック信頼性判定部２４１で無効ブロック４３と判定され、また、地面の画像を示す４行目の４個のブロック（図４のブロック〜に相当）もブロック信頼性判定部２４１で無効ブロック４４と判定されている。

一方、静止している人物の被写体とその背景の画像を示す１行目〜３行目の左側２個ずつ計６個の有効ブロック（図４のブロック（１）、（２）、（５）、（６）、（９）、に相当）は、手振れを示す動きベクトルＭＶ１と類似した動きベクトルを有する同じ第１のグループ４１に属する。また、右から左方向に移動している貨物自動車（トラック）の画像を示す２行目〜３行目の右側２個ずつ計４個の有効ブロック（図４のブロック（７）、（８）、、（１２）に相当）は、手振れと上記貨物自動車の画像の動きの混合した値の動きベクトルＭＶ２と類似した動きベクトルを有する同じ第２のグループ４２に属する。

再び図３に戻って説明する。グループの平均動きベクトル算出部２４３は、有効ブロックのグループ類別部２４２で同じグループと判定された各グループ毎に、そのグループに属する全てのブロックの動きベクトルから平均動きベクトルを算出する。

次に、ベクトル比較によるグループ信頼性判定部２４４は、グループの平均動きベクトル算出部２４３で算出された各グループ毎の平均動きベクトルのそれぞれについて、撮像装置１０から転送された角速度センサ１５より求めた振れ補正量３１と比較し、その中で振れ補正量３１と類似の平均動きベクトル値を示すグループを有効グループと決定し、それ以外のグループを無効グループと決定する。

このベクトル比較によるグループ信頼性判定部２４４の動作について、図６の画像例と共に具体的に説明する。図６の画像例は図５の画像例と同じであり、図６において、図５と同一部分には同一符号を付し、その説明を省略する。ベクトル比較によるグループ信頼性判定部２４４では、図６の画像の外側の右側に矢印Ａで模式的に示す振れ補正量３１のベクトル値が（Ｘｃｅｎ、Ｙｃｅｎ）で表され、この振れ補正量３１と比較する第１のグループ４１の平均動きベクトルＭＶ１１が（Ｘｇｒｐ１、Ｙｇｒｐ１）で表され、第２のグループ４２の平均動きベクトルＭＶ１２が（Ｘｇｒｐ２、Ｙｇｒｐ２）で表されるものとすると、比較する２つの動きベクトルの水平方向、垂直方向の差分絶対値和を算出して、それぞれを任意の値βと比較する。

ここでは、
｜Ｘｇｒｐ１−Ｘｃｅｎ｜＋｜Ｙｇｒｐ１−Ｙｃｅｎ｜＜β
｜Ｘｇｒｐ２−Ｘｃｅｎ｜＋｜Ｙｇｒｐ２−Ｙｃｅｎ｜＞β
なる比較結果が得られる。第２のグループ４２は手振れ成分による動きベクトルだけでなく、貨物自動車の画像の移動による動きベクトルの混合した値の動きベクトルに類似したブロックからなるため、その平均動きベクトルＭＶ１２と振れ補正量のベクトル値の差分絶対値和の値がβより大きい。これにより、ベクトル比較によるグループ信頼性判定部２４４は、振れ補正量３１と類似の平均動きベクトル値を示す第１のグループ４１を有効グループと決定し、振れ補正量３１と非類似の平均動きベクトル値を示す第２のグループ４２を無効グループと決定する。

図３の画面全体の動きベクトル検出部２４５は、ベクトル比較によるグループ信頼性判定部２４４において、図６に示した無効と判定された第２のグループ４２は画面全体の動きベクトル算出より除外し、有効と判定された第１のグループ４１の平均動きベクトルＭＶ１１を画面全体の動きベクトルＭＶと検出する。この画面全体の動きベクトルＭＶは図２のメモリ２３の読み出しアドレスに変換されてメモリ２３に供給される。

なお、図６の例では、２つあるグループ４１及び４２のうち、一方のグループ４１を有効と判定し、かつ、他方のグループ４２を無効と判定したため、有効グループは一つしかなく、画面全体の動きベクトルＭＶは有効グループ４１の平均動きベクトルＭ１１と等しくなるが、有効グループが複数存在する場合は、その有効グループ毎の平均動きベクトルの更に平均を画面全体の動きベクトルとする。

このように、本実施の形態によれば、撮像装置１０において、リアルタイム制御にて手振れ補正をして撮影して記録媒体に保存した動画像に対し、更に再生装置２０で処理時間の制約なしに電子的に手振れ補正した画像を得る際に、図５、図６に示すように、従来のマッチング法では手振れ補正が十分に行えない、手振れと貨物自動車の画像の動きの混合した値の動きベクトルＭＶ２を有する画像部分が存在したとしても、その画像部分（グループ）の平均動きベクトルが角速度センサ１５からの振れ補正量３１と類似していないことを判定して無効グループと決定して手振れ補正に用いないようにしているため、従来のマッチング法に比べて正確な手振れ補正ができ、これにより、保存済みの画像に対し、光学倍率が高くても、また手振れが撮像装置１０の手振れ補正では取りきれないほど大きくても、動画像の振れをより精度良く補正して再生することができる。

なお、本発明は上記の実施の形態に限定されるものではなく、例えば、上記の実施の形態では、動く物体の画像部分（グループ）を除去する例について説明したが、ブロック信頼性判定で誤判定を下された実際の動きとは異なる動きベクトルより成るグループに関しても、本発明は同様に除去できる。

また、上記の実施の形態では、撮像装置１０で振れ補正量まで算出したが、撮像装置で手振れ補正処理を行わない場合は、サンプリングした角加速度センサ信号をそのまま再生装置１０に転送してもよい。更に、再生装置２０は再生機能だけでなく、コンピュータプログラムにおいて補正した画像を更に保存する機能を有するようにしてもよい。また、更に、上記の実施の形態では、再生装置２０を撮像装置１０とは別途設けるようにしているが、撮像装置１０に再生装置２０を組み込むようにしてもよい。

本発明の手振れ補正システムの要部である撮像装置の一実施の形態のブロック図である。 本発明の手振れ補正システムの他の要部である再生装置の一実施の形態のブロック図である。 図２中の手振れ補正部２４の一実施の形態のブロック図である。 画面のブロック分割を説明する図である。 図３の有効ブロックのグループ類別部の動作を具体的に説明する画像例を示す図である。 図３のベクトル比較によるグループ信頼性判定部の動作を具体的に説明する画像例を示す図である。

符号の説明

１０ 撮像装置
１１ ＣＣＤ（撮像素子）
１３ 符号化部
１４ 補助記録部
１５ 角速度センサ
１６、２４ 手振れ補正部
１７ 補正制御部
１８ 補正光学系
２０ 再生装置
２１ 復号部
２２ 動きベクトル検出部
２３ メモリ
４１、４２ グループ
４３、４４ 無効ブロック
２４１ ブロック信頼性判定部
２４２ 有効ブロックのグループ類別部
２４３ グループの平均動きベクトル算出部
２４４ ベクトル比較によるグループ信頼性判定部
２４５ 画面全体の動きベクトル検出部

Claims (4)

1. 手振れ補正のための振れ検出機能を少なくとも備えた撮像装置と、前記撮像装置で撮像した画像を手振れ補正して再生する再生装置とからなる手振れ補正システムであって、
   前記撮像装置は、
   本装置に生じる振れを検出する振れ検出手段と、
   前記振れ検出手段より検出した振れを所定周期毎にサンプリングし、前記振れを打ち消す補正量を算出する補正量算出手段と、
   被写体像を撮像素子により光電変換して得られた映像信号を符号化して映像符号化ストリームを生成する映像符号化手段と、
   前記映像符号化ストリームと前記補正量とを転送する転送手段と、
   を有し、前記再生装置は、
   前記撮像装置から転送された前記映像符号化ストリームを復号する復号手段と、
   前記復号手段から出力された映像信号による画像の一画面の領域を複数のブロックに分割する分割手段と、
   前記複数のブロックのそれぞれについて、マッチング法により動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトル検出手段において前記複数のブロックのそれぞれについて前記マッチング法による処理に利用した相関値情報及び動きベクトルと、前記転送手段から転送された前記補正量とに基づいて、画面全体の動きベクトルを求める手振れ補正手段と、
   前記復号手段から出力された映像信号による画像の振れを、前記画面全体の動きベクトルを用いて補正する振れ補正手段と
   を有することを特徴とする手振れ補正システム。
2. 前記撮像装置は、前記映像符号化手段から出力された前記映像符号化ストリームと前記補正量算出手段により算出された補正量とを保存する補助記憶手段を更に有し、前記転送手段は、前記補助記憶手段に保存された前記映像符号化ストリームと前記補正量とを転送する手段であることを特徴とする請求項１記載の手振れ補正システム。
3. 前記補助記憶手段は、前記補正量を前記映像符号化ストリームとは別ファイルとして、又は前記補正量を前記映像符号化ストリームに多重して記録媒体に保存する手段であることを特徴とする請求項２記載の手振れ補正システム。
4. 前記手振れ補正手段は、
   前記動きベクトル検出手段で前記動きベクトルを検出するときに、前記代表点マッチング法で得られる相関値情報を用いて、前記動きベクトルが検出された各ブロックの信頼性を判定するブロック信頼性判定手段と、
   前記ブロック信頼性判定手段により信頼性有りと判定された複数のブロックについて、検出された動きベクトルの値が類似するブロック毎にグループ化するグループ化手段と、
   前記グループ化手段により得られたグループのそれぞれについて、同一グループに属する全てのブロックの動きベクトルの平均値である平均動きベクトルを算出する平均動きベクトル算出手段と、
   前記グループ毎の前記平均動きベクトルのそれぞれについて、前記撮像装置から転送された前記補正量と比較し、その中で補正量と類似の平均動きベクトル値を示すグループを有効グループと決定するグループ信頼性判定手段と、
   前記グループ信頼性判定手段により決定された前記有効グループの平均動きベクトルを用いて、前記画面全体の動きベクトルを検出する全体動きベクトル検出手段と、
   からなることを特徴とする請求項１乃至３のうちいずれか一項記載の手振れ補正システム。

Images