JP2007122232A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】手ぶれ補正を行わずに記録された動画像の再生の際の手ぶれ補正処理による負荷を好適に軽減する。
【解決手段】撮像装置１００であって、ＭＰＥＧ方式により符号化された符号化動画像データから動画像データに復号する復号部４と、動画像を構成する複数の画像フレームＦのマクロブロックのうち、ＭＢ選択処理部６２により選択された全体動きベクトルの推定に適したマクロブロックの動きベクトルを取得するとともに、当該動きベクトルに基づいて画像フレームの全体動きベクトルを推定するぶれ量計算部６３と、推定された全体動きベクトルに基づいて、動画像の再生の際に手ぶれ補正を行う手ぶれ補正処理部６とを備える。
【選択図】図１

Description

本発明は、動画像の手ぶれを補正する画像処理装置及びプログラムに関する。

従来、デジタルカメラ等の撮像装置として、動画像の撮像により生じた手ぶれを画像処理にて補正する、所謂、手ぶれ補正を行ってから動画ファイルとして記録するものが知られている。
また、撮像の際に手ぶれ補正を行わずに記録した動画ファイルに対しても、動画像の再生の際に動きを検出して手ぶれ補正を行う装置も開発されている（例えば、特許文献１参照）。
特開平１０−１３６３０４号公報

ところで、上記特許文献１等の場合、動画像の再生の際に一の画像フレームにおける特徴部分を探索して、当該特徴部分を前後の画像フレームと比較することで各部の動きを検出し、これら各部の動きから画像フレーム全体の動きを検出するようになっている。
しかしながら、一の画像フレームにおける特徴部分の探索、当該特徴部分の前後フレームとの比較には、多大な演算量を必要とすることから再生の際の負荷が大きいといった問題がある。

そこで、本発明の課題は、手ぶれ補正を行わずに記録された動画像の再生の際の手ぶれ補正処理による負荷を好適に軽減することができる画像処理装置及びプログラムを提供することである。

請求項１に記載の発明の画像処理装置（例えば、図１の撮像装置１００等）は、
動き補償を行う情報圧縮方式により符号化された符号化動画像情報から動画像情報に復号する動画像復号手段（例えば、図１の復号部４等）と、
前記動画像復号手段による前記動画像情報の復号化に基づいて、動画像を構成する複数の画像フレーム（例えば、図２の画像フレームＦ等）のうちの少なくとも一の画像フレームに係る動き補償情報を取得する動き補償情報取得手段（例えば、図１のぶれ量計算部６３等）と、
前記動き補償情報取得手段により取得された前記動き補償情報に基づいて、前記画像フレームの全体動きベクトルを推定する全体動きベクトル推定手段（例えば、図１のぶれ量計算部６３等）と、
前記全体動きベクトル推定手段により推定された前記全体動きベクトルに基づいて、前記動画像の再生の際に手ぶれ補正を行う手ぶれ補正手段（例えば、図１の手ぶれ補正処理部６等）と、
を備えることを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記複数の画像フレームのうち、前記動き補償情報取得手段により前記動き補償情報を取得不可の動き情報無し画像フレームを特定する画像フレーム特定手段（例えば、図１のフレーム処理部６１等）と、
前記画像フレーム特定手段により特定された前記動き情報無し画像フレームの前後の画像フレームに基づいて、当該動き情報無し画像フレームに係る前記全体動きベクトルの補間を行う全体動きベクトル補間手段（例えば、図１の補間処理部６４等）と、を備えることを特徴としている。

請求項３に記載の発明は、請求項１に記載の画像処理装置（例えば、図６の撮像装置２００等）において、
前記複数の画像フレームのうち、前記動き補償情報取得手段により前記動き補償情報を取得不可の動き情報無し画像フレームを特定する画像フレーム特定手段（例えば、図６のフレーム処理部６１等）と、
前記画像フレーム特定手段により特定された前記動き情報無し画像フレームに係る特徴点を抽出する特徴点抽出手段（例えば、図６の画像信号処理部１６４等）と、
前記特徴点抽出手段により抽出された前記特徴点を前記動き情報無し画像フレームの前後のうちの何れか一方の画像フレームにて追跡する特徴点追跡手段（例えば、図６の画像信号処理部１６４等）と、
前記特徴点追跡手段による前記特徴点の追跡結果に基づいて、当該動き情報無し画像フレームに係る全体動きベクトルを決定する全体動きベクトル決定手段（例えば、図６の画像信号処理部１６４等）と、を備えることを特徴としている。

請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理装置において、
前記画像フレームを構成する複数のマクロブロック（例えば、図２のマクロブロックＭＢ等）の動きベクトルの信頼性を判定する信頼性判定手段（例えば、図１のＭＢ選択処理部６２等）と、
前記信頼性判定手段によって、前記複数のマクロブロックのうち、前記動きベクトルの信頼性が高いと判定された前記マクロブロックを、前記全体動きベクトル推定手段による前記全体動きベクトルの推定に用いるマクロブロックとして選択するマクロブロック選択手段（例えば、図１のＭＢ選択処理部６２等）と、を備えることを特徴としている。

請求項５に記載の発明は、請求項４に記載の画像処理装置において、
前記信頼性判定手段は、
前記画像フレームにおける前記マクロブロックに係る画像部分の平坦度合に基づいて前記動きベクトルの信頼性を判定する信頼性平坦度合判定手段（例えば、図１のＭＢ選択処理部６２等）を備えることを特徴としている。

請求項６に記載の発明は、請求項５に記載の画像処理装置において、
前記信頼性平坦度合判定手段は、
前記マクロブロックの画像情報の量子化に係るＱ値に基づいて、前記平坦度合を判定するＱ値平坦度合判定手段（例えば、図１のＭＢ選択処理部６２等）を備えることを特徴としている。

請求項７に記載の発明は、請求項５に記載の画像処理装置において、
前記信頼性平坦度合判定手段は、
前記マクロブロックの符号量に基づいて、前記平坦度合を判定する符号量平坦度合判定手段（例えば、図１のＭＢ選択処理部６２等）を備えることを特徴としている。

請求項８に記載の発明は、請求項４に記載の画像処理装置において、
前記信頼性判定手段は、
前記マクロブロックの動き補償の成功度合を判定する動き補償成功度合判定手段（例えば、図１のＭＢ選択処理部６２等）と、
前記動き補償成功度合判定手段による判定結果に基づいて前記動きベクトルの信頼性を判定する信頼性成功度合判定手段（例えば、図１のＭＢ選択処理部６２等）と、を備えることを特徴としている。

請求項９に記載の発明のプログラムは、
画像処理装置（例えば、図１の撮像装置１００等）に、
動き補償を行う情報圧縮方式により符号化された符号化動画像情報から動画像情報に復号する機能と、
前記動画像情報の復号化に基づいて、動画像を構成する複数の画像フレーム（例えば、図２の画像フレームＦ等）のうちの少なくとも一の画像フレームに係る動き補償情報を取得する機能と、
取得された前記動き補償情報に基づいて、前記画像フレームの全体動きベクトルを推定する機能と、
推定された前記全体動きベクトルに基づいて、前記動画像の再生の際に手ぶれ補正を行う機能と、
を実現させることを特徴としている。

請求項１に記載の発明によれば、動き補償を行う情報圧縮方式により動画像情報が符号化されているので、動画像を構成する画像フレームに係る動き補償情報に基づいて、当該画像フレームの全体動きベクトルを推定することができる。従って、手ぶれ補正を行わずに記録された動画像であっても、動画像の再生の際に、推定された画像フレームの全体動きベクトルに基づいて手ぶれ補正を適正に行うことができる。これにより、当該動画像の再生の際の手ぶれ補正処理による負荷を好適に軽減することができる。

請求項２に記載の発明によれば、請求項１に記載の発明と同様の効果が得られるのは無論のこと、特に、動き補償情報が取得されない動き情報無し画像フレームにあっては、その前後の画像フレームに基づいて、当該動き情報無し画像フレームに係る全体動きベクトルの補間を適正に行うことができる。従って、動き補償情報が取得されない画像フレームであっても、その全体動きベクトルを取得することができることとなって、当該動画像の再生の際の手ぶれ補正処理を適正に行うことができる。

請求項３に記載の発明によれば、請求項１に記載の発明と同様の効果が得られるのは無論のこと、特に、動き補償情報が取得されない動き情報無し画像フレームにあっては、その特徴点を当該動き情報無し画像フレームの前後のうちの何れか一方の画像フレームにて追跡して、その追跡結果に基づいて、当該動き情報無し画像フレームに係る全体動きベクトルを決定することができる。従って、動き補償情報が取得されない画像フレームであっても、その全体動きベクトルを取得することができることとなって、当該動画像の再生の際の手ぶれ補正処理を適正に行うことができる。

請求項４に記載の発明によれば、請求項１〜３に記載の発明と同様の効果が得られるのは無論のこと、特に、画像フレームを構成する複数のマクロブロックのうち、動きベクトルの信頼性が高いマクロブロックを、全体動きベクトルの推定に用いるマクロブロックとして選択することができるので、符号化の際に誤った動きベクトルが作成された信頼性の低いマクロブロックは、全体動きベクトルの推定から排除されることとなって、全体動きベクトルの推定をより適正に行うことができる。

請求項５に記載の発明によれば、請求項４に記載の発明と同様の効果が得られるのは無論のこと、特に、画像フレームにおけるマクロブロックに係る画像部分の平坦度合に基づいて当該マクロブロックの動きベクトルの信頼性を判定することができるので、当該動きベクトルの信頼性の判定をより適正に行うことができることとなって、複数のマクロブロックのうちで、全体動きベクトルの推定から排除されるマクロブロックの判定を好適に行うことができる。

請求項６に記載の発明によれば、請求項５に記載の発明と同様の効果が得られるのは無論のこと、特に、画像フレームにおけるマクロブロックの画像情報の量子化に係るＱ値に基づいて、マクロブロックに係る画像部分の平坦度合を判定することができるので、当該平坦度合の判定をより適正に行うことができることとなって、マクロブロックの動きベクトルの信頼性の判定を好適に行うことができる。

請求項７に記載の発明によれば、請求項５に記載の発明と同様の効果が得られるのは無論のこと、特に、画像フレームにおけるマクロブロックの符号量に基づいて、マクロブロックに係る画像部分の平坦度合を判定することができるので、当該平坦度合の判定をより適正に行うことができることとなって、マクロブロックの動きベクトルの信頼性の判定を好適に行うことができる。

請求項８に記載の発明によれば、請求項４に記載の発明と同様の効果が得られるのは無論のこと、特に、画像フレームにおけるマクロブロックの動き補償の成功度合の判定結果に基づいて当該マクロブロックの動きベクトルの信頼性を判定することができるので、動きベクトルの信頼性の判定をより適正に行うことができることとなって、複数のマクロブロックのうちで、全体動きベクトルの推定から排除されるマクロブロックの判定を好適に行うことができる。

請求項９に記載の発明によれば、動き補償を行う情報圧縮方式により動画像情報が符号化されているので、動画像を構成する画像フレームに係る動き補償情報に基づいて、当該画像フレームの全体動きベクトルを推定することができる。従って、手ぶれ補正を行わずに記録された動画像であっても、動画像の再生の際に、推定された画像フレームの全体動きベクトルに基づいて手ぶれ補正を適正に行うことができる。これにより、当該動画像の再生の際の手ぶれ補正処理による負荷を好適に軽減することができる。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
ここで、図１は、本発明を適用した画像処理装置の一実施形態として例示する撮像装置１００の要部構成を示すブロック図である。

撮像装置１００は、例えば、デジタルカメラ等が適用され、撮像された動画像を記録するための符号化標準であるＭＰＥＧ（Moving Picture Experts Group）４等の情報圧縮方式により符号化して記録するものである。
具体的には、撮像装置１００は、例えば、図１に示すように、被写体の静止画像や動画像を撮像する撮像部１と、撮像部１により撮像された画像を所定の情報圧縮方式により符号化する符号化部２と、符号化部２により符号化された符号化画像データを記録する記録部３と、記録部３に記録された符号化画像データを復号する復号部４と、撮像部１により撮像された画像を表示する表示部５１と、表示部５１に表示される動画像の手ぶれを補正する手ぶれ補正処理部６等を備えて構成されている。

撮像部１は、例えば、切換スイッチ（図示略）等の所定操作に基づいて静止画像及び動画像の撮像を切り替えて実行することができるように構成されている。具体的には、撮像部１は、図示は省略するが、フォーカス機能やズーム機能を有する撮像レンズ群と、この撮像レンズ群を通過した被写体像を二次元の画像データに変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等からなる電子撮像部と、この電子撮像部から出力される画像データに対して所定の画像処理を施す信号処理部と、電子撮像部及び信号処理部等を制御するための撮像制御部等を備えている。
そして、撮像制御部の制御下にて、信号処理部から画像処理が施された画像データが符号化部２に対して出力されるようになっている。

符号化部２は、例えば、ＭＰＥＧ４等の動き補償を行う情報圧縮方式により動画像データを符号化するものであり、具体的には、撮像部１から入力された動画像データに対して、動画像を構成する画像フレームＦ間の時間的な相関関係を利用して符号量を削減するＭＣ（Motion Compensation；動き補償）や、各画像フレームＦの空間的な相関関係を利用して符号量を削減するＤＣＴ（Discrete Cosine Transform；離散コサイン変換）等の情報圧縮符号化処理を実行するようになっている。
また、符号化部２は、例えば、ＤＣＴにより算出されるＤＣＴ変換係数を視覚特性を考慮した所定のＱ値で除算する量子化を行うようになっている。

ＭＣは、例えば、入力された画像データを１６×１６画素の正方領域であるマクロブロックＭＢ単位に分割し、参照画像内の所定のサーチ範囲を探索してマクロブロックＭＢとの誤差が最小となるブロックを検出して、その動き量を補償して行われるフレーム間予測である。ここで、検出した参照画像内の誤差の最小となるブロックの水平方向及び垂直方向の移動量を表すベクトルを動きベクトルという。
そして、ＭＣは、例えば、フレーム内符号化画像であるＩ-pictureを基準として、フレーム間順方向予測符号化画像であるＰ-pictureや、双方向予測符号化画像であるＢ-picture等を生成するようになっている。

また、ＤＣＴは、フーリエ変換の一種で、２次元の画像を２次元の周波数に変換することで、人間の目につきやすい低周波成分と識別しにくい高周波成分に分離するものである。具体的には、ＤＣＴは、例えば、動き補償した画像と入力画像との差分を８×８画素のブロックを単位として２次元離散コサイン変換するようになっている。
なお、Ｉ-pictureは、フレーム内符号化画像であるので、差分をとらずに入力画像に対してそのままＤＣＴ演算が行われるようになっている。

記録部３は、例えば、磁気的或いは光学的記録媒体又は半導体メモリ等から構成され、符号化部２により符号化された静止画像データや動画像データを記録するものである。

復号部（動画像復号手段）４は、例えば、動画像の再生に際して、記録部３に記録される符号化動画像データを復号してビットストリーム（動画像データ）を作成するものである。具体的には、復号部４は、例えば、符号化動画像データを復号して量子化係数や動きベクトルを算出し、さらに、量子化係数をＤＣＴ係数に変換する逆量子化を行い、また、ＤＣＴ係数に基づいて８×８画素のブロックを単位として画素値（画素値間の差分）を算出する逆ＤＣＴを行い、さらに、画素値間の差分と動きベクトルにより補償されたブロックを加算することでＰ-pictureやＢ-pictureを復号するようになっている。

表示部５１は、例えば、液晶表示装置等により構成され、復号部４により復号された画像データに従って各種画像の表示を行うものである。また、表示部５１には、外部出力端子５２が接続された表示処理部５３が接続されている。
外部出力端子５２は、図示しない表示装置（例えば、テレビ）を接続して画像を表示させるためのものである。表示処理部５３は、再生時手ぶれ補正処理にて手ぶれ補正処理部６の表示領域設定部６５（後述）により設定された表示領域５Ｒに基づいて復号部４により復号された画像データ中から必要部分を切り出し、表示部５１又は外部出力端子５２に接続された表示装置に表示可能な形態に加工するようになっている。
なお、表示処理部５３は、例えば、補間処理部６４による全体動きベクトルの補間作業による遅延時間との同期をとるためにバッファ（図示略）を備えるようになっている。

手ぶれ補正処理部（手ぶれ補正手段）６は、例えば、手ぶれ補正処理を行わずに記録された動画像データが表示部５１に再生（表示）される際に、手ぶれ量、即ち、画像フレームＦの動き量を検出して手ぶれ補正を行うものである。具体的には、手ぶれ補正処理部６は、例えば、フレーム処理部６１と、マクロブロック（ＭＢ）選択処理部６２と、ぶれ量計算部６３と、補間処理部６４と、表示領域設定部６５等を備えている。

フレーム処理部６１は、例えば、復号部４により復号されたビットストリーム（動画像）を構成する複数の画像フレームＦに対して、順番を付す処理を行うようになっている。
また、フレーム処理部６１は、例えば、複数の画像フレームＦの各々について、動きベクトル（動き補償情報）を取得不可のＩ-picture（動き情報無し画像フレーム）であるか否かを判定して、判定結果をＭＢ選択処理部６２及び補間処理部６４に出力するようになっている。即ち、フレーム処理部６１は、複数の画像フレームＦのうちで定期的に配されるＩ-pictureを特定する画像フレーム特定手段を構成している。

ＭＢ選択処理部６２は、例えば、フレーム処理部６１がＩ-picture以外である（例えば、Ｐ-pictureやＢ-picture）と判断したフレームについて、画像フレームＦの全体動きベクトルの算出に適したマクロブロックＭＢの選択を行うようになっている。
即ち、例えば、ＶＧＡサイズのＭＰＥＧ４ストリームの場合、１画像フレームＦあたり１２００個のマクロブロックＭＢ（図２参照）を有し、これらは、フレーム間補償のあるInterＭＢとフレーム間補償の無いIntraＭＢとからなる。このうち、InterＭＢの持つ動きベクトルを平均化することにより一の画像フレームＦ全体に係る全体動きベクトル（ぶれ）が算出されると考えられる。
しかしながら、当該画像フレームＦの符号化の際に誤った動きベクトルが作成されている可能性もあるため、全ての動きベクトルが全体動きベクトルの算出に適しているという訳ではない。さらに、動きベクトルが誤検出であったかどうかを判定するため再度検出を行うことは現実的ではないため、マクロブロックＭＢに関する各種の情報から誤検出が生じた可能性が高いかどうかを判定して、より信頼性の高いマクロブロックＭＢを選択するものである。
ここで、ＭＢ選択処理部６２は、一の画像フレームＦを構成する複数のマクロブロックＭＢの動きベクトルの信頼性を判定する信頼性判定手段を構成し、さらに、複数のマクロブロックＭＢのうち、動きベクトルの信頼性が高いと判定されたマクロブロックＭＢを、ぶれ量計算部６３による一の画像フレームＦの全体動きベクトルの推定に用いるマクロブロックＭＢとして選択するマクロブロック選択手段を構成している。

なお、ＭＢ選択処理部６２による動きベクトルの信頼性の判定にあっては、一の画像フレームＦの全てのマクロブロックＭＢを処理するのは演算による負荷が大きいため、例えば、当該画像フレームＦを４×４の計１６個のマクロブロックＭＢからなるＭＢグループＧに分割し、各グループから一のマクロブロックＭＢを選択して信頼性を判定するようになっている。そして、信頼性が高かった場合には、そのマクロブロックＭＢを全体動きベクトルの推定用のマクロブロックＭＢとして選択し、信頼性が低かった場合には、当該ＭＢグループＧ内の他のマクロブロックＭＢ（例えば、次のマクロブロックＭＢ）に対して同様の処理を行うようになっている。

また、ＭＢ選択処理部（信頼性平坦度合判定手段）６２は、画像フレームＦのマクロブロックＭＢの動きベクトルの信頼性を、当該マクロブロックＭＢに係る画像部分の平坦度合に基づいて判定するようになっている。
即ち、一の画像フレームＦにおいて、のっぺりとした特徴の少ない部分では動きベクトルの誤検出が生じやすいため、特徴の少ない平坦な画像部分に係るマクロブロックＭＢの動きベクトルは信頼性が低く、全体動きベクトルの推定に用いられないこととなる。
より具体的には、符号化部２によるマクロブロックＭＢの画像データの符号化に供されるＱ値（量子化パラメータ）は、のっぺりとした特徴の少ない部分では小さくなり、一方で、周波数成分が多いと大きくなることから、このＱ値に基づいて、ＭＢ選択処理部６２は、Ｑ値平坦度合判定手段として、画像の平坦度合を判定するようになっている。

また、ＭＢ選択処理部６２は、例えば、符合部によるＤＣＴ後のＤＣ係数に基づいて、画像フレームＦのマクロブロックＭＢの動き補償の成功度合を判定し、その後、当該判定結果に基づいてマクロブロックＭＢの動きベクトルの信頼性を判定するようになっている。
即ち、ＤＣ係数は、ＤＣＴ後の参照ブロックに対するＤＣ成分の差分であり、当該ＤＣ係数が大きくなった場合には、正しい位置で動き補償がなされずに、その結果として参照ブロックとのＤＣ成分の差分が大きくなった可能性がある。そこで、ＤＣ係数が所定の閾値以上の場合には、そのマクロブロックＭＢの動きベクトルは信頼性が低く、全体動きベクトルの推定に用いられないこととなる。
ここで、ＭＢ選択処理部６２は、マクロブロックＭＢの動き補償の成功度合を判定する動き補償成功度合判定手段を構成し、さらに、当該判定結果に基づいて動きベクトルの信頼性を判定する信頼性成功度合判定手段を構成している。

ぶれ量計算部６３は、例えば、ＭＢ選択処理部６２により選択された一の画像フレームＦの全体動きベクトルの推定に適している複数のマクロブロックＭＢの動きベクトルを取得し、これら動きベクトルの平均処理を行って当該画像フレームＦのぶれ量（全体動きベクトル）を算出するようになっている。
ここで、ぶれ量計算部６３は、復号部４による動画像データの復号化に基づいて、動画像を構成する複数の画像フレームＦのうちの少なくとも一の画像フレームＦに係る動きベクトルを取得する動き補償情報取得手段を構成し、さらに、取得された動きベクトルに基づいて、画像フレームＦの全体動きベクトルを推定する全体動きベクトル推定手段を構成している。

補間処理部６４は、フレーム処理部６１により特定されたＩ-picture（動き情報無し画像フレームＦ）の前後に位置する画像フレームＦの全体動きベクトルから補間処理により当該Ｉ-pictureの全体動きベクトルを算出するようになっている。
ここで、補間処理部６４は、Ｉ-picture（動き情報無し画像フレームＦ）に係る全体動きベクトルの補間を行う全体動きベクトル補間手段を構成している。

表示領域設定部６５は、例えば、表示部５１に表示される動画像の画像フレームＦの表示領域５Ｒを設定するものである。具体的には、表示領域設定部６５は、ぶれ量計算部６３により算出（推定）されたＰ-pictureやＢ-pictureの全体動きベクトル並びに補間処理部６４により算出されたＩ-pictureの全体動きベクトルに基づいて、これらの画像フレームＦからなる動画像の再生の際に、一の画像フレームＦ２の表示領域５Ｒ２（図３（ｂ））を一つ前の画像フレームＦ１の表示領域５Ｒ１（図３（ａ））から全体動きベクトルの分だけ移動させることにより手ぶれ補正を行うようになっている。これにより、表示部５１には、手ぶれが補正された動画像（図３（ｃ）参照）が表示再生されることとなる。
ここで、図３（ａ）は、先に表示される画像フレームＦ１及び表示領域５Ｒ１を模式的に示した図であり、図３（ｂ）は、本来画像フレームＦ１に続けて表示される画像フレームＦ２及び表示領域５Ｒ２を模式的に示した図であり、図３（ｃ）は、手ぶれ補正処理後に表示される画像フレームＦ２及び表示領域５Ｒ２を模式的に示した図である。

次に、図４及び図５を参照して、再生時手ぶれ補正処理について説明する。
ここで、図４は、再生時手ぶれ補正処理に係る動作の一例を示すフローチャートであり、図５は、再生時手ぶれ補正処理におけるマクロブロック選択処理に係る動作の一例を示すフローチャートである。

図４に示すように、ユーザによる撮像装置１００の所定操作に基づいて記録部３に記録されている動画像の再生が指示されると、先ず、復号部４は、記録部３からＭＰＥＧ動画ファイルを取得して当該ファイルを復号してビットストリームを作成する（ステップＳ１）。

続けて、フレーム処理部６１は、復号されたビットストリームに含まれる複数の画像フレームＦに対して順番を付す処理を行うとともに、各画像フレームＦについてＩ-pictureであるか否かを判定する（ステップＳ２）。そして、Ｉ-pictureはマーキングされて、当該フレーム処理部６１による判定結果が、ＭＢ選択処理部６２及び補間処理部６４に送られる。

そして、ステップＳ２にてＩ-pictureではない（ステップＳ２；ＮＯ）と判定された画像フレームＦに対して、ＭＢ選択処理部６２は、マクロブロック選択処理を行う（ステップＳ３）。

以下、図５を参照してマクロブロック選択処理について説明する。
図５に示すように、ＭＢ選択処理部６２は、入力される画像フレームＦのマクロブロックＭＢを４×４のマクロブロックＭＢからなるＭＢグループＧ（図２参照）に分割する（ステップＳ３０１）。
続けて、ＭＢ選択処理部６２は、分割されたＭＢグループＧの中から何れか一のＭＢグループＧを選択し（ステップＳ３０２）、このＭＢグループＧの中から何れか一のＭＢ（例えば、図２にあっては黒く塗りつぶされた左上隅のＭＢ）を選択する（ステップＳ３０３）。

次に、ＭＢ選択処理部６２は、復号されたビットストリームから当該マクロブロックＭＢに係るＱ値、ＤＣ係数などのマクロブロックＭＢの選択に係る各種のパラメータを抽出（取得）する（ステップＳ３０４）。
そして、ＭＢ選択処理部６２は、Intra／Interフラグに基づいて、選択されたマクロブロックＭＢがInterＭＢであるか否かを判定する（ステップＳ３０５）。
ここで、InterＭＢであると判定されると（ステップＳ３０５；ＹＥＳ）、ＭＢ選択処理部６２は、当該マクロブロックＭＢのＱ値が所定値以上であるか否かを判定する（ステップＳ（ステップＳ３０６）。
そして、Ｑ値が所定値以上、即ち、周波数成分の多いマクロブロックＭＢであると判定されると（ステップＳ３０６；ＹＥＳ）、ＭＢ選択処理部６２は、当該マクロブロックＭＢのＤＣＴ後のＤＣ係数が所定値以下であるか否かを判定する（ステップＳ３０７）。
ここで、ＤＣ係数が所定値以下であると判定されると（ステップＳ３０７；ＹＥＳ）、ＭＢ選択処理部６２は、当該マクロブロックＭＢを全体動きベクトルの推定用のマクロブロックＭＢとして採用する（ステップＳ３０８）。

一方、ステップＳ３０５にて、InterＭＢではない、即ち、動きベクトルが存しない独立型のIntraＭＢであると判定されるか（ステップＳ３０５；ＮＯ）、また、ステップＳ３０６にて、Ｑ値が所定値以上ではないと判定されるか（ステップＳ３０６；ＮＯ）、また、ステップＳ３０７にて、ＤＣ係数が所定値以下ではない、即ち、正しい位置で動き補償がなされていない可能性が大きいと判定されると（ステップＳ３０７；ＮＯ）、ＭＢ選択処理部６２は、当該マクロブロックＭＢが含まれるＭＢグループＧ内の全てのマクロブロックＭＢについて、各種パラメータの判定を行ったか否かを判定する（ステップＳ３０９）。
ここで、全てのマクロブロックＭＢについて判定していないと判定されると（ステップＳ３０９；ＮＯ）、ＭＢ選択処理部６２は、ＭＢグループＧ内の別のマクロブロックＭＢを選択して（ステップＳ３１０）、ステップＳ３０４に移行して、それ以降の処理を実行する。

また、ステップＳ３０９にて全てのマクロブロックＭＢについて判定していると判定されるか、ステップＳ３０８にて、推定用のマクロブロックＭＢとして採用されると、全てのＭＢグループＧに対して全体動きベクトルの推定に係るマクロブロックＭＢの推定を行ったか否かを判定する（ステップＳ３１１）。
ここで、全てのＭＢグループＧに対してマクロブロックＭＢの推定を行っていないと判定されると（ステップＳ３１１；ＮＯ）、ＭＢ選択処理部６２は、ステップＳ３０２に移行して、それ以降の処理を実行する。
また、ステップＳ３１１にて、全てのＭＢグループＧに対してマクロブロックＭＢの推定を行ったと判定されると（ステップＳ３１１；ＹＥＳ）、マクロブロック選択処理を終了する。

マクロブロック選択処理が終了すると、図４に示すように、ぶれ量計算部６３は、ＭＢ選択処理部６２により採用された一の画像フレームＦに係る複数のマクロブロックＭＢの動きベクトルを取得して、これらの動きベクトルの平均処理を行って当該画像フレームＦの全体動きベクトルを算出する（ステップＳ４）。

次に、ステップＳ２にてＩ-pictureである（ステップＳ２；ＹＥＳ）と判定された画像フレームＦ（Ｉ-picture）に対して、補間処理部６４は、当該Ｉ-pictureの一つ次の画像フレームＦの全体動きベクトルをぶれ量計算部６３から取得し、当該画像フレームＦの全体動きベクトルとＩ-pictureの一つ前の画像フレームＦの全体動きベクトルとの間で補間計算を行って、Ｉ-pictureの全体動きベクトルを取得する（ステップＳ５）。

そして、表示領域設定部６５は、全体動きベクトルが取得された複数の画像フレームＦに対して、一の画像フレームＦの表示領域５Ｒを一つ前の画像フレームＦの表示領域５Ｒから全体動きベクトルの分だけ移動させることにより（ステップＳ６；図３（ａ）〜（ｃ）参照）、表示部５１に表示される動画像の手ぶれ補正を行う。

以上のように、本実施形態の撮像装置１００によれば、ＭＰＥＧ方式により動画像データが符号化されているので、動画像を構成する画像フレームＦの複数のマクロブロックＭＢの動きベクトルに基づいて、当該画像フレームＦの全体動きベクトルを推定することができる。
具体的には、画像フレームＦを構成する複数のマクロブロックＭＢのうち、動きベクトルの信頼性が高いマクロブロックＭＢを、全体動きベクトルの推定に用いるマクロブロックＭＢとして選択することができるので、符号化の際に誤った動きベクトルが作成された信頼性の低いマクロブロックＭＢは、全体動きベクトルの推定から排除されることとなって、全体動きベクトルの推定をより適正に行うことができる。
ここで、画像フレームＦにおけるマクロブロックＭＢの動きベクトルの信頼性の判定は、マクロブロックＭＢに係る画像部分の平坦度合に基づいて、また、マクロブロックＭＢの動き補償の成功度合の判定結果に基づいて行うことができるので、当該動きベクトルの信頼性の判定をより適正に行うことができることとなって、複数のマクロブロックＭＢのうちで、全体動きベクトルの推定から排除されるマクロブロックＭＢの判定を好適に行うことができる。
さらに、画像フレームＦにおけるマクロブロックＭＢに係る画像部分の平坦度合の判定は、マクロブロックＭＢの画像データの量子化に係るＱ値に基づいて行うことができるので、当該平坦度合の判定をより適正に行うことができることとなって、マクロブロックＭＢの動きベクトルの信頼性の判定を好適に行うことができる。
従って、手ぶれ補正を行わずに記録された動画像であっても、動画像の再生の際に、推定された画像フレームＦの全体動きベクトルに基づいて手ぶれ補正を適正に行うことができる。これにより、従来のように、手ぶれ補正処理の際に一の画像フレームＦにおける特徴部分の探索、当該特徴部分の前後の画像フレームＦとの比較を行う必要がなくなって、当該動画像の再生の際の手ぶれ補正処理による負荷を好適に軽減することができる。

また、動きベクトルを具備しないＩ-pictureにあっては、その前後の画像フレームＦに基づいて、当該Ｉ-pictureに係る全体動きベクトルの補間を適正に行うことができる。従って、Ｉ-pictureであっても、その全体動きベクトルを取得することができることとなって、当該動画像の再生の際の手ぶれ補正処理を適正に行うことができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、ＭＢ選択処理部６２によるマクロブロックＭＢに係る画像部分の平坦度合の判定用のパラメータとして、マクロブロックＭＢのＱ値を用いるようにしたが、これに限られるものではない。即ち、例えば、画像フレームＦのうちでのっぺりとした特徴の少ない画像部分は圧縮効率が良いため、符合量が少なくなることから、ＭＢ選択処理部６２は、符号量平坦度合判定手段として、マクロブロックＭＢの符号量を判定用のパラメータとして当該画像部分の平坦度合を判定するようにしても良い。
これにより、マクロブロックＭＢの符号量に基づいて、マクロブロックＭＢに係る画像部分の平坦度合の判定をより適正に行うことができることとなって、マクロブロックＭＢの動きベクトルの信頼性の判定を好適に行うことができる。

さらに、上記実施形態では、マクロブロックＭＢのＱ値及びＤＣＴ後のＤＣ係数に基づいて、全体動きベクトルの推定に用いられるマクロブロックＭＢを判定するようにしたが、これに限られるものではなく、例えば、Ｑ値及びＤＣ係数のうちの少なくとも何れか一方のみを用いて判定を行っても良いし、これらの何れかにマクロブロックＭＢの符合量を判定用のパラメータとして加えて判定を行うようにしても良い。

また、上記実施形態では、動きベクトルを具備しないＩ-pictureに係る全体動きベクトルを前後の画像フレームＦの全体動きベクトルに基づいて補間するようにしたが、Ｉ-pictureの全体動きベクトルの取得方法はこれに限られるものではない。即ち、撮像装置２００に、例えば、特徴点抽出手段として、Ｉ-pictureから所定の特徴点を抽出し、さらに、特徴点追跡手段として、抽出された特徴点に対応する特徴点をＩ-pictureの前後のうちの何れか一方の画像フレームＦ（例えば、一つ前の画像フレームＦ）にて勾配法等により追跡し、全体動きベクトル決定手段として、特徴点の追跡結果（特徴点移動量）に基づいて、Ｉ-pictureの全体動きベクトルを決定する画像信号処理部１６４を設けるようにしても良い（図６参照）。
これにより、動きベクトルを具備しないＩ-pictureであっても、その特徴点をＩ-pictureの前後のうちの何れか一方の画像フレームＦにて追跡して、その追跡結果に基づいて、当該Ｉ-pictureに係る全体動きベクトルを決定することができることとなって、当該動画像の再生の際の手ぶれ補正処理を適正に行うことができる。

加えて、上記実施形態では、本発明に係る画像処理装置として、画像の撮像及び撮像された静止画像や動画像を表示（再生）する撮像装置１００、２００を例示したが、これに限られるものではなく、少なくとも動画像の再生を行うことができる装置であれば如何なるものであっても良い。例えば、画像処理装置としてのパーソナルコンピュータ（ＰＣ；図示略）等に動画ファイルを取り込み、当該ＰＣによる所定のプログラムの実行に基づいて、動画ファイルの復号処理、動きベクトルの取得処理、全体動きベクトルの算出処理及び動画像の再生時の手ぶれ補正処理等を実施することにより、本発明を実現するようにしても良い。

本発明を適用した画像処理装置の一実施形態として例示する撮像装置の要部構成を示すブロック図である。 図１の撮像装置の表示部に表示される動画像を構成する画像フレームを模式的に示した図である。 図１の撮像装置による再生時手ぶれ補正処理に係る画像フレーム及び表示領域を模式的に示した図である 図３の再生時手ぶれ補正処理に係る動作の一例を示すフローチャートである。 図３の再生時手ぶれ補正処理におけるマクロブロック選択処理に係る動作の一例を示すフローチャートである。 変形例１の撮像装置の要部構成を示すブロック図である。

符号の説明

１００、２００ 撮像装置（画像処理装置）
２ 符号化部
４ 復号部（動画像復号手段）
５１ 表示部
６ 手ぶれ補正処理部（手ぶれ補正手段）
６１ フレーム処理部（画像フレーム特定手段）
６２ ＭＢ選択処理部（信頼性判定手段、マクロブロック選択手段、信頼性平坦度合判定手段、Ｑ値平坦度合判定手段、符号量平坦度合判定手段、動き補償成功度合判定手段、信頼性成功度合判定手段）
６３ ぶれ量計算部（動き補償情報取得手段、全体動きベクトル推定手段）
６４ 補間処理部（全体動きベクトル補間手段）
１６４ 画像信号処理部（特徴点抽出手段、特徴点追跡手段、全体動きベクトル決定手段）
６５ 表示領域設定部
Ｆ 画像フレーム
ＭＢ マクロブロック

Claims (9)

1. 動き補償を行う情報圧縮方式により符号化された符号化動画像情報から動画像情報に復号する動画像復号手段と、
   前記動画像復号手段による前記動画像情報の復号化に基づいて、動画像を構成する複数の画像フレームのうちの少なくとも一の画像フレームに係る動き補償情報を取得する動き補償情報取得手段と、
   前記動き補償情報取得手段により取得された前記動き補償情報に基づいて、前記画像フレームの全体動きベクトルを推定する全体動きベクトル推定手段と、
   前記全体動きベクトル推定手段により推定された前記全体動きベクトルに基づいて、前記動画像の再生の際に手ぶれ補正を行う手ぶれ補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記複数の画像フレームのうち、前記動き補償情報取得手段により前記動き補償情報を取得不可の動き情報無し画像フレームを特定する画像フレーム特定手段と、
   前記画像フレーム特定手段により特定された前記動き情報無し画像フレームの前後の画像フレームに基づいて、当該動き情報無し画像フレームに係る前記全体動きベクトルの補間を行う全体動きベクトル補間手段と、を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像フレームのうち、前記動き補償情報取得手段により前記動き補償情報を取得不可の動き情報無し画像フレームを特定する画像フレーム特定手段と、
   前記画像フレーム特定手段により特定された前記動き情報無し画像フレームに係る特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段により抽出された前記特徴点を前記動き情報無し画像フレームの前後のうちの何れか一方の画像フレームにて追跡する特徴点追跡手段と、
   前記特徴点追跡手段による前記特徴点の追跡結果に基づいて、当該動き情報無し画像フレームに係る全体動きベクトルを決定する全体動きベクトル決定手段と、を備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記画像フレームを構成する複数のマクロブロックの動きベクトルの信頼性を判定する信頼性判定手段と、
   前記信頼性判定手段によって、前記複数のマクロブロックのうち、前記動きベクトルの信頼性が高いと判定された前記マクロブロックを、前記全体動きベクトル推定手段による前記全体動きベクトルの推定に用いるマクロブロックとして選択するマクロブロック選択手段と、を備えることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記信頼性判定手段は、
   前記画像フレームにおける前記マクロブロックに係る画像部分の平坦度合に基づいて前記動きベクトルの信頼性を判定する信頼性平坦度合判定手段を備えることを特徴とする請求項４に記載の画像処理装置。
6. 前記信頼性平坦度合判定手段は、
   前記マクロブロックの画像情報の量子化に係るＱ値に基づいて、前記平坦度合を判定するＱ値平坦度合判定手段を備えることを特徴とする請求項５に記載の画像処理装置。
7. 前記信頼性平坦度合判定手段は、
   前記マクロブロックの符号量に基づいて、前記平坦度合を判定する符号量平坦度合判定手段を備えることを特徴とする請求項５に記載の画像処理装置。
8. 前記信頼性判定手段は、
   前記マクロブロックの動き補償の成功度合を判定する動き補償成功度合判定手段と、
   前記動き補償成功度合判定手段による判定結果に基づいて前記動きベクトルの信頼性を判定する信頼性成功度合判定手段と、を備えることを特徴とする請求項４に記載の画像処理装置。
9. 画像処理装置に、
   動き補償を行う情報圧縮方式により符号化された符号化動画像情報から動画像情報に復号する機能と、
   前記動画像情報の復号化に基づいて、動画像を構成する複数の画像フレームのうちの少なくとも一の画像フレームに係る動き補償情報を取得する機能と、
   取得された前記動き補償情報に基づいて、前記画像フレームの全体動きベクトルを推定する機能と、
   推定された前記全体動きベクトルに基づいて、前記動画像の再生の際に手ぶれ補正を行う機能と、
   を実現させるためのプログラム。

Images