JP2013162357A

JP2013162357A - 画像処理プログラム、画像処理装置、および撮像装置

Info

Publication number: JP2013162357A
Application number: JP2012023293A
Authority: JP
Inventors: Shigeru Tsuchiida; 茂土井田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2012-02-06
Filing date: 2012-02-06
Publication date: 2013-08-19

Abstract

【課題】圧縮符号化された動画像に対して、精度良く効率的な位置合わせを実現すること。
【解決手段】圧縮符号化され、圧縮符号化による劣化の度合いが異なる複数の画像からなる動画像において、複数の画像の位置合わせをコンピュータで実現するための画像処理プログラムであって、複数の画像から符号化された動画像を取得する取得ステップと、複数の画像を復号化する復号化ステップと、復号化された複数の画像から、位置合わせの基準に適した注目画像を抽出する抽出ステップと、対象画像と、対象画像と時間的に最も近い少なくとも１枚の注目画像とに基づいて、位置合わせに関する評価値を算出する算出ステップと、算出ステップにおいて算出された評価値に基づいて、対象画像と少なくとも１枚の注目画像との相対的な位置を検出する検出ステップとを備える。
【選択図】図１

Description

本発明は、画像処理プログラム、画像処理装置、および撮像装置に関する。

従来より、電子カメラ等の撮像装置による撮影に際しては、手ぶれが問題になることが多い。手ぶれを抑制するためには三脚等が有効であるが、手軽に撮影を行うためには好ましくない点も多い。そこで、撮影時の手ぶれを補正する様々な技術が考えられている。

例えば、特許文献１の発明では、画像の動きを検出し、動きに合わせて画像を切り出し、切り出した画像に基づいて符号化を行うことにより、ぶれ補正を行って記録伝送をしている。

特開２００７−６７６９４号公報

上述した技術は、そもそも、符号化の効率化を主目的とした発明である。そのため、上述した動きの検出および画像の切り出しが正確に行われれば、手ぶれについてもそれなりの効果が期待できるが、動きの検出および画像の切り出しが正確に行われなければ、手ぶれの補正効果は期待できない。また、特許文献１の発明は、符号化前の動画像についてぶれを補正するための技術であり、符号化後の動画像について手ぶれを補正する際には好適な技術とは言えない。

本発明は、上記問題に鑑みてなされたものであり、圧縮符号化された動画像に対して、精度良く効率的な位置合わせを実現することを目的とする。

本発明の画像処理プログラムは、圧縮符号化され、前記圧縮符号化による劣化の度合いが異なる複数の画像からなる動画像において、前記複数の画像の位置合わせをコンピュータで実現するための画像処理プログラムであって、前記複数の画像から符号化された動画像を取得する取得ステップと、前記複数の画像を復号化する復号化ステップと、復号化された前記複数の画像から、位置合わせの基準に適した注目画像を抽出する抽出ステップと、対象画像と、前記対象画像と時間的に最も近い少なくとも１枚の前記注目画像とに基づいて、前記位置合わせに関する評価値を算出する算出ステップと、前記算出ステップにおいて算出された前記評価値に基づいて、前記対象画像と少なくとも１枚の前記注目画像との相対的な位置を検出する検出ステップとを備える。

なお、前記取得ステップでは、前記動画像として、前記復号化ステップにおいて面内予測符号化される画像と、時間的に前方および後方の少なくともの一方の画像を参照して予測符号化される画像とを含む動画像を取得し、前記抽出ステップでは、前記復号化ステップにおいて、前記面内予測符号化された画像を前記注目画像として抽出しても良い。

また、前記検出ステップでは、前記評価値と、前記対象画像と少なくとも１枚の前記注目画像との相対的な位置との少なくとも一方に基づいて、前記動画像撮影時の撮像装置のパンまたはチルトに起因する位置ずれと、前記動画像撮影時の手ぶれに起因する位置ずれと、前記撮像装置の撮像素子における読み出し方式に起因する位置ずれとの少なくとも１つを検出しても良い。

また、前記算出ステップでは、前記注目画像間の時間間隔を求め、前記時間間隔が所定の閾値よりも短い場合にのみ、前記評価値を算出しても良い。

また、前記算出ステップでは、前記対象画像と、前記対象画像より時間的に前に撮影され、かつ、前記対象画像と時間的に最も近い第１の注目画像とに基づく前記評価値を算出するとともに、前記対象画像と、前記対象画像より時間的に後に撮影され、かつ、前記対象画像と時間的に最も近い第２の注目画像とに基づく前記評価値とを算出し、前記検出ステップでは、前記算出ステップにおいて算出した２つの評価値に基づいて、前記対象画像と前記第１の注目画像との相対的な位置を検出するとともに、前記対象画像と前記第２の注目画像との相対的な位置を検出しても良い。

また、前記算出ステップでは、前記第１の注目画像と、前記第２の注目画像とに基づく前記評価値をさらに算出し、前記検出ステップでは、前記算出ステップにおいて算出した３つの評価値に基づいて、前記対象画像と前記第１の注目画像との相対的な位置を検出するとともに、前記対象画像と前記第２の注目画像との相対的な位置を検出しても良い。

また、前記算出ステップでは、前記対象画像と、前記対象画像より時間的に前に撮影され、かつ、前記対象画像と時間的に最も近い第１の注目画像とに基づく前記評価値と、前記対象画像と、前記対象画像より時間的に後に撮影され、かつ、前記対象画像と時間的に最も近い第２の注目画像とに基づく前記評価値との何れかを算出し、前記検出ステップでは、前記算出ステップにおいて算出した１つの評価値に基づいて、前記対象画像と、前記算出ステップにおいて前記評価値の算出に用いた前記注目画像との相対的な位置を検出しても良い。

また、前記算出ステップでは、複数の幾何パラメータを用いて、前記評価値を算出し、前記検出ステップでは、前記複数の幾何パラメータのそれぞれの重みを設定し、設定した前記重みの異なる前記幾何パラメータを用いて前記算出ステップにおいて算出された複数の前記評価値を比較して、前記相対的な位置を検出しても良い。

また、前記複数のパラメータは、前記位置合わせにおける並進方向の変化に関するパラメータと、前記位置合わせにおける回転方向の変化に関するパラメータと、前記位置合わせにおける拡大縮小に関するパラメータとのうち少なくとも１つのパラメータを含んでも良い。

なお、上記発明に関する構成を、圧縮符号化され、前記圧縮符号化による劣化の度合いが異なる複数の画像からなる動画像において、前記複数の画像の位置合わせを行う画像処理装置に変換して表現したものも本発明の具体的態様として有効である。また、その画像処理装置を備えた撮像装置も本発明の具体的態様として有効である。

本発明によれば、圧縮符号化された動画像に対して、精度良く効率的な位置合わせを実現することができる。

一の実施形態に係る画像処理方法をコンピュータ１０へ適用した場合の概念図一の実施形態におけるＣＰＵ１の動作を示す流れ図処理対象の動画像について説明する図位置ずれ量の検出について説明する図位置ずれ量の検出について説明する別の図位置ずれ量の検出について説明する別の図位置ずれ量の検出について説明する別の図位置ずれ量の検出について説明する別の図位置ずれ量の検出について説明する別の図

図１は、一の実施形態に係る画像処理方法をコンピュータ１０へ適用した場合の概念図である。なお、上述した画像処理方法は、圧縮符号化された動画像を処理タイトするとともに、圧縮符号化された動画像から位置ずれ量検出の基準となる基準フレームを抽出する処理と、位置ずれ量を検出する処理と、位置合わせ処理との３つを含む。ここでの位置ずれとは、手ぶれによるフレーム間の位置ずれや変形、ゆがみといったフレーム間の差異を幾何変換のパラメータとして算出することであり、位置合わせ処理とはパラメータに応じてフレームの幾何変換を行うことで補正することを意味する。

図１に示すコンピュータ１０は、ＣＰＵ１、記憶部２、入出力インタフェース（入出力Ｉ／Ｆ）３およびバス４から構成され、ＣＰＵ１、記憶部２および入出力Ｉ／Ｆ３は、バス４を介して情報伝達可能に接続される。また、コンピュータ１０には、入出力Ｉ／Ｆ３を介して、画像処理の途中経過や処理結果を表示する出力装置２０、ユーザからの入力を受け付ける入力装置３０がそれぞれ接続される。出力装置２０には、一般的な液晶モニタやプリンタ等を用いることができ、入力装置３０には、キーボードやマウス等をそれぞれ適宜選択して使用できる。

ＣＰＵ１は、入力装置３０で受け付けたユーザからの指示に基づいて、記憶部２に記憶されている画像処理プログラムを読み込み、記憶部２に記憶されている画像に対する画像処理を行う。ＣＰＵ１は、その画像処理の結果を、必要に応じて出力装置２０に表示する。ＣＰＵ１には、一般的な中央演算装置を用いることができる。

記憶部２に記憶される画像データやプログラム等は、バス４を介して、ＣＰＵ１から適宜参照することができる。記憶部２には、一般的なハードディスク装置、光磁気ディスク装置等の記憶装置を選択して用いることができる。なお、図１の記憶部２は、コンピュータ１０に組み込まれているが、外付けの記憶装置でも良い。この場合、記憶部２は、入出力Ｉ／Ｆ３を介してコンピュータ１０に接続される。

上記構成のコンピュータ１０において、動画像に対する画像処理を行う際のＣＰＵ１の動作について、図２の流れ図を参照して説明する。なお、記憶部２には、画像処理の対象となる動画像の画像データが予め記憶されているものとする。

ステップＳ１において、ＣＰＵ１は、入力装置３０を介したユーザ指示にしたがって、処理対象となる動画像を取得する。なお、この動画像は、圧縮符号化済みの動画像である。以下では、一例として、Ｈ．２６４方式による圧縮符号化済みの動画像を例に挙げて説明する。Ｈ．２６４方式により圧縮符号化される動画像には、Ｉピクチャ、Ｂピクチャ、Ｐピクチャなどが含まれる。Ｉピクチャは、画面内予測符号化および復号化されるフレームであり、ＰピクチャおよびＢピクチャは、時間的に近いフレームの情報に基づいて予測符号化および復号化されるフレームである。特に、Ｐピクチャは、時間的に前に撮影されたＩピクチャまたはＰピクチャを参照して予測符号化および復号化されるフレームであり、Ｂピクチャは、時間的に前および後のＩピクチャまたはＰピクチャを参照して予測符号化および復号化されるフレームである。また、符号化の条件により程度の差はあるが、上述した特性によって、Ｉピクチャは、ＰピクチャおよびＢピクチャよりも圧縮符号化における劣化の度合が低く、また、Ｐピクチャは、Ｂピクチャよりも圧縮符号化における劣化の度合が低い。

図３は、Ｈ．２６４方式による圧縮符号化を行った動画像について説明する図である。図３Ａは、Ｉピクチャ、Ｂピクチャ、Ｐピクチャの３種類のフレームにより構成される動画像の一例を示し、図３Ｂは、ＩピクチャおよびＰピクチャの２種類のフレームにより構成される動画像の一例を示す。以下では、ステップＳ１において、図３Ａに示した構成の動画像が取得されたものとして、説明を行う。なお、図３Ｂに示した構成の動画像が取得された場合も、同様の処理を行えば良い。

ステップＳ２において、ＣＰＵ１は、ステップＳ１で取得した動画像に対して、復号化処理を行う。復号化処理は、公知技術と同様に行われる。上述したように、ステップＳ１で取得した動画像は、Ｉピクチャ、Ｂピクチャ、Ｐピクチャの３種類のフレームにより構成される動画像である。そのため、復号化処理後の動画像は、復号化による劣化の度合が異なる複数のフレーム（画像）から成る。

ステップＳ３において、ＣＰＵ１は、ステップＳ２で復号化処理を施した動画像からＩピクチャを抽出する。Ｉピクチャは、上述したように、復号化による劣化の度合が小さい画像である。したがって、後述する位置合わせの基準に適した注目画像として好適である。なお、Ｉピクチャの周期（時間間隔）は、通常、圧縮符号化時に所定の周期に決定される。

ステップＳ４において、ＣＰＵ１は、ステップＳ３で抽出したＩピクチャの周期が所定の閾値Ｔｈ未満であるかを判定する。Ｉピクチャの周期が閾値Ｔｈ未満である場合、ＣＰＵ１は、ステップＳ５に進む。一方、Ｉピクチャの周期が閾値Ｔｈ以上である場合、ＣＰＵ１は、以降の処理を中止する。閾値Ｔｈは、予め定められた値である。この閾値は、以降の処理が有効であるか否かを判断するための閾値である。Ｉピクチャの周期が長い場合、Ｉピクチャ間の時間間隔は長い。したがって、Ｉピクチャを基準画像として後述する位置合わせを行うと、対象画像と基準画像との時間的な隔たりが大きく、位置合わせの精度は低下する。一方、Ｉピクチャの周期が短い場合、Ｉピクチャ間の時間間隔は短い。したがって、Ｉピクチャを基準画像として後述する位置合わせを行うと、対象画像と基準画像との時間的な隔たりは小さいので、位置合わせの精度は低下しない。

ステップＳ５において、ＣＰＵ１は、ステップＳ３で抽出したＩピクチャを基準画像として、位置ずれ量を検出する。位置ずれ量の検出は、ステップＳ２で復号化処理を施した動画像のそれぞれについて行われる。また、位置ずれ量は、位置合わせに関する評価値の１つである。図４は、位置ずれ量の検出について説明する図である。図４は、任意の２枚のＩピクチャと、その間のＰピクチャおよびＢピクチャの部分を抜き出して図示している。

ＣＰＵ１は、図４に示すように、ＰピクチャおよびＢピクチャについては、対象画像（ＰピクチャおよびＢピクチャ）より時間的に前に撮影され、かつ、時間的に最も近いＩピクチャを基準画像として位置ずれ量を検出するとともに、対象画像より時間的に後に撮影され、かつ、時間的に最も近いＩピクチャを基準画像として位置ずれ量を検出する。これらの位置ずれ量に基づいて後述する位置合わせ処理を行うことにより、ＰピクチャおよびＢピクチャについては、両側のＩピクチャによりオーバーラップさせる形で位置合わせを行うことができる。また、Ｉピクチャについては、図４に示すように、Ｉピクチャ同士を基準画像として位置ずれ量を検出する。

なお、位置ずれ量の検出は、例えば、以下の式１に示すようなアフィン変換による幾何変換モデルを用いて、検出することができる。

式１は、ｐ_０からｐ_５の６つのパラメータで示されるアフィン変換式である。この式１を用いた位置ずれ量の検出については、文献（“Lucas-Kanade 20 Years On: A Unifying Framework: Part 1” Simon Baker and Ian Matthews, CMU-RI-TR-02-16）等に詳細が記載されている。式１において、パラメータｐ０からｐ３は、回転方向の変化に関わる項であり、パラメータｐ４は、ｘ方向の並進に関わる項であり、パラメータｐ５は、ｙ方向の並進に関わる項である。すなわち、それぞれの項の変動が、幾何変換後の画像に与える影響は異なる。

ＣＰＵ１は、式１における各パラメータを順次変更して、位置ずれ量を検出する。なお、位置ずれ量の検出は公知技術と同様に行われる。この結果、左右のシフト、回転、拡大及び縮小、ゆがみなどを含む位置ずれ量を検出することができる。

なお、ＣＰＵ１は、式１以外の幾何変換式を用いても良い。例えば、８つのパラメータで示される幾何変換式を用いても良い。このパラメータの数が多いほど、より複雑な画像のゆがみ等を検出することができる。

なお、上述した図４の例では、ＰピクチャおよびＢピクチャについて、両側のＩピクチャによりオーバーラップさせる形で位置ずれ量を検出する例を示したが、片側のＩピクチャのみを基準画像として位置ずれ量を検出しても良い。例えば、図５に示すように、対象画像（ＰピクチャおよびＢピクチャ）より時間的に前に撮影され、かつ、時間的に最も近いＩピクチャを基準画像として位置ずれ量を検出しても良いし、図６に示すように、対象画像（ＰピクチャおよびＢピクチャ）より時間的に後に撮影され、かつ、時間的に最も近いＩピクチャを基準画像として位置ずれ量を検出しても良い。

また、例えば、図７に示すように、２枚のＩピクチャ間のＰピクチャおよびＢピクチャについて、より近い方のＩピクチャを基準画像として位置ずれ量を検出しても良い。すなわち、時間的に前に撮影されたＩピクチャ（図７左側のＩピクチャ）を基準画像として、時間的に後側に時系列に並ぶ３枚の画像（Ｂピクチャ、Ｂピクチャ、Ｐピクチャ）の位置ずれ量を検出し、時間的に後に撮影されたＩピクチャ（図７右側のＩピクチャ）を基準画像として、時間的に前側に時系列に並ぶ３枚の画像（Ｂピクチャ、Ｂピクチャ、Ｐピクチャ）の位置ずれ量を検出しても良い。

なお、位置ずれ量の検出に１枚のＩピクチャを基準画像として用いるより、２枚のＩピクチャを基準画像として用いる方が、より検出の正確性は高い。また、位置ずれ量の検出に用いるＩピクチャと対象画像との時間的な隔たりが小さいほど（時間的に近いほど）、より検出の正確性は高い。

そこで、２枚のＩピクチャ間のＰピクチャおよびＢピクチャについて、対象画像ごとに、基準画像とするＩピクチャを変更しても良い。例えば、図８に示すように、２枚のＩピクチャ間のＰピクチャおよびＢピクチャについて、Ｉピクチャに近い対象画像については、それぞれ、近い方の１枚のＩピクチャを基準画像として位置ずれ量を検出し、両側のＩピクチャから遠い対象画像（中央のＰピクチャおよびＢピクチャ）については、両側に位置する２枚のＩピクチャを基準画像として位置ずれ量を検出しても良い。

また、対象画像の圧縮符号化における劣化度合いは、上述したように、ＰピクチャおよびＢピクチャよりで異なる（Ｐピクチャは、Ｂピクチャよりも圧縮符号化における劣化の度合が低い）。そこで、例えば、図９に示すように、Ｐピクチャについては、それぞれ、近い方の１枚のＩピクチャを基準画像として位置ずれ量を検出し、Ｂピクチャについては、両側に位置する２枚のＩピクチャを基準画像として位置ずれ量を検出しても良い。

ステップＳ６において、ＣＰＵ１は、ステップＳ５で検出した位置ずれ量に基づいて、位置ずれの解析を行う。ＣＰＵ１は、ステップＳ５で検出した位置ずれ量に基づいて解析を行うことにより、ステップＳ１で取得した動画像撮影時の撮像装置のパンまたはチルトに起因する位置ずれ、動画像撮影時の手ぶれに起因する位置ずれ、撮像装置の撮像素子における読み出し方式に起因する位置ずれなどを検出する。各位置ずれの検出は公知技術と同様に行われる。

なお、動画像撮影時の撮像装置のパンまたはチルトに起因する位置ずれは、撮影者による意図的なものであるため、このような位置ずれを検出した際には、後述するステップＳ７の位置合わせ処理を行わずにステップＳ８に進む構成としても良い。

また、上述したステップＳ５において複数の位置ずれ量を検出している場合には、ステップＳ６の解析においてそれらの情報を総合的に判断すると良い。例えば、図４を参照して説明したように、ＰピクチャおよびＢピクチャについて、基準画像となるＩピクチャが異なる２つの位置ずれ量を検出した場合には、それぞれの位置ずれ量を、基準画像までの距離に応じて重み付け加算するなどして、総合的に判断すると良い。

ステップＳ７において、ＣＰＵ１は、ステップＳ５で検出した位置ずれ量と、ステップＳ６で行った位置ずれの解析結果とに基づいて、位置合わせ処理を行う。なお、この位置合わせ処理においては、左右のシフト、回転、拡大及び縮小、ゆがみなどを含む位置合わせ処理が行われる。また、位置合わせ処理は、公知技術と同様に行われる。

ステップＳ８において、ＣＰＵ１は、ステップＳ７で位置合わせ処理を施した動画像に対して、再符号化処理を行う。なお、ステップＳ７における位置合わせ処理後に、余白の発生等の不具合が生じる場合には、公知技術と同様に、クロップ処理や補間処理を施した後に再符号化処理を行っても良い。また、再符号化処理は、公知技術と同様に行われる。

ステップＳ９において、ＣＰＵ１は、ステップＳ８で再符号化処理を施した動画像を記憶部２に記録して、一連の処理を終了する。なお、再符号化処理を施した動画像を記憶部２に記録した後に、出力装置２０に出力しても良いし、再符号化処理を施した動画像を記憶部２に記録せずに、出力装置２０に出力しても良い。

以上説明したように、本実施形態によれば、圧縮符号化され、圧縮符号化による劣化の度合いが異なる複数の画像から符号化された動画像を取得し、複数の画像を復号化する。そして、複数の画像から、位置合わせの基準に適した注目画像を抽出し、対象画像と、対象画像と時間的に最も近い少なくとも１枚の注目画像とに基づいて、位置合わせに関する評価値を算出する。さらに、算出された評価値に基づいて、対象画像と少なくとも１枚の注目画像との相対的な位置を検出する。そのため、劣化の少ない画像を基準画像として位置合わせを行うので、圧縮符号化された動画像に対して、精度良く効率的な位置合わせを実現し、結果として好適な手ぶれ補正を行うことができる。

また、本実施形態によれば、上述した検出において、評価値と、対象画像と少なくとも１枚の注目画像との相対的な位置との少なくとも一方に基づいて、動画像撮影時の撮像装置のパンまたはチルトに起因する位置ずれと、動画像撮影時の手ぶれに起因する位置ずれと、撮像装置の撮像素子における読み出し方式に起因する位置ずれとの少なくとも１つを検出する。そのため、これらの情報に応じた適切な解析を行うことにより、好適な位置合わせを実現することができる。

なお、本実施形態で説明した処理の順番を、適宜入れ替えても良い。例えば、はじめにＩピクチャについてステップＳ５からステップＳ７の処理を行い、その後に、ＰピクチャおよびＢピクチャについてステップＳ５からステップＳ７の処理を行っても良い。このような順番で処理を行うことにより、基準画像であるＩピクチャ同士について、まず位置合わせ処理を行い、その後に、位置合わせ処理後のＩピクチャを基準画像としてＰピクチャおよびＢピクチャの位置合わせ処理を行うことができる。ただし、動画像の撮影時間が長い場合には、被写体が大きく変化する可能性がある。このような場合に、上述した順番で処理を行うと好ましくない。そこで、隣接する数枚のＩピクチャごとにグループ化し、グループごとにＩピクチャの位置合わせを行っても良い。

また、本実施形態で説明した位置合わせの手法は一例であり、本発明はこの例に限定されない。例えば、本実施形態で説明した６つのパラメータ（パラメータｐ０からｐ５）に代えて、並進方向の変化に関するパラメータと、回転方向の変化に関するパラメータと、拡大縮小に関するパラメータとを含む８つのパラメータを用いて、位置合わせのための評価値を算出する手法にも本発明を同様に適用することができる。また、位置合わせに関して異なる特性を有するパラメータを含む複数のパラメータを用いて、位置合わせのための評価値を算出する他の手法にも本発明を同様に適用することができる。

また、本実施形態で説明した一連の処理は、どのようなタイミングで実行されても良い。例えば、入力装置３０で受け付けたユーザからの指示に基づいて実行しても良いし、コンピュータ１０に外部から動画像が入力される際に自動で実行しても良いし、記憶部２に記憶された動画像を出力装置２０（液晶モニタやプリンタ等）に出力する際に自動で実行しても良い。

また、本実施形態では、画像処理の対象となる動画像として、Ｈ．２６４方式による圧縮符号化済みの動画像を例に挙げて説明したが、本発明はこの例に限定されない。圧縮符号化による劣化の度合いが異なる複数の画像からなる動画像であれば、どのような方法により圧縮符号化された動画像であっても良い。

また、本実施形態では、動画像に対する画像処理を行うコンピュータ１０を例に挙げて説明したが、本発明はこの例に限定されない。図２に示した流れ図の処理の一部または全部を実行するための画像処理プログラムも本発明の具体的態様として有効である。この画像処理プログラムは、媒体に記録されたものであっても良いし、インターネット上のサーバに記録され、インターネットを介してダウンロード可能なものであっても良い。

また、本実施形態で説明した処理を行う撮像装置も本発明の具体的態様として有効である。このような撮像装置においては、撮像により生成し、圧縮符号化した動画像の位置合わせにおいて、本実施形態で説明した処理を行うことにより、同様の効果を得ることができる。

１…ＣＰＵ，２…記憶部，１０…コンピュータ，２０…出力装置，３０…入力装置

Claims

圧縮符号化され、前記圧縮符号化による劣化の度合いが異なる複数の画像からなる動画像において、前記複数の画像の位置合わせをコンピュータで実現するための画像処理プログラムであって、
前記複数の画像から符号化された動画像を取得する取得ステップと、
前記複数の画像を復号化する復号化ステップと、
復号化された前記複数の画像から、位置合わせの基準に適した注目画像を抽出する抽出ステップと、
対象画像と、前記対象画像と時間的に最も近い少なくとも１枚の前記注目画像とに基づいて、前記位置合わせに関する評価値を算出する算出ステップと、
前記算出ステップにおいて算出された前記評価値に基づいて、前記対象画像と少なくとも１枚の前記注目画像との相対的な位置を検出する検出ステップと
を備えることを特徴とする画像処理プログラム。
請求項１に記載の画像処理プログラムにおいて、
前記取得ステップでは、前記動画像として、前記復号化ステップにおいて面内予測符号化される画像と、時間的に前方および後方の少なくともの一方の画像を参照して予測符号化される画像とを含む動画像を取得し、
前記抽出ステップでは、前記復号化ステップにおいて、前記面内予測符号化された画像を前記注目画像として抽出する
ことを特徴とする画像処理プログラム。
請求項１に記載の画像処理プログラムにおいて、
前記検出ステップでは、前記評価値と、前記対象画像と少なくとも１枚の前記注目画像との相対的な位置との少なくとも一方に基づいて、前記動画像撮影時の撮像装置のパンまたはチルトに起因する位置ずれと、前記動画像撮影時の手ぶれに起因する位置ずれと、前記撮像装置の撮像素子における読み出し方式に起因する位置ずれとの少なくとも１つを検出する
ことを特徴とする画像処理プログラム。
請求項１に記載の画像処理プログラムにおいて、
前記算出ステップでは、前記注目画像間の時間間隔を求め、前記時間間隔が所定の閾値よりも短い場合にのみ、前記評価値を算出する
ことを特徴とする画像処理プログラム。
請求項１に記載の画像処理プログラムにおいて、
前記算出ステップでは、前記対象画像と、前記対象画像より時間的に前に撮影され、かつ、前記対象画像と時間的に最も近い第１の注目画像とに基づく前記評価値を算出するとともに、前記対象画像と、前記対象画像より時間的に後に撮影され、かつ、前記対象画像と時間的に最も近い第２の注目画像とに基づく前記評価値とを算出し、
前記検出ステップでは、前記算出ステップにおいて算出した２つの評価値に基づいて、前記対象画像と前記第１の注目画像との相対的な位置を検出するとともに、前記対象画像と前記第２の注目画像との相対的な位置を検出する
ことを特徴とする画像処理プログラム。
請求項５に記載の画像処理プログラムにおいて、
前記算出ステップでは、前記第１の注目画像と、前記第２の注目画像とに基づく前記評価値をさらに算出し、
前記検出ステップでは、前記算出ステップにおいて算出した３つの評価値に基づいて、前記対象画像と前記第１の注目画像との相対的な位置を検出するとともに、前記対象画像と前記第２の注目画像との相対的な位置を検出する
ことを特徴とする画像処理プログラム。
請求項１に記載の画像処理プログラムにおいて、
前記算出ステップでは、前記対象画像と、前記対象画像より時間的に前に撮影され、かつ、前記対象画像と時間的に最も近い第１の注目画像とに基づく前記評価値と、前記対象画像と、前記対象画像より時間的に後に撮影され、かつ、前記対象画像と時間的に最も近い第２の注目画像とに基づく前記評価値との何れかを算出し、
前記検出ステップでは、前記算出ステップにおいて算出した１つの評価値に基づいて、前記対象画像と、前記算出ステップにおいて前記評価値の算出に用いた前記注目画像との相対的な位置を検出する
ことを特徴とする画像処理プログラム。
請求項１に記載の画像処理プログラムにおいて、
前記算出ステップでは、複数の幾何パラメータを用いて、前記評価値を算出し、
前記検出ステップでは、前記複数の幾何パラメータのそれぞれの重みを設定し、設定した前記重みの異なる前記幾何パラメータを用いて前記算出ステップにおいて算出された複数の前記評価値を比較して、前記相対的な位置を検出する
ことを特徴とする画像処理プログラム。
請求項８に記載の画像処理プログラムにおいて、
前記複数のパラメータは、前記位置合わせにおける並進方向の変化に関するパラメータと、前記位置合わせにおける回転方向の変化に関するパラメータと、前記位置合わせにおける拡大縮小に関するパラメータとのうち少なくとも１つのパラメータを含む
ことを特徴とする画像処理プログラム。
圧縮符号化され、前記圧縮符号化による劣化の度合いが異なる複数の画像からなる動画像において、前記複数の画像の位置合わせを行う画像処理装置であって、
前記複数の画像から符号化された動画像を取得する取得部と、
前記複数の画像を復号化する復号化部と、
復号化された前記複数の画像から、位置合わせの基準に適した注目画像を抽出する抽出部と、
対象画像と、前記対象画像と時間的に最も近い少なくとも１枚の前記注目画像とに基づいて、前記位置合わせに関する評価値を算出する算出部と、
前記算出部において算出された前記評価値に基づいて、前記対象画像と少なくとも１枚の前記注目画像との相対的な位置を検出する検出部と
を備えることを特徴とする画像処理装置。
請求項１０に記載の画像処理装置において、
前記取得部は、前記動画像として、前記復号部において面内予測符号化される画像と、時間的に前方および後方の少なくともの一方の画像を参照して予測符号化される画像とを含む動画像を取得し、
前記抽出部は、前記復号化部において、前記面内予測符号化された画像を前記注目画像として抽出する
ことを特徴とする画像処理装置。
請求項１０に記載の画像処理装置において、
前記検出部は、前記評価値と、前記対象画像と少なくとも１枚の前記注目画像との相対的な位置との少なくとも一方に基づいて、前記動画像撮影時の撮像装置のパンまたはチルトに起因する位置ずれと、前記動画像撮影時の手ぶれに起因する位置ずれと、前記撮像装置の撮像素子における読み出し方式に起因する位置ずれとの少なくとも１つを検出する
ことを特徴とする画像処理装置。
請求項１０に記載の画像処理装置において、
前記算出部は、前記注目画像間の時間間隔を求め、前記時間間隔が所定の閾値よりも短い場合にのみ、前記評価値を算出する
ことを特徴とする画像処理装置。
請求項１０に記載の画像処理装置において、
前記算出部は、前記対象画像と、前記対象画像より時間的に前に撮影され、かつ、前記対象画像と時間的に最も近い第１の注目画像とに基づく前記評価値を算出するとともに、前記対象画像と、前記対象画像より時間的に後に撮影され、かつ、前記対象画像と時間的に最も近い第２の注目画像とに基づく前記評価値とを算出し、
前記検出部は、前記算出部において算出した２つの評価値に基づいて、前記対象画像と前記第１の注目画像との相対的な位置を検出するとともに、前記対象画像と前記第２の注目画像との相対的な位置を検出する
ことを特徴とする画像処理装置。
請求項１４に記載の画像処理装置において、
前記算出部は、前記第１の注目画像と、前記第２の注目画像とに基づく前記評価値をさらに算出し、
前記検出部は、前記算出部において算出した３つの評価値に基づいて、前記対象画像と前記第１の注目画像との相対的な位置を検出するとともに、前記対象画像と前記第２の注目画像との相対的な位置を検出する
ことを特徴とする画像処理装置。
請求項１０に記載の画像処理装置において、
前記算出部は、前記対象画像と、前記対象画像より時間的に前に撮影され、かつ、前記対象画像と時間的に最も近い第１の注目画像とに基づく前記評価値と、前記対象画像と、前記対象画像より時間的に後に撮影され、かつ、前記対象画像と時間的に最も近い第２の注目画像とに基づく前記評価値との何れかを算出し、
前記検出部は、前記算出部において算出した１つの評価値に基づいて、前記対象画像と、前記算出部において前記評価値の算出に用いた前記注目画像との相対的な位置を検出する
ことを特徴とする画像処理装置。
請求項１０に記載の画像処理装置において、
前記算出部は、複数の幾何パラメータを用いて、前記評価値を算出し、
前記検出部は、前記複数の幾何パラメータのそれぞれの重みを設定し、設定した前記重みの異なる前記幾何パラメータを用いて前記算出部において算出された複数の前記評価値を比較して、前記相対的な位置を検出する
ことを特徴とする画像処理装置。
請求項１０に記載の画像処理装置において、
前記複数のパラメータは、前記位置合わせにおける並進方向の変化に関するパラメータと、前記位置合わせにおける回転方向の変化に関するパラメータと、前記位置合わせにおける拡大縮小に関するパラメータとのうち少なくとも１つのパラメータを含む
ことを特徴とする画像処理装置。
請求項１０から請求項１８のいずれか１項に記載の画像処理装置と、
被写体像を撮像して動画像を生成する撮像部とを備え、
前記取得部は、前記撮像部により生成された動画像を前記動画像として取得する
ことを特徴とする撮像装置。