JP2012204908A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】動画像を再生する場合における高画質化を図ることが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】フレーム画像からなる動画像を示す画像信号に基づいて、動画像を撮像した撮像装置の動きを示すカメラワークを検出する検出部と、検出されたカメラワークからぶれ成分を除いた第１補正カメラワークを算出する第１算出部と、画像信号と第１補正カメラワークとに基づいて、第１補正カメラワークに対応する補正フレーム画像を生成する生成部と、補正フレーム画像内に画像が存在しない補間領域が含まれる場合に、補間領域を補間する補間部とを備える画像処理装置が提供される。
【選択図】図６

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

近年、例えば、デジタルスチルカメラや、携帯電話などの通信装置など、様々な機器に動画像を撮像可能な撮像機能が搭載されている。また、例えばＰＣ（Personal Computer）などのコンピュータや上記のような機器の性能の向上に伴い、ユーザは、撮像した画像をコンピュータに再生させることに加え、撮像した画像をコンピュータを用いて編集することもより容易となっている。

このような中、撮像された画像に含まれうる、撮像時におけるユーザの手振れなどにより生じうる画像の歪みを補正する技術が開発されている。上記画像の歪みを補正する技術としては、例えば、特許文献１に記載の技術が挙げられる。

特開２００７−２０８５８０号公報

ユーザが、動画像を撮像可能な装置（以下、総称して「撮像装置」と示す場合がある。）を用いて動画像を撮像する場合には、例えばユーザの手振れによって、撮像された動画像（以下、「撮像画像」と示す場合がある。）にぶれが生じることが起こりうる。ここで、撮像画像にぶれが生じている場合に当該撮像画像がそのまま再生されると、表示画面に表示される画像は同様にぶれることとなる。上記の場合には、再生された画像の高画質化は望めない。そのため、例えば特許文献１に示すように、画像のうちの一部の領域を有効な画像とすることによって、上記のようなぶれの影響を低減することが行われている。

しかしながら、動画像を再生する場合において、例えば上記のように画像のうちの一部の領域を有効な画像とする方法を用いて当該動画像を処理したとしても、処理後の画像が、例えば動画像を撮像した撮像装置の動きを示すカメラワークが急激に変化するなど、望ましくない画像となる恐れがある。

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動画像を再生する場合における高画質化を図ることが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。

上記目的を達成するために、本発明の第１の観点によれば、フレーム画像からなる動画像を示す画像信号に基づいて、上記動画像を撮像した撮像装置の動きを示すカメラワークを検出する検出部と、検出されたカメラワークからぶれ成分を除いた第１補正カメラワークを算出する第１算出部と、上記画像信号と上記第１補正カメラワークとに基づいて、上記第１補正カメラワークに対応する補正フレーム画像を生成する生成部と、上記補正フレーム画像内に画像が存在しない補間領域が含まれる場合に、上記補間領域を補間する補間部と、を備える画像処理装置が提供される。

かかる構成により、動画像を再生する場合における高画質化を図ることができる。

また、上記補間部は、補間対象の補正フレーム画像に対応する現フレームに対して時間的に前のフレームである１または２以上の過去フレームに対応する、１または２以上の過去フレーム画像から、上記補間領域に対応する領域を探索し、上記過去フレーム画像における探索された領域に対応する画像信号に基づいて、上記補間領域を補間してもよい。

また、上記補間部は、上記現フレームに対して時間的に後のフレームである１または２以上の未来フレームに対応する、１または２以上の未来フレーム画像から、上記補間領域に対応する領域をさらに探索し、上記過去フレーム画像における探索された領域に対応する画像信号、または、上記未来フレーム画像における探索された領域に対応する画像信号に基づいて、上記補間領域を補間してもよい。

また、検出された上記カメラワークが記憶される記録媒体に記憶されたカメラワークからぶれ成分を除いた、第２補正カメラワークを算出する第２算出部と、上記第１補正カメラワークと上記第２補正カメラワークとを選択的に合成する合成部と、をさらに備え、
上記生成部は、上記画像信号と、上記第１補正カメラワークと上記第２補正カメラワークとが選択的に合成された第３補正カメラワークとに基づいて、上記第３補正カメラワークに対応する補正フレーム画像を生成してもよい。

また、上記動画像を撮像する撮像部をさらに備えてもよい。

また、上記目的を達成するために、本発明の第２の観点によれば、フレーム画像からなる動画像を示す画像信号に基づいて、上記動画像を撮像した撮像装置の動きを示すカメラワークを検出するステップと、検出されたカメラワークからぶれ成分を除いた第１補正カメラワークを算出するステップと、上記画像信号と上記第１補正カメラワークとに基づいて、上記第１補正カメラワークに対応する補正フレーム画像を生成するステップと、上記補正フレーム画像内に画像が存在しない補間領域が含まれる場合に、上記補間領域を補間するステップと、を有する画像処理方法が提供される。

かかる方法を用いることにより、動画像を再生する場合における高画質化を図ることができる。

また、上記目的を達成するために、本発明の第３の観点によれば、フレーム画像からなる動画像を示す画像信号に基づいて、上記動画像を撮像した撮像装置の動きを示すカメラワークを検出するステップ、検出されたカメラワークからぶれ成分を除いた第１補正カメラワークを算出するステップ、上記画像信号と上記第１補正カメラワークとに基づいて、上記第１補正カメラワークに対応する補正フレーム画像を生成するステップ、上記補正フレーム画像内に画像が存在しない補間領域が含まれる場合に、上記補間領域を補間するステップ、をコンピュータに実行させるためのプログラムが提供される。

かかるプログラムを用いることにより、動画像を再生する場合における高画質化を図ることができる。

本発明によれば、動画像を再生する場合における高画質化を図ることができる。

再生を行う際にぶれ補正を行う場合における問題の一例を説明するための説明図である。 再生を行う際にぶれ補正を行う場合における問題の一例を説明するための説明図である。 再生を行う際にぶれ補正を行う場合における問題の一例を説明するための説明図である。 再生を行う際にぶれ補正を行う場合における問題の一例を説明するための説明図である。 再生を行う際にぶれ補正を行う場合における問題の一例を説明するための説明図である。 本発明の第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本発明の実施形態に係る画像処理装置における補間処理の一例を説明するための説明図である。 本発明の実施形態に係る画像処理装置における補間処理の一例を説明するための説明図である。 本発明の実施形態に係る画像処理装置における補間処理の一例を示す流れ図である。 Ｉｎｐａｉｎｔｉｎｇ技術を用いる従来の方法における問題の一例を説明するための説明図である。 本発明の実施形態に係る画像処理装置が備える補間処理部の第１の構成例を示すブロック図である。 本発明の実施形態に係る画像処理装置が備える補間処理部の第１の構成例における処理の概要を示す説明図である。 本発明の実施形態に係る画像処理装置が備える補間処理部の第２の構成例を示すブロック図である。 本発明の実施形態に係る画像処理装置が備える補間処理部の第２の構成例における処理の概要を示す説明図である。 本発明の実施形態に係る画像処理装置が備える補間処理部の第２の構成例における処理による効果の一例を説明するための説明図である。 本発明の第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本発明の第２の実施形態に係る画像処理装置における合成部における処理の一例を説明するための説明図である。 本発明の第２の実施形態に係る画像処理装置における合成部における処理の一例を説明するための説明図である。 本発明の第２の実施形態に係る画像処理装置における処理の一例を示す流れ図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本発明の実施形態に係る画像処理方法
２．本発明の実施形態に係る画像処理装置
３．本発明の実施形態に係るプログラム

（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理装置（以下、総称して「画像処理装置１００」と示す場合がある。）の構成について説明する前に、本発明の実施形態に係る画像処理方法の概要について説明する。以下では、画像処理装置１００が、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。

また、以下では、画像処理装置１００が、フレーム画像からなる動画像を示す画像信号を処理するものとして説明する。

ここで、本発明の実施形態に係る画像信号としては、例えば撮像者が撮像装置を用いて撮像することにより得られた動画像を示す信号（アナログ信号／デジタル信号）が挙げられるが、本発明の実施形態に係る画像信号は、上記に限られない。例えば、本発明の実施形態に係る画像信号は、乗り物などに搭載された撮像装置によって撮像された動画像や、いわゆる防犯カメラなどのように固定の場所に設置された撮像装置によって撮像された動画像を示す信号であってもよい。以下では、本発明の実施形態に係る画像信号が、撮像者が撮像装置を用いて撮像することにより得られた動画像を示す信号である場合を例に挙げて、説明する。

また、本発明の実施形態に係る画像信号としては、例えば、画像処理装置１００がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号が挙げられるが、本発明の実施形態に係る画像信号は、上記に限られない。例えば、画像処理装置１００は、ネットワークを介して（または直接的に）外部装置から送信された画像信号を処理することも可能である。また、画像処理装置１００は、例えば、記憶部（後述する）や、画像処理装置１００から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を処理してもよい。さらに、画像処理装置１００が動画像を撮像することが可能な撮像部（上記撮像装置に対応するデバイス。後述する）を備えている場合、すなわち、画像処理装置１００が撮像装置として機能する場合には、画像処理装置１００は、例えば、当該撮像部により撮像された動画像に対応する画像信号を処理してもよい。

［再生を行う場合にぶれ補正を行う場合における問題］
上述したように、動画像の再生を行う場合において、画像のうちの一部の領域を有効な画像とする方法を用いて当該動画像を処理したとしても、高画質化を図ることは困難である。本発明の実施形態に係る画像処理方法について説明する前に、動画像の再生を行う場合において、画像のうちの一部の領域を有効な画像とする方法を用いて動画像を処理した場合に起こりうる問題について、より具体的に説明する。

画像のうちの一部の領域を有効な画像とする方法を用いる処理としては、例えば、１ＰＡＳＳ処理と２ＰＡＳＳ処理とが挙げられる。ここで、１ＰＡＳＳ処理とは、例えば、動画像の再生を行う際に、動画像を撮像した撮像装置の動き（以下、「カメラワーク」と示す。）を検出し、手振れなどにより生じたぶれ成分を取り除いたカメラワーク（以下、「補正カメラワーク」と示す場合がある。）を算出することによって、フレーム画像を補正する処理である。つまり、１ＰＡＳＳ処理では、動画像の再生を行う際にカメラワークが変更される。また、２ＰＡＳＳ処理とは、まず再生対象の動画像からカメラワークを検出し（実質的な１回目の再生）、検出されたカメラワークを変更した後に、変更後のカメラワークに基づき動画像の再生を行うことによって（実質的な２回目の再生）、フレーム画像を補正する処理である。つまり、２ＰＡＳＳ処理とは、例えば、再生の前にすべてのフレームからカメラワークを検出して補正カメラワークを算出し、（実際の）再生の際には、事前に算出した補正カメラワークを利用してフレーム画像を補正する処理である。上記のように、１ＰＡＳＳ処理は、再生に係る処理が実質的に１回行われることから“１ＰＡＳＳ”とよばれ、また、２ＰＡＳＳ処理は、再生に係る処理が実質的に２回行われることから“２ＰＡＳＳ”とよばれる。以下では、カメラワークの変更を、「カメラワークの補正」と示す場合がある。

（ｉ）１ＰＡＳＳ処理において起こりうる問題
まず、１ＰＡＳＳ処理において起こりうる問題について説明する。以下では、１ＰＡＳＳ処理を画像処理装置１０が行う場合を例に挙げて説明する。

図１〜図５は、再生を行う際にぶれ補正を行う場合における問題の一例を説明するための説明図である。ここで、図１、図２は、カメラワークの補正の概要を示している。また、図３〜図５は、１ＰＡＳＳ処理において生じうる問題の一例を示している。

カメラワークの補正は、動画像を構成する各フレームに対応するフレーム画像（静止画像）それぞれから、画像を切り出すことによって行われる。例えば、図１に示すＡ、Ｂは、それぞれフレーム画像の一例を示しており、図１に示すＰは本来の画像（切り出し前の画像。以下、「本来の画像Ｐ」と示す場合がある。）の一例を示し、図１に示すＱは切り出された画像（以下、「切り出し画像Ｑ」と示す場合がある。）の一例を示している。

また、図２に示すように、動画像を撮像した撮像装置の撮像ベクトル（実際のカメラワークに該当する。）は、例えば撮像者の手振れなどによって、当該撮像者が意図したカメラワークと相違することが起こりうる。そこで、画像処理装置１０は、例えば図１のＢ、図２に示すように、上記撮像者が意図したカメラワークと実際のカメラワークとの相違を補正量（ぶれ量）として補正を行うことによって、カメラワークを補正する。

ここで、本来の画像Ｐから切り出し画像Ｑを切り出す場合には、例えば、画像を切り出す枠（以下、「切り出し枠」と示す場合がある。）が設定される。設定された切り出し枠が本来の画像Ｐ内に含まれない場合には、切り出し画像Ｑが、例えば図３に示すように画像（絵）が存在しない領域がある画像となってしまう。そのため、例えば図３に示すような切り出し画像Ｑが生成された場合には、たとえ手振れなどによるぶれが補正されたとしても、高画質化は望めない。よって、高画質化を図るためには、図３に示すような画像（絵）が存在しない領域が存在する切り出し画像Ｑが生成されることを防止する必要がある。

しかしながら、１ＰＡＳＳ処理を行う場合、すなわち、動画像を再生しながらカメラワークの検出を行う場合には、現在処理対象となっているフレーム（以下、「現フレーム」と示す。）に対して時間的に後のフレーム（以下、「未来フレーム」と示す。）が分からない。そのため、現フレームより後のカメラワークも分からないことから、切り出し枠をどこに設定すれば、切り出し枠が本来の画像Ｐ内に含まれるかも不明である。以下では、本来の画像Ｐ内を「本来の画像Ｐの枠内」と示し、本来の画像Ｐ外を「本来の画像Ｐの枠外」と示す場合がある。

よって、現フレームにおいて切り出し枠が本来の画像Ｐの枠外となりそうな場合には、画像処理装置１０は、例えば図４に示すように、カメラワークを急激に変化させる。ここで、例えば図４に示すようにカメラワークが急激に変化した場合には、再生された画像をみるユーザが不自然な動きを感じてしまう恐れがある。そのため、画像処理装置１０が、切り出し枠を本来の画像Ｐの枠内に設定するようにカメラワークを補正する場合には、高画質化は望めない。

また、切り出し枠を本来の画像Ｐの枠内に設定するための他の方策としては、例えば、切り出し枠のサイズ、すなわち、切り出し画像Ｑのサイズを小さく設定することが挙げられる。ここで、切り出し画像Ｑのサイズを小さく設定すれば、切り出し枠が本来の画像Ｐの枠内に設定される可能性が高まる。よって、切り出し画像Ｑのサイズを小さく設定することによって、画像処理装置１０が切り出し枠を本来の画像Ｐの枠内に設定するようにカメラワークを補正したとしても、例えば図４に示すようなカメラワークの急激な変化が生じる可能性は、低減される。

しかしながら、切り出し画像Ｑのサイズを小さく設定したときには、例えば切り出し画像Ｑを本来の画像Ｐのサイズまでスケーリング処理などによって拡大した場合に、表示画面に表示される画像（絵）がぼけた画像となってしまう可能性が高まる。そのため、画像処理装置１０が切り出し画像Ｑのサイズを小さく設定したとしても、高画質化は望むべくもない。

また、切り出し枠を本来の画像Ｐの枠内に設定するための他の方策としては、例えば、画像処理装置１０にフレームバッファを設け、当該フレームバッファを用いて未来フレームを先読みする方法が挙げられる。上記のようにフレームバッファを用いてバッファリングを行うことによって未来フレームが既知となるので、画像処理装置１０は、例えば図５に示すように、カメラワークが急激に変化することを防止しつつ、切り出し枠を本来の画像Ｐの枠内に設定することが可能となる。

しかしながら、切り出し枠が本来の画像Ｐの枠内に設定された、安定した補正カメラワークを生成するためには、未来フレームの先読みの範囲をある程度大きくする、すなわち、フレームバッファのサイズをある程度大きくする必要がある。しかしながら、フレームバッファのサイズは、例えば画像処理装置１０が備えるメモリのサイズに依存することから、例えば安定した補正カメラワークを生成するために十分なフレームバッファが設けられていない場合には、カメラワークが急激に変化することが生じうる。したがって、フレームバッファを用いて未来フレームを先読みする方法を用いたとしても、高画質化を図ることができないことが起こりうる。

したがって、画像処理装置１０が上記のような従来の１ＰＡＳＳ処理を用いたとしても、動画像を再生する場合における高画質化を図ることができるとは限らない。

（ｉｉ）２ＰＡＳＳ処理において起こりうる問題
次に、２ＰＡＳＳ処理において起こりうる問題について説明する。以下では、２ＰＡＳＳ処理を画像処理装置１０が行う場合を例に挙げて説明する。

上述したように、２ＰＡＳＳ処理は、再生の前にすべてのフレームからカメラワークを検出して補正カメラワークを算出し、（実際の）再生の際には、事前に算出した補正カメラワークを利用して、フレーム画像を補正する処理である。よって、２ＰＡＳＳ処理を用いる場合には、実際の再生時においてカメラワークが検出されているので、１ＰＡＳＳ処理を行う場合において生じうる、切り出し枠が本来の画像Ｐの枠外に設定されることにより生じる画質の低下は、防止される。

また、２ＰＡＳＳ処理を用いる場合には、実際の再生時においてカメラワークが検出されているので、切り出し枠のサイズを最大限大きく設定することが可能である。よって、切り出し画像Ｑを本来の画像Ｐのサイズまでスケーリング処理などによって拡大した場合であっても、表示画面に表示される画像（絵）がぼけた画像となってしまう可能性は低い。

したがって、画像処理装置１０が、動画像を再生する際に２ＰＡＳＳ処理を行う場合には、上記従来の１ＰＡＳＳ処理を行う場合よりも、より高画質化を図ることができる可能性がある。

しかしながら、画像処理装置１０が動画像を再生する際に２ＰＡＳＳ処理を行う場合には、再生の前にすべてのフレームからカメラワークを検出する必要がある。そのため、画像処理装置１０では、上記カメラワークの検出が完了するまで実際の動画像の再生は行われず、画像処理装置１０を用いるユーザは、上記カメラワークの検出が完了するまで待たされることとなる。

したがって、画像処理装置１０が上記のような従来の２ＰＡＳＳ処理を用いた場合には、上記従来の１ＰＡＳＳ処理を行う場合よりも高画質化を図ることができたとしても、ユーザの利便性が低下する恐れがある。

上記のように、従来の１ＰＡＳＳ処理、または、従来の２ＰＡＳＳ処理を用いたとしても、例えば、画質の低下や、ユーザの利便性の低下が生じうる。

［本発明の実施形態に係る画像処理方法の概要］
上述した従来の１ＰＡＳＳ処理における問題が生じる要因は、切り出し枠が本来の画像Ｐの枠外とならないように、切り出し枠を設定することにある。また、従来の２ＰＡＳＳ処理を用いた場合には、カメラワークの検出に係る処理による待ち時間が生じることから、ユーザの利便性の低下が生じうる。そこで、本発明の実施形態に係る画像処理装置１００は、“切り出し枠が本来の画像Ｐの枠外とならないように、切り出し枠を設定する”という制限をかけずに１ＰＡＳＳ処理を行い、処理対象の動画像に基づいてカメラワークの急激な変化が生じない理想的な補正カメラワークを算出する。

ここで、上記のように“切り出し枠が本来の画像Ｐの枠外とならないように、切り出し枠を設定する”という制限をかけない場合は、切り出し枠が本来の画像Ｐの枠外となるフレームも存在しうる。また、上述したように、例えば図３に示すような画像（絵）が存在しない領域がある画像が生じた場合には、高画質化は望むべくもない。画像処理装置１００は、切り出し枠が本来の画像Ｐの枠外となった結果、例えば図３に示すような画像（絵）が存在しない領域があるフレーム画像が生じた場合には、当該領域を補間する。以下では、算出されたカメラワークに基づき補正されたフレーム画像（以下、「補正フレーム画像」と示す場合がある。）内に生じた画像が存在しない領域を、「補間領域」と示す場合がある。なお、本発明の実施形態に係る画像処理装置１００における補間処理の具体例については、後述する。

上記のように、画像（絵）が存在しない領域を補間することによって、例えば図３に示すような画像（絵）が存在しない領域がある画像は存在しなくなる。また、画像処理装置１００は１ＰＡＳＳ処理を行うので、従来の２ＰＡＳＳ処理が用いられる場合のような待ち時間が生じることによる利便性の低下は、防止される。

したがって、画像処理装置１００は、理想的な補正カメラワークの算出と、補間処理とを行う１ＰＡＳＳ処理（以下、「本発明の実施形態に係る１ＰＡＳＳ処理」と示す場合がある。）を行うことによって、動画像を再生する場合における高画質化を図ることができる。また、画像処理装置１００は、本発明の実施形態に係る１ＰＡＳＳ処理を行うことによって、ユーザの利便性の低下を防止することができる。

また、画像処理装置１００は、本発明の実施形態に係る１ＰＡＳＳ処理を行う場合には、処理対象の動画像に基づき検出されたカメラワークを記録媒体に記録することも可能である。ここで、本発明の実施形態に係る上記記録媒体としては、例えば、画像処理装置１００が備える記憶部（後述する）や、画像処理装置１００から着脱可能な外部記録媒体、外部装置が備える記録媒体が挙げられる。

上記のように、処理対象の動画像に基づき検出されたカメラワークを記録媒体に記録する場合には、画像処理装置１００は、当該動画像を再度再生させるときに、記録媒体に記憶されたカメラワークに基づき補正カメラワークを生成する。つまり、処理対象の動画像に基づき検出されたカメラワークを記録媒体に記録することによって、画像処理装置１００は、２回目以降の動画像の再生においては、上記従来の２ＰＡＳＳ処理と同様の処理を行うことができる。

ここで、画像処理装置１００は、処理対象の動画像の１回目の再生の際には、上記のように本発明の実施形態に係る１ＰＡＳＳ処理を行うので、上記従来の２ＰＡＳＳ処理のようにユーザを待たせることはない。したがって、例えば本発明の実施形態に係る１ＰＡＳＳ処理の際に検出されたカメラワークを用いた２ＰＡＳＳ処理を行うことによって、ユーザの利便性の低下を防止しつつ、動画像を再生する場合における高画質化を図ることができる。

以下では、例えば、本発明の実施形態に係る１ＰＡＳＳ処理の際に検出されたカメラワークを用いた２ＰＡＳＳ処理や、処理対象の動画像に対応するカメラワークが既知である場合（例えば後述する保存カメラワークが存在する場合）における当該カメラワークを用いた２ＰＡＳＳ処理を、「本発明の実施形態に係る２ＰＡＳＳ処理」と示す。

以下、本発明の実施形態に係る画像処理装置１００の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。

（本発明の実施形態に係る画像処理装置）
（１）第１の実施形態
まず、本発明の第１の実施形態に係る画像処理装置１００として、本発明の実施形態に係る１ＰＡＳＳ処理を行うことが可能な画像処理装置１００の構成の一例について説明する。

図６は、本発明の第１の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、フレームバッファ１０２と、カメラワーク検出部１０４と、１ＰＡＳＳ補正カメラワーク算出部１０６（第１算出部）と、補正フレーム生成部１０８（生成部）と、補間部１１０とを備える。

また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory；図示せず）、ＲＡＭ（Random Access Memory；図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。

ここで、制御部（図示せず）は、例えば、ＭＰＵ（Micro Processing Unit）や、各種処理回路などで構成され画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、カメラワーク検出部１０４、１ＰＡＳＳ補正カメラワーク算出部１０６、補正フレーム生成部１０８、および補間部１１０の役目を果たしてもよい。

ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。また、ＲＡＭ（図示せず）は、フレームバッファ１０２の役目を果たしてもよい。

記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。

操作部（図示せず）としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。

表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。なお、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。

通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

以下、図６に示す本発明の第１の実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。

フレームバッファ１０２とカメラワーク検出部１０４とは、画像信号に基づいてカメラワークを検出する検出部としての役目を果たす。

より具体的には、カメラワーク検出部１０４は、現フレームと、フレームバッファ１０２に保持された現フレームに対して時間的に前のフレーム（以下、「過去フレーム」と示す場合がある。）とに基づき、現フレームに含まれるオブジェクトの動き（例えば動きベクトル）を、フレームごとに検出する。また、カメラワーク検出部１０４は、フィルタ処理を行うことによって、検出された動きベクトルに含まれうる動き成分と歪成分（例えばフォーカルプレーン歪を示す成分）とから、動き成分をフレームごとに検出する。そして、カメラワーク検出部１０４は、フレームごとに検出された動き成分に基づいて、カメラワークを算出する。

なお、カメラワーク検出部１０４におけるカメラワークの検出処理は、上記に限られない。例えば、カメラワーク検出部１０４は、特開２０１０−１０３８７６号公報に記載の技術や、特開２０１０−１９３３０２号公報に記載の技術など、カメラワークを検出することが可能な任意の技術を用いて、カメラワークを検出してもよい。

カメラワーク検出部１０４は、例えば、上記のような検出方法に係る処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、カメラワーク検出部１０４の構成は、上記に限られない。例えば、画像処理装置１００では制御部（図示せず）がカメラワーク検出部１０４の役目を果たしてもよく、また、カメラワーク検出部１０４は、他の処理も可能な汎用の処理回路であってもよい。

１ＰＡＳＳ補正カメラワーク算出部１０６は、カメラワーク検出部１０４において検出されたカメラワークからぶれ成分を除いた補正カメラワーク（以下、「第１補正カメラワーク」と示す。）を算出する。

より具体的には、１ＰＡＳＳ補正カメラワーク算出部１０６は、例えば、図２に示すようにぶれ成分を含む検出されたカメラワークを移動平均などを用いて平滑化することよって、第１補正カメラワークを算出する。ここで、１ＰＡＳＳ補正カメラワーク算出部１０６が算出する第１補正カメラワークは、理想のカメラワークに相当する。

なお、１ＰＡＳＳ補正カメラワーク算出部１０６における第１補正カメラワークの算出処理は、上記に限られない。例えば、１ＰＡＳＳ補正カメラワーク算出部１０６は、ユーザに指定された時間などのある特定の時間（または、特定のフレーム）におけるカメラワークに重み付けをして第１補正カメラワークを算出してもよい。また、１ＰＡＳＳ補正カメラワーク算出部１０６は、例えば、理想のカメラワークを算出（推定）することが可能な任意の方法を用いて第１補正カメラワークを算出してもよい。

１ＰＡＳＳ補正カメラワーク算出部１０６は、例えば、上記のような算出方法に係る処理を行うための任意の構成を有する専用の処理回路で実現可能であるが、１ＰＡＳＳ補正カメラワーク算出部１０６の構成は、上記に限られない。例えば、画像処理装置１００では制御部（図示せず）が１ＰＡＳＳ補正カメラワーク算出部１０６の役目を果たしてもよく、また、１ＰＡＳＳ補正カメラワーク算出部１０６は、他の処理も可能な汎用の処理回路であってもよい。

補正フレーム生成部１０８は、画像信号と、１ＰＡＳＳ補正カメラワーク算出部１０６において算出された第１補正カメラワークとに基づいて、第１補正カメラワークに対応する補正フレーム画像を生成する。

より具体的には、補正フレーム生成部１０８は、例えば、算出された第１補正カメラワークに基づいて、第１補正カメラワークと検出されたカメラワークとを合致させるような補正量（ぶれ量に相当する。）にて所定のサイズの切り出し枠を設定する。そして、補正フレーム生成部１０８は、各フレームのフレーム画像（本来の画像Ｐに相当する。）から設定した切り出し枠に対応する画像を切り出すことによって、補正フレーム画像（切り出し画像Ｑに相当する。）を生成する。なお、補正フレーム生成部１０８における補正フレーム画像の生成処理が、上記に限られないことは、言うまでもない。

補正フレーム生成部１０８は、例えば、上記のように補正フレーム画像を生成することが可能な任意の構成を有する専用の処理回路で実現可能であるが、補正フレーム生成部１０８の構成は、上記に限られない。例えば、画像処理装置１００では制御部（図示せず）が補正フレーム生成部１０８の役目を果たしてもよく、また、補正フレーム生成部１０８は、他の処理も可能な汎用の処理回路であってもよい。

補間部１１０は、補正フレーム生成部１０８において生成された補正フレーム画像内に画像が存在しない補間領域が含まれる場合に、補間領域を補間する。

〔本発明の実施形態に係る補間処理の一例〕
ここで、本発明の実施形態に係る画像処理装置１００における補間処理の一例について説明する。図７、図８は、本発明の実施形態に係る画像処理装置１００における補間処理の一例を説明するための説明図である。

上述したように、画像処理装置１００は、“切り出し枠が本来の画像Ｐの枠外とならないように、切り出し枠を設定する”という制限をかけずに１ＰＡＳＳ処理を行う。そのため、例えば図７に示すように、補正フレーム画像の中には、補正フレーム画像（切り出し画像Ｑ）に画像（絵）が存在しない領域、すなわち、補間領域が存在することが生じうる。そこで、画像処理装置１００は、補正フレーム画像において生じた補間領域を補間することによって、画像（絵）が存在しない領域を有する補正フレーム画像が処理後に存在することを防止する。

画像を補間する画像補間方法としては、例えば、「Ｉｎｐａｉｎｔｉｎｇ」技術を用いる方法が挙げられる。Ｉｎｐａｉｎｔｉｎｇ技術を用いる方法とは、補間領域の境界から順番に、補間領域以外の画素に対応する画像信号（例えばピクセルデータ）によって補間領域を埋めていく方法である。ここで、Ｉｎｐａｉｎｔｉｎｇ技術を用いる場合には、どのような順番で補間領域を埋めていくかが重要となる。

例えば図８のＡに示すような補間領域を補間する場合には、補間を行う順番によって、図８のＢに示すような画像（望ましくない例）や、図８のＣに示すような画像（望ましい例）が、補間後の画像として得られる場合がある。ここで、一般的には、例えば、補間したときに不連続だと認識しやすい「エッジ」や「境界部分」から補間していく方が、より望ましい画像が得られる。

図９は、本発明の実施形態に係る補間処理の一例を示す流れ図である。以下では、画像処理装置１００が、本発明の実施形態に係る補間処理を行うものとして説明する。ここで、図９は、現フレームに対する処理を示しており、画像処理装置１００は、例えば各フレームごとに図９に示す処理を行う。

画像処理装置１００は、補間領域があるか否かを判定する（Ｓ１００）。ここで、画像処理装置１００は、例えば、補正フレーム画像内に画像信号が存在しない無信号の領域が存在する場合に、補間領域があると判定する。画像処理装置１００は、例えば、補間領域を判定するための領域のサイズに係る閾値を用いて、当該閾値を超える無信号の領域（または当該閾値以上の無信号の領域）が存在する場合に、補間領域があると判定するが、本発明の実施形態に係る判定方法は、上記に限られない。なお、上記閾値は、例えば、予め設定された固定値であってもよいし、ユーザなどによって調整可能な可変値であってもよい。

ステップＳ１００において補間領域があると判定されない場合には、画像処理装置１００は、現フレームに対する補間処理を終了する。

また、ステップＳ１００において補間領域があると判定された場合には、画像処理装置１００は、補間領域の境界上に対応する各画素に対して、境界優先度を算出する（Ｓ１０２）。ここで、本発明の実施形態に係る境界優先度とは、補間の順番を規定する値であり、例えば、エッジ部分や境界部分の境界優先度がより高くなるように算出される。

より具体的には、画像処理装置１００は、例えば、任意の検出技術を用いて補間領域の周辺の画素に対応する画像信号に基づきエッジ部分や境界部分を検出し、エッジ部分や境界部分の確からしさを算出する。そして、画像処理装置１００は、例えば、検出されたエッジ部分や境界部分の確からしさを示す値に基づいて、境界優先度を設定する。ここで、画像処理装置１００は、例えば、上記確からしさを示す値そのものを境界優先度としてもよいし、上記確からしさを示す値と境界優先度とが対応付けられたルックアップテーブルなどを用いて境界優先度を設定してもよい。なお、本発明の実施形態に係る境界優先度の算出方法（設定方法）が、上記に限られないことは、言うまでもない。

ステップＳ１０２において境界優先度が算出されると、画像処理装置１００は、境界優先度が最大の画素を探索する（Ｓ１０４）。ここで、境界優先度が最大の画素が複数存在する場合には、画像処理装置１００は、例えば、当該複数の画素の中からランダムに画素を選択するが、当該場合における選択方法は、上記に限られない。

ステップＳ１０４において境界優先度が最大の画素が探索されると、画像処理装置１００は、境界優先度が最大の画素を中心とした小領域の特徴量に基づいて、当該特徴量と似た特徴量を有する小領域を探索する（Ｓ１０６）。ここで、本発明の実施形態に係る特徴量としては、例えば、画素値が挙げられるが、本発明の実施形態に係る特徴量は、画素値に限られない。なお、画素値を特徴量として探索する方法は、例えばブロックマッチングとよばれる。また、本発明の実施形態における小領域の探索に係る処理（以下、「探索処理」と示す場合がある。）の具体例については、後述する。

また、画像処理装置１００は、探索された小領域をに対応する画像信号に基づいて、探索された小領域に対応する画像を補間領域にコピーする（Ｓ１０８）。そして、画像処理装置１００は、ステップＳ１００からの処理を繰り返す。

画像処理装置１００は、例えば図９に示す処理を行うことによって、各フレームごとに補間処理を行う。なお、本発明の実施形態に係る画像処理装置１００における補間処理が、図９に示す処理に限られないことは、言うまでもない。

Ｉｎｐａｉｎｔｉｎｇ技術を用いる従来の方法では、例えば図９のステップＳ１０６に対応する探索処理の探索対象を、同一フレームのフレーム画像として補間を行う。しかしながら、Ｉｎｐａｉｎｔｉｎｇ技術を用いる従来の方法を用いて補間を行った場合には、補間されたフレーム画像において破綻が生じる可能性がある。

図１０は、Ｉｎｐａｉｎｔｉｎｇ技術を用いる従来の方法における問題の一例を説明するための説明図である。ここで、図１０に示すＡは、Ｉｎｐａｉｎｔｉｎｇ技術を用いる従来の方法を用いた場合において生じうる補間されたフレーム画像に破綻が生じていない場合の一例を示している。また、図１０に示すＢは、Ｉｎｐａｉｎｔｉｎｇ技術を用いる従来の方法を用いた場合において生じうる補間されたフレーム画像の破綻の一例を示している。

例えば図１０のＡに示すように、補間領域が同じような模様が繰り返されている領域である場合には、補間されたフレーム画像に破綻が生じる可能性は低い。そのため、図１０のＡに示すような補間領域を補間する場合には、同一のフレーム画像内から補間に用いる小領域を探索する方法（Ｉｎｐａｉｎｔｉｎｇ技術を用いる従来の方法）を用いたとしても、補間後の動画像をみるユーザが違和感を覚える可能性は低い。

それに対して、例えば図１０のＢに示すように、補間領域が同じような模様が繰り返されている領域ではない場合には、Ｉｎｐａｉｎｔｉｎｇ技術を用いる従来の方法を用いることによって、誤った補間がなされる可能性がある。具体的には、例えば図１０のＢに示す例では、本来補間されるべきオブジェクトである“木”が、Ｉｎｐａｉｎｔｉｎｇ技術を用いる従来の方法を用いることによって補間されていない。

ここで、補間される画像が静止画像であれば、例えば図１０のＢに示すような誤った補間がなされたとしても、補間後の静止画像をみるユーザが違和感を覚える恐れは、ある程度は低減される可能性がある。しかしながら、補間される画像が動画像を構成するフレーム画像である場合には、誤った補間がされた現フレームの１つ前の過去フレームにおいて、現フレームにおいて本来補間されるべきオブジェクトである“木”が存在していることがありうる。上記の場合には、直前に映っていたオブジェクトが消えるため、補間後の動画像をみるユーザが違和感を覚える可能性が高い。

上記のように、同一のフレーム画像内から補間に用いる小領域を探索する方法（Ｉｎｐａｉｎｔｉｎｇ技術を用いる従来の方法）を用いて補間を行う場合には、補間処理後の動画像に破綻が生じる恐れがあることから、高画質化は望めない。

そこで、本発明の実施形態に係る画像処理装置１００は、例えば下記の［１］、［２］に示す補間部１１０を備えることによって、Ｉｎｐａｉｎｔｉｎｇ技術を用いる従来の方法を用いる場合において生じうる補間処理後の動画像における破綻の発生を防止する。

［１］補間部１１０の第１の構成例
図１１は、本発明の実施形態に係る画像処理装置１００が備える補間部１１０の第１の構成例を示すブロック図である。第１の構成例に係る補間部１１０は、補間処理部１１２と、補間処理部１１２の後段に設けられるフレームバッファ１１４とを備える。ここで、図１１では、補間処理部１１２に入力されるＮフレームのフレーム画像の一例と、補間処理部１１２から出力されるＮフレームのフレーム画像の一例とを併せて示している。

補間処理部１１２は、例えば図９に示す本発明の実施形態に係る補間処理を主導的に行う役目を果たす。より具体的には、補間処理部１１２は、フレームバッファ１１４に保持されている１または２以上のフレーム画像を補間領域に対応する領域の探索対象とし、補間領域が存在する場合に当該補間領域を補間する。ここで、フレームバッファ１１４に保持されるフレーム画像は、１または２以上の過去フレームそれぞれに対応するフレーム画像（以下、「過去フレーム画像」と示す。）である。

つまり、図１１に示す第１の構成例に係る補間部１１０は、１または２以上の過去フレームに対応する１または２以上の過去フレーム画像から補間領域に対応する領域を探索し、過去フレーム画像における探索された領域に対応する画像信号に基づいて、補間領域を補間する。

図１２は、本発明の実施形態に係る画像処理装置１００が備える補間部１１０の第１の構成例における処理の概要を示す説明図である。ここで、図１２は、補間部１１０が、現フレームの直前の１の過去フレーム画像を探索対象としてる場合における処理の一例を示している。

補間部１１０が図１２に示す処理を行うことによって、過去フレーム画像は、当該過去フレーム画像に対応するフレーム以後のフレームのフレーム画像により上書きされない限り、更新されない。よって、補間部１１０が、例えば図１２に示す処理を行うことによって、補間領域が大きい場合であっても、より安定した補間が可能となる。

また、特徴点の探索範囲を対象の画素の近傍とする場合は、探索範囲が重要となる。ここで、例えば図１２に示す処理の場合は、Ｎ−１フレームのフレーム画像（補間処理後のフレーム画像）とＮフレームのフレーム画像（補正フレーム画像）とは、既に位置合わせが完了しているので、探索範囲は狭くてもよい。

第１の構成例に係る補間部１１０は、例えば図１１に示す構成によって、補間領域を補間する。なお、第１の構成例に係る補間部１１０は、１または２以上の過去フレーム画像から補間領域に対応する領域を探索し、探索された領域に対応する画像信号に基づいて、補間領域を補間する構成に限られない。例えば、第１の構成例に係る補間部１１０は、さらに現フレームのフレーム画像（補正フレーム画像）内を探索して補間処理を行うこともできる。上記のように、さらに現フレームのフレーム画像（補正フレーム画像）内を探索して補間処理を行うことによって、例えば過去フレーム画像が動物体が含まれる画像である場合などにおいても、第１の構成例に係る補間部１１０は、より安定した補間を行うことができる。

［２］補間部１１０の第２の構成例
図１３は、本発明の実施形態に係る画像処理装置１００が備える補間部１１０の第２の構成例を示すブロック図である。第２の構成例に係る補間部１１０は、補間処理部１１８と、補間処理部１１８の後段に設けられるフレームバッファ１１４と、補間処理部１１８の前段に設けられるフレームバッファ１１６とを備える。ここで、図１３では、補間処理部１１８に入力されるＮフレームのフレーム画像の一例と、補間処理部１１８に入力されるＮ＋１フレームのフレーム画像の一例とを併せて示している。

補間処理部１１８は、例えば図９に示す本発明の実施形態に係る補間処理を主導的に行う役目を果たす。より具体的には、補間処理部１１８は、フレームバッファ１１４に保持されている１または２以上のフレーム画像と、１または２以上の未来フレームに対応するフレーム画像（以下、「未来フレーム画像」と示す。）とを補間領域に対応する領域の探索対象とし、補間領域が存在する場合に当該補間領域を補間する。

ここで、フレームバッファ１１４に保持されるフレーム画像は、１または２以上の過去フレームそれぞれに対応する過去フレーム画像である。また、フレームバッファ１１６に保持されるフレーム画像は、補間対象の現フレームに対応するフレーム画像である。また、図１３では、補間処理部１１８が、１の未来フレームに対応する未来フレーム画像を探索対象としている例を示している。なお、第２の構成例に係る補間部１１０は、例えば、複数のフレームバッファを備えることや、フレームバッファ１１６のサイズを大きくすることによって、２以上の未来フレーム画像を探索対象とすることが可能である。

つまり、図１３に示す第２の構成例に係る補間部１１０は、１または２以上の過去フレーム画像に加え、さらに１または２以上の未来フレームに対応する１または２以上の未来フレーム画像から補間領域に対応する領域を探索する。そして、第２の構成例に係る補間部１１０は、過去フレーム画像および／または未来フレーム画像における探索された領域に対応する画像信号に基づいて、補間領域を補間する。

図１４は、本発明の実施形態に係る画像処理装置１００が備える補間部１１０の第２の構成例における処理の概要を示す説明図である。ここで、図１４は、補間部１１０が、現フレームの直前の１の過去フレーム画像と、現フレームの直後の１の未来フレーム画像とを探索対象としてる場合における処理の一例を示している。また、図１５は、本発明の実施形態に係る画像処理装置１００が備える補間部１１０の第２の構成例における処理による効果の一例を説明するための説明図である。

補間部１１０が図１４に示す処理を行う場合には、例えば図１２に示す第１の構成例に係る処理と同様に、過去フレーム画像は、当該過去フレーム画像に対応するフレーム以後のフレームのフレーム画像により上書きされない限り、更新されない。よって、補間部１１０が、例えば図１４に示す処理を行うことによって、例えば図１２に示す第１の構成例に係る処理と同様に、補間領域が大きい場合であってもより安定した補間が可能となる。

また、例えば図１５のＡに示すように処理対象の動画像がズームアウトしている画像を示す場合には、図１５のＢに示すように、過去フレーム画像にない領域が補間領域となる場合がありうる。例えば図１５に示すような過去フレーム画像にない領域が補間領域となる場合であっても、第２の構成例に係る補間部１１０は、未来フレーム画像をさらに探索対象とするので、補間領域に対応する領域が探索対象内に存在しない可能性をより低減することができる。したがって、第２の構成例に係る補間部１１０は、図１１に示す第１の構成例に係る補間部１１０よりも、より安定した補間を行うことができる。

なお、例えば図１５に示すような過去フレーム画像にない領域が補間領域となる場合において、図１１に示す第１の構成例に係る補間部１１０は、さらに現フレームのフレーム画像（補正フレーム画像）内を探索して補間処理を行うことによって、より安定した補間を行うことが可能である。

また、補間部１１０が図１４に示す処理を行う場合には、処理に用いる各フレームのフレーム画像の位置合わせは完了しているので、例えば図１２に示す第１の構成例に係る処理と同様に、探索範囲は狭くてもよい。

第２の構成例に係る補間部１１０は、例えば図１３に示す構成によって、補間領域を補間する。なお、第２の構成例に係る補間部１１０は、１または２以上の過去フレーム画像、および／または、１または２以上の未来フレーム画像から補間領域に対応する領域を探索し、探索された領域に対応する画像信号に基づいて補間領域を補間する構成に限られない。例えば、第２の構成例に係る補間部１１０は、さらに現フレームのフレーム画像（補正フレーム画像）内を探索して補間処理を行うこともできる。上記のように、さらに現フレームのフレーム画像（補正フレーム画像）内を探索して補間処理を行うことによって、第２の構成例に係る補間部１１０は、より安定した補間を行うことができる。

補間部１１０は、例えば図１１、図１３に示す構成によって、例えば図９に示す本発明の実施形態に係る補間処理を行う。ここで、補間部１１０は、例えば、上記のような補間処理を行うことが可能な任意の構成を有する専用の処理回路で実現可能であるが、補間部１１０の構成は、上記に限られない。例えば、画像処理装置１００では制御部（図示せず）が補間部１１０の役目を果たしてもよく、また、補間部１１０は、他の処理も可能な汎用の処理回路であってもよい。

本発明の第１の実施形態に係る画像処理装置１００は、例えば図６に示す構成によって、（Ａ）画像信号に基づくカメラワークの検出処理、（Ｂ）第１補正カメラワークを算出処理、（Ｃ）補正フレーム画像の生成処理、および（Ｄ）補間領域の補間処理、を行う。ここで、上記（Ａ）の処理〜（Ｄ）の処理を行うことによって、本発明の実施形態に係る１ＰＡＳＳ処理が実現される。つまり、上記（Ａ）の処理〜（Ｄ）の処理は、上述した本発明の実施形態に係る画像処理方法に係る処理に該当する。よって、画像処理装置１００は、例えば図６に示す構成によって、上述した本発明の実施形態に係る画像処理方法を実行することができる。

したがって、本発明の第１の実施形態に係る画像処理装置１００は、例えば図６に示す構成によって、動画像を再生する場合における高画質化を図ることができる。また、第１の実施形態に係る画像処理装置１００は、例えば図６に示す構成によって、ユーザの利便性の低下を防止することができる。なお、本発明の実施形態に係る１ＰＡＳＳ処理を行うための構成が、図６に示す構成に限られないことは、言うまでもない。

なお、本発明の実施形態に係る画像処理装置１００の構成は、例えば図６に示すような、本発明の実施形態に係る１ＰＡＳＳ処理を行う構成に限られない。そこで、次に、本発明の実施形態に係る２ＰＡＳＳ処理を行うことが可能な、本発明の第２の実施形態に係る画像処理装置（以下、「画像処理装置２００」と示す場合がある。）の構成の一例について説明する。

（２）第２の実施形態
図１６は、本発明の第２の実施形態に係る画像処理装置２００の構成の一例を示すブロック図である。画像処理装置２００は、フレームバッファ１０２と、カメラワーク検出部１０４と、１ＰＡＳＳ補正カメラワーク算出部１０６（第１算出部）と、記憶部２０２と、２ＰＡＳＳ補正カメラワーク算出部２０４（第２算出部）と、合成部２０６と、補正フレーム生成部１０８（生成部）と、補間部１１０とを備える。

また、画像処理装置２００は、第１の実施形態に係る画像処理装置１００と同様に、例えば、制御部（図示せず）や、ＲＯＭ（図示せず）、ＲＡＭ（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）などを備えていてもよい。画像処理装置２００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。

フレームバッファ１０２、カメラワーク検出部１０４、および１ＰＡＳＳ補正カメラワーク算出部１０６は、図６に示す第１の実施形態に係るフレームバッファ１０２、カメラワーク検出部１０４、および１ＰＡＳＳ補正カメラワーク算出部１０６と同様の機能、構成を有する。

また、カメラワーク検出部１０４は、算出したカメラワークを、例えば記憶部２０２に記録する。なお、図１６では、カメラワーク検出部１０４が算出したカメラワークを記憶部２０２に記録する構成を示しているが、本発明の第２の実施形態に係る画像処理装置２００の構成は、上記に限られない。例えば、カメラワーク検出部１０４は、画像処理装置２００から着脱可能な外部記録媒体に算出したカメラワークを記録してもよい。また、カメラワーク検出部１０４は、例えば、通信部（図示せず）を介して外部装置と通信を行い、当該外部装置が備える記録媒体に算出したカメラワークを記憶させることも可能である。ここで、上記外部記録媒体、外部装置が備える記録媒体としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。以下では、例えば、記憶部２０２や、外部記録媒体、外部装置が備える記録媒体に記録されたカメラワークを、「保存カメラワーク」と示す場合がある。

なお、カメラワーク検出部１０４は、例えば記憶部２０２などに処理対象の動画像に対応する保存カメラワークが存在する場合には、保存カメラワークが存在するフレームに対応する当該動画像に基づくカメラワークの算出処理を行わなくてもよい。上記のように、カメラワーク検出部１０４が、処理を選択的に行わないことによって、例えば、画像処理装置２００における処理に要する電力をより低減することが可能となる。

記憶部２０２は、画像処理装置２００が備える記憶手段であり、例えば、画像データや、算出されたカメラワークを示すカメラワーク情報（保存カメラワークを示すデータ）、アプリケーションなど様々なデータを記憶する。ここで、記憶部２０２としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記憶部２０２は、画像処理装置２００から着脱可能であってもよい。

なお、記憶部２０２には、例えばカメラワーク検出部１０４において算出されたカメラワークが記録されるが、上記のように、カメラワーク検出部１０４において算出されたカメラワークは、記憶部２０２に記憶されなくてもよい。また、本発明の第２の実施形態に係る画像処理装置２００は、記憶部２０２を備えない構成をとることも可能である。以下では、カメラワーク検出部１０４において算出されたカメラワークが記憶部２０２に記憶される場合を例に挙げて説明する。

２ＰＡＳＳ補正カメラワーク算出部２０４は、処理対象の画像信号に対応するカメラワーク情報が記憶部２０２に記憶されている場合に、保存カメラワークからぶれ成分を除いたカメラワーク（以下、「第２補正カメラワーク」と示す。）を算出する。

ここで、２ＰＡＳＳ補正カメラワーク算出部２０４は、例えば、従来の２ＰＡＳＳ処理を行う場合と同様に、本来の画像Ｐの枠内に収まる切り出し枠のうち、切り出し枠のサイズが最大限大きくなるようなカメラワークを、第２補正カメラワークとして算出する。なお、２ＰＡＳＳ補正カメラワーク算出部２０４における第２補正カメラワークの算出処理は、上記に限られない。例えば、２ＰＡＳＳ補正カメラワーク算出部２０４は、本来の画像Ｐの枠内に収まる切り出し枠を設定することが可能な任意の方法を用いることが可能である。

なお、２ＰＡＳＳ補正カメラワーク算出部２０４は、処理対象の画像信号に対応するカメラワーク情報が記憶部２０２に記憶されていない場合には、例えば、通信部（図示せず）を介してサーバなどの外部装置と通信を行い、当該外部装置から処理対象の動画像に対応するカメラワーク情報を取得する機能を有していてもよい。上記の場合には、処理対象の動画像に対応するカメラワーク情報を取得できる可能性を高めることができるので、画像処理装置２００は、第２補正カメラワークを用いた本発明の実施形態に係る２ＰＡＳＳ処理を行う可能性をより高めることができる。

合成部２０６は、１ＰＡＳＳ補正カメラワーク算出部１０６が算出した第１補正カメラワークと、２ＰＡＳＳ補正カメラワーク算出部２０４が算出した第２補正カメラワークとを選択的に合成する。そして、合成部２０６は、第１補正カメラワークと第２補正カメラワークとが選択的に合成されたカメラワーク（以下、「第３補正カメラワーク」と示す。）を、補正フレーム生成部１０８へ伝達する。

より具体的には、合成部２０６は、例えば下記の数式１〜数式４に示す演算を行うことによって、第１補正カメラワークと第２補正カメラワークとを選択的に合成して第３補正カメラワークを算出する。ここで、数式１〜数式３は、ｉ（ｉは、正の整数）フレームにおける第３補正カメラワークの算出方法の一例を示している。また、数式４に示す“Ｍ”は、第２補正カメラワークにおけるフレーム数を示しており、数式２、数式４に示す“Ｔ”は、閾値である。なお、閾値“Ｔ”の値は、例えば、予め設定された固定値であってもよいし、ユーザなどにより調整可能な可変値であってもよい。

第３補正カメラワーク＝第１補正カメラワーク
（ｉ＞Ｍ）
・・・（数式１）
第３補正カメラワーク＝第２補正カメラワーク
（ｉ≦Ｍ−Ｔ）
・・・（数式２）
第３補正カメラワーク＝(１−α)×第１補正カメラワーク＋α×第２補正カメラワーク
（Ｍ−Ｔ＜ｉ≦Ｍ）
・・・（数式３）
α＝Ｍ−Ｔ／Ｔ
・・・（数式４）

図１７、図１８は、本発明の第２の実施形態に係る画像処理装置２００における合成部２０６における処理の一例を説明するための説明図である。ここで、図１７は、第１補正カメラワークにおけるフレーム数と第２補正カメラワークにおけるフレーム数とが一致している場合の例を示している。また、図１８は、第２補正カメラワークにおけるフレーム数が第１補正カメラワークにおけるフレーム数よりも少ない場合を示してる。図１８に示す場合は、例えば、ある動画像を初めて再生したときに、当該動画像が最後まで再生されずにシークを行った場合などに起こりうる。また、図１８に示す合成カメラワークとは、上記数式３により算出される第３補正カメラワークに対応する。

第１補正カメラワークにおけるフレーム数と第２補正カメラワークにおけるフレーム数とが一致している場合（図１７に示す場合）には、合成部２０６は、例えば上記数式２により、基本的に第２補正カメラワークを第３補正カメラワークとする。なお、上記の場合、合成部２０６は、全てのフレームについて第２補正カメラワークを第３補正カメラワークとしてもよい。

上記の場合には、補正フレーム生成部１０８は、各フレームにおいて、実質的に第２補正カメラワークに対応する補正フレーム画像を生成する。よって、画像処理装置２００は、従来の２ＰＡＳＳ処理が行われる場合のようにユーザを待たせることなく、より安定的にぶれの補正を実現することができる。

また、第２補正カメラワークにおけるフレーム数が第１補正カメラワークにおけるフレーム数よりも少ない場合（図１８に示す場合）には、合成部２０６は、上記数式１〜数式４により、第３補正カメラワークを算出する。より具体的には、合成部２０６は、保存カメラワークが存在するフレームより所定の閾値に対応する数前のフレームまでは、数式２により第２補正カメラワークを第３補正カメラワークとし、保存カメラワークが存在するフレームまでの以降のフレームについては、数式３に示す合成されたカメラワーク（以下、「合成カメラワーク」と示す場合がある。）を第３補正カメラワークとする。そして、合成部２０６は、保存カメラワークが存在しない残りのフレームについては、数式１により第１補正カメラワークを第３補正カメラワークとする。

上記の場合には、第３補正カメラワークは、合成カメラワークを介して第２補正カメラワークから第１補正カメラワークへと切り替わる。つまり、上記の場合には、画像処理装置２００は、本発明の実施形態に係る２ＰＡＳＳ処理から本発明の実施形態に係る１ＰＡＳＳ処理とを、合成カメラワークに基づく処理を介すことによってより自然な形で切り替える。よって、画像処理装置２００は、例えばある動画像を初めて再生したときに当該動画像が最後まで再生されずにシークを行った場合であっても、再度当該動画像を再生する場合には、ユーザの利便性の低下を防止しつつ、動画像を再生する場合における高画質化を図ることができる。

合成部２０６は、例えば上記の数式１〜数式４に示す演算を行うことによって、第３補正カメラワークを算出する。ここで、合成部２０６は、例えば、上記のように第３補正カメラワークを算出することが可能な任意の構成を有する専用の処理回路で実現可能であるが、合成部２０６の構成は、上記に限られない。例えば、画像処理装置２００では制御部（図示せず）が合成部２０６の役目を果たしてもよく、また、合成部２０６は、他の処理も可能な汎用の処理回路であってもよい。

再度図１６を参照して、本発明の第２の実施形態に係る画像処理装置２００の構成の一例について説明する。補正フレーム生成部１０８は、画像信号と、合成部２０６において算出された第３補正カメラワークとに基づいて、例えば図６に示す第１の実施形態に係る補正フレーム生成部１０８と同様に、第３補正カメラワークに対応する補正フレーム画像を生成する。

補間部１１０は、例えば図６に示す第１の実施形態に係る補間部１１０と同様に、補正フレーム生成部１０８において生成された補正フレーム画像内に画像が存在しない補間領域が含まれる場合に、補間領域を補間する。

本発明の第２の実施形態に係る画像処理装置２００は、例えば図１６に示す構成によって、処理対処の動画像に対応する保存カメラワークが記憶部２０２に記憶されている場合には、記憶されている保存カメラワークから算出された第２補正カメラワークに基づいて補正フレーム画像を生成する。よって、画像処理装置２００は、例えば図１６に示す構成によって、本発明の実施形態に係る２ＰＡＳＳ処理を実現することができる。したがって、画像処理装置２００は、ユーザの利便性の低下を防止しつつ、動画像を再生する場合における高画質化を図ることができる。

また、処理対処の動画像に対応する保存カメラワークが一部のフレームにしか存在していない場合であっても、画像処理装置２００は、例えば図１６に示す構成によって、本発明の実施形態に係る２ＰＡＳＳ処理と本発明の実施形態に係る１ＰＡＳＳ処理とを、合成カメラワークに基づく処理を介すことによってより自然な形で切り替える。したがって、処理対処の動画像に対応する保存カメラワークが一部のフレームにしか存在していない場合であっても、画像処理装置２００は、ユーザの利便性の低下を防止しつつ、動画像を再生する場合における高画質化を図ることができる。

ここで、本発明の第２の実施形態に係る画像処理装置２００における処理の一例について、より具体的に説明する。図１９は、本発明の第２の実施形態に係る画像処理装置２００における処理の一例を示す流れ図である。図１９では、画像処理装置２００が、記憶部２０２に保存カメラワークを用いて処理を行う場合を例に挙げて説明する。

画像処理装置２００は、ｉを“ｉ＝１”に設定する（Ｓ２００）。ここで、ステップＳ２００の処理は、処理を行う対象のフレームｉを初期化する処理に該当する。なお、図１９では、ステップＳ２００において画像処理装置２００がｉを“ｉ＝１”に設定する例を示しているが、本発明の第２の実施形態に係る画像処理装置２００における処理は、上記に限られない。例えば、画像処理装置２００は、ユーザ操作などにより指定された特定のフレームを、処理を行う対象のフレームとして設定することも可能である。

ステップＳ２００の処理が行われると、画像処理装置２００は、処理対象の動画像に対応する保存カメラワークが存在するか否かを判定する（Ｓ２０２）。ここで、画像処理装置２００は、例えば、処理対象の画像信号に含まれているメタデータから動画像を識別する識別データを取得し、識別データと合致する識別データが対応付けられたカメラワーク情報が記憶部２０２に存在する場合に、保存カメラワークが存在すると判定する。上記識別データとしては、例えば、ハッシュ値などを示すデータが挙げられるが、動画像を識別可能なデータであれば、任意のデータであってよい。なお、本発明の実施形態に係る画像処理装置２００におけるステップＳ２０２の処理が、上記に限られないことは、言うまでもない。

ステップＳ２０２において保存カメラワークが存在すると判定されない場合には、画像処理装置２００は、後述するステップＳ２０６の処理を行う。

また、ステップＳ２０２において保存カメラワークが存在すると判定された場合には、画像処理装置２００は、各フレームにおいて本来の画像Ｐの枠内に切り出し画像Ｑが収まるように補正カメラワークを算出する（Ｓ２０４：第２補正カメラワークの算出処理）。

ステップＳ２０２において保存カメラワークが存在すると判定されない場合、または、ステップＳ２０４の処理が行われると、画像処理装置２００は、ｉフレーム目に対応するカメラワークが検出されているか否かを判定する（Ｓ２０６）。ここで、画像処理装置２００は、例えば、ステップＳ２０２と同様に、ｉフレーム目に対応する保存カメラワークが存在する場合に、ｉフレーム目に対応するカメラワークが検出されていると判定する。

ステップＳ２０６においてｉフレーム目に対応するカメラワークが検出されていると判定された場合には、画像処理装置２００は、後述するステップＳ２１０の処理を行う。

また、ステップＳ２０６においてｉフレーム目に対応するカメラワークが検出されていると判定されない場合には、画像処理装置２００は、画像信号に基づきカメラワークを算出（検出）する（Ｓ２０８）。

ステップＳ２０６においてｉフレーム目に対応するカメラワークが検出されていると判定された場合、または、ステップＳ２０８の処理が行われた場合には、画像処理装置２００は、第１補正カメラワークを算出する（Ｓ２１０）。ここで、画像処理装置１００は、例えば、保存カメラワーク、または、ステップＳ２０８において算出されたカメラワークを用いて第１補正カメラワークを算出する。

ステップＳ２１０の処理が行われると、画像処理装置２００は、第３補正カメラワークを算出する（Ｓ２１２）。ここで、画像処理装置２００は、例えば上記数式１〜数式４の演算を行うことによって、第１補正カメラワークと第２補正カメラワークに基づく第３補正カメラワークを算出する。

ステップＳ２１２において第３補正カメラワークが算出されると、画像処理装置２００は、画像信号と第３補正カメラワークとに基づいて、ｉフレーム目のフレーム画像を補正する（Ｓ２１４）。ここで、ステップＳ２１４の処理は、補正フレーム画像の生成処理に該当する。

ステップＳ２１４の処理が行われると、画像処理装置２００は、補間処理を行う（Ｓ２１６）。より具体的には、画像処理装置２００は、例えば図９に示すように、ｉフレームに対応する補正フレーム画像に補間領域が存在する場合に補間処理を行い、補間領域が存在しない場合には、補間処理を行わずに後述するステップＳ２１８の処理を行う。

ここで、ｉフレームに対応する保存カメラワークが存在している場合には、画像処理装置２００は、ステップＳ２１２において、例えば上記数式２よって保存カメラワークに基づく第２補正カメラワークを第３補正カメラワークとする。上記の場合には、ｉフレームに対応する補正フレーム画像に補間領域が存在する可能性は低い。一方、ｉフレームに対応する保存カメラワークが存在していない場合には、画像処理装置２００は、ステップＳ２１２において、例えば上記数式１または数式３によって第１補正カメラワークまたは合成カメラワークを第３補正カメラワークとする。上記の場合には、ｉフレームに対応する補正フレーム画像に補間領域が存在する可能性がある。

ステップＳ２１６の処理において選択的に補間処理が行われると、画像処理装置２００は、画像信号に基づいてｉ＋１フレーム目があるか否かを判定する（Ｓ２１８）。ここで、ステップＳ２１８の処理は、未来フレームが存在するか否か、すなわち、処理対象の動画像に対する処理が完了したか否かの判定に相当する。

ステップＳ２１８においてｉ＋１フレーム目があると判定された場合には、画像処理装置２００は、ｉを“ｉ＝ｉ＋１”に更新し（Ｓ２２０）、ステップＳ２０６からの処理を繰り返す。また、ステップＳ２１８においてｉ＋１フレーム目があると判定されない場合には、画像処理装置２００は、処理を終了する。

本発明の第２の実施形態に係る画像処理装置２００は、例えば図１９に示す処理を行うことによって、本発明の実施形態に係る２ＰＡＳＳ処理、または、本発明の実施形態に係る２ＰＡＳＳ処理と本発明の実施形態に係る１ＰＡＳＳ処理との切り替えを実現する。

なお、本発明の第２の実施形態に係る画像処理装置２００における処理は、図１９に示す処理に限られない。例えば、ステップＳ２０２において記憶部２０２に保存カメラワークが記憶されていないと判定した場合には、画像処理装置２００は、通信部（図示せず）を介してサーバなどの外部装置と通信を行い、当該外部装置から処理対象の動画像に対応するカメラワーク情報を取得してもよい。画像処理装置２００は、外部装置からカメラワーク情報が取得された場合には、取得されたカメラワーク情報に基づきステップＳ２０４の処理（第２補正カメラワークの算出処理）を行う。上記の場合には、処理対象の動画像に対応するカメラワーク情報を取得できる可能性を高めることができるので、画像処理装置２００は、図１９に示す処理を行う場合よりも、画像信号に対して本発明の実施形態に係る２ＰＡＳＳ処理を行う可能性をより高めることができる。

本発明の実施形態に係る画像処理装置１００は、例えば、図６に示す第１の実施形態に係る構成や、図１６に示す第２の実施形態に係る構成によって、上述した本発明の実施形態に係る画像処理方法に係る処理を実現する。

なお、本発明の実施形態に係る画像処理装置１００の構成は、図６、図１６に示す構成に限られない。例えば、本発明の実施形態に係る画像処理装置１００は、図６、図１６に示す構成に加え、動画像を撮像する撮像部（図示せず）をさらに備えていてもよい。上記の構成の場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された画像信号を処理することが可能である。

ここで、本発明の実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。

以上のように、本発明の実施形態に係る画像処理装置１００は、“切り出し枠が本来の画像Ｐの枠外とならないように、切り出し枠を設定する”という制限をかけずに１ＰＡＳＳ処理を行い、処理対象の動画像に基づいてカメラワークの急激な変化が生じない理想的な補正カメラワーク（第１補正カメラワーク）を算出する。そして、画像処理装置１００は、各フレームにおいて第１補正カメラワークにより生成した補正フレーム画像に補間領域が存在する場合には、当該補間領域を補間する。

上記のように、画像処理装置１００が補間領域を補間することによって、例えば図３に示すような画像（絵）が存在しない領域がある画像は存在しなくなる。また、画像処理装置１００は、１または２以上の過去フレーム画像、または、１または２以上の過去フレーム画像および／または１または２以上の未来フレーム画像を探索対象とすることによって、高精度の補間を行うことができる。また、画像処理装置１００は１ＰＡＳＳ処理を行うので、従来の２ＰＡＳＳ処理が用いられる場合のように、待ち時間が生じることによる利便性の低下は防止される。

したがって、画像処理装置１００は、本発明の実施形態に係る１ＰＡＳＳ処理（（Ａ）画像信号に基づくカメラワークの検出処理、（Ｂ）第１補正カメラワークを算出処理、（Ｃ）補正フレーム画像の生成処理、および（Ｄ）補間領域の補間処理）を行うことによって、動画像を再生する場合における高画質化を図ることができる。また、画像処理装置１００は、本発明の実施形態に係る１ＰＡＳＳ処理を行うことによって、ユーザの利便性の低下を防止することができる。

また、画像処理装置１００は、本発明の実施形態に係る１ＰＡＳＳ処理を行った場合には、画像信号から検出したカメラワークを記憶部２０２などに記録する。そして、画像処理装置１００は、処理対象の動画像に対応する保存カメラワークが記憶部２０２などに記憶されている場合には、記憶部２０２などに記憶されている保存カメラワークに基づき第２補正カメラワークを算出し、算出した第２補正カメラワークに基づき補正フレーム画像を生成する。

上記のように記憶部２０２などに記憶されている保存カメラワークに基づき処理を行うことによって、画像処理装置１００は、カメラワークが既知の動画像の再生（例えば、２回目以降の動画像の再生、または、保存カメラワークが存在する動画像の再生）においては、上記従来の２ＰＡＳＳ処理と同様の処理を行うことができる。

ここで、画像処理装置１００は、例えば処理対象の動画像の１回目の再生の際など、保存カメラワークが存在しない場合には、上記のように本発明の実施形態に係る１ＰＡＳＳ処理を行うので、上記従来の２ＰＡＳＳ処理のようにユーザを待たせることはない。したがって、例えば記憶部２０２などに記憶されている保存カメラワークに基づく本発明の実施形態に係る２ＰＡＳＳ処理を行うことによって、画像処理装置１００は、ユーザの利便性の低下を防止しつつ、動画像を再生する場合における高画質化を図ることができる。

また、画像処理装置１００は、保存カメラワークが動画像の一部のフレーム分しか存在しない場合には、合成カメラワークに基づく処理を介して、本発明の実施形態に係る２ＰＡＳＳ処理と本発明の実施形態に係る１ＰＡＳＳ処理とを切り替える。したがって、上記の場合であっても、画像処理装置１００は、ユーザの利便性の低下を防止しつつ、動画像を再生する場合における高画質化を図ることができる。

以上、本発明の実施形態として画像処理装置１００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置、ＰＣなどのコンピュータ、テレビ受像機などの表示装置、携帯電話などの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated Circuit）に適用することもできる。

（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば上記（Ａ）の処理〜（Ｄ）の処理を実現するためのプログラムなど、本発明の実施形態に係る画像処理方法に係る処理を実現するためのプログラム）によって、動画像を再生する場合における高画質化を図ることができる。また、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラムによって、ユーザの利便性の低下を防止することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。

上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。

１００、２００ 画像処理装置
１０２、１１４、１１６ フレームバッファ
１０４ カメラワーク検出部
１０６ １ＰＡＳＳ補正カメラワーク算出部
１０８ 補正フレーム生成部
１１０ 補間部
１１２、１１８ 補間処理部
２０２ 記憶部
２０４ ２ＰＡＳＳ補正カメラワーク算出部
２０６ 合成部

Claims (7)

1. フレーム画像からなる動画像を示す画像信号に基づいて、前記動画像を撮像した撮像装置の動きを示すカメラワークを検出する検出部と、
   検出されたカメラワークからぶれ成分を除いた第１補正カメラワークを算出する第１算出部と、
   前記画像信号と前記第１補正カメラワークとに基づいて、前記第１補正カメラワークに対応する補正フレーム画像を生成する生成部と、
   前記補正フレーム画像内に画像が存在しない補間領域が含まれる場合に、前記補間領域を補間する補間部と、
   を備える、画像処理装置。
2. 前記補間部は、
   補間対象の補正フレーム画像に対応する現フレームに対して時間的に前のフレームである１または２以上の過去フレームに対応する、１または２以上の過去フレーム画像から、前記補間領域に対応する領域を探索し、
   前記過去フレーム画像における探索された領域に対応する画像信号に基づいて、前記補間領域を補間する、請求項１に記載の画像処理装置。
3. 前記補間部は、
   前記現フレームに対して時間的に後のフレームである１または２以上の未来フレームに対応する、１または２以上の未来フレーム画像から、前記補間領域に対応する領域をさらに探索し、
   前記過去フレーム画像における探索された領域に対応する画像信号、または、前記未来フレーム画像における探索された領域に対応する画像信号に基づいて、前記補間領域を補間する、請求項２に記載の画像処理装置。
4. 検出された前記カメラワークが記憶される記録媒体に記憶されたカメラワークからぶれ成分を除いた、第２補正カメラワークを算出する第２算出部と、
   前記第１補正カメラワークと前記第２補正カメラワークとを選択的に合成する合成部と、
   をさらに備え、
   前記生成部は、前記画像信号と、前記第１補正カメラワークと前記第２補正カメラワークとが選択的に合成された第３補正カメラワークとに基づいて、前記第３補正カメラワークに対応する補正フレーム画像を生成する、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記動画像を撮像する撮像部をさらに備える、請求項１〜４のいずれか１項に記載の画像処理装置。
6. フレーム画像からなる動画像を示す画像信号に基づいて、前記動画像を撮像した撮像装置の動きを示すカメラワークを検出するステップと、
   検出されたカメラワークからぶれ成分を除いた第１補正カメラワークを算出するステップと、
   前記画像信号と前記第１補正カメラワークとに基づいて、前記第１補正カメラワークに対応する補正フレーム画像を生成するステップと、
   前記補正フレーム画像内に画像が存在しない補間領域が含まれる場合に、前記補間領域を補間するステップと、
   を有する、画像処理方法。
7. フレーム画像からなる動画像を示す画像信号に基づいて、前記動画像を撮像した撮像装置の動きを示すカメラワークを検出するステップ、
   検出されたカメラワークからぶれ成分を除いた第１補正カメラワークを算出するステップ、
   前記画像信号と前記第１補正カメラワークとに基づいて、前記第１補正カメラワークに対応する補正フレーム画像を生成するステップ、
   前記補正フレーム画像内に画像が存在しない補間領域が含まれる場合に、前記補間領域を補間するステップ、
   をコンピュータに実行させるためのプログラム。
   

Images