JP2018061130A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】撮像されたフレームの動画から動きが滑らかな動画を生成可能にすることを課題とする。
【解決手段】動きベクトル算出部（２０１）は、動画のフレーム画像間の動きベクトルを算出する。補間フレーム画像生成部（２０２）は、動きベクトルに基づき、フレーム画像間の時間位置に対応した補間フレーム画像を生成する。動きベクトル信頼度算出部（２０３）、合成比率算出部（２０４）、画像合成部（２０５）は、フレーム画像と補間フレーム画像を用いて、フレーム画像に動きブレを付与する。
【選択図】図２

Description

本発明は、動画を処理する画像処理置、画像処理方法、及びプログラムに関する。

ビデオカメラやスチルカメラ等の撮像装置には、撮影した動画の１フレームを切り出し、静止画として記録等する機能を搭載している機種がある。ユーザーは、このような機能を使うことにより、「鳥が飛び立つ瞬間」といったような決定的瞬間の静止画を比較的容易に得る事が可能となっている。また、テレビやディスプレイ等の表示装置には、撮影した動画のフレーム間に、補間フレームを生成して挿入することにより、高速なフレームレートで表示する機能を搭載している機種がある。このような機能を使うことにより、動きの速い被写体だとしても残像を抑えた滑らかな動きとして表示する事が可能となっている。その他、例えば特許文献１及び特許文献２には、動きベクトル及び動きベクトル信頼度に基づき、補間フレームを生成することで、高速フレームレートの動画を生成する技術が開示されている。

特開２００７−７４５９０号公報 特開２００９−２３９７２６号公報

「鳥が飛び立つ瞬間」といった決定的瞬間を動画で撮影し、その動画から動体ブレのない静止画を切り出すためには、各フレームの露光時間が短い動画を撮影する必要がある。しかしながら、各フレームの露光時間が短い動画から動体ブレの少ない静止画を切り出すことは可能であるが、動画として視聴した際には、動きがカクカクした不自然な動画になってしまうことが多い。
例えば、フレームレートが毎秒６０フレーム（フレーム間の時間間隔が１／６０秒）で、各フレームの露光時間が１／１０００秒の動画の場合、フレーム間において露光しない時間が発生する。露光しない非露光時間は１／６０−１／１０００＝４７／３０００秒となる。このように、フレーム間の時間間隔に比べ、各フレームの露光時間が非常に短い動画は、フレーム間において長い非露光時間が発生し、フレーム毎の動きブレが繋がらず、被写体の動きがカクカクした不自然なものになってしまう。

そこで、本発明は、撮像されたフレームの動画から動きが滑らかな動画を生成可能にすることを目的とする。

本発明は、動画のフレーム画像間の動きベクトルを算出する算出手段と、前記動きベクトルに基づき、時間的に隣接したフレーム画像間の時間位置に対応した補間フレーム画像を生成する補間手段と、前記フレーム画像と前記補間フレーム画像を用いて、前記フレーム画像に動きブレを付与した動きブレ付与フレーム画像を生成する生成手段と、を有することを特徴とする。

本発明によれば、撮像されたフレームの動画から動きが滑らかな動画を生成することができる。

画像処理装置の一実施形態である撮像装置の概略構成を示す図である。 滑らか動画生成部の概略構成例を示す図である。 滑らか動画生成部の処理の流れを示すフローチャートである。 撮像フレームと露光時間の説明に用いる図である。 動きベクトル算出部の処理の流れを示すフローチャートである。 動きベクトルの算出方法の説明に用いる図である。 補間フレーム画像生成部の処理の流れを示すフローチャートである。 補間フレーム画像の生成方法の説明に用いる図である。 中間補間フレームの破綻の説明に用いる図である。 動きベクトルの信頼度の算出方法の説明に用いる図である。 合成比率の算出方法の説明に用いる図である。

以下、本発明の一実施形態を、添付の図面に基づいて詳細に説明する。本実施形態の画像処理装置は、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、工業用カメラ、車載カメラ、医療用カメラ等に適用可能である。本実施形態では、画像処理装置の一適用例として、デジタルカメラ等の撮像装置を挙げて説明する。

図１は、本実施形態の撮像装置１００の概略構成を示す図である。本実施形態の撮像装置１００は、各撮像フレーム画像の露光時間が短い動画に対して、補間フレーム画像を用いて動きブレを付与することで、動きが滑らかな動画を生成する機能を有する。
図１に示す撮像装置１００において、制御部１０１は、例えばＣＰＵであり、撮像装置１００が備える各ブロックに対する制御プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行する。これにより、制御部１０１は、撮像装置１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、撮像装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、制御部１０１等が実行するプログラムの展開や、撮像装置１００が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。

光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の撮像部１０５の撮像面上に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像部１０５の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換する。Ａ／Ｄ変換部１０６から出力されたデジタル画像データは、ＲＡＭ１０３に一時的に記憶される。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部１０７は、後述する滑らか動画生成部２００を具備し、ＲＡＭ１０３に記憶されている画像に対して動きブレを付与した動きブレ付与動画、つまり動きが滑らかな動画を生成する。

記録部１０８は、着脱可能なメモリカード等である。記録部１０８は、画像処理部１０７で処理された画像データを、ＲＡＭ１０３を介し、記録画像として記録する。また、記録部１０８は、記録している画像データを、ＲＡＭ１０３を介し、画像処理部１０７に出力することもできる。表示部１０９は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３に記憶されている画像や記録部１０８に記録されている画像の表示、ユーザーからの指示を受け付けるための操作ユーザーインターフェイス画像の表示等を行う。

以下、画像処理部１０７の動作について、詳細に説明する。本実施形態では、各撮像フレーム画像の露光時間が短い動画に対して、補間フレーム画像を用いて動きブレを付与した動きブレ付与動画（動きが滑らかな動画）を生成する例について説明する。
図２は、画像処理部１０７が具備する滑らか動画生成部２００の概略構成例を示す図である。滑らか動画生成部２００は、記録部１０８に記録された画像データに対して、動きブレを付与し、滑らかな動画を生成する。
滑らか動画生成部２００は、図２に示すように、動きベクトル算出部２０１、補間フレーム画像生成部２０２、動きベクトル信頼度算出部２０３、合成比率算出部２０４、及び画像合成部２０５を有して構成されている。

滑らか動画生成部２００の処理について、図３のフローチャートを参照して説明する。なお、図３のフローチャートに示す各ステップの処理は、ＲＯＭ１０２に記憶されているプログラムに基づいて、制御部１０１が撮像装置１００の各部を制御し、また、画像処理部１０７の滑らか動画生成部２００で画像処理が行われることにより実現される。また、図３のフローチャートの各ステップの処理のうちハードウェアを要しない処理、例えばステップＳ３０３〜Ｓ３０７の画像処理は、ＣＰＵ等がプログラムを実行することにより実現されてもよい。これらのことは後述する他のフローチャートでも同様である。

図２のステップＳ３０１において、制御部１０１は、撮像部１０５が撮像を行う際の撮像フレームレート及び各撮像フレームの露光時間を決定する。撮像フレームレート及び露光時間は、表示部１０９のユーザーインターフェイスを介し、ユーザーが決定してもよい。また、露光時間は、自動露出制御により制御部１０１が自動で決定してもよい。自動露出制御による露光時間の決定方法は、例えば、撮像部１０５の撮像画像の所定領域毎の測光値に基づき露光時間を決定する方法等が挙げられる。詳細は後述するが、ここで決定する露光時間は、撮像フレームレートにおける撮像フレーム間の時間間隔よりも短い時間とする。したがって、撮像部１０５では、各撮像フレーム画像が動体ブレの少ない画像からなる動画が撮像されることになる。ステップＳ３０１の後、制御部１０１は、ステップＳ３０２に処理を進める。

ステップＳ３０２の処理は、制御部１０１による制御の下、撮像部１０５により行われる。ステップＳ３０２において、撮像部１０５は、制御部１０１により決定された撮像フレームレート及び露光時間に基づき、光学像を撮像する。この撮像部１０５から出力されてＡ／Ｄ変換部１０６でＡ／Ｄ変換された画像データは、ＲＡＭ１０３に一時記憶された後、画像処理部１０７により画像処理がなされる。そして、画像処理部１０７による画像処理後の画像データは、ＲＡＭ１０３による一時記憶を経て、記録部１０８に記録される。

ここで、撮像部１０５が撮像する動画について、図４を参照して説明する。図４は、撮像部１０５が撮像した、例えば撮像Ｎ−１フレーム、撮像Ｎフレーム、撮像Ｎ＋１フレームのそれぞれの露光時間と、それら撮像フレーム間の時間間隔を示した図である。なお、撮像Ｎ−１フレームは撮像Ｎフレームに対して時間的に一つ前の撮像フレームであり、撮像Ｎ＋１フレームは撮像Ｎフレームに対して時間的に一つ後の撮像フレームである。

図４の例では、撮像フレームレートは６０ｆｐｓ（フレーム／秒）であり、撮像フレーム間の時間間隔が１／６０秒で、撮像Ｎ−１フレーム、撮像Ｎフレーム、撮像Ｎ＋１フレームの各撮像フレームの露光時間はそれぞれ１／１０００秒となされている。すなわち、撮像フレーム間の時間間隔（１／６０秒）に比べ、撮像Ｎ−１フレーム、撮像Ｎフレーム、撮像Ｎ＋１フレームの各撮像フレームの露光時間（１／１０００秒）は、非常に短い時間となっている。このように、各撮像フレームの露光時間が非常に短い時間になされている場合、各撮像フレームの画像は動体ブレの少ない画像となり、したがって、この撮像動画から所望の一つのフレームの画像を取り出せば、動きブレの少ない静止画を得ることが可能となる。

一方、撮像フレーム間の時間間隔よりも各撮像フレームの露光時間が非常に短い動画を表示した場合、各撮像フレーム毎の動きブレが繋がらず、被写体等の動きがカクカクした不自然なものになることが多い。このため、詳細は後述するが、本実施形態では、動画の動き被写体に対して動きブレを付与することにより、滑らかな動画を生成可能となされている。このように、本実施形態では、動きが滑らかな動画と動きブレの少ない静止画の両方を得る事が可能となる。

図３のフローチャートに説明を戻す。ステップＳ３０２の後、制御部１０１は、ステップＳ３０３に処理を進める。図３のステップＳ３０３以降の各処理は、制御部１０１による制御の下、画像処理部１０７により行われる。画像処理部１０７は、ステップＳ３０２で記録部１０８に記録された一つの動画ファイルの動画データを用いて、ステップＳ３０３以降の各処理を行う。

ステップＳ３０３の処理は、制御部１０１による制御の下、図２の滑らか動画生成部２００の動きベクトル算出部２０１により行われる。ステップＳ３０３において、動きベクトル算出部２０１は、記録部１０８に記録された動画の撮像フレーム画像間の順方向動きベクトル及び逆方向動きベクトルを算出する。そして、動きベクトル算出部２０１は、算出した順方向及び逆方向の動きベクトルを、補間フレーム画像生成部２０２及び動きベクトル信頼度算出部２０３に出力する。また、動きベクトル算出部２０１は、算出した順方向及び逆方向の動きベクトルに対応する相関値を、動きベクトル信頼度算出部２０３に出力する。

ここで、ステップＳ３０３で行われる動きベクトルの算出方法について、図５及び図６を参照して説明する。図５は、動きベクトル算出部２０１による動きベクトルの算出処理を示すフローチャートである。図６は、ブロックマッチング法による動きベクトルの算出方法を示す図である。なお、本実施形態では、動きベクトルの算出手法として、ブロックマッチング法を例に挙げて説明するが、動きベクトルの算出手法はこの例に限定されず、例えばオプティカルフロー法でもよい。

図５のフローチャートのステップＳ５０１において、動きベクトル算出部２０１には、記録部１０８に記録されている動画データの、時間的に隣接する２枚の撮像フレーム画像が入力される。そして、動きベクトル算出部２０１は、順方向の動きベクトルを算出する場合には、時間的に前の撮像フレームを基準撮像フレームに設定し、時間的に後の撮像フレームを参照撮像フレームに設定する。また、動きベクトル算出部２０１は、逆方向の動きベクトルを算出する場合には、時間的に後の撮像フレームを基準撮像フレームに設定し、時間的に前の撮像フレームを参照撮像フレームに設定する。ステップＳ５０１の後、動きベクトル算出部２０１の処理はステップＳ５０２に進む。

ステップＳ５０２では、動きベクトル算出部２０１は、図６のように、基準撮像フレーム６０１において、Ｎ×Ｎ画素の基準ブロック６０２を配置する。ステップＳ５０２の後、動きベクトル算出部２０１の処理はステップＳ５０３に進む。

ステップＳ５０３では、動きベクトル算出部２０１は、図６のように、参照撮像フレーム６０３に対し、基準撮像フレーム６０１の基準ブロック６０２の中心座標と同座標６０４の周囲（Ｎ＋ｎ）×（Ｎ＋ｎ）画素を、探索範囲６０５として設定する。ステップＳ５０３の後、動きベクトル算出部２０１の処理はステップＳ５０４に進む。

ステップＳ５０４では、動きベクトル算出部２０１は、基準撮像フレーム６０１の基準ブロック６０２と、参照撮像フレーム６０３の探索範囲６０５内に存在する異なる座標のＮ×Ｎ画素の参照ブロック６０６との相関演算を行い、相関値を算出する。相関値は、基準ブロック６０２及び参照ブロック６０６の画素に対する、フレーム間差分絶対値和に基づき算出する。つまり、差分絶対値和の値が最も小さい座標が、最も相関値が高い座標となる。なお、相関値の算出方法は、差分絶対値和を求める方法に限定されず、例えば差分二乗和や正規相互相関値に基づく相関値を算出する方法でもよい。図６の例では、参照ブロック６０６が最も相関が高いことを示しているとする。ステップＳ５０４の後、動きベクトル算出部２０１の処理はステップＳ５０５に進む。

ステップＳ５０５では、動きベクトル算出部２０１は、ステップＳ５０４で求めた最も高い相関値を示す参照ブロック座標に基づき動きベクトルを算出する。図６の例の場合、参照撮像フレーム６０３の探索範囲６０５の中で、基準撮像フレーム６０１の基準ブロック６０２の中心座標に対応した同座標６０４と、参照ブロック６０６の中心座標とを基に動きベクトルが求められる。つまり、同座標６０４から参照ブロック６０６の中心座標までの方向と距離で表される動きベクトルが求められる。ステップＳ５０５の後、動きベクトル算出部２０１の処理はステップＳ５０６に進む。

ステップＳ５０６では、動きベクトル算出部２０１は、基準撮像フレーム６０１の全画素について動きベクトルを算出したか否か判定する。動きベクトル算出部２０１は、ステップＳ５０６において全画素の動きベクトルを算出していないと判定した場合には、ステップＳ５０２に処理を戻す。そして、ステップＳ５０２では、動きベクトルが算出されていない画素を中心として前述した基準撮像フレーム６０１にＮ×Ｎ画素の基準ブロック６０２が配置され、以下前述同様に、ステップＳ５０３からステップＳ５０５の処理が行われる。すなわち、動きベクトル算出部２０１は、図６の基準ブロック６０２を移動させながら、ステップＳ５０２からステップＳ５０５までの処理を繰り返して、基準撮像フレーム６０１の全画素の動きベクトルを算出する。なお、動きベクトル算出部２０１は、全画素の動きベクトルを算出するのではなく、所定画素毎に動きベクトルを算出してもよい。ステップＳ５０６の後、動きベクトル算出部２０１の処理はステップＳ５０７に進む。

ステップＳ５０７では、動きベクトル算出部２０１は、順方向の動きベクトル及び逆方向の動きベクトルの算出が完了したか否か判定する。動きベクトル算出部２０１は、ステップＳ５０７において、順方向と逆方向の何れかの動きベクトルの算出が完了していないと判定した場合には処理をステップＳ５０１に処理を戻す。そして、ステップＳ５０１では、順方向と逆方向の何れか動きベクトルの算出が完了していない方について、前述同様に基準撮像フレーム、参照撮像フレームの設定が行われる。例えば、逆方向の動きベクトルの算出が完了していない場合には、時間的に後の撮像フレームが基準撮像フレームに設定され、時間的に前の撮像フレームが参照撮像フレームに設定され、以下前述同様に、ステップＳ５０２からステップＳ５０６の処理が行われる。一方、ステップＳ５０７において、順方向の動きベクトル及び逆方向の動きベクトルの算出が完了したと判定した場合、動きベクトル算出部２０１は、図５のフローチャートの処理を終了する。

ここまでの処理は時間的に隣接する２枚の撮像フレーム画像に対する処理であり、図５のフローチャートの処理は、記録部１０８に記録されている一つの動画ファイルの動画データ内の隣接した２枚の撮像フレーム毎に行われる。すなわち、動きベクトル算出部２０１では、以上述べたような方法により、動画を構成する全ての撮像フレームについて動きベクトルを算出する。

図３のフローチャートに説明を戻す。ステップＳ３０３の後、制御部１０１は、ステップＳ３０４に処理を進める。ステップＳ３０４の処理は、制御部１０１による制御の下、補間フレーム画像生成部２０２にて行われる。図３のステップＳ３０４において、補間フレーム画像生成部２０２は、撮像フレーム画像と動きベクトルに基づき、補間フレーム画像を生成する。

以下、補間フレーム画像生成部２０２にて行われる補間フレーム画像の生成について、図７及び図８を参照して説明する。図７は、補間フレーム画像生成部２０２による補間フレーム画像の生成処理を示すフローチャートである。図８は、例えば撮像Ｎフレーム画像と撮像Ｎ＋１フレーム画像に基づき、補間フレーム画像を生成する方法の説明に用いる図である。

図７のステップＳ７０１において、補間フレーム画像生成部２０２は、図８の撮像Ｎフレームと撮像Ｎ＋１フレームの間に生成する補間フレームの枚数を決定する。具体的には、補間フレーム画像生成部２０２は、下記式（１）のように、隣接撮像フレーム間の時間及び撮像フレームの露光時間に応じて補間フレームの枚数を決定する。

枚数＝（隣接撮像フレーム間の時間／撮像フレームの露光時間）−１ 式（１）

なお、補間フレームの枚数は、整数になるように切り捨て等の丸め処理が行われて決定される。例えば、撮像フレームレートが毎秒６０フレーム（隣接撮像フレーム間の時間は１／６０秒）、撮像フレームの露光時間が１／１０００秒の場合、補間フレームの枚数は１６枚となる。ステップＳ７０１の後、補間フレーム画像生成部２０２の処理はステップＳ７０２に進む。

ステップＳ７０２では、補間フレーム画像生成部２０２は、図８の撮像Ｎフレームと撮像Ｎ＋１フレームとの間に生成する各補間フレームのそれぞれの時間的な位置を決定する。具体的には、補間フレーム画像生成部２０２は、撮像Ｎフレームと撮像Ｎ＋１フレームとの間の時間間隔内において、ステップＳ７０１で算出した枚数分の補間フレームが均等な時間間隔になるように、各補間フレームの時間位置を決定する。ステップＳ７０２の後、補間フレーム画像生成部２０２の処理はステップＳ７０３に進む。

ステップＳ７０３では、補間フレーム画像生成部２０２は、ステップＳ７０２で決定した各補間フレームのそれぞれの時間位置に応じて、前述の動きベクトルに対する補正を行う。動きベクトルの補正について、図８を参照して説明する。図８では、隣接撮像フレーム間の時間を「１」とした場合において、撮像Ｎフレームから５／１７だけ時間的に離れた位置に、補間フレームが生成される例を示している。補間フレーム画像生成部２０２は、この時間位置に対応する補間フレームに対しては、撮像Ｎフレームから撮像Ｎ＋１フレームへの順方向動きベクトルの長さを５／１７倍するような補正を行う。同様に、補間フレーム画像生成部２０２は、撮像Ｎ＋１フレームから撮像Ｎフレームへの逆方向動きベクトルの長さを１２／１７倍するような補正を行う。動きベクトルの長さを補正する処理はゲイン補正に相当する処理となる。このように、補間フレーム画像生成部２０２は、動きベクトルの長さに対して、補間フレームの時間位置に応じたゲイン処理を行って、順方向補正動きベクトル及び逆方向補正動きベクトルを算出する。ステップＳ７０３の後、補間フレーム画像生成部２０２の処理はステップＳ７０４に進む。

ステップＳ７０４では、補間フレーム画像生成部２０２は、図８のように、撮像Ｎフレームと順方向補正動きベクトルとに基づき、順方向中間補間フレーム画像を生成する。また、補間フレーム画像生成部２０２は、撮像Ｎ＋１フレームと逆方向補正動きベクトルとに基づき、逆方向中間補間フレーム画像を生成する。

以下、補間フレーム画像生成部２０２が、撮像Ｎフレーム画像と順方向補正動きベクトルに基づき順方向中間補間フレーム画像を生成する方法について説明する。
補間フレーム画像生成部２０２は、補間フレーム画像の補間対象座標の画素値を生成するために、先ず、撮像Ｎフレーム画像における各順方向補正動きベクトルの中で、ベクトル終点座標が補間対象座標の近傍に存在する順方向補正動きベクトルを検出する。そして、補間フレーム画像生成部２０２は、その検出した順方向補正動きベクトルの始点座標における撮像Ｎフレーム画像の画素値を、補間対象座標の画素値とする。なお、補間フレーム画像生成部２０２は、順方向補正動きベクトルの終点座標が、補間対象座標の近傍に存在しない場合には、補間フレーム画像の補間対象座標の画素は欠落画素であるとして、その画素値を"０"とする。

次に、補間フレーム画像生成部２０２が、撮像Ｎ＋１フレーム画像と逆方向補正動きベクトルに基づき逆方向中間補間フレーム画像を生成する方法について説明する。
補間フレーム画像生成部２０２は、補間フレーム画像の補間対象座標の画素値を生成するために、先ず、撮像Ｎ＋１フレーム画像における各逆方向補正動きベクトルの中で、ベクトル終点座標が補間対象座標の近傍に存在する逆方向補正動きベクトルを検出する。そして、補間フレーム画像生成部２０２は、その検出した逆方向補正動きベクトルの始点座標における撮像Ｎ＋１フレーム画像の画素値を、補間対象座標の画素値とする。なお、補間フレーム画像生成部２０２は、逆方向補正動きベクトルの終点座標が、補間対象座標の近傍に存在しない場合には、補間フレーム画像の補間外相座標の画素は欠落画素であるとして、その画素値を"０"とする。ステップＳ７０４の後、補間フレーム画像生成部２０２の処理はステップＳ７０５に進む。

ステップＳ７０５では、補間フレーム画像生成部２０２は、順方向中間補間フレーム画像と逆方向中間補間フレーム画像とを、補間フレーム画像の時間位置と欠落画素情報に基づき合成することにより、補間フレーム画像を生成する。

以下、補間フレーム画像生成部２０２が、順方向中間補間フレーム画像と逆方向中間補間フレーム画像とを合成する中間補間フレーム合成処理について説明する。
補間フレーム画像生成部２０２は、補間フレーム画像の補間対象座標における順方向及び逆方向の中間補間フレーム画像の画素が両方共に欠落画素ではない場合には、それら順方向及び逆方向の中間補間フレーム画像の同座標画素値を合成する。そして、補間フレーム画像生成部２０２は、その合成した同座標画素値を、補間フレーム画像の画素値とする。ここで、同座標画素値を合成する際の合成割合（以下、中間合成割合と表記する。）は、撮像Ｎフレームに対する順方向中間補間フレームの時間位置と、撮像Ｎ＋１フレームに対する逆方向中間補間フレームの時間位置とに応じて算出される。具体的には、補間フレーム画像生成部２０２は、撮像Ｎフレーム及び撮像Ｎ＋１フレームに対する補間フレームの時間的な距離を算出し、その時間的な距離が小さいほど、高くなる中間合成割合を求める。図８では、撮像Ｎフレームと撮像Ｎ＋１フレームとの間の時間間隔を「１」とした場合において、補間フレーム画像が、撮像Ｎフレームから５／１７、撮像Ｎ＋１フレームから１２／１７だけ離れた時間位置に生成される例を示している。この場合、補間フレーム画像生成部２０２は、順方向中間補間フレーム画像の中間合成割合を１２／１７とし、逆方向中間補間フレーム画像の中間合成割合を５／１７として、それらの同座標画素値の合成を行う。

一方、補間フレーム画像の補間対象座標における順方向及び逆方向の中間補間フレーム画像の画素のうちどちらか一方が欠落画素である場合、補間フレーム画像生成部２０２は、欠落画素ではない方の画素値を補間フレーム画像の画素値とする。また、補間対象座標における順方向及び逆方向の中間補間フレーム画像の両画素が欠落画素である場合、補間フレーム画像生成部２０２は、その補間対象座標の近傍領域の欠落画素でない複数画素値の平均値を、補間フレーム画像の画素値とする。ステップＳ７０５の後、補間フレーム画像生成部２０２の処理はステップＳ７０６に進む。

ステップＳ７０６では、補間フレーム画像生成部２０２は、ステップＳ７０１で算出した枚数分の全ての補間フレーム画像の生成が完了したか否かを判定する。そして、補間フレーム画像生成部２０２は、全ての補間フレーム画像の生成が完了していないと判定した場合には、ステップＳ７０２に処理を戻す。この場合、ステップＳ７０２では、未生成の補間フレームについて時間位置の決定が行われ、その後ステップＳ７０３からステップＳ７０５までの処理が行われる。このように、補間フレーム画像生成部２０２は、全ての補間フレーム画像の生成が完了していない場合には、ステップＳ７０２からステップＳ７０５までの処理を繰り返す。そして、補間フレーム画像生成部２０２は、ステップＳ７０６で全ての補間フレーム画像の生成が完了したと判定した場合、図７のフローチャートの処理を終了する。

なお、例えば誤った動きベクトルを用いて補間フレーム画像を生成してしまった場合、正しい動きを再現した補間フレーム画像を生成できなくなる。この場合、表示部１０９に表示された動画は、補間フレーム画像上の被写体が分離してしまったり、透過してしまったりといった破綻した動画になって見えることになる。このような補間フレーム画像に発生する破綻の具体例を、図９（ａ）と図９（ｂ）を参照して説明する。図９（ａ）と図９（ｂ）は、図７のステップＳ７０３で補正された動きベクトルを用いた中間補間フレーム画像の生成の様子を示した図であり、正しい補正動きベクトルを用いた場合と誤った補正動きベクトルが用いられた場合の違いを示す図である。なお、以下に説明することは、順方向補正動きベクトルと逆方向補正動きベクトルの何れについても当てはまるため、ここではそれらを区別せずに補正動きベクトルとのみ表記する。同様に、順方向中間補間フレームと逆方向中間補間フレームについてもそれらを区別せずに中間補間フレームとのみ表記する。

図９（ａ）は、撮像フレームに近い時間位置の中間補間フレーム画像を示した図である。図９（ａ）の例は、補間対象座標９０１と、動きベクトルの終点座標が補間対象座標９０１に存在する正しい補正動きベクトル９０２と、動きベクトルの終点座標が補間対象座標９０１に存在する誤った補正動きベクトル９０４との関係を示している。

前述したように、補間フレーム画像生成部２０２は、図７のステップＳ７０４において、中間補間フレーム画像の生成の際、補正動きベクトルの終点座標が、補間対象座標の近傍に存在する補正動きベクトルを検出する。そして、補間フレーム画像生成部２０２は、その検出した補正動きベクトルの始点座標における撮像フレーム画像の画素値を、補間対象座標の画素値とする。図９（ａ）において、補間対象座標９０１の画素値の正しい値は、正しい補正動きベクトル９０２の始点座標９０３における撮像フレームの画素値である。一方、誤った補正動きベクトル９０４が用いられた場合、補間対象座標９０１の画素値は、誤った補正動きベクトル９０４の始点座標９０５における撮像フレーム画像の画素値となる。つまり、正しい補正動きベクトル９０２の始点座標９０３から距離９０６だけ離れた座標である誤った補正動きベクトル９０４の始点座標９０５の画素値が、補間対象座標９０１の画素値となされてしまう。

図９（ｂ）は、撮像フレームから遠い時間位置の中間補間フレーム画像を示した図である。図９（ｂ）の例は、補間対象座標９１１と、動きベクトル終点が補間対象座標９１１に存在する正しい補正動きベクトル９１２と、動きベクトル終点が補間対象座標９１１に存在する誤った補正動きベクトル９１４との関係を示している。

図９（ｂ）において、補間対象座標９１１の画素値の正しい値は、正しい補正動きベクトル９１２の始点座標９０３における撮像フレーム画像の画素値である。ここで、誤った補正動きベクトル９１４が用いられた場合、補間対象座標９１１の画素値は、誤った補正動きベクトル９１４の始点座標９１５における撮像フレーム画像の画素値となる。つまり、正しい補正動きベクトル９１２の始点座標９０３から距離９１６だけ離れた座標である誤った補正動きベクトル９１４の始点座標９１５の画素値が、補間対象座標９１１の画素値となされてしまう。

図９（ａ）の距離９０６と図９（ｂ）の距離９１６を比較すると、距離９１６の方が長い。これは、撮像フレームから遠い時間位置の中間補間フレーム画像を生成するときの方が、補正動きベクトルを算出する際のゲインが大きいことに起因する。つまり、長い補間動きベクトルを用いて生成する中間補間フレーム画像の方が、正しい補正動きベクトルの始点座標と誤った補正動きベクトルの始点座標との距離が長くなる傾向がある。また、画像は、一般に近い座標の画素値ほど高い相関性を有するという特性があるため、正しい座標から離れた位置にある画素値を補間対象座標の画素値とした場合ほど、破綻する可能性が高くなる。これらのことから、距離９０６が短く、撮像フレームに近い時間位置の中間補間フレーム画像ほど破綻が目立ち難く、距離９１６が長く、撮像フレームから遠い時間位置の中間補間フレーム画像ほど破綻が目立ち易くなる傾向がある。

したがって、このような破綻を目立ち難くするために、補間フレーム画像生成部２０２は、前述したように、図７のステップＳ７０５では撮像フレームと補間フレームの時間的な距離が小さいほど、高い中間合成割合による合成を行うようになされている。

そして、本実施形態の滑らか動画生成部２００は、前述のようにして生成した各補間フレーム画像を撮像フレーム画像に対して合成することを、撮像フレーム毎に行うことで、動きブレを付与した動画を生成する。
しかしながら、例えば、撮像Ｎフレームと撮像Ｎ＋１フレームの両方から時間的距離が遠い補間フレーム画像、つまり撮像フレームの中間付近の時間的位置の各補間フレーム画像は、後述するように破綻が最も目立ち易い補間フレーム画像になる可能性が高い。

本実施形態では、撮像Ｎフレームと撮像Ｎ＋１フレームの両方から時間的距離が遠い補間フレーム画像で破綻が目立ち易くなることを考慮し、滑らか動画生成部２００は、撮像フレーム画像と各補間フレーム画像の合成比率を決定している。詳細は後述するが、本実施形態において、撮像フレーム画像と各補間フレーム画像を合成する際の合成比率は、補間フレーム画像の破綻度合いに基づいて決定される。補間フレーム画像の破綻度合いは、時間的に前及び後に隣接する撮像フレーム画像と各補間フレーム画像との間の時間的距離と、動きベクトルの信頼度とに基づいて求められる。すなわち前述したように、撮像フレームと各補間フレームの時間的距離が遠ければ補間フレーム画像は破綻し易くなり、また、後述する動きベクトルの信頼度が低い場合も補間フレーム画像の破綻の可能性が高くなる。このため、本実施形態では、後述するように、撮像フレームと各補間フレームの時間的距離と、動きベクトルの信頼度とに基づいて補間フレームの破綻度合いを求め、その破綻度合いを基に合成比率を決定している。

以下、本実施形態の滑らか動画生成部２００において、撮像フレーム画像と各補間フレーム画像を合成する際の合成比率について詳細に説明する。
図３のフローチャートに説明を戻す。ステップＳ３０４の後、制御部１０１は、ステップＳ３０５に処理を進める。ステップＳ３０５の処理は、制御部１０１による制御の下、動きベクトル信頼度算出部２０３にて行われる。ステップＳ３０５において、動きベクトル信頼度算出部２０３は、動きベクトル算出部２０１が求めた動きベクトルとその動きベクトル算出時に得られた相関値の少なくとも一方に基づき、撮像フレーム毎に順方向及び逆方向の動きベクトルの信頼度を算出する。詳細は後述するが、動きベクトル信頼度算出部２０３は、順方向及び逆方向の動きベクトルの信頼度を、着目画素の近傍領域の各画素の動きベクトルのばらつきに基づくばらつき信頼度と相関値に基づく相関値信頼度との和により算出する。なお、動きベクトルの信頼度は、順方向と逆方向の何れの動きベクトルの場合でも同様に求められるため、ここではそれらを区別せずに動きベクトルの信頼度とのみ表記する。

先ず、近傍領域の動きベクトルのばらつきに基づくばらつき信頼度について、図１０（ａ）を参照して説明する。
動きベクトル信頼度算出部２０３は、撮像フレームの着目画素の近傍領域内における、動きベクトルの長さのばらつき信頼度と、動きベクトルの方向のばらつき信頼度との和に基づき、動きベクトルのばらつき信頼度を算出する。具体的には、動きベクトル信頼度算出部２０３は、動きベクトルの長さのばらつきと方向のばらつきを、着目画素の近傍領域内における動きベクトルの長さの標準偏差と動きベクトルの方向の標準偏差に基づき算出する。さらに、動きベクトル信頼度算出部２０３は、例えば図１０（ａ）に示すようなばらつき信頼度特性を基に、動きベクトルの長さのばらつき信頼度と動きベクトルの方向のばらつき信頼度を求める。例えば動きベクトルの長さのばらつきを例に挙げた場合、動きベクトルの長さのばらつきの値が、所定値Ｒ１以下の場合には高いばらつき信頼度ＶＲ１が得られ、所定値Ｒ２（Ｒ１＜Ｒ２）以上の場合には低いばらつき信頼度ＶＲ２が得られる。また、動きベクトルの長さのばらつきの値が、所定値Ｒ１より大きく所定値Ｒ２未満の場合には、ばらつき信頼度ＶＲ１からＶＲ２までの間の、動きベクトルの長さのばらつきの値に応じたばらつき信頼度が得られる。なお、図１０（ａ）のばらつき信頼度特性は、動きベクトルの長さのばらつきと動きベクトルの方向のばらつきに対し、同じ特性が設定されていてもよいし、それぞれについて異なる特性として設定されていてもよい。また、図１０（ａ）に示すばらつき信頼度特性は予め用意されていてもよいし、動きベクトル信頼度算出部２０３が生成してもよい。動きベクトル信頼度算出部２０３では、図１０（ａ）のばらつき信頼度特性を基に、概ね、動きベクトルの長さのばらつきが小さいほど高いばらつき信頼度が決定される。同様に、動きベクトル信頼度算出部２０３では、図１０（ａ）のばらつき信頼度特性を基に、概ね、動きベクトルの方向のばらつきが小さいほど高いばらつき信頼度が決定される。そして、動きベクトル信頼度算出部２０３は、それら動きベクトルの長さのばらつき信頼度と、動きベクトルの方向のばらつき信頼度との和を、動きベクトルのばらつき信頼度として算出する。

次に、近傍領域の動きベクトルの相関値に基づく相関値信頼度について図１０（ｂ）を参照して説明する。
動きベクトル信頼度算出部２０３は、図５のステップＳ５０５において算出された動きベクトルの相関値に基づき、相関値信頼度を算出する。具体的には、動きベクトル信頼度算出部２０３は、例えば図１０（ｂ）に示すような相関値信頼度特性を基に、動きベクトルの相関値信頼度を求める。なお、図１０（ｂ）に示す相関値信頼度特性は予め用意されていてもよいし、動きベクトル信頼度算出部２０３が生成してもよい。例えば動きベクトルの相関値が、所定値Ｃ１以上の場合には高い相関値信頼度ＶＣ１が得られ、所定値Ｃ２（Ｃ２＜Ｃ１）以下の場合には低い相関値信頼度ＶＣ２が得られる。また、動きベクトルの相関値が、所定値Ｃ２より大きく所定値Ｃ１未満の場合には、相関値信頼度ＶＣ２からＶＣ１までの間の、動きベクトルの相関値に応じた相関値信頼度が得られる。すなわち、動きベクトル信頼度算出部２０３では、図１０（ｂ）の相関値信頼度特性を基に、概ね、動きベクトルの相関値が大きいほど高い相関値信頼度が決定される。

さらに、動きベクトル信頼度算出部２０３は、前述のようにして求めた動きベクトルのばらつき信頼度と動きベクトルの相関値信頼度との和により、動きベクトルの信頼度を算出する。また、動きベクトル信頼度算出部２０３は、撮像フレームの各画素の動きベクトル毎に算出した動きベクトル信頼度を、フレーム画像全体で平均化した値を、その撮像フレームの動きベクトル信頼度とする。このように、動きベクトル信頼度算出部２０３は、順方向及び逆方向の動きベクトルそれぞれに対し、前述したようにして動きベクトルの信頼度を算出する。

なお、前述の説明では、動きベクトル毎の信頼度の平均を求めて動きベクトルの信頼度とする例を挙げたが、動きベクトルの信頼度の算出方法はこれに限ったものではない。例えば、動きベクトル信頼度算出部２０３は、動きベクトル毎の信頼度の平均を求める処理に加え、フレーム画像全体の動きベクトルの信頼度の最小値を加味して動きベクトルの信頼度を調整してもよい。この例の場合、例えば局所的に信頼度が低い領域が存在する場合に、フレーム画像全体の動きベクトル信頼度を小さくするように制御することができる。

また、前述したようにフレーム画像全体で動きベクトルの信頼度を平均化する際、動きベクトルの信頼度が以下の第１〜第３の条件の何れかを満たす場合には、それに該当する動きベクトルの信頼度を除外してもよい。
・第１の条件：動きベクトル信頼度が低い領域の大きさが、所定値よりも小さい。
・第２の条件：動きベクトル信頼度が低い領域が、画面端から所定範囲内に位置する。
・第３の条件：動きベクトル信頼度が低い領域が、主被写体から離れた領域に位置する。

図３のフローチャートに説明を戻す。ステップＳ３０５の後、制御部１０１は、ステップＳ３０６に処理を進める。ステップＳ３０６の処理は、制御部１０１による制御の下、合成比率算出部２０４にて行われる。
図３のステップＳ３０６において、合成比率算出部２０４は、動きベクトルの信頼度、及び撮像フレームと各補間フレームの時間的距離に基づき、撮像Ｎフレーム画像及び各補間フレーム画像の合成比率を算出する。すなわち、合成比率算出部２０４は、撮像フレーム画像と各補間フレーム画像の時間的距離と動きベクトルの信頼度を基に補間フレームの破綻度合いがどの程度になるかを判断して、その破綻度合いを基に合成比率を決定している。

以下、動きベクトルの信頼度、及び撮像フレームと各補間フレームの時間的距離に基づき、撮像Ｎフレーム及び各補間フレームの合成比率を算出する方法について、図１１（ａ）〜図１１（ｄ）を参照して説明する。
図１１（ａ）は、撮像Ｎフレームと撮像Ｎ＋１フレーム、及びそれら撮像フレーム間に生成された各補間フレームの時間位置を示す図である。図１１（ａ）の左端の実線が撮像Ｎフレーム、右端の実線が撮像Ｎ＋１フレーム、各破線がそれぞれ補間フレームの時間位置を示している。また、図１１（ｂ）〜図１１（ｄ）は、それぞれ横軸が図１１（ａ）の横軸の時間と対応しており、縦軸は合成比率を示している。

図１１（ｂ）は、順方向及び逆方向の動きベクトルの信頼度が高い場合の、撮像フレーム画像及び各補間フレーム画像の合成比率を示した図である。ここで、順方向及び逆方向の動きベクトルの信頼度が高い場合、それら各補間フレーム画像の破綻は少ない（破綻度合いは低い）と考えられる。したがって、合成比率算出部２０４は、順方向及び逆方向の動きベクトルの信頼度の値が所定の第１の閾値以上である場合には、図１１（ｂ）に示す合成比率算出特性により、全ての画像に対する合成比率を同じ所定の比率とする。すなわち、全てのフレーム画像に対する合成比率が同じ所定の比率になされた場合、撮像Ｎフレームと撮像Ｎ＋１フレームとの間の非露光期間において、均等間隔の時間位置に生成した各補間フレーム画像を一定の所定の合成比率で合成することができる。この場合、あたかも撮像Ｎフレームと撮像Ｎ＋１フレームの間の時間間隔と同じ露光時間で撮像したかのような動きブレ付与フレーム画像が生成されることになる。なお、図１１（ｂ）に示す合成比率算出特性は、予め用意されていてもよいし、合成比率算出部２０４が生成してもよい。

図１１（ｃ）は、順方向及び逆方向の動きベクトルの信頼度が低い場合の、撮像フレーム画像及び各補間フレーム画像の合成比率を示した図である。ここで、順方向及び逆方向の動きベクトルの信頼度が低い場合、各補間フレーム画像の破綻が多く（破綻度合いが高く）発生するようになると考えられる。また、補間フレーム画像の破綻度合いは、前述したように、撮像Ｎフレーム及び撮像Ｎ＋１フレームの両撮像フレームからの時間的距離が遠い補間フレーム画像ほど大きくなり、その補間フレーム画像の破綻が目立ち易くなると考えられる。このため、合成比率算出部２０４は、順方向及び逆方向の動きベクトルの信頼度が所定の第１の閾値より低い場合には、撮像Ｎフレーム及び撮像Ｎ＋１フレームの両撮像フレームからの時間的距離が遠い補間フレーム画像の合成比率を低くする。具体的には、合成比率算出部２０４は、図１１（ｃ）に示す合成比率算出特性により、撮像Ｎフレームと撮像Ｎ＋１フレームとの間の時間的中間付近の補間フレーム画像に対する合成比率を低くする。この図１１（ｃ）の合成比率算出特性の場合、撮像Ｎフレーム又は撮像Ｎ＋１フレームからの時間的距離が所定の第１の距離より遠い範囲Ｖ２内の補間フレームに対する合成比率は低い比率となされる。一方、撮像Ｎフレーム又は撮像Ｎ＋１フレームからの時間的距離が所定の第２の距離（第２の距離＜第１の距離）以内の近い範囲Ｖ１内の補間フレームに対する合成比率は高い比率となされる。また、撮像Ｎフレーム又は撮像Ｎ＋１フレームからの時間的距離が第１の距離と第２の距離との間の補間フレーム画像に対する合成比率は、それらの時間的距離に応じた比率となされる。このように、撮像Ｎフレーム又は撮像Ｎ＋１フレームからの時間的距離が所定の第１の距離より遠い範囲Ｖ２内の補間フレーム画像に対する合成比率を低くすることにより、破綻の少ない補間フレーム画像を重視した合成比率による合成が可能となる。これにより、破綻の残留が少ない動きブレ付与フレーム画像が生成可能となる。なお、図１１（ｃ）に示す合成比率算出特性は、予め用意されていてもよいし、合成比率算出部２０４が生成してもよい。

図１１（ｄ）は、順方向の動きベクトルの信頼度が高く、逆方向の動きベクトルの信頼度が低い場合の、撮像フレーム画像及び各補間フレーム画像の合成比率を示す図である。この場合、撮像Ｎフレーム画像から生成された中間補間フレーム画像の破綻度合いは低くなり、撮像Ｎ＋１フレーム画像から生成された中間補間フレーム画像の破綻度合いは高くなると考えられる。また、図７のステップＳ７０５で説明したように、補間フレーム画像は、順方向及び逆方向の中間補間フレーム画像が時間的位置に応じて合成されて生成されるため、撮像Ｎ＋１フレームに近い位置の補間フレーム画像ほど破綻度合いが高くなると考えられる。このため、合成比率算出部２０４は、撮像Ｎフレームからの時間的距離が遠く、撮像Ｎ＋１フレームからの時間的距離が近い補間フレーム画像に対する合成比率を低い比率にする。具体的には、合成比率算出部２０４は、図１１（ｄ）の合成比率算出特性により、撮像Ｎフレームからの時間的距離が第１の距離以内の近い範囲Ｖ１内の補間フレーム画像に対する合成比率を高くする。一方、合成比率算出部２０４は、撮像Ｎフレームからの時間的距離が所定の第２の距離（第２の距離＜第１の距離）より遠い範囲Ｖ２内の補間フレーム画像に対する合成比率を低くする。また、撮像Ｎフレームからの時間的距離が第１の距離と第２の距離との間の補間フレーム画像に対する合成比率は、それらの時間的距離に応じた比率となされる。このように、撮像Ｎフレームからの時間的距離が遠い（撮像Ｎ＋１フレームからの時間的距離が近い）補間フレーム画像に対する合成比率を低くすることにより、破綻の少ない補間フレーム画像を重視した合成比率による合成が可能となる。これにより、破綻の残留が少ない動きブレ付与フレーム画像が生成可能となる。なお、図１１（ｄ）に示す合成比率算出特性は、予め用意されていてもよいし、合成比率算出部２０４が生成してもよい。

なお、合成比率算出部２０４は、例えば順方向及び逆方向の動きベクトルの信頼度が共に低い場合にも図１１（ｄ）のような合成比率を算出してもよい。
また、図１１（ｃ）のように中間付近の補間フレーム画像の合成比率を低くした場合、動きブレ付与フレーム画像は多重像になる可能性がある。この動画を表示させた場合、その多重像は目立ち難くはなるが、多重像の発生を抑制するために、図１１（ｄ）のように撮像Ｎフレームに近い補間フレーム画像の合成比率のみを高くして合成してもよい。

図３のフローチャートに説明を戻す。ステップＳ３０６の後、制御部１０１は、ステップＳ３０７に処理を進める。ステップＳ３０７の処理は、制御部１０１による制御の下、画像合成部２０５にて行われる。
図３のステップＳ３０７において、画像合成部２０５は、撮像フレーム画像及び各補間フレーム画像を合成して、動きブレ付与フレーム画像を生成して出力する。例えば、画像合成部２０５は、撮像Ｎフレーム画像及び各補間フレーム画像をステップＳ３０６で算出した合成比率に基づき合成し、動きブレ付与フレーム画像を生成して出力する。すなわち、生成された複数の動きブレ付与フレーム画像からなる動きブレ付与動画は、撮像部１０５にて撮像された撮像フレームレートと同じフレームレートの動画となる。また、本実施形態によれば、破綻度合いが大きくなる可能性が高い補間フレーム画像の合成比率が低くなされた合成が行われているため、動きブレ付与フレーム画像に破綻が残留し難く、画質の低下を防ぐことが可能となる。

なお、例えば動きベクトルの信頼度の値が、前述した所定の第１の閾値より小さい第２の閾値よりも低い場合には、撮像フレーム画像及び各補間フレーム画像を合成して、動きブレを付与する方法を採らなくてもよい。例えば、順方向又は逆方向の動きベクトルに基づき、撮像Ｎフレームに対して１次元空間フィルタ処理を施すことで動体ブレを付与するようにしてもよい。この場合、１次元空間フィルタのタップ数は、動きベクトルの長さとし、１次元空間フィルタの方向は、動きベクトルの方向とする。

また、本実施形態では、動きベクトルの信頼度はフレーム全体で平均化した値とする例を挙げたが、動きベクトルの信頼度はこれに限ったものではない。例えば、補間フレームの画素毎に動きベクトルの信頼度を算出してもよい。この場合、図７のステップＳ７０３で説明した補正動きベクトルが示す信頼度を、補間フレーム画像の画素毎の動きベクトル信頼度とする。そして、図３のステップＳ３０６で説明した合成比率算出方法を画素毎に適用することにより算出した合成比率に基づき、撮像Ｎフレーム画像及び補間フレーム画像を合成し、動きブレ付与フレーム画像を生成する。

また、動きブレ付与フレーム画像を生成するための合成比率が、動きブレ付与フレーム画像毎に大きく変わると、動きブレの程度がフレーム毎に変わるため、動画として視聴した際に、不自然になってしまう。この場合、合成比率算出部２０４は、時間的に前の過去のフレーム画像の合成比率と、現フレーム画像の合成比率との差が、所定値以下になるように合成比率を算出するように制御してもよい。

その他、前述の説明では、動きブレ付与フレーム画像は撮像フレーム画像と各補間フレーム画像を合成して生成されるが、動きブレ付与フレーム画像は、撮像フレーム画像と各補間フレーム画像の少なくとも一方から生成される場合も本実施形態に含まれる。一例として、前述した合成比率の算出の結果、補間フレーム画像の合成比率が例えば「０」になされた場合には撮像フレーム画像が動きブレ付与フレーム画像となる。また、撮像フレーム画像の合成比率が「０」になされる場合もあり得るため、この場合には補間フレーム画像が動きブレ付与フレーム画像となる。

以上説明したように、本実施形態の撮像装置１００においては、各撮像フレームの露光時間が短い動画に対して動きブレを付与することにより、動きが滑らかな動画を生成することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、本発明は、上述の実施形態の各機能は回路（例えばＡＳＩＣ）とプログラムとの協働により実現することも可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 撮像装置、１０１ 制御部、１０２ ＲＯＭ、１０３ ＲＡＭ、１０４ 光学系、１０５ 撮像部、１０６ Ａ／Ｄ変換部、１０７ 画像処理部、１０８ 記録部、１０９ 表示部、２００ 滑らか動画生成部、２０１ 動きベクトル算出部、２０２ 補間フレーム画像生成部、２０３ 動きベクトル信頼度算出部、２０４ 合成比率算出部、２０５ 画像合成部

Claims (16)

1. 動画のフレーム画像間の動きベクトルを算出する算出手段と、
   前記動きベクトルに基づき、時間的に隣接したフレーム画像間の時間位置に対応した補間フレーム画像を生成する補間手段と、
   前記フレーム画像と前記補間フレーム画像を用いて、前記フレーム画像に動きブレを付与した動きブレ付与フレーム画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記生成手段は、前記動画が撮像された際のフレームレートと同じフレームレートの動きブレ付与動画を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記フレーム画像と複数の補間フレーム画像の少なくとも２つ以上の画像を合成することにより、前記動きブレ付与フレーム画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記生成手段は、前記補間フレーム画像の破綻度合いに基づいて、前記合成の際の合成比率を求めることを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、動きベクトルの信頼度と、時間的に前および後の前記フレーム画像と前記補間フレーム画像との間の時間的距離とを求め、前記動きベクトルの信頼度と前記時間的距離とに基づき、前記補間フレーム画像の破綻度合いを求めることを特徴とする請求項４に記載の画像処理装置。
6. 前記生成手段は、前記動きベクトルの信頼度が第１の閾値よりも低い場合は、時間的に前のフレーム画像および時間的に後のフレーム画像の両方からの時間的距離が所定の距離より大きい時間位置の補間フレーム画像に対する前記合成比率を、前記時間的距離が所定の距離以内の時間位置の補間フレーム画像に対する前記合成比率よりも小さくすることを特徴とする請求項５に記載の画像処理装置。
7. 前記生成手段は、前記動きベクトルの信頼度が第１の閾値よりも低い場合は、時間的に前のフレーム画像からの時間的距離が所定の距離より大きい時間位置の補間フレーム画像に対する合成比率を、前記時間的距離が所定の距離以内の時間位置の補間フレーム画像に対する前記合成比率よりも小さくすることを特徴とする請求項５に記載の画像処理装置。
8. 前記生成手段は、前記動きベクトルの信頼度が第１の閾値以上である場合は、全ての画像に対する合成比率を同じ所定の比率とすることを特徴とする請求項５乃至７の何れか１項に記載の画像処理装置。
9. 前記生成手段は、現フレームの合成比率と、現フレームに対して時間的に前のフレームの合成比率との差が、所定値以下になるように合成比率を算出することを特徴とする請求項６乃至８の何れか１項に記載の画像処理装置。
10. 前記生成手段は、前記フレーム画像間の複数の相関値および着目画素の近傍領域の複数の動きベクトルのばらつきのうち、少なくとも一方に基づき前記動きベクトルの信頼度を算出することを特徴とする請求項５乃至９の何れか１項に記載の画像処理装置。
11. 前記生成手段は、前記フレーム画像全体の複数の動きベクトルの信頼度の中の最小値に基づき、前記フレーム画像全体の前記動きベクトルの信頼度を調整することを特徴とする請求項５乃至１０の何れか１項に記載の画像処理装置。
12. 前記生成手段は、複数の動きベクトルのうち、前記動きベクトルの信頼度が所定の条件を満たした動きベクトルを除外することを特徴とする請求項５乃至１１の何れか１項に記載の画像処理装置。
13. 前記生成手段は、前記動きベクトルの信頼度が、前記第１の閾値より小さい第２の閾値よりも低い場合は、前記動きベクトルに基づき、前記フレーム画像に空間フィルタ処理を施すことにより前記動きブレ付与フレーム画像を生成することを特徴とする請求項６乃至１２の何れか１項に記載の画像処理装置。
14. 前記フレーム画像は、前記フレーム画像間の時間間隔より短い露光時間で撮像された画像であることを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
15. 動画のフレーム画像間の動きベクトルを算出する算出工程と、
    前記動きベクトルに基づき、時間的に隣接したフレーム画像間の時間位置に対応した補間フレーム画像を生成する補間工程と、
    前記フレーム画像と前記補間フレーム画像を用いて、前記フレーム画像に動きブレを付与した動きブレ付与フレーム画像を生成する生成工程と、
    を有することを特徴とする画像処理装置の画像処理方法。
16. コンピュータを、請求項１乃至１４の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images