JP2009081574A - 画像処理装置、方法およびプログラム - Google Patents

Abstract

【課題】再生速度に適合した動きぼけの補正により再生速度を変更しても滑らかな再生を行うこと。
【解決手段】画像処理装置１００において、対象画像から参照画像への画素ごとの動きベクトルを推定する動き推定部１０１と、入力された再生速度に基づいて、再生速度が遅いほど大きい値である動きぼけ補正量を算出する動きぼけ補正量算出部１０２と、動きぼけ補正量により動きベクトルをスケール変換し、スケール変換された動きベクトルに基づいて、対象画像および参照画像の動きぼけを補正する動きぼけ補正画像生成部１０４と、動きぼけ補正された対象画像および参照画像と動きベクトルとを用いて補間画像を生成する補間画像生成部１０３と、を備えた。
【選択図】 図１

Description

本発明は、入力される動画の時間的に隣接する対象画像と参照画像の間に補間画像を内挿することにより前記動画の再生速度を変更可能にする画像処理装置、方法およびプログラムに関する。

動画の再生速度を変更する画像処理装置において、動画の再生速度を遅くして動画をスロー再生する場合、時間的に隣接する対象画像と参照画像の間に複数の同一フレームを内挿することにより、再生速度を遅くしている。

しかしながら、この方法では、動きの滑らかさが失われてしまいガタガタした映像となってしまうという欠点がある。このため、特許文献１に開示された技術では、隣接するフレームである対象画像と参照画像との間の動きを推定し、推定した動きベクトルに基づいて補間画像を生成し、生成した補間画像を対象画像と参照画像と間に内挿することにより滑らかな動きのスロー再生を可能としている。

特開２００１−２０３９８３号公報

しかしながら、ビデオカメラ等で動画を撮影する場合、物体の動き速度とシャッタースピード（露光時間）によって、撮像物体に動きぼけが生じる。シャッタースピードが固定であれば、物体の動きが速いほど大きな動きぼけが発生する。スロー再生をするということは相対的に物体の動きを遅くすることと等価である。このことを考えると、物体の動きが遅くなるということは、その分動きぼけが小さく見えるべきである。

しかしながら、特許文献１の技術では、原画像である対象画像と参照画像のフレームをそのまま用いて補間画像を生成して内挿しているので、大きな動きぼけを用いてスロー再生されてしまい、不自然な映像でスロー再生が行われてしまうという問題がある。

本発明は、上記に鑑みてなされたものであって、再生速度に適合した動きぼけの補正により再生速度を変更しても滑らかな再生を行うことができる画像処理装置、方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、動画像の対象画像と参照画像との間に再生速度に応じた補間画像を内挿する画像処理装置であって、前記対象画像から前記参照画像への画素ごとの動きベクトルを推定する動き推定部と、入力された再生速度に基づいて、前記再生速度が遅いほど大きい値である動きぼけ補正量を算出する補正量算出部と、前記動きぼけ補正量に従って前記動きベクトルのスケールを変換し、スケールを変換された動きベクトルに基づいて、前記対象画像および前記参照画像の動きぼけを補正する動きぼけ補正部と、前記動きぼけが補正された前記対象画像、前記動きぼけが補正された前記参照画像および前記動きベクトルを用いて、前記補間画像を生成する補間画像生成部と、を備え、前記動きぼけ補正部は、前記変換された動きベクトルの方向と大きさによって定まる異方性ガウシアンフィルタにより前記対象画像および前記参照画像のそれぞれの低周波成分を求め、それぞれの前記低周波成分と前記対象画像および前記参照画像のそれぞれの高周波成分とに基づいて、前記対象画像および前記参照画像をエッジ強調することにより前記対象画像および前記参照画像の前記動きぼけを補正することを特徴とする。

また、本発明は、上記画像処理装置で実行される方法、コンピュータを上記画像処理装置として機能させるプログラムである。

本発明によれば、再生速度に適合した動きぼけの補正により再生速度を変更しても滑らかな再生を行うことができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる画像処理装置、方法およびプログラムの最良な実施の形態を詳細に説明する。

（実施の形態１）
本実施の形態にかかる画像処理装置１００は、動画が入力され、利用者によって指定された再生速度に応じてフレーム補間をおこない、スロー再生等の再生速度を変更した再生をおこなうものである。

ビデオカメラで動画を撮影する場合、物体の動き速度とシャッタースピード（露光時間）によって、撮像物体に動きぼけが生じる。シャッタースピードが固定である場合には、物体の動きの速度が速いほど大きな動きぼけが発生する。再生速度を遅らせて動画をスロー再生することは、相対的に物体の動きの速度を遅くすることと等価である。このように考えると、物体の動きが遅くなるということは、遅くなる分、動きぼけが小さく見えるべきである。しかしながら、図２の中央側の図に示すように、入力される動画の原画のフレームをそのまま用いてフレーム補間してしまうと、大きな動きぼけを用いてスロー再生されてしまうため不自然な映像となってしまう。なお、図２の左側および中央において、複数の円が重なり、左側の円になるに従って線分の太さが細くなり、さらに一点鎖線から点線になる様子は、動きぼけが生じていることを示している。

このため、本実施の形態の画像処理装置１００では、指定された再生速度に応じて、動きぼけを解消するための値である動きぼけ補正量を算出し、算出された動きぼけ補正量に従ってフレーム１，フレーム２を動きぼけ補正することにより再生速度に適合した動きぼけのフレームの画像へ変換し、変換されたフレームを使用して補間画像を生成する。これにより、図２の右側の図に示すように再生速度に適合した動きぼけによる滑らかなスロー再生が可能となる。

図１は、実施の形態１にかかる画像処理装置の機能的構成を示すブロック図である。実施の形態１にかかる画像処理装置は、図１に示すように、動き推定部１０１と、動きぼけ補正量算出部１０２と、補正画像生成部１０３と、動きぼけ補正画像生成部１０４と、タイミングコントローラ１０５と、表示装置１０６と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１０とを主に備えている。

表示装置１０６は、動画の再生表示を行うモニタ等である。ＲＡＭ１１０は、補間画像の生成の際に、補間画像の補間画素や算出した動きぼけ補正量などを一時的に保存するメモリである。

動き推定部１０１は、入力される動画の時間的に隣接する対象画像から参照画像への画素ごとの動きベクトルをブロックマッチングの手法により推定するものである。ここで、入力される動画の任意の時刻における隣接フレーム２枚を、対象画像，参照画像として考える。また、入力される動画のフレームレートは任意であり、例えば３０ｆｐｓとすることができるが、これに限定されるものではなに。また出力のフレームレートも任意であり、例えば３０ｆｐｓとするが、これに限定されるものではない。

なお、本実施の形態では、動き推定の手法としてブロックマッチングの手法を用いているが、これに限定されるものではなく、オプティカルフロー法、Ｐｅｌ−ｒｅｃｕｒｓｉｖｅ、ベイジアン法など他の手法を用いることができる。

以下、動き推定部１０１によるブロックマッチングによる動き推定について説明する。対象画像を、（１）式で示される予め設定された矩形領域のブロックに分割する。

このとき、差分二乗和基準（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）に従ったブロックマッチングアルゴリズムは（２）式で示される。

ブロックマッチングではブロック内は同一の動きベクトルを持つと仮定されるので、各画素の動きベクトルｕは、（３）式で表される。

動きぼけ補正量算出部１０２は、利用者により設定された再生速度に基づいて、動画の動きぼけを解消するための動きぼけ補正量を算出するものである。

本実施の形態では、動きぼけ補正量として、動きぼけ補正が完全におこなわれて動きぼけを完全に消すレベルを１．０、動きぼけ補正が全くおこなわれないレベルを０．０と定義し、動きぼけ補正量を０〜１の実数値とする。

ここで、動画の再生速度が１／２倍速の場合には、相対的に動画中の物体の速度は１／２となる。動画の再生速度が１／４倍速の場合には、相対的に動画中の物体の速度は１／４となる。同様に、動画の再生速度が１／８倍速の場合には、相対的に動画中の物体の速度は１／８となる。このことから再生速度１／ｎ倍速と相対的な物体速度はと比例関係にあることが分かる。相対的な物体速度と動きぼけの量は比例関係にあり、相対的な物体対速度が１／２の場合に動きぼけ量も１／２となる。相対的な物体速度が０の場合には動きぼけは全く発生しない。従って、これらのことから、動きぼけ補正量算出部１０２は、指定された再生速度（１／ｎ）に対する動きぼけ補正量αを（４）式により算出している。

図３は、再生速度（１／ｎ倍速のｎ）と動きぼけ補正量αの関係を示すグラフである。図３から明らかなように、１／１倍速の時は補正量α=０．０であり、１／２倍速のとき０．５、１／１０倍速のとき０．９となり、ｎが大きくなるほど１．０に近づく。すなわち、動きぼけ補正量αは、動画の再生速度（１／ｎ倍速）が遅いほど、ｎが大きいほど、最大値１に近づく大きな値となる。

なお、本実施の形態では、動きぼけ補正量αを動画の再生速度（１／ｎ倍速）から（４）式により算出しているが、動きぼけ補正量算出１０２によって、かかる動きぼけ補正量αに対して、補正を行って、その補正値を動きぼけ補正量α’として用いるように構成してもよい。

例えば、動きぼけ補正量算出１０２は、動画の入力時における入力フレームレートｒ_src［ｆｐｓ］と動画の表示時における表示フレームレートｒ_dst［ｆｐｓ］によって（５）式に示すように、動きぼけ補正量αを補正して、補正値α’を動きぼけ補正量とするように構成することができる。これは、フレームレートが高いほどシャッタースピードが高いことと相関があるため、相対的に動きぼけは小さくなる一方、フレームレートが低いと動きぼけが大きくなることに基づくものである。

ただし、ｒ_dst＞ｒ_srcの場合には、α＝１とする。

動きぼけ補正画像生成部１０４は、動きぼけ補正量αにより動きベクトルｕ（ｘ）をスケール変換し、スケール変換された動きベクトルに基づいて、対象画像および参照画像に対し動きぼけ補正するものである。

具体的には、動きぼけ補正画像生成部１０４は、動きぼけ補正量算出部１０２で算出された動きぼけ補正量αを、（６）式に示すように、全ての点ｘの動きベクトルｕ（ｘ）に乗算して、全ての点ｘの動きベクトルをスケール変換する。スケール変換後の動きベクトルは、ｕ_compで示される。

次に、動きぼけ補正画像生成部１０４は、スケール変換された動きベクトルｕ_comp（ｘ）に基づいて、入力された動画の原画像である対象画像Ｉ_src（ｘ）および参照画像Ｉ_dst（ｘ）に対し動きぼけ補正を行い、対象画像Ｉ_src（ｘ）の動きぼけ補正画像および参照画像Ｉ_dst（ｘ）の動きぼけ補正画像をそれぞれ生成する。

本実施の形態の動きぼけ補正画像生成部１０４では、対象画像Ｉ_src（ｘ）および参照画像Ｉ_dst（ｘ）に対する動きぼけ補正の手法として、エッジ強調型の手法を用いる。すなわち、補正画像生成部１０４は、対象画像Ｉ_src（ｘ）および参照画像Ｉ_dst（ｘ）を、スケール変換された動きベクトルｕ_comp（ｘ）を用いてエッジ強調処理を行うことにより、対象画像Ｉ_src（ｘ）の動きぼけ補正画像および参照画像Ｉ_dst（ｘ）の動きぼけ補正画像をそれぞれ生成する。

エッジ強調の手法としてはアンシャープマスクがよく知られている。アンシャープマスクは、原画像からガウシアンフィルタなどによって平滑化した画像（低周波成分）を差し引くことによって高周波成分を抽出する。そして、抽出した高周波成分に予め定められた強調係数を乗じて、強調係数を乗じた高周波成分を、平滑化した画像（低周波成分）に加算することによって高周波成分、すなわち、エッジが強調された画像を取得する方法である。この手法は、ディファレンスオブガウシアンがラプラシアン(２次微分)の近似になっていることを利用したものである。

アンシャープマスクによるエッジ強調の手法では、通常は等方性のガウシアンフィルタが使用されるが、等方性のガウシアンフィルタでは動きの情報が利用されず必ずしも動きぼけに適したエッジ成分を抽出することができるとは限らない。

このため、本実施の形態の動きぼけ補正画像生成部１０４では、スケール変換された動きベクトルｕ_comp（ｘ）の方向と大きさによって定まる異方性ガウシアンフィルタを用い、この異方性ガウシアンフィルタにより、対象画像Ｉ_src（ｘ）と参照画像Ｉ_dst（ｘ）のそれぞれの低周波成分（平滑化した画像）を求める。そして、補正画像生成部１０４は、原画像である対象画像Ｉ_src（ｘ）と参照画像Ｉ_dst（ｘ）のそれぞれと、それぞれの低周波成分との差分を、対象画像Ｉ_src（ｘ）と参照画像Ｉ_dst（ｘ）のそれぞれの高周波成分として求める。そして、各高周波成分に強調係数ａを乗算し、強調係数ａが乗算された各高周波成分を各低周波成分に加算することにより、対象画像Ｉ_src（ｘ）および参照画像Ｉ_dst（ｘ）に対しエッジ強調された、対象画像Ｉ_src（ｘ）の動きぼけ補正画像Ｉ_src-comp（ｘ）および参照画像Ｉ_dst（ｘ）の動きぼけ補正画像Ｉ_dst-comp（ｘ）をそれぞれ生成する。

図４は、異方性ガウシアンフィルタのガウシアンカーネル（異方性ガウシアンカーネル）を示す説明図である。図４において、動きベクトルｕ_comp（ｘ）の角度をθとする異方性ガウシアンカーネルの共分散行列は、（７−１）〜（７−３）式で算出する。

異方性ガウシアンカーネルのフィルタ係数は、（８）式で算出する。

異方性ガウシアンフィルタを用いて、原画像Ｉ（ｘ）を平滑化した画像（低周波成分）Ｉ_g（ｘ）は、（９）式で算出される。

従って、高周波成分ｖ（ｘ）は、原画像Ｉ（ｘ）から平滑化した画像（低周波成分）Ｉ_g（ｘ）を差し引いたものであるから、（１０−１）式により算出される。また、高周波成分ｖ（ｘ）に強調係数ａ（≧１．０）を乗じて平滑化した画像Ｉ_g（ｘ）に加算したものがエッジ強調された画像、すなわち原画像に対する動きぼけ補正画像Ｉ_compであるので、動きぼけ補正画像Ｉ_compは（１０−２）式で算出される。

以上の（９）、（１０−１）、（１０−２）式を対象画像Ｉ_src（ｘ）および参照画像Ｉ_dst（ｘ）に適用して、動きぼけ補正画像生成部１０４は、全ての点ｘで（１１−１）〜（１１−３）式を算出して、対象画像Ｉ_src（ｘ）の動きぼけ補正画像Ｉ_src-comp（ｘ）を生成する。また、動きぼけ補正画像生成部１０４は、全ての点ｘで（１２−１）〜（１２−３）式で算出して、参照画像Ｉ_dst-comp（ｘ）の動きぼけ補正画像Ｉ_dst-comp（ｘ）を生成する。

ここで、Ｉ_src-g（ｘ）は、異方性ガウシアンフィルタにより対象画像Ｉ_src（ｘ）を平滑化した画像（低周波成分）であり、Ｉ_dst-g（ｘ）は、異方性ガウシアンフィルタにより対象画像Ｉ_dst（ｘ）を平滑化した画像（低周波成分）である。

また、対象画像には動きベクトルｕ_comp（ｘ）が存在するが参照画像には存在しない。このような場合は動き推定部１０１よる動き推定処理を１フレーム遅延させる等の処理を行えばよい。

なお、本実施の形態では、高周波成分ｖ（ｘ）と動きぼけ補正画像Ｉ_comp（ｘ）をそれぞれ（１０−１）、（１０−２）式で求めているが、このほか、（１３−１）式により高周波成分を算出し、（１３−２）式により動きぼけ補正画像Ｉ_comp（ｘ）を算出するように構成してもよい。

これは画像を低周波成分と高周波成分の積でモデル化したものである。すなわち、（１３−１）式は、原画像（対象画像および参照画像）Ｉ（ｘ）を含む項を低周波成分Ｉ_g（ｘ）を含む項で除算して高周波成分ｖ（ｘ）を求めることを示している。また、（１３−２）式は、高周波成分ｖ（ｘ）に強調係数ａ分累乗し、さらに低周波成分を乗算して、動きぼけ補正画像Ｉ_comp（ｘ）を求めることを示している。

なお、本実施の形態では、動きぼけ補正画像生成の処理を、上述したようなエッジ強調により実現したが、この他、インバースフィルタを用いて実現することもできる。

補間画像生成部１０３は、動きぼけ補正された対象画像および参照画像（すなわち、対象画像Ｉ_src（ｘ）の動きぼけ補正画像Ｉ_src-comp（ｘ）および参照画像Ｉ_dst-comp（ｘ）の動きぼけ補正画像Ｉ_dst-comp（ｘ））から、動きベクトルｕ（ｘ）を用いて補間画像を生成するものである。

補間画像生成部１０３は、スケール変換後の動きベクトルｕ_comp（ｘ）によって動きぼけ補正された対象画像Ｉ_src-comp（ｘ）および参照画像Ｉ_dst-comp（ｘ）をシフトして補間画像を生成する。補間位置は、スケール変換後の動きベクトルｕ_comp（ｘ）によってシフトする。再生速度が１／ｎ倍速の場合、対象画像Ｉ_src-comp（ｘ）と参照画像Ｉ_dst-comp（ｘ）のフレーム間にｎ−１枚の補間画像を生成し内挿する。補間画像の内挿時間位置を、０≦ｔ≦１とすると補間位置は、（１４）式で算出される。

点ｘに対する対象画像Ｉ_src-comp（ｘ）の画素値Ｉ₁、参照画像Ｉ_dst-comp（ｘ）の画素値Ｉ₂は、（１５−１）、（１５−２）式で示される。

補間画像の内挿時間位置を０≦ｔ≦１とすると、補間画像生成部１０３は、時間ｔの加重平均により補間画像の画素値（補間画素値）を（１６）式で算出する。

シフトした結果によって画素が重なってしまう領域もありうるが、この場合はフレーム間残差｜Ｉ₁−Ｉ₂｜が小さい方を採用するなどの処理を行えばよい。また、穴が空いてしまう部分も発生する可能性があるが、小さな穴に関してはフィルタリング処理で埋めてしまうことができる。また大きな穴に関しては（１７）式で示す時間平均画像で埋めることが可能である。

タイミングコントローラ１０５は、動きぼけ補正された対象画像Ｉ_src-comp（ｘ）と、補間画像生成部１０３により生成された補間画像とを表示フレームレートに合わせて交互に表示装置１０６に出力するものである。例えば、動画の再生速度として１／ｎ倍速が指定されている場合には、対象画像Ｉ_src-comp（ｘ）を表示した後、ｎ−１枚の補間画像を出力する。

次に、以上のように構成された本実施の形態にかかる動きぼけ補正処理について説明する。図５は、実施の形態１の動きぼけ補正処理の手順を示すフローチャートである。まず、画像処理装置１００は、再生対象の動画を入力するとともに、利用者から再生速度（１／ｎ倍速）の指定を受け付ける。そして、動き推定部１０１は、入力した動画から対象画像Ｉ_src（ｘ）と参照画像Ｉ_dst（ｘ）を入力し（ステップＳ１１）、動き推定、すなわち、対象画像Ｉ_src（ｘ）から参照画像Ｉ_dst（ｘ）への動きベクトルｕ（ｘ）をブロックマッチングの手法で推定する（ステップＳ１２）。

次に、動きぼけ補正量算出部１０２は、指定された再生速度（１／ｎ倍速）から動きぼけ補正量αを（４）式から算出する（ステップＳ１３）。算出された動きぼけ補正量αはＲＡＭ１１０に一時的に保存される。

次に、動きぼけ補正画像生成部１０４は、算出された動きぼけ補正量αで、（６）式により動きベクトルｕ（ｘ）を補正する（ステップＳ１４）。次いで、動きぼけ補正画像生成部１０４は、スケール変換後の動きベクトルｕ_comp（ｘ）を用いて、（１１−１）〜（１１−３）式および（１２−１）〜（１２−３）式により、対象画像Ｉ_src（ｘ）と参照画像Ｉ_dst（ｘ）の動きぼけ補正を行い、対象画像Ｉ_src（ｘ）の動きぼけ補正画像Ｉ_src-comp（ｘ）および参照画像Ｉ_dst（ｘ）の動きぼけ補正画像Ｉ_dst-comp（ｘ）をそれぞれ生成する（ステップＳ１５）。生成された各画像はＲＡＭ１１０に一時的に保存される。

次に、補間画像生成部１０３は、対象画像Ｉ_src（ｘ）の動きぼけ補正画像Ｉ_src-comp（ｘ）および参照画像Ｉ_dst（ｘ）の動きぼけ補正画像Ｉ_dst-comp（ｘ）から補間画像を生成する（ステップＳ１６）。

図６は、ステップＳ１６の補間画像生成処理の手順を示すフローチャートである。補間画像生成部１０３は、全ての画素ｘにつき、以下のステップＳ２１からＳ２５までの処理を繰り返し実行する。

まず、補間画像生成部１０３は、補間位置を（１４）式により求める（ステップＳ２１）。そして、以下のステップＳ２２からＳ２５までの処理を、補間位置の近傍位置（ｉ＝０，１，ｊ＝０，１）に対して繰り返し行う。

補間画像生成部１０３は、補間位置の最近傍位置を（１８）式により求める（ステップＳ２２）。そして、対象画像Ｉ_src（ｘ）の動きぼけ補正画像Ｉ_src-comp（ｘ）および参照画像Ｉ_dst（ｘ）の動きぼけ補正画像Ｉ_dst-comp（ｘ）をＲＡＭ１１０から取得する（ステップＳ２３）。そして、補間画像生成部１０３は、補間画素を（１６）式により算出し（ステップＳ２４）、算出した補間画素をＲＡＭ１１０に保存する（ステップＳ２５）。このような処理を全ての近傍位置と全ての画素ｘについて行うことにより、ＲＡＭ１１０には補間画像が生成され、生成された補間画像を補間位置に挿入する。

図５に戻り、ステップＳ１６で補間画像が生成されたら、タイミングコントローラ１０５は、動きぼけ補正された対象画像Ｉ_src-comp（ｘ）と、補間画像生成部１０３により生成された補間画像とを表示フレームレートに合わせて交互に表示装置１０６に出力する（ステップＳ１７）。

このように実施の形態１にかかる画像処理装置１００では、指定された再生速度に応じて動きぼけ補正量を算出し、算出された動きぼけ補正量に従って対象画像、参照画像を動きぼけ補正することにより再生速度に適合した画像へ変換し、変換された画像を使用して補間画像を生成しているので、再生速度に適合した動きぼけの補正により再生速度を変更しても滑らかな再生を行うことができる。

（実施の形態２）
実施の形態２は、ビデオカメラ等の撮像装置に仮想スロー撮像機能を組み込んだものである。本来、リアルにスロー撮影を行う場合は、高速な撮像装置を用意しなければならない。例えば、１／ｎ倍速のスロー撮影を行うにはｎ倍で動作する撮像装置が必要となる。そこで、本実施の形態では、フレーム補間により仮想的にスロー撮影を行うものである。

図７は、実施の形態２にかかる画像処理装置の機能的構成を示すブロック図である。本実施の形態にかかる画像処理装置７００は、図７に示すように、撮像装置７０１と、動き推定部１０１と、動きぼけ補正量算出部７０２と、補正画像生成部１０３と、動きぼけ補正画像生成部と、タイミングコントローラ１０５と、記録装置７０６と、ＲＡＭ１１０とを主に備えている。

ここで、動き推定部１０１、補正画像生成部１０３、動きぼけ補正画像生成部１０４、タイミングコントローラ１０５、ＲＡＭ１１０については実施の形態１と同様である。

撮像装置７０１は、例えば、ＣＣＤやＣＭＯＳなどの撮像素子を組み込んだカメラシステムである。撮像装置７０１は、撮像素子と、レンズなどの集光素子と、露出やホワイトバランスなどの制御装置とを有している（いずれも図示せず）。この撮像装置６０１は、外界の光をＲＧＢなどの画像データとして撮像し、時間的に連続した動画として動き推定部１０１と動きぼけ補正画像成部１０４に出力する。

本実施の形態にかかる動きぼけ補正量算出部７０２は、利用者によりされた再生速度に基づいて動画の動きぼけを解消するための動きぼけ補正量を実施の形態１と同様の（４）算出し、さらに、撮像装置７０１から受け取ったシャッタースピード（露光時間）の情報に基づいて動きぼけ補正量を補正して補正した値を動きぼけ補正量とするものである。

最も遅いシャッタースピードの時に最も動きボケが大きくなり、シャッタースピードが速いほど動きボケは小さくなる。このため、動きぼけ補正量算出部７０２は、（４）式で求めた動きぼけ補正量αに対し、（１９）式によりシャッタースピード（露光時間）で補正を行い、この補正値α’を動きぼけ補正量として、以降の動きぼけ補正画像生成等に使用している。

記録装置７０６は、撮影された動画に対して、補間画像が内挿されて仮想的にスロー化された画像データを記録するメモリ、ＨＤＤ等の記録媒体である。この画像データは、動画像符号化によって圧縮して保存するように構成してもよい。

以上のように構成された本実施の形態にかかる動きぼけ補正処理は、動きぼけ補正量として（１９）式で算出されたα’を用いる以外は、実施の形態１と同様に行われる。

このように実施の形態２にかかる画像処理装置７００では、実施の形態１と同様に、再生速度に適合した動きぼけの補正により再生速度を変更しても滑らかな再生を行うことができる。また、実施の形態２にかかる画像処理装置７００では、フレーム補間により仮想的にスロー撮影等を行って、かつ再生速度に適合した動きぼけを補正することができるので、高性能の撮像装置を使用する必要がなくなる。

実施の形態１および２にかかる画像処理装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

実施の形態１〜３にかかる画像処理装置で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施の形態１および２にかかる画像処理装置で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施の形態１および２にかかる画像処理装置で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施の形態１および２にかかる画像処理装置で実行される画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

実施の形態１および２にかかる画像処理装置で実行される画像処理プログラムは、上述した各部（動き推定部１０１、動きぼけ補正量算出部１０２，７０２、補正画像生成部１０３、動きぼけ補正画像生成部１０４、タイミングコントローラ１０５）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、動き推定部１０１、動きぼけ補正量算出部１０２，７０２、補正画像生成部１０３、動きぼけ補正画像生成部１０４、タイミングコントローラ１０５が主記憶装置上に生成されるようになっている。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

実施の形態１にかかる画像処理装置の機能的構成を示すブロック図である。 従来技術と実施形態１との比較を説明するための図である。 再生速度（１／ｎ倍速のｎ）と動きぼけ補正量αの関係を示すグラフである。 異方性ガウシアンカーネルを示す説明図である。 実施の形態１の動きぼけ補正処理の手順を示すフローチャートである。 補間画像生成処理の手順を示すフローチャートである。 実施の形態２にかかる画像処理装置の機能的構成を示すブロック図である。

符号の説明

１００，７００ 画像処理装置
１０１ 動き推定部
１０２，７０２ 動きぼけ補正量算出部
１０３ 補間画像生成部
１０４ 動きぼけ補正画像生成部
１０５ タイミングコントローラ
１０６ 表示装置
１１０ ＲＡＭ
７０１ 撮像装置
７０６ 記録装置

Claims (7)

1. 動画像の対象画像と参照画像との間に再生速度に応じた補間画像を内挿する画像処理装置であって、
   前記対象画像から前記参照画像への画素ごとの動きベクトルを推定する動き推定部と、
   入力された再生速度に基づいて、前記再生速度が遅いほど大きい値である動きぼけ補正量を算出する補正量算出部と、
   前記動きぼけ補正量に従って前記動きベクトルのスケールを変換し、スケール変換された動きベクトルに基づいて、前記対象画像および前記参照画像の動きぼけを補正する動きぼけ補正部と、
   前記動きぼけが補正された前記対象画像、前記動きぼけが補正された前記参照画像および前記動きベクトルを用いて、前記補間画像を生成する補間画像生成部と、を備え、
   前記動きぼけ補正部は、スケール変換された動きベクトルの方向と大きさによって定まる異方性ガウシアンフィルタにより前記対象画像および前記参照画像のそれぞれの低周波成分を求め、それぞれの前記低周波成分と前記対象画像および前記参照画像のそれぞれの高周波成分とに基づいて、前記対象画像および前記参照画像をエッジ強調することにより前記対象画像および前記参照画像の前記動きぼけを補正することを特徴とする画像処理装置。
2. 前記動きぼけ補正部は、前記高周波成分を、前記対象画像および前記参照画像と前記低周波成分との差分として求め、前記高周波成分に予め定められた強調係数を乗算し、前記強調係数が乗算された前記高周波成分を前記低周波成分に加算することにより、前記対象画像および前記参照画像をエッジ強調することを特徴とする請求項１に記載の画像処理装置。
3. 前記動きぼけ補正部は、前記高周波成分を、前記対象画像および前記参照画像に対し前記低周波成分を除算して求め、前記高周波成分を予め定められた強調係数分累乗し、前記強調係数分累乗した前記高周波成分を前記低周波成分に乗算することにより、前記対象画像および前記参照画像をエッジ強調することを特徴とする請求項１に記載の画像処理装置。
4. 前記補正量算出部は、さらに、前記動きぼけ補正量を、入力された前記動画の入力フレームレートと表示する際の表示フレームレートの比によって補正し、
   前記動きぼけ補正部は、補正された前記動きぼけ補正量により前記動きベクトルのスケールを変換することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記補正量算出部は、さらに、前記動きぼけ補正量を、入力された前記動画の露光時間によって補正し、
   前記動きぼけ補正部は、補正された前記動きぼけ補正量により前記動きベクトルのスケールを変換することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
6. 動画像の対象画像と参照画像との間に再生速度に応じた補間画像を内挿する画像処理装置で実行される画像処理方法であって、
   前記対象画像から前記参照画像への画素ごとの動きベクトルを推定する動き推定ステップと、
   入力された再生速度に基づいて、前記再生速度が遅いほど大きい値である動きぼけ補正量を算出する補正量算出ステップと、
   前記動きぼけ補正量に従って前記動きベクトルのスケールを変換し、スケール変換された動きベクトルに基づいて、前記対象画像および前記参照画像の動きぼけを補正する動きぼけ補正ステップと、
   前記動きぼけが補正された前記対象画像、前記動きぼけが補正された前記参照画像および前記動きベクトルを用いて、前記補間画像を生成する補間画像生成ステップと、を含み、
   前記動きぼけ補正ステップは、スケール変換された動きベクトルの方向と大きさによって定まる異方性ガウシアンフィルタにより前記対象画像および前記参照画像のそれぞれの低周波成分を求め、それぞれの前記低周波成分と前記対象画像および前記参照画像のそれぞれの高周波成分とに基づいて、前記対象画像および前記参照画像をエッジ強調することにより前記対象画像および前記参照画像の前記動きぼけを補正することを特徴とする画像処理方法。
7. 動画像の対象画像と参照画像との間に再生速度に応じた補間画像を内挿するためのコンピュータを、
   前記対象画像から前記参照画像への画素ごとの動きベクトルを推定する動き推定部と、
   入力された再生速度に基づいて、前記再生速度が遅いほど大きい値である動きぼけ補正量を算出する補正量算出部と、
   前記動きぼけ補正量に従って前記動きベクトルのスケールを変換し、スケール変換された動きベクトルに基づいて、前記対象画像および前記参照画像の動きぼけを補正する動きぼけ補正部と、
   前記動きぼけが補正された前記対象画像、前記動きぼけが補正された前記参照画像および前記動きベクトルを用いて、前記補間画像を生成する補間画像生成部と、して前記コンピュータを機能させ、
   前記動きぼけ補正部は、前記変換された動きベクトルの方向と大きさによって定まる異方性ガウシアンフィルタにより前記対象画像および前記参照画像のそれぞれの低周波成分を求め、それぞれの前記低周波成分と前記対象画像および前記参照画像のそれぞれの高周波成分とに基づいて、前記対象画像および前記参照画像をエッジ強調することにより前記対象画像および前記参照画像の前記動きぼけを補正することを特徴とする画像処理プログラム。

Images