JP2004088615A - 動画像合成方法および装置並びにプログラム - Google Patents
動画像合成方法および装置並びにプログラム Download PDFInfo
- Publication number
- JP2004088615A JP2004088615A JP2002249212A JP2002249212A JP2004088615A JP 2004088615 A JP2004088615 A JP 2004088615A JP 2002249212 A JP2002249212 A JP 2002249212A JP 2002249212 A JP2002249212 A JP 2002249212A JP 2004088615 A JP2004088615 A JP 2004088615A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- patch
- interpolation
- frames
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】動画像データからサンプリングされた複数のフレームから１の高解像度フレームを得るに際し、フレームに含まれる被写体の動きに拘わらず画質の劣化を抑えた高解像度フレームを得る。
【解決手段】複数のフレームＦｒＮ，ＦｒＮ＋１の対応関係を推定し、推定された対応関係に基づいて、フレームＦｒＮ＋１に補間演算を施して第１の補間フレームＦｒＨ１を得る。フレームＦｒＮに補間演算を施して第２の補間フレームＦｒＨ２を得る。対応関係に基づいてフレームＦｒＮ＋１を座標変換し、これとフレームＦｒＮとの相関値から相関が大きいほど第１の補間フレームＦｒＨ１への重み付けを大きくした重み係数α（ｘ°，ｙ°）を求める。そして、重み係数α（ｘ°，ｙ°）により第１および第２の補間フレームＦｒＨ１，ＦｒＨ２を重み付け加算して合成フレームＦｒＧを得る。
【選択図】 図１
【解決手段】複数のフレームＦｒＮ，ＦｒＮ＋１の対応関係を推定し、推定された対応関係に基づいて、フレームＦｒＮ＋１に補間演算を施して第１の補間フレームＦｒＨ１を得る。フレームＦｒＮに補間演算を施して第２の補間フレームＦｒＨ２を得る。対応関係に基づいてフレームＦｒＮ＋１を座標変換し、これとフレームＦｒＮとの相関値から相関が大きいほど第１の補間フレームＦｒＨ１への重み付けを大きくした重み係数α（ｘ°，ｙ°）を求める。そして、重み係数α（ｘ°，ｙ°）により第１および第２の補間フレームＦｒＨ１，ＦｒＨ２を重み付け加算して合成フレームＦｒＧを得る。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、サンプリングしたフレームよりも高解像度の１の合成フレームを作成する動画像合成方法および装置並びに動画像合成方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
近年のデジタルビデオカメラの普及により、動画像を１フレーム単位で扱うことが可能となっている。このような動画像のフレームをプリント出力する際には、画質を向上させるためにフレームを高解像度にする必要がある。このため、動画像からサンプリングした複数のフレームから、これらのフレームよりも高解像度の１の合成フレームを作成する方法が提案されている（例えば、特許文献１参照）。この方法は、複数のフレーム間の動ベクトルを求め、この動ベクトルに基づいて、複数のフレームから合成フレームを合成する際に、画素間に内挿する信号値を算出する方法である。とくに特許文献１に記載された方法では、各フレームを複数のブロックに分割し、フレーム間で対応するブロックの直交座標係数を算出し、この直交座標係数における高周波の情報を他のブロックにおける低周波の情報と合成して内挿される画素値を算出しているため、必要な情報が低減されることなく、高画質の合成フレームを得ることができる。また、この方法においては、画素間距離よりもさらに細かい分解能にて動ベクトルを算出しているため、フレーム間の動きを正確に補償してより高画質の合成フレームを得ることができる。
【０００３】
また、複数のフレームのうち一のフレームを基準フレームとし、基準フレームに１または複数の矩形領域からなる基準パッチを、基準フレーム以外の他のフレームに基準パッチと同様のパッチを配置し、パッチ内の画像が基準パッチ内の画像と一致するようにパッチを他のフレーム上において移動および／または変形し、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレーム上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係を推定して複数フレームをより精度よく合成する方法も提案されている（例えば、非特許文献１参照）。
【０００４】
非特許文献１の方法においては、基準フレームと他のフレームとの対応関係を推定し、推定後、他のフレームと基準フレームとを、最終的に必要な解像度を有する統合画像上に割り当てることにより、高精細な合成フレームを得ることができる。
【０００５】
【特許文献１】
特開２０００−３５４２４４号公報
【０００６】
【非特許文献１】
中沢祐二、小松隆、斉藤隆弘，「フレーム間統合による高精細ディジタル画像の獲得」，テレビジョン学会誌，１９９５年，Ｖｏｌ．４９，Ｎｏ．３，ｐ２９９−３０８
【０００７】
【発明が解決しようとする課題】
しかしながら、非特許文献１に記載された方法においては、他のフレームに含まれる被写体の動きが非常に大きい場合や、局所的に含まれる被写体が複雑な動きをしていたり非常に高速で動いている場合には、被写体の動きにパッチの移動および／または変形が追随できない場合がある。このように、パッチの移動および／または変形が被写体の移動および／または変形に追随できないと、合成フレームの全体がぼけたり、フレームに含まれる動きの大きい被写体がぼけたりするため、高画質の合成フレームを得ることができないという問題がある。
【０００８】
本発明は上記事情に鑑みなされたものであり、フレームに含まれる被写体の動きに拘わらず、画質の劣化を抑えた合成フレームを得ることを目的とする。
【０００９】
【課題を解決するための手段】
本発明による第１の動画像合成方法は、動画像から連続する２つのフレームをサンプリングし、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第１の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを取得し、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出し、
該相関値に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより合成フレームを作成することを特徴とするものである。
【００１０】
「相関値」は、座標変換済みフレームと基準フレームの基準パッチ内の画像との各画素毎に算出してもよいが、相対応する局所領域毎、パッチの矩形領域毎、あるいはフレーム単位で算出してもよい。この場合、重み係数は相関値を算出した単位毎、すなわち画素毎、局所領域毎、矩形領域毎あるいはフレーム毎に取得される。
【００１１】
本発明による第２の動画像合成方法は、動画像から連続する３以上のフレームをサンプリングし、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを前記複数の第１の補間フレームと対応付けて１または複数取得し、
前記対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して複数の座標変換済みフレームを取得し、
該複数の座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関をそれぞれ表す相関値を算出し、
該相関値に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成することを特徴とするものである。
【００１２】
ここで、本発明による第２の動画像合成方法においては、相関値は他のフレームに対応して複数算出されるが、複数の相関値の平均値や中間値を算出し、これを重み係数を取得するために用いてもよい。
【００１３】
また、「第２の補間フレームを第１の補間フレームと対応付けて複数取得する」とは、１の第１の補間フレームにおける画素値を有する画素位置と同様の画素位置に、基準パッチ内の画素値を補間演算により割り当てることによりその第１の補間フレームに対応する第２の補間フレームを取得し、さらにこの処理を複数の第１の補間フレームのそれぞれについて行って、第１の補間フレームと同数の第２の補間フレームを取得することをいう。
【００１４】
一方、「第２の補間フレームを第１の補間フレームと対応付けて１取得する」とは、第１の補間フレームにおける画素値を有する画素位置に拘わらず、例えば第２の補間フレームにおける整数画素位置のような所定の画素位置に基準パッチ内の画素値を補間演算により割り当てて１つの第２の補間フレームを取得することをいう。この場合、複数の第１の補間フレームのそれぞれの画素位置の画素値と、これに最も近い第２の補間フレームにおける所定の画素位置の画素値とが互いに対応付けられることとなる。
【００１５】
なお、本発明による第１および第２の動画像合成方法においては、前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、前記相関値をフィルタリングしてフィルタリング済み相関値を算出し、
該フィルタリング済み相関値に基づいて前記重み係数を取得してもよい。
【００１６】
「フィルタリング」とは、相関値の変化を滑らかにするフィルタリングを意味し、具体的にはローパスフィルタ、メディアンフィルタ、最大値フィルタまたは最小値フィルタ等を用いることができる。
【００１７】
また、本発明による第１および第２の動画像合成方法においては、前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数に対して補間演算を施して前記第１および第２の補間フレームを構成する全ての画素についての重み係数を取得してもよい。
【００１８】
すなわち、補間演算により各フレームよりも画素数が多い第１および第２の補間フレームが得られるが、重み係数はサンプリングしたフレームの画素にのみ対応して求められる。このため、その近傍の画素について取得された重み係数に対して補間演算を施して、増加した画素についての重み係数を求めるようにしてもよい。また、補間演算により増加した画素については、増加した画素の近傍にある元々存在する画素について取得された重み係数を用いて重み付け合成を行ってもよい。
【００１９】
また、本発明による第１および第２の動画像合成方法においては、前記重み係数を、前記相関値を横軸に、前記重み係数を縦軸に設定した非線形テーブルを参照して取得してもよい。
【００２０】
「非線形テーブル」としては、相関値を横軸に重み係数を縦軸に設定した場合に、値が変化する境界部分において滑らかかつ緩やかに値が変化するテーブルを用いることが好ましい。
【００２１】
また、本発明による第１および第２の動画像合成方法においては、前記対応関係の推定、前記第１の補間フレームの取得、前記第２の補間フレームの取得、前記座標変換済みフレームの取得、前記相関値の算出、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行ってもよい。
【００２２】
「フレームを構成する少なくとも１つの成分」とは、例えばフレームがＲＧＢの３つの色データからなる場合においてはＲＧＢ各色成分のうちの少なくとも１つの成分であり、ＹＣＣ輝度色差成分からなる場合には、輝度および色差の各成分のうちの少なくとも１つの成分、好ましくは輝度成分である。
【００２３】
本発明による第１の動画像合成装置は、動画像から連続する２つのフレームをサンプリングするサンプリング手段と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第１の補間フレームを取得する第１の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを取得する第２の補間手段と、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する相関値算出手段と、
該相関値に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【００２４】
本発明による第２の動画像合成装置は、動画像から連続する３以上のフレームをサンプリングするサンプリング手段と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得する第１の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを前記複数の第１の補間フレームと対応付けて１または複数取得する第２の補間手段と、
前記対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して複数の座標変換済みフレームを取得する座標変換手段と、
該複数の座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関をそれぞれ表す相関値を算出する相関値算出手段と、
該相関値に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【００２５】
なお、本発明による第１および第２の動画像合成装置においては、前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、前記相関値をフィルタリングしてフィルタリング済み相関値を算出するフィルタリング手段をさらに備えるものとし、
前記重み係数取得手段を、該フィルタリング済み相関値に基づいて前記重み係数を取得する手段としてもよい。
【００２６】
また、本発明による第１および第２の動画像合成装置においては、前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数取得手段を、前記重み係数に対して補間演算を施して前記第１および第２の補間フレームを構成する全ての画素についての重み係数を取得する手段としてもよい。
【００２７】
また、本発明による第１および第２の動画像合成装置においては、前記重み係数取得手段を、前記重み係数を、前記相関値を横軸に、前記重み係数を縦軸に設定した非線形テーブルを参照して取得する手段としてもよい。
【００２８】
また、本発明による第１および第２の動画像合成装置においては、前記対応関係推定手段、前記第１の補間手段、前記第２の補間手段、前記座標変換手段、前記相関値算出手段、前記重み係数取得手段および前記合成手段を、前記対応関係の推定、前記第１の補間フレームの取得、前記第２の補間フレームの取得、前記座標変換済みフレームの取得、前記相関値の算出、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手段としてもよい。
【００２９】
なお、本発明による第１および第２の動画像合成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００３０】
【発明の効果】
本発明によれば、動画像がサンプリングされて連続する複数のフレームが取得され、複数のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチが配置される。また、基準フレーム以外の他のフレーム上に、基準パッチと同様のパッチが配置される。そして、パッチ内の画像が基準パッチ内の画像と一致するように移動および／または変形され、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレームの上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係が推定される。
【００３１】
そして推定された対応関係に基づいて、他のフレームのパッチ内の画像または他のフレームのパッチ内の画像および基準フレームの基準パッチ内の画像に対して補間演算が施されて、各フレームよりも解像度が高い第１の補間フレームが取得される。なお、フレームが３以上サンプリングされた場合は、複数の第１の補間フレームが取得される。この第１の補間フレームは、各フレームに含まれる被写体の動きが小さい場合には、各フレームよりも解像度が高い高精細な画像を表すものとなるが、各フレームに含まれる被写体の動きが大きかったり動きが複雑な場合には、動いている被写体がぼけてしまっているものとなる。
【００３２】
また、基準フレームの基準パッチ内の画像に対して補間演算が施されて各フレームよりも解像度が高い第２の補間フレームが取得される。なお、フレームが３以上サンプリングされた場合は、複数の第１の補間フレームに対応して１または複数の第２の補間フレームが取得される。この第２の補間フレームは第１の補間フレームと比較して１つのフレームのみしか補間演算に用いていないため、精細さは第１の補間フレームより劣るものの、１つのフレームのみから得られるものであるため、被写体が大きく動いていても動きが複雑であっても、その被写体はそれほどぼけたものとはならない。
【００３３】
さらに、対応関係に基づいて他のフレームのパッチ内の画像が基準フレームの座標空間に座標変換されて座標変換済みフレームが取得され、座標変換済みフレームと基準フレームの基準パッチ内の画像との相関を表す相関値が算出され、さらに相関値に基づいて第１の補間フレームと第２の補間フレームとを合成する際の重み係数が算出される。この重み係数は座標変換済みフレームと基準フレームとの相関が大きいほど第１の補間フレームの重みが大きくされてなるものである。なお、フレームが３以上サンプリングされた場合は、他のフレーム毎に座標変換済みフレーム、相関値および重み係数が取得される。
【００３４】
ここで、各フレームに含まれる被写体の動きが小さければ、座標変換済みフレームと基準フレームとの相関は大きくなるが、被写体の動きが大きかったり複雑であったりすると、座標変換済みフレームと基準フレームとの相関は小さくなる。したがって、取得された重み係数に基づいて第１の補間フレームおよび第２の補間フレームを重み付け合成することにより、動きが小さい場合は高精細な第１の補間フレームが占める割合が多く、動きが大きい場合には動きのある被写体のぼけが少ない第２の補間フレームの占める割合が多い合成フレームが作成される。なお、フレームが３以上サンプリングされた場合は、対応する第１および第２の補間フレームが合成されて中間合成フレームが取得され、さらに中間合成フレームが合成されて合成フレームが取得される。
【００３５】
このため、合成フレームは、フレームに含まれる被写体の動きが大きい場合には被写体のぼけが少なく、被写体の動きが小さい場合には高精細なものとなり、これにより、フレームに含まれる被写体の動きに拘わらず、高画質の合成フレームを得ることができる。
【００３６】
請求項３，９，１５の発明によれば、相関値が各フレームを構成する画素毎に算出されてなる場合、相関値がフィルタリングされてフィルタリング済み相関値が算出され、このフィルタリング済み相関値に基づいて重み係数が取得される。このため、フレームの座標空間における重み係数の変化が滑らかになり、その結果、相関が変化する局所領域における画像の変化を滑らかにすることができ、これにより、合成フレームの見え方を自然なものとすることができる。
【００３７】
請求項４，１０，１６の発明によれば、相関値が各フレームを構成する画素毎に算出されてなる場合、重み係数に対して補間演算を施して第１および第２の補間フレームを構成する全ての画素についての重み係数が取得される。このため、補間演算により増加した画素についてもその画素について取得された重み係数により重み付け合成がなされるため、相関が変化する局所領域において画像の変化を自然なものとすることができる。
【００３８】
請求項５，１１，１７の発明によれば、重み係数が、相関値を横軸に重み係数を縦軸に設定した非線形テーブルを参照することにより取得される。このため、相関が変化する局所領域において合成フレームの見え方を自然なものとすることができる。
【００３９】
請求項６，１２，１８の発明によれば、対応関係の推定、第１の補間フレームの取得、第２の補間フレームの取得、座標変換済みフレームの取得、相関値の算出、重み係数の取得および合成フレームの作成がフレームを構成する少なくとも１つの成分を用いて行われる。このため、各成分毎に画質の劣化を低減した合成フレームを得ることができ、これにより、各成分毎の合成フレームからなる高画質の合成フレームを得ることができる。
【００４０】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による動画像合成装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による動画像合成装置は、入力された動画像データＭ０から複数のフレームをサンプリングするサンプリング手段１と、複数のフレームのうち、基準となる１の基準フレームの画素および基準フレーム以外の他のフレームの画素の対応関係を推定する対応関係推定手段２と、対応関係推定手段２において推定された対応関係に基づいて、他のフレームをそれぞれ基準フレームの座標空間上に座標変換して座標変換済みフレームＦｒＴ０を取得する座標変換手段３と、対応関係推定手段２において推定された対応関係に基づいて、他のフレームに対して補間演算を施して各フレームよりも解像度が高い第１の補間フレームＦｒＨ１を取得する時空間補間手段４と、基準フレームに対して補間演算を施して各フレームよりも解像度が高い第２の補間フレームＦｒＨ２を取得する空間補間手段５と、座標変換済みフレームＦｒＴ０と基準フレームとの相関を表す相関値を算出する相関値算出手段６と、第１の補間フレームＨ１と第２の補間フレームＦｒＨ２とを重み付け加算するための重み係数を相関値算出手段６において算出された相関値に基づいて算出する重み算出手段７と、重み算出手段７において算出された重み係数に基づいて第１および第２の補間フレームＦｒＨ１，ＦｒＨ２を重み付け加算して合成フレームＦｒＧを取得する合成手段８とを備える。なお、本実施形態において合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍の画素を有するものとする。なお、以降では、合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい。
【００４１】
サンプリング手段１は、動画像データＭ０から複数のフレームをサンプリングするが、本実施形態においては動画像データＭ０から２つのフレームＦｒＮおよびフレームＦｒＮ＋１をサンプリングするものとする。なお、フレームＦｒＮを基準フレームとする。ここで、動画像データＭ０はカラーの動画像を表すものであり、フレームＦｒＮ，ＦｒＮ＋１はＹ，Ｃｂ，Ｃｒの輝度色差成分からなるものとする。なお、以降の説明において、Ｙ，Ｃｂ，Ｃｒの各成分に対して処理が行われるが、行われる処理は全ての成分について同様であるため、本実施形態においては輝度成分Ｙの処理について詳細に説明し、色差成分Ｃｂ，Ｃｒに対する処理については説明を省略する。
【００４２】
対応関係推定手段２は、以下のようにしてフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係を推定する。図２はフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の推定を説明するための図である。なお、図２において、基準フレームＦｒＮに含まれる円形の被写体が、フレームＦｒＮ＋１においては図面上右側に若干移動しているものとする。
【００４３】
まず、対応関係推定手段２は、基準フレームＦｒＮ上に１または複数の矩形領域からなる基準パッチＰ０を配置する。図２（ａ）は、基準フレームＦｒＮ上に基準パッチＰ０が配置された状態を示す図である。図２（ａ）に示すように、本実施形態においては、基準パッチＰ０は４×４の矩形領域からなるものとする。次いで、図２（ｂ）に示すように、フレームＦｒＮ＋１の適当な位置に基準パッチＰ０と同様のパッチＰ１を配置し、基準パッチＰ０内の画像とパッチＰ１内の画像との相関を表す相関値を算出する。なお、相関値は下記の式（１）により平均二乗誤差として算出することができる。また、座標軸は紙面左右方向にｘ軸、紙面上下方向にｙ軸をとるものとする。
【数１】
但し、Ｅ：相関値
ｐｉ，ｑｉ：基準パッチＰ０，Ｐ１内にそれぞれ対応する画素の画素値
Ｎ：基準パッチＰ０およびパッチＰ１内の画素数
【００４４】
次いで、フレームＦｒＮ＋１上のパッチＰ１を上下左右の４方向に一定画素±Δｘ，±Δｙ移動し、このときのパッチＰ１内の画像と基準フレームＦｒＮ上の基準パッチＰ０内の画像との相関値を算出する。ここで、相関値は上下左右方向のそれぞれについて算出され、各相関値をそれぞれＥ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）とする。
【００４５】
そして、移動後の４つの相関値Ｅ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を相関勾配として求め、この方向に予め設定した実数値倍だけ図２（ｃ）に示すようにパッチＰ１を移動する。具体的には、下記の式（２）により係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）を算出し、これらの係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）から下記の式（３），（４）により相関勾配ｇｘ，ｇｙを算出する。
【００４６】
【数２】
【００４７】
そして、算出された相関勾配ｇｘ，ｇｙに基づいてパッチＰ１の全体を（−λ１ｇｘ，−λ１ｇｙ）移動し、さらに上記と同様の処理を繰り返すことにより、図２（ｄ）に示すようにパッチＰ１がある位置に収束するまで反復的にパッチＰ１を移動する。ここで、λ１は収束の速さを決定するパラメータであり、実数値をとるものとする。なお、λ１をあまり大きな値とすると反復処理により解が発散してしまうため、適当な値（例えば１０）を選ぶ必要がある。
【００４８】
さらに、パッチＰ１の格子点を座標軸に沿った４方向に一定画素移動させる。このとき、移動した格子点を含む矩形領域は例えば図３に示すように変形する。そして、変形した矩形領域について基準パッチＰ０の対応する矩形領域との相関値を算出する。この相関値をそれぞれＥ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）とする。
【００４９】
そして、上記と同様に、変形後の４つの相関値Ｅ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を求め、この方向に予め設定した実数値倍だけパッチＰ１の格子点を移動する。これをパッチＰ１の全ての格子点について行い、これを１回の処理とする。そして格子点の座標が収束するまでこの処理を繰り返す。
【００５０】
これにより、パッチＰ１の基準パッチＰ０に対する移動量および変形量が求まり、これに基づいて基準パッチＰ０内の画素とパッチＰ１内の画素との対応関係を推定することができる。
【００５１】
座標変換手段３は以下のようにしてフレームＦｒＮ＋１を基準フレームＦｒＮの座標空間に座標変換して座標変換済みフレームＦｒＴ０を取得する。なお、以降の説明においては、基準フレームＦｒＮの基準パッチＰ０内の領域およびフレームＦｒＮ＋１のパッチＰ１内の領域についてのみ変換、補間演算および合成が行われる。
【００５２】
本実施形態においては、座標変換は双１次変換を用いて行うものとする。双１次変換による座標変換は、下記の式（５），（６）により定義される。
【数３】
【００５３】
式（５），（６）は、２次元座標上の４点（ｘｎ，ｙｎ）（１≦ｎ≦４）で与えられたパッチＰ１内の座標を、正規化座標系（ｕ，ｖ）（０≦ｕ，ｖ≦１）によって補間するものであり、任意の２つの矩形内の座標変換は、式（５），（６）および式（５），（６）の逆変換を組み合わせることにより行うことができる。
【００５４】
ここで、図４に示すように、パッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）が対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）内のどの位置に対応するかを考える。まずパッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）について、正規化座標（ｕ，ｖ）を求める。これは式（５），（６）の逆変換により求める。そしてこのときの（ｕ，ｖ）と対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）を元に、式（５），（６）から点（ｘ，ｙ）に対応する座標（ｘ′，ｙ′）を求める。ここで、点（ｘ，ｙ）が本来画素値が存在する整数座標であるのに対し、点（ｘ′，ｙ′）は本来画素値が存在しない実数座標となる場合があるため、変換後の整数座標における画素値は、基準パッチＰ０の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に変換された座標（ｘ′，ｙ′）の画素値の荷重和として求めるものとする。
【００５５】
具体的には、図５に示すように基準パッチＰ０上における整数座標ｂ（ｘ，ｙ）について、その８近傍の整数座標ｂ（ｘ−１，ｙ−１），ｂ（ｘ，ｙ−１），ｂ（ｘ＋１，ｙ−１），ｂ（ｘ−１，ｙ），ｂ（ｘ＋１，ｙ），ｂ（ｘ−１，ｙ＋１），ｂ（ｘ，ｙ＋１），ｂ（ｘ＋１，ｙ＋１）に囲まれる領域内に変換されたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｍ個の画素値が８近傍の画素に囲まれる領域内に変換され、変換された各画素の画素値をＩｔｊ（ｘ°，ｙ°）（１≦ｊ≦ｍ）とすると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は、下記の式（７）により算出することができる。なお、式（７）においてφは荷重和演算を表す関数である。
【数４】
但し、Ｗｉ（１≦ｊ≦ｍ）：画素値Ｉｔｊ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積
【００５６】
ここで、簡単のため、図５を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉｔ１，Ｉｔ２が変換された場合について考えると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は下記の式（８）により算出することができる。
【数５】
但し、Ｗ１＝ｕ×ｖ、Ｗ２＝（１−ｓ）×（１−ｔ）
【００５７】
以上の処理をパッチＰ１内の全ての画素について行うことにより、パッチＰ１内の画像が基準フレームＦｒＮの座標空間に変換されて、座標変換済みフレームＦｒＴ０が得られる。
【００５８】
時空間補間手段４は、フレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得する。具体的には、まず図６に示すように、最終的に必要な画素数を有する統合画像（本実施形態においては、フレームＦｒＮ，ＦｒＮ＋１の縦横それぞれ２倍の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい）を用意し、対応関係推定手段２において求められた対応関係に基づいて、フレームＦｒＮ＋１（パッチＰ１内の領域）の画素の画素値を統合画像上に割り当てる。この割り当てを行う関数をΠとすると、下記の式（９）によりフレームＦｒＮ＋１の各画素の画素値が統合画像上に割り当てられる。
【００５９】
◎
【数６】
但し、Ｉ１Ｎ＋１（ｘ°，ｙ°）：統合画像上に割り当てられたフレームＦｒＮ＋１の画素値
ＦｒＮ＋１（ｘ，ｙ）：フレームＦｒＮ＋１の画素値
【００６０】
このように統合画像上にフレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ°，ｙ°）を得、各画素についてＩ１（ｘ°，ｙ°）（＝Ｉ１Ｎ＋１（ｘ°，ｙ°））の画素値を有する第１の補間フレームＦｒＨ１を取得する。
【００６１】
ここで、画素値を統合画像上に割り当てる際に、統合画像の画素数とフレームＦｒＮ＋１の画素数との関係によっては、フレームＦｒＮ＋１上の各画素が統合画像の整数座標（すなわち画素値が存在すべき座標）に対応しない場合がある。本実施形態においては、後述するように合成時において統合画像の整数座標における画素値を求めるものであるが、以下、合成時の説明を容易にするために統合画像の整数座標における画素値の算出について説明する。
【００６２】
統合画像の整数座標における画素値は、統合画像の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に割り当てられたフレームＦｒＮ＋１上の各画素の画素値の荷重和として求める。
【００６３】
すなわち、図７に示すように統合画像における整数座標ｐ（ｘ，ｙ）については、その８近傍の整数座標ｐ（ｘ−１，ｙ−１），ｐ（ｘ，ｙ−１），ｐ（ｘ＋１，ｙ−１），ｐ（ｘ−１，ｙ），ｐ（ｘ＋１，ｙ），ｐ（ｘ−１，ｙ＋１），ｐ（ｘ，ｙ＋１），ｐ（ｘ＋１，ｙ＋１）に囲まれる領域内に割り当てられたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｋ個の画素値が８近傍の画素に囲まれる領域内に割り当てられ、割り当てられた各画素の画素値をＩ１Ｎ＋１ｉ（ｘ°，ｙ°）（１≦ｉ≦ｋ）とすると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は、下記の式（１０）により算出することができる。なお、式（１０）においてΦは荷重和演算を表す関数である。
【数７】
但し、Ｍｉ（１≦ｉ≦ｋ）：画素値Ｉ１Ｎ＋１ｉ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積
【００６４】
ここで、簡単のため、図７を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉ１Ｎ＋１１，Ｉ１Ｎ＋１２が割り当てられた場合について考えると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は下記の式（１１）により算出することができる。
【数８】
但し、Ｍ１＝ｕ×ｖ、Ｍ２＝（１−ｓ）×（１−ｔ）
【００６５】
そして、統合画像の全ての整数座標について、フレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）を得ることができる。この場合、第１の補間フレームＦｒＨ１の各画素値Ｉ１（ｘ＾，ｙ＾）はＩ１Ｎ＋１（ｘ＾，ｙ＾）となる。
【００６６】
なお、上記ではフレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得しているが、フレームＦｒＮ＋１とともに基準フレームＦｒＮをも用いて第１の補間フレームＦｒＨ１を取得してもよい。この場合、基準フレームＦｒＮの画素は、統合画像の整数座標に補間されて直接割り当てられることとなる。
【００６７】
空間補間手段５は、基準フレームＦｒＮに対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、第２の補間フレームＦｒＨ２を取得する。ここで、第２の補間フレームＦｒＨ２の実数座標の画素値をＩ２（ｘ°，ｙ°）とすると、画素値Ｉ２（ｘ°，ｙ°）は下記の式（１２）により算出される。
【数９】
但し、ｆ：補間演算の関数
【００６８】
なお、補間演算としては、線形補間演算、スプライン補間演算等の種々の補間演算を用いることができる。
【００６９】
また、本実施形態においては、合成フレームＦｒＧは基準フレームＦｒＮの縦横それぞれ２倍の画素数であるため、基準フレームＦｒＮに対して縦横方向に画素数を２倍とする補間演算を施すことにより、統合画像の画素数と同一の画素数を有する第２の補間フレームＦｒＨ２を取得してもよい。この場合、補間演算により得られる画素値は統合画像における整数座標の画素値であり、この画素値をＩ２（ｘ＾，ｙ＾）とすると、画素値Ｉ２（ｘ＾，ｙ＾）は下記の式（１３）により算出される。
【数１０】
【００７０】
相関値算出手段６は、座標変換フレームＦｒＴ０と基準フレームＦｒＮとの相対応する画素同士の相関値ｄ０（ｘ，ｙ）を算出する。具体的には下記の式（１４）に示すように、座標変換フレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値を相関値ｄ０（ｘ，ｙ）として算出する。なお、相関値ｄ０（ｘ，ｙ）は座標変換フレームＦｒＴ０と基準フレームＦｒＮとの相関が大きいほど小さい値となる。
【数１１】
【００７１】
なお、本実施形態では座標変換フレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値を相関値ｄ０（ｘ，ｙ）として算出しているが、差の二乗を相関値として算出してもよい。また、相関値を画素毎に算出しているが、座標変換フレームＦｒＴ０および基準フレームＦｒＮを複数の領域に分割し、領域内の全画素値の平均値または加算値を算出して、領域単位で相関値を得てもよい。また、画素毎に算出された相関値ｄ０（ｘ，ｙ）のフレーム全体についての平均値または加算値を算出して、フレーム単位で相関値を得てもよい。また、座標変換フレームＦｒＴ０および基準フレームＦｒＮのヒストグラムをそれぞれ算出し、座標変換フレームＦｒＴ０および基準フレームＦｒＮのヒストグラムの平均値、メディアン値または標準偏差の差分値、もしくはヒストグラムの差分値の累積和を相関値として用いてもよい。また、基準フレームＦｒＮに対する座標変換フレームＦｒＴ０の動きを表す動きベクトルを基準フレームＦｒＮの各画素または小領域毎に算出し、算出された動ベクトルの平均値、メディアン値または標準偏差を相関値として用いてもよく、動ベクトルのヒストグラムの累積和を相関値として用いてもよい。
【００７２】
重み算出手段７は、相関値算出手段６により算出された相関値ｄ０（ｘ，ｙ）から第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み付け加算する際の重み係数α（ｘ，ｙ）を取得する。具体的には、図８に示すテーブルを参照して重み係数α（ｘ，ｙ）を取得する。なお、図８に示すテーブルは、相関値ｄ０（ｘ，ｙ）が小さい、すなわち座標変換フレームＦｒＴ０および基準フレームＦｒＮの相関が大きいほど、重み係数α（ｘ，ｙ）の値が１に近いものとなる。なお、ここでは相関値ｄ０（ｘ，ｙ）は８ビットの値をとるものとする。
【００７３】
さらに、重み算出手段７は、フレームＦｒＮ＋１を統合画像上に割り当てた場合と同様に重み係数α（ｘ，ｙ）を統合画像上に割り当てることにより、フレームＦｒＮ＋１の画素が割り当てられた座標（実数座標）における重み係数α（ｘ°，ｙ°）を算出する。具体的には、空間補間手段５における補間演算と同様に、重み係数α（ｘ，ｙ）に対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、重み係数α（ｘ°，ｙ°）を取得する。
【００７４】
なお、統合画像の上記実数座標における重み係数α（ｘ°，ｙ°）を補間演算により算出することなく、基準フレームＦｒＮを統合画像のサイズとなるように拡大または等倍して拡大または等倍基準フレームを取得し、統合画像におけるフレームＦｒＮ＋１の画素が割り当てられた実数座標の最近傍に対応する拡大または等倍基準フレームの画素について取得された重み係数α（ｘ，ｙ）の値をその実数座標の重み係数α（ｘ°，ｙ°）として用いてもよい。
【００７５】
さらに、統合画像の整数座標における画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）が取得されている場合には、統合画像上に割り当てた重み係数α（ｘ°，ｙ°）について上記と同様に荷重和を求めることにより、統合画像の整数座標における重み係数α（ｘ＾，ｙ＾）を算出すればよい。
【００７６】
合成手段８は、第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み算出手段７により算出された重み係数α（ｘ°，ｙ°）に基づいて重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧ（ｘ＾，ｙ＾）を有する合成フレームＦｒＧを取得する。具体的には、下記の式（１５）により第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＧ２の対応する画素の画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）を重み係数α（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行い合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【数１２】
【００７７】
なお、式（１５）において、ｋは合成フレームＦｒＧすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられたフレームＦｒＮ＋１の画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）および重み係数α（ｘ°，ｙ°）を有するものである。
【００７８】
本実施形態においては、基準フレームＦｒＮと座標変換フレームＦｒＴ０との相関が大きいほど、第１の補間フレームＦｒＨ１の重み付けが大きくされて、第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２の重み付け加算が行われる。
【００７９】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【００８０】
また、上記では輝度成分Ｙについての合成フレームＦｒＧを求める処理について説明したが、色差成分Ｃｂ，Ｃｒについても同様に合成フレームＦｒＧが取得される。そして、輝度成分Ｙから求められた合成フレームＦｒＧ（Ｙ）および色差成分Ｃｂ，Ｃｒから求められた合成フレームＦｒＧ（Ｃｂ），ＦｒＧ（Ｃｒ）を合成することにより、最終的な合成フレームが得られることとなる。なお、処理の高速化のためには、輝度成分Ｙについてのみ基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係を推定し、色差成分Ｃｂ，Ｃｒについては輝度成分Ｙについて推定された対応関係に基づいて処理を行うことが好ましい。
【００８１】
また、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２並びに整数座標の重み係数α（ｘ＾，ｙ＾）を取得した場合には、下記の式（１６）により第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＧ２の対応する画素の画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）を重み係数α（ｘ＾，ｙ＾）により重み付け加算して合成フレームＦｒＧの画素値ＦｒＧ（ｘ，ｙ）を取得すればよい。
【数１３】
【００８２】
次いで、本実施形態の動作について説明する。図９は本実施形態において行われる処理を示すフローチャートである。なお、ここでは統合画像のフレームＦｒＮ＋１の画素が割り当てられた実数座標について第１の補間フレームＦｒＨ１、第２の補間フレームＦｒＨ２および重み係数α（ｘ°，ｙ°）を取得するものとして説明する。まず、サンプリング手段１に動画像データＭ０が入力され（ステップＳ１）、ここで、動画像データＭ０から基準フレームＦｒＮおよびフレームＦｒＮ＋１がサンプリングされる（ステップＳ２）。続いて、対応関係推定手段２により、基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係が推定される（ステップＳ３）。
【００８３】
そして、推定された対応関係に基づいて、座標変換手段３によりフレームＦｒＮ＋１が基準フレームＦｒＮの座標空間に変換されて座標変換フレームＦｒＴ０が取得される（ステップＳ４）。そして、相関値算出手段６により座標変換フレームＦｒＴ０と基準フレームＦｒＮとの対応する画素の相関値ｄ０（ｘ，ｙ）が算出される（ステップＳ５）。さらに、相関値ｄ０に基づいて重み算出手段７により重み係数α（ｘ°，ｙ°）が算出される（ステップＳ６）。
【００８４】
一方、推定された対応関係に基づいて、時空間補間手段４により第１の補間フレームＦｒＨ１が取得され（ステップＳ７）、空間補間手段５により第２の補間フレームＦｒＨ２が取得される（ステップＳ８）。
【００８５】
なお、ステップＳ７〜Ｓ８の処理を先に行ってもよく、ステップＳ４〜Ｓ６の処理およびステップＳ７〜Ｓ８の処理を並列に行ってもよい。
【００８６】
そして、合成手段８において上記式（１５）により第１の補間フレームＦｒＨ１の画素Ｉ１（ｘ°，ｙ°）および第２の補間フレームＦｒＨ２の画素Ｉ２（ｘ°，ｙ°）とが合成されて、画素ＦｒＧ（ｘ＾，ｙ＾）からなる合成フレームＦｒＧが取得され（ステップＳ９）、処理を終了する。
【００８７】
ここで、第１の補間フレームＦｒＨ１は、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きが小さい場合には、基準フレームＦｒＮおよびフレームＦｒＮ＋１よりも解像度が高い高精細な画像を表すものとなるが、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きが大きかったり動きが複雑な場合には、動いている被写体がぼけてしまっているものとなる。
【００８８】
また、第２の補間フレームＦｒＨ２は第１の補間フレームＦｒＨ１と比較して１つの基準フレームＦｒＮのみしか補間演算に用いていないため、精細さは第１の補間フレームＦｒＨ１より劣るものの、１つの基準フレームＦｒＮのみから得られるものであるため、被写体が大きく動いていても動きが複雑であっても、その被写体はぼけたものとはならない。
【００８９】
さらに、重み算出手段７により算出される重み係数α（ｘ°，ｙ°）は、座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの相関が大きいほど第１の補間フレームＦｒＨ１の重みが大きくされてなるものである。
【００９０】
ここで、各フレームＦｒＮ，ＦｒＮ＋１に含まれる被写体の動きが小さければ、座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの相関は大きくなるが、被写体の動きが大きかったり複雑であったりすると、座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの相関は小さくなる。したがって、取得された重み係数α（ｘ°，ｙ°）に基づいて第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み付け加算することにより、動きが小さい場合は高精細な第１の補間フレームＦｒＨ１が占める割合が多く、動きが大きい場合には動きのある被写体のぼけが少ない第２の補間フレームＦｒＨ２の占める割合が多い合成フレームＦｒＧが作成される。
【００９１】
このため、合成フレームＦｒＧは、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きが大きい場合には被写体のぼけが少なく、被写体の動きが小さい場合には高精細なものとなり、これにより、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きに拘わらず、高画質の合成フレームＦｒＧを得ることができる。
【００９２】
次いで、本発明の第２の実施形態について説明する。図１０は本発明の第２の実施形態による動画像合成装置の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。
【００９３】
第２の実施形態においては、相関値算出手段６により算出された相関値ｄ０（ｘ，ｙ）に対してローパスフィルタによるフィルタリング処理を施すフィルタ手段９を設けた点が第１の実施形態と異なる。
【００９４】
フィルタ手段９に用いられるローパスフィルタの例を図１１に示す。なお、ここでは３×３のローパスフィルタを用いるものとしたが、５×５あるいはそれ以上のサイズのローパスフィルタを用いてもよい。また、メディアンフィルタ、最大値フィルタまたは最小値フィルタを用いてもよい。
【００９５】
そして、第２の実施形態においては、フィルタ手段９によりフィルタリングされた相関値ｄ０′（ｘ，ｙ）に基づいて、重み算出手段７により重み係数α（ｘ°，ｙ°）が取得されて、合成手段８における重み付け加算に用いられる。
【００９６】
このように、第２の実施形態においては、相関値ｄ０（ｘ，ｙ）に対してローパスフィルタによるフィルタリング処理を施し、これにより得られた相関値ｄ０′（ｘ，ｙ）に基づいて重み係数α（ｘ°，ｙ°）を取得しているため、統合画像上における重み係数α（ｘ°，ｙ°）の変化が滑らかになり、その結果、相関が変化する領域における画像の変化を滑らかにすることができ、これにより、合成フレームＦｒＧの見え方を自然なものとすることができる。
【００９７】
なお、上記第１および第２の実施形態においては、基準フレームＦｒＮおよびフレームＦｒＮ＋１の輝度色差成分Ｙ，Ｃｂ，Ｃｒ毎に合成フレームＦｒＧを取得しているが、輝度成分Ｙについてのみ合成フレームＦｒＧを取得し、色差成分Ｃｂ，Ｃｒについては、基準フレームＦｒＮの色差成分Ｃｂ，Ｃｒを線形補間して色差成分の合成フレームを求めてもよく、色差成分Ｃｂ，Ｃｒについて第１の補間フレームＦｒＨ１のみを取得し、これを色差成分の合成フレームとしてもよい。
【００９８】
また、フレームＦｒＮ，ＦｒＮ＋１がＲＧＢの色データからなる場合には、ＲＧＢ各色データ毎に処理を行って合成フレームＦｒＧを取得してもよい。
【００９９】
また、上記第１および第２の実施形態においては、輝度色差成分Ｙ，Ｃｂ，Ｃｒ毎に相関値ｄ０（ｘ，ｙ）を算出しているが、下記の式（１７）に示すように、輝度成分の相関値ｄ０Ｙ（ｘ，ｙ）、色差成分の相関値ｄ０Ｃｂ（ｘ，ｙ），ｄ０Ｃｒ（ｘ，ｙ）を重み係数ａ，ｂ，ｃにより重み付け加算することにより、１の相関値ｄ１（ｘ，ｙ）を算出し、この１の相関値ｄ１（ｘ，ｙ）を用いて輝度色差成分Ｙ，Ｃｂ，Ｃｒそれぞれについての重み係数α（ｘ，ｙ）を算出してもよい。
【数１４】
【０１００】
また、下記の式（１８）に示すように、座標変換フレームＦｒＴ０の輝度成分ＦｒＴ０Ｙ（ｘ，ｙ）および色差成分ＦｒＴ０Ｃｂ（ｘ，ｙ），ＦｒＴ０Ｃｒ（ｘ，ｙ）と、基準フレームＦｒＮのＦｒＮＹ（ｘ，ｙ）および色差成分ＦｒＮＣｂ（ｘ，ｙ），ＦｒＮＣｒ（ｘ，ｙ）との重み係数ａ，ｂ，ｃを用いたユークリッド距離を算出し、これを重み係数α（ｘ，ｙ）を取得するための１の相関値ｄ１（ｘ，ｙ）としてもよい。
【数１５】
【０１０１】
また、上記第１および第２の実施形態においては、重み算出手段７において図８に示すようにテーブルを用いて重み係数α（ｘ，ｙ）を取得しているが、図１２に示すように、値が変化する境界部分において滑らかにかつ緩やかに重み係数α（ｘ，ｙ）の値が変化する非線形のテーブルを用いてもよい。
【０１０２】
このように、図１２に示すような非線形のテーブルを用いることにより、相関が変化する局所領域において画像の変化の度合いが緩やかになるため、合成フレームの見え方を自然なものとすることができる。
【０１０３】
また、上記第１および第２の実施形態においては、２つのフレームＦｒＮ，ＦｒＮ＋１から合成フレームＦｒＧを取得しているが、３以上の複数のフレームから合成フレームＦｒＧを取得してもよい。例えば、Ｔ個のフレームＦｒＮ＋ｔ′（０≦ｔ′≦Ｔ−１）から合成フレームＦｒＧを取得する場合、基準フレームＦｒＮ（＝ＦｒＮ＋０）以外の他のフレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）について、基準フレームＦｒＮとの対応関係を推定し、統合画像上に画素値を割り当てて複数の第１の補間フレームＦｒＨ１ｔを得る。なお、第１の補間フレームＦｒＨ１ｔの画素値をＩ１ｔ（ｘ°，ｙ°）とする。
【０１０４】
また、基準フレームＦｒＮに対して、統合画像上のフレームＦｒＮ＋ｔの画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、フレームＦｒＮ＋ｔに対応した第２の補間フレームＦｒＨ２ｔを取得する。なお、第２の補間フレームＦｒＨ２ｔの画素値をＩ２ｔ（ｘ°，ｙ°）とする。
【０１０５】
さらに、推定された対応関係に基づいて、対応する第１および第２の補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔを重み付け加算する重み係数αｔ（ｘ°，ｙ°）を取得する。
【０１０６】
そして、互いに対応する第１および第２の補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔを重み係数αｔ（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧｔ（ｘ＾，ｙ＾）を有する中間合成フレームＦｒＧｔを取得する。具体的には、下記の式（１９）により第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＧ２ｔの対応する画素の画素値Ｉ１ｔ（ｘ°，ｙ°），Ｉ２ｔ（ｘ°，ｙ°）を対応する重み係数αｔ（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行い、中間合成フレームＦｒＧｔの画素値ＦｒＧｔ（ｘ＾，ｙ＾）を取得する。
【数１６】
【０１０７】
なお、式（１９）において、ｋは中間合成フレームＦｒＧｔすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられたフレームＦｒＮ＋ｔの画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１ｔ（ｘ°，ｙ°），Ｉ２ｔ（ｘ°，ｙ°）および重み係数αｔ（ｘ°，ｙ°）を有するものである。
【０１０８】
そして、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを取得する。具体的には、下記の式（２０）により中間合成フレームＦｒＧｔを対応する画素同士で加算することにより、合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【数１７】
【０１０９】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【０１１０】
また、３以上の複数のフレームから合成フレームＦｒＧを取得する場合、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＨ２ｔ並びに整数座標の重み係数αｔ（ｘ＾，ｙ＾）を取得してもよい。この場合、各フレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）について、各フレームＦｒＮ＋ｔの画素値ＦｒＮ＋ｔ（ｘ，ｙ）を統合座標の全ての整数座標に割り当てて画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）すなわち画素値Ｉ１ｔ（ｘ＾，ｙ＾）を有する第１の補間フレームＦｒＨ１ｔを取得する。そして、全てのフレームＦｒＮ＋ｔについて割り当てられた画素値Ｉ１ｔ（ｘ＾，ｙ＾）と第２の補間フレームＦｒＨ２ｔの画素値Ｉ２ｔ（ｘ＾，ｙ＾）とを加算することにより複数の中間合成フレームＦｒＧｔを取得し、これらをさらに加算して合成フレームＦｒＧを取得すればよい。
【０１１１】
具体的には、まず、下記の式（２１）に示すように、全てのフレームＦｒＮ＋ｔについて、統合画像の整数座標における画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）を算出する。そして、式（２２）に示すように、画素値Ｉ１ｔ（ｘ＾，ｙ＾）と画素値Ｉ２ｔ（ｘ＾，ｙ＾）とを重み係数α（ｘ＾，ｙ＾）により重み付け加算することにより中間合成フレームＦｒＧｔを得る。そして、上記式（２０）に示すように、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを取得する。
【０１１２】
【数１８】
【０１１３】
なお、３以上の複数のフレームから合成フレームＦｒＧを取得する場合、座標変換フレームＦｒＴ０は複数取得されるため、相関値および重み係数もフレーム数に対応して複数取得される。この場合、複数取得された重み係数の平均値や中間値を対応する第１および第２の補間フレームＦｒＨ１，ＦｒＨ２を重み付け加算する際の重み係数としてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による動画像合成装置の構成を示す概略ブロック図
【図２】フレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の推定を説明するための図
【図３】パッチの変形を説明するための図
【図４】パッチＰ１と基準パッチＰ０との対応関係を説明するための図
【図５】双１次内挿を説明するための図
【図６】フレームＦｒＮ＋１の統合画像への割り当てを説明するための図
【図７】統合画像における整数座標の画素値の算出を説明するための図
【図８】重み係数を求めるテーブルを示す図（その１）
【図９】本実施形態において行われる処理を示すフローチャート
【図１０】本発明の第２の実施形態による動画像合成装置の構成を示す概略ブロック図
【図１１】ローパスフィルタの例を示す図
【図１２】重み係数を求めるテーブルを示す図（その２）
【符号の説明】
１ サンプリング手段
２ 対応関係推定手段
３ 座標変換手段
４ 時空間補間手段
５ 空間補間手段
６ 相関値算出手段
７ 重み算出手段
８ 合成手段
９ フィルタ手段
【発明の属する技術分野】
本発明は、動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、サンプリングしたフレームよりも高解像度の１の合成フレームを作成する動画像合成方法および装置並びに動画像合成方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
近年のデジタルビデオカメラの普及により、動画像を１フレーム単位で扱うことが可能となっている。このような動画像のフレームをプリント出力する際には、画質を向上させるためにフレームを高解像度にする必要がある。このため、動画像からサンプリングした複数のフレームから、これらのフレームよりも高解像度の１の合成フレームを作成する方法が提案されている（例えば、特許文献１参照）。この方法は、複数のフレーム間の動ベクトルを求め、この動ベクトルに基づいて、複数のフレームから合成フレームを合成する際に、画素間に内挿する信号値を算出する方法である。とくに特許文献１に記載された方法では、各フレームを複数のブロックに分割し、フレーム間で対応するブロックの直交座標係数を算出し、この直交座標係数における高周波の情報を他のブロックにおける低周波の情報と合成して内挿される画素値を算出しているため、必要な情報が低減されることなく、高画質の合成フレームを得ることができる。また、この方法においては、画素間距離よりもさらに細かい分解能にて動ベクトルを算出しているため、フレーム間の動きを正確に補償してより高画質の合成フレームを得ることができる。
【０００３】
また、複数のフレームのうち一のフレームを基準フレームとし、基準フレームに１または複数の矩形領域からなる基準パッチを、基準フレーム以外の他のフレームに基準パッチと同様のパッチを配置し、パッチ内の画像が基準パッチ内の画像と一致するようにパッチを他のフレーム上において移動および／または変形し、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレーム上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係を推定して複数フレームをより精度よく合成する方法も提案されている（例えば、非特許文献１参照）。
【０００４】
非特許文献１の方法においては、基準フレームと他のフレームとの対応関係を推定し、推定後、他のフレームと基準フレームとを、最終的に必要な解像度を有する統合画像上に割り当てることにより、高精細な合成フレームを得ることができる。
【０００５】
【特許文献１】
特開２０００−３５４２４４号公報
【０００６】
【非特許文献１】
中沢祐二、小松隆、斉藤隆弘，「フレーム間統合による高精細ディジタル画像の獲得」，テレビジョン学会誌，１９９５年，Ｖｏｌ．４９，Ｎｏ．３，ｐ２９９−３０８
【０００７】
【発明が解決しようとする課題】
しかしながら、非特許文献１に記載された方法においては、他のフレームに含まれる被写体の動きが非常に大きい場合や、局所的に含まれる被写体が複雑な動きをしていたり非常に高速で動いている場合には、被写体の動きにパッチの移動および／または変形が追随できない場合がある。このように、パッチの移動および／または変形が被写体の移動および／または変形に追随できないと、合成フレームの全体がぼけたり、フレームに含まれる動きの大きい被写体がぼけたりするため、高画質の合成フレームを得ることができないという問題がある。
【０００８】
本発明は上記事情に鑑みなされたものであり、フレームに含まれる被写体の動きに拘わらず、画質の劣化を抑えた合成フレームを得ることを目的とする。
【０００９】
【課題を解決するための手段】
本発明による第１の動画像合成方法は、動画像から連続する２つのフレームをサンプリングし、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第１の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを取得し、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出し、
該相関値に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより合成フレームを作成することを特徴とするものである。
【００１０】
「相関値」は、座標変換済みフレームと基準フレームの基準パッチ内の画像との各画素毎に算出してもよいが、相対応する局所領域毎、パッチの矩形領域毎、あるいはフレーム単位で算出してもよい。この場合、重み係数は相関値を算出した単位毎、すなわち画素毎、局所領域毎、矩形領域毎あるいはフレーム毎に取得される。
【００１１】
本発明による第２の動画像合成方法は、動画像から連続する３以上のフレームをサンプリングし、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを前記複数の第１の補間フレームと対応付けて１または複数取得し、
前記対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して複数の座標変換済みフレームを取得し、
該複数の座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関をそれぞれ表す相関値を算出し、
該相関値に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成することを特徴とするものである。
【００１２】
ここで、本発明による第２の動画像合成方法においては、相関値は他のフレームに対応して複数算出されるが、複数の相関値の平均値や中間値を算出し、これを重み係数を取得するために用いてもよい。
【００１３】
また、「第２の補間フレームを第１の補間フレームと対応付けて複数取得する」とは、１の第１の補間フレームにおける画素値を有する画素位置と同様の画素位置に、基準パッチ内の画素値を補間演算により割り当てることによりその第１の補間フレームに対応する第２の補間フレームを取得し、さらにこの処理を複数の第１の補間フレームのそれぞれについて行って、第１の補間フレームと同数の第２の補間フレームを取得することをいう。
【００１４】
一方、「第２の補間フレームを第１の補間フレームと対応付けて１取得する」とは、第１の補間フレームにおける画素値を有する画素位置に拘わらず、例えば第２の補間フレームにおける整数画素位置のような所定の画素位置に基準パッチ内の画素値を補間演算により割り当てて１つの第２の補間フレームを取得することをいう。この場合、複数の第１の補間フレームのそれぞれの画素位置の画素値と、これに最も近い第２の補間フレームにおける所定の画素位置の画素値とが互いに対応付けられることとなる。
【００１５】
なお、本発明による第１および第２の動画像合成方法においては、前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、前記相関値をフィルタリングしてフィルタリング済み相関値を算出し、
該フィルタリング済み相関値に基づいて前記重み係数を取得してもよい。
【００１６】
「フィルタリング」とは、相関値の変化を滑らかにするフィルタリングを意味し、具体的にはローパスフィルタ、メディアンフィルタ、最大値フィルタまたは最小値フィルタ等を用いることができる。
【００１７】
また、本発明による第１および第２の動画像合成方法においては、前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数に対して補間演算を施して前記第１および第２の補間フレームを構成する全ての画素についての重み係数を取得してもよい。
【００１８】
すなわち、補間演算により各フレームよりも画素数が多い第１および第２の補間フレームが得られるが、重み係数はサンプリングしたフレームの画素にのみ対応して求められる。このため、その近傍の画素について取得された重み係数に対して補間演算を施して、増加した画素についての重み係数を求めるようにしてもよい。また、補間演算により増加した画素については、増加した画素の近傍にある元々存在する画素について取得された重み係数を用いて重み付け合成を行ってもよい。
【００１９】
また、本発明による第１および第２の動画像合成方法においては、前記重み係数を、前記相関値を横軸に、前記重み係数を縦軸に設定した非線形テーブルを参照して取得してもよい。
【００２０】
「非線形テーブル」としては、相関値を横軸に重み係数を縦軸に設定した場合に、値が変化する境界部分において滑らかかつ緩やかに値が変化するテーブルを用いることが好ましい。
【００２１】
また、本発明による第１および第２の動画像合成方法においては、前記対応関係の推定、前記第１の補間フレームの取得、前記第２の補間フレームの取得、前記座標変換済みフレームの取得、前記相関値の算出、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行ってもよい。
【００２２】
「フレームを構成する少なくとも１つの成分」とは、例えばフレームがＲＧＢの３つの色データからなる場合においてはＲＧＢ各色成分のうちの少なくとも１つの成分であり、ＹＣＣ輝度色差成分からなる場合には、輝度および色差の各成分のうちの少なくとも１つの成分、好ましくは輝度成分である。
【００２３】
本発明による第１の動画像合成装置は、動画像から連続する２つのフレームをサンプリングするサンプリング手段と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第１の補間フレームを取得する第１の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを取得する第２の補間手段と、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する相関値算出手段と、
該相関値に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【００２４】
本発明による第２の動画像合成装置は、動画像から連続する３以上のフレームをサンプリングするサンプリング手段と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得する第１の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを前記複数の第１の補間フレームと対応付けて１または複数取得する第２の補間手段と、
前記対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して複数の座標変換済みフレームを取得する座標変換手段と、
該複数の座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関をそれぞれ表す相関値を算出する相関値算出手段と、
該相関値に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【００２５】
なお、本発明による第１および第２の動画像合成装置においては、前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、前記相関値をフィルタリングしてフィルタリング済み相関値を算出するフィルタリング手段をさらに備えるものとし、
前記重み係数取得手段を、該フィルタリング済み相関値に基づいて前記重み係数を取得する手段としてもよい。
【００２６】
また、本発明による第１および第２の動画像合成装置においては、前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数取得手段を、前記重み係数に対して補間演算を施して前記第１および第２の補間フレームを構成する全ての画素についての重み係数を取得する手段としてもよい。
【００２７】
また、本発明による第１および第２の動画像合成装置においては、前記重み係数取得手段を、前記重み係数を、前記相関値を横軸に、前記重み係数を縦軸に設定した非線形テーブルを参照して取得する手段としてもよい。
【００２８】
また、本発明による第１および第２の動画像合成装置においては、前記対応関係推定手段、前記第１の補間手段、前記第２の補間手段、前記座標変換手段、前記相関値算出手段、前記重み係数取得手段および前記合成手段を、前記対応関係の推定、前記第１の補間フレームの取得、前記第２の補間フレームの取得、前記座標変換済みフレームの取得、前記相関値の算出、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手段としてもよい。
【００２９】
なお、本発明による第１および第２の動画像合成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００３０】
【発明の効果】
本発明によれば、動画像がサンプリングされて連続する複数のフレームが取得され、複数のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチが配置される。また、基準フレーム以外の他のフレーム上に、基準パッチと同様のパッチが配置される。そして、パッチ内の画像が基準パッチ内の画像と一致するように移動および／または変形され、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレームの上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係が推定される。
【００３１】
そして推定された対応関係に基づいて、他のフレームのパッチ内の画像または他のフレームのパッチ内の画像および基準フレームの基準パッチ内の画像に対して補間演算が施されて、各フレームよりも解像度が高い第１の補間フレームが取得される。なお、フレームが３以上サンプリングされた場合は、複数の第１の補間フレームが取得される。この第１の補間フレームは、各フレームに含まれる被写体の動きが小さい場合には、各フレームよりも解像度が高い高精細な画像を表すものとなるが、各フレームに含まれる被写体の動きが大きかったり動きが複雑な場合には、動いている被写体がぼけてしまっているものとなる。
【００３２】
また、基準フレームの基準パッチ内の画像に対して補間演算が施されて各フレームよりも解像度が高い第２の補間フレームが取得される。なお、フレームが３以上サンプリングされた場合は、複数の第１の補間フレームに対応して１または複数の第２の補間フレームが取得される。この第２の補間フレームは第１の補間フレームと比較して１つのフレームのみしか補間演算に用いていないため、精細さは第１の補間フレームより劣るものの、１つのフレームのみから得られるものであるため、被写体が大きく動いていても動きが複雑であっても、その被写体はそれほどぼけたものとはならない。
【００３３】
さらに、対応関係に基づいて他のフレームのパッチ内の画像が基準フレームの座標空間に座標変換されて座標変換済みフレームが取得され、座標変換済みフレームと基準フレームの基準パッチ内の画像との相関を表す相関値が算出され、さらに相関値に基づいて第１の補間フレームと第２の補間フレームとを合成する際の重み係数が算出される。この重み係数は座標変換済みフレームと基準フレームとの相関が大きいほど第１の補間フレームの重みが大きくされてなるものである。なお、フレームが３以上サンプリングされた場合は、他のフレーム毎に座標変換済みフレーム、相関値および重み係数が取得される。
【００３４】
ここで、各フレームに含まれる被写体の動きが小さければ、座標変換済みフレームと基準フレームとの相関は大きくなるが、被写体の動きが大きかったり複雑であったりすると、座標変換済みフレームと基準フレームとの相関は小さくなる。したがって、取得された重み係数に基づいて第１の補間フレームおよび第２の補間フレームを重み付け合成することにより、動きが小さい場合は高精細な第１の補間フレームが占める割合が多く、動きが大きい場合には動きのある被写体のぼけが少ない第２の補間フレームの占める割合が多い合成フレームが作成される。なお、フレームが３以上サンプリングされた場合は、対応する第１および第２の補間フレームが合成されて中間合成フレームが取得され、さらに中間合成フレームが合成されて合成フレームが取得される。
【００３５】
このため、合成フレームは、フレームに含まれる被写体の動きが大きい場合には被写体のぼけが少なく、被写体の動きが小さい場合には高精細なものとなり、これにより、フレームに含まれる被写体の動きに拘わらず、高画質の合成フレームを得ることができる。
【００３６】
請求項３，９，１５の発明によれば、相関値が各フレームを構成する画素毎に算出されてなる場合、相関値がフィルタリングされてフィルタリング済み相関値が算出され、このフィルタリング済み相関値に基づいて重み係数が取得される。このため、フレームの座標空間における重み係数の変化が滑らかになり、その結果、相関が変化する局所領域における画像の変化を滑らかにすることができ、これにより、合成フレームの見え方を自然なものとすることができる。
【００３７】
請求項４，１０，１６の発明によれば、相関値が各フレームを構成する画素毎に算出されてなる場合、重み係数に対して補間演算を施して第１および第２の補間フレームを構成する全ての画素についての重み係数が取得される。このため、補間演算により増加した画素についてもその画素について取得された重み係数により重み付け合成がなされるため、相関が変化する局所領域において画像の変化を自然なものとすることができる。
【００３８】
請求項５，１１，１７の発明によれば、重み係数が、相関値を横軸に重み係数を縦軸に設定した非線形テーブルを参照することにより取得される。このため、相関が変化する局所領域において合成フレームの見え方を自然なものとすることができる。
【００３９】
請求項６，１２，１８の発明によれば、対応関係の推定、第１の補間フレームの取得、第２の補間フレームの取得、座標変換済みフレームの取得、相関値の算出、重み係数の取得および合成フレームの作成がフレームを構成する少なくとも１つの成分を用いて行われる。このため、各成分毎に画質の劣化を低減した合成フレームを得ることができ、これにより、各成分毎の合成フレームからなる高画質の合成フレームを得ることができる。
【００４０】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による動画像合成装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による動画像合成装置は、入力された動画像データＭ０から複数のフレームをサンプリングするサンプリング手段１と、複数のフレームのうち、基準となる１の基準フレームの画素および基準フレーム以外の他のフレームの画素の対応関係を推定する対応関係推定手段２と、対応関係推定手段２において推定された対応関係に基づいて、他のフレームをそれぞれ基準フレームの座標空間上に座標変換して座標変換済みフレームＦｒＴ０を取得する座標変換手段３と、対応関係推定手段２において推定された対応関係に基づいて、他のフレームに対して補間演算を施して各フレームよりも解像度が高い第１の補間フレームＦｒＨ１を取得する時空間補間手段４と、基準フレームに対して補間演算を施して各フレームよりも解像度が高い第２の補間フレームＦｒＨ２を取得する空間補間手段５と、座標変換済みフレームＦｒＴ０と基準フレームとの相関を表す相関値を算出する相関値算出手段６と、第１の補間フレームＨ１と第２の補間フレームＦｒＨ２とを重み付け加算するための重み係数を相関値算出手段６において算出された相関値に基づいて算出する重み算出手段７と、重み算出手段７において算出された重み係数に基づいて第１および第２の補間フレームＦｒＨ１，ＦｒＨ２を重み付け加算して合成フレームＦｒＧを取得する合成手段８とを備える。なお、本実施形態において合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍の画素を有するものとする。なお、以降では、合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい。
【００４１】
サンプリング手段１は、動画像データＭ０から複数のフレームをサンプリングするが、本実施形態においては動画像データＭ０から２つのフレームＦｒＮおよびフレームＦｒＮ＋１をサンプリングするものとする。なお、フレームＦｒＮを基準フレームとする。ここで、動画像データＭ０はカラーの動画像を表すものであり、フレームＦｒＮ，ＦｒＮ＋１はＹ，Ｃｂ，Ｃｒの輝度色差成分からなるものとする。なお、以降の説明において、Ｙ，Ｃｂ，Ｃｒの各成分に対して処理が行われるが、行われる処理は全ての成分について同様であるため、本実施形態においては輝度成分Ｙの処理について詳細に説明し、色差成分Ｃｂ，Ｃｒに対する処理については説明を省略する。
【００４２】
対応関係推定手段２は、以下のようにしてフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係を推定する。図２はフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の推定を説明するための図である。なお、図２において、基準フレームＦｒＮに含まれる円形の被写体が、フレームＦｒＮ＋１においては図面上右側に若干移動しているものとする。
【００４３】
まず、対応関係推定手段２は、基準フレームＦｒＮ上に１または複数の矩形領域からなる基準パッチＰ０を配置する。図２（ａ）は、基準フレームＦｒＮ上に基準パッチＰ０が配置された状態を示す図である。図２（ａ）に示すように、本実施形態においては、基準パッチＰ０は４×４の矩形領域からなるものとする。次いで、図２（ｂ）に示すように、フレームＦｒＮ＋１の適当な位置に基準パッチＰ０と同様のパッチＰ１を配置し、基準パッチＰ０内の画像とパッチＰ１内の画像との相関を表す相関値を算出する。なお、相関値は下記の式（１）により平均二乗誤差として算出することができる。また、座標軸は紙面左右方向にｘ軸、紙面上下方向にｙ軸をとるものとする。
【数１】
ｐｉ，ｑｉ：基準パッチＰ０，Ｐ１内にそれぞれ対応する画素の画素値
Ｎ：基準パッチＰ０およびパッチＰ１内の画素数
【００４４】
次いで、フレームＦｒＮ＋１上のパッチＰ１を上下左右の４方向に一定画素±Δｘ，±Δｙ移動し、このときのパッチＰ１内の画像と基準フレームＦｒＮ上の基準パッチＰ０内の画像との相関値を算出する。ここで、相関値は上下左右方向のそれぞれについて算出され、各相関値をそれぞれＥ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）とする。
【００４５】
そして、移動後の４つの相関値Ｅ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を相関勾配として求め、この方向に予め設定した実数値倍だけ図２（ｃ）に示すようにパッチＰ１を移動する。具体的には、下記の式（２）により係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）を算出し、これらの係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）から下記の式（３），（４）により相関勾配ｇｘ，ｇｙを算出する。
【００４６】
【数２】
そして、算出された相関勾配ｇｘ，ｇｙに基づいてパッチＰ１の全体を（−λ１ｇｘ，−λ１ｇｙ）移動し、さらに上記と同様の処理を繰り返すことにより、図２（ｄ）に示すようにパッチＰ１がある位置に収束するまで反復的にパッチＰ１を移動する。ここで、λ１は収束の速さを決定するパラメータであり、実数値をとるものとする。なお、λ１をあまり大きな値とすると反復処理により解が発散してしまうため、適当な値（例えば１０）を選ぶ必要がある。
【００４８】
さらに、パッチＰ１の格子点を座標軸に沿った４方向に一定画素移動させる。このとき、移動した格子点を含む矩形領域は例えば図３に示すように変形する。そして、変形した矩形領域について基準パッチＰ０の対応する矩形領域との相関値を算出する。この相関値をそれぞれＥ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）とする。
【００４９】
そして、上記と同様に、変形後の４つの相関値Ｅ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を求め、この方向に予め設定した実数値倍だけパッチＰ１の格子点を移動する。これをパッチＰ１の全ての格子点について行い、これを１回の処理とする。そして格子点の座標が収束するまでこの処理を繰り返す。
【００５０】
これにより、パッチＰ１の基準パッチＰ０に対する移動量および変形量が求まり、これに基づいて基準パッチＰ０内の画素とパッチＰ１内の画素との対応関係を推定することができる。
【００５１】
座標変換手段３は以下のようにしてフレームＦｒＮ＋１を基準フレームＦｒＮの座標空間に座標変換して座標変換済みフレームＦｒＴ０を取得する。なお、以降の説明においては、基準フレームＦｒＮの基準パッチＰ０内の領域およびフレームＦｒＮ＋１のパッチＰ１内の領域についてのみ変換、補間演算および合成が行われる。
【００５２】
本実施形態においては、座標変換は双１次変換を用いて行うものとする。双１次変換による座標変換は、下記の式（５），（６）により定義される。
【数３】
式（５），（６）は、２次元座標上の４点（ｘｎ，ｙｎ）（１≦ｎ≦４）で与えられたパッチＰ１内の座標を、正規化座標系（ｕ，ｖ）（０≦ｕ，ｖ≦１）によって補間するものであり、任意の２つの矩形内の座標変換は、式（５），（６）および式（５），（６）の逆変換を組み合わせることにより行うことができる。
【００５４】
ここで、図４に示すように、パッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）が対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）内のどの位置に対応するかを考える。まずパッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）について、正規化座標（ｕ，ｖ）を求める。これは式（５），（６）の逆変換により求める。そしてこのときの（ｕ，ｖ）と対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）を元に、式（５），（６）から点（ｘ，ｙ）に対応する座標（ｘ′，ｙ′）を求める。ここで、点（ｘ，ｙ）が本来画素値が存在する整数座標であるのに対し、点（ｘ′，ｙ′）は本来画素値が存在しない実数座標となる場合があるため、変換後の整数座標における画素値は、基準パッチＰ０の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に変換された座標（ｘ′，ｙ′）の画素値の荷重和として求めるものとする。
【００５５】
具体的には、図５に示すように基準パッチＰ０上における整数座標ｂ（ｘ，ｙ）について、その８近傍の整数座標ｂ（ｘ−１，ｙ−１），ｂ（ｘ，ｙ−１），ｂ（ｘ＋１，ｙ−１），ｂ（ｘ−１，ｙ），ｂ（ｘ＋１，ｙ），ｂ（ｘ−１，ｙ＋１），ｂ（ｘ，ｙ＋１），ｂ（ｘ＋１，ｙ＋１）に囲まれる領域内に変換されたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｍ個の画素値が８近傍の画素に囲まれる領域内に変換され、変換された各画素の画素値をＩｔｊ（ｘ°，ｙ°）（１≦ｊ≦ｍ）とすると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は、下記の式（７）により算出することができる。なお、式（７）においてφは荷重和演算を表す関数である。
【数４】
【００５６】
ここで、簡単のため、図５を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉｔ１，Ｉｔ２が変換された場合について考えると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は下記の式（８）により算出することができる。
【数５】
【００５７】
以上の処理をパッチＰ１内の全ての画素について行うことにより、パッチＰ１内の画像が基準フレームＦｒＮの座標空間に変換されて、座標変換済みフレームＦｒＴ０が得られる。
【００５８】
時空間補間手段４は、フレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得する。具体的には、まず図６に示すように、最終的に必要な画素数を有する統合画像（本実施形態においては、フレームＦｒＮ，ＦｒＮ＋１の縦横それぞれ２倍の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい）を用意し、対応関係推定手段２において求められた対応関係に基づいて、フレームＦｒＮ＋１（パッチＰ１内の領域）の画素の画素値を統合画像上に割り当てる。この割り当てを行う関数をΠとすると、下記の式（９）によりフレームＦｒＮ＋１の各画素の画素値が統合画像上に割り当てられる。
【００５９】
◎
【数６】
ＦｒＮ＋１（ｘ，ｙ）：フレームＦｒＮ＋１の画素値
【００６０】
このように統合画像上にフレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ°，ｙ°）を得、各画素についてＩ１（ｘ°，ｙ°）（＝Ｉ１Ｎ＋１（ｘ°，ｙ°））の画素値を有する第１の補間フレームＦｒＨ１を取得する。
【００６１】
ここで、画素値を統合画像上に割り当てる際に、統合画像の画素数とフレームＦｒＮ＋１の画素数との関係によっては、フレームＦｒＮ＋１上の各画素が統合画像の整数座標（すなわち画素値が存在すべき座標）に対応しない場合がある。本実施形態においては、後述するように合成時において統合画像の整数座標における画素値を求めるものであるが、以下、合成時の説明を容易にするために統合画像の整数座標における画素値の算出について説明する。
【００６２】
統合画像の整数座標における画素値は、統合画像の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に割り当てられたフレームＦｒＮ＋１上の各画素の画素値の荷重和として求める。
【００６３】
すなわち、図７に示すように統合画像における整数座標ｐ（ｘ，ｙ）については、その８近傍の整数座標ｐ（ｘ−１，ｙ−１），ｐ（ｘ，ｙ−１），ｐ（ｘ＋１，ｙ−１），ｐ（ｘ−１，ｙ），ｐ（ｘ＋１，ｙ），ｐ（ｘ−１，ｙ＋１），ｐ（ｘ，ｙ＋１），ｐ（ｘ＋１，ｙ＋１）に囲まれる領域内に割り当てられたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｋ個の画素値が８近傍の画素に囲まれる領域内に割り当てられ、割り当てられた各画素の画素値をＩ１Ｎ＋１ｉ（ｘ°，ｙ°）（１≦ｉ≦ｋ）とすると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は、下記の式（１０）により算出することができる。なお、式（１０）においてΦは荷重和演算を表す関数である。
【数７】
【００６４】
ここで、簡単のため、図７を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉ１Ｎ＋１１，Ｉ１Ｎ＋１２が割り当てられた場合について考えると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は下記の式（１１）により算出することができる。
【数８】
【００６５】
そして、統合画像の全ての整数座標について、フレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）を得ることができる。この場合、第１の補間フレームＦｒＨ１の各画素値Ｉ１（ｘ＾，ｙ＾）はＩ１Ｎ＋１（ｘ＾，ｙ＾）となる。
【００６６】
なお、上記ではフレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得しているが、フレームＦｒＮ＋１とともに基準フレームＦｒＮをも用いて第１の補間フレームＦｒＨ１を取得してもよい。この場合、基準フレームＦｒＮの画素は、統合画像の整数座標に補間されて直接割り当てられることとなる。
【００６７】
空間補間手段５は、基準フレームＦｒＮに対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、第２の補間フレームＦｒＨ２を取得する。ここで、第２の補間フレームＦｒＨ２の実数座標の画素値をＩ２（ｘ°，ｙ°）とすると、画素値Ｉ２（ｘ°，ｙ°）は下記の式（１２）により算出される。
【数９】
【００６８】
なお、補間演算としては、線形補間演算、スプライン補間演算等の種々の補間演算を用いることができる。
【００６９】
また、本実施形態においては、合成フレームＦｒＧは基準フレームＦｒＮの縦横それぞれ２倍の画素数であるため、基準フレームＦｒＮに対して縦横方向に画素数を２倍とする補間演算を施すことにより、統合画像の画素数と同一の画素数を有する第２の補間フレームＦｒＨ２を取得してもよい。この場合、補間演算により得られる画素値は統合画像における整数座標の画素値であり、この画素値をＩ２（ｘ＾，ｙ＾）とすると、画素値Ｉ２（ｘ＾，ｙ＾）は下記の式（１３）により算出される。
【数１０】
相関値算出手段６は、座標変換フレームＦｒＴ０と基準フレームＦｒＮとの相対応する画素同士の相関値ｄ０（ｘ，ｙ）を算出する。具体的には下記の式（１４）に示すように、座標変換フレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値を相関値ｄ０（ｘ，ｙ）として算出する。なお、相関値ｄ０（ｘ，ｙ）は座標変換フレームＦｒＴ０と基準フレームＦｒＮとの相関が大きいほど小さい値となる。
【数１１】
なお、本実施形態では座標変換フレームＦｒＴ０と基準フレームＦｒＮとの対応する画素における画素値ＦｒＴ０（ｘ，ｙ），ＦｒＮ（ｘ，ｙ）との差の絶対値を相関値ｄ０（ｘ，ｙ）として算出しているが、差の二乗を相関値として算出してもよい。また、相関値を画素毎に算出しているが、座標変換フレームＦｒＴ０および基準フレームＦｒＮを複数の領域に分割し、領域内の全画素値の平均値または加算値を算出して、領域単位で相関値を得てもよい。また、画素毎に算出された相関値ｄ０（ｘ，ｙ）のフレーム全体についての平均値または加算値を算出して、フレーム単位で相関値を得てもよい。また、座標変換フレームＦｒＴ０および基準フレームＦｒＮのヒストグラムをそれぞれ算出し、座標変換フレームＦｒＴ０および基準フレームＦｒＮのヒストグラムの平均値、メディアン値または標準偏差の差分値、もしくはヒストグラムの差分値の累積和を相関値として用いてもよい。また、基準フレームＦｒＮに対する座標変換フレームＦｒＴ０の動きを表す動きベクトルを基準フレームＦｒＮの各画素または小領域毎に算出し、算出された動ベクトルの平均値、メディアン値または標準偏差を相関値として用いてもよく、動ベクトルのヒストグラムの累積和を相関値として用いてもよい。
【００７２】
重み算出手段７は、相関値算出手段６により算出された相関値ｄ０（ｘ，ｙ）から第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み付け加算する際の重み係数α（ｘ，ｙ）を取得する。具体的には、図８に示すテーブルを参照して重み係数α（ｘ，ｙ）を取得する。なお、図８に示すテーブルは、相関値ｄ０（ｘ，ｙ）が小さい、すなわち座標変換フレームＦｒＴ０および基準フレームＦｒＮの相関が大きいほど、重み係数α（ｘ，ｙ）の値が１に近いものとなる。なお、ここでは相関値ｄ０（ｘ，ｙ）は８ビットの値をとるものとする。
【００７３】
さらに、重み算出手段７は、フレームＦｒＮ＋１を統合画像上に割り当てた場合と同様に重み係数α（ｘ，ｙ）を統合画像上に割り当てることにより、フレームＦｒＮ＋１の画素が割り当てられた座標（実数座標）における重み係数α（ｘ°，ｙ°）を算出する。具体的には、空間補間手段５における補間演算と同様に、重み係数α（ｘ，ｙ）に対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、重み係数α（ｘ°，ｙ°）を取得する。
【００７４】
なお、統合画像の上記実数座標における重み係数α（ｘ°，ｙ°）を補間演算により算出することなく、基準フレームＦｒＮを統合画像のサイズとなるように拡大または等倍して拡大または等倍基準フレームを取得し、統合画像におけるフレームＦｒＮ＋１の画素が割り当てられた実数座標の最近傍に対応する拡大または等倍基準フレームの画素について取得された重み係数α（ｘ，ｙ）の値をその実数座標の重み係数α（ｘ°，ｙ°）として用いてもよい。
【００７５】
さらに、統合画像の整数座標における画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）が取得されている場合には、統合画像上に割り当てた重み係数α（ｘ°，ｙ°）について上記と同様に荷重和を求めることにより、統合画像の整数座標における重み係数α（ｘ＾，ｙ＾）を算出すればよい。
【００７６】
合成手段８は、第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み算出手段７により算出された重み係数α（ｘ°，ｙ°）に基づいて重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧ（ｘ＾，ｙ＾）を有する合成フレームＦｒＧを取得する。具体的には、下記の式（１５）により第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＧ２の対応する画素の画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）を重み係数α（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行い合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【数１２】
なお、式（１５）において、ｋは合成フレームＦｒＧすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられたフレームＦｒＮ＋１の画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）および重み係数α（ｘ°，ｙ°）を有するものである。
【００７８】
本実施形態においては、基準フレームＦｒＮと座標変換フレームＦｒＴ０との相関が大きいほど、第１の補間フレームＦｒＨ１の重み付けが大きくされて、第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２の重み付け加算が行われる。
【００７９】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【００８０】
また、上記では輝度成分Ｙについての合成フレームＦｒＧを求める処理について説明したが、色差成分Ｃｂ，Ｃｒについても同様に合成フレームＦｒＧが取得される。そして、輝度成分Ｙから求められた合成フレームＦｒＧ（Ｙ）および色差成分Ｃｂ，Ｃｒから求められた合成フレームＦｒＧ（Ｃｂ），ＦｒＧ（Ｃｒ）を合成することにより、最終的な合成フレームが得られることとなる。なお、処理の高速化のためには、輝度成分Ｙについてのみ基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係を推定し、色差成分Ｃｂ，Ｃｒについては輝度成分Ｙについて推定された対応関係に基づいて処理を行うことが好ましい。
【００８１】
また、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２並びに整数座標の重み係数α（ｘ＾，ｙ＾）を取得した場合には、下記の式（１６）により第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＧ２の対応する画素の画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）を重み係数α（ｘ＾，ｙ＾）により重み付け加算して合成フレームＦｒＧの画素値ＦｒＧ（ｘ，ｙ）を取得すればよい。
【数１３】
次いで、本実施形態の動作について説明する。図９は本実施形態において行われる処理を示すフローチャートである。なお、ここでは統合画像のフレームＦｒＮ＋１の画素が割り当てられた実数座標について第１の補間フレームＦｒＨ１、第２の補間フレームＦｒＨ２および重み係数α（ｘ°，ｙ°）を取得するものとして説明する。まず、サンプリング手段１に動画像データＭ０が入力され（ステップＳ１）、ここで、動画像データＭ０から基準フレームＦｒＮおよびフレームＦｒＮ＋１がサンプリングされる（ステップＳ２）。続いて、対応関係推定手段２により、基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係が推定される（ステップＳ３）。
【００８３】
そして、推定された対応関係に基づいて、座標変換手段３によりフレームＦｒＮ＋１が基準フレームＦｒＮの座標空間に変換されて座標変換フレームＦｒＴ０が取得される（ステップＳ４）。そして、相関値算出手段６により座標変換フレームＦｒＴ０と基準フレームＦｒＮとの対応する画素の相関値ｄ０（ｘ，ｙ）が算出される（ステップＳ５）。さらに、相関値ｄ０に基づいて重み算出手段７により重み係数α（ｘ°，ｙ°）が算出される（ステップＳ６）。
【００８４】
一方、推定された対応関係に基づいて、時空間補間手段４により第１の補間フレームＦｒＨ１が取得され（ステップＳ７）、空間補間手段５により第２の補間フレームＦｒＨ２が取得される（ステップＳ８）。
【００８５】
なお、ステップＳ７〜Ｓ８の処理を先に行ってもよく、ステップＳ４〜Ｓ６の処理およびステップＳ７〜Ｓ８の処理を並列に行ってもよい。
【００８６】
そして、合成手段８において上記式（１５）により第１の補間フレームＦｒＨ１の画素Ｉ１（ｘ°，ｙ°）および第２の補間フレームＦｒＨ２の画素Ｉ２（ｘ°，ｙ°）とが合成されて、画素ＦｒＧ（ｘ＾，ｙ＾）からなる合成フレームＦｒＧが取得され（ステップＳ９）、処理を終了する。
【００８７】
ここで、第１の補間フレームＦｒＨ１は、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きが小さい場合には、基準フレームＦｒＮおよびフレームＦｒＮ＋１よりも解像度が高い高精細な画像を表すものとなるが、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きが大きかったり動きが複雑な場合には、動いている被写体がぼけてしまっているものとなる。
【００８８】
また、第２の補間フレームＦｒＨ２は第１の補間フレームＦｒＨ１と比較して１つの基準フレームＦｒＮのみしか補間演算に用いていないため、精細さは第１の補間フレームＦｒＨ１より劣るものの、１つの基準フレームＦｒＮのみから得られるものであるため、被写体が大きく動いていても動きが複雑であっても、その被写体はぼけたものとはならない。
【００８９】
さらに、重み算出手段７により算出される重み係数α（ｘ°，ｙ°）は、座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの相関が大きいほど第１の補間フレームＦｒＨ１の重みが大きくされてなるものである。
【００９０】
ここで、各フレームＦｒＮ，ＦｒＮ＋１に含まれる被写体の動きが小さければ、座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの相関は大きくなるが、被写体の動きが大きかったり複雑であったりすると、座標変換済みフレームＦｒＴ０と基準フレームＦｒＮとの相関は小さくなる。したがって、取得された重み係数α（ｘ°，ｙ°）に基づいて第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み付け加算することにより、動きが小さい場合は高精細な第１の補間フレームＦｒＨ１が占める割合が多く、動きが大きい場合には動きのある被写体のぼけが少ない第２の補間フレームＦｒＨ２の占める割合が多い合成フレームＦｒＧが作成される。
【００９１】
このため、合成フレームＦｒＧは、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きが大きい場合には被写体のぼけが少なく、被写体の動きが小さい場合には高精細なものとなり、これにより、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きに拘わらず、高画質の合成フレームＦｒＧを得ることができる。
【００９２】
次いで、本発明の第２の実施形態について説明する。図１０は本発明の第２の実施形態による動画像合成装置の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。
【００９３】
第２の実施形態においては、相関値算出手段６により算出された相関値ｄ０（ｘ，ｙ）に対してローパスフィルタによるフィルタリング処理を施すフィルタ手段９を設けた点が第１の実施形態と異なる。
【００９４】
フィルタ手段９に用いられるローパスフィルタの例を図１１に示す。なお、ここでは３×３のローパスフィルタを用いるものとしたが、５×５あるいはそれ以上のサイズのローパスフィルタを用いてもよい。また、メディアンフィルタ、最大値フィルタまたは最小値フィルタを用いてもよい。
【００９５】
そして、第２の実施形態においては、フィルタ手段９によりフィルタリングされた相関値ｄ０′（ｘ，ｙ）に基づいて、重み算出手段７により重み係数α（ｘ°，ｙ°）が取得されて、合成手段８における重み付け加算に用いられる。
【００９６】
このように、第２の実施形態においては、相関値ｄ０（ｘ，ｙ）に対してローパスフィルタによるフィルタリング処理を施し、これにより得られた相関値ｄ０′（ｘ，ｙ）に基づいて重み係数α（ｘ°，ｙ°）を取得しているため、統合画像上における重み係数α（ｘ°，ｙ°）の変化が滑らかになり、その結果、相関が変化する領域における画像の変化を滑らかにすることができ、これにより、合成フレームＦｒＧの見え方を自然なものとすることができる。
【００９７】
なお、上記第１および第２の実施形態においては、基準フレームＦｒＮおよびフレームＦｒＮ＋１の輝度色差成分Ｙ，Ｃｂ，Ｃｒ毎に合成フレームＦｒＧを取得しているが、輝度成分Ｙについてのみ合成フレームＦｒＧを取得し、色差成分Ｃｂ，Ｃｒについては、基準フレームＦｒＮの色差成分Ｃｂ，Ｃｒを線形補間して色差成分の合成フレームを求めてもよく、色差成分Ｃｂ，Ｃｒについて第１の補間フレームＦｒＨ１のみを取得し、これを色差成分の合成フレームとしてもよい。
【００９８】
また、フレームＦｒＮ，ＦｒＮ＋１がＲＧＢの色データからなる場合には、ＲＧＢ各色データ毎に処理を行って合成フレームＦｒＧを取得してもよい。
【００９９】
また、上記第１および第２の実施形態においては、輝度色差成分Ｙ，Ｃｂ，Ｃｒ毎に相関値ｄ０（ｘ，ｙ）を算出しているが、下記の式（１７）に示すように、輝度成分の相関値ｄ０Ｙ（ｘ，ｙ）、色差成分の相関値ｄ０Ｃｂ（ｘ，ｙ），ｄ０Ｃｒ（ｘ，ｙ）を重み係数ａ，ｂ，ｃにより重み付け加算することにより、１の相関値ｄ１（ｘ，ｙ）を算出し、この１の相関値ｄ１（ｘ，ｙ）を用いて輝度色差成分Ｙ，Ｃｂ，Ｃｒそれぞれについての重み係数α（ｘ，ｙ）を算出してもよい。
【数１４】
また、下記の式（１８）に示すように、座標変換フレームＦｒＴ０の輝度成分ＦｒＴ０Ｙ（ｘ，ｙ）および色差成分ＦｒＴ０Ｃｂ（ｘ，ｙ），ＦｒＴ０Ｃｒ（ｘ，ｙ）と、基準フレームＦｒＮのＦｒＮＹ（ｘ，ｙ）および色差成分ＦｒＮＣｂ（ｘ，ｙ），ＦｒＮＣｒ（ｘ，ｙ）との重み係数ａ，ｂ，ｃを用いたユークリッド距離を算出し、これを重み係数α（ｘ，ｙ）を取得するための１の相関値ｄ１（ｘ，ｙ）としてもよい。
【数１５】
また、上記第１および第２の実施形態においては、重み算出手段７において図８に示すようにテーブルを用いて重み係数α（ｘ，ｙ）を取得しているが、図１２に示すように、値が変化する境界部分において滑らかにかつ緩やかに重み係数α（ｘ，ｙ）の値が変化する非線形のテーブルを用いてもよい。
【０１０２】
このように、図１２に示すような非線形のテーブルを用いることにより、相関が変化する局所領域において画像の変化の度合いが緩やかになるため、合成フレームの見え方を自然なものとすることができる。
【０１０３】
また、上記第１および第２の実施形態においては、２つのフレームＦｒＮ，ＦｒＮ＋１から合成フレームＦｒＧを取得しているが、３以上の複数のフレームから合成フレームＦｒＧを取得してもよい。例えば、Ｔ個のフレームＦｒＮ＋ｔ′（０≦ｔ′≦Ｔ−１）から合成フレームＦｒＧを取得する場合、基準フレームＦｒＮ（＝ＦｒＮ＋０）以外の他のフレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）について、基準フレームＦｒＮとの対応関係を推定し、統合画像上に画素値を割り当てて複数の第１の補間フレームＦｒＨ１ｔを得る。なお、第１の補間フレームＦｒＨ１ｔの画素値をＩ１ｔ（ｘ°，ｙ°）とする。
【０１０４】
また、基準フレームＦｒＮに対して、統合画像上のフレームＦｒＮ＋ｔの画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、フレームＦｒＮ＋ｔに対応した第２の補間フレームＦｒＨ２ｔを取得する。なお、第２の補間フレームＦｒＨ２ｔの画素値をＩ２ｔ（ｘ°，ｙ°）とする。
【０１０５】
さらに、推定された対応関係に基づいて、対応する第１および第２の補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔを重み付け加算する重み係数αｔ（ｘ°，ｙ°）を取得する。
【０１０６】
そして、互いに対応する第１および第２の補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔを重み係数αｔ（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧｔ（ｘ＾，ｙ＾）を有する中間合成フレームＦｒＧｔを取得する。具体的には、下記の式（１９）により第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＧ２ｔの対応する画素の画素値Ｉ１ｔ（ｘ°，ｙ°），Ｉ２ｔ（ｘ°，ｙ°）を対応する重み係数αｔ（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行い、中間合成フレームＦｒＧｔの画素値ＦｒＧｔ（ｘ＾，ｙ＾）を取得する。
【数１６】
なお、式（１９）において、ｋは中間合成フレームＦｒＧｔすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられたフレームＦｒＮ＋ｔの画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１ｔ（ｘ°，ｙ°），Ｉ２ｔ（ｘ°，ｙ°）および重み係数αｔ（ｘ°，ｙ°）を有するものである。
【０１０８】
そして、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを取得する。具体的には、下記の式（２０）により中間合成フレームＦｒＧｔを対応する画素同士で加算することにより、合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【数１７】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【０１１０】
また、３以上の複数のフレームから合成フレームＦｒＧを取得する場合、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＨ２ｔ並びに整数座標の重み係数αｔ（ｘ＾，ｙ＾）を取得してもよい。この場合、各フレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）について、各フレームＦｒＮ＋ｔの画素値ＦｒＮ＋ｔ（ｘ，ｙ）を統合座標の全ての整数座標に割り当てて画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）すなわち画素値Ｉ１ｔ（ｘ＾，ｙ＾）を有する第１の補間フレームＦｒＨ１ｔを取得する。そして、全てのフレームＦｒＮ＋ｔについて割り当てられた画素値Ｉ１ｔ（ｘ＾，ｙ＾）と第２の補間フレームＦｒＨ２ｔの画素値Ｉ２ｔ（ｘ＾，ｙ＾）とを加算することにより複数の中間合成フレームＦｒＧｔを取得し、これらをさらに加算して合成フレームＦｒＧを取得すればよい。
【０１１１】
具体的には、まず、下記の式（２１）に示すように、全てのフレームＦｒＮ＋ｔについて、統合画像の整数座標における画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）を算出する。そして、式（２２）に示すように、画素値Ｉ１ｔ（ｘ＾，ｙ＾）と画素値Ｉ２ｔ（ｘ＾，ｙ＾）とを重み係数α（ｘ＾，ｙ＾）により重み付け加算することにより中間合成フレームＦｒＧｔを得る。そして、上記式（２０）に示すように、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを取得する。
【０１１２】
【数１８】
なお、３以上の複数のフレームから合成フレームＦｒＧを取得する場合、座標変換フレームＦｒＴ０は複数取得されるため、相関値および重み係数もフレーム数に対応して複数取得される。この場合、複数取得された重み係数の平均値や中間値を対応する第１および第２の補間フレームＦｒＨ１，ＦｒＨ２を重み付け加算する際の重み係数としてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による動画像合成装置の構成を示す概略ブロック図
【図２】フレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の推定を説明するための図
【図３】パッチの変形を説明するための図
【図４】パッチＰ１と基準パッチＰ０との対応関係を説明するための図
【図５】双１次内挿を説明するための図
【図６】フレームＦｒＮ＋１の統合画像への割り当てを説明するための図
【図７】統合画像における整数座標の画素値の算出を説明するための図
【図８】重み係数を求めるテーブルを示す図（その１）
【図９】本実施形態において行われる処理を示すフローチャート
【図１０】本発明の第２の実施形態による動画像合成装置の構成を示す概略ブロック図
【図１１】ローパスフィルタの例を示す図
【図１２】重み係数を求めるテーブルを示す図（その２）
【符号の説明】
１ サンプリング手段
２ 対応関係推定手段
３ 座標変換手段
４ 時空間補間手段
５ 空間補間手段
６ 相関値算出手段
７ 重み算出手段
８ 合成手段
９ フィルタ手段
Claims (18)
- 動画像から連続する２つのフレームをサンプリングし、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第１の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを取得し、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得し、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出し、
該相関値に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより合成フレームを作成することを特徴とする動画像合成方法。 - 動画像から連続する３以上のフレームをサンプリングし、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを前記複数の第１の補間フレームと対応付けて１または複数取得し、
前記対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して複数の座標変換済みフレームを取得し、
該複数の座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関をそれぞれ表す相関値を算出し、
該相関値に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成することを特徴とする動画像合成方法。 - 前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、前記相関値をフィルタリングしてフィルタリング済み相関値を算出し、
該フィルタリング済み相関値に基づいて前記重み係数を取得することを特徴とする請求項１または２記載の動画像合成方法。 - 前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数に対して補間演算を施して前記第１および第２の補間フレームを構成する全ての画素についての重み係数を取得することを特徴とする請求項１から３のいずれか１項記載の動画像合成方法。 - 前記重み係数を、前記相関値を横軸に、前記重み係数を縦軸に設定した非線形テーブルを参照して取得することを特徴とする請求項１から４のいずれか１項記載の動画像合成方法。
- 前記対応関係の推定、前記第１の補間フレームの取得、前記第２の補間フレームの取得、前記座標変換済みフレームの取得、前記相関値の算出、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行うことを特徴とする請求項１から５のいずれか１項記載の動画像合成方法。
- 動画像から連続する２つのフレームをサンプリングするサンプリング手段と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第１の補間フレームを取得する第１の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを取得する第２の補間手段と、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する座標変換手段と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する相関値算出手段と、
該相関値に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより合成フレームを作成する合成手段とを備えたことを特徴とする動画像合成装置。 - 動画像から連続する３以上のフレームをサンプリングするサンプリング手段と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得する第１の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを前記複数の第１の補間フレームと対応付けて１または複数取得する第２の補間手段と、
前記対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して複数の座標変換済みフレームを取得する座標変換手段と、
該複数の座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関をそれぞれ表す相関値を算出する相関値算出手段と、
該相関値に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成する合成手段とを備えたことを特徴とする動画像合成装置。 - 前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、前記相関値をフィルタリングしてフィルタリング済み相関値を算出するフィルタリング手段をさらに備え、
前記重み係数取得手段は、該フィルタリング済み相関値に基づいて前記重み係数を取得する手段であることを特徴とする請求項７または８記載の動画像合成装置。 - 前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数取得手段は、前記重み係数に対して補間演算を施して前記第１および第２の補間フレームを構成する全ての画素についての重み係数を取得する手段であることを特徴とする請求項７から９のいずれか１項記載の動画像合成装置。 - 前記重み係数取得手段は、前記重み係数を、前記相関値を横軸に、前記重み係数を縦軸に設定した非線形テーブルを参照して取得する手段であることを特徴とする請求項７から１０のいずれか１項記載の動画像合成装置。
- 前記対応関係推定手段、前記第１の補間手段、前記第２の補間手段、前記座標変換手段、前記相関値算出手段、前記重み係数取得手段および前記合成手段は、前記対応関係の推定、前記第１の補間フレームの取得、前記第２の補間フレームの取得、前記座標変換済みフレームの取得、前記相関値の算出、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手段であることを特徴とする請求項７から１１のいずれか１項記載の動画像合成装置。
- 動画像から連続する２つのフレームをサンプリングする手順と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する手順と、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第１の補間フレームを取得する手順と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを取得する手順と、
前記対応関係に基づいて、前記他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して座標変換済みフレームを取得する手順と、
該座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関を表す相関値を算出する手順と、
該相関値に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する手順と、
該重み係数に基づいて前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより合成フレームを作成する手順とを有する動画像合成方法をコンピュータに実行させるためのプログラム。 - 動画像から連続する３以上のフレームをサンプリングする手順と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する手順と、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得する手順と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを前記複数の第１の補間フレームと対応付けて１または複数取得する手順と、
前記対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像を前記基準フレームの座標空間に座標変換して複数の座標変換済みフレームを取得し、
該複数の座標変換済みフレームと前記基準フレームの前記基準パッチ内の画像との相関をそれぞれ表す相関値を算出する手順と、
該相関値に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記相関が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する手順と、
該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成する手順とを有する動画像合成方法をコンピュータに実行させるためのプログラム。 - 前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、前記相関値をフィルタリングしてフィルタリング済み相関値を算出する手順をさらに有し、
前記重み係数を取得する手順は、該フィルタリング済み相関値に基づいて前記重み係数を取得する手順である請求項１３または１４記載のプログラム。 - 前記相関値が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数を取得する手順は、前記重み係数に対して補間演算を施して前記第１および第２の補間フレームを構成する全ての画素についての重み係数を取得する手順である請求項１３から１５のいずれか１項記載のプログラム。 - 前記重み係数を取得する手順は、前記重み係数を、前記相関値を横軸に、前記重み係数を縦軸に設定した非線形テーブルを参照して取得する手順である請求項１３から１６のいずれか１項記載のプログラム。
- 前記対応関係を推定する手順、前記第１の補間フレームを取得する手順、前記第２の補間フレームを取得する手順、前記座標変換済みフレームを取得する手順、前記相関値を算出する手順、前記重み係数を取得する手順および前記合成フレームを作成する手順は、前記対応関係の推定、前記第１の補間フレームの取得、前記第２の補間フレームの取得、前記座標変換済みフレームの取得、前記相関値の算出、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手順である請求項１３から１７のいずれか１項記載のプログラム。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002249212A JP4173705B2 (ja) | 2002-08-28 | 2002-08-28 | 動画像合成方法および装置並びにプログラム |
| US10/646,753 US7729563B2 (en) | 2002-08-28 | 2003-08-25 | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
| US12/754,718 US8078010B2 (en) | 2002-08-28 | 2010-04-06 | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
| US13/172,437 US8275219B2 (en) | 2002-08-28 | 2011-06-29 | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
| US13/438,057 US20120189066A1 (en) | 2002-08-28 | 2012-04-03 | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
| US13/593,636 US8805121B2 (en) | 2002-08-28 | 2012-08-24 | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002249212A JP4173705B2 (ja) | 2002-08-28 | 2002-08-28 | 動画像合成方法および装置並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004088615A true JP2004088615A (ja) | 2004-03-18 |
| JP4173705B2 JP4173705B2 (ja) | 2008-10-29 |
Family
ID=32056391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002249212A Expired - Fee Related JP4173705B2 (ja) | 2002-08-28 | 2002-08-28 | 動画像合成方法および装置並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4173705B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005317011A (ja) * | 2004-04-28 | 2005-11-10 | Seiko Epson Corp | 高解像度画像を発生する方法、デジタル画像編集ツールおよび媒体 |
| JP2007052672A (ja) * | 2005-08-18 | 2007-03-01 | Sony Corp | 画像処理方法、画像処理装置、プログラムおよび記録媒体 |
| WO2010122727A1 (ja) | 2009-04-20 | 2010-10-28 | 富士フイルム株式会社 | 画像処理装置、画像処理方法およびコンピュータ読み取り可能な媒体 |
| US8345983B2 (en) | 2007-07-20 | 2013-01-01 | Fujifilm Corporation | Image processing apparatus, image processing method, image processing system and computer readable medium |
| US8363953B2 (en) | 2007-07-20 | 2013-01-29 | Fujifilm Corporation | Image processing apparatus, image processing method and computer readable medium |
| US8498483B2 (en) | 2007-09-10 | 2013-07-30 | Fujifilm Corporation | Image processing apparatus, image processing method, and computer readable medium |
| CN113793284A (zh) * | 2021-11-17 | 2021-12-14 | 武汉工程大学 | 气动光学效应空变模糊图像不均匀分块的图像复原方法 |
-
2002
- 2002-08-28 JP JP2002249212A patent/JP4173705B2/ja not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005317011A (ja) * | 2004-04-28 | 2005-11-10 | Seiko Epson Corp | 高解像度画像を発生する方法、デジタル画像編集ツールおよび媒体 |
| JP2007052672A (ja) * | 2005-08-18 | 2007-03-01 | Sony Corp | 画像処理方法、画像処理装置、プログラムおよび記録媒体 |
| US7840095B2 (en) | 2005-08-18 | 2010-11-23 | Sony Corporation | Image processing method, image processing apparatus, program and recording medium |
| JP4600209B2 (ja) * | 2005-08-18 | 2010-12-15 | ソニー株式会社 | 画像処理方法、画像処理装置、プログラムおよび記録媒体 |
| US8345983B2 (en) | 2007-07-20 | 2013-01-01 | Fujifilm Corporation | Image processing apparatus, image processing method, image processing system and computer readable medium |
| US8363953B2 (en) | 2007-07-20 | 2013-01-29 | Fujifilm Corporation | Image processing apparatus, image processing method and computer readable medium |
| US8532394B2 (en) | 2007-07-20 | 2013-09-10 | Fujifilm Corporation | Image processing apparatus, image processing method and computer readable medium |
| US8498483B2 (en) | 2007-09-10 | 2013-07-30 | Fujifilm Corporation | Image processing apparatus, image processing method, and computer readable medium |
| WO2010122727A1 (ja) | 2009-04-20 | 2010-10-28 | 富士フイルム株式会社 | 画像処理装置、画像処理方法およびコンピュータ読み取り可能な媒体 |
| CN113793284A (zh) * | 2021-11-17 | 2021-12-14 | 武汉工程大学 | 气动光学效应空变模糊图像不均匀分块的图像复原方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4173705B2 (ja) | 2008-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20060290711A1 (en) | System and method for robust multi-frame demosaicing and color super-resolution | |
| WO2016045242A1 (zh) | 一种图像放大方法、图像放大装置及显示设备 | |
| JP2002269556A (ja) | デジタル画像からノイズを除去する複数解像度に基づく方法 | |
| JPH09284798A (ja) | 信号処理装置 | |
| Jeong et al. | Multi-frame example-based super-resolution using locally directional self-similarity | |
| WO2011021235A1 (ja) | 画像処理方法および画像処理装置 | |
| US20040207735A1 (en) | Method, apparatus, and program for moving image synthesis | |
| JP4173705B2 (ja) | 動画像合成方法および装置並びにプログラム | |
| Wang et al. | Improved super-resolution reconstruction from video | |
| JP4104937B2 (ja) | 動画像合成方法および装置並びにプログラム | |
| JP4095204B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| JP2004152148A (ja) | 動画像合成方法および装置並びにプログラム | |
| JP2000152250A (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| CN114339030B (zh) | 一种基于自适应可分离卷积的网络直播视频稳像方法 | |
| JP4121024B2 (ja) | 動画像合成装置および方法並びにプログラム | |
| CN113066014B (zh) | 一种图像超分辨方法及装置 | |
| CN101778297A (zh) | 影像序列的干扰消除方法 | |
| JP4515698B2 (ja) | 動画像合成方法および装置並びにプログラム | |
| JP4582993B2 (ja) | 動画像合成方法および装置並びにプログラム | |
| JP4356876B2 (ja) | 動画像合成装置および方法並びにプログラム | |
| JP4104947B2 (ja) | 動画像合成方法および装置並びにプログラム | |
| JP4001629B2 (ja) | コンピュータにより画像セグメントのピクセルを処理する方法および装置 | |
| JP4350493B2 (ja) | 動画像合成装置および方法並びにプログラム | |
| JP2011043901A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器 | |
| JP6817784B2 (ja) | 超解像装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050208 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070828 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071105 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080318 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080513 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080812 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080814 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |