JP2005348221A

JP2005348221A - 画像生成装置、静止画像生成装置、画像ずれ量検出装置、画像整列装置、画像生成方法、画像生成プログラムおよび画像生成プログラムを記録した記録媒体

Info

Publication number: JP2005348221A
Application number: JP2004167185A
Authority: JP
Inventors: Masashi Aiiso; 政司相磯
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2004-06-04
Filing date: 2004-06-04
Publication date: 2005-12-15

Abstract

【課題】撮影した動画像からより高画質な動画像を得る処理を高速に行うことができる画像生成装置、画像生成方法、画像生成プログラムまたはそのプログラムを記録した記録媒体を提供すること。
【解決手段】元動画像ＭＡからフレーム画像Ｆを順次取得し、その取得順で隣り合う２つのフレーム画像Ｆを選択して、隣り合うフレーム画像Ｆ間の位置ずれ補正量を求め、求めた位置ずれ補正量を複数足し合わせて、ある基準フレーム画像Ｆｂに対する位置ずれ補正量を求めるようにした。さらに、隣り合うフレーム画像Ｆ間の位置ずれ補正量はずれ補正量記憶手段３３に記憶するようにしたことにより、基準フレーム画像Ｆｂに対する位置ずれ補正量の算出に、過去に求めた位置ずれ補正量を用いることができる。
【選択図】図２０

Description

本発明は、多数のフレーム情報からなる動画像からより優れた画質をもつ動画像を生成する画像生成装置、静止画像生成装置、画像ずれ量検出装置、画像整列装置、画像生成方法、画像生成プログラムおよび画像生成プログラムを記録した記録媒体に関する。

近年、動画像を撮影するデジタルビデオカメラが民生用として広く普及し、日常の様々な撮影シーンで用いられてきている。しかし、一般に、デジタルビデオカメラは、静止画像に比べて膨大な情報量をもつ動画像を扱うために、動画像を構成する個々のフレーム情報がもつ情報量は小さく、画質が優れているとはいえない。実際に、デジタルスチルカメラで撮影した静止画像と比べてみると、動画像を構成する個々のフレーム情報は、解像度・ノイズなどの面において劣っていることが多い。通常、このようなフレーム情報であっても動画像を再生して見ているときは特に目立つことは少ない。しかし、スロー再生や一時停止をして画像を見たときには、ユーザーは動画を構成する個々のフレーム情報について注目して見ることになるため、より良い画質であることが求められる。もちろん、動画像として見る場合でも個々のフレーム情報の画質は優れていた方がよい。このような中で、優れた画質をもつ動画像を得ることができるように、撮影した動画像を変換してより優れた画質をもつ動画像を得ることのできる画像処理技術が求められている。

特許文献１には、動画像を構成する複数のフレーム情報について、各フレーム情報間の動きベクトルを利用して、複数のフレーム情報を適切に合成することによって、より優れた画質をもつ動画像を得る技術が開示されている。

ＷＯ００−２４１９４号公報

特許文献１にある技術では、動画像を構成する各フレーム情報ごとに動きベクトルを求めることによってフレーム情報間の対応点を調べている。このため、フレーム情報間の動きが縦横方向の並進移動についてはフレーム間の対応点を適切に求めることができるが、フレーム情報間の動きが並進移動に加えて回転を伴った動画像については、フレーム間の対応点を適切に求めることができない。フレーム情報の回転の動きに対応する為には、フレーム情報全体を小さなブロックに分割してブロックごとに動きベクトルを求めることにより対応点を調べることが必要である。しかし、こうした場合では、ブロックに分割したことによるブロックの境界が得られたフレーム情報に表れてしまうことがある。さらに、小さいブロックに含まれる情報量が小さいこと、ブロック内の画像のみから推定するためフレ−ムの高周波成分を重視して推定を行っていること、など理由の為に求めた動きベクトルの推定精度が良くないことが考えられる。また、特許文献１にある実施例では、特定の画素の画素情報を得る際には、複数のフレーム情報のうちいずれかのフレーム情報を選択し、求める画素に対応するひとつの画素情報を置き換えている。このような方法では、元のフレーム情報の画素情報にノイズ成分が含まれていた場合、得られる画素情報には複数のフレーム情報の画素情報がもつノイズ成分をそのまま引き継がれていることになる。これらの要因は、画質の点から好ましくない。また、このような動画像を高画質化させる技術に共通した問題点として、扱うフレーム情報の数が多いために多大な処理時間を要することが挙げられる。以上に述べたように、動画像の高画質化を行う処理としては、動画像を高画質化すると共により処理の高速化を実現する方法が求められている。

本発明は、このような課題を解決する為になされたものであり、高画質な動画像を高速に取得することのできる画像生成装置、画像生成方法、画像生成プログラムおよび画像生成プログラムを記録した記録媒体を提供することを目的とする。

上記課題を解決するために、本発明は、画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を時系列に連続してなる第２の画像情報を生成する画像生成装置であって、第１の画像情報から第１フレーム情報を順次取得するようにして、複数の第１フレーム情報を取得するフレーム取得手段と、取得した複数の第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として取得するずれ量取得手段と、第１の位置ずれ量を記憶するずれ量記憶手段と、複数の第１フレーム情報のうち、その取得順が所定番目の第１フレーム情報を基準フレーム情報とし、基準フレーム情報に対する残りの第１フレーム情報の相対的な画像の位置ずれ量を、第１の位置ずれ量を各々用いて、第２の位置ずれ量として複数取得し、第２の位置ずれ量に基づき、基準フレーム情報を除く残りの第１フレーム情報に対して第２の位置ずれ量を低減または解消する変換処理を施す変換手段と、変換処理後の第１フレーム情報および基準フレーム情報のうち少なくとも１つの第１フレーム画像を選択して、選択した第１フレーム画像の画素を合成して、第２フレーム画像を生成する合成手段と、を備えたことを要旨とする。

この構成によれば、過去に取得した第１フレーム情報間の第１の位置ずれ量は、ずれ量記憶手段に記憶して保存されているので、ずれ量取得手段は、過去に取得した第１の位置ずれ量を再度算出する必要がなく、ずれ量記憶手段から取得することができる。すなわち、フレーム取得手段が第１フレーム情報を新たに取得した際に、ずれ量取得手段は、この取得した第１フレーム情報とその取得順で隣り合う第１フレーム情報との間の第１の位置ずれ量を１つ求めるだけでよい。このように、ずれ量取得手段により新たに取得した第１の位置ずれ量と、ずれ量記憶手段から取得した第１の位置ずれ量とを用いることにより、第２の位置ずれ量を取得することができる。したがって、過去に求めた第１の位置ずれ量を有効に活用することにより第２の位置ずれ量を算出するために要する処理量を低減し、第２の画像情報を生成する処理の高速化を図ることができる。

また、本発明は、画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を時系列に連続してなる第２の画像情報を生成する画像生成装置であって、第１の画像情報から第１フレーム情報を順次取得するようにして、Ｎ個（但しＮは２以上の整数）の第１フレーム情報を取得するフレーム取得手段と、取得したＮ個の第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として（Ｎ−１）個取得するずれ量取得手段と、少なくとも（Ｎ−１）個の第１の位置ずれ量を記憶するずれ量記憶手段と、Ｎ個の第１フレーム情報のうち、その取得順が所定番目の第１フレーム情報を基準フレーム情報とし、基準フレーム情報に対する残り（Ｎ−１）個の第１フレーム情報の相対的な画像の位置ずれ量を、（Ｎ−１）個の第１の位置ずれ量を各々用いて、第２の位置ずれ量として（Ｎ−１）個取得し、第２の位置ずれ量に基づき、基準フレーム情報を除く残り（Ｎ−１）個の第１フレーム情報に対して第２の位置ずれ量を低減または解消する変換処理を施す変換手段と、変換処理後の第１フレーム情報および基準フレーム情報のうち少なくとも１つの第１フレーム画像を選択して、選択した第１フレーム画像の画素を合成して、第２フレーム画像を生成する合成手段と、を備え、フレーム取得手段、ずれ量取得手段、ずれ量記憶手段、変換手段および合成手段が各々の処理を順次繰り返して第２フレーム情報を時系列に生成することにより第２の画像情報を生成することを要旨とする。

この構成によれば、取得したＮ個の第１フレーム情報のうち、過去に取得している第１フレーム情報間の第１の位置ずれ量は、ずれ量記憶手段に記憶して保存されているので、ずれ量取得手段は、過去に取得した第１の位置ずれ量を再度算出する必要がなく、ずれ量記憶手段から取得することができる。すなわち、フレーム取得手段が順次取得するようにして１つの第１フレーム情報を新たに取得した際には、この取得した第１フレーム情報とその取得順で隣り合う第１フレーム情報との間の第１の位置ずれ量を１つ求めるだけでよい。このように、ずれ量取得手段により新たに取得した１つの第１の位置ずれ量と、ずれ量記憶手段から取得した第１の位置ずれ量を合わせて（Ｎ−１）個用いることにより、第２の位置ずれ量を取得することができる。したがって、過去に求めた（Ｎ−２）個の第１の位置ずれ量を有効に活用することにより第２の位置ずれ量の算出に要する処理量を大幅に低減し、第２の画像情報を生成する処理の高速化を図ることができる。また、基準フレーム情報に対する残り（Ｎ−１）個の第１フレーム情報の第２の位置ずれ量を低減または解消するように変換処理を行っているので、Ｎ個の第１フレーム情報間の位置ずれに影響されることなく、第２フレーム情報を得ることができる。したがって、画質の優れた第２フレーム情報および第２の画像情報を得ることができる。

ここで、ずれ量記憶手段は、（Ｎ−１）個の第１の位置ずれ量を記憶できる記憶容量をもち、新たな第１の位置ずれ量を記憶するときにずれ量記憶手段の記憶容量を越える場合には、ずれ量記憶手段が最も過去に記憶した第１の位置ずれ量を消去し、新たな第１の位置ずれ量を記憶するＦＩＦＯ形式の記憶手段であることが好ましい。

こうすれば、過去に求めた第１の位置ずれ量をすべて記憶することがなく、（Ｎ−１）個の第１の位置ずれ量を越える分については、最も過去に記憶した第１の位置ずれ量をずれ量記憶手段から消去するので、ずれ量記憶手段の記憶領域を小さくすることができる。

ここで、フレーム取得手段が取得したＮ個の第１フレーム情報を記憶するフレーム記憶手段を更に備え、ずれ量取得手段は、フレーム記憶手段から第１フレーム情報を取得することが好ましい。

こうすれば、ずれ量取得手段は、第１の画像情報からではなく、フレーム記憶手段から第１フレーム情報を取得することができる。したがって、画像生成装置が、フレーム記憶手段に高速にアクセスすることができる場合では、処理の高速化を図ることができる。

ここで、フレーム記憶手段は、Ｎ個の第１フレーム情報を記憶できる一定の記憶容量をもち、新たな第１フレーム情報を記憶する際にフレーム記憶手段の記憶容量を越える場合には、最も過去に記憶した第１フレーム情報を消去し、新たな第１フレーム情報を記憶するＦＩＦＯ形式の記憶手段であることが好ましい。

こうすれば、第１フレーム情報のすべてを記憶することなく、Ｎ個の第１フレーム情報を越える、第１フレーム情報については、過去に記憶したものから順にフレーム記憶手段から消去することになるので、フレーム記憶手段が使用する記憶領域を小さくすることができる。

ここで、フレーム取得手段は、第１の画像情報から時系列に連続したＮ個の第１フレーム情報を順次取得することが好ましい。

こうすれば、ずれ量取得手段は時系列に連続した２つの第１フレーム情報から第１の位置ずれ量を求めることになるので、処理に用いる第１フレーム情報間の時間差は小さくなり、取得する位置ずれ量も小さい値となる。位置ずれ量が小さくなることにより、誤った推定結果を得る可能性が低減するので、高い推定精度をもつ第１の位置ずれ量を得ることができる。さらに、第１の位置ずれ量から求められる第２の位置ずれ量の推定精度も良くなるので、合成手段は、適切に合成処理を行うことができる。したがって、画質の優れた第２フレーム情報および第２の画像情報を得ることができる。

ここで、合成手段は、変換処理後の第１フレーム情報および基準フレーム情報のうち少なくとも１つの第１フレーム画像を選択して、選択した第１フレーム画像の複数の画素情報に対して補間処理を行うことにより、第２フレーム情報のひとつの画素情報を取得するようにして、第２フレーム情報を生成することが好ましい。

こうすれば、複数の画素情報に対して補間処理を行いひとつの画素情報を生成するので、第１フレーム情報の画素情報がもつノイズ成分をそのまま引き継ぐことがなく、ノイズの影響を低減した第２フレーム情報を得ることができる。したがって、画質の優れた第２フレーム情報および第２の画像情報を得ることができる。なお、ここで用いる補間処理としては、バイ・リニア法またはバイ・キュービック法などの周知の画素補間処理手法を用いるとよい。

ここで、合成手段は、第１フレーム情報より解像度の高い第２フレーム情報を生成することが好ましい。

こうすれば、合成処理を行うことにより、第１フレーム情報および第１の画像情報に比べて、より解像度の高い第２フレーム情報および第２の画像情報を得ることができる。したがって、解像度を向上させることにより、より繊細な表現をすることができるので、画質の優れた第２フレーム情報および第２の画像情報が得られることになる。

ここで、ずれ量取得手段は、フレーム取得手段により順次取得されたうちのＮ個（但しＮは２以上の整数）の第１フレーム情報について、その取得順で隣り合うものの相対的な画像の並進ずれ量を第１の位置ずれ量として（Ｎ−１）個取得し、変換手段は、第２の位置ずれ量に基づき、基準フレーム情報を除く残り（Ｎ−１）個の第１フレーム情報に対して第２の位置ずれ量を低減または解消する並進処理を行うことが好ましい。

この構成によれば、第１の位置ずれ量として並進ずれを取得し、これに基づいて並進処理を行うことによる変換処理を行うので、各第１フレーム情報間の並進ずれを低減または解消した第１フレーム情報を得ることができる。したがって、並進ずれを低減または解消した第１フレーム情報を用いて合成処理を行うので、画質の優れた第２フレーム情報および第２の画像情報を得ることができる。

ここで、ずれ量取得手段は、フレーム取得手段により順次取得されたうちのＮ個（但しＮは２以上の整数）の第１フレーム情報について、その取得順で隣り合うものの相対的な画像の回転ずれ量を第１の位置ずれ量として（Ｎ−１）個取得し、変換手段は、第２の位置ずれ量に基づき、基準フレーム情報を除く残り（Ｎ−１）個の第１フレーム情報に対して第２の位置ずれ量を低減または解消する回転処理を行うことが好ましい。

この構成によれば、第１の位置ずれ量として回転ずれを取得し、これに基づいて回転処理を行うことによる変換処理を行うので、各第１フレーム情報間の回転ずれを低減または解消した第１フレーム情報を得ることができる。したがって、回転ずれを低減または解消した第１フレーム情報を用いて合成処理を行うので、画質の優れた第２フレーム情報および第２の画像情報を得ることができる。

ここで、変換手段は、（Ｎ−１）個の第１の位置ずれ量を加減算して、第２の位置ずれ量を取得することが好ましい。

こうすれば、第１の位置ずれ量を加減算することにより、第２の位置ずれ量を取得することができる。すなわち、時系列順に並んだＮ個の第１フレーム情報のうち、取得順が隣り合う第１フレーム情報について求められたＮ−１個の第１の位置ずれ量を、加減算することにより、Ｎ個の第１フレーム情報のうちいずれかを基準フレーム情報にしたときであっても、加減算することで第２の位置ずれ量を得ることができる。したがって、（Ｎ−１）個の第１の位置ずれ量から容易に第２の位置ずれ補正量を取得することができる。

ここで、ずれ量取得手段は、取得した第１の位置ずれ量から位置ずれを少なくするように補正する量を表す第１の位置ずれ補正量を更に取得し、変換手段は、第１の位置ずれ補正量に基づき変換処理を行うこととしてもよい。

こうすれば、ずれ量取得手段が取得したずれ量に替えて、位置ずれを低減または解消するために補正する量を表す位置ずれ補正量を用いて処理を行うことができる。

ここで、フレーム取得手段は、第１の画像情報に同期して第１のフレーム情報を取得し、合成手段は、フレーム取得手段が第１のフレーム情報を取得する動作に同期して、第２のフレーム情報を取得することが好ましい。

この構成によれば、第１の画像情報に同期して第２のフレーム情報を取得することができる。したがって、十分な処理速度をもちながら、画像情報を再生することができる画像生成装置を用いた場合であっては、第２の画像情報を生成しながらにして、第１の画像情報に同期して第２の画像情報を再生することができる。すなわち、第２の画像情報の生成および再生をリアルタイムに行うことができる。

本発明は画像ずれ量検出装置としてもよい。すなわち、本発明は画像ずれ量検出装置は、画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、第１フレーム情報間の位置ずれ量を検出する画像ずれ量検出装置であって、第１の画像情報から第１フレーム情報を順次取得するようにして、複数の第１フレーム情報を取得するフレーム取得手段と、取得した複数の第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として取得するずれ量取得手段と、第１の位置ずれ量を記憶するずれ量記憶手段と、複数の第１フレーム情報のうち、その取得順が所定番目の第１フレーム情報を基準フレーム情報とし、基準フレーム情報に対する残りの第１フレーム情報の相対的な画像の位置ずれ量を、第１の位置ずれ量を各々用いて、第２の位置ずれ量として取得する変換手段と、を備えたことを要旨とする。

また、本発明の画像ずれ量検出装置は、画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、第１フレーム情報間の位置ずれ量を検出する画像ずれ量検出装置であって、第１の画像情報から第１フレーム情報を順次取得するようにして、Ｎ個（但しＮは２以上の整数）の第１フレーム情報を取得するフレーム取得手段と、取得したＮ個の第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として（Ｎ−１）個取得するずれ量取得手段と、少なくとも（Ｎ−１）個の第１の位置ずれ量を記憶するずれ量記憶手段と、Ｎ個の第１フレーム情報のうち、その取得順が所定番目の第１フレーム情報を基準フレーム情報とし、基準フレーム情報に対する残り（Ｎ−１）個の第１フレーム情報の相対的な画像の位置ずれ量を、（Ｎ−１）個の第１の位置ずれ量を各々用いて、第２の位置ずれ量として（Ｎ−１）個取得する変換手段と、を備えたことを要旨とする。

これらの構成によれば、基準フレーム情報に対する第２の位置ずれ量を高速に取得することのできる画像ずれ量検出装置が得られる。

本発明は画像整列装置としてもよい。すなわち、本発明の画像整列装置は、画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、複数の第１のフレーム画像を取得する画像整列装置であって、第１の画像情報から第１フレーム情報を順次取得するようにして、複数の第１フレーム情報を取得するフレーム取得手段と、取得した複数の第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として取得するずれ量取得手段と、第１の位置ずれ量を記憶するずれ量記憶手段と、複数の第１フレーム情報のうち、その取得順が所定番目の第１フレーム情報を基準フレーム情報とし、基準フレーム情報に対する残りの第１フレーム情報の相対的な画像の位置ずれ量を、第１の位置ずれ量を各々用いて、第２の位置ずれ量として複数取得し、第２の位置ずれ量に基づき、基準フレーム情報を除く残りの第１フレーム情報に対して第２の位置ずれ量を低減または解消する変換処理を施す変換手段と、を備えたことを要旨とする。

また、本発明の画像整列装置は、画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、複数の第１のフレーム画像を取得する画像整列装置であって、第１の画像情報から第１フレーム情報を順次取得するようにして、Ｎ個（但しＮは２以上の整数）の第１フレーム情報を取得するフレーム取得手段と、取得したＮ個の第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として（Ｎ−１）個取得するずれ量取得手段と、少なくとも（Ｎ−１）個の第１の位置ずれ量を記憶するずれ量記憶手段と、Ｎ個の第１フレーム情報のうち、その取得順が所定番目の第１フレーム情報を基準フレーム情報とし、基準フレーム情報に対する残り（Ｎ−１）個の第１フレーム情報の相対的な画像の位置ずれ量を、（Ｎ−１）個の第１の位置ずれ量を各々用いて、第２の位置ずれ量として（Ｎ−１）個取得し、第２の位置ずれ量に基づき、基準フレーム情報を除く残り（Ｎ−１）個の第１フレーム情報に対して第２の位置ずれ量を低減または解消する変換処理を施す変換手段と、を備えたことを要旨とする。

これらの構成によれば、フレーム取得手段が取得した第１フレーム情報について、基準フレーム情報に対する位置ずれを高速に補正することができる画像整列装置が得られる。

また、本発明は静止画像生成装置としてもよい。すなわち、本発明の静止画像生成装置は、画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を生成する静止画像生成装置であって、第１の画像情報から第１フレーム情報を順次取得するようにして、複数の第１フレーム情報を取得するフレーム取得手段と、取得した複数の第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として取得するずれ量取得手段と、第１の位置ずれ量を記憶するずれ量記憶手段と、複数の第１フレーム情報のうち、その取得順が所定番目の第１フレーム情報を基準フレーム情報とし、基準フレーム情報に対する残りの第１フレーム情報の相対的な画像の位置ずれ量を、第１の位置ずれ量を各々用いて、第２の位置ずれ量として複数取得し、第２の位置ずれ量に基づき、基準フレーム情報を除く残りの第１フレーム情報に対して第２の位置ずれ量を低減または解消する変換処理を施す変換手段と、変換処理後の第１フレーム情報および基準フレーム情報のうち少なくとも１つの第１フレーム画像を選択して、選択した第１フレーム画像の画素を合成して、第２フレーム画像を生成する合成手段と、を備えたことを要旨とする。

また、本発明の静止画像生成装置は、画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を生成する静止画像生成装置であって、画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を時系列に連続してなる第２の画像情報を生成する画像生成装置であって、第１の画像情報から第１フレーム情報を順次取得するようにして、Ｎ個（但しＮは２以上の整数）の第１フレーム情報を取得するフレーム取得手段と、取得したＮ個の第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として（Ｎ−１）個取得するずれ量取得手段と、少なくとも（Ｎ−１）個の第１の位置ずれ量を記憶するずれ量記憶手段と、Ｎ個の第１フレーム情報のうち、その取得順が所定番目の第１フレーム情報を基準フレーム情報とし、基準フレーム情報に対する残り（Ｎ−１）個の第１フレーム情報の相対的な画像の位置ずれ量を、（Ｎ−１）個の第１の位置ずれ量を各々用いて、第２の位置ずれ量として（Ｎ−１）個取得し、第２の位置ずれ量に基づき、基準フレーム情報を除く残り（Ｎ−１）個の第１フレーム情報に対して第２の位置ずれ量を低減または解消する変換処理を施す変換手段と、変換処理後の第１フレーム情報および基準フレーム情報のうち少なくとも１つの第１フレーム画像を選択して、選択した第１フレーム画像の画素を合成して、第２フレーム画像を生成する合成手段と、を備えたことを要旨とする。

これらの構成によれば、画質の優れた第２フレーム情報（静止画像）を高速に取得することのできる静止画像生成装置が得られる。

本発明の画像生成方法は、画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を時系列に連続してなる第２の画像情報を生成する画像生成方法であって、第１の画像情報から第１フレーム情報を順次取得するようにして、複数の第１フレーム情報を取得するフレーム取得ステップと、取得した複数の第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として取得するずれ量取得ステップと、第１の位置ずれ量を記憶するずれ量記憶ステップと、複数の第１フレーム情報のうち、その取得順が所定番目の第１フレーム情報を基準フレーム情報とし、基準フレーム情報に対する残りの第１フレーム情報の相対的な画像の位置ずれ量を、第１の位置ずれ量を各々用いて、第２の位置ずれ量として複数取得し、第２の位置ずれ量に基づき、基準フレーム情報を除く残りの第１フレーム情報に対して第２の位置ずれ量を低減または解消する変換処理を施す変換ステップと、変換処理後の第１フレーム情報および基準フレーム情報のうち少なくとも１つの第１フレーム画像を選択して、選択した第１フレーム画像の画素を合成して、第２フレーム画像を生成する合成ステップと、を備えたことを要旨とする。

また、本発明の画像生成方法は、画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を時系列に連続してなる第２の画像情報を生成する画像生成方法であって、第１の画像情報から第１フレーム情報を順次取得するようにして、Ｎ個（但しＮは２以上の整数）の第１フレーム情報を取得するフレーム取得ステップと、取得したＮ個の第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として（Ｎ−１）個取得するずれ量取得ステップと、少なくとも（Ｎ−１）個の第１の位置ずれ量を記憶するずれ量記憶ステップと、Ｎ個の第１フレーム情報のうち、その取得順が所定番目の第１フレーム情報を基準フレーム情報とし、基準フレーム情報に対する残り（Ｎ−１）個の第１フレーム情報の相対的な画像の位置ずれ量を、（Ｎ−１）個の第１の位置ずれ量を各々用いて、第２の位置ずれ量として（Ｎ−１）個取得し、第２の位置ずれ量に基づき、基準フレーム情報を除く残り（Ｎ−１）個の第１フレーム情報に対して第２の位置ずれ量を低減または解消する変換処理を施す変換ステップと、変換処理後の第１フレーム情報および基準フレーム情報のうち少なくとも１つの第１フレーム画像を選択して、選択した第１フレーム画像の画素を合成して、第２フレーム画像を生成する合成ステップと、を備え、フレーム取得ステップ、ずれ量取得ステップ、ずれ量記憶ステップ、変換ステップおよび合成ステップが各々の処理を順次繰り返して第２フレーム情報を時系列に生成することにより第２の画像情報を生成することを要旨とする。

これらの方法によれば、画質の優れた第２フレーム情報（静止画像）を高速に取得することができる。

また、本発明は、画像生成プログラムまたはその画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体としてもよい。すなわち、本発明の画像生成プログラムは、画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を時系列に連続してなる第２の画像情報を生成する画像生成プログラムであって、コンピュータを、第１の画像情報から第１フレーム情報を順次取得するようにして、複数の第１フレーム情報を取得するフレーム取得手段、取得した複数の第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として取得するずれ量取得手段、第１の位置ずれ量を記憶するずれ量記憶手段、複数の第１フレーム情報のうち、その取得順が所定番目の第１フレーム情報を基準フレーム情報とし、基準フレーム情報に対する残りの第１フレーム情報の相対的な画像の位置ずれ量を、第１の位置ずれ量を各々用いて、第２の位置ずれ量として複数取得し、第２の位置ずれ量に基づき、基準フレーム情報を除く残りの第１フレーム情報に対して第２の位置ずれ量を低減または解消する変換処理を施す変換手段、変換処理後の第１フレーム情報および基準フレーム情報のうち少なくとも１つの第１フレーム画像を選択して、選択した第１フレーム画像の画素を合成して、第２フレーム画像を生成する合成手段、として機能させることを要旨とする。

また、本発明の画像生成プログラムは、画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を時系列に連続してなる第２の画像情報を生成する画像生成プログラムであって、コンピュータを、第１の画像情報から第１フレーム情報を順次取得するようにして、Ｎ個（但しＮは２以上の整数）の第１フレーム情報を取得するフレーム取得手段、取得したＮ個の第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として（Ｎ−１）個取得するずれ量取得手段、少なくとも（Ｎ−１）個の第１の位置ずれ量を記憶するずれ量記憶手段、Ｎ個の第１フレーム情報のうち、その取得順が所定番目の第１フレーム情報を基準フレーム情報とし、基準フレーム情報に対する残り（Ｎ−１）個の第１フレーム情報の相対的な画像の位置ずれ量を、（Ｎ−１）個の第１の位置ずれ量を各々用いて、第２の位置ずれ量として（Ｎ−１）個取得し、第２の位置ずれ量に基づき、基準フレーム情報を除く残り（Ｎ−１）個の第１フレーム情報に対して第２の位置ずれ量を低減または解消する変換処理を施す変換手段、変換処理後の第１フレーム情報および基準フレーム情報のうち少なくとも１つの第１フレーム画像を選択して、選択した第１フレーム画像の画素を合成して、第２フレーム画像を生成する合成手段、として機能させ、フレーム取得手段、ずれ量取得手段、ずれ量記憶手段、変換手段および合成手段が各々の処理を順次繰り返して第２フレーム情報を時系列に生成することにより第２の画像情報を生成することを要旨とする。

プログラムの記録媒体としては、フレキシブルディスクなどの磁気ディスク、ＣＤ−ＲやＤＶＤ−Ｒなどの光ディスク、ＭＯなどの光磁気ディスクなどのコンピュータが読み取り可能な種々の記録媒体を利用することができる。

以下、本発明の実施形態について図面を用いて説明する。

図１は、本実施形態の画像生成装置のハードウェア構成を示す図である。

この画像生成装置１は汎用のパーソナルコンピュータであり、コンピュータ２には、演算処理の中心的役割を果たすＣＰＵ３を備え、このＣＰＵ３がシステムバス４を介してコンピュータ２全体の制御を行う。また、このシステムバス４にはＲＯＭ５、ＲＡＭ６、ハードディスク７、ＣＤ−Ｒ／ＲＷドライブ８、ＩＥＥＥ１３９４用インターフェイス９、ＵＳＢ用インターフェイス１０およびＬＣＤ用インターフェイス１１等の各種機器が接続されている。

ハードディスク７には、本発明にある画像生成アプリケーションのプログラムおよびオペレーティングシステム（ＯＳ）が格納されている。ＩＥＥＥ１３９４用インターフェイス９にはデジタルビデオカメラ１２が接続されており、撮影した動画像ファイルはＩＥＥＥ１３９４ケーブルを介して画像生成装置１に取り込むことができるようにしている。また、ＬＣＤ用インターフェイス１１には液晶ディスプレイ１４が、ＵＳＢ用インターフェイス１０には、キーボード１５およびマウス１６が接続されているので、液晶ディスプレイ１４の表示画面に従って、キーボード１５およびマウス１６から命令を入力することにより画像生成アプリケーションの起動および操作を行うことができる。さらに、ＵＳＢ用インターフェイス１０にはプリンタ１３が接続され、画像生成装置１で生成した画像をプリンタ１３に出力することにより印刷を行うようにしている。

コンピュータ１は、所定のオペレーションシステムの下で、ハードディスク７から画像生成アプリケーションのプログラムを読み出し、コンピュータ１内部に備わるＲＡＭ６に記憶させて、プログラムを実行する。プログラムを実行すると、画像処理アプリケーションが起動し、コンピュータ２は、液晶ディスプレイ１４に表示させるユーザーインターフェイス画面（図２参照）に従って、キーボード１５またはマウス１６から入力される命令に対応して画像処理を行う画像生成装置１として機能する。なお、画像処理プログラムは、ＣＤ−ＲＯＭ１７に記録された状態でユーザーに供給され、ＣＤ−Ｒ／ＲＷドライブ８より読み出して、コンピュータ２内部に備わるハードディスク７に記録するようにしている。もっとも、ＣＤ−ＲＯＭ１７に限ることなくＤＶＤ−ＲＯＭなどの光ディスク、フレキシブルディスク等の磁気ディスク、光磁気ディスク、不揮発性メモリ等の記録媒体であってもよい。また、インターネットなどのネットワーク回線を通じて、画像処理プログラムをコンピュータ１に供給するようにしてもよい。

このように、オペレーティングシステム（ＯＳ）のもとで、画像生成アプリケーションのプログラムを実行することにより、コンピュータ２は以上に述べた各種機器に対して制御を行う画像生成装置１として機能する。なお、本実施形態に係るこの画像生成装置１は、入力した動画ファイルである元動画像ＭＡ（第１の画像情報）に対して動画の画質を向上させる処理を行い、処理後の動画ファイルである生成動画像ＭＢ（第２の画像情報）を新たに生成・出力するものである。この元動画像ＭＡの画質を向上させる処理を、以下では、鮮明化処理と呼ぶことにする。

プログラムを実行すると、画像生成アプリケーションが起動して、図２に示すユーザーインターフェイス画面が液晶ディスプレイ１４に表示される。図２に示すように、このユーザーインターフェイス画面は、処理を行う動画ファイルが収められたディレクトリを入力する入力動画ファイル指定部２０と、処理を行い生成した動画ファイルを出力するディレクトリを入力する出力動画ファイル指定部２１と、出力画像フォーマットを指定する出力動画フォーマット選択部２２と、動画ファイルに対する処理を開始させる鮮明化処理開始ボタン２３と、から構成されている。したがって、入力動画ファイルおよび出力動画ファイルを出力するディレクトリを指定して、動画の鮮明化処理開始ボタン２３を押下すると、入力動画ファイルに対して鮮明化処理を行った出力動画ファイルを新たに生成し、記録することができる。また、出力動画フォーマット選択部２２は、ＡＶＩ（ＡｕｄｉｏＶｉｄｅｏＩｎｔｅｒｌｅａｖｉｎｇ）などの予め用意された動画フォーマットの中から任意に選択できるようにしている。このように、ユーザーインターフェイス上で操作することにより、画像生成アプリケーションの操作を行う。

次に、この画像生成装置１の機能的な構成について説明する。図３は、画像生成装置１の機能的な構成の概略を示している。

画像生成装置１は、元動画像ＭＡからフレーム画像Ｆ（第１フレーム情報）を順次取得するフレーム取得手段３０と、順次取得した複数のフレーム画像Ｆ（複数の第１フレーム情報）を記憶するフレーム記憶手段３１と、複数のフレーム画像Ｆから位置ずれ量を求め、位置ずれの補正量である位置ずれ補正量を取得するずれ補正量取得手段（ずれ量取得手段）３２と、取得したずれ補正量を記憶するずれ補正量記憶手段（ずれ量記憶手段）３３と、記憶したずれ補正量に基づいて変換処理を行う変換手段３４と、変換した画像を合成して生成フレーム画像（第２フレーム情報）Ｆｍを取得する合成手段３５とから構成されている。実際には、フレーム取得手段３０、変換手段３４および合成手段３５はコンピュータ２に備わるＣＰＵ３が中心となって処理を行うことでその機能を果たしている。また、フレーム記憶手段３１およびずれ補正量記憶手段３３は、ＣＰＵ３の命令によりＲＡＭ６の内部に記憶することによりその機能を果たしている（詳細は後述する）。

図４は、画像生成装置１が行う鮮明化処理の概略を説明する図である。以下、図４に基づき画像生成装置１が行う鮮明化処理について説明する。なお、本実施形態では４つのフレーム画像Ｆを用いて処理を行うものとして、フレーム取得手段３０が取得した４つのフレーム画像Ｆをフレーム画像Ｆ０〜Ｆ３（図４におけるＦ０〜Ｆ３）と呼び、以下に説明を行う。

元動画像ＭＡは、多数の画素をマトリクス状に配列してなる多数のフレーム画像Ｆを、時系列に並べるようにして構成されている。また、これらのフレーム画像Ｆは時系列に連続してとられたものであり、図４では元動画像ＭＡのフレーム画像Ｆは左から右へ向かって時系列に連続した画像が並んでいるものとする。なお、各フレーム画像Ｆは、２５６階調（８ビット）のうちいずれかの階調値を有した多数の画素がマトリクス状に並ぶことにより構成されている。本実施形態では、この各画素は、Ｙ（輝度）、Ｃｂ（ブルーの色差）、Ｃｒ（レッドの色差）の各々について階調数をもつＹＣｂＣｒデータで表現されている。もっとも、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各々について階調数をもつＲＧＢデータであっても良く、フレーム画像Ｆの階調数についても２５６階調に限られるものではなく、１０２４階調（１０ビット）などの他の階調数をもたせても良い。

フレーム取得手段３０は、元動画像ＭＡから時系列に連続した複数のフレーム画像Ｆを取得する（フレーム取得処理）。なお、本実施形態では、時系列に連続した４つのフレーム画像（Ｆ０〜Ｆ３）を取得するようにしているが、例えば５つまたは６つのフレーム画像Ｆを取得するとしても良い。

フレーム記憶手段３１は、フレーム取得手段３０が取得したフレーム画像Ｆをフレーム記憶手段３１自身に記憶する。図５はＲＡＭ内部の記憶領域の様子を示した図である。このように、実際のフレーム記憶手段３１は、ＲＡＭ内の特定のアドレスのメモリ空間（図５ではｍ〜ｍ＋３番地）上に形成され、ＣＰＵ３からの制御により４つのフレーム画像Ｆを記憶することのできるＦＩＦＯ（ＦａｓｔＩｎＦａｓｔＯｕｔ）形式のバッファメモリとしての機能を果たすようにしている。すなわち、元動画像ＭＡの時系列に並んだ４つのフレーム画像Ｆ０〜Ｆ３が順番にフレーム記憶手段３１に記憶される場合、まず、フレーム画像Ｆ０がＲＡＭ内部のｍ番地に格納され、次にフレーム画像Ｆ１がフレーム記憶手段３１に入ると、フレーム画像Ｆ０はｍ番地から（ｍ＋１）番地に移され、ｍ番地には新たにフレーム画像Ｆ１が格納される。同様に、フレーム画像Ｆ２，Ｆ３がフレーム記憶手段３１に入ると、従来記憶されていたフレーム画像Ｆは押し出されるようにして次の番地に移されながら、最大４つのフレーム画像Ｆが格納されるようにしている。４つのフレーム画像Ｆを記憶したフレーム記憶手段３１にさらに新たなフレーム画像Ｆが入った場合には、最も過去にフレーム記憶手段３１が記憶したフレーム画像Ｆが排出され、フレーム記憶手段３１から消去される。なお、図５のＲＡＭ６の記憶領域上には、フレーム記憶手段３１とは別途、ずれ補正量記憶手段３３が設定されている。

ずれ補正量取得手段３２は、フレーム記憶手段３１に記憶された複数のフレーム画像Ｆから、複数のフレーム画像Ｆ間の回転ずれを表す回転ずれ量、および並進ずれを表す並進ずれ量を求め、これを補正するための補正量である回転ずれ補正量および並進ずれ補正量を取得する（ずれ補正量算出処理）。すなわち、フレーム画像Ｆ間の回転ずれおよび並進ずれをなくするような回転ずれ補正量および並進ずれ補正量を算出している。以下では説明を簡略する為、「回転ずれ」および「並進ずれ」の双方を含めて表現した言葉として、「位置ずれ」と呼ぶことにする。したがって、回転ずれ量および並進ずれ量を位置ずれ量、回転ずれ補正量および並進ずれ補正量を位置ずれ補正量と呼ぶことにする。

このとき、複数のフレーム画像Ｆのうちいずれかの一つを位置ずれの相対的な基準となる基準フレーム画像Ｆｂとし、基準フレーム画像Ｆｂ以外のフレーム画像Ｆを対象フレーム画像Ｆｔとする。本実施形態では、フレーム記憶手段３１が記憶するフレーム画像Ｆのうち最も過去（時系列順で１番目）に記憶したフレーム画像Ｆを基準フレーム画像Ｆｂとしている。したがって、図４に示すようにフレーム画像Ｆ０〜Ｆ３が順にフレーム記憶手段３１に記憶されている状態では、フレーム画像Ｆ０を基準フレーム画像Ｆｂとし、基準フレーム画像Ｆｂに対する対象フレーム画像Ｆｔであるフレーム画像Ｆ１〜Ｆ３のそれぞれの位置ずれ補正量を取得することになる。なお、本実施形態ではフレーム記憶手段３１に記憶された４つのフレーム画像Ｆのうち最も過去に記憶したフレーム画像Ｆを基準フレーム画像Ｆｂにしているが、フレーム記憶手段３１に記憶したいずれかのフレーム画像Ｆを基準すればよい。

ずれ補正量記憶手段３３は、ずれ補正量取得手段３２が算出した位置ずれ補正量を記憶する。また、図６に示したように、実際のずれ補正量記憶手段３３は、ＲＡＭ６内の特定のアドレスのメモリ空間（図６ではｎ〜ｎ＋２番地）上に形成され、３つの位置ずれ補正量を記憶することのできるＦＩＦＯ形式のバッファとしての機能を果たすようにしている。なお、本実施形態では、ずれ補正量記憶手段３３およびフレーム記憶手段３１をＰＣ２の汎用のＲＡＭ６に形成するようにしているが、汎用のＲＡＭ６とは別により高速に動作できる専用のフレームバッファを備えるようにしてもよい。

変換手段３４は、ずれ補正量取得手段３２が取得した位置ずれ補正量に基づいて、対象フレームＦｔを基準フレーム画像Ｆｂに合わせるように画素を置き換える処理（変換処理）を行い、時系列に連続した４つのフレーム画像Ｆ０〜Ｆ３間の並進ずれおよび回転ずれを補正する。

合成手段３５は、変換処理を行うことにより位置ずれを補正した４つのフレーム画像Ｆを合成して、より解像度の高い１つの画像である生成フレーム画像Ｆｍを生成する（合成処理）。以上に述べたフレーム取得手段３０、フレーム記憶手段３１、ずれ補正量取得手段３２、ずれ補正量記憶手段３３、変換手段３４および合成手段３５から本画像生成装置１が構成されている。なお、ずれ補正量取得手段３２が行うずれ量算出処理、変換手段３４の行う変換処理および合成手段３５の行う合成処理についての詳細な処理内容については後述することとし、次に全体の処理手順について述べる。

以上に述べた鮮明化処理全体の処理手順を、図６に示すフローチャートを用いて説明する。

画像生成アプリケーションを起動すると、コンピュータ１（ＣＰＵ）が図６のフローチャートで示される画像処理プログラムを実行する。画像処理プログラムによる処理を開始すると、始めに、ステップＳ１では、基準フレーム画像Ｆｂの設定を行う。本実施形態ではフレーム記憶手段３１に記憶されている時系列に並んだ４つのフレーム画像Ｆのうち最も過去に記憶したフレーム画像Ｆを基準フレーム画像Ｆｂに設定する。

次に、ステップＳ２では、対象フレーム画像Ｆｔの設定を行う。ここでは、フレーム記憶手段３１に記憶されているフレーム画像ＦのうちステップＳ１で設定した基準フレーム画像Ｆｂ以外のフレーム画像Ｆを対象フレーム画像Ｆｔに設定する。

次に、ステップＳ３では、ずれ補正量取得処理を行い、基準フレーム画像Ｆｂに対する対象フレーム画像Ｆｔの位置ずれ補正量を取得する。

次に、ステップＳ４では、フレーム変換処理を行い、ステップＳ３で取得した位置ずれ補正量に基づいてフレーム画像Ｆ間の位置ずれを補正する。

次に、ステップＳ５では、位置ずれを補正したフレーム画像Ｆに対してフレーム合成処理を行い、より高い解像度をもつ生成フレーム画像Ｆｍを取得する。ステップＳ５を終えると、鮮明化処理を終了する。

次に、動画像の鮮明化処理の各処理方法（ずれ補正量算出処理、変換処理および合成処理）についてそれぞれ説明する。

図７は、基準フレーム画像Ｆｂと対象フレーム画像Ｆｔとの間の位置ずれの補正について示す説明図である。図７では、図４におけるフレーム画像Ｆ１を対象フレーム画像Ｆｔ、フレーム画像Ｆ０を基準フレーム画像Ｆｂとして、基準フレーム画像Ｆｂに対する対象フレーム画像Ｆｔの位置ずれを補正する様子を示している。なお、画像の位置ずれは、並進ずれ（横方向および縦方向）と、回転ずれとの組み合わせで表される。以下、説明の為、図７における横方向をＸ方向、縦方向をＹ方向、フレーム画像Ｆの中央を中心として角度δを定めることとする。

本実施例では、並進ずれ量のＸ方向成分を「ｕ」、Ｙ方向成分を「ｖ」、回転ずれ量を「δ」と表し、基準フレーム画像Ｆｂに対する対象フレーム画像Ｆｐ（ｐ＝１，２，３）のＸ方向、Ｙ方向およびδ方向のずれ量を「ｕｐ」、「ｖｐ」、「δｐ」と表すこととする。例えば、図７（ｂ）に示すように、対象フレーム画像Ｆ１は、基準フレーム画像Ｆｂに対して、並進ずれ、および回転ずれが生じており、そのずれ量は、ｕ１，ｖ１，δ１と表される。

ここで、対象フレーム画像Ｆｔ（フレーム画像Ｆ１〜Ｆ３）を基準フレーム画像Ｆｂと合成するためには、フレーム画像Ｆ１〜Ｆ３が基準フレーム画像Ｆｂと一致するように、対象フレーム画像Ｆｔの各画素の位置ずれを補正する必要がある。このために用いられる並進ずれ補正量として横方向を「ｕｍ」、縦方向を「ｖｍ」、回転ずれ補正量を「δｍ」と表し、対象フレーム画像Ｆｐ（ｐ＝１，２，３）についての補正量を、それぞれ「ｕｍｐ」、「ｖｍｐ」、「δｍｐ」と表すこととする。すなわち、対象フレーム画像Ｆｔであるフレーム画像Ｆ１についての補正量は、それぞれｕｍ１，ｖｍ１，δｍ１と表される。

ここで、補正とは、対象フレーム画像Ｆｐ（ｐ＝１，２，３）の各画素の位置を、Ｘ方向にｕｐの移動、Ｙ方向にｖｐの移動、およびδｐの回転を施した位置に移動させることを意味している。従って、フレーム画像Ｆｐ（ｐ＝１，２，３）についての補正量ｕｍｐ，ｖｍｐ，δｍｐは、ｕｍｐ＝−ｕｐ，ｖｍｐ＝−ｖｐ，δｍｐ＝−δｐの関係で表される。例えば、フレーム画像Ｆ１についての補正量ｕｍ１，ｖｍ１，δｍ１は、ｕｍ１＝−ｕ１，ｖｍ１＝−ｖ１，δｍ１＝−δ１となる。

以上のことから、例えば、図７（ｃ）に示すように、位置ずれ補正量ｕｍ１，ｖｍ１、δｍ１を用いて、フレーム画像Ｆ１の各画素の位置を変換することにより、フレーム画像Ｆ１を基準フレーム画像Ｆｂに一致させることができる。また、フレーム画像Ｆ１と同様に、フレーム画像Ｆ２，Ｆ３についても、補正量ｕｍ２，ｖｍ２，δｍ２、およびｕｍ３，ｖｍ３，δｍ３、の各値を用いて補正が施され、フレーム画像Ｆ２，Ｆ３の各画素の位置を置き換えを行う。

ところで、各フレーム画像Ｆｐ（ｐ＝１，２，３）についての位置ずれ補正量ｕｍｐ，ｖｍｐ，δｍｐは、ずれ補正量取得手段３２において、基準フレーム画像Ｆｂの画像データと対象フレーム画像Ｆｔの画像データとに基づき、パターンマッチング法および勾配法による所定の算出式を用いて、推定量として算出される。

以下、位置ずれ補正を行う方法について説明する。始めに、位置ずれ補正量から各対象フレーム画像Ｆｔを変換する変換処理の手法について説明する。

図８は、基準フレーム画像Ｆｂに対する対象フレーム画像Ｆｔのずれ量について示す説明図である。図８は、対象フレーム画像Ｆｔが、基準フレーム画像Ｆｂに対して並進ずれおよび回転ずれを補正して重ね合わせるように配置された状態（例えば、図７（ｃ）の状態）を示している。対象フレーム画像Ｆｔの中心を原点とし、横方向をｘ２軸、縦方向をｙ２軸とする直交座標（ｘ２，ｙ２）が、基準フレーム画像Ｆｂの中心を原点とし、横方向をｘ１軸、縦方向をｙ１軸とする直交座標（ｘ１，ｙ１）に対してずれており、このときの横方向の並進ずれ量はｕ、縦方向の並進ずれ量はｖ、回転ずれ量は対象フレーム画像Ｆｔの中心を原点としてδである。このとき、対象フレーム画像Ｆｔの座標を基準フレーム画像Ｆｂ上の座標に変換する変換式は、並進ずれ補正量（ｕｍ，ｖｍ）および回転ずれ補正量δｍを変数として、下式により表される。
ｘ１＝ｃｏｓ（δｍ）×（ｘ２＋ｕｍ）−ｓｉｎ（δｍ）×（ｙ２＋ｖｍ） …（１）
ｙ１＝ｓｉｎ（δｍ）×（ｘ２＋ｕｍ）＋ｃｏｓ（δｍ）×（ｙ２＋ｖｍ） …（２）

なお、元動画像ＭＡを構成する基準フレーム画像Ｆｂと対象フレーム画像Ｆｔとの時間差はごく僅かであるため、δおよびδｍは微小量と考えられる。このとき、ＣＯＳ（δｍ）≒１，ＳＩＮ（δｍ）≒δｍと近似できるため、式（１）および（２）を以下のように置き換えることができる。
ｘ１＝（ｘ２＋ｕｍ）−δｍ・（ｙ２＋ｖｍ） …（３）
ｙ１＝δｍ・（ｘ２＋ｕｍ）＋（ｙ２＋ｖｍ） …（４）

従って、上述したように、対象フレーム画像Ｆｔと基準フレーム画像Ｆｂとを重ね合わせて配置するためには、対象フレーム画像Ｆｔが基準フレーム画像Ｆｂと一致するように、上記した式（３），（４）に位置ずれ補正量（ｕｍ，ｖｍ，δｍ）を代入し、対象フレーム画像Ｆｔの各画素の画素情報を基準フレーム画像Ｆｂ上の画素情報を変換する処理を行えばよい。

次に、位置ずれ補正量（ｕｍ，ｖｍ，δｍ）の算出処理の手法について説明する。
式（３），（４）の変数ｕｍ，ｖｍ，δｍは、以下で説明するように、基準フレーム画像Ｆｂと対象フレーム画像Ｆｔとの間の各画素の画素情報を用いて、１画素よりも細かい単位で画素の位置を推定することができる勾配法（グラディエント法）に基づいて、最小自乗法を用いることにより推定することができる。なお、以下では推定に用いる画素情報として、ＹＣｂＣｒデータで表された画素情報のうち輝度（Ｙ）の階調値を画素値として説明を行うが、実際には、Ｙ（輝度データ）、Ｃｂ（ブルーの色差データ）、Ｃｒ（レッドの色差データ）のそれぞれについて独立して同様の手法を用いることにより推定を行うものである。

図９は、勾配法による並進ずれ補正量の推定方法を示した図である。図９（ａ）には、基準フレーム画像Ｆｂおよび対象フレーム画像Ｆｔの画素および画素値が示されており、ここで（ｘ１（ｉ），ｙ１（ｉ））は基準フレーム画像Ｆｂ上の画素の座標を、Ｂ１（ｘ１（ｉ），ｙ１（ｉ））は、その画素の画素値を表している。同様に、（ｘ２（ｉ），ｙ２（ｉ））は対象フレーム画像Ｆｔ上の画素の座標を、Ｂ２（ｘ２（ｉ），ｙ２（ｉ））はその画素値を表している。ここで、ｉはフレーム画像Ｆの全画素を区別するための番号である。また、図９（ｂ）には、Ｘ方向およびＹ方向に対する画素値が、それぞれ左側・右側に示されている。

ここでは、対象フレーム画像Ｆｔ上の座標（ｘ２（ｉ），ｙ２（ｉ））の画素が、基準フレーム画像Ｆｂの座標（ｘ１（ｉ）〜ｘ１（ｉ）＋１，ｙ１（ｉ）〜ｙ１（ｉ）＋１）の間にあるものとして説明する。すなわち、ｘ２（ｉ）＝ｘ１（ｉ）＋Δｘ，ｙ２（ｉ）＝ｙ１（ｉ）＋Δｙ）と表すことができる。ただし、０＜Δｘ＜１，０＜Δｙ＜１である。

このとき、Ｘ方向について考えると、図９（ｂ）の左側に示すように、対象フレーム画像Ｆｔにおける座標（ｘ２（ｉ），ｙ２（ｉ））の画素が、基準フレーム画像Ｆｂの座標（ｘ１（ｉ）〜ｘ１（ｉ＋１），ｙ１（ｉ））の間、すなわち、画素間の座標である（ｘ１（ｉ）＋Δｘ，ｙ１（ｉ））にあるものとし、以下の式（５）が成り立つものと仮定すると、式（６）の関係が成り立つと推定することができる。
Ｐｘ＝Ｂ１（ｘ１（ｉ）＋１，ｙ１（ｉ））−Ｂ１（ｘ１（ｉ），ｙ１（ｉ））
…（５）
Ｐｘ・Δｘ＝Ｂ２（ｘ２（ｉ），ｙ２（ｉ））−Ｂ１（ｘ１（ｉ），ｙ１（ｉ））
…（６）

この場合、Ｂ１（ｘ１（ｉ），ｙ１（ｉ））およびＢ２（ｘ２（ｉ），ｙ２（ｉ））を単にＢ１，Ｂ２で表すこととして、最小自乗法を用いると次式が得られる。

｛Ｐｘ・Δｘ−（Ｂ２−Ｂ１）｝^２＝０ …（７）
式（７）が成り立つようなΔｘを求めれば、対象フレーム画像Ｆｔの横方向の並進ずれ補正量（Δｘ＝ｕ）を求めることができる。実際には、各画素についてΔｘを算出し、フレーム画像Ｆの画素全体で平均することにより、１つのフレーム画像Ｆに対して１つの並進ずれ補正量を得る。

同様にしてＹ方向についても考えると、図９（ｂ）の右側に示すように、対象フレーム画像Ｆｔにおける座標（ｘ２（ｉ），ｙ２（ｉ））の画素が、基準フレーム画像Ｆｂの座標（ｘ１（ｉ），ｙ１（ｉ）〜ｙ１（ｉ）＋１）の間、すなわち、画素間の座標である（ｘ１（ｉ），ｙ１（ｉ）＋Δｙ）にあるものとし、以下の式（８）が成り立つものと仮定すると、式（９）の関係が成り立つと推定することができる。
Ｐｙ＝Ｂ１（ｘ１（ｉ），ｙ１（ｉ）＋１）−Ｂ１（ｘ１（ｉ），ｙ１（ｉ））
…（８）
Ｐｙ・Δｙ＝Ｂ２（ｘ２（ｉ），ｙ２（ｉ））−Ｂ１（ｘ１（ｉ），ｙ１（ｉ））
…（９）

したがって、Ｂ１（ｘ１（ｉ），ｙ１（ｉ））およびＢ２（ｘ２（ｉ），ｙ２（ｉ））を単にＢ１，Ｂ２で表すこととして、最小自乗法を用いると次式が得られる。
｛Ｐｙ・Δｙ−（Ｂ２−Ｂ１）｝^２＝０ …（１０）

式（１０）が成り立つようなΔｙを求めれば、対象フレーム画像Ｆｔの縦方向の並進ずれ補正量（Δｙ＝ｖ）を求めることができる。実際には、各画素についてΔｙを算出し、フレーム画像Ｆの画素全体で平均することにより、１つのフレーム画像Ｆに対して１つの並進ずれ補正量を得る。

以上の説明では、Ｘ方向（横方向）あるいはＹ方向（縦方向）のいずれか一方向のみを考慮した場合について説明した。Ｘ方向およびＹ方向の両方向を同時に考慮する場合には、これを拡張して式（１１）を得て、式のＳ２が最小となるΔｘ、Δｙを最小自乗法により求めればよい。こうして求められた（Δｘ，Δｙ）が並進ずれ補正量（ｕｍ，ｖｍ）に相当する。
Ｓ２＝Σ｛Ｐｘ・Δｘ＋Ｐｙ・Δｙ−（Ｂ２−Ｂ１）｝^２ …（１１）

以上、勾配法により、対象フレーム画像Ｆｔが基準フレーム画像Ｆｂに対して、ｘ軸方向およびｙ軸方向に平行移動させて重ね合わせたとした場合の並進ずれ補正量（ｕｍ，ｖｍ）を求める手法を説明した。本実施形態では、さらに、対象フレーム画像Ｆｔを基準フレーム画像Ｆｂに対して、回転移動させて重ね合わせる場合も考慮している。以下、その回転ずれ補正量δｍを求める手法について説明する。

図１０は、画素の回転ずれ補正を模式的に示した図である。基準フレーム画像Ｆｂの座標（ｘ１，ｙ１）の原点（すなわち、基準フレーム画像Ｆｂの原点）からの距離をｒとし、ｘ１軸からの回転角度をθとすると、ｒ，θは、下式で表される。
ｒ＝（ｘ１^２＋ｙ１^２）^１／２ …（１２）
θ＝ｔａｎ^−１（ｙ１／ｘ１） …（１３）

ここで、対象フレーム画像Ｆｔの基準フレーム画像Ｆｂに対する並進ずれはなく、回転ずれのみが発生しているものとし、対象フレーム画像Ｆｔにおける座標（ｘ２，ｙ２）の画素が、基準フレーム画像Ｆｂ上の座標（ｘ１，ｙ１）の位置から回転ずれ量δだけ回転した座標（ｘ２，ｙ２）にあるとする。この回転ずれ量δによるｘ１軸方向の移動量Δｘとｙ１軸方向の移動量Δｙは、回転ずれ補正量δｍを用いて下式により求められる。
Δｘ＝ｘ２−ｘ１≒−ｒ・δｍ・ｓｉｎθ＝−δｍ・ｙ１ …（１４）
Δｙ＝ｙ２−ｙ１≒ｒ・δｍ・ｃｏｓθ＝δｍ・ｘ１ …（１５）

そこで、式（１１）におけるΔｘ、Δｙは、並進ずれ補正量（ｕｍ，ｖｍ）だけでなく回転ずれ補正量δｍによる上記式（１４），（１５）を加味すると、下式のように表すことができる。
Δｘ＝ｕｍ−δｍ・ｙ１ …（１６）
Δｙ＝ｖｍ＋δｍ・ｘ１ …（１７）
上記式（１６），（１７）を式（１１）に代入すると、下式が得られる。
Ｓ２＝Σ｛Ｐｘ・（ｕｍ−δｍ・ｙ）＋Ｐｙ（ｖｍ＋δｍ・ｘ）−（Ｂ２−Ｂ１）｝^２
…（１８）

すなわち、基準フレーム画像Ｆｂの座標を（ｘ１（ｉ），ｙ１（ｉ））として、対象フレーム画像Ｆｔの全画素の座標値と画素値を式（１８）に代入したときに、Ｓ２を最小にする位置ずれ補正量ｕｍ，ｖｍ，δｍを最小自乗法によって求めることができる。こうして得られるずれ量ｕｍ，ｖｍ，δｍは、以下の式で表される。なお、ここでのｉは全画素を区別する番号を表している。
ｕｍ＝（（ｍ_δ×Ｍ０２−ｍ_ｖ ^２）ｃ_ｕ＋（ｍ_ｕ×ｍ_ｖ−ｍ_δ×Ｍ１１）ｃ_ｖ）
＋（ｍ_ｖ＋×Ｍ１１−ｍ_ｕ×Ｍ０２）ｃ_δ／ｄ …（１９）
ｖｍ＝（（ｍ_ｕ×ｍ_ｖ−ｍ_δ×Ｍ１１）ｃ_ｕ＋（ｍ_δ×Ｍ２０−ｍ_ｕ ^２）ｃ_ｖ
＋（ｍ_ｕ×Ｍ１１−ｍ_ｖ×Ｍ２０）ｃ_δ））／ｄ …（２０）
δｍ＝（（ｍ_ｖ×Ｍ１１−ｍ_ｕ×Ｍ０２）ｃ_ｕ＋（ｍ_ｕ×Ｍ１１−ｍ_ｖ×Ｍ２０）ｃ_ｖ
＋（Ｍ２０×Ｍ０２−Ｍ１１^２）ｃ_δ）／ｄ …（２１）

また、式（１９）〜式（２１）で用いた、Ｍ０２，Ｍ１１，Ｍ２０，ｍ_ｕ，ｍ_ｖ，ｍ_δ，ｃ_ｕ，ｃ_ｖ，ｃ_δおよびｄは、以下に示した式（２２）〜（３３）で表される。

以上のように式（１９）〜式（３３）を用いて、基準フレーム画像Ｆｂと対象フレーム画像Ｆｔとの間の１画素未満の並進ずれおよび回転ずれを表す並進ずれ補正量（ｕｍ，ｖｍ）および回転ずれ補正量（δｍ）を精度よく求めることができる。

次に、並進ずれ補正量および回転ずれ補正量の推定処理について図１１のフローチャートを用いて説明する。

処理を開始すると、始めに、ステップＳ３１において、各変数について初期化を行う。すなわち、式（２２）〜式（３３）にあるように、画素ごとに総和をとる必要のある変数（Ｍ１１，ｍ_ｕ，ｍ_ｖ，ｍ_δ，ｃ_ｕ，ｃ_ｖ，ｃ_δ）の値を０に設定する。

次に、ステップＳ３２では、基準フレーム画像Ｆｂの全画素のうちいずれか一つを注目画素に設定する。なお、後に述べるステップＳ３５より処理が戻ってきている場合は、一度設定された画素が再度設定されることがないように注目画素を順次設定する。

次に、ステップＳ３３では、対象フレーム画像Ｆｔから注目画素の位置に対応して位置する対象注目画素を設定する。

次に、ステップＳ３４では、注目画素および対象注目画素について式（２２）〜式（３３）に基づいて各変数を算出する。

次に、ステップＳ３５では、ステップＳ３２〜Ｓ３４の処理が全画素について行われたか否かを判断する。全画素について処理が行われていた場合（Ｙｅｓ）、ステップＳ３６に進む。全画素について処理が行われていなかった場合（Ｎｏ）、ステップＳ３２に戻り再度注目画素の設定を行う。

ステップＳ３６では、ステップＳ３４において求めた各変数および式（３３）より求められるｄから、式（１９）〜式（２１）を用いて並進ずれ補正量ｕｍ，ｖｍおよび回転ずれ補正量δｍを取得する。ステップＳ３６が終了すると、ずれ補正量取得処理を終了する。

次に、フレーム変換処理について説明する。変換手段３４により行われるフレーム変換処理は、フレーム取得手段３０が取得した複数のフレーム画像Ｆのうち少なくとも一つを、ずれ補正量取得手段３２により求めた並進ずれ補正量（ｕｍ，ｖｍ）および回転ずれ補正量δｍに基づいて画像間の並進ずれや回転ずれを少なくするように、並進および回転を行う処理を行う。本実施形態では、時系列順に並んだ複数のフレーム画像Ｆのうち最も過去のフレーム画像Ｆに対する各フレーム画像Ｆのずれがなくなるように、複数のフレーム画像Ｆの少なくとも一つに変換処理が行うようにして、変換処理後の複数のフレーム画像Ｆを得る。このとき、変換処理後のフレーム画像Ｆの各画素は、後述する合成処理の精度を確保する為に、フレーム画像Ｆの画素よりも位置精度を上げて表現した大きな位置情報をもつようにしている。

ここで、第一のフレーム画像Ｆｐの次に第二のフレーム画像Ｆｑがあるとき、第一のフレーム画像Ｆｐに対する第二のフレーム画像Ｆｑの並進ずれ補正量を（ｕｍ（ｐ−ｑ），ｖｍ（ｐ−ｑ））、回転ずれ補正量を（δｍ（ｐ−ｑ））と表すこととする。このとき、第二のフレーム画像Ｆｑについて第一のフレーム画像Ｆｐとの位置ずれをなくすように変換処理を行うには、第二のフレーム画像を（ｕｍ（ｐ−ｑ），ｖｍ（ｐ−ｑ））だけ並進させ、さらにδｍ（ｐ−ｑ）だけ回転させる処理を行うとよい。したがって、式（１）および式（２）の変換式を用いると、次に示す式（３４）および式（３５）により、（ｘ（ｑ），ｙ（ｑ））の座標をずれ補正量だけ変換して補正した画素の座標（ｘ（ｐ），ｙ（ｐ））が得られる。
ｘ（ｐ）＝ｃｏｓ（δｍ（ｐ−ｑ））・（ｘ（ｑ）−ｕｍ（ｐ−ｑ））
−ｓｉｎ（δｍ（ｐ−ｑ））・（ｙ（ｑ）−ｖｍ（ｐ−ｑ）） …（３４）
ｙ（ｐ）＝ｓｉｎ（δｍ（ｐ−ｑ））・（ｘ（ｑ）−ｕｍ（ｐ−ｑ））
−ｃｏｓ（δｍ（ｐ−ｑ））・（ｙ（ｑ）−ｖｍ（ｐ−ｑ）） …（３５）

次に、以上に述べたフレーム変換処理の処理フローを図１２を用いて説明する。
フレーム変換処理を開始すると、始めに、ステップＳ４１において、座標変換する対象フレーム画像Ｆｔの設定を行う。すなわち、フレーム記憶手段３１に記憶されているフレーム画像Ｆのうち、基準フレーム画像Ｆｂを除いたフレーム画像Ｆのうちいずれかひとつを選択する。

次に、ステップＳ４２では、ステップＳ４１で設定した対象フレーム画像Ｆｔの全画素のうちいずれか一つを注目画素に設定する。なお、処理がステップＳ４４より戻ってきている場合は、一度設定された画素が再度設定されることがないように注目画素を設定する。

次に、ステップＳ４３では、式（３４）および式（３５）に基づいて注目画素の位置を並進ずれ補正量（ｕｍ，ｖｍ）だけ並進、回転ずれ補正量（δｍ）だけ回転させるようにして変換する。

次に、ステップＳ４４では、Ｓ４２およびＳ４３の処理が全画素について行われたか否かを判断する。全画素について処理が行われていた場合（Ｙｅｓ）、ステップＳ４５に進む。全画素について処理が行われていなかった場合（Ｎｏ）、ステップＳ４２に戻り注目画素の設定を行う。

次に、ステップＳ４５では、Ｓ４１〜Ｓ４４の処理が、フレーム記憶手段３１に記憶されているフレーム画像Ｆのうち、基準フレーム画像Ｆｂを除いた全フレーム画像Ｆについて行われたか否かを判断する。全対象フレーム画像Ｆｔについて処理が行われていなかった場合（Ｎｏ）、ステップＳ４１に戻り再度対象フレーム画像Ｆｔの設定を行う。全フレーム画像Ｆについて処理が行われていた場合（Ｙｅｓ）、変換処理を終了する。

以上では勾配法を用いた位置ずれ補正量の推定方法について述べてきたが、この推定を行う前に、並進ずれについて並進補正量を画素単位で検出するようにし、フレーム画像Ｆ間の並進ずれを画素単位で（大ざっぱに）補正しておいてもよい。このようにすると、勾配法による推定精度が向上し、さらに精度よく並進量情報と回転量情報とを取得することができる。このような場合、フレーム画像Ｆ間の並進ずれを画素単位で検出する手法として、パターンマッチング法による推定手法が知られている。以下、パターンマッチング法による推定方法について説明する。

図１３は、パターンマッチング法により並進補正量を推定する様子を模式的に示している。ここで、図の上段に示すように、基準フレーム画像Ｆｂの各画素の画素値をＢ１（ｘ１，ｙ１）、対象フレーム画像Ｆｔにおいて同じ位置の画素の画素値をＢ２（ｘ１，ｙ１）と表すことにする。パターンマッチング法では、基準フレーム画像Ｆｂの画素（ｘ１，ｙ１）を対象フレーム画像Ｆｔの画素（ｘ１，ｙ１）に対応させる場合を基準として、この場合と、対象フレーム画像Ｆｔの画素（ｘ１＋１，ｙ１），（ｘ１−１，ｙ１），（ｘ１，ｙ１＋１），（ｘ１，ｙ１−１）に対応させる場合とで、基準フレーム画像Ｆｂと対象フレーム画像Ｆｔの画素値の差が最も小さくなる位置を求める。したがって、以下に示すＬの値が最も小さくなる位置を求めるとよい。ここで、Σとあるのは、基準フレーム画像Ｆｂと対象フレーム画像Ｆｔとが重なり合う全領域について、各画素値の差を足し合わせることを意味している。
Ｌ＝Σ｜Ｂ２−Ｂ１｜ …（３６）
または、
Ｌ＝Σ（Ｂ２−Ｂ１）^２ …（３７）

例えば、基準フレーム画像Ｆｂの画素（ｘ１，ｙ１）を、対象フレーム画像Ｆｔの画素（ｘ１−１，ｙ１）に対応させたときのＬが最小となっているとき、次には、基準フレーム画像Ｆｂの画素（ｘ１，ｙ１）を対象フレーム画像Ｆｔの画素（ｘ１−１，ｙ１）に対応させる場合と、この画素（ｘ１−１，ｙ１）の周辺の画素、対象フレーム画像の画素（ｘ１，ｙ１），（ｘ１−２，ｙ１），（ｘ１−１，ｙ１＋１），（ｘ１−１，ｙ１−１）のそれぞれに対応させる場合とで、Ｌが最も小さくなる位置を求める。次に、この最もＬが小さい位置の画素について、基準フレーム画像Ｆｂの画素とその周辺の画素とのＬを比較するようにして、繰り返し探索を行う。そして、周辺にあるいずれの画素よりＬが小さい画素が得られたとき、Ｌが最小となる画素が決定し、探索を終了する。

例えば、対象フレーム画像Ｆｔの画素（ｘ１−３，ｙ１−１）のＬが最小となるとき、基準フレーム画像Ｆｂの画素（ｘ１，ｙ１）を対象フレーム画像Ｆｔの画素（ｘ１−３，ｙ１−１）に対応させる場合と、対象フレーム情報Ｆｔの画素（ｘ１−２，ｙ１−１），（ｘ１−４，ｙ１−１），（ｘ１−３，ｙ１），（ｘ１−３，ｙ１−２）に対応させる場合とで、Ｌが最も小さくなる位置を求めたとする。探索の中心の画素（ｘ１−３，ｙ１−１）のＬが最小となるとき、ここで探索を終了する。このとき、図１３の例では探索終了時の対象フレーム画像のずれは（３，１）となる。

一般に、探索終了時に基準フレーム画像Ｆｂの画素（ｘ１，ｙ１）に対応させる対象フレーム画像Ｆｔの画素の位置が（ｘ１−Δｘ，ｙ１−Δｙ）となるとき、基準フレーム画像Ｆｂから対象フレーム画像Ｆｔへの並進ずれ補正量は画素単位として（Δｘ，Δｙ）と表すことができる。

このようにして求めた画素単位の並進ずれ補正量を用いて、対象フレーム画像Ｆｔについて並進ずれ補正量だけ画素をずらしてから勾配法を用いることにより、より高精度な動き推定を行うことができる。したがって、より高精度な位置ずれ補正量を求めることができる。

なお、本実施形態では、元動画像ＭＡの最後の３枚のフレーム画像Ｆに対しては、新たに取得するフレーム画像Ｆがなくなるので、処理に用いるフレーム画像Ｆが不足し、適切に鮮明化処理を行うことができない。このように新たに取得するフレーム画像Ｆがない場合は、フレーム記憶手段３１は、最も過去に記憶したフレーム画像Ｆを消去せずに、最後の３枚のフレーム画像Ｆに対応するフレームを基準フレーム画像Ｆｂとして、その前後のフレーム画像Ｆを用いて鮮明化処理を行えばよい。

次に、図１４および図１５を用いて合成処理の処理方法について説明する。
図１４では、基準フレーム画像Ｆｂであるフレーム画像Ｆ０と、位置ずれ補正の行われたフレーム画像Ｆ１〜Ｆ３とを重ね合わせ、拡大して表示した様子を示している。また、フレーム画像の２／３倍の画素間隔となるように生成フレーム画像Ｆｍの画素が示されている。すなわち、生成フレーム画像Ｆｍが、フレーム画像Ｆ０〜Ｆ３より大きな画素密度・高い解像度をもつように合成を行っている。図１４では基準フレーム画像Ｆｂであるフレーム画像Ｆ０の画素は白抜きの四角で表示され、対象フレーム画像Ｆｔであるフレーム画像Ｆ１〜Ｆ３の画素をそれぞれ縦、横、縦横のハッチングを施した四角で表示している。生成フレーム画像Ｆｍの画素は黒塗りの丸で表示している。
ここで、図１４における生成フレーム画像Ｆｍの中心に位置している画素に着目し、これを注目画素として、この注目画素の画素値を算出する手法について述べることとする。なお、ここでいう注目画素とは、フレーム変換処理を説明する際に用いた注目画素とは異なるものである。

ここで、本実施形態の生成フレーム画像Ｆｍは、１画素単位で画素位置が規定されているフレーム画像Ｆよりも細かな単位の画素位置情報を有しているものとして説明する。すなわち、図１４にあるように、フレーム画像Ｆより多い画素数をもつ（高い解像度をもつ）生成フレーム画像Ｆｍを生成している。なお、生成される生成フレーム画像Ｆｍは、フレーム画像Ｆと同じ画素数としてもよいし、フレーム画像Ｆよりも少ない画素数（低解像度）とすることもできる。

まず、フレーム画像Ｆ０〜Ｆ３の全画素のうち、注目画素の近傍に存在する画素と注目画素との距離が最も小さい画素をもつフレーム画像Ｆの選択を行う。例えば、図１４においては、フレーム画像Ｆ０〜Ｆ３のうち注目画素に最も近い画素４０をもつフレーム画像Ｆ３が選択される。

最短画素を含むフレーム画像Ｆを取得すると、このフレーム画像Ｆの画素値（ＹＣｂＣｒデータ）を用いて、バイ・リニア法等の所定の補間処理を行い、注目画素の画像データを生成する。その際、ＹＣｂＣｒデータのまま画像データを生成してもよいし、所定の換算式を用いてＹＣｂＣｒデータを各ＲＧＢ階調値からなるＲＧＢデータに変換してＲＧＢからなる画像データを生成してもよい。

また、以下に説明するように、本実施形態では補完処理としてはバイ・リニア法を用いているが、バイ・キュービック法やニアレスト・ネイバー法などの手法を用いてもよい。また、鮮明化処理に係る処理量からＣＰＵ３への負荷を判断して、ＣＰＵ３の処理能力に合わせていずれかの補完処理手法を選択するようにしてもよい。

図１５は、バイ・リニア法による補間処理を行う様子を模式的に示した図である。図１５では、図１４で選択されたフレーム画像Ｆ３と生成フレーム画像Ｆｍとを重ねて表示しており、取得したフレーム画像Ｆから最短画素４１ａ（画素４０）を含めて、注目画素を囲む周辺の４つの画素４１ａ〜ｄの階調データを用いてバイ・リニア法による補間処理を行う。バイ・リニア法は、補間演算に用いる画素４１ａ〜ｄの一方から他方へと近づくにつれて階調データの重み付けが徐々に変化していき、その変化が両側の画素の階調データだけに依存する一次関数とされている。ここで、内挿したい注目画素を取り囲む四つの画素４１ａ〜ｄで区画される領域を当該注目画素ｉで四つの区画に分割し、その面積比で対角位置のデータに重み付けすれば良い。このようにして、注目画素の画素値を得ることができる。

次に、注目画素の生成フレーム画像Ｆｍの各画素について、同様の処理を行えば、すべての画素についての画素値を推定することができる。このように、本画像生成装置１では、画素値を生成する注目画素を順次移動させながら、基準フレーム情報画像Ｆｂと対象フレーム画像Ｆｔの全画素のうち注目画素の周辺に存在する４つの画素の階調データを用いて所定の補間処理を行い、生成フレーム画像Ｆｍの生成を行っている。

次に、図１６に示したフローチャートに基づいて、以上に述べたフレーム合成処理の処理フローについて説明する。

始めに、ステップＳ５１では、画像生成装置１が取得する生成動画像ＭＢの解像度を取得する。例えば、ディスプレイにユーザーインターフェイス画面を表示し、出力動画フォーマット選択部２２のフォーマットごとに予め指定された解像度を設定しておき、ユーザーが指定したフォーマットに合わせて解像度を取得すればよい。

次に、ステップＳ５２では、ステップＳ５１で取得した解像度に合わせて生成フレーム画像Ｆｍの画素を設定する（図１４参照）。

次に、ステップＳ５３では、生成フレーム画像Ｆｍの全画素のうちいずれか一つを注目画素に設定する。ここで、ステップＳ５６より戻ってきている場合は、一度設定された画素が再度設定されることがないように注目画素を設定する。

次に、ステップＳ５４では、注目画素の近傍に位置する対象フレーム画像Ｆｔの画素と生成フレーム画像Ｆｍの注目画素との距離を算出する。

次に、ステップＳ５５では、Ｓ５４で求めた距離が最小となる画素を取得し選出する。

次に、ステップＳ５６では、Ｓ５５で選出された画素を含んだフレーム画像Ｆを選出する。

次に、ステップＳ５７では、注目画素に対応する位置を囲むように位置した４つの画素の画素値を取得し、４つの画素に対して補間処理を行い、注目画素位置における画素値を求める。

次に、ステップＳ５８では、生成フレーム画像Ｆｍの全ての画素について、Ｓ５３〜Ｓ５７の処理が行われたか否かを判断する。全ての画素について処理が行われていない場合には（Ｎｏ）、ステップＳ５３に戻る。全ての画素について処理が行われた場合には（Ｙｅｓ）、合成処理を終了する。

以上に述べた処理により、複数のフレーム画像Ｆを合成することによって、より高い画素密度と適切な画素値をもつ生成フレーム画像Ｆｍを得ることができる。したがって、複数のフレーム画像Ｆから構成される元動画像ＭＡについて、フレーム画像Ｆのひとつひとつに対して鮮明化処理を行うことにより、解像度が高く画質の優れた生成動画像ＭＢを得ることができる。

なお、従来の技術では、複数のフレーム画像Ｆから生成フレーム画像Ｆｍを合成する際に並進ずれ量のみを補正していたため、回転成分をもつ位置ずれを補正することができなかった。例えば、撮影時に手ぶれを生じながら撮影された元動画像ＭＡに対しては、適切に補正を行うことができなかった。しかし、本画像生成装置１では、並進ずれおよび回転ずれを補正してから合成するようにして生成フレーム画像Ｆｍを生成するので、回転成分をもつ手ぶれも補正することができる。したがって、従来からある技術より高画質な動画像を得ることができる。

ここで、以上に述べた処理によると、元動画像ＭＡを構成する全てのフレーム画像Ｆに鮮明化処理を行うようにして、より解像度の高い生成動画像ＭＢを得るようにしている。ここで、ひとつの生成フレーム画像Ｆｍを得るためには３つのフレーム画像Ｆに対して位置ずれ量をそれぞれ求めているので、コンピュータ２に備わるＣＰＵ３の処理量が多くなり、多大な処理時間を要する可能性がある。したがって、長い処理待ち時間が生じる可能性がある。

そこで、本画像生成装置１は、鮮明化処理の処理速度を高速化することを目的として、図１７に示すように、フレーム取得手段３０が取得したフレーム画像Ｆを記憶するフレーム記憶手段３１と、記憶したフレーム画像Ｆ間の位置ずれ補正量を記憶するずれ補正量記憶手段３３と、を更に備えている。以下、フレーム記憶手段３１およびずれ補正量記憶手段３３を備えた画像生成装置１について説明する。始めに、画像生成装置１の各構成要素の機能について説明する。

フレーム取得手段３０は、時系列に並べたフレーム画像Ｆからなる元動画像ＭＡより、時系列に連続した複数のフレーム画像Ｆを取得する。本実施形態では、４つのフレーム画像Ｆを取得するとしている。

フレーム記憶手段３１は、ＦＩＦＯ形式のＲＡＭであり（図５参照）、本実施形態のフレーム記憶手段３１は４つのフレーム画像Ｆを記憶する記憶容量を有している。すなわち、図５におけるＲＡＭ６のｍ番地〜ｍ＋３番地にアドレス設定され、それぞれのアドレスには位置ずれ補正量（並進ずれ補正量および回転ずれ補正量）が格納され、ＣＰＵ３によりＦＩＦＯ形式のＲＡＭとして機能するように制御されている。したがって、フレーム記憶手段３１は、新たなフレーム画像Ｆを記憶する際に、すでに４つのフレーム画像Ｆが記憶されていれば、そのうち最も過去に記憶したフレーム画像Ｆを消去してから、新たなフレーム画像Ｆを記憶し、過去に記憶したフレーム画像Ｆはアドレスを一つ繰り上げるようにして、格納された順番を管理するようにしている。４つのフレーム画像Ｆが記憶されていなければ、過去に記憶していたフレーム画像Ｆに加えて、新たなフレーム画像Ｆを記憶する。例えば、図５において、新たに記憶するフレーム画像Ｆがアドレスｍ番地に格納された場合、過去にｍ番地に格納されていたフレーム画像Ｆは、ｍ＋１番地に移るようにして、順次格納される。

次に、ずれ補正量取得手段３２は、フレーム記憶手段３１に記憶されているフレーム画像Ｆを読み出し、連続したフレーム画像Ｆ間の位置ずれ量を算出する。例えば、フレーム記憶手段３１に、４つのフレーム画像Ｆ０〜Ｆ３が記憶されている場合では、フレーム画像Ｆ０とフレーム画像Ｆ１、フレーム画像Ｆ１とフレーム画像Ｆ２、フレーム画像Ｆ２とフレーム画像Ｆ３の３つの位置ずれ量を算出する。またここで算出した位置ずれ量から、フレーム画像Ｆ間のずれ補正量を取得する。このように、並進ずれ量（ｕ，ｖ）から並進ずれ補正量（ｕｍ，ｖｍ）を、回転ずれ量（δ）から回転ずれ補正量（δｍ）を取得する。

ずれ補正量記憶手段３３はＦＩＦＯ形式のＲＡＭ６であり（図５参照）、本実施形態では３つの位置ずれ補正量を記憶する記憶容量を備えている。すなわち、ずれ補正量取得手段３２が取得した並進ずれ補正量（ｕｍ，ｖｍ）および回転ずれ補正量（δｍ）が、ずれ補正量記憶手段３３に記憶される。また、ＦＩＦＯ形式であるので、上述したフレーム記憶手段３１と同様に、新たなずれ補正量を記憶する際に、ずれ補正量記憶手段３３に既に３つの位置ずれ補正量が記憶されていれば、最も過去に記憶した位置ずれ補正量を消去してから、新たな位置ずれ補正量を記憶する。また、このとき、記憶されているアドレスを一つ繰り上げるようにして、位置ずれ補正量を格納された順番に管理している。

変換手段３４は、ずれ補正量記憶手段３３に記憶されている連続した２つのフレーム画像Ｆ間の位置ずれ補正量から基準フレーム画像Ｆｂに対する各フレーム画像Ｆの位置ずれ補正量を取得する（この処理の詳細については、後述する）。取得した基準フレームＦｂに対する位置ずれ補正量に基づいて式（１９）〜式（３３）によりフレーム画像Ｆの変換処理を行う。

合成手段３５は、変換処理後の複数のフレーム画像Ｆに対して上述した合成処理を行い、生成フレーム画像Ｆｍを生成する。

なお、以上の説明では常にフレーム記憶手段３１に４つのフレーム画像Ｆが記憶されていることを前提に説明している。しかし、本実施形態のようにフレーム記憶手段３１が最も過去に記憶したフレーム画像Ｆを基準フレーム画像Ｆｂとする場合、フレーム記憶手段３１が順次フレーム画像Ｆを入れ替える為に、元動画像ＭＡの最後の３つのフレーム画像Ｆについては、次に新しく記憶するフレーム画像Ｆがない。このような場合では、新たに記憶するフレーム画像Ｆがないため、最も過去のフレーム画像Ｆを消去することなく、フレーム記憶手段３１に記憶されている４つのフレーム画像Ｆを用いて処理を継続して行うようにすればよい。

図１８は以上に述べた本実施形態にある画像生成プログラムの処理手順を示したフローチャートである。以下、このフローチャートに基づいて本実施形態にある画像生成装置１の処理手順について述べる。

画像生成プログラムを開始すると、始めに、ステップＳ１００では、元動画像ＭＡのファイルを開き、元動画像ＭＡを構成するフレーム画像Ｆを読み出せるようにする。

次に、ステップＳ１０１では、生成動画像ＭＢのファイルを開き、生成フレーム画像Ｆｍを保存できるようにする。

次に、ステップＳ１０２では、フレーム取得手段３０が元動画像ＭＡからフレーム画像Ｆを時系列順に取得し、フレーム記憶手段３１に記憶することにより、フレーム記憶手段３１の全容量を使用するようにフレーム画像Ｆを記憶させて蓄積する。

次に、ステップＳ１０３では、元動画像ＭＡの先頭のフレーム画像Ｆを基準フレーム画像Ｆｂに設定する。

次に、ステップＳ１０４では、鮮明化処理を行い、生成フレーム画像Ｆｍを取得する。

次に、ステップＳ１０５では、ステップＳ１０４で鮮明化された生成フレーム画像Ｆｍを生成動画像ＭＢに追加する。

次に、ステップＳ１０６では、フレーム取得手段３０は元動画像ＭＡから次のフレーム画像Ｆを取得し、フレーム記憶手段３１に記憶する。このとき、フレーム記憶手段３１に最も過去に記憶されたフレーム画像Ｆはフレーム記憶手段３１から消去される。なお、元動画像ＭＡに次のフレーム画像Ｆがない場合には、新たに記憶するフレーム画像Ｆがないため最も過去に記憶されたフレーム画像Ｆが消去されることがない。基準フレーム画像Ｆｂについての鮮明化処理に用いるようにする。

次に、ステップＳ１０７では、元動画像ＭＡから次に取得するフレーム画像Ｆがあるか否かを判断する。次のフレーム画像がある場合（Ｙｅｓ）、フレーム記憶手段３１に次のフレーム画像Ｆを記憶して、ステップＳ１０８に進む。次のフレーム画像Ｆがない場合（Ｎｏ）、ステップＳ１０９に進む。

ステップＳ１０８では、フレーム記憶手段３１に記憶されているフレーム画像Ｆのうちその取得順が基準フレーム画像Ｆｂのフレーム画像Ｆを、新たな基準フレーム画像Ｆｂに設定する。設定が終われば、次にステップＳ１０４に戻り新たな基準フレーム画像Ｆｂに対する鮮明化処理を行う。

ステップＳ１０９では、生成動画像ＭＢを保存してファイルを閉じる。

次に、ステップＳ１１０では、元動画像ＭＡのファイルを閉じる。以上で、処理を終了する。

図１９は、図１８にある鮮明化処理（ステップＳ１０４）の手順を示したフローチャートである。以下、図１９のフローチャートを用いて、フレーム記憶手段３１およびずれ補正量記憶手段３３を備えた場合の、鮮明化処理の処理について述べる。

鮮明化処理を開始すると、ステップＳ１０４０において、フレーム記憶手段３１に記憶されているフレーム画像Ｆのうち、その取得した順にずれ量を求めるフレーム画像Ｆを選択する。すなわち、フレーム記憶手段３１に記憶されているフレーム画像Ｆを順に選択する。

次に、ステップＳ１０４１では、ステップＳ１０４０で選択したフレーム画像Ｆに対して、選択したフレーム画像Ｆの次に記憶したフレーム画像Ｆを対象フレーム画像Ｆｔとして位置ずれ補正量を算出する。このときの算出方法としては、式（２２）〜式（３３）を算出する際に述べたようにして行う。

次に、ステップＳ１０４２では、ステップＳ１０４１で算出した位置ずれ補正量をずれ補正量記憶手段３３に記憶する。

次に、ステップＳ１０４３では、フレーム記憶手段３１に記憶された全てのフレーム画像Ｆが選択されたか否かを判断する。すなわち、本実施形態では、フレーム記憶手段３１に記憶されているすべてのフレーム画像Ｆを記憶した時系列順に対象フレーム画像Ｆｔに選択しているので（ステップＳ１０４０）、現在選択されている対象フレーム画像Ｆｔがフレーム記憶手段３１に記憶されている最新のフレーム画像Ｆであるか否かを判断すればよい。全てのフレーム画像Ｆが選択されていた場合（Ｙｅｓ）、ステップＳ１０４４に進む。選択されていなかった場合は、ステップＳ１０４０に戻り、次のフレーム画像Ｆの選択を行う。

ステップＳ１０４４では、ずれ補正量記憶手段３３に記憶されている位置ずれ補正量から、基準フレーム画像Ｆｂに対する各フレーム画像Ｆの位置ずれ補正量を算出する。算出の詳細については後述する。

次に、ステップＳ１０４５では、ステップＳ１０４４で求めた位置ずれ補正量に基づいて、フレーム記憶手段３１に記憶されている各フレーム画像Ｆの変換処理を行う。

次に、ステップＳ１０４６では、ステップＳ１０４５で得られたフレーム画像Ｆに合成処理を行う。合成処理を行うことにより鮮明化処理を行った画像を取得し、処理を終了する。

次に、本発明の特徴部分であるフレーム記憶手段３１およびずれ補正量記憶手段３３の動作・働きについて詳細に説明する。なお、以下では、Ｘ方向のずれ補正量ｕｍについて説明しているが、Ｙ方向のずれ補正量ｖｍ、回転ずれ補正量δｍについても同様である。

図２０は、フレーム記憶手段３１に記憶されたフレーム画像Ｆと、ずれ補正量記憶手段３３に記憶されたずれ補正量との関係を説明する図である。図２０（ａ）はフレーム画像Ｆｐ〜Ｆ（ｐ＋３）が、フレーム記憶手段３１に記憶された状態のフレーム記憶手段３１およびずれ量記憶手段３３を示しており、図２０（ｂ）は、新たなフレーム画像Ｆ（ｐ＋４）を記憶することにより、フレーム記憶手段３１からフレーム画像Ｆｐが消去された状態のフレーム記憶手段３１およびずれ量記憶手段３３を示している。

図２０（ａ）に示したように、フレーム記憶手段３１には、動画像ＭＡを構成する時系列に連続した４つのフレーム画像（Ｆｐ〜Ｆ（ｐ＋３））が連続した番地（ｍ番地〜ｍ＋３番地）に記憶されている。このとき、ずれ補正量記憶手段３３には、ずれ補正量取得手段３２により取得された連続したフレーム画像Ｆ間の位置ずれ補正量が、ｍ番地〜ｍ＋２番地に記憶されている。すなわち、ずれ補正量記憶手段３３には、フレーム画像Ｆｐとフレーム画像Ｆ（ｐ＋１）、フレーム画像Ｆ（ｐ＋１）とフレーム画像Ｆ（ｐ＋２）、フレーム画像Ｆ（ｐ＋２）とフレーム画像Ｆ（ｐ＋３）、の３つのフレーム画像Ｆ間の位置ずれ補正量が記憶されている。ここで、フレーム画像Ｆｐとフレーム画像Ｆｑとの位置ずれ補正量をｕｍ（ｐ−ｑ）と表すとすると、図に示すようにずれ補正量記憶手段３３には、位置ずれ補正量ｕｍ（ｐ−（ｐ＋１））、ｕｍ（（ｐ＋１）−（ｐ＋２））およびｕｍ（（ｐ＋２）−（ｐ＋３））が記憶されている。合成手段３５は、ずれ補正量記憶手段３３に記憶された３つの位置ずれ補正量を用いて、基準フレーム画像Ｆｂに対する位置ずれ補正量を算出する。

次に、図２０（ｂ）に示したように、動画像ＭＡからフレーム画像Ｆ（ｐ＋３）に連続する新たなフレーム画像Ｆ（ｐ＋４）がフレーム記憶手段３１に記憶される場合、フレーム記憶手段３１には既に４つのフレーム画像Ｆが記憶されているので、このままではこれ以上フレーム記憶手段３１に記憶させることができない。ここで、本実施形態にあるフレーム記憶手段３１はＦＩＦＯ形式の記憶領域としているので、最も過去に記憶されているフレーム画像Ｆ（ｐ）をフレーム記憶手段３１から消去して、新たなフレーム画像Ｆ（ｐ＋４）を記憶する。この時、フレーム記憶手段３１に残るフレーム画像Ｆ（ｐ＋１）〜Ｆ（ｐ＋３）を格納しているアドレスの番地はそれぞれひとつ繰り上がる。

一方、ずれ補正量記憶手段３３では、図２０（ａ）の時刻において記憶されていたフレーム画像Ｆ（ｐ＋１）とフレーム画像Ｆ（ｐ＋２）、フレーム画像Ｆ（ｐ＋２）とフレーム画像Ｆ（ｐ＋３）間のずれ補正量、すなわち、ｕｍ（（ｐ＋１）−（ｐ＋２））およびｕｍ（（ｐ＋２）−（ｐ＋３））が、記憶されているアドレスをそれぞれひとつ繰り上げるようにして記憶され続ける。最も過去に記憶したずれ補正量（すなわち、図２０（ｂ）におけるフレーム画像Ｆ（ｐ）とフレーム画像Ｆ（ｐ＋１）との間のずれ補正量ｕｍ（ｐ−（ｐ＋１）））は、ずれ補正量記憶手段３３から消去される。そして、ずれ補正量取得手段３２が算出することにより、新たにフレーム記憶手段３１に記憶されたフレーム画像Ｆ（ｐ＋４）と連続するフレーム画像Ｆ（ｐ＋３）のずれ補正量ｕｍ（（ｐ＋３）−（ｐ＋４））が、ずれ補正量記憶手段３３のアドレスｍ番地に記憶される。

図２１は、ずれ補正量記憶手段３３に記憶されたずれ補正量から基準フレーム画像Ｆｂに対する位置ずれ補正量を求める方法を説明する図である。なお、以下では、Ｘ方向の並進ずれ補正量ｕｍを中心に説明を行う。図にあるように、フレーム記憶手段３１が最も過去に記憶したフレーム画像Ｆｐを基準フレーム画像Ｆｂとし、位置ずれ補正量ｕｍ（ｐ−（ｐ＋１））、ｕｍ（（ｐ＋１）−（ｐ＋２））、ｕｍ（（ｐ＋２）−（ｐ＋３））がずれ補正量記憶手段３３のアドレスｎ〜ｎ＋１番地に記憶されている既知の値として説明する。この状態は、図２０（ａ）にあるフレーム記憶手段３１の状態に対応している。

この場合、基準フレーム画像Ｆｂに対してのずれ補正量を求めるので、フレーム画像Ｆｐを基準フレーム画像Ｆｂとしたときの位置ずれ補正量ｕｍ（ｐ−（ｐ＋１））、ｕｍ（ｐ−（ｐ＋２））、ｕｍ（ｐ−（ｐ＋３））を求めると良い。ずれ補正量取得手段３３により連続したフレーム画像Ｆ間の位置ずれ補正量はｕｍ，ｖｍ，δｍとして得られているので、位置ずれ補正量ｕｍ（ｐ−（ｐ＋１））、ｕｍ（（ｐ＋１）−（ｐ＋２））およびｕｍ（（ｐ＋２）−（ｐ＋３））については既に得られている。また、基準フレーム画像Ｆｂに対するフレーム画像Ｆ（ｐ＋１）、Ｆ（ｐ＋２）およびＦ（ｐ＋３）の位置ずれ補正量ｕｍ（ｐ−（ｐ＋１））、ｕｍ（ｐ−（ｐ＋２））およびｕｍ（ｐ−（ｐ＋３））は、以下の式（３８）〜式（４０）より得ることができる。
ｕｍ（ｐ−（ｐ＋１））＝ｕｍ（ｐ−（ｐ＋１）） …（３８）
ｕｍ（ｐ−（ｐ＋２））＝ｕｍ（ｐ−（ｐ＋１））＋ｕｍ（（ｐ＋１）−（ｐ＋２））
…（３９）
ｕｍ（ｐ−（ｐ＋３））＝ｕｍ（ｐ−（ｐ＋１））＋ｕｍ（（ｐ＋１）−（ｐ＋２））
＋ｕｍ（（ｐ＋２）−（ｐ＋３）） …（４０）

ずれ量記憶手段３３に記憶されている位置ずれ補正量ｕｍ（ｐ−（ｐ＋１））、ｕｍ（（ｐ＋１）−（ｐ＋２））およびｕｍ（（ｐ＋２）−（ｐ＋３））を式（３８）〜式（４０）に代入することにより、基準フレームＦｂに対する位置ずれ補正量ｕｍ（ｐ−（ｐ＋１））、ｕｍ（ｐ−（ｐ＋２））およびｕｍ（ｐ−（ｐ＋３））が得られる。

なお、ずれ量記憶手段３３には、Ｙ方向の並進ずれ補正量および回転方向の回転ずれ補正量が記憶されているので、Ｘ方向の並進ずれ補正量ｕｍ（ｐ−ｑ）と同様にして、基準フレーム画像Ｆｂに対するＹ方向の並進ずれ補正量ｖｍ（ｐ−ｑ）および回転ずれ補正量δｍ（ｐ−ｑ）を得ることができる。したがって、Ｙ方向の並進ずれ補正量ｖｍおよび回転ずれ補正量δｍは以下の式（４１）〜式（４６）で与えられる。
ｖｍ（ｐ−（ｐ＋１））＝ｖｍ（ｐ−（ｐ＋１）） …（４１）
ｖｍ（ｐ−（ｐ＋２））＝ｖｍ（ｐ−（ｐ＋１））＋ｖｍ（（ｐ＋１）−（ｐ＋２））
…（４２）
ｖｍ（ｐ−（ｐ＋３））＝ｖｍ（ｐ−（ｐ＋１））＋ｖｍ（（ｐ＋１）−（ｐ＋２））
＋ｖｍ（（ｐ＋２）−（ｐ＋３）） …（４３）
δｍ（ｐ−（ｐ＋１））＝δｍ（ｐ−（ｐ＋１）） …（４４）
δｍ（ｐ−（ｐ＋２））＝δｍ（ｐ−（ｐ＋１））＋δｍ（（ｐ＋１）−（ｐ＋２））
…（４５）
δｍ（ｐ−（ｐ＋３））＝δｍ（ｐ−（ｐ＋１））＋δｍ（（ｐ＋１）−（ｐ＋２））
＋δ（ｍ（ｐ＋２）−（ｐ＋３）） …（４６）

Ｘ方向の位置ずれ補正量の場合と同様に、ずれ補正量記憶手段３３に記憶されているＹ方向および回転方向の位置ずれ量を式（４１）〜式（４６）に代入すると、基準フレーム画像Ｆｂ（ここではフレーム画像Ｆｐ）に対するＹ方向および回転方向の位置ずれ補正量が求まる。

以上に述べた計算を行うことにより、変換手段３４は、ずれ補正量記憶手段３３に記憶された位置ずれ補正量を用いて、式（３８）〜式（４６）に基づき基準フレーム画像Ｆｂに対する位置ずれ補正量を取得することができる。こうして取得した基準フレーム画像Ｆｂに対する位置ずれ補正量を用いて、フレーム画像Ｆの変換処理を行うことができる。

このようにすれば、新たなフレーム画像Ｆを基準フレーム画像Ｆｂとしてずれ補正量を算出する際に、基準フレーム画像Ｆｂとフレーム記憶手段３１に記憶した他の全ての画像についての位置ずれ補正量を求める必要がなくなる。すなわち、過去に算出した位置ずれ補正量の値を引き継いで用いるので、フレーム記憶手段３１に新たに記憶するフレーム画像Ｆと１つ前に記憶したフレーム画像Ｆとの間の位置ずれ補正量を求めるだけで、基準フレーム画像Ｆｂに対するずれ補正量を得ることができる。例えば、図２０にあるように４つのフレーム画像Ｆｐ〜Ｆ（ｐ＋３）を用いて鮮明化処理を行う場合では、従来の方法によると、Ｆｐに対するＦ（ｐ＋１）〜Ｆ（ｐ＋３）の３つの位置ずれ補正量を算出する必要があるところが、本手法によると、新たに、Ｆ（ｐ＋２）に対するＦ（ｐ＋３）の位置ずれ補正量を１つ求めるだけで良い。したがって、位置ずれ補正量を算出するために要する処理量を大幅に低減することができるので、より鮮明化処理の高速化を図った画像生成装置１を得ることができる。

なお、本発明の画像生成装置１は、元動画像ＭＡから取得したフレーム画像Ｆの位置ずれを検出して取得している意味において、本発明にいうずれ量検出装置としての機能を果たしている。すなわち、本発明のずれ量検出装置は、画像生成装置１を構成しているフレーム取得手段３０、フレーム記憶手段３１、ずれ補正量取得手段３２および変換手段３４が基準フレーム画像Ｆｂに対するずれ補正量を求めることにより、その機能を果たしている。

また、本発明の画像生成装置１は、元動画像ＭＡから取得したフレーム画像Ｆに変換処理を行うことにより、互いの位置ずれを補正して整列した複数のフレーム画像Ｆが得られる意味において、本発明にいう画像整列装置としての機能を果たしている。すなわち、本発明の画像整列装置は、フレーム取得手段３０、フレーム記憶手段３１、ずれ補正量取得手段３２および変換手段３４が、基準フレーム画像Ｆｂに対するずれ補正量に基づいて変換処理を行うことにより、その機能を果たしている。

さらに、本発明の画像生成装置１は、元動画像ＭＡから取得したフレーム画像Ｆの位置ずれを検出し、位置ずれを補正して低減または解消した生成フレーム画像Ｆｍを取得する意味において、本発明にいう静止画像生成装置としての機能を果たしている。すなわち、本発明の静止画像生成装置は、フレーム取得手段３０、フレーム記憶手段３１、ずれ補正量取得手段３２、変換手段３４および合成手段３５が、基準フレーム画像Ｆｂに対するずれ補正量に基づいて、静止画像である生成フレーム画像Ｆｍを生成することによりその機能を果たしている。

本実施形態によれば、以下に示す効果が得られる。
（１）鮮明化処理を行うことにより、元動画像ＭＡからより高い解像度をもちながら適切な画素値をもつ生成動画像ＭＢを得ることができる。したがって、より優れた画質をもつ動画像を得ることができる。
（２）ずれ補正量記憶手段３３に記憶された過去に求めた位置ずれ補正量を有効に活用することにより、位置ずれ補正量の算出に要する処理量を低減することができるので、鮮明化処理の高速化を図ることができる。
（３）位置ずれ補正量の算出処理に用いるフレーム画像Ｆは、ハードディスク７などに記憶されている元動画像ＭＡから直接フレーム画像Ｆを読み出すのではなく、ＲＡＭ６のメモリ領域内に形成されるフレーム記憶手段３１に記憶されている画像を読み出して用いている。したがって、読み出し速度の違いがある分、鮮明化処理の高速化を図ることができる。
（４）本実施形態では時系列に連続している複数のフレーム画像Ｆからずれ量を求めている。すなわち、時系列に連続している各々のフレーム画像Ｆ間の位置ずれ量は小さいため、この画像を用いることにより高い推定精度の位置ずれ量が得ることができる。したがって、より適切に鮮明化処理を行うことができるので、優れた画質をもつ生成フレーム画像Ｆｍおよび生成動画像ＭＢを得ることが可能となる。
（５）フレーム記憶手段３１およびずれ量記憶手段３３をＦＩＦＯ形式とすることで、処理に必要となるＲＡＭ６のメモリ領域を必要最小限に抑えることができる。

（第１の変形例）また、一般に、静止画像に求められる画質は、動画像に比べてより優れたものが求められる。そのため、第１の変形例として、出力するものが動画像であるか静止画像であるかを判断して、鮮明化処理のパラメータを変更するようにしてもよい。すなわち、静止画像を出力する場合には生成する静止画像の解像度を高く設定し、動画像を出力する場合には静止画像を出力する場合に比べると低い解像度に設定する。

（第２の変形例）第２の変形例として、出力機器の解像度に合わせて、生成動画像ＭＢの解像度を設定するようにしてもよい。例えば、ＬＣＤディスプレイやプリンタなどの解像度に合わせた生成動画像ＭＢを生成する。これによると、出力機器が行う再生時の解像度変換が行われないので、生成動画像ＭＢの再生時の画質低下を防ぐことができる。

（第３の変形例）本実施形態のように、多数のフレーム画像Ｆから構成される動画像に対して鮮明化処理を行うと、算出するフレーム画像Ｆの解像度や算出に用いるフレーム画像Ｆの数次第によっては、コンピュータ２のＣＰＵ３の演算量が非常に多くなり処理待ち時間が多く発生する。そこで、第４の変形例として、ユーザーが他の作業を行っている時などのＣＰＵ３の空き時間を利用して、ハードディスク７内の動画を自動的に鮮明化して保存するようにしても良い。このようにすれば、動画像の再生時に鮮明化処理を行う為の処理待ち時間が生じることなく、画質の優れた動画像を得ることができる。なお、この場合、一度鮮明化処理が施された動画像ファイルには、処理済みであることを示すメタデータを動画ファイルに付加することが望ましい。このようにすれば、鮮明化処理を行う際に、ファイルに付加されたメタデータを参照して、過去に既に鮮明化処理が行われたファイルに再度鮮明化処理がかけられることを防ぐことができる。

（第４の変形例）第４の変形例として、動画像の鮮明化処理は、動画再生時に行うようにしても良い。また、フレーム取得手段３０は、再生される元動画像ＭＡに同期してフレーム画像Ｆを取得し、合成手段３５は、フレーム取得手段３０が第１フレーム画像を取得する動作に同期して生成フレーム画像Ｆｍを生成するようにすれば、元動画像ＭＡの鮮明化処理と生成動画像ＭＢの再生とを同時に行うことができる。すなわち、第１フレーム画像Ｆの取得に同期して生成フレーム画像Ｆｍを生成するので、鮮明化処理に要する時間の遅延が発生するが、フレーム画像間の時間間隔は同じ間隔とすることができる。したがって、鮮明化処理を行ないながら、生成動画像ＭＢを再生するリアルタイムな処理とすることができる。なお、この場合、コンピュータ２のＣＰＵ３などの処理能力にあわせて、鮮明化処理のパラメータ（生成フレーム画像Ｆｍの解像度、処理に用いるフレーム画像Ｆの数、合成処理に用いる補完処理手法など）を自動的に変更して鮮明化処理に要する演算量を最適化し、リアルタイム再生が行えるようにしてもよい。

（第５の変形例）本実施形態では、フレーム画像Ｆ間の位置ずれ量が大きい場合には、勾配法によるずれ補正量の推定精度が悪くなることが考えられるので、パターンマッチング法を用いて並進ずれの概ずれ量を推定して補正してから、勾配法を用いるようにしている。第５の変形例としては、ずれ補正量記憶手段３３に記憶されている過去のずれ補正量を用いて、新たに記憶されるフレーム画像Ｆのずれ補正量を推定するようにしても良い。推定したずれ補正量は、例えば、本実施形態においてパターンマッチング法により求めていた並進ずれの画素単位の位置ずれ量に替えて用いるようにしてもよい。このようにすれば、パターンマッチング法による動き推定を行う必要がなくなるので、より高速に鮮明化処理を行うことができる。

（第６の変形例）本画像生成装置１は、デジタルビデオカメラ１２の内部に備わるものとしても良い。こうすれば、鮮明化処理を施した生成動画像ＭＢをコンピュータ２などの機器に取り込むことができるので、再生装置側では、鮮明化処理を行うことを意識することなく鮮明化処理の行われた動画像を再生することができる。また、デジタルビデオカメラ１２に画像を表示できる表示部を備えていた場合では、表示部の解像度に合わせて解像度変更するように合成処理を行えば、表示部の表示性能に対応した適切な動画像を再生することができる。

（第７の変形例）本実施形態では、フレーム記憶手段３１およびずれ量記憶手段３３をＦＩＦＯ形式とすることで、処理に必要となるＲＡＭ６のメモリ領域を少なくしようとしている。本発明はこれに限られるものではなく、第１１の変形例として、実際にＰＣが備えているメモリ領域が充分に大きい場合などでは、フレーム画像Ｆおよび位置ずれ補正量を蓄積して記憶するようにしても良い。

（第８の変形例）本実施形態では、フレーム取得手段３０は連続したフレーム画像Ｆを取得するとしているが、連続したフレーム画像Ｆを取得することに限られるものではなく、例えば、連続したフレーム画像間に全くずれがない場合などでは、奇数番のフレーム画像Ｆまたは偶数番のフレーム画像Ｆを取得するようにしても良い。また、例えば、元動画像がインターレース方式であった場合、奇数番のフレーム画像Ｆまたは偶数番のフレーム画像Ｆについて処理を行うようにすることが好ましい。

（第９の変形例）本実施形態では、フレーム記憶手段３１に記憶されてフレーム画像Ｆのうち最も過去に記憶した画像を基準にして処理を行っているが、基準とするフレーム画像Ｆは、フレーム記憶手段３１に記憶されてフレーム画像Ｆのうち最も新しいフレーム画像Ｆや中間にあるフレーム画像Ｆを基準フレーム画像Ｆｂとして、その前後にあるフレーム画像Ｆからずれ量を推定して求めるようにしてもよい。

（第１０の変形例）本実施形態の合成処理において、注目画素に最も近い画素を有するフレーム画像Ｆを選択し、このフレーム情報のうちの複数の画素値から補完処理を行い注目画素の画素値を取得しているが、本発明の合成処理の手法はこれに限られるものではなく、複数のフレーム画像Ｆから注目画素の画素値を取得するようにしていればよい。例えば、注目画素から一定範囲内に画素を有する複数のフレーム画像を選択して、注目画素の画素値を求めるようにしてもよいし、補完に用いるフレーム画像をユーザーが任意に選択できるようにしてもよい。もちろん、フレーム記憶部３１に記憶されている複数のフレーム画像Ｆをすべてのフレーム画像Ｆを用いて補完処理を行っても本発明の主旨を逸脱するものではない。

前記実施形態および前記各変形例から把握される技術的思想を以下に記載する。
（１）請求項１に記載の画像生成装置であって、ずれ量記憶手段は、複数の第１の位置ずれ量を記憶できる記憶容量をもち、新たな第１の位置ずれ量を記憶するときにずれ量記憶手段の記憶容量を越える場合には、ずれ量記憶手段が最も過去に記憶した第１の位置ずれ量を消去し、新たな第１の位置ずれ量を記憶するＦＩＦＯ形式の記憶手段であることを特徴とする画像生成装置。
この構成によれば、ずれ量記憶手段は、過去に求めた第１の位置ずれ量をすべて記憶することがなく、記憶容量を越える分については、最も過去に記憶した第１の位置ずれ量をずれ量記憶手段から消去するので、ずれ量記憶手段の記憶領域を小さくすることができる。
（２）請求項１に記載の画像生成装置において、フレーム取得手段が取得した複数の第１フレーム情報を記憶するフレーム記憶手段を更に備え、ずれ量取得手段は、フレーム記憶手段から第１フレーム情報を取得することを特徴とする画像生成装置。
この構成によれば、ずれ量取得手段は、第１の画像情報からではなく、フレーム記憶手段から第１フレーム情報を取得することができる。したがって、フレーム記憶手段が、画像生成装置が高速にアクセスすることができる場合に、処理の高速化を図ることができる。
（３）（２）に記載の画像生成装置において、フレーム記憶手段は、複数の第１フレーム情報を記憶できる一定の記憶容量をもち、新たな第１フレーム情報を記憶する際にフレーム記憶手段の記憶容量を越える場合には、最も過去に記憶した第１フレーム情報を消去し、新たな第１フレーム情報を記憶するＦＩＦＯ形式の記憶手段であることを特徴とする画像生成装置。
この構成によれば、第１フレーム情報のすべてを記憶することなく、Ｎ個の第１フレーム情報を越える、処理に使用しない第１フレーム情報については、過去に記憶したものから順にフレーム記憶手段から消去することになるので、フレーム記憶手段が使用する記憶領域を小さくすることができる。
（４）請求項１に記載の画像生成装置において、フレーム取得手段は、第１の画像情報から時系列に連続した複数の第１フレーム情報を順次取得することを特徴とする画像生成装置。
この構成によれば、ずれ量取得手段は時系列に連続した２つの第１フレーム情報から第１の位置ずれ量を求めることになるので、処理に用いる第１フレーム情報間の時間差は小さくなり、取得する位置ずれ量も小さい値となる。位置ずれ量が小さくなることにより、誤った推定結果を得る可能性が低減するので、高い推定精度をもつ第１の位置ずれ量を得ることができる。さらに、第１の位置ずれ量から求められる第２の位置ずれ量の推定精度も良くなるので、合成手段は、適切に合成処理を行うことができる。したがって、画質の優れた第２フレーム情報および第２の画像情報を得ることができる。
（５）請求項１に記載の画像生成装置において、合成手段は、変換処理後の第１フレーム情報および基準フレーム情報のうち少なくとも１つの第１フレーム画像を選択して、選択した第１フレーム画像の複数の画素情報に対して補間処理を行うことにより、第２フレーム情報のひとつの画素情報を取得するようにして、第２フレーム情報を生成することを特徴とする画像生成装置。
この構成によれば、複数の画素情報に対して補間処理を行いひとつの画素情報を生成するので、第１フレーム情報の画素情報がもつノイズ成分をそのまま引き継ぐことがなく、ノイズの影響を低減した第２フレーム情報を得ることができる。したがって、画質の優れた第２フレーム情報および第２の画像情報を得ることができる。
（６）請求項１に記載の画像生成装置において、合成手段は、第１フレーム情報より解像度の高い第２フレーム情報を生成することを特徴とする画像生成装置。
この構成によれば、合成処理を行うことにより、第１フレーム情報および第１の画像情報に比べて、より解像度の高い第２フレーム情報および第２の画像情報を得ることができる。したがって、解像度を向上させることにより、より繊細な表現をすることができるので、画質の優れた第２フレーム情報および第２の画像情報が得られることになる。
（７）請求項１に記載の画像生成装置において、ずれ量取得手段は、フレーム取得手段により順次取得された複数の第１フレーム情報について、その取得順で隣り合うものの相対的な画像の並進ずれ量を第１の位置ずれ量として取得し、変換手段は、第２の位置ずれ量に基づき、第１フレーム情報の少なくとも１つに対して第２の位置ずれ量を低減または解消する並進処理を行うことを特徴とする画像生成装置。
この構成によれば、第１の位置ずれ量として並進ずれを取得し、これに基づいて並進処理を行うことによる変換処理を行うので、各第１フレーム情報間の並進ずれを低減または解消した第１フレーム情報を得ることができる。したがって、並進ずれを低減または解消した第１フレーム情報を用いて合成処理を行うので、画質の優れた第２フレーム情報および第２の画像情報を得ることができる。
（８）請求項１に記載の画像生成装置において、ずれ量取得手段は、フレーム取得手段により順次取得された複数の第１フレーム情報について、その取得順で隣り合うものの相対的な画像の回転ずれ量を第１の位置ずれ量として取得し、変換手段は、第２の位置ずれ量に基づき、第１フレーム情報の少なくとも１つに対して第２の位置ずれ量を低減または解消する回転処理を行うことを特徴とする画像生成装置。
この構成によれば、第１の位置ずれ量として回転ずれを取得し、これに基づいて回転処理を行うことによる変換処理を行うので、各第１フレーム情報間の回転ずれを低減または解消した第１フレーム情報を得ることができる。したがって、回転ずれを低減または解消した第１フレーム情報を用いて合成処理を行うので、画質の優れた第２フレーム情報および第２の画像情報を得ることができる。
（９）請求項１に記載の画像生成装置において、ずれ量取得手段は、取得した第１の位置ずれ量から位置ずれを少なくするように補正する量を表す第１の位置ずれ補正量を更に取得し、変換手段は、第１の位置ずれ補正量に基づき変換処理を行うことを特徴とする画像生成装置。
この構成によれば、ずれ量取得手段が取得したずれ量に替えて、位置ずれを低減または解消するために補正する量を表す位置ずれ補正量を用いて処理を行うことができる。
（１０）請求項１に記載の画像生成装置において、変換手段は、複数の第１の位置ずれ量を加減算して、第２の位置ずれ量を取得することを特徴とする画像生成装置。
この構成によれば、第１の位置ずれ量を加減算することにより、第２の位置ずれ量を取得することができる。すなわち、時系列順に並んだ複数の第１フレーム情報のうち、取得順が隣り合う第１フレーム情報について求められた複数の第１の位置ずれ量を、加減算することにより、複数の第１フレーム情報のうちいずれかを基準フレーム情報にしたときであっても、加減算することで第２の位置ずれ量を得ることができる。したがって、第１の位置ずれ量から容易に第２の位置ずれ補正量を取得することができる。
（１１）請求項１に記載の画像生成装置において、ずれ量取得手段は、取得した第１の位置ずれ量から位置ずれを少なくするように補正する量を表す第１の位置ずれ補正量を更に取得し、変換手段は、第１の位置ずれ補正量に基づき変換処理を行うことを特徴とする画像生成装置。
この構成によれば、ずれ量取得手段が取得したずれ量に替えて、位置ずれを低減または解消するために補正する量を表す位置ずれ補正量を用いて処理を行うことができる。
（１２）請求項１に記載の画像生成装置において、フレーム取得手段は、第１の画像情報に同期して第１のフレーム情報を取得し、合成手段は、フレーム取得手段が第１のフレーム情報を取得する動作に同期して、第２のフレーム情報を取得することを特徴とする画像生成装置。
この構成によれば、第１の画像情報に同期して第２のフレーム情報を取得することができる。したがって、十分な処理速度をもちながら、画像情報を再生することができる画像生成装置を用いた場合であっては、第２の画像情報を生成しながらにして、第１の画像情報に同期して第２の画像情報を再生することができる。すなわち、第２の画像情報の生成および再生をリアルタイムに行うことができる。

本発明に係る一実施形態である画像生成装置を示す模式図。ユーザーインターフェイス画面を示す模式図。画像生成装置の機能的構成を示す模式図。鮮明化処理を説明する模式図。鮮明化処理のフローチャート。ＲＡＭ内部のメモリ領域を説明する模式図。フレーム画像間の位置ずれ量を補正する処理を説明する模式図。並進ずれ量と回転ずれ量の概念を説明する模式図。並進ずれおよび回転ずれを推定する方法（勾配法）を説明する模式図。回転ずれ量を補正する方法を説明する模式図。ずれ補正量取得処理のフローチャート。フレーム変換処理のフローチャート。パターンマッチング法を説明する模式図。フレーム合成処理を説明する模式図。フレーム合成処理を説明する模式図。フレーム合成処理のフローチャート。フレーム記憶手段およびずれ補正量記憶手段を説明する模式図。鮮明化処理の全体の処理を示すフローチャート。鮮明化処理を示すフローチャート。フレーム記憶手段およびずれ補正量記憶手段の動作を説明する模式図。位置ずれ補正量を求める方法を説明する模式図。

符号の説明

１…画像生成装置、２…コンピュータ、３…ＣＰＵ、４…システムバス、６…ＲＡＭ、７…ハードディスク、８…ＣＤ−Ｒ／ＲＷドライブ、１２…デジタルビデオカメラ、１３…プリンタ、３０…フレーム取得手段、３１…フレーム記憶手段、３２…ずれ補正量取得手段、３３…ずれ補正量記憶手段、３４…変換手段、３５…合成手段、ＭＡ…元動画像、ＭＢ…生成動画像、Ｆ…フレーム画像、Ｆｂ…基準フレーム画像、Ｆｔ…対象フレーム画像、Ｆｍ…生成フレーム画像、δ…回転ずれ量、ｕ…Ｘ方向の並進ずれ量、ｖ…Ｙ方向の並進ずれ量、δｍ…回転ずれ補正量、ｕｍ…Ｘ方向の並進ずれ補正量、ｖｍ…Ｙ方向の並進ずれ補正量、ｐ…フレーム画像の順番を示す変数、ｑ…フレーム画像の順番を示す変数、ｍ…フレーム記憶部のアドレスを示す変数、ｎ…ずれ量記憶部のアドレスを示す変数。

Claims

画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を時系列に連続してなる第２の画像情報を生成する画像生成装置であって、
前記第１の画像情報から前記第１フレーム情報を順次取得するようにして、複数の前記第１フレーム情報を取得するフレーム取得手段と、
取得した複数の前記第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として取得するずれ量取得手段と、
前記第１の位置ずれ量を記憶するずれ量記憶手段と、
複数の前記第１フレーム情報のうち、その取得順が所定番目の前記第１フレーム情報を基準フレーム情報とし、前記基準フレーム情報に対する残りの前記第１フレーム情報の相対的な画像の位置ずれ量を、前記第１の位置ずれ量を各々用いて、第２の位置ずれ量として複数取得し、
前記第２の位置ずれ量に基づき、前記基準フレーム情報を除く残りの前記第１フレーム情報に対して前記第２の位置ずれ量を低減または解消する変換処理を施す変換手段と、
変換処理後の前記第１フレーム情報および前記基準フレーム情報のうち少なくとも１つの前記第１フレーム画像を選択して、選択した前記第１フレーム画像の画素を合成して、前記第２フレーム画像を生成する合成手段と、を備えたことを特徴とする画像生成装置。
画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を時系列に連続してなる第２の画像情報を生成する画像生成装置であって、
前記第１の画像情報から前記第１フレーム情報を順次取得するようにして、Ｎ個（但しＮは２以上の整数）の前記第１フレーム情報を取得するフレーム取得手段と、
取得したＮ個の前記第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として（Ｎ−１）個取得するずれ量取得手段と、
少なくとも前記（Ｎ−１）個の第１の位置ずれ量を記憶するずれ量記憶手段と、
Ｎ個の前記第１フレーム情報のうち、その取得順が所定番目の前記第１フレーム情報を基準フレーム情報とし、前記基準フレーム情報に対する残り（Ｎ−１）個の前記第１フレーム情報の相対的な画像の位置ずれ量を、（Ｎ−１）個の前記第１の位置ずれ量を各々用いて、第２の位置ずれ量として（Ｎ−１）個取得し、
前記第２の位置ずれ量に基づき、前記基準フレーム情報を除く残り（Ｎ−１）個の前記第１フレーム情報に対して前記第２の位置ずれ量を低減または解消する変換処理を施す変換手段と、
変換処理後の前記第１フレーム情報および前記基準フレーム情報のうち少なくとも１つの前記第１フレーム画像を選択して、選択した前記第１フレーム画像の画素を合成して、前記第２フレーム画像を生成する合成手段と、を備え、
前記フレーム取得手段、前記ずれ量取得手段、前記ずれ量記憶手段、前記変換手段および前記合成手段が各々の処理を順次繰り返して前記第２フレーム情報を時系列に生成することにより前記第２の画像情報を生成することを特徴とする画像生成装置。
請求項２に記載の画像生成装置において、
前記ずれ量記憶手段は、（Ｎ−１）個の前記第１の位置ずれ量を記憶できる記憶容量をもち、新たな前記第１の位置ずれ量を記憶するときに前記ずれ量記憶手段の記憶容量を越える場合には、前記ずれ量記憶手段が最も過去に記憶した前記第１の位置ずれ量を消去し、新たな前記第１の位置ずれ量を記憶するＦＩＦＯ形式の記憶手段であることを特徴とする画像生成装置。
請求項２または３に記載の画像生成装置において、
前記フレーム取得手段が取得したＮ個の前記第１フレーム情報を記憶するフレーム記憶手段を更に備え、
前記ずれ量取得手段は、前記フレーム記憶手段から前記第１フレーム情報を取得することを特徴とする画像生成装置。
請求項４に記載の画像生成装置において、
前記フレーム記憶手段は、Ｎ個の第１フレーム情報を記憶できる一定の記憶容量をもち、新たな前記第１フレーム情報を記憶する際に前記フレーム記憶手段の記憶容量を越える場合には、最も過去に記憶した前記第１フレーム情報を消去し、新たな前記第１フレーム情報を記憶するＦＩＦＯ形式の記憶手段であることを特徴とする画像生成装置。
請求項２ないし５のいずれか一項に記載の画像生成装置において、
前記フレーム取得手段は、第１の画像情報から時系列に連続したＮ個の前記第１フレーム情報を順次取得することを特徴とする画像生成装置。
請求項２ないし６のいずれか一項に記載の画像生成装置において、
前記合成手段は、前記変換処理後の前記第１フレーム情報および前記基準フレーム情報のうち少なくとも１つの前記第１フレーム画像を選択して、選択した前記第１フレーム画像の複数の画素情報に対して補間処理を行うことにより、前記第２フレーム情報のひとつの画素情報を取得するようにして、前記第２フレーム情報を生成することを特徴とする画像生成装置。
請求項２ないし７のいずれか一項に記載の画像生成装置において、
前記合成手段は、前記第１フレーム情報より解像度の高い前記第２フレーム情報を生成することを特徴とする画像生成装置。
請求項２ないし８のいずれか一項に記載の画像生成装置において、
前記ずれ量取得手段は、前記フレーム取得手段により順次取得されたうちのＮ個（但しＮは２以上の整数）の前記第１フレーム情報について、その取得順で隣り合うものの相対的な画像の並進ずれ量を第１の位置ずれ量として（Ｎ−１）個取得し、
前記変換手段は、前記第２の位置ずれ量に基づき、前記基準フレーム情報を除く残り（Ｎ−１）個の前記第１フレーム情報に対して前記第２の位置ずれ量を低減または解消する並進処理を行うことを特徴とする画像生成装置。
請求項２ないし９のいずれか一項に記載の画像生成装置において、
前記ずれ量取得手段は、前記フレーム取得手段により順次取得されたうちのＮ個（但しＮは２以上の整数）の前記第１フレーム情報について、その取得順で隣り合うものの相対的な画像の回転ずれ量を第１の位置ずれ量として（Ｎ−１）個取得し、
前記変換手段は、前記第２の位置ずれ量に基づき、前記基準フレーム情報を除く残り（Ｎ−１）個の前記第１フレーム情報に対して前記第２の位置ずれ量を低減または解消する回転処理を行うことを特徴とする画像生成装置。
請求項２ないし１０のいずれか一項に記載の画像生成装置において、
前記変換手段は、（Ｎ−１）個の前記第１の位置ずれ量を加減算して、前記第２の位置ずれ量を取得することを特徴とする画像生成装置。
請求項２ないし１１のいずれか一項に記載の画像生成装置において、
前記ずれ量取得手段は、取得した前記第１の位置ずれ量から位置ずれを少なくするように補正する量を表す第１の位置ずれ補正量を更に取得し、
前記変換手段は、前記第１の位置ずれ補正量に基づき変換処理を行うことを特徴とする画像生成装置。
請求項２ないし１２のいずれか一項に記載の画像生成装置において、
前記フレーム取得手段は、前記第１の画像情報に同期して前記第１のフレーム情報を取得し、
前記合成手段は、前記フレーム取得手段が前記第１のフレーム情報を取得する動作に同期して、前記第２のフレーム情報を取得することを特徴とする画像生成装置。
画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、第１フレーム情報間の位置ずれ量を検出する画像ずれ量検出装置であって、
前記第１の画像情報から前記第１フレーム情報を順次取得するようにして、複数の前記第１フレーム情報を取得するフレーム取得手段と、
取得した複数の前記第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として取得するずれ量取得手段と、
前記第１の位置ずれ量を記憶するずれ量記憶手段と、
複数の前記第１フレーム情報のうち、その取得順が所定番目の前記第１フレーム情報を基準フレーム情報とし、前記基準フレーム情報に対する残りの前記第１フレーム情報の相対的な画像の位置ずれ量を、前記第１の位置ずれ量を各々用いて、第２の位置ずれ量として取得する変換手段と、を備えたことを特徴とする画像ずれ量検出装置。
画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、第１フレーム情報間の位置ずれ量を検出する画像ずれ量検出装置であって、
前記第１の画像情報から前記第１フレーム情報を順次取得するようにして、Ｎ個（但しＮは２以上の整数）の前記第１フレーム情報を取得するフレーム取得手段と、
取得したＮ個の前記第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として（Ｎ−１）個取得するずれ量取得手段と、
少なくとも前記（Ｎ−１）個の第１の位置ずれ量を記憶するずれ量記憶手段と、
Ｎ個の前記第１フレーム情報のうち、その取得順が所定番目の前記第１フレーム情報を基準フレーム情報とし、前記基準フレーム情報に対する残り（Ｎ−１）個の前記第１フレーム情報の相対的な画像の位置ずれ量を、（Ｎ−１）個の前記第１の位置ずれ量を各々用いて、第２の位置ずれ量として（Ｎ−１）個取得する変換手段と、を備えたことを特徴とする画像ずれ量検出装置。
画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、複数の第１のフレーム画像を取得する画像整列装置であって、
前記第１の画像情報から前記第１フレーム情報を順次取得するようにして、複数の前記第１フレーム情報を取得するフレーム取得手段と、
取得した複数の前記第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として取得するずれ量取得手段と、
前記第１の位置ずれ量を記憶するずれ量記憶手段と、
複数の前記第１フレーム情報のうち、その取得順が所定番目の前記第１フレーム情報を基準フレーム情報とし、前記基準フレーム情報に対する残りの前記第１フレーム情報の相対的な画像の位置ずれ量を、前記第１の位置ずれ量を各々用いて、第２の位置ずれ量として複数取得し、
前記第２の位置ずれ量に基づき、前記基準フレーム情報を除く残りの前記第１フレーム情報に対して前記第２の位置ずれ量を低減または解消する変換処理を施す変換手段と、を備えたことを特徴とする画像整列装置。
画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、複数の第１のフレーム画像を取得する画像整列装置であって、
前記第１の画像情報から前記第１フレーム情報を順次取得するようにして、Ｎ個（但しＮは２以上の整数）の前記第１フレーム情報を取得するフレーム取得手段と、
取得したＮ個の前記第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として（Ｎ−１）個取得するずれ量取得手段と、
少なくとも前記（Ｎ−１）個の第１の位置ずれ量を記憶するずれ量記憶手段と、
Ｎ個の前記第１フレーム情報のうち、その取得順が所定番目の前記第１フレーム情報を基準フレーム情報とし、前記基準フレーム情報に対する残り（Ｎ−１）個の前記第１フレーム情報の相対的な画像の位置ずれ量を、（Ｎ−１）個の前記第１の位置ずれ量を各々用いて、第２の位置ずれ量として（Ｎ−１）個取得し、
前記第２の位置ずれ量に基づき、前記基準フレーム情報を除く残り（Ｎ−１）個の前記第１フレーム情報に対して前記第２の位置ずれ量を低減または解消する変換処理を施す変換手段と、を備えたことを特徴とする画像整列装置。
画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を生成する静止画像生成装置であって、
前記第１の画像情報から前記第１フレーム情報を順次取得するようにして、複数の前記第１フレーム情報を取得するフレーム取得手段と、
取得した複数の前記第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として取得するずれ量取得手段と、
前記第１の位置ずれ量を記憶するずれ量記憶手段と、
複数の前記第１フレーム情報のうち、その取得順が所定番目の前記第１フレーム情報を基準フレーム情報とし、前記基準フレーム情報に対する残りの前記第１フレーム情報の相対的な画像の位置ずれ量を、前記第１の位置ずれ量を各々用いて、第２の位置ずれ量として複数取得し、
前記第２の位置ずれ量に基づき、前記基準フレーム情報を除く残りの前記第１フレーム情報に対して前記第２の位置ずれ量を低減または解消する変換処理を施す変換手段と、
変換処理後の前記第１フレーム情報および前記基準フレーム情報のうち少なくとも１つの前記第１フレーム画像を選択して、選択した前記第１フレーム画像の画素を合成して、前記第２フレーム画像を生成する合成手段と、を備えたことを特徴とする静止画像生成装置。
画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を生成する静止画像生成装置であって、
画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を時系列に連続してなる第２の画像情報を生成する画像生成装置であって、
前記第１の画像情報から前記第１フレーム情報を順次取得するようにして、Ｎ個（但しＮは２以上の整数）の前記第１フレーム情報を取得するフレーム取得手段と、
取得したＮ個の前記第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として（Ｎ−１）個取得するずれ量取得手段と、
少なくとも前記（Ｎ−１）個の第１の位置ずれ量を記憶するずれ量記憶手段と、
Ｎ個の前記第１フレーム情報のうち、その取得順が所定番目の前記第１フレーム情報を基準フレーム情報とし、前記基準フレーム情報に対する残り（Ｎ−１）個の前記第１フレーム情報の相対的な画像の位置ずれ量を、（Ｎ−１）個の前記第１の位置ずれ量を各々用いて、第２の位置ずれ量として（Ｎ−１）個取得し、
前記第２の位置ずれ量に基づき、前記基準フレーム情報を除く残り（Ｎ−１）個の前記第１フレーム情報に対して前記第２の位置ずれ量を低減または解消する変換処理を施す変換手段と、
変換処理後の前記第１フレーム情報および前記基準フレーム情報のうち少なくとも１つの前記第１フレーム画像を選択して、選択した前記第１フレーム画像の画素を合成して、前記第２フレーム画像を生成する合成手段と、を備えたことを特徴とする静止画像生成装置。
画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を時系列に連続してなる第２の画像情報を生成する画像生成方法であって、
前記第１の画像情報から前記第１フレーム情報を順次取得するようにして、複数の前記第１フレーム情報を取得するフレーム取得ステップと、
取得した複数の前記第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として取得するずれ量取得ステップと、
前記第１の位置ずれ量を記憶するずれ量記憶ステップと、
複数の前記第１フレーム情報のうち、その取得順が所定番目の前記第１フレーム情報を基準フレーム情報とし、前記基準フレーム情報に対する残りの前記第１フレーム情報の相対的な画像の位置ずれ量を、前記第１の位置ずれ量を各々用いて、第２の位置ずれ量として複数取得し、
前記第２の位置ずれ量に基づき、前記基準フレーム情報を除く残りの前記第１フレーム情報に対して前記第２の位置ずれ量を低減または解消する変換処理を施す変換ステップと、
変換処理後の前記第１フレーム情報および前記基準フレーム情報のうち少なくとも１つの前記第１フレーム画像を選択して、選択した前記第１フレーム画像の画素を合成して、前記第２フレーム画像を生成する合成ステップと、を備えたことを特徴とする画像生成方法。
画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を時系列に連続してなる第２の画像情報を生成する画像生成方法であって、
前記第１の画像情報から前記第１フレーム情報を順次取得するようにして、Ｎ個（但しＮは２以上の整数）の前記第１フレーム情報を取得するフレーム取得ステップと、
取得したＮ個の前記第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として（Ｎ−１）個取得するずれ量取得ステップと、
少なくとも前記（Ｎ−１）個の第１の位置ずれ量を記憶するずれ量記憶ステップと、
Ｎ個の前記第１フレーム情報のうち、その取得順が所定番目の前記第１フレーム情報を基準フレーム情報とし、前記基準フレーム情報に対する残り（Ｎ−１）個の前記第１フレーム情報の相対的な画像の位置ずれ量を、（Ｎ−１）個の前記第１の位置ずれ量を各々用いて、第２の位置ずれ量として（Ｎ−１）個取得し、
前記第２の位置ずれ量に基づき、前記基準フレーム情報を除く残り（Ｎ−１）個の前記第１フレーム情報に対して前記第２の位置ずれ量を低減または解消する変換処理を施す変換ステップと、
変換処理後の前記第１フレーム情報および前記基準フレーム情報のうち少なくとも１つの前記第１フレーム画像を選択して、選択した前記第１フレーム画像の画素を合成して、前記第２フレーム画像を生成する合成ステップと、を備え、
前記フレーム取得ステップ、前記ずれ量取得ステップ、前記ずれ量記憶ステップ、前記変換ステップおよび前記合成ステップが各々の処理を順次繰り返して前記第２フレーム情報を時系列に生成することにより前記第２の画像情報を生成することを特徴とする画像生成方法。
画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を時系列に連続してなる第２の画像情報を生成する画像生成プログラムであって、
コンピュータを、
前記第１の画像情報から前記第１フレーム情報を順次取得するようにして、複数の前記第１フレーム情報を取得するフレーム取得手段、
取得した複数の前記第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として取得するずれ量取得手段、
前記第１の位置ずれ量を記憶するずれ量記憶手段、
複数の前記第１フレーム情報のうち、その取得順が所定番目の前記第１フレーム情報を基準フレーム情報とし、前記基準フレーム情報に対する残りの前記第１フレーム情報の相対的な画像の位置ずれ量を、前記第１の位置ずれ量を各々用いて、第２の位置ずれ量として複数取得し、
前記第２の位置ずれ量に基づき、前記基準フレーム情報を除く残りの前記第１フレーム情報に対して前記第２の位置ずれ量を低減または解消する変換処理を施す変換手段、
変換処理後の前記第１フレーム情報および前記基準フレーム情報のうち少なくとも１つの前記第１フレーム画像を選択して、選択した前記第１フレーム画像の画素を合成して、前記第２フレーム画像を生成する合成手段、として機能させることを特徴とする画像生成プログラム。
画像を多数の画素ごとに階調表現した多数の第１フレーム情報を時系列に連続してなる第１の画像情報より、画像を多数の画素ごとに階調表現した第２フレーム情報を時系列に連続してなる第２の画像情報を生成する画像生成プログラムであって、
コンピュータを、
前記第１の画像情報から前記第１フレーム情報を順次取得するようにして、Ｎ個（但しＮは２以上の整数）の前記第１フレーム情報を取得するフレーム取得手段、
取得したＮ個の前記第１フレーム情報について、その取得順で隣り合うものの相対的な画像の位置ずれ量を第１の位置ずれ量として（Ｎ−１）個取得するずれ量取得手段、
少なくとも前記（Ｎ−１）個の第１の位置ずれ量を記憶するずれ量記憶手段、
Ｎ個の前記第１フレーム情報のうち、その取得順が所定番目の前記第１フレーム情報を基準フレーム情報とし、前記基準フレーム情報に対する残り（Ｎ−１）個の前記第１フレーム情報の相対的な画像の位置ずれ量を、（Ｎ−１）個の前記第１の位置ずれ量を各々用いて、第２の位置ずれ量として（Ｎ−１）個取得し、
前記第２の位置ずれ量に基づき、前記基準フレーム情報を除く残り（Ｎ−１）個の前記第１フレーム情報に対して前記第２の位置ずれ量を低減または解消する変換処理を施す変換手段、
変換処理後の前記第１フレーム情報および前記基準フレーム情報のうち少なくとも１つの前記第１フレーム画像を選択して、選択した前記第１フレーム画像の画素を合成して、前記第２フレーム画像を生成する合成手段、として機能させ、
前記フレーム取得手段、前記ずれ量取得手段、前記ずれ量記憶手段、前記変換手段および前記合成手段が各々の処理を順次繰り返して前記第２フレーム情報を時系列に生成することにより前記第２の画像情報を生成することを特徴とする画像生成プログラム。
請求項２２または２３に記載の画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。