JP2006018571A - 画像生成装置、画像撮像装置、動画像生成装置、画像生成方法、画像生成プログラムおよび画像生成プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】 撮影した動画像から、階調数がより高く、高画質な画像を得ることができる画像生成装置、撮像装置、動画像生成装置、画像生成方法、画像生成プログラムまたはそのプログラムを記録した記録媒体を提供すること。
【解決手段】 合成手段３３は、８ビットで階調表現した４つのフレーム画像Ｆ０〜Ｆ３に対して、合成処理を行う。得られた生成フレーム画像Ｆｍは、整数部分を表す８ビットのデータに加えて、合成処理の演算により生じた端数部分を表す２ビットのデータを有している。階調変換手段３４は、生成フレーム画像Ｆｍの整数部分のデータと端数部分のデータを用いて、整数部分を１０ビットで階調表現した生成フレーム画像Ｆｍを取得する。
【選択図】 図１４

Description

本発明は、多数のフレーム情報からなる動画像からより優れた画質をもつ静止画像を生成する静止画像生成装置、動画像生成装置、撮像装置、静止画像生成方法、静止画像生成プログラムおよび静止画像生成プログラムを記録した記録媒体に関する。

近年、動画像を撮影するデジタルビデオカメラが民生用として広く普及し、日常の様々な撮影シーンで用いられてきている。しかし、一般に、デジタルビデオカメラは、静止画像に比べて膨大な情報量をもつ動画像を扱うために、動画像を構成する個々のフレーム画像がもつ情報量は小さく、画質が優れているとはいえない。実際に、デジタルスチルカメラで撮影した静止画像と比べてみると、動画像を構成する個々のフレーム画像は、解像度・ノイズ・階調性などの面において劣っていることが多い。例えば、フレーム画像のもつ階調性について見てみると、デジタルビデオカメラを始めとする従来の動画像撮像機器では、動画像を構成する各フレーム情報の画素情報として、８ビット程度の情報量をもつようにしていることが多い。一方、昨今の静止画像を取り巻く状況からは、さらに多くの画素情報をもち高い階調性をもつことが求められてきている。例えば、静止画像の統一規格であるＪＰＥＧ２０００ではＲＧＢデータの画素情報に各色１０ビットを割り当てて、階調表現を行うようにしている。このような中、従来の機器で撮影された比較的低い階調数をもつ動画像から、より高い階調数をもつ静止画像を生成して取得する画像処理技術が求められている。

特許文献１には、８ビットの画像信号を１０ビットの画像信号に変換する際、増加した下位２ビットを乱数により生成するようにしている。これにより、トーンジャンプが乱数により希釈化されて目立つことがなくなる。こうして、より優れた画質をもつ画像を得る技術が開示されている。

特開平６−２９７７７５号公報

特許文献１にある技術では、階調数を表す下位ビット側に、乱数を用いることにより新たにビットを付け加えるようにしている。すなわち、ランダム性をもたせた下位ビットを加えることにより、下位ビットが増える分階調数を増やすようにして元の信号が持つ階調値を拡散させている。このようにして、トーンジャンプの目立たない画像を形成している。しかし、下位ビットの値にランダム性が加わるため、元の画像を忠実に再現した階調が得られない。したがって、階調数が増え、階調表現力が豊かになったとしても、画像の再現性が低下することが考えられる。このような中、画像をより忠実に再現しながら、階調数を増加させることのできる技術が求められている。

上記課題を解決するために、本発明の画像生成装置は、所定の階調数をもつ画素情報からなる第１フレーム情報を時系列に連続してなる第１の画像情報より、第２フレーム情報を生成する画像生成装置であって、第１の画像情報から複数の第１フレーム情報を取得するフレーム取得手段と、複数の第１フレーム情報のうちいずれか１つの第１フレーム情報を基準にして、複数の第１フレーム情報の相対的な位置ずれを補正する位置ずれ補正量を取得するずれ補正量取得手段と、位置ずれ量に基づき、複数の第１フレーム情報のうち少なくとも１つについて位置ずれ量を低減または解消する変換処理を行う第１の変換手段と、変換処理後の複数の第１フレーム情報から少なくとも１つの第１フレーム情報を合成することにより、第２フレーム情報を生成する合成処理を行う合成手段と、第２フレーム情報を変換して、第１フレーム情報と異なる階調数をもつ第２フレーム情報を取得する第２の変換手段と、を備えたことを要旨とする。

この構成によれば、合成手段が選択した第１フレーム情報から第２フレーム情報を生成し、第２の変換手段により、第１フレーム情報と異なる階調数をもつ第２フレーム情報を取得することができる。また、複数の第１フレーム情報から第２フレーム情報を取得しているので、合成手段が取得する第２フレーム情報は、第１フレーム情報より多くの情報量をもつことができる。したがって、この第２フレーム情報のより多くの画素情報を利用することにより第１フレーム情報のもつ階調数と異なる階調数をもつ第２フレーム情報を取得することができる。

ここで、第２の変換手段は、第１フレーム情報より多数の階調数をもつ画素情報からなる第２フレーム情報を生成することが好ましい。

このようにすれば、第１フレーム情報より多数の階調数をもつ第２フレーム情報を取得することができる。したがって、階調表現力に優れ、高画質な第２フレーム情報を得ることができる。

ここで、合成手段は、変換処理後の複数の第１フレーム情報から少なくとも１つの第１フレーム情報を選択し、選択した第１フレーム情報の複数の画素情報を合成して、第２フレーム情報のひとつの画素情報を取得するようにして、第２フレーム情報を生成することが好ましい。

このようにすれば、合成手段が選択した第１フレーム情報の複数の画素情報から１つの画素情報を得るようにして第２フレーム情報を生成する。すなわち、複数の画素情報からひとつの画素情報を求めているので、第１フレーム情報のもつノイズの影響を低減した画素情報から第２フレーム情報を得ることができる。したがって、より高画質な第２フレーム情報を得ることができる。

ここで、合成手段は、選択した第１フレーム情報の複数の画素情報を合成して、端数をもつ画素情報からなる第２フレーム情報を生成し、第２の変換手段は、第２フレーム情報の画素情報がもつ端数を利用して階調数を変換する処理を行うことにより、第１フレーム情報より多数の階調数をもつ第２フレーム情報を取得することが好ましい。

このようにすれば、複数の画素情報の合成を行うことにより生じた画素情報の端数を利用して、階調数を変換するように第２フレーム情報を生成することができる。すなわち、合成処理の演算に伴って画素情報に端数（小数部分）が発生するが、この端数部分の情報もまた、複数の第１フレーム情報より実際に求められた情報であるので、この端数を利用することにより元の画素情報を忠実に再現しながら、階調数を増やした第２フレーム画像を得ることができる。したがって、多数の階調数をもつことにより画質および階調再現性に優れた第２フレーム情報を得ることができる。なお、ここでいう端数を利用する方法としては、例えば、端数をもつ画素情報を２進数で表したときに、端数部分を表すビットをシフトさせて整数部分を表すビットの下位ビットとする方法が考えられる。

ここで、合成手段は、選択した変換処理後の複数の第１フレーム情報の複数の画素情報に平均化処理を行うことにより、端数をもつ画素情報からなる第２フレーム画像を取得することが好ましい。

このようにすれば、変換処理後の複数の第１フレーム情報を平均化した第２フレーム情報を取得するので、端数のある画素情報をもつ第２フレーム画像を得ることができ、これにより階調数を増やした第２フレーム画像を得ることができる。また、平均化することにより各第１フレーム情報がそれぞれ有しているノイズを低減した画素情報が得られる。したがって、画質に優れた第２フレーム情報を得ることができる。

ここで、合成手段は、選択した第１フレーム情報の複数の画素情報に対して、補間処理を行うことにより、端数をもつ画素情報からなる第２フレーム情報を取得することが好ましい。

このようにすれば、補間処理を行うことにより得られた端数を利用して、第２の変換手段により階調数を増やした第２フレーム情報を得ることができる。なお、補間処理としては、バイ・リニア法またはバイ・キュービック法など周知の補間処理手法を用いることが望ましい。もっとも、これ以外にも、処理を行うことにより得られる値に端数が発生するような補間処理手法であっても良い。

ここで、合成手段は、第１フレーム情報より高い解像度を持つ第２フレーム情報を生成することが好ましい。

このようにすれば、合成手段により第１フレーム情報より高い解像度を持つ第２フレーム情報を得ることができる。例えば、合成処理を行う際に、第１フレーム画像の画素ピッチより細かな画素ピッチとなるように第２フレーム画像の画素を設定し、補間処理により、この第２フレーム画像の画素情報を求めるようにして、第１フレーム情報より高い解像度を持つ第２フレーム情報を得ることができる。したがって、空間的により精細な表現ができることになるので、より画質に優れた第２フレーム情報を得ることができる。

ここで、第２の変換手段は、静止画像を表示する表示手段が再現できる階調数に合わせた階調数をもつ第２フレーム情報を生成することが好ましい。

このようにすれば、表示手段の階調表現力に合わせた階調数をもつ第２フレーム情報を得ることができる。したがって、表示手段側では必要に応じた階調変換を行うことなく、表示することができるので、表示手段はより画質に優れた表示を行うことができる。

ここで、第２の変換手段は、入力部からの操作に対応して階調数を選択し、選択した階調数をもつ第２のフレーム情報を生成することが好ましい。

このようにすれば、階調数を選択することにより所望の階調数をもつ第２のフレーム情報を得ることができる。したがって、様々な用途・表示手段に合わせた階調数をもつフレーム情報を得ることができる。

ここで、本発明は上記した画像生成装置を備えた動画像撮像装置としてもよい。

このようにすれば、動画像を撮影した撮像装置のみにより、第１の画像情報（動画像）の撮像を行う共に、階調数の増した第２フレーム情報の取得を得ることができるので、より利便性に優れた画像生成装置とすることができる。

本発明は動画像生成装置としてもよい。すなわち、本発明の動画像生成装置は、上記した画像生成装置を備え、所定の階調数をもつ画素情報からなる第１フレーム情報を時系列に連続してなる第１の画像情報より、第２フレーム情報からなる第２の画像情報を生成する動画像生成装置であって、フレーム取得手段、ずれ量取得手段、第１の変換手段、合成手段および第２の変換手段が各々の処理を順次繰り返して第２フレーム情報を時系列に生成することにより第２の画像情報を生成することを要旨とする。

この構成によれば、第１フレーム情報と異なる階調数をもつ第２フレーム情報からなる第２の画像情報を生成することができる。

また、本発明は画像生成方法とすることもできる。すなわち、本発明の画像生成方法は、所定の階調数をもつ画素情報からなる第１フレーム情報を時系列に連続してなる第１の画像情報より、第２フレーム情報を生成する画像生成方法であって、第１の画像情報から複数の第１フレーム情報を取得するフレーム取得ステップと、複数の第１フレーム情報のうちいずれか１つの第１フレーム情報を基準にして、複数の第１フレーム情報の相対的な位置ずれを補正する位置ずれ補正量を取得するずれ補正量取得ステップと、位置ずれ量に基づき、複数の第１フレーム情報のうち少なくとも１つについて位置ずれ量を低減または解消する変換処理を行う第１の変換ステップと、変換処理後の複数の第１フレーム情報から少なくとも１つの第１フレーム情報を合成することにより、第２フレーム情報を生成する合成処理を行う合成ステップと、第２フレーム情報を変換して、第１フレーム情報と異なる階調数をもつ第２フレーム情報を取得する第２の変換ステップと、からなることを要旨とする。

また、本発明は、画像生成プログラムまたはその画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体としてもよい。すなわち、所定の階調数をもつ画素情報からなる第１フレーム情報を時系列に連続してなる第１の画像情報より、第２フレーム情報を生成する画像生成プログラムであって、コンピュータを第１の画像情報から複数の第１フレーム情報を取得するフレーム取得手段、複数の第１フレーム情報のうちいずれか１つの第１フレーム情報を基準にして、複数の第１フレーム情報の相対的な位置ずれを補正する位置ずれ補正量を取得するずれ補正量取得手段、位置ずれ量に基づき、複数の第１フレーム情報のうち少なくとも１つについて位置ずれ量を低減または解消する変換処理を行う第１の変換手段、変換処理後の複数の第１フレーム情報から少なくとも１つの第１フレーム情報を合成することにより、第２フレーム情報を生成する合成処理を行う合成手段、第２フレーム情報を変換して、第１フレーム情報と異なる階調数をもつ第２フレーム情報を取得する第２の変換手段、として機能させることを要旨とする。プログラムの記録媒体としては、フレキシブルディスクなどの磁気ディスク、ＣＤ−Ｒなどの光ディスク、ＭＯなどの光磁気ディスクなどのコンピュータが読み取り可能な種々の記録媒体を利用することができる。

以下、本発明の第１の実施形態について図面を用いて説明する。

図１は、本実施形態の画像生成装置のハードウェア構成を示す図である。

この画像生成装置１は汎用のパーソナルコンピュータであり、コンピュータ２には、演算処理の中心的役割を果たすＣＰＵ３を備え、このＣＰＵ３がシステムバス４を介してコンピュータ２全体の制御を行う。また、このシステムバス４にはＲＯＭ５、ＲＡＭ６、ハードディスク７、ＣＤ−Ｒ／ＲＷドライブ８、ＩＥＥＥ１３９４用インターフェイス９、ＵＳＢ用インターフェイス１０およびＬＣＤ用インターフェイス１１等の各種機器が接続されている。

ハードディスク７には、本発明にある画像生成アプリケーションのプログラムおよびオペレーティングシステム（ＯＳ）が記憶されている。ＩＥＥＥ１３９４用インターフェイス９にはデジタルビデオカメラ１２が接続されており、撮影した動画像ファイルはＩＥＥＥ１３９４ケーブルを介して画像生成装置１に取り込むことができるようにしている。また、ＬＣＤ用インターフェイス１１には液晶ディスプレイ１４が、ＵＳＢ用インターフェイス１０には、入力部としてキーボード１５およびマウス１６が接続されているので、液晶ディスプレイ１４の表示画面に従って、キーボード１５およびマウス１６から命令を入力することにより画像生成アプリケーションの起動および操作を行うことができる。さらに、ＵＳＢ用インターフェイス１０にはプリンタ１３が接続され、画像生成装置１で生成した画像をプリンタ１３に出力することにより印刷を行うようにしている。

コンピュータ１は、所定のオペレーションシステムの下で、ハードディスク７から画像生成アプリケーションのプログラムを読み出し、コンピュータ１内部に備わるＲＡＭ６に記憶させて、プログラムを実行する。プログラムを実行すると、画像処理アプリケーションが起動し、コンピュータ２は、液晶ディスプレイ（表示手段）１４に表示させるユーザーインターフェイス画面に従って、キーボード１５またはマウス１６から入力される命令に対応して画像処理を行う画像生成装置１として機能する。なお、画像処理プログラムは、ＣＤ−ＲＯＭ１７に記録された状態でユーザーに供給され、ＣＤ−Ｒ／ＲＷドライブ８より読み出して、コンピュータ２内部に備わるハードディスク７に記録するようにしている。もっとも、ＣＤ−ＲＯＭ１７に限ることなくＤＶＤ−ＲＯＭなどの光ディスク、フレキシブルディスク等の磁気ディスク、光磁気ディスク、不揮発性メモリ等の記録媒体であってもよい。また、インターネットなどのネットワーク回線を通じて、画像処理プログラムをコンピュータ１に供給するようにしてもよい。

このように、オペレーティングシステム（ＯＳ）のもとで、画像生成アプリケーションのプログラムを実行することにより、コンピュータ２は以上に述べた各種機器に対して制御を行う画像生成装置１として機能する。なお、本実施形態に係るこの画像生成装置１は、入力した動画ファイルである元動画像（第１の画像情報）ＭＡに対して動画の画質を向上させる処理を行い、生成フレーム画像（第２フレーム情報）Ｆｍを新たに生成・出力するものである。この画質を向上させる処理を、以下では、「鮮明化処理」と呼ぶ。

次に、この画像生成装置１の機能的な構成について説明する。図２は、画像生成装置１の機能的な構成の概略を示している。

画像生成装置１は、元動画像ＭＡからフレーム画像Ｆ（第１フレーム情報）を順次取得するフレーム取得手段３０と、複数のフレーム画像Ｆから位置ずれ量を求め、位置ずれの補正量である位置ずれ補正量を取得するずれ補正量取得手段３１と、記憶したずれ補正量に基づいて変換処理を行う変換手段（第１の変換手段）３２と、変換した画像を合成して生成フレーム画像（第２フレーム情報）Ｆｍを取得する合成手段３３と、生成フレーム画像Ｆｍを表現する階調数を変換する階調変換手段（第２の変換手段）３４と、から構成されている。実際には、フレーム取得手段３０、変換手段３２、合成手段３３および階調変換手段３４は、コンピュータ２に備わるＣＰＵ３が中心となって処理を行うことでその役割を果たしている。

図３は、画像生成装置１が行う鮮明化処理の概略を説明する図である。以下、図３に基づき画像生成装置１が行う鮮明化処理について説明する。なお、本実施形態では４つのフレーム画像Ｆを用いて処理を行うものとして、フレーム取得手段３０が取得した４つのフレーム画像Ｆをフレーム画像Ｆ０〜Ｆ３（図４におけるＦ０〜Ｆ３）と呼び、以下に説明を行う。

元動画像ＭＡは、多数の画素をマトリクス状に配列してなる多数のフレーム画像Ｆを、時系列に並べるようにして構成されている。また、これらのフレーム画像Ｆは時系列に連続して撮影されたものであり、図３においては、元動画像ＭＡのフレーム画像Ｆは左から右へ向かって時系列に連続した画像が並んでいるものとする。なお、各フレーム画像Ｆは、２５６階調（８ビット）のうちいずれかの階調値を有した多数の画素がマトリクス状に並ぶことにより構成されている。本実施形態では、この各画素は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の各々について階調数をもつＲＧＢデータで表現されている。もっとも、Ｙ（輝度）、Ｃｂ（ブルーの色差）、Ｃｒ（レッドの色差）の各々について階調数をもつＹＣｂＣｒデータであっても良く、フレーム画像Ｆの階調数についても２５６階調に限られるものではなく、１０２４階調（１０ビット）などの他の階調数をもたせても良い。

フレーム取得手段３０は、元動画像ＭＡから時系列に連続した複数のフレーム画像Ｆを取得する（フレーム取得処理）。なお、本実施形態では、時系列に連続した４つのフレーム画像（Ｆ０〜Ｆ３）を取得するようにしているが、例えば５つまたは６つのフレーム画像Ｆを取得するとしても良い。

ずれ補正量取得手段３１は、フレーム取得手段３０が取得した複数のフレーム画像Ｆから、複数のフレーム画像Ｆ間の回転ずれを表す回転ずれ量、および並進ずれを表す並進ずれ量を求め、これを補正するための補正量である回転ずれ補正量および並進ずれ補正量を取得する（ずれ補正量算出処理）。すなわち、フレーム画像Ｆ間の回転ずれおよび並進ずれをなくするような回転ずれ補正量および並進ずれ補正量を算出している。
ここで、以下では説明を簡略する為、回転ずれおよび並進ずれの双方を含めて表す言葉として、「位置ずれ」と呼ぶことにする。すなわち、回転ずれ量および並進ずれ量を合わせて位置ずれ量、回転ずれ補正量および並進ずれ補正量を合わせて位置ずれ補正量と呼ぶ。

このとき、複数のフレーム画像Ｆのうちいずれかの一つを位置ずれの相対的な基準となる基準フレーム画像Ｆｂとし、基準フレーム画像Ｆｂ以外のフレーム画像Ｆを対象フレーム画像Ｆｔとする。本実施形態では、フレーム取得手段３０が取得したフレーム画像Ｆのうち最も過去（時系列順で１番目）に取得したフレーム画像Ｆを基準フレーム画像Ｆｂとしている。したがって、図４に示すようにフレーム画像Ｆ０〜Ｆ３が順に取得されたときは、フレーム画像Ｆ０を基準フレーム画像Ｆｂとし、基準フレーム画像Ｆｂに対する対象フレーム画像Ｆｔであるフレーム画像Ｆ１〜Ｆ３のそれぞれの位置ずれ補正量を取得することになる。本実施形態では取得した４つのフレーム画像Ｆのうち最も過去に記憶したフレーム画像Ｆを基準フレーム画像Ｆｂにしているが、取得したいずれのフレーム画像Ｆを基準としても良い。

変換手段３２は、ずれ補正量取得手段３１が取得した位置ずれ補正量に基づいて、対象フレームＦｔを基準フレーム画像Ｆｂに合わせるように画素を置き換える処理（変換処理）を行い、時系列に連続した４つのフレーム画像Ｆ０〜Ｆ３間の並進ずれおよび回転ずれを補正する。

合成手段３３は、変換処理を行うことにより位置ずれを補正した４つのフレーム画像Ｆを合成して、より解像度の高い１つの画像である生成フレーム画像Ｆｍを生成する（合成処理）。なお、ここで得られる生成フレーム画像Ｆｍは、合成処理の演算の結果生じた端数をもっている。

階調変換手段３４は、生成フレーム画像Ｆｍの端数部分の情報を利用して階調数を変換する階調変換処理を行い、より高い階調数をもつ生成フレーム画像Ｆｍを取得する。

以上に述べたフレーム取得手段３０、ずれ補正量取得手段３１、変換手段３２、合成手段３３および階調変換手段３４から本画像生成装置１が構成されている。なお、ずれ補正量取得手段３１が行うずれ量算出処理、変換手段３２の行う変換処理、合成手段３３の行う合成処理および階調変換手段３４が行う階調変換処理について、詳細な処理内容については後述することとし、次には鮮明化処理全体の処理手順について述べる。

以上に述べた鮮明化処理全体の処理手順を、図４に示すフローチャートを用いて説明する。画像生成アプリケーションを起動すると、コンピュータ２が図４のフローチャートで示される画像処理プログラムを実行する。なお、このプログラムは、画像生成装置１内部に備わるＲＡＭ６に格納され、所定のオペレーションシステムの下で、ＣＰＵ３が実行することにより、画像出力装置２０の各構成要素が動作し、それぞれの機能を果たすことができる。実際には、図４のプログラムのうちステップＳ１０はフレーム取得手段３０が、ステップＳ２０およびＳ３０ずれ補正量取得手段３１が、ステップＳ４０は変換手段３２が、Ｓ５０は合成手段３３が、ステップＳ６０は階調変換手段３４が行うことにより処理を行われている。

プログラムを実行すると、始めに、ステップＳ１０では、ＣＰＵ３が基準フレーム画像Ｆｂの設定を行い、ＲＡＭ６に記憶する。すなわち、上述したように、本実施形態ではフレーム取得手段３０が取得した時系列順の４つのフレーム画像Ｆのうち最も過去に記憶したフレーム画像Ｆを基準フレーム画像Ｆｂに設定する。

次に、ステップＳ２０では、ＣＰＵ３が対象フレーム画像Ｆｔの設定を行い、ＲＡＭ６に記憶する。ここでは、４つのフレーム画像ＦのうちステップＳ１０で設定した基準フレーム画像Ｆｂ以外のフレーム画像Ｆを対象フレーム画像Ｆｔに設定する。

次に、ステップＳ３０では、ずれ補正量取得処理を行い、基準フレーム画像Ｆｂに対する対象フレーム画像Ｆｔの位置ずれ補正量を取得する。ここでは、実際にはＲＡＭ６に記憶された基準フレーム画像Ｆｂおよび対象フレーム画像Ｆｔを、ＣＰＵ３が読み出して演算を行うことにより処理されている。また、求めた位置ずれ補正量は、ＲＡＭ６に記憶される。

次に、ステップＳ４０では、フレーム変換処理を行う。ここでは、ＣＰＵ３は、ステップＳ３０で取得した位置ずれ補正量をＲＡＭ６から読み出し、位置ずれ補正量に基づいてフレーム画像Ｆ間の位置ずれを補正する。ＣＰＵ３はこの処理を実行して補正した後、フレーム画像ＦをＲＡＭ６に記憶する。

次に、ステップＳ５０では、位置ずれを補正したフレーム画像Ｆに対してフレーム合成処理を行い、生成フレーム画像Ｆｍを取得する。ここでは、ＲＡＭ６に記憶されたフレーム画像Ｆを、ＣＰＵ３が読み出して演算を行うことにより行われる。また、取得した生成フレーム画像ＦｍはＲＡＭ６に記憶される。

次に、ステップＳ６０では、生成フレーム画像Ｆｍに対して階調変換処理を行う。ここでは、ＲＡＭ６に記憶された生成フレーム画像Ｆｍを、ＣＰＵ３が読み出して演算を行うことにより行われる。階調変換処理の行われた生成フレーム画像Ｆｍはいったん、ＲＡＭ６に書き出された後に、階調数を高めた静止画像として出力される。ステップＳ６０を終えると、鮮明化処理を終了する。

次に、鮮明化処理の各処理方法（ずれ補正量算出処理、変換処理および合成処理）についてそれぞれ説明する。

図５は、基準フレーム画像Ｆｂと対象フレーム画像Ｆｔとの間の位置ずれの補正について示す説明図である。図６では、図３におけるフレーム画像Ｆ１を対象フレーム画像Ｆｔ、フレーム画像Ｆ０を基準フレーム画像Ｆｂとして、基準フレーム画像Ｆｂに対する対象フレーム画像Ｆｔの位置ずれを補正する様子を示している。また、画像の位置ずれは、並進ずれ（横方向および縦方向）と、回転ずれとの組み合わせで表される。以下、説明の為、図５における横方向をＸ方向、縦方向をＹ方向、フレーム画像Ｆの中央を中心として角度δを定める。

本実施例では、並進ずれ量のＸ方向成分を「ｕ」、Ｙ方向成分を「ｖ」、回転ずれ量を「δ」と表し、基準フレーム画像Ｆｂに対する対象フレーム画像Ｆｐ（ｐ＝１，２，３）のＸ方向、Ｙ方向およびδ方向のずれ量を「ｕｐ」、「ｖｐ」、「δｐ」と表すこととする。例えば、図５（ｂ）に示すように、対象フレーム画像Ｆｔは、基準フレーム画像Ｆｂに対して、並進ずれ、および回転ずれが生じており、そのずれ量は、ｕ１，ｖ１，δ１と表される。

ここで、対象フレーム画像Ｆｔ（フレーム画像Ｆ１〜Ｆ３）を基準フレーム画像Ｆｂと合成するためには、フレーム画像Ｆ１〜Ｆ３が基準フレーム画像Ｆｂと一致するように、対象フレーム画像Ｆｔの各画素の位置ずれを補正する必要がある。このために用いられる並進ずれ補正量として横方向を「ｕｍ」、縦方向を「ｖｍ」、回転ずれ補正量を「δｍ」と表し、対象フレーム画像Ｆｐ（ｐ＝１，２，３）についての補正量を「ｕｍｐ」、「ｖｍｐ」、「δｍｐ」と表すこととする。すなわち、対象フレーム画像Ｆｔであるフレーム画像Ｆ１についての補正量は、ｕｍ１，ｖｍ１，δｍ１と表される。

ここで、補正とは、フレーム画像Ｆｐ（ｐ＝１，２，３）の各画素の位置を、Ｘ方向にｕｐの移動、Ｙ方向にｖｐの移動、およびδｐの回転を施した位置に移動させることを意味している。従って、フレーム画像Ｆｐ（ｐ＝１，２，３）についての補正量ｕｍｐ，ｖｍｐ，δｍｐは、それぞれｕｍｐ＝−ｕｐ，ｖｍｐ＝−ｖｐ，δｍｐ＝−δｐの関係で表される。例えば、フレーム画像Ｆ１についての補正量は、ｕｍ１＝−ｕ１，ｖｍ１＝−ｖ１、δｍ１＝−δ１と表される。

以上のことから、例えば、図５（ｃ）に示すように、位置ずれ補正量ｕｍ１，ｖｍ１、δｍ１を用いて、対象フレーム画像Ｆｔの各画素の位置を変換することにより、対象フレーム画像Ｆｔを基準フレーム画像Ｆｂに一致させることができる。フレーム画像Ｆ１と同様に、フレーム画像Ｆ２，Ｆ３についても、補正量ｕｍ２，ｖｍ２，δｍ２およびｕｍ３，ｖｍ３，δｍ３の各値を用いて補正が施され、フレーム画像Ｆ２，Ｆ３の各画素の位置を置き換えることができる。

ところで、各フレーム画像Ｆｐ（ｐ＝１，２，３）についてのずれ補正量ｕｍｐ，ｖｍｐ，δｍｐは、ずれ補正量取得手段３１において、基準フレーム画像Ｆｂの画像データと対象フレーム画像Ｆｔの画像データとに基づき、パターンマッチング法および勾配法による所定の算出式を用いて、推定量として算出される。

以下、位置ずれ補正を行う方法について説明する。始めに、位置ずれ補正量から各対象フレーム画像Ｆｔを変換する変換処理の手法について説明する。

図６は、基準フレーム画像Ｆｂに対する対象フレーム画像Ｆｔのずれ量について示す説明図である。図６は、対象フレーム画像Ｆｔが、基準フレーム画像Ｆｂに対して並進ずれおよび回転ずれを補正して重ね合わせるように配置された状態（例えば、図５（ｃ）の状態）を示している。対象フレーム画像Ｆｔの中心を原点とし、横方向をｘ２軸、縦方向をｙ２軸とする直交座標（ｘ２，ｙ２）が、基準フレーム画像Ｆｂの中心を原点とし、横方向をｘ１軸、縦方向をｙ１軸とする直交座標（ｘ１，ｙ１）に対してずれており、このときの横方向の並進ずれ量はｕ、縦方向の並進ずれ量はｖ、回転ずれ量は対象フレーム画像Ｆｔの中心を原点としてδである。このとき、対象フレーム画像Ｆｔの座標を基準フレーム画像Ｆｂ上の座標に変換する変換式は、並進ずれ補正量（ｕｍ，ｖｍ）および回転ずれ補正量δｍを変数として、下式により表される。
ｘ１＝ｃｏｓ（δｍ）×（ｘ２＋ｕｍ）−ｓｉｎ（δｍ）×（ｙ２＋ｖｍ） …（１）
ｙ１＝ｓｉｎ（δｍ）×（ｘ２＋ｕｍ）＋ｃｏｓ（δｍ）×（ｙ２＋ｖｍ） …（２）

なお、元動画像ＭＡを構成する基準フレーム画像Ｆｂと対象フレーム画像Ｆｔとの時間差はごく僅かであるため、δおよびδｍは微小量と考えられる。このとき、ｃｏｓ（δｍ）≒１，ｓｉｎ（δｍ）≒δｍと近似できるため、式（１）および（２）を以下のように置き換えることができる。
ｘ１＝（ｘ２＋ｕｍ）−δｍ・（ｙ２＋ｖｍ） …（３）
ｙ１＝δｍ・（ｘ２＋ｕｍ）＋（ｙ２＋ｖｍ） …（４）

従って、上述したように、対象フレーム画像Ｆｔと基準フレーム画像Ｆｂとを重ね合わせて配置するためには、対象フレーム画像Ｆｔが基準フレーム画像Ｆｂと一致するように、上記した式（３），（４）に位置ずれ補正量（ｕｍ，ｖｍ，δｍ）を代入し、対象フレーム画像Ｆｔの各画素の画素情報を基準フレーム画像Ｆｂ上の画素情報を変換する処理を行えばよい。

次に、位置ずれ補正量（ｕｍ，ｖｍ，δｍ）の算出処理の手法について説明する。
式（３），（４）の変数ｕｍ，ｖｍ，δｍは、以下で説明するように、基準フレーム画像Ｆｂと対象フレーム画像Ｆｔとの間の各画素の画素情報を用いて、１画素よりも細かい単位で画素の位置を推定することができる勾配法（グラディエント法）に基づいて、最小自乗法を用いることにより推定することができる。なお、以下では推定に用いる画素情報として、ＲＧＢデータで表された画素情報のうちいずれか１つの階調値を用いて説明を行うが、実際には、Ｒ、Ｇ、Ｂのそれぞれについて独立して同様の手法を用いることにより推定を行うものである。

図７は、勾配法による並進補正量の推定方法を示す説明図である。図７（ａ）には、基準フレーム画像Ｆｂおよび対象フレーム画像Ｆｔの画素および輝度が示されており、ここで（ｘ１（ｉ），ｙ１（ｉ））は基準フレーム画像Ｆｂ上の画素の座標を、Ｂ１（ｘ１（ｉ），ｙ１（ｉ））は、その画素の輝度値をそれぞれ表している。（ｘ２（ｉ），ｙ２（ｉ））は対象フレーム画像Ｆｔ上の画素の座標を、Ｂ２（ｘ２（ｉ），ｙ２（ｉ））はその輝度値をそれぞれ表している。ここで、ｉはフレーム画像Ｆの全画素を区別するための番号である。また、図７（ｂ）には、Ｘ方向およびＹ方向についての勾配法の原理を示している。

ここでは、対象フレーム画像Ｆｔ上の座標（ｘ２（ｉ），ｙ２（ｉ））の画素が、基準フレーム画像Ｆｂの座標（ｘ１（ｉ）〜ｘ１（ｉ＋１），ｙ１（ｉ）〜ｙ１（ｉ＋１））の間にあるものとして説明する。すなわち、ｘ２（ｉ）＝ｘ１（ｉ）＋Δｘ，ｙ２（ｉ）＝ｙ１（ｉ）＋Δｙ）と表すことができる。ただし、０＜Δｘ＜１，０＜Δｙ＜１である。

図７（ｂ）の左側に示すように、対象フレーム画像Ｆｔにおける座標（ｘ２（ｉ），ｙ２（ｉ））の画素が、基準フレーム画像Ｆｂの座標（ｘ１（ｉ）〜ｘ１（ｉ＋１），ｙ１（ｉ））の間、すなわち、画素間の座標である（ｘ１（ｉ）＋Δｘ，ｙ１（ｉ））にあるものとし、以下の式（５）が成り立つものと仮定すると、式（６）の関係が成り立つと推定することができる。
Ｐｘ＝Ｂ１（ｘ１（ｉ）＋１，ｙ１（ｉ））−Ｂ１（ｘ１（ｉ），ｙ１（ｉ））
…（５）
Ｐｘ・Δｘ＝Ｂ２（ｘ２（ｉ），ｙ２（ｉ））−Ｂ１（ｘ１（ｉ），ｙ１（ｉ））
…（６）

この場合、Ｂ１（ｘ１（ｉ），ｙ１（ｉ））およびＢ２（ｘ２（ｉ），ｙ２（ｉ））を単にＢ１，Ｂ２で表すこととして、最小自乗法を用いると次式が得られる。
｛Ｐｘ・Δｘ−（Ｂ２−Ｂ１）｝²＝０ …（７）
式（７）が成り立つようなΔｘを求めれば、対象フレーム画像Ｆｔの横方向の並進補正量（Δｘ＝ｕ）を求めることができる。実際には、各画素についてΔｘを算出し、フレーム画像Ｆの画素全体で平均することにより、１つのフレーム画像Ｆに対して１つの並進ずれ補正量を得る。

同様にしてＹ方向についても考えると、図７（ｂ）の右側に示すように、対象フレーム画像Ｆｔにおける座標（ｘ２（ｉ），ｙ２（ｉ））の画素が、基準フレーム画像Ｆｂの座標（ｘ１（ｉ），ｙ１（ｉ）〜ｙ１（ｉ）＋１）の間、すなわち、画素間の座標である（ｘ１（ｉ），ｙ１（ｉ）＋Δｙ）にあるものとし、以下の式（８）が成り立つものと仮定すると、式（９）の関係が成り立つと推定することができる。
Ｐｙ＝Ｂ１（ｘ１（ｉ），ｙ１（ｉ）＋１）−Ｂ１（ｘ１（ｉ），ｙ１（ｉ））
…（８）
Ｐｙ・Δｙ＝Ｂ２（ｘ２（ｉ），ｙ２（ｉ））−Ｂ１（ｘ１（ｉ），ｙ１（ｉ））
…（９）

したがって、Ｂ１（ｘ１（ｉ），ｙ１（ｉ））およびＢ２（ｘ２（ｉ），ｙ２（ｉ））を単にＢ１，Ｂ２で表すこととして、最小自乗法を用いると次式が得られる。
｛Ｐｙ・Δｙ−（Ｂ２−Ｂ１）｝²＝０ …（１０）
式（１０）が成り立つようなΔｙを求めれば、対象フレーム画像Ｆｔの縦方向の並進ずれ補正量（Δｙ＝ｖ）を求めることができる。実際には、各画素についてΔｙを算出し、フレーム画像Ｆの画素全体で平均することにより、１つのフレーム画像Ｆに対して１つの並進ずれ補正量を得る。

以上の説明では、Ｘ方向（横方向）あるいはＹ方向（縦方向）のいずれか一方向のみを考慮した場合について説明した。Ｘ方向およびＹ方向の両方向を同時に考慮する場合には、これを拡張して式（１１）を得て、式のＳ２が最小となるΔｘ、Δｙを最小自乗法により求めればよい。こうして求められた（Δｘ，Δｙ）が並進ずれ補正量（ｕｍ，ｖｍ）に相当する。
Ｓ２＝Σ｛Ｐｘ・Δｘ＋Ｐｙ・Δｙ−（Ｂ２−Ｂ１）｝² …（１１）

以上、勾配法により、対象フレーム画像Ｆｔが基準フレーム画像Ｆｂに対して、ｘ軸方向およびｙ軸方向に平行移動させて重ね合わせたとした場合の並進ずれ補正量（ｕｍ，ｖｍ）を求める手法を説明した。本実施形態では、さらに、対象フレーム画像Ｆｔを基準フレーム画像Ｆｒに対して、回転移動させて重ね合わせる場合も考慮している。以下、その回転ずれ補正量δｍを求める手法について説明する。

図８は、画素の回転ずれ補正量を説明する図である。基準フレーム画像Ｆｒの座標（ｘ１，ｙ１）の原点（０，０）からの距離をｒとし、ｘ１軸からの回転角度をθとすると、ｒおよびθは、下式で表される。
ｒ＝（ｘ１²＋ｙ１²）^1/2 …（１２）
θ＝ｔａｎ^-1（ｙ１／ｘ１） …（１３）

ここで、対象フレーム画像Ｆｔの基準フレーム画像Ｆｂに対する並進ずれはなく、回転ずれのみが発生しているものとし、対象フレーム画像Ｆｔにおける座標（ｘ２，ｙ２）の画素が、基準フレーム画像Ｆｂ上の座標（ｘ１，ｙ１）の位置から回転ずれ補正量δｍだけ回転した座標（ｘ２，ｙ２）にあるとする。この回転ずれ補正量δｍによるｘ１軸方向の移動量Δｘとｙ１軸方向の移動量Δｙは、下式により求められる。
Δｘ＝ｘ２−ｘ１≒−ｒ・δｍ・ｓｉｎθ＝−δｍ・ｙ１ …（１４）
Δｙ＝ｙ２−ｙ１≒ｒ・δｍ・ｃｏｓθ＝δｍ・ｘ１ …（１５）

そこで、上記式（１１）におけるΔｘ、Δｙは、並進ずれ補正量（ｕｍ，ｖｍ）だけでなく回転ずれ補正量δｍによる上記式（１４），（１５）を加味すると、下式のように表すことができる。
Δｘ＝ｕｍ−δｍ・ｙ１ …（１６）
Δｙ＝ｖｍ＋δｍ・ｘ１ …（１７）

上記式（１６），（１７）を上記式（１１）に代入すると、下式が得られる。
Ｓ２＝Σ｛Ｐｘ・（ｕｍ−δｍ・ｙ）＋Ｐｙ（ｖｍ＋δｍ・ｘ）−（Ｂ２−Ｂ１）｝²
…（１８）
すなわち、基準フレーム画像Ｆｂの座標を（ｘ１（ｉ），ｙ１（ｉ））として、対象フレーム画像Ｆｔの全画素の座標値と輝度値を式（１８）に代入したときに、Ｓ２を最小にする位置ずれ補正量ｕｍ，ｖｍ，δｍを最小自乗法によって求めることができる。こうして得られるずれ量ｕｍ，ｖｍ，δｍは、以下の式で表される。
ｕｍ＝（（ｍ_δ×Ｍ０２−ｍ_v ²）ｃ_u＋（ｍ_u×ｍ_v−ｍ_δ×Ｍ１１）ｃ_v）
＋（ｍ_v＋×Ｍ１１−ｍ_u×Ｍ０２）ｃ_δ／ｄ …（１９）
ｖｍ＝（（ｍ_u×ｍ_v−ｍ_δ×Ｍ１１）ｃ_u＋（ｍ_δ×Ｍ２０−ｍ_u ²）ｃ_v
＋（ｍ_u×Ｍ１１−ｍ_v×Ｍ２０）ｃ_δ））／ｄ …（２０）
δｍ＝（（ｍ_v×Ｍ１１−ｍ_u×Ｍ０２）ｃ_u＋（ｍ_u×Ｍ１１−ｍ_v×Ｍ２０）ｃ_v
＋（Ｍ２０×Ｍ０２−Ｍ１１²）ｃ_δ）／ｄ …（２１）

また、式（１９）〜式（２１）で用いた、Ｍ０２，Ｍ１１，Ｍ２０，ｍ_u，ｍ_v，ｍ_δ，ｃ_u，ｃ_v，ｃ_δおよびｄは、以下に示した式（２２）および式（２３）を用いて、式（２４）〜（３３）により求められる。ここで、ｉは全画素を区別する番号を表している。

以上のように式（１９）〜式（３３）を用いて、基準フレーム画像Ｆｂと対象フレーム画像Ｆｔとの間の１画素未満の並進ずれおよび回転ずれを表す並進ずれ補正量（ｕｍ，ｖｍ）および回転ずれ補正量（δｍ）を精度よく求めることができる。

次に、並進ずれ補正量および回転ずれ補正量の推定処理について図９のフローチャートを用いて説明する。

処理を開始すると、始めに、ステップＳ３００において、各変数について初期化を行う。すなわち、式（２２）〜式（３３）にあるように、画素ごとに総和をとる必要のある変数（Ｍ１１，ｍ_u，ｍ_v，ｍ_δ，ｃ_u，ｃ_v，ｃ_δ）の値を０に設定する。

次に、ステップＳ３１０では、基準フレーム画像Ｆｂの全画素のうちいずれか一つを注目画素に設定する。なお、後に述べるステップＳ３４０より処理が戻ってきている場合は、一度設定された画素が再度設定されることがないように注目画素を順次設定する。

次に、ステップＳ３２０では、対象フレーム画像Ｆｔから注目画素の位置に対応して位置する対象注目画素を設定する。

次に、ステップＳ３３０では、注目画素および対象注目画素について式（２４）〜式（３３）に基づいて各変数を算出する。

次に、ステップＳ３４０では、Ｓ３１０およびＳ３３０の処理が全画素について行われたか否かを判断する。全画素について処理が行われていた場合（Ｙｅｓ）、ステップＳ３５０に進む。全画素について処理が行われていなかった場合（Ｎｏ）、ステップＳ３１０に戻り再度注目画素の設定を行う。

ステップＳ３５０では、ステップＳ３３０において求めた各変数および式（３３）より求められるｄから、式（１９）〜式（２１）を用いて並進ずれ補正量ｕｍ，ｖｍおよび回転ずれ補正量δｍを取得する。ステップＳ３５０が終了すると、ずれ補正量取得処理を終了する。

変換手段３４は、フレーム取得手段３０が取得した複数のフレーム画像Ｆのうち少なくとも一つを、ずれ補正量取得手段３１により求めた並進ずれ補正量（ｕｍ，ｖｍ）および回転ずれ補正量δｍに基づいて画像間の並進ずれや回転ずれを少なくするように、並進および回転を行う変換処理を行う。本実施形態の変換手段３４では、時系列順に並んだ複数のフレーム画像Ｆのうち最も過去のフレーム画像Ｆに対する各フレーム画像Ｆのずれがなくなるように、複数のフレーム画像Ｆに変換処理を行うようにして、変換処理後の複数のフレーム画像Ｆを得る。もっとも、変換処理により位置ずれを完全に解消することができない場合は、位置ずれを低減するようにする処理を行うこととしてもよい。なお、変換処理後のフレーム画像Ｆの各画素は、後述する合成処理の精度を確保する為に、フレーム画像Ｆの画素よりも分解能を高くして、高い精度の位置情報をもつようにしている。

次に、以上に述べたフレーム変換処理の処理フローを図１０を用いて説明する。
フレーム変換処理を開始すると、始めに、ステップＳ４００で、座標変換する対象フレーム画像Ｆｔの設定を行う。すなわち、フレーム取得手段３０取得したフレーム画像Ｆのうち、基準フレーム画像Ｆｂを除いた対象フレーム画像Ｆｔのうちいずれかひとつを選択する。

次に、ステップＳ４１０では、ステップＳ４００で設定した対象フレーム画像Ｆｔの全画素のうちいずれか一つを注目画素に設定する。なお、ステップＳ４３０より戻ってきている場合は、一度設定された画素が再度設定されることがないように注目画素を設定する。

次に、ステップＳ４２０では、式（３）および式（４）に基づいて注目画素の位置を並進ずれ補正量（ｕｍ，ｖｍ）だけ並進、回転ずれ補正量（δｍ）だけ回転させるようにして変換する。

次に、ステップＳ４３０では、Ｓ４１０およびＳ４２０の処理が全画素について行われたか否かを判断する。全画素について処理が行われていた場合（Ｙｅｓ）、ステップＳ４４０に進む。全画素について処理が行われていなかった場合（Ｎｏ）、ステップＳ４１０に戻り注目画素の設定を行う。

次に、ステップＳ４４０では、Ｓ４００〜Ｓ４３０の処理が、対象フレーム画像Ｆｔのうち、基準フレーム画像Ｆｂを除いた全フレーム画像Ｆについて行われたか否かを判断する。全フレーム画像Ｆについて処理が行われていなかった場合（Ｎｏ）、ステップＳ４００に戻り再度対象フレーム画像Ｆｔの設定を行う。全フレーム画像Ｆについて処理が行われていた場合（Ｙｅｓ）、変換処理を終了する。

なお、以上では勾配法を用いた位置ずれ補正量の推定方法について述べてきたが、この推定を行う前に、並進ずれについて並進補正量を画素単位で検出するようにし、フレーム画像Ｆ間の並進ずれを画素単位で（大ざっぱに）補正しておいてもよい。このようにすると、勾配法による推定精度が向上し、さらに精度よく並進量情報と回転量情報とを取得することができる。このような場合、フレーム画像Ｆ間の並進ずれを画素単位で検出する手法として、パターンマッチング法による推定手法が知られている。以下、パターンマッチング法による推定方法について説明する。

図１１は、パターンマッチング法により並進補正量を推定する様子を模式的に示している。ここで、図の上段に示すように、基準フレーム画像Ｆｂの各画素の画素値をＢ１（ｘ１，ｙ１）、対象フレーム画像Ｆｔにおいて同じ位置の画素の画素値をＢ２（ｘ１，ｙ１）と表すことにする。パターンマッチング法では、基準フレーム画像Ｆｂの画素（ｘ１，ｙ１）を対象フレーム画像Ｆｔの画素（ｘ１，ｙ１）に対応させる場合を基準として、この場合と、対象フレーム画像Ｆｔの画素（ｘ１＋１，ｙ１），（ｘ１−１，ｙ１），（ｘ１，ｙ１＋１），（ｘ１，ｙ１−１）に対応させる場合とで、基準フレーム画像Ｆｂと対象フレーム画像Ｆｔの画素値の差が最も小さくなる位置を求める。したがって、以下に示すＬの値が最も小さくなる位置を求めるとよい。ここで、Σとあるのは、基準フレーム画像Ｆｂと対象フレーム画像Ｆｔとが重なり合う全領域について、各画素値の差を足し合わせることを意味している。
Ｌ＝Σ｜Ｂ２−Ｂ１｜ …（３４）
または、
Ｌ＝Σ（Ｂ２−Ｂ１）² …（３５）

例えば、基準フレーム画像Ｆｂの画素（ｘ１，ｙ１）を、対象フレーム画像Ｆｔの画素（ｘ１−１，ｙ１）に対応させたときのＬが最小となっているとき、次には、基準フレーム画像Ｆｂの画素（ｘ１，ｙ１）を対象フレーム画像Ｆｔの画素（ｘ１−１，ｙ１）に対応させる場合と、この画素（ｘ１−１，ｙ１）の周辺の画素、対象フレーム画像の画素（ｘ１，ｙ１），（ｘ１−２，ｙ１），（ｘ１−１，ｙ１＋１），（ｘ１−１，ｙ１−１）のそれぞれに対応させる場合とで、Ｌが最も小さくなる位置を求める。次に、この最もＬが小さい位置の画素について、基準フレーム画像Ｆｂの画素とその周辺の画素とのＬを比較するようにして、繰り返し探索を行う。そして、周辺にあるいずれの画素よりＬが小さい画素が得られたとき、Ｌが最小となる画素が決定し、探索を終了する。

例えば、対象フレーム画像Ｆｔの画素（ｘ１−３，ｙ１−１）のＬが最小となるとき、基準フレーム画像Ｆｂの画素（ｘ１，ｙ１）を対象フレーム画像Ｆｔの画素（ｘ１−３，ｙ１−１）に対応させる場合と、対象フレーム情報Ｆｔの画素（ｘ１−２，ｙ１−１），（ｘ１−４，ｙ１−１），（ｘ１−３，ｙ１），（ｘ１−３，ｙ１−２）に対応させる場合とで、Ｌが最も小さくなる位置を求めたとする。探索の中心の画素（ｘ１−３，ｙ１−１）のＬが最小となるとき、ここで探索を終了する。このとき、図１１の例では探索終了時の対象フレーム画像のずれは（３，１）となる。

一般に、探索終了時に基準フレーム画像Ｆｂの画素（ｘ１，ｙ１）に対応させる対象フレーム画像Ｆｔの画素の位置が（ｘ１−Δｘ，ｙ１−Δｙ）となるとき、基準フレーム画像Ｆｂから対象フレーム画像Ｆｔへの並進ずれ補正量は画素単位として（Δｘ，Δｙ）と表すことができる。

このようにして求めた画素単位の並進ずれ補正量を用いて、対象フレーム画像Ｆｔについて並進ずれ補正量だけ画素をずらしてから勾配法を用いることにより、より高精度な動き推定を行うことができる。したがって、より高精度な位置ずれ補正量を求めることができる。

次に、図１２を用いて合成処理の処理方法について説明する。
合成処理では、フレーム取得手段３０が取得した４枚のフレーム画像Ｆを用いて処理を行う。ここで、図に示すように、このフレーム画像Ｆ０〜Ｆ３は、それぞれの画素の階調値として、８ビットのＲＧＢデータからなる情報を有している。すなわち、フレーム画像Ｆは、ＲＧＢのそれぞれについて、０〜２５５までのいずれかの整数で表される階調値をもつ画素から構成されている。合成処理では、この４つのフレーム画像Ｆ０〜Ｆ３の画素を平均した値を生成フレーム画像Ｆｍの画素にするようにして、生成フレーム画像を取得する。

図１２では、変換処理を行った４つのフレーム画像Ｆ０〜Ｆ３を、重ね合わせた様子を示している。ここで、変換処理の行われたフレーム画像Ｆの画素は、並進および回転されているので、それぞれの画素配列が異なるようにして重なり合っている。したがって、次のようにして平均化処理を行う。

ここで、図１２では、基準フレーム画像Ｆｂであるフレーム画像Ｆ０と、変換処理の行われたフレーム画像Ｆ１〜Ｆ３とを重ね合わせ、拡大して表示した様子を示している。また、フレーム画像Ｆの２／３倍の画素ピッチとなるように生成フレーム画像Ｆｍの画素が示されている。すなわち、生成フレーム画像Ｆｍが、フレーム画像Ｆ０〜Ｆ３より大きな画素密度・高い解像度をもつように合成を行っている。図１２では基準フレーム画像Ｆｂであるフレーム画像Ｆ０の画素は白抜きの四角で表示され、対象フレーム画像Ｆｔであるフレーム画像Ｆ１〜Ｆ３の画素をそれぞれ縦、横、縦横のハッチングを施した四角で表示している。生成フレーム画像Ｆｍの画素は黒塗りの丸で表示している。ここで、１２における生成フレーム画像Ｆｍの中心に位置している画素を注目画素として、以下では平均化処理によりこの注目画素の画素情報を算出する手法について述べることとする。なお、ここでいう注目画素とは、フレーム変換処理を説明する際に用いた注目画素とは異なるものである。

平均化処理を行うには、図１２にあるように、この注目画素を中心として、所定の値を半径Ｒにもつ円形の領域３５を設定する。そして、フレーム画像Ｆ０〜Ｆ３を、重ね合わせたときに、この領域３５の内部にある画素を全て選択して、平均することにより注目画素の画素値を取得するようにする。すなわち、図１２のように、領域３５の内部に位置するフレーム画像Ｆ０〜Ｆ３のそれぞれの画素値をＢ０〜Ｂ３とすると、Ｂ０〜Ｂ３の画素値を平均することにより、注目画素の画素値を得ることができる。

ここで、各フレーム画像の変換処理後の相対的な位置関係と半径Ｒの値によっては、領域３５の内部に、基準フレーム画像の画素以外の画素がない場合が生じうる。このような場合では、注目画素から半径Ｒの領域３５の外部であっても、注目画素から最近傍の画素を選択するように処理を行うと良い。以上のようにして、基準フレーム画像Ｆｂの全ての画素について、合成処理を行うことにより生成フレーム画像Ｆｍを取得することができる。

次に、以上に述べた合成処理の処理について、図１３に示すフローチャートを用いて説明する。合成処理を開始すると、まず、ステップＳ５００において、基準フレーム画像Ｆｂと異なる解像度からなる生成フレーム画像Ｆｍの画素のうちのいずれかを注目画素に設定する。

次に、ステップＳ５１０において、注目画素を中心として半径Ｒの大きさをもつ領域３５を設定する。

次に、ステップＳ５２０において、領域３５の内部に位置する各フレーム画像Ｆ０〜Ｆ３の画素があるか否かを判断する。領域３５の内部に画素がある場合（Ｙｅｓ）、ステップＳ５３０へ進む。領域３５の内部に画素がない場合（Ｎｏ）、ステップＳ５４０へ進む。

ステップＳ５３０では、領域３５の内部に含まれるフレーム画像Ｆ０〜Ｆ３の画素の画素値を平均し、得られた値を注目画素の画素値として取得する。画素値を取得すると次にステップＳ５５０に進む。

ステップＳ５４０では、領域３５の内部に含まれるフレーム画像Ｆ０〜Ｆ３の画素場合には、注目画素から最近傍に位置する画素の画素値を注目画素の画素値として取得する。

次に、ステップＳ５５０において、生成フレーム画像Ｆｍのすべての画素についてＳ５００〜Ｓ５４０の処理を行ったか否かを判断する。すべて画素について処理を終えていた場合（Ｙｅｓ）、合成処理は終了する。すべての画素について処理を終えていない場合（Ｎｏ）、ステップＳ５００へ進み、再度、注目画素の選択を行う。

このようにして、生成フレーム画像Ｆｍを得ることができる。ここで、以上に述べた処理によると、領域３５に含まれる画素の画素値を平均して得ることにより、得られた生成フレーム画像Ｆｍの各画素値は、小数で表される端数部分をもつことになる。そこで、本発明にある本画像生成装置１は、生成フレーム画像Ｆｍの画素値の端数部分を活用して、さらに優れた画質をもつ生成フレーム画像を取得することを目的として、階調変換手段３２による階調変換処理を行う。以下、８ビットからなるフレーム画像Ｆから、１０ビットからなるフレーム画像Ｆを取得する階調変換処理を行う場合について、以下に説明することとする。

図１４は、合成処理および階調変換処理が行われる様子を示した図である。また、図１５は、図１４で行われる処理を、各画素の階調値をビット表示して示したものである。したがって、図にある四角のひとつひとつには、それぞれ０または１のデータが格納されるようにして、複数ビットからなる各階調値を表現している様子を示している。また、図１６は、階調変換処理の処理の流れを示すフローチャートを示す図である。以下、図１４〜１６を用いて、階調変換処理の説明を行う。

図１４および１５にあるように、階調変換処理では４つのフレーム画像Ｆを用いて処理を行う。ここで、このフレーム画像Ｆは、その各画素の画素値のもつ階調数を表現するために、各画素ごとに８ビットのデータを有している。すなわち、各画素の階調値としては、０〜２５５のうちいずれかの値をもつことになる。また、画素値はＲＧＢデータとしてＲ，Ｇ，Ｂそれぞれについて３つの値を持っているが、以下の説明ではこれらのいずれかを代表する画素値を用いて、説明する。実際には、Ｒ，Ｇ，Ｂのそれぞれについて同様の処理を行うものである。

また、図１４に示すように、合成手段３３は、４つのフレーム画像Ｆ０〜Ｆ３に対して合成処理として上述した平均化処理を行うが、この合成処理で得られる生成フレーム画像Ｆｍの画素値は、整数部分を表す８ビットに加えて、端数部分を表す２ビットの情報を有するようにしている。

階調変換手段３４は、合成手段３３により行われた生成フレーム画像の端数部分の２ビットを利用して、整数１０ビットからなる生成フレーム画像Ｆｍを取得する階調変換処理を行う。ここでの実際の処理は、階調値を２進数表記して表されるデータに対して、端数部分を表すビットをなくするように、ビットシフト演算を行うことにより行う。すなわち、図１５に示すように、整数部分８ビットに加えて、端数部分２ビットをもつ生成フレーム画像Ｆｍの階調値を表すデータに対して、２ビットのシフトアップ演算を行っている。ビットシフトした後には、端数部分を表すビットがなくなり、整数部分１０ビットからなる階調値が得られる。なお、ビットシフト後にも端数部分を持つようにしても良いが、このときは、端数部分を表す２ビットには値として新たに０を入れておくと良い。

図１６は、階調変換処理の処理の流れを示すフローチャートである。以下、図１６を用いて階調変換処理の処理を説明する。
まず、ステップＳ６００では、変換する階調数の設定を行う。ここでは、元動画像ＭＡを構成するフレーム画像Ｆの階調数を取得し、これより生成する生成フレーム画像Ｆｍの階調数を設定する。本実施形態では、整数部分８ビットで階調表現されたフレーム画像Ｆから整数部分１０ビットで階調表現された生成フレーム画像Ｆｍを生成しているが、例えば、液晶ディスプレイにユーザーインターフェイス画面を表示し、ユーザーが生成フレーム画像Ｆｍの階調数を任意に選択するようにしてもよい。

次に、ステップＳ６１０では、生成フレーム画像Ｆｍの各画素値を取得する。すなわち、合成処理により得られた整数部分８ビットに加えて端数部分２ビットからなる画素値を取得する。

次に、ステップＳ６２０では、生成フレーム画像Ｆｍの全画素について、図１５に示したように、ＣＰＵ３がビットシフト演算を行い階調変換処理を行う。ここで、生成フレーム画像Ｆｍの各画素について、整数部分１０ビットからなる画素値が取得される。ステップＳ６２０の処理を終えると、階調変換処理を終了する。

以上、階調変換処理について述べた。このように、複数のフレーム画像Ｆを合成することによって、第１フレーム画像および元動画像ＭＡより高い階調数をもつ生成フレーム画像Ｆｍを得ることができる。したがって、階調数を高くしながら適切な階調値をもたせ、階調表現力に優れた生成フレーム画像Ｆｍを得ることができる。

なお、本実施形態では、８ビットの階調数から１０ビットの階調数をもつ生成フレーム画像Ｆｍに階調変換する場合について説明しているが、本発明はこれに限れるものではなく、例えば、合成処理後の端数部分のビット数として４ビットを持たせるようにすれば、１２ビットの階調数をもつ生成フレーム画像Ｆｍに変換することもできる。また、処理に用いるフレーム画像Ｆの数も４つに限られるものではなく、例えば６つまたは８つなどのフレーム画像Ｆを用いても良い。処理に用いるフレーム画像Ｆを多くするほど、合成処理により得られる端数部分（小数部分）の情報量が多くなるので、生成フレーム画像Ｆｍの階調数をより高い階調数に、適切に変換できるようになる。

ここで、合成処理として平均化処理を行う場合には、平均化に用いるフレーム画像Ｆの数によって、端数部分のビット数が決定される。例えば、４つのフレーム画像Ｆを用いて平均化処理を行い得られる画素値の端数部分には、２ビットもしくはそれ以下のビット数が得られることになる。したがって、この場合、有効に階調を上げることのできる上げ幅は４倍までとなる。このように、平均化に用いるフレーム画像Ｆの数をＮ（Ｎは整数）とすると、有効に階調を上げることのできる上げ幅はＮ倍までであると推定することができる。

また、以上に説明した合成処理では、複数のフレーム画像に渡って、画素値を平均することにより行っているが、以下に説明するようにして、変換処理後のフレーム画像Ｆの画素に対して補間処理を行うことにより合成処理を行っても良い。なお、以下では、この補間処理による合成処理を第２の合成処理と呼ぶことにする。

次に、図１７および図１８を用いて第２の合成処理の処理方法について説明する。
図では、基準フレーム画像Ｆｂであるフレーム画像Ｆ０と、変換処理の行われたフレーム画像Ｆ１〜Ｆ３とを重ね合わせ、拡大して表示した様子を示している。また、上述した図１２と同様に、フレーム画像Ｆの２／３倍の画素ピッチとなるように生成フレーム画像Ｆｍの画素が示されている。ここで、図１７および図１８における生成フレーム画像Ｆｍの中心に位置している画素を注目画素として、以下ではこの注目画素の画素情報を算出する手法について述べる。

ここで、本実施形態の生成フレーム画像Ｆｍは、１画素単位で画素位置が規定されているフレーム画像Ｆよりも細かな単位の画素位置情報を有しているものとして説明する。すなわち、フレーム画像Ｆより多い画素数をもつ（高い解像度をもつ）生成フレーム画像Ｆｍを生成している。なお、生成される生成フレーム画像Ｆｍは、フレーム画像Ｆと同じ画素数としてもよいし、フレーム画像Ｆよりも少ない画素数（低解像度）とすることもできる。

まず、フレーム画像Ｆ０〜Ｆ３の全画素のうち、注目画素の近傍に存在する画素と注目画素との距離が最も小さい画素をもつフレーム画像Ｆの選択を行う。例えば、図１７においては、フレーム画像Ｆ０〜Ｆ３の各画素のうち注目画素に最も近い画素４０をもつフレーム画像Ｆ３が選択される。

最短画素を含むフレーム画像Ｆを取得すると、このフレーム画像Ｆの画素情報（ＹＣｂＣｒデータ）を用いて、バイ・リニア法等の所定の補間処理を行い、注目画素の画像データを生成する。その際、ＹＣｂＣｒデータのまま画像データを生成してもよいし、所定の換算式を用いてＹＣｂＣｒデータを各ＲＧＢ階調値からなるＲＧＢデータに変換してＲＧＢからなる画像データを生成してもよい。

また、以下に説明するように、本実施形態では補間処理としてはバイ・リニア法を用いているが、バイ・キュービック法の手法を用いてもよい。例えば、鮮明化処理に係る処理量からＣＰＵ３への負荷を判断して、ＣＰＵ３の処理能力に合わせていずれかの補間処理手法を選択するようにしてもよい。

図１８は、バイ・リニア法による補間処理を行う様子を模式的に示している。図に示すように、図１７で選択されたフレーム画像Ｆ３と生成フレーム画像Ｆｍとを重ねて表示しており、取得したフレーム画像Ｆから最短画素４１ａ（画素４０）を含めて、注目画素を囲む周辺の４つの画素４１ａ〜４１ｄの階調データを用いて補間処理を行う。バイ・リニア法は、補間演算に用いる画素４１ａ〜４１ｄの一方から他方へと近づくにつれて階調データの重み付けが徐々に変化していき、その変化が両側の画素の階調データだけに依存する一次関数とされている。ここで、内挿したい注目画素を取り囲む四つの画素４１ａ〜４１ｄで区画される領域を当該注目画素で四つの区画に分割し、その面積比で対角位置のデータに重み付けすれば良い。生成フレーム画像Ｆｍの各画素について、同様のことを行えば、すべての画素についての画素情報を推定することができる。このように、本画像生成装置１は、画素情報を生成する注目画素を順次移動させながら、基準フレーム情報画像Ｆｂと対象フレーム画像Ｆｔの全画素のうち注目画素の周辺に存在する４つの画素の階調データを用いて所定の補間処理を行い、画像データを生成する。

次に、図１９に示したフローチャートに基づいて、以上に述べたフレーム合成処理の処理フローについて説明する。

始めに、ステップＳ７００では、生成フレーム画像（静止画像）Ｆｍの解像度を取得する。例えば、液晶ディスプレイ１４にユーザーインターフェイス画面を表示し、ユーザーが選択した解像度をコンピュータ２がＲＡＭ６に格納するようにして、取得すればよい。

次に、ステップＳ７１０では、生成フレーム画像Ｆｍの画素数を決定する。フレーム画像Ｆの解像度に対する静止画像の解像度の比が画像の拡大率となり、この拡大率となるように合成後の画像データの画素数を決定する。

次に、ステップＳ７２０では、生成フレーム画像Ｆｍの全画素のうちいずれか一つを注目画素に設定する。なお、ステップＳ７７０より戻ってきている場合は、一度設定された画素が再度設定されることがないように注目画素を設定する。

次に、ステップＳ７３０では、注目画素の近傍に位置する対象フレーム画像Ｆｔの画素と生成フレーム画像Ｆｍの注目画素との距離を算出する。

次に、ステップＳ７４０では、Ｓ７３０で求めた距離が最小となる画素を取得し選出する。

次に、ステップＳ７５０では、Ｓ７４０で選出された画素を含んだフレーム画像Ｆから、注目画素に対応する位置を囲むように位置した４つの画素の画素情報を取得する。

次に、ステップＳ７６０では、注目画素に対応する位置を囲むように位置した４つの画素の画素情報から補間処理を行い、注目画素位置における画素情報を求める。

次に、ステップＳ７７０では、生成フレーム画像Ｆｍの全ての画素について、Ｓ７２０〜Ｓ７６０の処理が行われたか否かを判断する。全ての画素について処理が行われていない場合には（Ｎｏ）、ステップＳ７２０に戻る。全ての画素について処理が行われた場合には（Ｙｅｓ）、合成処理を終了する。

以上に述べた処理により、複数のフレーム画像Ｆを合成することによって、より高い階調数と適切な画素情報をもつ生成フレーム画像Ｆｍを得ることができる。したがって、動画像の１シーンをより精細な静止画として表した静止画像を取得することができる。

前記実施形態によれば、以下に示す効果が得られる。
（１）鮮明化処理を行うことにより、元動画像ＭＡからより高い階調数をもちながら適切な画素情報をもつ生成フレーム画像Ｆｍを得ることができる。また、階調数を増やすことにより増える情報量については、変換処理後の複数のフレーム画像Ｆから取得するようにしているので、乱数を用いて階調数を増やす方法に比べて、元のフレーム画像Ｆに忠実でありながら、階調数を増やした画像を得ることができる。

（２）合成処理として、平均化を行う場合には、注目画素から半径Ｒの領域の内部にある画素の画素値について平均するようにして画素値を取得しているので、注目画素の位置が、基準フレーム画像の画素の位置と重なっているか否かに関わらず、平均した画素値を得ることができる。したがって、基準フレーム画像Ｆｂより高い画素密度となるように、注目画素を設定して処理を行えば、階調数を増やしながら解像度を上げることができる。したがって、空間的により精細な表現がなされ、画質の優れた画像を得ることができる。

（３）補間処理を行う第２の合成処理を行った場合では、基準フレーム画像Ｆｂより高い画素密度となるように注目画素を設定して処理を行えば、階調数を増やしながら解像度を上げることができる。したがって、空間的により精細な表現がなされ、画質の優れた画像を得ることができる。

（４）合成処理においては、第１フレーム画像Ｆの複数の画素に平均処理または補間処理を行うことにより、生成フレーム画像Ｆｍのひとつの画素の画素値を得るようにしているので、第１フレーム画像Ｆのもつノイズの影響を低減した生成フレーム画像Ｆｍが得られる効果が得られる。したがって、画質に優れた第２フレーム情報を得ることができる。

本画像生成装置１は、動画像からより画質の優れた静止画像を取得する動画像生成装置とすることもできる。本発明の第２の実施形態として、この動画像生成装置１００について以下に説明する。

本動画像生成装置１００は、複数のフレーム画像Ｆから構成される元動画像ＭＡについて、フレーム画像Ｆのひとつひとつに対して鮮明化処理を行うことにより、解像度が高く画質の優れた動画を得るものである。図２０に、第２の実施形態に係る動画像生成装置の処理を説明する模式図を示す。

本動画像生成装置１００は、静止画像生成装置１００と同様の構成となり、フレーム取得手段３０と、ずれ補正量取得手段３１と、変換手段３２と、合成手段３３と、階調変換手段３４と、から構成されている。フレーム取得手段３０は、元動画像ＭＡより、時系列に連続した４つのフレーム画像Ｆを取得する。ずれ補正量取得手段３１、変換手段３２および合成手段３３が行う処理は、画像生成装置１と同様の処理を行う。そして、図２０に示すように、本動画像生成装置１００では、階調変換手段３４により取得した生成フレーム画像Ｆｍを、生成動画ＭＢのファイルに記録するようにする。

ここで、フレーム取得手段３０は取得している４つのフレーム画像Ｆのうち、１つのフレーム画像Ｆを入れ替えるようにして、時系列に連続した４つのフレーム画像Ｆを取得するようにする。ずれ補正量取得手段３１は、フレーム取得手段３０が取得した複数のフレーム画像Ｆから、複数のフレーム画像Ｆ間の回転ずれを表す回転ずれ量、および並進ずれを表す並進ずれ量を求め、これを補正するための補正量である回転ずれ補正量および並進ずれ補正量を取得する。変換手段３２は、ずれ補正量取得手段３１が取得した位置ずれ補正量に基づいて、対象フレームＦｔを基準フレーム画像Ｆｂに合わせるように画素を置き換える処理（変換処理）を行い、時系列に連続した４つのフレーム画像Ｆ間の並進ずれおよび回転ずれを補正する。階調変換手段３４は、この新しい４つのフレーム画像Ｆに対して階調変換処理を行い、取得した生成フレーム画像Ｆｍを、生成動画ＭＢのファイルに記録するようにして、これらの動作を次々にフレーム画像を入れ替えながら繰り返すことによって、多数の生成フレーム画像Ｆｍからなる生成動画ＭＢを取得する。

このようにして、鮮明化処理の行われた複数の生成フレーム画像Ｆｍからなる動画像ＭＢを生成する動画像生成装置１００を得ることができる。したがって、本実施形態にある動画像生成装置１００では、元動画像ＭＡより高い階調数および解像度をもつ生成動画像ＭＢを得ることができる。

前記第２の実施形態によれば、以下の効果を得ることができる。
（５）多数のフレーム画像からなる動画ファイルから、より高い階調数をもつことにより、階調表現力が高まり画質の優れた動画像を得ることができる。

（６）多数のフレーム画像からなる動画ファイルから、より高い解像度をもつことにより、より精細な表現ができる画質の優れた動画像を得ることができる。

以上、本発明の実施形態を説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施することができる。以下、変形例を挙げて説明する。

（変形例１）前記実施形態では、階調変換手段により、フレーム画像Ｆより階調数の高い、生成フレーム画像を取得した。しかし、本発明は、階調変換手段３４により階調数を下げることもできる。すなわち、合成処理後の画素値に対して整数部分のビット数が少なくなるようにビットシフトすることにより階調数を下げることができる。例えば、液晶ディスプレイ１４などの表示装置が再現できる階調数が、フレーム画像Ｆのもつ階調数より低い場合、鮮明化処理の階調変換処理において、表示装置にあわせるようにして階調数を下げることができる。

（変形例２）前記実施形態の合成処理では、変換処理後のフレーム画像Ｆを重ね合わせ、注目画素を中心として半径Ｒからなる円形の領域３５にある画素を選択して、平均処理を行った。合成処理に用いる画素を選択するための領域はこの形状に限られず、方形状などの領域を設定することもできる。第２の変形例として、基準フレーム画像Ｆｂの画素ピッチと同じ値を１辺の長さにもつ方形状の領域を、基準フレーム画像Ｆｂの注目画素を中心に設定するとしても良い。このようにすれば、生成フレーム画像を生成する際に、各注目画素についての領域３５は互いに重なり合うことがなく、互いに隣接して並ぶことになるので、領域３５を隙間なく整然と並べることができる。したがって、階調変換処理に用いたフレーム画像Ｆのすべての画素を確実に１度だけ選択するようにして処理を行うことができるので、再現性のよい生成フレーム画像Ｆｍを得ることができる。

（変形例３）前記実施形態では、８ビットで階調表現されたフレーム画像から１０ビットで階調表現された生成フレーム画像を取得しているが、これに限られず、例えば１２ビットといった任意の階調数を得るようにしても良い。また、液晶ディスプレイ１４にユーザーインターフェイスを表示し、キーボート１５またはマウス１６などの入力部を操作して、取得する画像の階調数をユーザーが任意に選択できるようにしてもよい。

（変形例４）前記画像生成装置１または前記動画像生成装置１００を内部に備えた動画像撮像装置（例えば、デジタルビデオカメラ）としても良い。このようにすれば、ユーザーは、動画像撮像装置により撮影した動画像から階調数を高めた画像を得ることができる。例えば、動画像撮像装置に動画像を再生表示できる表示部が備わっていた場合であっては、撮影した動画像を表示部で再生することによって、ユーザーが気に入ったシーンの画像を選択して、その画像をより階調数を高めた画像として取得するといった使い方が可能になる。

本発明に係る第１の実施形態である画像生成装置を示す模式図。 画像生成装置の機能的構成を示す模式図。 鮮明化処理を説明する模式図。 鮮明化処理のフローチャート。 フレーム画像間のずれ量を補正する処理を説明する模式図。 並進ずれ量と回転ずれ量の概念を説明する模式図。 並進ずれおよび回転ずれを推定する方法（勾配法）を説明する模式図。 回転ずれ量を補正する方法を説明する模式図。 ずれ補正量取得処理のフローチャート。 フレーム変換処理のフローチャート。 パターンマッチング法を説明する模式図。 フレーム合成処理（平均化）を説明する模式図。 フレーム合成処理を説明する模式図。 階調変換処理を行う鮮明化処理を説明する模式図。 階調変換処理を説明する模式図。 階調変換処理のフローチャート。 第２の合成処理を説明する模式図。 第２の合成処理を説明する模式図。 第２の合成処理のフローチャート。 第２の実施形態に係る動画像生成装置を説明する模式図。

符号の説明

１…画像生成装置、２…コンピュータ、３…ＣＰＵ、１２…デジタルビデオカメラ、１３…プリンタ、１４…表示手段としての液晶ディスプレイ、１５…入力部としてのキーボード、１６…入力部としてのマウス、１７…記録媒体としてのＣＤ−ＲＯＭ、３０…フレーム取得手段、３１…ずれ補正量取得手段、３２…変換手段、３３…合成手段、３４…階調変換手段、１００…動画像生成装置、ＭＡ…元動画像、ＭＢ…生成動画像、Ｆ…フレーム画像、Ｆｂ…基準フレーム画像、Ｆｔ…対象フレーム画像、Ｆｍ…生成フレーム画像、δ…回転ずれ量、ｕ…Ｘ方向の並進ずれ量、ｖ…Ｙ方向の並進ずれ量、δｍ…回転ずれ補正量、ｕｍ…Ｘ方向の並進ずれ補正量、ｖｍ…Ｙ方向の並進ずれ補正量、ｐ…フレーム画像の順番を示す変数、ｑ…フレーム画像の順番を示す変数。

Claims (14)

1. 所定の階調数をもつ画素情報からなる第１フレーム情報を時系列に連続してなる第１の画像情報より、第２フレーム情報を生成する画像生成装置であって、
   第１の画像情報から複数の第１フレーム情報を取得するフレーム取得手段と、
   前記複数の第１フレーム情報のうちいづれか１つの第１フレーム情報を基準にして、前記複数の第１フレーム情報の相対的な位置ずれを補正する位置ずれ補正量を取得するずれ補正量取得手段と、
   前記位置ずれ量に基づき、前記複数の第１フレーム情報のうち少なくとも１つについて位置ずれ量を低減または解消する変換処理を行う第１の変換手段と、
   変換処理後の前記複数の第１フレーム情報から少なくとも１つの第１フレーム情報を合成することにより、前記第２フレーム情報を生成する合成処理を行う合成手段と、
   前記第２フレーム情報を変換して、前記第１フレーム情報と異なる階調数をもつ前記第２フレーム情報を取得する第２の変換手段と、を備えたことを特徴とする画像生成装置。
2. 請求項１に記載の画像生成装置において、
   前記第２の変換手段は、前記第１フレーム情報より多数の階調数をもつ画素情報からなる前記第２フレーム情報を生成することを特徴とする画像生成装置。
3. 請求項１または２に記載の画像生成装置において、
   前記合成手段は、変換処理後の前記複数の第１フレーム情報から少なくとも１つの前記第１フレーム情報を選択し、選択した前記第１フレーム情報の複数の画素情報を合成して、前記第２フレーム情報のひとつの画素情報を取得するようにして、前記第２フレーム情報を生成することを特徴とする画像生成装置。
4. 請求項３に記載の画像生成装置において、
   前記合成手段は、選択した前記第１フレーム情報の複数の画素情報を合成して、端数をもつ画素情報からなる前記第２フレーム情報を生成し、
   前記第２の変換手段は、前記第２フレーム情報の画素情報がもつ端数を利用して階調数を変換する処理を行うことにより、前記第１フレーム情報より多数の階調数をもつ前記第２フレーム情報を取得することを特徴とする画像生成装置。
5. 請求項３または４に記載の画像生成装置において、
   前記合成手段は、選択した変換処理後の前記複数の第１フレーム情報の複数の画素情報に平均化処理を行うことにより、端数をもつ画素情報からなる前記第２フレーム画像を取得することを特徴とする画像生成装置。
6. 請求項３または４に記載の画像生成装置において、
   前記合成手段は、選択した前記第１フレーム情報の複数の画素情報に対して、補間処理を行うことにより、端数をもつ画素情報からなる前記第２フレーム情報を取得することを特徴とする画像生成装置。
7. 請求項１ないし６のいずれかの一項に記載の画像生成装置において、
   前記合成手段は、前記第１フレーム情報より高い解像度を持つ前記第２フレーム情報を生成することを特徴とする画像生成装置。
8. 請求項１ないし７のいずれかの一項に記載の画像生成装置において、
   前記第２の変換手段は、静止画像を表示する表示手段が再現できる階調数に合わせた階調数をもつ前記第２フレーム情報を生成することを特徴とする画像生成装置。
9. 請求項８に記載の画像生成装置において、
   前記第２の変換手段は、入力部からの操作に対応して階調数を選択し、選択した階調数をもつ前記第２のフレーム情報を生成することを特徴とする画像生成装置。
10. 請求項１ないし９のいずれか一項に記載の画像生成装置を備えた動画像撮像装置。
11. 請求項１ないし９のいずれか一項に記載の画像生成装置を備え、所定の階調数をもつ画素情報からなる第１フレーム情報を時系列に連続してなる第１の画像情報より、第２フレーム情報からなる第２の画像情報を生成する動画像生成装置であって、
    前記フレーム取得手段、前記ずれ量取得手段、前記第１の変換手段、前記合成手段および前記第２の変換手段が各々の処理を順次繰り返して前記第２フレーム情報を時系列に生成することにより前記第２の画像情報を生成することを特徴とする動画像生成装置。
12. 所定の階調数をもつ画素情報からなる第１フレーム情報を時系列に連続してなる第１の画像情報より、第２フレーム情報を生成する画像生成方法であって、
    第１の画像情報から複数の第１フレーム情報を取得するフレーム取得ステップと、
    前記複数の第１フレーム情報のうちいづれか１つの第１フレーム情報を基準にして、前記複数の第１フレーム情報の相対的な位置ずれを補正する位置ずれ補正量を取得するずれ補正量取得ステップと、
    前記位置ずれ量に基づき、前記複数の第１フレーム情報のうち少なくとも１つについて位置ずれ量を低減または解消する変換処理を行う第１の変換ステップと、
    変換処理後の前記複数の第１フレーム情報から少なくとも１つの第１フレーム情報を合成することにより、前記第２フレーム情報を生成する合成処理を行う合成ステップと、
    前記第２フレーム情報を変換して、前記第１フレーム情報と異なる階調数をもつ前記第２フレーム情報を取得する第２の変換ステップと、を備えたことを特徴とする画像生成方法。
13. 所定の階調数をもつ画素情報からなる第１フレーム情報を時系列に連続してなる第１の画像情報より、第２フレーム情報を生成する画像生成プログラムであって、
    コンピュータを
    第１の画像情報から複数の第１フレーム情報を取得するフレーム取得手段、
    前記複数の第１フレーム情報のうちいづれか１つの第１フレーム情報を基準にして、前記複数の第１フレーム情報の相対的な位置ずれを補正する位置ずれ補正量を取得するずれ補正量取得手段、
    前記位置ずれ量に基づき、前記複数の第１フレーム情報のうち少なくとも１つについて位置ずれ量を低減または解消する変換処理を行う第１の変換手段、
    変換処理後の前記複数の第１フレーム情報から少なくとも１つの第１フレーム情報を合成することにより、前記第２フレーム情報を生成する合成処理を行う合成手段、
    前記第２フレーム情報を変換して、前記第１フレーム情報と異なる階調数をもつ前記第２フレーム情報を取得する第２の変換手段、として機能させることを特徴とする画像生成プログラム。
14. 請求項１３の画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
    

Images